Deze studie evalueert creatief gedrag bij studenten muziek door een gestructureerd rubric voor de beoordeling van composities en many-facet Rasch-meting toe te passen op originele muzikale werken.
Onderzoeksartikel
Beoordeling van creatief gedrag bij studenten muziek door middel van compositiewerken met behulp van een Many-Facet Rasch Model
In dit artikel
Samenvatting
Samenvatting
Het beoordelen van creativiteit in het muziekonderwijs blijft uitdagend omdat oordelen over originele muzikale werken worden beïnvloed door subjectieve voorkeuren, uiteenlopende interpretaties van criteria en verschillen in de strengheid van beoordelaars. In compositietrainingen kunnen voltooide werken worden beschouwd als observeerbare producten die laten zien hoe studenten muzikale ideeën genereren, ontwikkelen, transformeren, verfijnen en realiseren. Deze studie onderzocht of een gestructureerd rubric voor compositiebeoordeling, gecombineerd met many-facet Rasch-meting, een reproduceerbare evaluatie van creatief gedrag bij bachelorstudenten muziek kan ondersteunen. Originele composities van 80 studenten muziek werden onafhankelijk gescoord door negen getrainde beoordelaars met behulp van een rubric met vijf punten. Het rubric omvatte vijf gerelateerde dimensies van creatief compositiegedrag: noviteit, vloeiendheid, flexibiliteit, precisie en haalbaarheid. De beoordelingsgegevens werden geanalyseerd met FACETS-software, versie 3.83.6, waarbij studenten, criteria en beoordelaars werden gespecificeerd als afzonderlijke facetten binnen een gemeenschappelijke logit-meetstructuur. Het beoordelingsontwerp omvatte 3.600 verwachte beoordelingsmogelijkheden; 3.598 valide geobserveerde beoordelingen werden geanalyseerd, waarbij er twee ontbraken. De algehele modelpassing ondersteunde de interpretatie van het beoordelingsontwerp, en de geordende categoriestructuur gaf aan dat de vijfpuntsschaal functioneerde in de verwachte richting. Criteriumschattingen toonden aan dat noviteit relatief gemakkelijker aan te tonen was, terwijl haalbaarheid en flexibiliteit moeilijker waren binnen voltooide composities. Er werden ook verschillen waargenomen in de locatie van het scoregebruik per beoordelaar, wat de noodzaak ondersteunde om beoordelaar-effecten te modelleren in plaats van uitsluitend te vertrouwen op ruwe scores. De scheiding tussen studenten was matig, wat aangeeft dat het instrument beter geschikt was voor brede prestatiestratificatie dan voor een nauwkeurige individuele rangschikking. Deze bevindingen suggereren dat een rubric op basis van compositie, gecombineerd met many-facet Rasch-meting, een transparant kader kan bieden voor het evalueren van creatief gedrag in het hoger muziekonderwijs.
Inleiding
Creativiteit is een centraal resultaat van kunstonderwijs geworden, omdat van studenten wordt verwacht dat zij niet alleen gevestigde technieken reproduceren, maar ook werk creëren dat origineel, betekenisvol en communiceerbaar is binnen een disciplinaire context1. In het muziekonderwijs is deze verwachting vooral belangrijk bij de training in compositie, waarbij studenten muzikale kennis moeten transformeren tot voltooide werken door beslissingen te nemen over thema, melodie, ritme, vorm, ontwikkeling en realisatie. Beoordeling is in deze context moeilijk, omdat muzikale creativiteit niet uitsluitend kan worden geëvalueerd op basis van persoonlijke smaak of een algemene artistieke indruk. Een voltooide compositie biedt observeerbaar bewijs van creatief gedrag, maar dit bewijs moet worden vertaald naar expliciete criteria als de score transparant en reproduceerbaar moet zijn2. Zonder duidelijke criteria kunnen scores eerder de voorkeur van de beoordelaar, stilistische vertrouwdheid of een algemene indruk van kwaliteit weerspiegelen dan de specifieke kwaliteiten van het ingediende werk.
De huidige studie definieert compositioneel creatief gedrag als de waarneembare expressie van creatief muzikaal werk in een voltooide compositie. Het rubric maakt gebruik van vijf dimensies: nieuwheid, vloeiendheid, flexibiliteit, precisie en haalbaarheid. Deze dimensies worden niet beschouwd als identieke subtraiten of als afzonderlijke theoretische constructen. In plaats daarvan worden ze gebruikt als manifestaties op criteriumniveau van één breed productgebaseerd prestatieconstruct: de mate waarin een student muzikale ideeën kan genereren, ontwikkelen, transformeren, verfijnen en realiseren in een voltooid werk. Nieuwheid vertegenwoordigt de eigenzinnigheid van het muzikale idee of de behandeling; vloeiendheid vertegenwoordigt de continuïteit en productiviteit van de ideeontwikkeling; flexibiliteit vertegenwoordigt gevarieerde benaderingen, transformaties of adaptieve verschuivingen in de muzikale behandeling; precisie vertegenwoordigt verfijning, interne organisatie en concretisering van muzikaal detail; en haalbaarheid vertegenwoordigt de artistieke en praktische levensvatbaarheid van de voltooide compositie3. Deze structuur verbindt ideegeneratie, ideeontwikkeling, adaptieve transformatie, technische verfijning en gerealiseerde levensvatbaarheid tot één enkel voltooid muzikaal product.
Dit constructie-argument vermindert daarnaast de overlap tussen criteria en constructiebesmetting. Precisie was beperkt tot verfijning, interne organisatie en concreet muzikaal detail, terwijl haalbaarheid werd gedefinieerd als de artistieke en praktische levensvatbaarheid van het werk als gerealiseerde compositie. Op dezelfde wijze was vloeiendheid beperkt tot een aanhoudende en productieve ontwikkeling, terwijl flexibiliteit werd gedefinieerd als variatie, transformatie en adaptieve muzikale hantering. Een werk kan een origineel idee bevatten maar een beperkte ontwikkeling vertonen, of het kan coherent en technisch stabiel zijn terwijl er weinig transformatie zichtbaar is. Een op criteria gebaseerde rubric is daarom noodzakelijk, omdat een totale ruwe score ongelijke creatieve profielen binnen dezelfde compositie kan maskeren4.
Beoordelingen van muziek door beoordelaars vereisen aandacht voor zowel het gedrag van de beoordelaar als de prestatie van de student. Zelfs wanneer beoordelaars dezelfde rubric gebruiken, kunnen zij verschillen in strengheid, het gebruik van categorieën en de interpretatie van criteria. Deze verschillen zijn niet louter procedurele problemen; ze maken deel uit van de meetsituatie en kunnen de betekenis van de waargenomen scores beïnvloeden5. Many-facet Rasch-meting is geschikt voor deze setting omdat het studenten, beoordelaars, criteria en categorieën van de beoordelingsschaal schat binnen een gemeenschappelijk logit-raamwerk. Studentenmaten representeren de geschatte creatieve prestatie na correctie voor criteriummoeilijkheid en strengheid van de beoordelaar, criteriummaten geven aan hoe moeilijk elke dimensie aan te tonen is, beoordelaarsmaten geven de relatieve locatie van scoregebruik aan, en categoriestatistieken tonen aan of de beoordelingsschaal functioneert in de beoogde volgorde6. Deze benadering is sterker dan het enkel vertrouwen op ruwe totalen of gemiddelde scores, omdat het meerdere bronnen van scorevariatie scheidt die anders gecombineerd zijn in de waargenomen beoordeling.
Het gebruik van een unidimensionaal many-facet Rasch-model vereist een duidelijk constructargument. In deze studie wordt de unidimensionale specificatie gerechtvaardigd op het niveau van het algemene compositionele creatieve gedrag, en niet door ervan uit te gaan dat de vijf rubrieksdimensies identiek zijn. Van de vijf criteria wordt verwacht dat ze verschillende waarneembare aspecten vertegenwoordigen van een breed prestatieconstruct, zoals uitgedrukt in voltooide muzikale werken. Deze aanname werd behandeld als een empirische meetaanname en werd onderzocht via criterion fit, de werking van de beoordelingsschaal, residuele associaties tussen criteria, en interactiediagnostiek tussen beoordelaar en criterium en tussen student en criterium7. Hoewel many-facet Rasch-benaderingen zijn toegepast bij prestatiegebaseerde beoordelingen, blijft hun systematische gebruik bij de beoordeling van complete composities binnen het hoger muziekonderwijs beperkt8. Bestaand onderzoek naar muziekbeoordeling heeft de nadruk gelegd op de moeilijkheid van het beoordelen van open artistieke producten en de noodzaak van expliciete scorecriteria9, terwijl meetonderzoek heeft aangetoond dat rubriekgebaseerde prestatiebeoordeling kan profiteren van het direct modelleren van beoordelaar- en criteriumeffecten10. Tegen deze achtergrond past de huidige studie een many-facet Rasch-raamwerk toe op originele composities geproduceerd door bachelorstudenten muziek. De studie behandelt drie vragen: of het voorgestelde raamwerk voor compositiebeoordeling adequaat functioneert als meetontwerp; hoe criteriummoeilijkheid en variatie in het scoregebruik door beoordelaars bijdragen aan de waargenomen scorevariatie; en hoe de maten voor creatieve prestaties van studenten zijn verdeeld na het modelleren van criterium- en beoordelaareffecten.
Protocol
Deze studie is goedgekeurd door de Institutional Review Board van de School of Music and Dance, Jiangxi Institute of Technology, Nanchang 330098, Jiangxi, China, onder goedkeuringsnummer YG2020158. Voorafgaand aan de taakuitvoering en gegevensverzameling is van alle deelnemers schriftelijke geïnformeerde toestemming verkregen. Deelnemers werden geïnformeerd dat hun ingediende composities na anonimisering uitsluitend voor onderzoekgebaseerde beoordeling zouden worden gebruikt. Namen van studenten, klasidentificatoren, bestandsmetadata met auteursinformatie en andere directe identificatiekenmerken werden vóór de scoretoekenning verwijderd. Deze identificatoren zijn niet ter beschikking gesteld aan de beoordelaars. Alle ingediende werken werden vóór scoring en analyse geanonimiseerd, en alle analytische bestanden werden uitsluitend verwerkt met gecodeerde identificatoren.
Studieomgeving, werving van deelnemers en taaktoewijzing
De studie werd uitgevoerd bij de School of Music and Dance van het Jiangxi Institute of Technology in Nanchang, Jiangxi, China, van september 2025 tot januari 2026. De deelnemers werden geworven uit de derdejaarscohort Muziekwetenschap, omdat studenten in deze fase vóór het semester van de studie het kerncurriculum in muziektheorie, uitvoeringspraktijk, elektronische muziekcompositie en compositie-gerelateerde vakken hadden voltooid.
De broncohort bestond uit 96 derdejaars studenten Musicologie. Alle 96 studenten werden benaderd. Vier studenten gaven geen schriftelijke toestemming en namen daarom niet deel aan de screening. De overige 92 studenten gaven schriftelijke geïnformeerde toestemming en werden gescreend. Twaalf studenten werden vóór de definitieve analyse uitgesloten. De redenen voor uitsluiting waren onvolledige ingediende composities bij vijf studenten, het ontbreken van één of meer vereiste structurele elementen bij drie studenten, indieningen na de deadline bij twee studenten, onleesbare of beschadigde bestanden bij één student en intrekking vóór de scoreberekening bij één student. De uiteindelijke analytische steekproef bestond uit 80 bachelorstudenten, waaronder 32 mannen en 48 vrouwen.
De uiteindelijke analytische steekproef vertegenwoordigde het volledige geschikte corpus van geanonimiseerde en scorebare composities die beschikbaar waren uit de geworven cohort nadat de toestemming, screening en exclusieregels waren toegepast. Deze steekproefomvang werd niet gerechtvaardigd door de 3.600 beoordelingsmogelijkheden te behandelen als onafhankelijke observaties op studentenniveau. In plaats daarvan gebruikte het many-facet Rasch-ontwerp herhaalde beoordelingen van de 80 composities om maten voor de creatieve prestaties van studenten te schatten, terwijl tegelijkertijd de moeilijkheidsgraad van het criterium, de variatie in scoregebruik door beoordelaars en de werking van de categorieën van de beoordelingsschaal werden gemodelleerd. De inclusie van negen beoordelaars was bedoeld om de schatting van de beoordelaarsgerelateerde variatie in scoregebruik te ondersteunen en om de afhankelijkheid van de interpretatie van de open compositionele kwaliteit door één enkele beoordelaar te verminderen. Studenten kwamen in aanmerking als zij voltijds ingeschreven stonden in het derde jaar van de opleiding Musicologie, de vereiste kernvakken vóór het studiesemester hadden voltooid, schriftelijke geïnformeerde toestemming hadden gegeven en één volledige originele compositie hadden ingediend binnen de aangewezen indieningsperiode. Studenten werden uitgesloten als zij geen volledig werk hadden ingediend, als de indiening niet voldeed aan de vooraf gedefinieerde taakeisen, als het bestand niet geopend of gescoord kon worden, als de indiening na de deadline was ontvangen, of als de toestemming vóór de scoring was ingetrokken.
Elke deelnemer voltooide één individuele opdracht voor een originele compositie volgens dezelfde schriftelijke instructies. Studenten mochten hun eigen thema en stijl kiezen, maar elke inzending moest teksten, melodie, ritme en formele organisatie bevatten. Groepswerk, opnieuw ingediende opdrachten, aangepast gepubliceerd materiaal, bestanden die enkel concepten waren en late revisies werden uitgesloten van de formele score-dataset. Van elke deelnemer werd slechts één definitieve versie geaccepteerd. De gedetailleerde taakeisen en indieningsspecificaties worden gepresenteerd in Aanvullende Tabel 1. De volledige wervings- en analyseworkflow wordt getoond in Figuur 1.
Verzameling, screening en anonimisering van compositionele werken
Alle composities werden ingediend via het institutionele leerbeheersysteem vóór 23:59 uur op de laatste dag van de geplande opdrachtweek. Elke inzending bestond uit één partituurbestand in Portable Document Format (PDF) en één bijbehorende MP3-audioweergave. Na de deadline heeft het onderzoeksteam alle ingediende bestanden gedownload via hetzelfde indieningskanaal en is elk werk gescreend op basis van de vooraf gedefinieerde taakeisen voordat deze aan de beoordelaars werden vrijgegeven. Alleen composities die tekst, melodie, ritme en formele organisatie bevatten en een voltooid eindproduct vormden, werden behouden. Bestanden die enkel concepten bevatten, onvoltooide werken, bestanden waarin belangrijke structurele componenten ontbraken, te laat ingediende werken en onleesbare of beschadigde bestanden werden vóór de scoretoekenning uitgesloten.
Aan elk in aanmerking komend werk werd een geanonimiseerde studentencode toegewezen van S1 tot S80. Studentennamen, klasidentificatoren, bestandsmetadata met auteursinformatie en alle andere directe identificatiemiddelen werden verwijderd voordat de bestanden ter beoordeling werden vrijgegeven. Het koppelingsbestand dat de identiteit van de deelnemer koppelt aan de geanonimiseerde studiecode werd afzonderlijk door de hoofdonderzoeker bewaard in een wachtwoordbeveiligd bestand. Dit koppelingsbestand was niet beschikbaar voor de beoordelaars of de analist tijdens de schatting van het model. Het uiteindelijke scorecorpus bestond uit 80 geanonimiseerde en scorebare composities, elk vertegenwoordigd door één PDF-partituurbestand en één MP3-audioweergave.
Beoordelingsrubriek
Het scoreformulier beoordeelde vijf dimensies van creatief gedrag in compositionele werken: noviteit, vloeiendheid, flexibiliteit, precisie en haalbaarheid. Het scoreformulier is ontwikkeld door het onderzoeksteam in overleg met drie faculteitsleden met ervaring in compositieonderwijs, muziektheorie en de beoordeling van muziekeducatie. Een eerste versie werd getoetst aan de hand van vijf praktijkcomposities van buiten het onderzoek uit het voorgaande academische jaar. De formulering van de criteria en de vijf scoreankers werd na de pilotbeoordeling herzien om de overlap tussen haalbaarheid en precisie te verminderen en om vloeiendheid van flexibiliteit te onderscheiden. Het definitieve scoreformulier werd vastgesteld op 20 september 2025, voorafgaand aan de training van de beoordelaars en de formele scoring. Geen enkel criterium of scoreanker is gewijzigd nadat de formele scoring was begonnen.
In het uiteindelijke beoordelingskader verwees noviteit naar het onderscheidende vermogen en de originaliteit van het muzikale idee of de uitwerking. Vloeiendheid verwijst naar de continuïteit en productiviteit van de ideeontwikkeling binnen het werk. Flexibiliteit verwees naar gevarieerde benaderingen, transformaties of adaptieve verschuivingen in de muzikale behandeling. Precisie verwees naar verfijning, interne organisatie en concretheid van muzikale details. Haalbaarheid verwees naar de artistieke en praktische levensvatbaarheid van het voltooide werk als een gerealiseerde compositie. Alle vijf de dimensies werden gescoord met hetzelfde antwoordformaat van vijf punten. Een score van 1 gaf een zeer zwakke demonstratie van de doeldimensie aan, en een score van 5 gaf een zeer sterke demonstratie aan. Halve punten waren niet toegestaan. Alle beoordelaars gebruikten dezelfde volgorde van criteria, scoreankers en een gestandaardiseerd scoreblad. De operationele definities en scoreankers voor alle vijf de dimensies worden gepresenteerd in Tabel 1.
Werving, blindering en training van beoordelaars
Negen beoordelaars met eerdere ervaring in muziek- of kunstgerelateerde evaluaties werden geworven van het Jiangxi Institute of Technology. Het panel van beoordelaars bestond uit vijf faculteitsleden van muziekgerelateerde vakken, twee faculteitsleden uit de muziekeducatie en twee senior postdoctorale instructeurs met ervaring in kunstbeoordeling. Elke beoordelaar had ten minste drie jaar ervaring met onderwijs, scoring, beoordeling of kunstevaluatie. Elke beoordelaar kreeg een geanonimiseerde code toegewezen van J1 tot J9. Alle beoordelaars scoorden hetzelfde geanonimiseerde corpus van 80 composities. De beoordelaars waren gedurende de formele scoringsfase blind voor de identiteit van de studenten, demografische informatie, klaslidmaatschap en de scores van alle andere beoordelaars.
Voorafgaand aan de formele scoretoekenning voltooiden alle beoordelaars één gestandaardiseerde trainings- en kalibratiesessie van ongeveer 120 min. Tijdens de sessie verspreidde het onderzoeksteam de geschreven rubric, score-ankers, het gestandaardiseerde scoreformulier en de score-instructies. De vijf criteria en de vijf responscategorieën werden uitgelegd in dezelfde vaste volgorde als die tijdens de formele scoretoekenning werd gehanteerd. Vervolgens werden drie geanonimiseerde kalibratiecomposities gebruikt voor oefenscores. Deze drie kalibratiecomposities waren onafhankelijk van de 80 formele studiecomposities en werden niet meegenomen in de analytische dataset. Elke beoordelaar scoorde de drie kalibratiewerken onafhankelijk vóór de discussie. Discrepanties werden criterium voor criterium besproken om de betekenis van elke dimensie, het onderscheid tussen aangrenzende scorecategorieën en het gebruik van de volledige vijfpuntsschaal te verduidelijken. Het doel van de kalibratiesessie was om de interpretatie van de rubric te standaardiseren, niet om identieke scores af te dwingen. De trainingsworkflow en de kalibratieprocedure worden gepresenteerd in Aanvullende Tabel 2.
Formele scoreprocedure
Tijdens de formele beoordeling evalueerde elke beoordelaar onafhankelijk elke geanonimiseerde compositie op basis van alle vijf de criteria. De beoordelaars bekeken voor elk werk zowel het PDF-partituurbestand als de bijbehorende MP3-audio-opname. PDF-bestanden werden geopend in PDF-leessoftware en audiobestanden werden beoordeeld in Audacity met Sennheiser HD 280 Pro hoofdtelefoons op hetzelfde type workstation dat werd gebruikt voor het beheer van de beoordeling. Beoordelaars kregen de instructie om eerst het partituurbestand te bekijken, één keer de volledige audio-opname te beluisteren en vervolgens de score per criterium in te vullen na een tweede gerichte controle indien nodig. Herhaald luisteren was tot twee extra keren toegestaan voor elke compositie wanneer de beoordelaar details van ritme, melodie, structuur of uitwerking wilde verifiëren. Beoordelaars mochten individuele inzendingen niet bespreken tijdens de formele beoordeling en geen enkele beoordelaar had toegang tot de scores die door andere beoordelaars waren toegekend.
De 80 geanonimiseerde composities werden aan elke beoordelaar in een gerandomiseerde volgorde gepresenteerd, die voorafgaand aan de scoren was gegenereerd. Elke beoordelaar gebruikte dezelfde geanonimiseerde set bestanden, rubric, scoreblad en score-instructies. De formele scoring werd individueel voltooid in één tot drie sessies per beoordelaar, waarbij geen enkele scoringssessie langer duurde dan 3 hr. Wanneer de scoring over meerdere sessies werd voltooid, werden dezelfde scoringsomgeving, set bestanden en antwoordblad gebruikt. Elke compositie had 45 verwachte beoordelingsmogelijkheden, wat overeenkomt met negen beoordelaars vermenigvuldigd met vijf criteria. Met 80 composities opgenomen in het definitieve corpus, genereerde het beoordelingsontwerp 3.600 verwachte beoordelingsmogelijkheden vóór de controle op ontbrekende scores.
Gegevensinvoer, coderingsstructuur en kwaliteitscontrole
Na de formele beoordeling werden alle waargenomen scores ingevoerd in een analytische dataset in lang formaat met behulp van Microsoft Excel. Het many-facet Rasch-ontwerp omvatte drie facetten: studenten, beoordelaars en criteria. De studenten werden gecodeerd als S1 tot S80, de beoordelaars als J1 tot J9 en de criteria als C1 tot C5. De criteria werden gecodeerd als C1 voor originaliteit, C2 voor vloeiendheid, C3 voor flexibiliteit, C4 voor precisie en C5 voor haalbaarheid. Elk geldig scoreverslag vertegenwoordigde één waargenomen beoordeling van student-bij-beoordelaar-bij-criterium en bevatte student_id, rater_id, criterion_id, criterion_name en score. Geldige scorecategorieën werden uitsluitend geregistreerd als gehele getallen van 1 tot 5.
Vóór het aanpassen van het model werd de dataset gecontroleerd op dubbele records, ontbrekende identificatiegegevens, ontbrekende scores, ongeldige studentencodes, ongeldige beoordelaars-codes, ongeldige criteriumcodes, discrepanties tussen criterion_id en criterion_name, en scores buiten het toegestane bereik. Het volledige ontwerp genereerde 3.600 verwachte beoordelingsmogelijkheden. Het uiteindelijke analysebestand bevatte 3.598 geldige geobserveerde beoordelingen en twee ontbrekende beoordelingsmogelijkheden. De twee ontbrekende beoordelingen werden als ontbrekend gedocumenteerd, werden niet geïmputeerd en werden niet omgecodeerd naar een geldige scorecategorie. Dubbele records en inconsistenties in de codering werden gecontroleerd aan de hand van de originele scorebladen vóór de schatting van het model. De vereiste variabelenstructuur en het coderingsformaat worden gepresenteerd in Aanvullende Tabel 3.
Specificatie van het Many-facet Rasch-model
De gereinigde beoordelingsgegevens werden geanalyseerd met FACETS, versie 3.83.6. Het model schatte gelijktijdig de creatieve prestaties van de studenten, de moeilijkheidsgraad van de criteria, de locatie van het scoregebruik door de beoordelaars en de drempelwaarden van de categorieën van de beoordelingsschaal op een gemeenschappelijke logit-schaal. Studenten werden gespecificeerd als de doelmeetfacet, criteria als de moeilijkheidsgraadfacet en beoordelaars als de beoordelaarsfacet. Het FACETS-controlebestand specificeerde drie facetten, met studentlabels S1–S80, criteriumlabels C1–C5 en beoordelaarslabels J1–J9. Een gemeenschappelijk model met een beoordelingsschaal van vijf categorieën werd toegepast op alle vijf de criteria, omdat alle criteria dezelfde geordende responsstructuur van 1–5 gebruikten. Het model werd geschat met behulp van joint maximum-likelihood schatting. Er zijn geen externe ankerwaarden toegepast. De studenten- en criteriumfacetten werden gecentreerd voor rapportage op de gemeenschappelijke logit-schaal, en de beoordelaarsfacet werd vrij geschat om de variatie in het scoregebruik tussen de beoordelaars weer te geven. De structuur van het FACETS-controlebestand, de facetcodering, de instelling van de beoordelingsschaal, de schattingsmethode, de centreringsregel, de convergentieregel, de outputverzoeken en de diagnostische drempelwaarden zijn samengevat in Aanvullende Tabel 4.
Het model werd als volgt gespecificeerd:
Waarbij Pnijk de waarschijnlijkheid aanduidt dat student n categorie k van beoordelaar j krijgt op criterium i in plaats van categorie k − 1, Bn de geschatte maat voor creatieve prestatie van student n aanduidt, Di de moeilijkheidsgraad van criterium i aanduidt, Rj de locatie van het scoregebruik van beoordelaar j aanduidt, en Fk de drempel tussen opeenvolgende scorecategorieën aanduidt. Scorecategorieën werden geordend van 1 tot 5. Bij deze parameterisatie komen hogere locaties van de beoordelaar overeen met een groter gebruik van scores in de FACETS-output. Het initiële model werd gefit op de beschikbare geldige beoordelingen zonder categorieën samen te voegen. Ontbrekende beoordelingen werden als zodanig behandeld en niet geïmputeerd of omgecodeerd naar scorecategorieën.
De FACETS-analyse werd uitgevoerd met een maximum van 100 iteraties en een convergentiecriterium van minder dan 0,01 logits voor de maximale verandering in parameters tussen opeenvolgende iteraties. De outputspecificaties omvatten samenvattende facetstatistieken, individuele facetmetingen, standaardfouten van het model, gemiddelde-kwadraatstatistieken voor infit en outfit, geobserveerde gemiddelden, eerlijke gemiddelden, separatie- en betrouwbaarheidsindices, chi-kwadraattoetsen, categoriestatistieken, Rasch-Andrich-drempelwaarden, standaardfouten van drempelwaarden, output van categoriewaarschijnlijkheden, gestandaardiseerde residuen, output van bias per beoordelaar per criterium en output van bias per student per criterium. Het FACETS-controlebestand, de gedeïdentificeerde beoordelingsdataset in lang formaat, de primaire modeloutput en de output van de sensitiviteitsanalyse werden bewaard als reproduceerbare analysebestanden.
Evaluatie en diagnostische regels
Infit-gemiddelde kwadraten en outfit-gemiddelde kwadraten statistieken werden gebruikt om de modelpassing voor studenten, criteria en beoordelaars te evalueren. Waarden van 0,60 tot 1,30 werden beschouwd als het primaire acceptabele bereik voor routineuze interpretatie. Waarden boven 1,50 werden gemarkeerd voor controle, en waarden boven 2,00 werden beschouwd als een aanzienlijke misfit. Voor elke student met infit- of outfit-gemiddelde kwadraten waarden boven 2,00 werden de oorspronkelijke scoregegevens vergeleken met de geschoonde dataset, en het model werd opnieuw geschat na uitsluiting van die student als onderdeel van een sensitiviteitsanalyse. Casussen werden niet uitsluitend vanwege misfit uit het primaire model verwijderd; de sensitiviteitsanalyse werd gebruikt om vast te stellen of de belangrijkste conclusies over het criterium, de beoordelaar en de beoordelingsschaal stabiel bleven. Deze regels voor passing-beoordeling en sensitiviteitsanalyse staan vermeld in Aanvullende Tabel 4.
Separatie- en betrouwbaarheidsindices werden voor elk facet onderzocht om vast te stellen of er sprake was van betekenisvolle interne differentiatie en of de resulterende maten voldoende stabiel waren voor interpretatie. Separatiewaarden groter dan 2,00 werden geïnterpreteerd als ondersteuning voor substantiële differentiatie binnen een facet. Een studentseparatie onder de 2,00 werd geïnterpreteerd als ondersteuning voor een brede stratificatie in plaats van een precieze individuele rangschikking. Betrouwbaarheidswaarden die dichter bij de 1,00 lagen, werden geïnterpreteerd als een indicatie van sterkere meetstabiliteit. Het functioneren van de ratingschaal werd onderzocht met behulp van categoriestatistieken, waargenomen gemiddelden, outfit mean-square-waarden, Rasch-Andrich-drempels, standaardfouten van de drempels en categoriekanscurven. De prestatie van de categorieën werd als acceptabel beschouwd wanneer de waargenomen gemiddelden monotoon toenamen over de scorecategorieën, aangrenzende drempels in een geordende sequentie vorderden en de vijf categorieën interpreteerbare kansregio's vormden over het latente continuüm.
De output van bias en interactie werd geïnspecteerd voor combinaties van beoordelaar-per-criterium en student-per-criterium. Elke interactie met een absolute gestandaardiseerde bias t-waarde van 2,00 of hoger werd gemarkeerd voor beoordeling. Deze diagnostische controles werden gebruikt om mogelijke inconsistenties in de interpretatie van criteria of onverwachte responspatronen te identificeren, en niet om beoordelingen automatisch te verwijderen. Lokale afhankelijkheid en construct-overlap werden onderzocht door de passing van de criteria en residuele associaties tussen alle 10 mogelijke criteriumparen te analyseren. Elke residuele associatie van 0,30 of hoger tussen twee criteria werd gemarkeerd als mogelijke lokale afhankelijkheid en getoetst aan de definities in het rubriek. Deze diagnostische criteria worden ook gerapporteerd in Aanvullende Tabel 4. De unidimensionale Rasch-specificatie werd daarom geëvalueerd als een meetaanname in plaats van automatisch verondersteld te worden. Bij het interpreteren van studentenmaten werden individuele logit-verschillen niet als betekenisvol beschouwd, tenzij ze de overeenkomstige meetonzekerheid overschreden. De studentfacet werd primair geïnterpreteerd als een algemene distributie van compositionele creatieve prestaties, in plaats van als een precieze rangschikking van individuele studenten.
Resultaten
Algemene samenvatting van de facetten
De many-facet Rasch-analyse was gebaseerd op een compleet beoordelingsontwerp met 80 geanonimiseerde composities, negen beoordelaars en vijf scorecriteria. Dit ontwerp genereerde 3.600 verwachte beoordelingsmogelijkheden. Hiervan werden 3.598 geldige waargenomen beoordelingen geanalyseerd, en twee beoordelingsmogelijkheden werden als ontbrekend gedocumenteerd. De ontbrekende beoordelingen werden noch geïmputeerd, noch hergecodeerd naar een geldige scorecategorie. De algemene facetstatistieken worden gepresenteerd in Tabel 2. Over de drie gemodelleerde facetten waren de gemiddelde infit- en outfit-mean-square-waarden dicht bij 1,00, wat wijst op een acceptabele algehele model-data-fit. De betrouwbaarheidschattingen waren 0,87 voor de criteria, 1,00 voor de beoordelaars en 0,78 voor de studenten. De separatiewaarden waren 2,56 voor de criteria, 16,36 voor de beoordelaars en 1,86 voor de studenten. Chi-kwadraat-toetsen waren significant voor alle drie de facetten. Het criteriumfacet en het studentfacet werden voor rapportage gecentreerd op 0,00 logits, terwijl het beoordelaarsfacet een gemiddelde maat van 0,62 logits had. De maten van de studenten varieerden van -0,80 tot 1,12 logits, wat een geschat bereik van 1,92 logits opleverde.
Variatie in beoordelaar-metingen
De schattingen van de beoordelaars worden weergegeven in Tabel 2. De infit mean-square waarden varieerden van 0,73 tot 1,26, en de outfit mean-square waarden varieerden van 0,74 tot 1,27. Alle negen beoordelaars vielen binnen het acceptabele fit-bereik van 0,60 tot 1,30. De beoordelaar-facet vertoonde de grootste spreiding van alle gemodelleerde facetten, wat wijst op een duidelijke variatie in het scoregebruik door de beoordelaars, ondanks dat alle beoordelaars dezelfde rubric, scorekaart en scoreprocedure gebruikten. J9 had de hoogste rater-measure locatie van 3,37 logits, terwijl J8 de laagste rater-measure locatie had van -0,34 logits. Deze richting was consistent met de geobserveerde en fair gemiddelden: J9 had de hoogste geobserveerde en fair gemiddelden, 4,74 en 4,75, terwijl J8 de laagste geobserveerde en fair gemiddelden had, beide 2,77. De beoordelaar-facet werd daarom geïnterpreteerd als variatie in de locatie van het scoregebruik op de gedeelde logit-schaal, in plaats van als een eenvoudige rangschikking van strengheid. J1 en J5 hadden identieke schattingen van 0,86 logits, J3 en J6 hadden identieke schattingen van -0,13 logits, en J2 en J4 bevonden zich nabij het centrum van de beoordelaarschaal op respectievelijk 0,03 en -0,15 logits. De totale rater-measure spreiding was 3,71 logits. De rater separation waarde was 16,36, met een chi-kwadraat waarde van 1487,8 (df = 8), p < 0,001. Geen enkele beoordelaar overschreed de drempelwaarde voor de fit-review, en geen enkele beoordelaar werd uitgesloten van het primaire model.
Criteriummoeilijkheid en criteriumfit
Schattingen van de moeilijkheidsgraad per criterium worden gepresenteerd in Tabel 2. Haalbaarheid had de hoogste moeilijkheidsschatting van 0,20 logits, wat aangeeft dat dit het moeilijkste criterium was voor studenten om aan te tonen in de voltooide composities. Flexibiliteit en precisie bevonden zich in het middenbereik, met schattingen van respectievelijk 0,07 en 0,02 logits. Vloeiendheid had een moeilijkheidsschatting van -0,13 logits, en originaliteit had de laagste moeilijkheidsschatting van -0,16 logits, wat aangeeft dat originaliteit het gemakkelijkste criterium was om in dit corpus aan te tonen. De totale spreiding in moeilijkheidsgraad van de criteria was 0,36 logits. Alle vijf de criteria vertoonden acceptabele fit-waarden. De gemiddelde-kwadraatwaarden voor infit varieerden van 0,89 tot 1,11, en de gemiddelde-kwadraatwaarden voor outfit varieerden van 0,90 tot 1,12. De separatiewaarde voor de criteria was 2,56, en de chi-kwadraatwaarde was 37,8, df = 4, p < 0,001. Geen enkel criterium overschreed de drempelwaarde voor de fit-beoordeling, en er is geen enkel criterium uit het model verwijderd.
Beoordeling van de creatieve prestatieverdeling en passing van studenten
Studentenmaten zijn samengevat in Tabel 2 als een algemene distributie in plaats van als individuele rangschikkingen. De studentenfacet vertoonde een separatiewaarde van 1,86 en een betrouwbaarheidsschatting van 0,78. De chi-kwadraatwaarde was 354,4 (df = 79), p < 0,001. De geschatte studentenmaten varieerden van -0,80 tot 1,12 logits, met modelstandaardfouten van ongeveer 0,19 tot 0,20 logits. Omdat de separatiewaarde voor studenten lager was dan 2,00, werden de studentenresultaten geïnterpreteerd als ondersteunend voor een brede prestatiestratificatie in plaats van een nauwkeurige individuele rangschikking.
De fit-statistieken van de studenten werden beoordeeld aan de hand van de gedefinieerde fit-drempelwaarden. S3 had een infit mean-square van 2,10 en een outfit mean-square van 2,05, waarmee de drempelwaarde voor aanzienlijke misfit werd overschreden. De oorspronkelijke scoregegevens voor S3 werden gecontroleerd aan de hand van de geschoonde analytische dataset, inclusief studentcode, beoordelaars-code, criteriumcode, criteriumnaam, scorecategorie, status van dubbele records en status van ontbrekende beoordelingen. Er werden geen invoerfouten, dubbele records, ongeldige scores, mismatches in ontbrekende beoordelingen of inconsistenties in de codering gevonden. S3 is daarom behouden in het primaire model. Vervolgens werd een sensitiviteitsmodel geschat, waarbij S3 werd uitgesloten, om vast te stellen of de conclusies van het hoofdmodel stabiel bleven. Dit sensitiviteitsmodel omvatte 79 composities en 3.555 verwachte beoordelingsmogelijkheden. Het aantal geldig geanalyseerde beoordelingen in het sensitiviteitsmodel was 3.553. In het sensitiviteitsmodel bleef haalbaarheid het moeilijkste criterium met 0,19 logits, en bleef noviteit het minst moeilijke criterium met -0,15 logits. De criteriumscheiding veranderde van 2,56 naar 2,48, de criteriumbetrouwbaarheid veranderde van 0,87 naar 0,86, de beoordelaarsscheiding veranderde van 16,36 naar 16,02, de beoordelaarsbetrouwbaarheid bleef 1,00, de studentenscheiding veranderde van 1,86 naar 1,82 en de studentenbetrouwbaarheid veranderde van 0,78 naar 0,77. De drempelwaarden van de beoordelingsschaal bleven geordend en veranderden van -2,10, -0,71, 0,69 en 2,12 logits in het primaire model naar -2,08, -0,70, 0,68 en 2,10 logits in het sensitiviteitsmodel. Deze wijzigingen hebben de belangrijkste conclusies over de criteria, beoordelaars, studenten of de beoordelingsschaal niet beïnvloed. De resultaten van de sensitiviteitsanalyse worden gepresenteerd in Tabel 3.
Diagnostiek van lokale afhankelijkheid en bias
Diagnostieken voor lokale afhankelijkheid werden beoordeeld voor alle 10 mogelijke criteria-paren tussen de vijf scorecriteria. Alle residuele associaties lagen onder de beoordelingsdrempel van 0,30. De grootste residuele associatie was 0,24 tussen precisie en haalbaarheid. De daaropvolgende grootste associaties waren 0,21 tussen vloeiendheid en flexibiliteit, 0,18 tussen noviteit en vloeiendheid, en 0,17 tussen noviteit en flexibiliteit. De overige zes residuele associaties tussen criteria-paren lagen eveneens onder de 0,30 en worden vermeld in Tabel 4. Deze resultaten wezen niet op problematische lokale afhankelijkheid tussen de vijf rubricacriteria.
De output voor de beoordelaar-per-criterium bias werd geïnspecteerd met gebruik van de absolute gestandaardiseerde bias t-waarde drempel van 2,00. De grootste gestandaardiseerde bias t-waarde voor beoordelaar-per-criterium was 1,84 voor J9 op haalbaarheid, wat onder de beoordelingsdrempel lag. De output voor student-per-criterium identificeerde een onverwacht responspatroon voor S3. De grootste gestandaardiseerde bias t-waarde voor student-per-criterium was 2,31 voor S3 op haalbaarheid, wat de beoordelingsdrempel overschreed. De casus van S3 werd daarom gecontroleerd aan de hand van de oorspronkelijke scoregegevens en onderzocht via een sensitiviteitsanalyse. De verificatie bracht geen codeer- of invoerfouten aan het licht, en het sensitiviteitsmodel veranderde de inhoudelijke conclusies niet. De diagnostiek voor lokale afhankelijkheid en bias zijn samengevat in Tabel 4.
Werking van de beoordelingsschaal
De resultaten van de categoriestructuur worden weergegeven in Tabel 5. De gemiddelde maten stegen van -0,56 logits in categorie 1 naar 2,23 logits in categorie 5, wat aangeeft dat categorieën met een hogere score overeenkwamen met hogere geschatte locaties van creatieve prestaties. De outfit mean-square waarden voor de gescorede categorieën varieerden van 0,90 tot 1,10. De Rasch-Andrich drempelwaarden liepen op in de volgorde -2,10, -0,71, 0,69 en 2,12 logits. De overgang van categorie 1 naar categorie 2 vond plaats bij ongeveer -2,10 logits, de overgang van categorie 2 naar categorie 3 vond plaats nabij -0,71 logits, de overgang van categorie 3 naar categorie 4 vond plaats nabij 0,69 logits, en de overgang van categorie 4 naar categorie 5 vond plaats nabij 2,12 logits. De geordende drempelwaarden en acceptabele outfit-waarden ondersteunden het behoud van de oorspronkelijke structuur met vijf categorieën. Er is geen enkele categorie samengevoegd.
Distributie van facetten en categoriekansstructuur
De gezamenlijke verdeling van beoordelaars, studenten, criteria en responscategorieën op de gemeenschappelijke logit-schaal wordt weergegeven in Figuur 2. De facet van de beoordelaar vertoonde de breedste spreiding, wat wijst op een duidelijke variatie in de locatie van het gebruik van de scores door de beoordelaars. De facet van het criterium plaatste originaliteit op het laagste moeilijkheidsniveau en haalbaarheid op het hoogste moeilijkheidsniveau. De maten van de studenten waren geconcentreerd rond het centrum van de schaal, met minder gevallen aan de bovenste en onderste extremen. De ruler map werd gebruikt om de verdeling van de facetmaten aan te tonen en niet om nauwkeurige individuele rangschikkingen van studenten te ondersteunen.
De categoriekanscurves worden weergegeven in Figuur 3. Categorie 1 vertoonde de hoogste kans onder ongeveer -2,10 logits, categorie 2 bereikte zijn piek tussen ongeveer -2,10 en -0,71 logits, categorie 3 piekte tussen ongeveer -0,71 en 0,69 logits, categorie 4 vertoonde de hoogste kans tussen ongeveer 0,69 en 2,12 logits, en categorie 5 werd dominant boven ongeveer 2,12 logits. De verticale drempelmarkeringen in Figuur 3 geven de Rasch-Andrich transitiepunten tussen aangrenzende categorieën aan. Aangrenzende categorieën gingen over in een geordende volgorde, wat de interpretatie ondersteunt dat de vijfpuntschaal functioneerde zoals bedoeld.
Beschikbaarheid van gegevens:
De geanonimiseerde ratingdataset in long-format, het datacodeboek en de primaire FACETS-output zijn gedeponeerd in Zenodo onder DOI: https://doi.org/10.5281/zenodo.21873801. De dataset bevat gecodeerde student-identificatoren, rater-identificatoren, criterium-identificatoren, criteriumnamen, geldige gehele getal-scorecategorieën en indicatoren voor ontbrekende ratings. Het volledige ratingontwerp bevatte 3.600 verwachte ratingmogelijkheden. Hiervan werden 3.598 geldige geobserveerde ratings geanalyseerd; twee werden gedocumenteerd als ontbrekend en niet geïmputeerd. De gedeponeerde primaire FACETS-output ondersteunt de gerapporteerde facetmaten, fit-statistieken, separatie- en betrouwbaarheidsindices, rating-schaaldrempels, categoriefunctioneren en diagnostische samenvattingen. Originele creatieve werken en identificeerbare bestanden zijn niet publiekelijk beschikbaar omdat de toestemming van deelnemers en institutionele privacybeperkingen de herdistributie van individuele studentcomposities of bestanden die auteursinformatie kunnen bevatten, niet toestaan. De many-facet Rasch-analyse is uitgevoerd met FACETS, versie 3.83.6.
Figuur 1: Workflow van deelnemerswerving, taakadministratie, anonimisering, scoren, datacontrole en many-facet Rasch-analyse. Deze figuur toont de volledige workflow van de studie, van de identificatie van de broncohort tot de uiteindelijke modelanalyse. De broncohort bestond uit 96 derdejaarsstudenten Musicologie. Alle 96 studenten werden benaderd; vier gaven geen schriftelijke toestemming, 92 werden gescreend en 12 werden uitgesloten vóór de definitieve analyse. De uiteindelijke analytische steekproef bestond uit 80 geanonimiseerde, scorebare composities. De figuur vat tevens de taaktoewijzing, het indienen van bestanden, de screening, anonimisering, training van beoordelaars, formele scoring, assemblage van data in long-format, kwaliteitscontrole en FACETS-analyse samen. Het beoordelingsontwerp genereerde 3.600 verwachte beoordelingsmogelijkheden; hiervan werden 3.598 geldige waargenomen beoordelingen geanalyseerd en twee werden als ontbrekend gedocumenteerd. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 2: Verticale liniaalmap van beoordelaars, studenten, criteria en categorieën van de beoordelingsschaal op de gemeenschappelijke logit-metriek. Deze figuur toont de locaties van het scoregebruik van beoordelaars, de distributie van studentenmetingen, schattingen van de criteriummoeilijkheid en de locaties van de antwoordcategorieën op een gedeelde logit-schaal. Hogere locaties van beoordelaars in deze weergave komen overeen met een hoger scoregebruik, niet met een grotere strengheid. De liniaalmap wordt gebruikt om de distributie van facetten weer te geven en wordt niet gebruikt om nauwkeurige rangschikkingen van individuele studenten te ondersteunen. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 3: Categoriekanscurves voor de vijfpunts-beoordelingsschaal. De verticale stippellijnen geven de Rasch-Andrich categoriedrempels aan, die de geschatte overgangspunten tussen aangrenzende responscategorieën markeren. De geordende snijpunten van aangrenzende categorieën tonen aan dat de vijfpunts-responsschaal functioneerde in de verwachte richting en ondersteunen het behoud van de oorspronkelijke categoriestructuur zonder het samenvoegen van categorieën. Klik hier om een grotere versie van deze figuur te bekijken.
| Criterium | Operationele definitie | Score 1 | Score 2 | Score 3 | Score 4 | Score 5 |
| Innovatie | Onderscheidend vermogen en originaliteit van het muzikale idee of de uitwerking | Conventioneel of imiterend | Beperkte originaliteit | Zekere originaliteit, maar ongelijkmatig | Duidelijke originaliteit in verschillende delen | Zeer onderscheidend en consequent origineel |
| Vloeiendheid | Continuïteit en productiviteit van ideeontwikkeling binnen het werk | Zeer beperkte ontwikkeling | Sparsere ontwikkeling | Adequate ontwikkeling | Rijke en aanhoudende ontwikkeling | Zeer productief en continu ontwikkeld |
| Flexibiliteit | Gebruik van gevarieerde benaderingen, transformaties of adaptieve verschuivingen in de muzikale behandeling | Enkelvoudige rigide benadering | Minimale variatie | Enige variatie | Duidelijke variatie tussen secties of apparaten | Sterk gevarieerd en adaptief ontwikkeld |
| Precisie | Verfijning, interne organisatie en concretisering van muzikale details | Zwakke controle en onduidelijke details | Beperkte verfijning | Matige organisatie en detailgraad | Goede verfijning en interne organisatie | Hoge verfijning met heldere en concrete details |
| Haalbaarheid | Artistieke en praktische levensvatbaarheid van de voltooide compositie als gerealiseerd werk | Niet levensvatbaar als voltooid werk | Zwakke levensvatbaarheid | In essentie levensvatbaar | Leefbaar en muzikaal hanteerbaar | Sterk levensvatbaar en overtuigend gerealiseerd |
Tabel 1: Operationele definities en score-ankers voor de vijf dimensies van creatief gedrag in compositionele werken.Deze tabel presenteert de definitieve rubric die is gebruikt voor de formele scorebepaling. Het definieert nieuwheid, vloeiendheid, flexibiliteit, precisie en haalbaarheid, en biedt score-ankers van 1 tot 5 voor elk criterium. De definities maken onderscheid tussen aanhoudende idee-ontwikkeling en adaptieve variatie, en maken onderscheid tussen structurele verfijning en gerealiseerde artistieke en praktische levensvatbaarheid.
| Facet / Eenheid | Meten (logits) | Model SE | Infit MnSq | Outfit MnSq | Waargenomen gemiddelde | Redelijk gemiddeld | Scheiding | Betrouwbaarheid | Chi-kwadraat (df) |
| Criteria, algemeen | 0 | 0.05 | 0.99 | 0.99 | 3.36 | 3.43 | 2.56 | 0.87 | 37.8 (4)*** |
| Innovatie | -0.16 | 0.05 | 1.01 | 1.07 | 3.46 | 3.54 | — | — | — |
| Vloeiendheid | -0.13 | 0.05 | 1 | 0.95 | 3.44 | 3.52 | — | — | — |
| Flexibiliteit | 0.07 | 0.05 | 0.89 | 0.93 | 3.32 | 3.39 | — | — | — |
| Precisie | 0.02 | 0.05 | 0.95 | 0.9 | 3.35 | 3.42 | — | — | — |
| Haalbaarheid | 0.2 | 0.05 | 1.11 | 1.12 | 3.23 | 3.3 | — | — | — |
| Beoordelaars, totaal | 0.62 | 0.07 | 0.98 | 0.99 | 3.36 | 3.36 | 16.36 | 1 | 1487.8 (8)*** |
| J1 | 0.86 | 0.06 | 1.26 | 1.27 | 3.59 | 3.59 | — | — | — |
| J2 | 0.03 | 0.06 | 1.1 | 1.1 | 3.02 | 3.02 | — | — | — |
| J3 | -0.13 | 0.06 | 0.73 | 0.74 | 2.91 | 2.91 | — | — | — |
| J4 | -0.15 | 0.06 | 1.07 | 1.07 | 2.9 | 2.9 | — | — | — |
| J5 | 0.86 | 0.06 | 1.26 | 1.27 | 3.59 | 3.59 | — | — | — |
| J6 | -0.13 | 0.06 | 0.73 | 0.74 | 2.91 | 2.91 | — | — | — |
| J7 | 1.19 | 0.06 | 0.77 | 0.77 | 3.8 | 3.81 | — | — | — |
| J8 | -0.34 | 0.06 | 1.06 | 1.06 | 2.77 | 2.77 | — | — | — |
| J9 | 3.37 | 0.11 | 0.87 | 0.93 | 4.74 | 4.75 | — | — | — |
| Studenten, in het algemeen | 0 | 0.19 | 0.99 | 0.99 | 3.36 | 3.43 | 1.86 | 0.78 | 354.4 (79)*** |
| Meetbereik voor studenten | -0,80 tot 1,12 | 0.19–0.20 | — | — | — | — | — | — | — |
| OPMERKING: Het beoordelingsontwerp leverde 3.600 verwachte beoordelingsmogelijkheden op, berekend als 80 composities x 9 beoordelaars x 5 criteria. Het primaire model analyseerde 3.598 geldige waargenomen beoordelingen; twee beoordelingsmogelijkheden ontbraken en werden niet geïmputeerd of gecodeerd in scorecategorieën. Voor de facet van de beoordelaar worden de beoordelaarsmaten hier geïnterpreteerd als de locaties van het scoregebruik van de beoordelaar op de gedeelde logit-schaal. In deze output waren hogere beoordelaarsmaten geassocieerd met hogere waargenomen en eerlijke gemiddelden, wat duidt op een neiging tot meer gebruik van hogere scores in plaats van een grotere strengheid. ***= p < 0.001. | |||||||||
Tabel 2: Samenvattende statistieken van de many-facet Rasch-analyse voor criteria, beoordelaars en studenten. Deze tabel rapporteert de belangrijkste FACETS-output voor de drie gemodelleerde facetten, inclusief logit-maten, standaardfouten van het model, gemiddelde-kwadraatwaarden voor infit en outfit, geobserveerde gemiddelden, fair averages, separatie-indices, betrouwbaarheidsschattingen en chi-kwadraattoetsen. Het beoordelingsontwerp genereerde 3.600 verwachte beoordelingsmogelijkheden; 3.598 geldige geobserveerde beoordelingen werden geanalyseerd, en twee beoordelingsmogelijkheden werden als ontbrekend gedocumenteerd. De moeilijkheidsgraad van het criterium, de score-gebruikslocatie van de beoordelaar en de algemene student-maatverdeling worden gerapporteerd op dezelfde logit-metriek. Beoordelaarmaten worden geïnterpreteerd als score-gebruikslocaties in plaats van als een eenvoudige rangschikking van strengheid, omdat hogere beoordelaarmaten gepaard gingen met hogere geobserveerde en fair averages. De resultaten van de studenten zijn samengevat als een verdeling en worden niet gepresenteerd als nauwkeurige individuele rangschikkingen.
| Metriek | Primair model | Gevoeligheidsmodel exclusief S3 |
| Aantal composities | 80 | 79 |
| Verwachte beoordelingsmogelijkheden | 3,600 | 3,555 |
| Geanalyseerde geldige beoordelingsgegevens | 3,598 | 3,553 |
| Gemiste beoordelingsmogelijkheden | 2 | 2 |
| Criterium met de hoogste moeilijkheidsgraad | Haalbaarheid, 0,20 logits | Haalbaarheid, 0,19 logits |
| Criterium met de laagste moeilijkheidsgraad | Nieuwigheid, -0,16 logits | Nieuwigheid, -0,15 logits |
| Criteriumscheiding | 2.56 | 2.48 |
| Criteriumbetrouwbaarheid | 0.87 | 0.86 |
| Beoordelaarscheiding | 16.36 | 16.02 |
| Beoordelaarsbetrouwbaarheid | 1 | 1 |
| Scheiding van studenten | 1.86 | 1.82 |
| Betrouwbaarheid van studenten | 0.78 | 0.77 |
| Drempelwaarden voor beoordelingsschalen | -2.10, -0.71, 0.69, 2.12 | -2.08, -0.70, 0.68, 2.10 |
| Beslissing over het primaire model | Primair model behouden | Geen wezenlijke wijziging |
| OPMERKING: Het primaire model maakte gebruik van 3.598 geldige waargenomen beoordelingen uit 3.600 verwachte beoordelingsmogelijkheden. Het sensitiviteitsmodel sloot S3 uit en maakte gebruik van 3.553 geldige waargenomen beoordelingen uit 3.555 verwachte beoordelingsmogelijkheden. Dezelfde twee ontbrekende beoordelingsmogelijkheden vielen buiten S3 en bleven daarom ontbreken in het sensitiviteitsmodel. Het uitsluiten van S3 leidde niet tot substantiele wijzigingen in de volgorde van de criteria, de separatie-indices, de betrouwbaarheidsschattingen of de drempelstructuur van de beoordelingsschaal. | ||
Tabel 3: Gevoeligheidsanalyse na uitsluiting van de studentgeval met een slechte passing. Deze tabel vergelijkt het primaire model met het gevoeligheidsmodel dat is geschat na uitsluiting van S3. Het primaire model maakte gebruik van 80 composities, 3.600 verwachte beoordelingsmogelijkheden en 3.598 geldige geobserveerde beoordelingen. Het gevoeligheidsmodel maakte gebruik van 79 composities, 3.555 verwachte beoordelingsmogelijkheden en 3.553 geldige geobserveerde beoordelingen. De tabel rapporteert wijzigingen in criteriummoeilijkheid, criteriumscheiding, criteriumbetrouwbaarheid, beoordelaarsscheiding, beoordelaarbetrouwbaarheid, studentenscheiding, studentenbetrouwbaarheid en drempelwaarden van de beoordelingsschaal. De gevoeligheidsanalyse toonde geen wezenlijke wijziging in de conclusies van het hoofdmodel aan.
| Diagnostisch item | Beoordelingsdrempel | Grootste waargenomen waarde / waargenomen waarde | Beoordelingsresultaat |
| Residuele associatie: noviteit–vloeiendheid | ≥0.30 | 0.18 | Onder de drempelwaarde |
| Residuele associatie: nieuwigheid–flexibiliteit | ≥0.30 | 0.17 | Onder de drempelwaarde |
| Residuele associatie: nieuwheid–precisie | ≥0.30 | 0.12 | Onder de drempelwaarde |
| Residuele associatie: noviteit–haalbaarheid | ≥0.30 | 0.09 | Onder de drempelwaarde |
| Residuele associatie: vloeiendheid–flexibiliteit | ≥0.30 | 0.21 | Onder de drempelwaarde |
| Residuele associatie: vloeiendheid–precisie | ≥0.30 | 0.16 | Onder de drempelwaarde |
| Residuele associatie: vloeiendheid–haalbaarheid | ≥0.30 | 0.14 | Onder de drempelwaarde |
| Residuele associatie: flexibiliteit–precisie | ≥0.30 | 0.15 | Onder de drempelwaarde |
| Residuele associatie: flexibiliteit–haalbaarheid | ≥0.30 | 0.11 | Onder de drempelwaarde |
| Residuele associatie: precisie–haalbaarheid | ≥0.30 | 0.24 | Onder de drempelwaarde |
| Gestandaardiseerde bias t-waarde per beoordelaar ten opzichte van het criterium | ≥2,00 absolute waarde | 1,84 voor J9 op haalbaarheid | Onder de drempelwaarde |
| gestandaardiseerde bias t-waarde van student-per-criterium | ≥2,00 absolute waarde | 2,31 voor S3 over haalbaarheid | Gecontroleerd via verificatie van de originele gegevens en sensitiviteitsanalyse |
| Verificatie van gegevensinvoer voor S3 | Eventuele coderings- of invoerfout | Geen resultaten gevonden | S3 behouden in het primaire model |
| Sensitiviteitsanalyse met uitsluiting van S3 | Wijziging in de conclusies van het hoofdmodel | Geen wezenlijke wijziging | Primair model behouden |
| OPMERKING: Alle residuele associaties van de 10 criteriumparen werden beoordeeld. Waarden onder 0,30 werden geïnterpreteerd als een indicatie dat er geen problematische lokale afhankelijkheid bestond tussen de vijf rubricacriteria. Beoordelaar-bij-criterium en student-bij-criterium interacties werden beoordeeld met een absolute gestandaardiseerde bias t-waarde drempel van 2,00. | |||
Tabel 4: Diagnostische controles voor lokale afhankelijkheid en bias.Deze tabel vat de diagnostische controles samen voor overlap van criteria, rater-bij-criterion bias, onverwachte responspatronen van student-bij-criterion en de verificatie van de casus van de student met een slechte passing. Alle 10 mogelijke residuele associaties tussen criterion-paren zijn beoordeeld. Residuele associaties tussen criteria lagen onder de beoordelingsdrempel van 0,30. De grootste gestandaardiseerde bias t-waarde voor rater-bij-criterion lag onder de beoordelingsdrempel van |t| ≥ 2,00, terwijl de student-bij-criterion output een onverwacht responspatroon gerelateerd aan S3 identificeerde, dat is beoordeeld via verificatie van originele gegevens en een sensitiviteitsanalyse. De sensitiviteitsanalyse toonde geen substantiële wijziging in de conclusies van het hoofdmodel aan.
| Beoordelingscategorie | Categorielabel | Gemiddelde maat (logits) | Outfit MnSq | Rasch-Andrich drempelwaarde | Drempelwaarde SE | Maat bij -0.5 |
| 1 | Onvoldoende | -0.56 | 1 | — | — | — |
| 2 | Minimaal | -0.21 | 0.9 | -2.1 | 0.1 | -2.51 |
| 3 | Voldoende | 0.25 | 0.9 | -0.71 | 0.05 | -0.73 |
| 4 | Bovengemiddeld | 0.8 | 1.1 | 0.69 | 0.04 | 0.72 |
| 5 | Uitstekend | 2.23 | 1.1 | 2.12 | 0.06 | 2.53 |
| OPMERKING: Rasch-Andrich drempelwaarden geven de geschatte overgangspunten tussen aangrenzende beoordelingscategorieën aan. Voor categorie 1 wordt geen drempelwaarde vermeld omdat dit de laagste categorie is. “Maat bij -0.5” vermeldt de logit-locatie geassocieerd met de categoriegrenswaarde-output in FACETS en is opgenomen als een diagnostische waarde voor het functioneren van de categorie, en niet als een afzonderlijke schatting van de prestaties van de student. Er zijn geen categorieën samengevoegd. | ||||||
Tabel 5: Categoriefunctioneren van de vijfpunts-ratingschaal. Deze tabel rapporteert statistieken op categorieniveau voor de vijfpunts-responsschaal, inclusief gemiddelde maten, outfit mean-square waarden, Rasch-Andrich drempelwaarden, standaardfouten van de drempelwaarden en de FACETS-output voor categoriefunctioneren "Measure at -0.5". De Rasch-Andrich drempelwaarden geven de geschatte overgangspunten tussen aangrenzende beoordelingscategorieën aan. De geordende drempelwaarden tonen aan dat de vijf responscategorieën vorderden in de verwachte richting en dat er geen categorieën zijn samengevoegd.
Aanvullende Tabel 1: Vereisten voor de compositietaak, wervingsstroom en indieningsspecificaties.Deze tabel presenteert de studieomgeving, de wervingsstroom, de geschiktheidscriteria voor deelnemers, het taakformaat, de vereiste structurele elementen, de regels voor originaliteit, de indieningseisen, de screeningsregels, de redenen voor uitsluiting en de uiteindelijke analytische eenheid. Het documenteert hoe het uiteindelijke corpus van 80 geanonimiseerde en scorebare composities is verkregen. Klik hier om dit bestand te downloaden.
Aanvullende Tabel 2: Training, kalibratie en gestandaardiseerde scoreprocedure van de beoordelaars.Deze tabel vat de werving van beoordelaars, de kwalificaties van de beoordelaars, de geanonimiseerde codering door beoordelaars, trainingsmaterialen, instructies over het rubric, instructies over de categorieën, kalibratiescores, beoordeling van discrepanties, blinderingprocedures, scorebeperkingen, reviewmaterialen, de afspeelprocedure, de regel voor herhaald luisteren, de gerandomiseerde volgorde van presentatie en de controle op scoreduur samen. Klik hier om dit bestand te downloaden.
Aanvullende tabel 3: Structuur van de dataset in lang formaat en coderingsregels. Deze tabel presenteert de variablestructuur, coderingsregels, datasetbeperkingen, criteriumcodes en voorbeeldrijen voor de analytische dataset in lang formaat. Elke geldige rij vertegenwoordigt één geobserveerde scoregebeurtenis, gedefinieerd door student-identificatie, beoordelaar-identificatie, criterium-identificatie, criteriumnaam en scorecategorie. Het beoordelingsontwerp genereerde 3.600 verwachte beoordelingsmogelijkheden, waarvan 3.598 geldige geobserveerde beoordelingen werden geanalyseerd en twee beoordelingsmogelijkheden als ontbrekend werden gedocumenteerd. Klik hier om dit bestand te downloaden.
Aanvullende Tabel 4: FACETS controlebestand- en diagnostische specificaties. Deze tabel vermeldt de FACETS modelstructuur en instellingen voor reproduceerbaarheid, inclusief softwareversie, modeltype, gemodelleerde facetten, scorecategorieën, verwerking van ontbrekende beoordelingen, schattingsmethode, maximaal aantal iteraties, convergentiecriterium, outputverzoeken, fit-drempelwaarden, drempelwaarde voor bias-beoordeling, drempelwaarde voor lokale afhankelijkheid en de interpretatieregel voor studentenmetingen. Ontbrekende beoordelingen werden als ontbrekend behandeld, werden niet geïmputeerd en werden niet omgecodeerd naar geldige scorecategorieën. Klik hier om dit bestand te downloaden.
Discussie
In de huidige studie is een many-facet Rasch-raamwerk toegepast om creatief gedrag bij bachelorstudenten muziek te beoordelen aan de hand van originele composities. De resultaten toonden aan dat de prestaties van studenten, de moeilijkheidsgraad van de criteria, de variatie in beoordelaars en het functioneren van de categorieën op de beoordelingsschaal konden worden geschat binnen een gemeenschappelijke meetstructuur. Deze bevinding ondersteunt het gebruik van many-facet modellering bij rubric-gebaseerde muziekbeoordelingen wanneer scores tot stand komen door deskundig oordeel in plaats van door puur objectieve antwoorden11. Het model maakte een deskundige muzikale evaluatie niet overbodig; in plaats daarvan bood het een gestructureerde manier om te onderzoeken hoe de facetten van de student, het criterium en de beoordelaar bijdroegen aan de waargenomen beoordelingen. Dit is van belang voor de beoordeling van composities, omdat voltooide werken een kwalitatief oordeel vereisen, maar ruwe scores alleen niet kunnen aangeven of variatie in scores een weerspiegeling is van de student, het criterium, de beoordelaar of de beoordelingsschaal12.
De resultaten van de criteria toonden aan dat originaliteit het minst moeilijke criterium was, terwijl haalbaarheid en flexibiliteit moeilijker waren binnen de voltooide composities. Dit patroon moet worden geïnterpreteerd als een beschrijvend meetresultaat en niet als bewijs van een causaal instructie-effect. De bevinding geeft aan dat studenten in dit corpus gemakkelijker onderscheidende muzikale ideeën demonstreerden dan volledig gerealiseerde levensvatbaarheid of adaptieve transformatie over het voltooide werk heen. Dit onderscheid is consistent met onderzoek naar muzikale creativiteit dat compositie beschouwt als een proces dat ideegeneratie, ontwikkeling, selectie, herstructurering, verfijning en realisatie omvat, in plaats van enkel originaliteit13. Het ondersteunt daarnaast de waarde van het scheiden van rubrieksdimensies in plaats van het samenvoegen van creatieve prestaties in één enkel globaal oordeel14. De huidige studie kan echter niet bepalen of het geobserveerde moeilijkheidspatroon werd veroorzaakt door onderwijspraktijken, het ontwerp van de taak, de ontwikkelingsfase van de studenten, de formulering van de criteria of de interpretatie door de beoordelaars. Toekomstige studies zouden productbeoordelingen moeten combineren met procesbewijs, zoals concepten, revisiegeschiedenissen, reflectielogboeken of compositie-interviews, om te onderzoeken hoe studenten bewegen van initiële ideeën naar gerealiseerde muzikale producten.
De resultaten van de beoordelaars toonden een aanzienlijke variatie tussen de beoordelaar en de maatstaf, terwijl alle fit-waarden van de beoordelaars binnen het gedefinieerde acceptabele bereik bleven. Dit patroon mag niet simpelweg worden geïnterpreteerd als een falen van de training van de beoordelaars. Verschillen in het gebruik van scores door beoordelaars worden verwacht bij artistieke beoordelingen door experts en vormen een van de belangrijkste redenen voor het gebruik van een many-facet Rasch-model15. De huidige resultaten tonen aan dat de beoordelaars de schaal op een breed acceptabele manier hebben gebruikt, terwijl ze nog steeds verschilden in hun relatieve gebruik van scorecategorieën. Het model hielp daarom bij het corrigeren voor beoordelaar-gerelateerde variatie in scores voordat de criteria- en studentenmaten werden geïnterpreteerd. Voor toekomstige toepassingen dient de training van beoordelaars te worden gecombineerd met post hoc monitoring van variatie in scoregebruik, fit, categoriegebruik en interacties tussen beoordelaar en criterium, in plaats van enkel te vertrouwen op training om alle verschillen tussen beoordelaars te elimineren16.
Het studentfacet vertoonde meetbare variatie, maar slechts een matige separatie. De betrouwbaarheidsschatting voor de studenten was 0,78 en de separatiewaarde was 1,86. Daarom moeten de studentenmaten worden geïnterpreteerd als ondersteuning voor een brede stratificatie van de prestaties in plaats van een precieze individuele rangschikking. Dit punt is belangrijk omdat kleine verschillen tussen individuele student-logits kleiner kunnen zijn dan de overeenkomstige standaardfouten van de meting. De misfitting S3-case ondersteunt een voorzichtige interpretatie op individueel niveau verder. Na verificatie van de originele gegevens en een sensitiviteitsanalyse bleven de volgorde van het hoofdcriterium, het patroon van de beoordelaar-maat en de drempelstructuur van de beoordelingsschaal stabiel. S3 werd daarom behouden in het primaire model, maar de studie trekt geen inhoudelijke conclusies uit deze individuele case. Deze interpretatie is consistent met het gebruik van de Rasch-fitanalyse als diagnostisch instrument voor het evalueren van de meetstabiliteit, in plaats van als basis voor ononderbouwde individuele claims17.
Het onderzoek kent enkele beperkingen. Ten eerste was de steekproef afkomstig van één instelling en één academisch niveau, waardoor de bevindingen zonder verdere validatie niet gegeneraliseerd kunnen worden naar andere vergelijkbare bachelorcohorten Musicologie. Ten tweede evalueerde de studie de uiteindelijke compositorische producten en werden procesmaterialen zoals concepten, revisiegeschiedenissen, reflectielogboeken of think-aloud-gegevens niet meegenomen. Ten derde werden de vijf rubriccriteria beschouwd als verwante manifestaties van algemeen compositorisch creatief gedrag, en de diagnostische resultaten ondersteunden deze specificatie in de huidige dataset; toekomstig onderzoek dient echter te onderzoeken of dezelfde structuur standhoudt in grotere steekproeven, bij andere instellingen en bij verschillende compositie-opdrachten. Ten vierde werd de achtergrond van de beoordelaars uitsluitend gemodelleerd via de beoordelaarsfacet, en de studie testte niet direct hoe disciplinaire achtergrond, onderwijservaring, esthetische voorkeur of expertise in compositie bijdroegen aan de variatie in de metingen van de beoordelaars. Tot slot was de studie cross-sectioneel en niet-interventioneel, waardoor het patroon van de moeilijkheidsgraad van de criteria niet gebruikt mag worden om conclusies te trekken over de effectiviteit van het onderwijs of instructieve causaliteit.
Concluderend demonstreert deze studie een reproduceerbare procedure voor het beoordelen van creatief gedrag bij studenten muziek via originele composities, gebruikmakend van een gestructureerde rubric en many-facet Rasch-meting. De bevindingen tonen aan dat criteriummoeilijkheid, variatie in beoordelaarsmetingen, de verdeling van de prestaties van studenten en de werking van de beoordelingsschaal binnen één enkel meetkader kunnen worden onderzocht. Nieuwigheid was relatief gemakkelijker aan te tonen, terwijl haalbaarheid en flexibiliteit moeilijker waren in de voltooide composities. De variatie in beoordelaarsmetingen was aanzienlijk, wat de noodzaak ondersteunt om beoordelaars-effecten te modelleren bij muziekbeoordeling. De metingen van de studenten ondersteunden een brede stratificatie in plaats van een precieze individuele rangschikking. Over het algemeen biedt het kader een transparante basis voor het evalueren van compositie-gebaseerd creatief gedrag en voor het verfijnen van het ontwerp van rubrics, de monitoring van beoordelaars en toekomstige validatiestudies in het hoger muziekonderwijs.
Openbaarmakingen
De auteurs verklaren dat er geen sprake is van belangenverstrengeling. AI-ondersteunde taalredactietools zijn uitsluitend gebruikt om de leesbaarheid en grammatica tijdens de voorbereiding van het manuscript te verbeteren. Er zijn geen AI-tools gebruikt voor data-analyse, many-facet Rasch-modellering, het genereren van figuren, de interpretatie van resultaten of wetenschappelijke besluitvorming. De auteurs hebben alle inhoud van het manuscript beoordeeld en geverifieerd en aanvaarden de volledige verantwoordelijkheid voor de definitieve versie.
Dankbetuigingen
De auteurs danken de deelnemende studenten, beoordelaars en het administratieve personeel van de School of Music and Dance aan het Jiangxi Institute of Technology voor hun ondersteuning tijdens de taakuitvoering, bestandverzameling, anonimisering en de coördinatie van de scoreverlening. Dit werk werd ondersteund door het Jiangxi Province Cultural and Artistic Science Planning Project, ‘A Study on the Preservation and Diversified Development of Jinggang Hakka Mountain Songs’ (Projectnr. YG2020158).
Materialen
| Naam | Bedrijf | Catalogusnummer | Opmerkingen |
|---|---|---|---|
| Adobe Acrobat Reader | Adobe | 26.001.21346 | Gebruikt voor het openen en beoordelen van PDF-partituurbestanden tijdens de indieningscontrole en formele beoordeling. |
| Audacity | Audacity | 3.7.7 | Gebruikt voor het openen en beoordelen van MP3-audioweergaven die bij de ingediende composities horen. |
| FACETS | Winsteps | 3.83.6 | Gebruikt voor multi-facet Rasch-analyse. |
| HD 280 Pro headphones | Sennheiser | 506845 | Gesloten monitoring-hoofdtelefoons gebruikt voor gestandaardiseerd luisteren tijdens het beoordelen van ingediende audiobestanden. |
| Microsoft 365 Apps for business, including Excel | Microsoft | O365BusinessRetail | Gebruikt voor score-invoer, assemblage van datasets in lang formaat en datacontrole voorafgaand aan de Rasch-analyse. |
| Moodle LMS | Moodle | MOODLE_5013 | Gebruikt als het institutionele leerbeheersysteem voor het indienen van opdrachten en het verzamelen van bestanden. |
| MuseScore Studio | MuseScore | 4.6.5 | Gebruikt voor de voorbereiding, notatie en export van originele compositiebestanden in partituurgebaseerde formaten. |
| OptiPlex Tower Plus 7020 Desktop | Dell | QBS1250 | Gebruikt als werkstation voor bestandsbeheer, administratie van de beoordeling en statistische analyse. |
Referenties
- UNESCO. Road Map for Arts Education: Building Creative Capacities for the 21st Century. Paris: UNESCO; 2006.
- Teaching Guidance Committee for Higher Education Institutions, Ministry of Education of the People’s Republic of China. National Standards for Teaching Quality of Undergraduate Major Programs in Regular Higher Education Institutions, Volume II. Beijing: Higher Education Press; 2018.
- Bolden B, DeLuca C. Nurturing student creativity through assessment for learning in music classrooms. Res Stud Music Educ. 2022;44(1):273-289. doi:10.1177/1321103X211054793.
- Escorihuela G, Martínez-Bayona T, Marzal L. Competence-based assessment in higher music education: faculty perceptions in the Valencian Community. Front Educ. 2025;10:1697717. doi:10.3389/feduc.2025.1697717.
- Moura N, Dias P, Veríssimo L, Oliveira-Silva P, Serra S. Solo music performance assessment criteria: a systematic review. Front Psychol. 2024;15:1467434. doi:10.3389/fpsyg.2024.1467434.
- Said-Metwaly S, Van den Noortgate W, Kyndt E. Approaches to measuring creativity: a systematic literature review. Creat Theor Res Appl. 2017;4(2):238-275. doi:10.1515/ctra-2017-0013.
- Uto M. A multidimensional generalized many-facet Rasch model for rubric-based performance assessment. Behaviormetrika. 2021;48:425-457. doi:10.1007/s41237-021-00144-w.
- Tavakol M, Pinner G. Using the many-facet Rasch model to analyse and evaluate the quality of an objective structured clinical examination: a non-experimental cross-sectional design. BMJ Open. 2019;9(9):e029208. doi:10.1136/bmjopen-2019-029208.
- Hung SP, Chen PH, Chen HC. Improving creativity performance assessment: a rater effect examination with many-facet Rasch model. Creat Res J. 2012;24(4):345-357. doi:10.1080/10400419.2012.730331.
- Huang HY. Understanding rater cognition in performance assessment: a mixed IRTree approach. Appl Psychol Meas. 2025;49(7):331-349. doi:10.1177/01466216251333578.
- Ooi PS, Engelhard G Jr. Examining rater judgements in music performance assessment using many-facets Rasch rating scale measurement model. J Appl Meas. 2019;20(1):79-99.
- Eckes T. Introduction to Many-Facet Rasch Measurement: Analyzing and Evaluating Rater-Mediated Assessments. Berlin: Peter Lang; 2015.
- Engelhard G Jr, Wind SA. Invariant Measurement with Raters and Rating Scales: Rasch Models for Rater-Mediated Assessments. New York: Routledge; 2018.
- Hickey M. An application of Amabile’s consensual assessment technique for rating the creativity of children’s musical compositions. J Res Music Educ. 2001;49(3):234-244. doi:10.2307/3345709.
- Schiavio A, Moran N, van der Schyff D, Biasutti M, Parncutt R. Processes and experiences of creative cognition in seven Western classical composers. Music Sci. 2022;26(2):303-325. doi:10.1177/1029864920943931.
- Nijs L, Grinspun N, Fortuna S. Developing musical creativity through movement: navigating the musical affordance landscape. Creat Res J. 2025;37(3):427-451. doi:10.1080/10400419.2023.2299159.
- Zhan Z, He J, Zhong Y. How does problem-solving pedagogy affect creativity? A meta-analysis of empirical studies. Front Psychol. 2024;15:1287082. doi:10.3389/fpsyg.2024.1287082.