Questo studio valuta il comportamento creativo negli studenti di musica applicando una rubrica strutturata per la valutazione della composizione e una misurazione Rasch a più faccette a opere musicali originali.
Articolo di ricerca
Valutazione del comportamento creativo negli studenti di musica attraverso opere compositive utilizzando un modello Rasch a più facce
In questo articolo
Sommario
Abstract
La valutazione della creatività nell'insegnamento della musica rimane difficile perché i giudizi sulle opere musicali originali sono influenzati da preferenze soggettive, interpretazioni disomogenee dei criteri e differenze nella severità dei valutatori. Nell'ambito della formazione alla composizione, le opere completate possono essere considerate prodotti osservabili che mostrano come gli studenti generano, sviluppano, trasformano, affinano e realizzano idee musicali. Questo studio ha esaminato se una rubrica strutturata per la valutazione delle composizioni, abbinata alla misurazione di Rasch a più facce, potesse sostenere una valutazione riproducibile del comportamento creativo tra studenti universitari di musica. Composizioni originali di 80 studenti di musica sono state valutate indipendentemente da nove valutatori addestrati mediante una rubrica a cinque punti. La rubrica comprendeva cinque dimensioni correlate del comportamento creativo compositivo: novità, fluidità, flessibilità, precisione e fattibilità. I dati delle valutazioni sono stati analizzati utilizzando il software FACETS, versione 3.83.6, specificando studenti, criteri e valutatori come facce distinte all'interno di una comune struttura logit di misurazione. Il disegno di valutazione prevedeva 3.600 opportunità di valutazione attese; sono stati analizzati 3.598 punteggi validi osservati, con due dati mancanti. L'adattamento complessivo del modello ha sostenuto l'interpretazione del disegno di valutazione, e la struttura ordinata delle categorie ha indicato che la scala a cinque punti funzionava nella direzione prevista. Le stime dei criteri hanno mostrato che la novità era relativamente più facile da dimostrare, mentre fattibilità e flessibilità risultavano più difficili da esprimere nelle composizioni completate. Sono state inoltre osservate differenze nella posizione d'uso dei punteggi da parte dei valutatori, a sostegno della necessità di modellare gli effetti dei valutatori piuttosto che basarsi esclusivamente sui punteggi grezzi. La separazione tra studenti è risultata moderata, indicando che lo strumento era più adatto a una stratificazione ampia delle prestazioni che a un ordinamento preciso a livello individuale. Questi risultati suggeriscono che una rubrica basata sulla composizione, abbinata alla misurazione di Rasch a più facce, può fornire un quadro trasparente per la valutazione del comportamento creativo nell'istruzione musicale superiore.
Introduzione
La creatività è diventata un risultato centrale dell'educazione artistica poiché ci si aspetta che gli studenti non solo riproducano tecniche consolidate, ma creino anche opere originali, significative e comunicabili all'interno di un contesto disciplinare1. Nell'educazione musicale, questa aspettativa è particolarmente importante nella formazione alla composizione, dove gli studenti devono trasformare le conoscenze musicali in opere compiute attraverso decisioni riguardo a tema, melodia, ritmo, forma, sviluppo e realizzazione. La valutazione risulta difficile in questo contesto perché la creatività musicale non può essere valutata esclusivamente in base al gusto personale o a un'impressione artistica generale. Una composizione completata fornisce evidenze osservabili di un comportamento creativo, ma tali evidenze devono essere tradotte in criteri espliciti affinché la valutazione risulti trasparente e riproducibile2. In assenza di criteri chiari, i punteggi potrebbero riflettere le preferenze del valutatore, la familiarità stilistica o un'impressione generale di qualità piuttosto che le caratteristiche specifiche dell'opera presentata.
Lo studio attuale definisce il comportamento creativo compositivo come l'espressione osservabile di un lavoro musicale creativo in una composizione completata. La griglia valutativa utilizza cinque dimensioni: novità, fluidità, flessibilità, precisione e fattibilità. Queste dimensioni non sono considerate come sottotraiettorie identiche né come costrutti teorici separati. Piuttosto, vengono utilizzate come manifestazioni a livello di criterio di un unico ampio costrutto di prestazione basato sul prodotto: la misura in cui uno studente è in grado di generare, sviluppare, trasformare, perfezionare e realizzare idee musicali in un'opera completata. La novità rappresenta l'originalità dell'idea musicale o del trattamento; la fluidità rappresenta la continuità e la produttività dello sviluppo delle idee; la flessibilità rappresenta approcci diversi, trasformazioni o cambiamenti adattivi nella gestione musicale; la precisione rappresenta il perfezionamento, l'organizzazione interna e la concretezza dei dettagli musicali; e la fattibilità rappresenta la validità artistica e pratica della composizione completata3. Questa struttura collega la generazione delle idee, lo sviluppo delle idee, la trasformazione adattiva, il perfezionamento tecnico e la realizzabilità in un unico prodotto musicale completato.
Questo approccio costruttivista riduce anche la sovrapposizione dei criteri e la contaminazione del costrutto. La precisione si è limitata al perfezionamento, all'organizzazione interna e ai dettagli musicali concreti, mentre la fattibilità è stata definita come la praticabilità artistica e concreta dell'opera come composizione realizzata. Analogamente, la fluidità si è limitata a uno sviluppo sostenuto e produttivo, mentre la flessibilità è stata definita come variazione, trasformazione e capacità di gestione musicale adattativa. Un'opera può contenere un'idea originale ma uno sviluppo limitato, oppure può essere coerente e tecnicamente stabile pur mostrando scarsa trasformazione. È pertanto necessaria una griglia di valutazione basata su criteri, poiché un punteggio grezzo totale può oscurare profili creativi disomogenei all'interno della stessa composizione4.
La valutazione musicale basata su valutatori richiede attenzione sia al comportamento del valutatore sia alla prestazione dello studente. Anche quando i valutatori utilizzano la stessa griglia di valutazione, possono differire per severità, uso delle categorie e interpretazione dei criteri. Queste differenze non sono semplici problemi procedurali; fanno parte della situazione di misurazione e possono influenzare il significato dei punteggi osservati5. La misurazione Rasch a più fattori è adatta a questo contesto perché stima studenti, valutatori, criteri e categorie della scala di valutazione all'interno di un comune framework logit. Le misure degli studenti rappresentano la prestazione creativa stimata dopo la correzione per la difficoltà del criterio e la severità del valutatore, le misure dei criteri indicano quanto sia difficile dimostrare ciascuna dimensione, le misure dei valutatori indicano la posizione relativa nell'uso dei punteggi e le statistiche delle categorie mostrano se la scala di valutazione funziona nell'ordine previsto6. Questo approccio è più solido rispetto al semplice ricorso a punteggi grezzi o medi perché separa diverse fonti di variazione del punteggio che altrimenti sarebbero combinate nella valutazione osservata.
L'utilizzo di un modello di Rasch multifaccia unidimensionale richiede un argomento costruttivo chiaro. In questo studio, la specifica unidimensionale è giustificata a livello di comportamento creativo compositivo globale, e non assumendo che le cinque dimensioni della griglia siano identiche. Ci si aspetta che i cinque criteri rappresentino aspetti osservabili distinti di un ampio costrutto di prestazione, così come espresso in opere musicali completate. Questa ipotesi è stata considerata un'assunzione empirica di misurazione ed è stata esaminata attraverso l'adeguatezza dei criteri, il funzionamento della scala di valutazione, le associazioni residue tra i criteri e le diagnosi relative alle interazioni tra valutatore e criterio e tra studente e criterio7. Sebbene gli approcci di Rasch multifaccia siano stati applicati nella valutazione basata sulla prestazione, il loro utilizzo sistematico nella valutazione di composizioni complete all'interno dell'insegnamento musicale superiore rimane limitato8. La ricerca esistente sulla valutazione musicale ha sottolineato la difficoltà di giudicare prodotti artistici aperti e la necessità di criteri di valutazione espliciti9, mentre la ricerca sulla misurazione ha dimostrato che la valutazione della prestazione basata su griglie può trarre beneficio dalla modellizzazione diretta degli effetti del valutatore e dei criteri10. Alla luce di questo contesto, il presente studio applica un quadro di Rasch multifaccia a composizioni originali prodotte da studenti universitari di musica. Lo studio affronta tre domande: se il quadro proposto di valutazione della composizione funziona adeguatamente come progetto di misurazione; in che modo la difficoltà dei criteri e la variazione nell'uso dei punteggi da parte dei valutatori contribuiscono alla variazione osservata nei punteggi; e come si distribuiscono le misure delle prestazioni creative degli studenti dopo la modellizzazione degli effetti dei criteri e dei valutatori.
Protocollo
Lo studio è stato approvato dal Comitato Etico dell'istituto di Musica e Danza del Jiangxi Institute of Technology, Nanchang 330098, Jiangxi, Cina, con il numero di approvazione YG2020158. Il consenso informato scritto è stato ottenuto da tutti i partecipanti prima dell'amministrazione del compito e della raccolta dei dati. Ai partecipanti è stato comunicato che le composizioni inviate sarebbero state utilizzate esclusivamente per valutazioni basate sulla ricerca, dopo la rimozione delle informazioni identificabili. I nomi degli studenti, gli identificatori di classe, i metadati dei file contenenti informazioni sull'autore e altri identificatori diretti sono stati rimossi prima della valutazione. Tali identificatori non sono stati forniti ai valutatori. Tutte le opere inviate sono state rese anonime prima della valutazione e dell'analisi, e tutti i file analitici sono stati elaborati utilizzando esclusivamente identificatori codificati.
Impostazione dello studio, reclutamento dei partecipanti e assegnazione dei compiti
Lo studio è stato condotto presso la Scuola di Musica e Danza dell'Istituto di Tecnologia di Jiangxi, Nanchang, Jiangxi, Cina, da settembre 2025 a gennaio 2026. I partecipanti sono stati reclutati dalla coorte del terzo anno di Musicologia perché gli studenti a questo livello avevano già completato il programma fondamentale di teoria musicale, pratica esecutiva, composizione di musica elettronica e corsi relativi alla composizione prima del semestre dello studio.
La coorte di partenza comprendeva 96 studenti del terzo anno di Musicologia. Tutti i 96 studenti sono stati contattati. Quattro studenti non hanno fornito il consenso scritto e pertanto non sono stati sottoposti allo screening. I restanti 92 studenti hanno fornito un consenso informato per iscritto e sono stati sottoposti a screening. Dodici studenti sono stati esclusi prima dell'analisi finale. I motivi dell'esclusione sono stati: consegne incomplete della composizione per cinque studenti, mancanza di uno o più elementi strutturali obbligatori per tre studenti, consegne effettuate dopo la scadenza per due studenti, file illeggibili o corrotti per un studente e ritiri prima della valutazione per un altro studente. Il campione finale per l'analisi comprendeva 80 studenti universitari, di cui 32 maschi e 48 femmine.
Il campione analitico finale rappresentava l'intero corpus disponibile di composizioni anonime e valutabili, ottenuto dalla coorte reclutata dopo l'applicazione delle regole di consenso, selezione ed esclusione. Questa dimensione del campione non era giustificata considerando le 3.600 opportunità di valutazione come osservazioni indipendenti a livello studentesco. Invece, il disegno Rasch a più fattori ha utilizzato valutazioni ripetute delle 80 composizioni per stimare le misure di prestazione creativa degli studenti, modellizzando contemporaneamente la difficoltà dei criteri, la variazione nell'uso del punteggio da parte dei valutatori e il funzionamento delle categorie della scala di valutazione. L'inclusione di nove valutatori aveva lo scopo di supportare la stima della variazione nell'uso del punteggio legata ai valutatori e di ridurre la dipendenza dall'interpretazione soggettiva di un singolo correttore riguardo alla qualità delle composizioni aperte. Gli studenti erano idonei se iscritti a tempo pieno al terzo anno del programma di Musicologia, se avevano completato i corsi fondamentali richiesti prima del semestre dello studio, se avevano fornito consenso informato scritto e se avevano consegnato una composizione originale completa entro il periodo prestabilito per la consegna. Gli studenti venivano esclusi se non consegnavano un lavoro completo, se la consegna non soddisfaceva i requisiti prefissati del compito, se il file non poteva essere aperto o valutato, se la consegna avveniva dopo la scadenza prevista o se il consenso veniva ritirato prima della valutazione.
Ogni partecipante ha completato un singolo compito originale di composizione seguendo le stesse istruzioni scritte. Agli studenti era consentito scegliere autonomamente tema e stile, ma ogni elaborato doveva includere testo, melodia, ritmo e organizzazione formale. Lavori di gruppo, riconsegne di compiti già svolti, materiale pubblicato adattato, file provvisori e revisioni in ritardo sono stati esclusi dal dataset formale di valutazione. Da ogni partecipante è stata accettata una sola versione finale. I requisiti dettagliati del compito e le specifiche di consegna sono riportati nel Supplementary Table 1. L'intero flusso di reclutamento e analisi è mostrato in Figure 1.
Raccolta, selezione e anonimizzazione di opere compositive
Tutte le composizioni sono state inviate tramite il sistema istituzionale di gestione dell'apprendimento entro le 23:59 dell'ultimo giorno della settimana prestabilita per l'assegnazione. Ogni invio includeva un file di spartito in formato Portable Document Format (PDF) e un file audio MP3 allegato. Dopo la scadenza del termine, il team di ricerca ha scaricato tutti i file inviati attraverso lo stesso canale di consegna e ha esaminato ciascuna opera in base ai requisiti prefissati del compito prima di trasmetterla ai valutatori. Sono state conservate soltanto le composizioni che contenevano testo, melodia, ritmo e organizzazione formale e che rappresentavano un prodotto finale completo. Sono stati esclusi prima della valutazione i file che erano solo bozze, opere incomplete, file privi di componenti strutturali essenziali, invii in ritardo e file illeggibili o danneggiati.
A ogni elaborato idoneo è stato assegnato un codice anonimo per studente compreso tra S1 e S80. Prima della distribuzione dei file per la valutazione, sono stati rimossi i nomi degli studenti, gli identificativi della classe, i metadati dei file contenenti informazioni sull'autore e tutti gli altri identificativi diretti. Il file di collegamento, che associa l'identità del partecipante al codice anonimo dello studio, è stato conservato separatamente dal ricercatore principale in un file protetto da password. Questo file di collegamento non era accessibile ai valutatori né all'analista durante la stima del modello. Il corpus finale per la valutazione era costituito da 80 composizioni anonime e valutabili, ciascuna rappresentata da un file PDF per la valutazione e da una registrazione audio in formato MP3.
Griglia di valutazione
La griglia di valutazione ha esaminato cinque dimensioni del comportamento creativo nelle opere compositive: novità, fluidità, flessibilità, precisione e fattibilità. La griglia è stata sviluppata dal team di ricerca in consultazione con tre docenti esperti nell'insegnamento della composizione, nella teoria musicale e nella valutazione dell'educazione musicale. Una versione iniziale è stata riesaminata utilizzando cinque composizioni di prova, non incluse nello studio, dell'anno accademico precedente. La formulazione dei criteri e dei cinque livelli di punteggio è stata rivista dopo la valutazione pilota per ridurre l'overlapping tra fattibilità e precisione e per distinguere la fluidità dalla flessibilità. La griglia finale è stata definita il 20 settembre 2025, prima della formazione dei valutatori e dell'inizio della valutazione formale. Nessuna modifica è stata apportata alla formulazione dei criteri o ai livelli di punteggio dopo l'inizio della valutazione formale.
Nella rubrica finale, la novità faceva riferimento alla peculiarità e all'originalità dell'idea musicale o del suo trattamento. La fluidità indicava la continuità e la produttività dello sviluppo delle idee all'interno dell'opera. La flessibilità riguardava gli approcci diversificati, le trasformazioni o i cambiamenti adattivi nel trattamento musicale. La precisione si riferiva al perfezionamento, all'organizzazione interna e alla concretezza dei dettagli musicali. La fattibilità indicava la praticabilità artistica e operativa dell'opera completata come composizione realizzata. Tutte e cinque le dimensioni sono state valutate utilizzando lo stesso formato di risposta a cinque punti. Un punteggio di 1 indicava una manifestazione molto debole della dimensione considerata, mentre un punteggio di 5 indicava una manifestazione molto forte. Non erano ammessi mezzi punti. Tutti i valutatori hanno utilizzato lo stesso ordine dei criteri, gli stessi punti di riferimento per i punteggi e un modulo standardizzato per la valutazione. Le definizioni operative e i punti di riferimento per i punteggi relative a tutte e cinque le dimensioni sono riportate in Tabella 1.
Reclutamento, cecità e formazione dei valutatori
Sono stati reclutati dall'Istituto di Tecnologia del Jiangxi nove valutatori con esperienza pregressa nella valutazione di materie musicali o artistiche. Il panel di valutatori comprendeva cinque membri del personale docente di corsi legati alla musica, due membri del personale docente di educazione musicale e due istruttori senior post-laurea con esperienza nella valutazione artistica. Ciascun valutatore aveva almeno tre anni di esperienza nell'insegnamento, nella correzione, nella valutazione o nella valutazione artistica. A ciascun valutatore è stato assegnato un codice anonimo da J1 a J9. Tutti i valutatori hanno corretto lo stesso corpus anonimo di 80 composizioni. Durante l'intera fase formale di correzione, i valutatori sono stati mantenuti all'oscuro dell'identità degli studenti, delle informazioni demografiche, dell'appartenenza alle classi e dei punteggi assegnati da tutti gli altri valutatori.
Prima della valutazione formale, tutti i valutatori hanno completato una sessione standardizzata di formazione e calibrazione della durata di circa 120 minuti. Durante la sessione, il gruppo di ricerca ha distribuito la griglia di valutazione scritta, gli indicatori di punteggio, il foglio di valutazione standardizzato e le istruzioni per la valutazione. I cinque criteri e le cinque categorie di risposta sono stati spiegati nello stesso ordine fisso utilizzato durante la valutazione formale. Successivamente, sono state utilizzate tre composizioni anonime di calibrazione per la pratica della valutazione. Queste tre composizioni di calibrazione erano indipendenti dalle 80 composizioni dello studio formale e non sono state incluse nel set di dati analitico. Ciascun valutatore ha assegnato il punteggio alle tre opere di calibrazione in modo indipendente, prima della discussione. Le discrepanze sono state esaminate criterio per criterio al fine di chiarire il significato di ciascuna dimensione, la distinzione tra categorie di punteggio adiacenti e l'uso dell'intera scala a cinque punti. Lo scopo della sessione di calibrazione era standardizzare l'interpretazione della griglia di valutazione, senza imporre punteggi identici. Il flusso di lavoro della formazione e la procedura di calibrazione sono riportati in Supplementary Table 2.
Procedura formale di valutazione
Durante la valutazione formale, ogni valutatore ha esaminato in modo indipendente ogni elaborato in forma anonima rispetto a tutti e cinque i criteri. I valutatori hanno esaminato sia il file PDF dello spartito sia la relativa riproduzione audio in formato MP3 per ciascun brano. I file PDF sono stati aperti con un software lettore PDF, mentre i file audio sono stati analizzati utilizzando Audacity e cuffie Sennheiser HD 280 Pro, impiegando lo stesso tipo di workstation usato per la gestione della valutazione. Ai valutatori è stato richiesto di esaminare prima il file dello spartito, ascoltare l'intera riproduzione audio una volta, quindi completare la valutazione per ciascun criterio dopo una seconda analisi mirata, se necessario. È stato consentito un ascolto ripetuto fino a due ulteriori volte per ciascun brano, qualora il valutatore avesse necessità di verificare dettagli relativi a ritmo, melodia, struttura o realizzazione. Durante la valutazione formale, ai valutatori non è stato permesso discutere delle singole proposte, e nessun valutatore ha avuto accesso ai punteggi assegnati dagli altri valutatori.
Le 80 composizioni anonime sono state presentate a ciascun valutatore in un ordine casuale generato prima della valutazione. Ogni valutatore ha utilizzato lo stesso insieme anonimo di file, la stessa griglia di valutazione, lo stesso foglio di punteggio e le stesse istruzioni per la valutazione. La valutazione formale è stata completata individualmente in una a tre sessioni per ciascun valutatore, e nessuna singola sessione di valutazione ha superato le 3 ore. Quando la valutazione è stata completata in più sessioni, è stato utilizzato lo stesso ambiente di valutazione, lo stesso insieme di file e lo stesso foglio di risposta. Ogni composizione prevedeva 45 opportunità di valutazione, corrispondenti a nove valutatori moltiplicati per cinque criteri. Con 80 composizioni incluse nel corpus finale, il disegno della valutazione ha generato 3.600 opportunità di valutazione previste prima dei controlli per valutazioni mancanti.
Inserimento dei dati, struttura della codifica e controllo di qualità
Dopo la valutazione formale, tutte le valutazioni osservate sono state inserite in un dataset analitico in formato lungo utilizzando Microsoft Excel. La progettazione Rasch a più facce includeva tre facce: studenti, valutatori e criteri. Gli studenti sono stati codificati come S1 fino a S80, i valutatori come J1 fino a J9 e i criteri come C1 fino a C5. I criteri sono stati codificati come C1 per novità, C2 per fluidità, C3 per flessibilità, C4 per precisione e C5 per fattibilità. Ogni record di valutazione valido rappresentava una valutazione osservata per studente, valutatore e criterio e conteneva student_id, rater_id, criterion_id, criterion_name e score. Le categorie di punteggio valide sono state registrate esclusivamente come numeri interi da 1 a 5.
Prima dell'adattamento del modello, il set di dati è stato verificato per la presenza di record duplicati, identificatori mancanti, punteggi mancanti, codici studente non validi, codici valutatore non validi, codici criterio non validi, discrepanze tra criterion_id e criterion_name e punteggi al di fuori dell'intervallo consentito. Il disegno completo ha generato 3.600 opportunità di valutazione previste. Il file analitico finale conteneva 3.598 valutazioni osservate valide e due opportunità di valutazione mancanti. Le due valutazioni mancanti sono state registrate come assenti, non sono state imputate e non sono state ricodificate in alcuna categoria di punteggio valida. Record duplicati e incongruenze di codifica sono stati verificati rispetto ai fogli originali di valutazione prima della stima del modello. La struttura delle variabili richiesta e il formato di codifica sono presentati nella Tabella Supplementare 3.
Specifica del modello di Rasch a più facce
I dati di valutazione puliti sono stati analizzati utilizzando FACETS, versione 3.83.6. Il modello ha stimato contemporaneamente la prestazione creativa degli studenti, la difficoltà dei criteri, la posizione nell'uso del punteggio da parte dei valutatori e le soglie delle categorie della scala di valutazione su una scala logit comune. Gli studenti sono stati definiti come la faccetta di misurazione principale, i criteri come la faccetta di difficoltà e i valutatori come la faccetta dei valutatori. Il file di controllo di FACETS ha specificato tre faccette, con etichette per gli studenti da S1 a S80, etichette per i criteri da C1 a C5 ed etichette per i valutatori da J1 a J9. È stato applicato un comune modello di scala di valutazione a cinque categorie per tutti e cinque i criteri, poiché tutti i criteri utilizzavano la stessa struttura di risposta ordinata da 1 a 5. Il modello è stato stimato mediante stima congiunta della massima verosimiglianza. Non sono stati applicati valori ancorati esterni. Le faccette degli studenti e dei criteri sono state centrate per la rappresentazione sulla scala logit comune, mentre la faccetta dei valutatori è stata stimata liberamente per rappresentare la variabilità nell'uso del punteggio tra i diversi valutatori. La struttura del file di controllo di FACETS, la codifica delle faccette, l'impostazione della scala di valutazione, il metodo di stima, la regola di centratura, la regola di convergenza, le richieste di output e le soglie diagnostiche sono riassunte nella Tabella supplementare 4.
Il modello è stato specificato come segue:
Dove Pnijk indica la probabilità che lo studente n riceva la categoria k dal valutatore j in base al criterio i piuttosto che categoria k − 1, Bn indica la misura stimata della performance creativa dello studente n, Di indica la difficoltà del criterio i, Rj indica il punteggio del valutatore e la posizione di utilizzo del valutatore j, e Fk indica la soglia tra categorie di punteggio adiacenti. Le categorie di punteggio erano ordinate da 1 a 5. In questa parametrizzazione, posizioni più elevate del valutatore corrispondono a un uso maggiore dei punteggi nell'output di FACETS. Il modello iniziale è stato adattato ai punteggi validi disponibili senza raggruppare le categorie. I punteggi mancanti sono stati trattati come dati mancanti, senza essere imputati né ricodificati in categorie di punteggio.
L'analisi FACETS è stata eseguita con un massimo di 100 iterazioni e un criterio di convergenza inferiore a 0,01 logit per il cambiamento massimo dei parametri tra iterazioni consecutive. Le specifiche di output includevano statistiche riepilogative delle faccette, misure individuali delle faccette, errori standard del modello, statistiche del quadrato medio di infit e outfit, medie osservate, medie corrette, indici di separazione e di affidabilità, test del chi-quadro, statistiche delle categorie, soglie Rasch-Andrich, errori standard delle soglie, output delle probabilità delle categorie, residui standardizzati, output dei bias tra valutatori e criteri e output dei bias tra studenti e criteri. Il file di controllo FACETS, il set di dati di valutazione in formato lungo anonimizzato, l'output principale del modello e l'output dell'analisi di sensibilità sono stati conservati come file di analisi riproducibili.
Valutazione e regole diagnostiche
Le statistiche del chi-quadrato medio interno (infit mean-square) e del chi-quadrato medio esterno (outfit mean-square) sono state utilizzate per valutare l'adeguatezza del modello per studenti, criteri e valutatori. I valori compresi tra 0,60 e 1,30 sono stati considerati come intervallo accettabile principale per l'interpretazione di routine. I valori superiori a 1,50 sono stati segnalati per un riesame, mentre quelli superiori a 2,00 sono stati considerati un notevole scostamento dall'adeguatezza del modello. Per ogni studente con valori del chi-quadrato medio interno o esterno superiori a 2,00, i record originali di valutazione sono stati confrontati con il dataset pulito, e il modello è stato ricalcolato escludendo tale studente, come analisi di sensibilità. I casi non sono stati rimossi dal modello principale soltanto a causa di uno scostamento dall'adeguatezza; l'analisi di sensibilità è stata utilizzata per determinare se le conclusioni principali riguardo ai criteri, ai valutatori e alla scala di valutazione rimanevano stabili. Queste regole per la verifica dell'adeguatezza del modello e per l'analisi di sensibilità sono elencate nella Tabella Supplementare 4.
Gli indici di separazione e di affidabilità sono stati esaminati per ogni aspetto al fine di determinare se fosse presente una differenziazione interna significativa e se le misure risultanti fossero sufficientemente stabili per l'interpretazione. Valori di separazione superiori a 2,00 sono stati interpretati come indicativi di una differenziazione sostanziale all'interno di un aspetto. Una separazione tra studenti inferiore a 2,00 è stata interpretata come indicativa di una stratificazione ampia piuttosto che di un ordinamento individuale preciso. Valori di affidabilità più vicini a 1,00 sono stati interpretati come indicanti una maggiore stabilità della misurazione. Il funzionamento della scala di valutazione è stato esaminato mediante statistiche delle categorie, medie osservate, valori medio-quadratici dell'outfit, soglie Rasch-Andrich, errori standard delle soglie e curve di probabilità delle categorie. La prestazione delle categorie è stata considerata accettabile quando le medie osservate sono aumentate in modo monotono attraverso le categorie di punteggio, le soglie adiacenti si sono susseguite in ordine crescente e le cinque categorie hanno formato regioni di probabilità interpretabili lungo il continuo latente.
I risultati relativi ai bias e alle interazioni sono stati esaminati per le combinazioni valutatore-per-criterio e studente-per-criterio. Ogni interazione con un valore assoluto standardizzato del bias t pari a 2,00 o superiore è stata segnalata per un riesame. Questi controlli diagnostici sono stati utilizzati per identificare eventuali incoerenze nell'interpretazione dei criteri o schemi di risposta inattesi, e non per escludere automaticamente valutazioni. La dipendenza locale e la sovrapposizione del costrutto sono state analizzate esaminando l'adeguatezza del criterio e le associazioni residue tra tutte le 10 possibili coppie di criteri. Ogni associazione residua pari a 0,30 o superiore tra due criteri è stata segnalata come possibile dipendenza locale ed esaminata alla luce delle definizioni della griglia di valutazione. Questi criteri diagnostici sono riportati anche nella Tabella Supplementare 4. La specifica unidimensionale di Rasch è stata quindi valutata come assunzione di misurazione, piuttosto che essere assunta automaticamente. Nell'interpretare le misurazioni degli studenti, le differenze individuali in logit non sono state considerate significative a meno che non superassero l'incertezza di misura corrispondente. L'aspetto studente è stato interpretato principalmente come una distribuzione complessiva della performance creativa compositiva, piuttosto che come un ordinamento preciso degli studenti individuali.
Risultati
Riepilogo generale delle faccette
L'analisi Rasch a più faccette si è basata su un disegno di valutazione completo che includeva 80 composizioni anonime, nove valutatori e cinque criteri di punteggio. Questo disegno ha generato 3.600 opportunità di valutazione previste. Di queste, sono state analizzate 3.598 valutazioni osservate valide, mentre due opportunità di valutazione sono state registrate come mancanti. Le valutazioni mancanti non sono state imputate né ricodificate in alcuna categoria di punteggio valida. Le statistiche complessive delle faccette sono presentate nella Tabella 2. Per le tre faccette modellate, i valori medi dei quadrati medi di infit e outfit erano prossimi a 1,00, indicando un adeguato adattamento complessivo tra modello e dati. Le stime di affidabilità sono state pari a 0,87 per i criteri, 1,00 per i valutatori e 0,78 per gli studenti. I valori di separazione sono stati pari a 2,56 per i criteri, 16,36 per i valutatori e 1,86 per gli studenti. I test chi-quadrato sono risultati significativi per tutte e tre le faccette. La faccetta relativa ai criteri e quella relativa agli studenti sono state centrate a 0,00 logit per la presentazione dei risultati, mentre la faccetta dei valutatori ha mostrato una misura media di 0,62 logit. Le misure degli studenti variavano da -0,80 a 1,12 logit, con un intervallo stimato di 1,92 logit.
Variazione della misura dell'osservatore
Le stime degli annotatori sono riportate nella Tabella 2. I valori medi quadrati dell'infit variavano da 0,73 a 1,26, e i valori medi quadrati dell'outfit variavano da 0,74 a 1,27. Tutti e nove gli annotatori rientravano nell'intervallo accettabile di adattamento compreso tra 0,60 e 1,30. L'aspetto relativo agli annotatori mostrava la maggiore dispersione tra gli aspetti modellati, indicando una chiara variazione nell'utilizzo dei punteggi da parte degli annotatori, nonostante tutti avessero utilizzato la stessa rubrica, lo stesso foglio di valutazione e la stessa procedura di assegnazione del punteggio. J9 presentava la posizione più alta nella misurazione dell'annotatore, pari a 3,37 logit, mentre J8 presentava la posizione più bassa, pari a -0,34 logit. Questa direzione era coerente con le medie osservate e le medie corrette: J9 aveva le medie osservata e corretta più alte, rispettivamente 4,74 e 4,75, mentre J8 aveva le medie osservata e corretta più basse, entrambe pari a 2,77. L'aspetto relativo agli annotatori è stato quindi interpretato come una variazione nella posizione di utilizzo dei punteggi sulla scala logit condivisa, piuttosto che come un semplice ordinamento per severità. J1 e J5 avevano stime identiche pari a 0,86 logit, J3 e J6 avevano stime identiche pari a -0,13 logit, mentre J2 e J4 si trovavano vicino al centro della scala degli annotatori, rispettivamente a 0,03 e -0,15 logit. La dispersione totale delle misurazioni degli annotatori era di 3,71 logit. Il valore di separazione tra annotatori era di 16,36, con un valore chi-quadrato di 1487,8 (df = 8), p < 0,001. Nessun annotatore ha superato la soglia di revisione dell'adattamento, e nessun annotatore è stato escluso dal modello principale.
Difficoltà del criterio e aderenza al criterio
Le stime della difficoltà dei criteri sono presentate nella Tabella 2. La fattibilità ha mostrato la stima di difficoltà più elevata, pari a 0,20 logit, indicando che è stato il criterio più difficile da dimostrare per gli studenti all'interno delle composizioni completate. Flessibilità e precisione si collocano in una fascia intermedia, con stime rispettivamente di 0,07 e 0,02 logit. La fluidità ha una stima di difficoltà di -0,13 logit, mentre la novità presenta la stima più bassa, pari a -0,16 logit, indicando che la novità è stata il criterio più facile da dimostrare in questo corpus. L'intervallo totale della difficoltà dei criteri è stato di 0,36 logit. Tutti e cinque i criteri hanno mostrato valori di adattamento accettabili. I valori medi quadrati dell'infit variavano da 0,89 a 1,11, e quelli dell'outfit da 0,90 a 1,12. Il valore di separazione dei criteri è stato pari a 2,56, mentre il valore chi-quadrato è stato 37,8, df = 4, p < 0,001. Nessun criterio ha superato la soglia di revisione dell'adattamento, e nessun criterio è stato rimosso dal modello.
Distribuzione delle prestazioni creative degli studenti e valutazione dell'adeguatezza
Le misure degli studenti sono riassunte nella Tabella 2 come distribuzione complessiva piuttosto che come classifiche individuali. La dimensione relativa agli studenti ha mostrato un valore di separazione di 1,86 e una stima dell'affidabilità di 0,78. Il valore chi-quadro è stato pari a 354,4 (df = 79), p < 0,001. Le misure stimate per gli studenti variavano da -0,80 a 1,12 logit, con errori standard del modello compresi tra circa 0,19 e 0,20 logit. Poiché il valore di separazione degli studenti era inferiore a 2,00, i risultati degli studenti sono stati interpretati come indicativi di una stratificazione ampia delle prestazioni piuttosto che di una classifica individuale precisa.
Le statistiche di adattamento degli studenti sono state esaminate utilizzando le soglie di adattamento definite. S3 presentava una media quadrata nell'infit di 2,10 e una media quadrata nell'outfit di 2,05, superando così la soglia di non corrispondenza sostanziale. I record originali di valutazione per S3 sono stati verificati rispetto al dataset analitico pulito, inclusi codice dello studente, codice del valutatore, codice del criterio, nome del criterio, categoria del punteggio, stato di record duplicato e stato di valutazione mancante. Non è stato riscontrato alcun errore di inserimento dati, record duplicato, punteggio non valido, discrepanza nella valutazione mancante o incongruenza nella codifica. Pertanto, S3 è stato mantenuto nel modello principale. Successivamente, è stato stimato un modello di sensibilità, escludendo S3, per determinare se le conclusioni del modello principale rimanessero stabili. Questo modello di sensibilità includeva 79 composizioni e 3.555 opportunità di valutazione previste. Il numero di valutazioni valide analizzate nel modello di sensibilità era di 3.553. Nel modello di sensibilità, la fattibilità è rimasta il criterio più difficile a 0,19 logit, e la novità è rimasta il criterio meno difficile a -0,15 logit. La separazione tra criteri è variata da 2,56 a 2,48, l'affidabilità dei criteri da 0,87 a 0,86, la separazione tra valutatori da 16,36 a 16,02, l'affidabilità dei valutatori è rimasta a 1,00, la separazione tra studenti da 1,86 a 1,82 e l'affidabilità degli studenti da 0,78 a 0,77. Le soglie della scala di valutazione sono rimaste ordinate, passando da -2,10, -0,71, 0,69 e 2,12 logit nel modello principale a -2,08, -0,70, 0,68 e 2,10 logit nel modello di sensibilità. Queste variazioni non hanno modificato le conclusioni principali relative ai criteri, ai valutatori, agli studenti o alla scala di valutazione. I risultati dell'analisi di sensibilità sono presentati nella Tabella 3.
Diagnostica della dipendenza locale e dei bias
Sono state esaminate le diagnosi di dipendenza locale per tutte le 10 possibili coppie di criteri tra i cinque criteri di valutazione. Tutte le associazioni residue erano al di sotto della soglia di revisione di 0,30. L'associazione residua più elevata era di 0,24 tra precisione e fattibilità. Le associazioni immediatamente successive erano di 0,21 tra fluidità e flessibilità, 0,18 tra originalità e fluidità, e 0,17 tra originalità e flessibilità. Le rimanenti sei associazioni residue tra coppie di criteri erano anch'esse al di sotto di 0,30 e sono riportate nella Tabella 4. Questi risultati non hanno indicato una dipendenza locale problematica tra i cinque criteri della griglia di valutazione.
L'output del bias per valutatore e criterio è stato esaminato utilizzando una soglia del valore t standardizzato assoluto pari a 2,00. Il valore t standardizzato più elevato per il bias tra valutatore e criterio è stato di 1,84 per J9 relativamente alla fattibilità, valore inferiore alla soglia di revisione. L'output per studente e criterio ha identificato un modello di risposta inatteso per S3. Il valore t standardizzato più elevato per il bias tra studente e criterio è stato di 2,31 per S3 relativamente alla fattibilità, superando la soglia di revisione. Il caso di S3 è stato pertanto verificato confrontandolo con i record originali di valutazione ed esaminato mediante analisi di sensibilità. La verifica non ha rilevato errori di codifica o di inserimento, e il modello di sensibilità non ha modificato le conclusioni sostanziali. I risultati relativi alla dipendenza locale e ai test del bias sono riassunti nella Tabella 4.
Funzionamento della scala di valutazione
I risultati della struttura delle categorie sono mostrati nella Tabella 5. Le misure medie sono aumentate da -0,56 logit nella categoria 1 a 2,23 logit nella categoria 5, indicando che categorie con punteggi più elevati corrispondevano a stime più alte di performance creativa. I valori medi quadrati dell'outfit per le categorie punteggiate variavano tra 0,90 e 1,10. Le soglie di Rasch-Andrich aumentavano in ordine da -2,10, -0,71, 0,69 e 2,12 logit. La transizione dalla categoria 1 alla categoria 2 si verificava a circa -2,10 logit, la transizione dalla categoria 2 alla categoria 3 si verificava intorno a -0,71 logit, la transizione dalla categoria 3 alla categoria 4 si verificava intorno a 0,69 logit e la transizione dalla categoria 4 alla categoria 5 si verificava intorno a 2,12 logit. L'ordine delle soglie e i valori accettabili dell'outfit hanno supportato il mantenimento della struttura originale a cinque categorie. Nessuna categoria è stata accorpata.
Distribuzione delle faccette e struttura della probabilità per categoria
La distribuzione congiunta di valutatori, studenti, criteri e categorie di risposta sulla scala logit comune è mostrata nella Figura 2. La dimensione dei valutatori ha mostrato la maggiore dispersione, riflettendo una chiara variazione nella posizione nell'uso del punteggio da parte dei valutatori. La dimensione dei criteri ha collocato l'originalità al livello di difficoltà più basso e la fattibilità al livello di difficoltà più alto. Le misure degli studenti erano concentrate intorno al centro della scala, con un numero minore di casi alle estremità superiore e inferiore. La mappa a righello è stata utilizzata per mostrare la distribuzione delle misure delle dimensioni e non per supportare classifiche precise dei singoli studenti.
Le curve di probabilità delle categorie sono presentate in Figura 3. La categoria 1 ha mostrato la sua probabilità massima al di sotto di circa -2,10 logit, la categoria 2 ha raggiunto il suo picco tra circa -2,10 e -0,71 logit, la categoria 3 ha avuto il suo massimo tra circa -0,71 e 0,69 logit, la categoria 4 ha mostrato la sua probabilità più alta tra circa 0,69 e 2,12 logit, e la categoria 5 è diventata dominante al di sopra di circa 2,12 logit. I marcatori verticali di soglia in Figura 3 indicano i punti di transizione Rasch-Andrich tra categorie adiacenti. Le categorie adiacenti si sono susseguite in un ordine sequenziale, confermando l'interpretazione secondo cui la scala a cinque punti ha funzionato come previsto.
Disponibilità dei dati:
Il dataset anonimizzato in formato lungo, il codice del dataset e l'output primario di FACETS sono stati depositati in Zenodo con DOI: https://doi.org/10.5281/zenodo.21873801. Il dataset contiene identificatori codificati degli studenti, identificatori dei valutatori, identificatori dei criteri, nomi dei criteri, categorie di punteggio intero valide e indicatori di valutazioni mancanti. Il disegno completo della valutazione prevedeva 3.600 opportunità di valutazione. Di queste, sono state analizzate 3.598 valutazioni valide osservate; due sono state registrate come mancanti e non sono state imputate. L'output primario di FACETS depositato supporta le misure dei facet riportate, le statistiche di adattamento, gli indici di separazione e di affidabilità, le soglie della scala di valutazione, il funzionamento delle categorie e i riepiloghi diagnostici. Le opere originali e i file identificabili non sono disponibili pubblicamente perché il consenso dei partecipanti e le restrizioni istituzionali sulla privacy non consentono la ridistribuzione delle composizioni o dei file individuali degli studenti che potrebbero contenere informazioni sull'autore. L'analisi Rasch a più facet è stata eseguita utilizzando FACETS, versione 3.83.6.
Figura 1: Flusso di lavoro per il reclutamento dei partecipanti, somministrazione del compito, anonimizzazione, valutazione, verifica dei dati e analisi di Rasch a più fattori. Questa figura mostra l'intero flusso di lavoro dello studio, dall'identificazione della coorte iniziale all'analisi finale del modello. La coorte iniziale comprendeva 96 studenti del terzo anno di Musicologia. Tutti i 96 studenti sono stati contattati; quattro non hanno fornito il consenso scritto, 92 sono stati sottoposti a screening e 12 sono stati esclusi prima dell'analisi finale. Il campione analitico finale era composto da 80 composizioni anonime e valutabili. La figura riassume anche l'assegnazione del compito, la consegna dei file, lo screening, l'anonimizzazione, la formazione dei valutatori, la valutazione formale, l'assemblaggio dei dati in formato lungo, il controllo di qualità e l'analisi FACETS. Il disegno della valutazione ha generato 3.600 opportunità di valutazione previste; di queste, sono stati analizzati 3.598 punteggi osservati validi e due sono stati registrati come mancanti. Cliccare qui per visualizzare una versione ingrandita di questa figura.
Figura 2: Mappa a righello verticale di valutatori, studenti, criteri e categorie della scala di valutazione sulla metrica logit comune. Questa figura mostra le posizioni d'uso dei punteggi da parte dei valutatori, la distribuzione delle misure degli studenti, le stime della difficoltà dei criteri e le posizioni delle categorie di risposta su una scala logit condivisa. Posizioni più elevate dei valutatori in questo output corrispondono a un uso più frequente dei punteggi, non a una maggiore severità. La mappa a righello viene utilizzata per visualizzare la distribuzione dei fattori e non è destinata a supportare classifiche precise di singoli studenti. Cliccare qui per visualizzare una versione ingrandita di questa figura.
Figura 3: Curve di probabilità delle categorie per la scala di valutazione a cinque punti. Le linee verticali tratteggiate indicano le soglie delle categorie Rasch-Andrich, che delimitano i punti di transizione stimati tra categorie di risposta adiacenti. Le intersezioni ordinate tra categorie adiacenti mostrano che la scala di risposta a cinque punti ha funzionato nella direzione prevista e supporta la conservazione della struttura originale delle categorie senza doverle raggruppare. Cliccare qui per visualizzare una versione ingrandita di questa figura.
| Originalità | Definizione operativa | Punteggio 1 | Punteggio 2 | Punteggio 3 | Punteggio 4 | Punteggio 5 |
| Novità | Distinzione e originalità dell'idea musicale o del trattamento | Convenzionale o imitativo | Originalità limitata | Qualche traccia di originalità ma irregolare | Chiara originalità in diverse parti | Altamente distintivo e costantemente originale |
| Fluenza | Continuità e produttività dello sviluppo delle idee all'interno dell'opera | Sviluppo molto limitato | Sviluppo scarso | Sviluppo adeguato | Sviluppo ricco e sostenuto | Altamente produttivo e continuamente sviluppato |
| Flessibilità | Utilizzo di approcci diversificati, trasformazioni o cambiamenti adattivi nel trattamento musicale | Unico approccio rigido | Variazione minima | Qualche variazione | Chiara variazione tra sezioni o dispositivi | Fortemente variato e sviluppato in modo adattivo |
| Precisione | Raffinatezza, organizzazione interna e concretezza del dettaglio musicale | Controllo debole e dettagli poco chiari | Raffinatezza limitata | Organizzazione e dettaglio moderati | Buona raffinatezza e organizzazione interna | Alto grado di raffinatezza con dettagli chiari e concreti |
| Fattibilità | Concretizzabilità artistica e pratica della composizione ultimata come opera realizzata | Non realizzabile come opera finita | Fattibilità debole | Fattibilità basilare | Fattibile e musicalmente funzionante | Fortemente fattibile e realizzato in modo convincente |
Tabella 1: Definizioni operative e punteggi di riferimento per le cinque dimensioni del comportamento creativo nelle opere compositive. Questa tabella presenta la griglia finale utilizzata per la valutazione formale. Definisce originalità, fluidità, flessibilità, precisione e fattibilità, fornendo punteggi di riferimento da 1 a 5 per ciascun criterio. Le definizioni distinguono lo sviluppo prolungato delle idee dalla variazione adattativa e il perfezionamento strutturale dalla realizzabilità artistica e pratica effettiva.
| Faccia / Unità | Misura (logit) | ER modello | Infit MnSq | Outfit MnSq | Media osservata | Media equa | Separazione | Affidabilità | Chi-quadrato (gdl) |
| Criteri, complessivo | 0 | 0,05 | 0,99 | 0,99 | 3,36 | 3,43 | 2,56 | 0,87 | 37,8 (4)*** |
| Originalità | -0,16 | 0,05 | 1,01 | 1,07 | 3,46 | 3,54 | — | — | — |
| Fluenza | -0,13 | 0,05 | 1 | 0,95 | 3,44 | 3,52 | — | — | — |
| Flessibilità | 0,07 | 0,05 | 0,89 | 0,93 | 3,32 | 3,39 | — | — | — |
| Precisione | 0,02 | 0,05 | 0,95 | 0,9 | 3,35 | 3,42 | — | — | — |
| Fattibilità | 0,2 | 0,05 | 1,11 | 1,12 | 3,23 | 3,3 | — | — | — |
| Valutatori, complessivo | 0,62 | 0,07 | 0,98 | 0,99 | 3,36 | 3,36 | 16,36 | 1 | 1487,8 (8)*** |
| J1 | 0,86 | 0,06 | 1,26 | 1,27 | 3,59 | 3,59 | — | — | — |
| J2 | 0,03 | 0,06 | 1,1 | 1,1 | 3,02 | 3,02 | — | — | — |
| J3 | -0,13 | 0,06 | 0,73 | 0,74 | 2,91 | 2,91 | — | — | — |
| J4 | -0,15 | 0,06 | 1,07 | 1,07 | 2,9 | 2,9 | — | — | — |
| J5 | 0,86 | 0,06 | 1,26 | 1,27 | 3,59 | 3,59 | — | — | — |
| J6 | -0,13 | 0,06 | 0,73 | 0,74 | 2,91 | 2,91 | — | — | — |
| J7 | 1,19 | 0,06 | 0,77 | 0,77 | 3,8 | 3,81 | — | — | — |
| J8 | -0,34 | 0,06 | 1,06 | 1,06 | 2,77 | 2,77 | — | — | — |
| J9 | 3,37 | 0,11 | 0,87 | 0,93 | 4,74 | 4,75 | — | — | — |
| Studenti, complessivo | 0 | 0,19 | 0,99 | 0,99 | 3,36 | 3,43 | 1,86 | 0,78 | 354,4 (79)*** |
| Intervallo delle misure degli studenti | -0,80 a 1,12 | 0,19–0,20 | — | — | — | — | — | — | — |
| NOTA: Il disegno della valutazione ha generato 3.600 opportunità di valutazione previste, calcolate come 80 composizioni × 9 valutatori × 5 criteri. Il modello principale ha analizzato 3.598 valutazioni osservate valide; due opportunità di valutazione mancavano e non sono state imputate né ricodificate in categorie di punteggio. Per la faccia dei valutatori, le misure dei valutatori sono interpretate qui come posizioni nell'uso del punteggio sulla scala logit condivisa. In questo output, misure più elevate dei valutatori erano associate a medie osservate ed eque più elevate, indicando una tendenza all'uso maggiore di punteggi più alti piuttosto che una maggiore severità. ***= p < 0,001. | |||||||||
Tabella 2: Statistiche riassuntive dell'analisi Rasch a più faccette per criteri, valutatori e studenti. Questa tabella riporta l'output principale di FACETS per le tre faccette modellate, inclusi i valori in logit, gli errori standard del modello, i valori medi quadrati dell'infit e dell'outfit, le medie osservate, le medie corrette, gli indici di separazione, le stime di affidabilità e i test del chi-quadro. Il disegno della valutazione ha generato 3.600 opportunità di valutazione attese; sono state analizzate 3.598 valutazioni valide osservate, e due opportunità di valutazione sono state registrate come mancanti. La difficoltà dei criteri, la posizione nell'uso del punteggio dei valutatori e la distribuzione complessiva delle misure degli studenti sono riportate sulla stessa metrica in logit. Le misure dei valutatori vengono interpretate come posizioni nell'uso del punteggio piuttosto che come un semplice ordinamento di severità, poiché misure più elevate dei valutatori erano associate a medie osservate e medie corrette più elevate. I risultati degli studenti sono riassunti come una distribuzione e non vengono presentati come classifiche individuali precise.
| Metrica | Modello principale | Modello di sensibilità escluso S3 |
| Numero di composizioni | 80 | 79 |
| Opportunità di valutazione previste | 3.600 | 3.555 |
| Record di valutazione validi analizzati | 3.598 | 3.553 |
| Opportunità di valutazione mancanti | 2 | 2 |
| Criterio con difficoltà maggiore | Fattibilità, 0,20 logits | Fattibilità, 0,19 logits |
| Criterio con difficoltà minore | Novità, -0,16 logits | Novità, -0,15 logits |
| Separazione dei criteri | 2,56 | 2,48 |
| Affidabilità dei criteri | 0,87 | 0,86 |
| Separazione dei valutatori | 16,36 | 16,02 |
| Affidabilità dei valutatori | 1 | 1 |
| Separazione degli studenti | 1,86 | 1,82 |
| Affidabilità degli studenti | 0,78 | 0,77 |
| Soglie della scala di valutazione | -2,10, -0,71, 0,69, 2,12 | -2,08, -0,70, 0,68, 2,10 |
| Decisione del modello principale | Modello principale mantenuto | Nessun cambiamento sostanziale |
| NOTA: Il modello principale ha utilizzato 3.598 valutazioni valide osservate su 3.600 opportunità di valutazione previste. Il modello di sensibilità ha escluso S3 e ha utilizzato 3.553 valutazioni valide osservate su 3.555 opportunità di valutazione previste. Le stesse due opportunità di valutazione mancanti erano al di fuori di S3 e quindi sono rimaste mancanti anche nel modello di sensibilità. L'esclusione di S3 non ha modificato sostanzialmente l'ordine dei criteri, gli indici di separazione, le stime di affidabilità né la struttura delle soglie della scala di valutazione. | ||
Tabella 3: Analisi di sensibilità dopo l'esclusione del caso dello studente con adattamento inadeguato. Questa tabella confronta il modello principale con il modello di sensibilità stimato dopo l'esclusione dello studente S3. Il modello principale ha utilizzato 80 composizioni, 3.600 opportunità di valutazione previste e 3.598 valutazioni valide osservate. Il modello di sensibilità ha utilizzato 79 composizioni, 3.555 opportunità di valutazione previste e 3.553 valutazioni valide osservate. La tabella riporta le variazioni nella difficoltà dei criteri, nella separazione dei criteri, nell'affidabilità dei criteri, nella separazione dei valutatori, nell'affidabilità dei valutatori, nella separazione degli studenti, nell'affidabilità degli studenti e nelle soglie della scala di valutazione. L'analisi di sensibilità non ha evidenziato cambiamenti sostanziali nelle conclusioni del modello principale.
| Elemento diagnostico | Soglia di revisione | Valore osservato maggiore / valore osservato | Esito della revisione |
| Associazione residua: novità–fluidità | ≥0,30 | 0,18 | Sotto la soglia |
| Associazione residua: novità–flessibilità | ≥0,30 | 0,17 | Sotto la soglia |
| Associazione residua: novità–precisione | ≥0,30 | 0,12 | Sotto la soglia |
| Associazione residua: novità–fattibilità | ≥0,30 | 0,09 | Sotto la soglia |
| Associazione residua: fluidità–flessibilità | ≥0,30 | 0,21 | Sotto la soglia |
| Associazione residua: fluidità–precisione | ≥0,30 | 0,16 | Sotto la soglia |
| Associazione residua: fluidità–fattibilità | ≥0,30 | 0,14 | Sotto la soglia |
| Associazione residua: flessibilità–precisione | ≥0,30 | 0,15 | Sotto la soglia |
| Associazione residua: flessibilità–fattibilità | ≥0,30 | 0,11 | Sotto la soglia |
| Associazione residua: precisione–fattibilità | ≥0,30 | 0,24 | Sotto la soglia |
| Valore t standardizzato del bias valutatore-per-criterio | Valore assoluto ≥2,00 | 1,84 per J9 sulla fattibilità | Sotto la soglia |
| Valore t standardizzato del bias studente-per-criterio | Valore assoluto ≥2,00 | 2,31 per S3 sulla fattibilità | Revisionato mediante verifica del record originale e analisi di sensibilità |
| Verifica inserimento dati per S3 | Qualsiasi errore di codifica o inserimento | Nessun errore riscontrato | S3 mantenuto nel modello principale |
| Analisi di sensibilità escludendo S3 | Cambiamento nelle conclusioni del modello principale | Nessun cambiamento sostanziale | Modello principale mantenuto |
| NOTA: Sono state revisionate tutte e 10 le associazioni residue tra coppie di criteri. I valori inferiori a 0,30 sono stati interpretati come non indicativi di dipendenza locale problematica tra i cinque criteri della griglia. Le interazioni valutatore-per-criterio e studente-per-criterio sono state revisionate utilizzando una soglia di valore t standardizzato assoluto pari a 2,00. | |||
Tabella 4: Verifiche diagnostiche della dipendenza locale e dei bias. Questa tabella riassume le verifiche diagnostiche relative alla sovrapposizione dei criteri, al bias tra valutatore e criterio, ai modelli di risposta inattesi tra studente e criterio e alla verifica del caso di studente con adattamento scadente. Sono state esaminate tutte le 10 possibili associazioni residue tra coppie di criteri. Le associazioni residue tra i criteri erano inferiori alla soglia di revisione di 0,30. Il valore più elevato del t di bias standardizzato tra valutatore e criterio era al di sotto della soglia di revisione di |t| ≥ 2,00, mentre l’analisi tra studente e criterio ha identificato un modello di risposta inatteso relativo allo studente S3, che è stato esaminato mediante verifica del record originale e analisi di sensibilità. L’analisi di sensibilità non ha evidenziato cambiamenti sostanziali nelle conclusioni principali del modello.
| Categoria di valutazione | Etichetta della categoria | Misura media (logit) | Outfit MnSq | Soglia Rasch-Andrich | Errore standard della soglia | Misura a -0,5 |
| 1 | Scarso | -0,56 | 1 | — | — | — |
| 2 | Minimo | -0,21 | 0,9 | -2,1 | 0,1 | -2,51 |
| 3 | Soddisfacente | 0,25 | 0,9 | -0,71 | 0,05 | -0,73 |
| 4 | Sopra la media | 0,8 | 1,1 | 0,69 | 0,04 | 0,72 |
| 5 | Eccellente | 2,23 | 1,1 | 2,12 | 0,06 | 2,53 |
| NOTA: Le soglie Rasch-Andrich indicano i punti di transizione stimati tra categorie di valutazione adiacenti. Nessuna soglia è riportata per la categoria 1 poiché è la categoria più bassa. "Misura a -0,5" riporta la posizione in logit associata al confine della categoria fornito in FACETS ed è inclusa come indicatore di funzionamento della categoria piuttosto che come stima separata della prestazione dello studente. Nessuna categoria è stata accorpata. | ||||||
Tabella 5: Funzionamento delle categorie della scala di valutazione a cinque punti. Questa tabella riporta statistiche a livello di categoria per la scala di risposta a cinque punti, inclusi i valori medi, i valori quadratici medi dell'outfit, le soglie Rasch-Andrich, gli errori standard delle soglie e l'output del funzionamento delle categorie FACETS "Measure at -0.5". Le soglie Rasch-Andrich indicano i punti di transizione stimati tra categorie di valutazione adiacenti. L'ordine delle soglie mostra che le cinque categorie di risposta progrediscono nella direzione attesa e nessuna categoria è stata accorpata.
Tabella supplementare 1: Requisiti della prova di composizione, flusso di reclutamento e specifiche di consegna. Questa tabella presenta l'ambiente dello studio, il flusso di reclutamento, i criteri di idoneità dei partecipanti, il formato della prova, gli elementi strutturali richiesti, le regole di originalità, i requisiti di consegna, le regole di screening, i motivi di esclusione e l'unità analitica finale. Viene documentato come è stato ottenuto il corpus finale di 80 composizioni anonime e valutabili. Cliccare qui per scaricare il file.
Tabella supplementare 2: Formazione, calibrazione e procedura standardizzata di valutazione. Questa tabella riassume il reclutamento dei valutatori, le qualifiche dei valutatori, la codifica anonima effettuata dai valutatori, i materiali formativi, l'illustrazione della griglia di valutazione, l'illustrazione delle categorie, la valutazione di calibrazione, la revisione delle discrepanze, le procedure di cecità, le restrizioni alla valutazione, i materiali di revisione, la procedura di riproduzione, la regola dell'ascolto ripetuto, l'ordine randomizzato di presentazione e il controllo della durata della valutazione. Cliccare qui per scaricare il file.
Tabella supplementare 3: Struttura del dataset in formato lungo e regole di codifica. Questa tabella presenta la struttura delle variabili, le regole di codifica, i vincoli del dataset, i codici dei criteri e righe di esempio per il dataset analitico in formato lungo. Ogni riga valida rappresenta un evento di valutazione osservato definito dall'identificativo dello studente, dall'identificativo del valutatore, dall'identificativo del criterio, dal nome del criterio e dalla categoria del punteggio. Il disegno della valutazione ha generato 3.600 opportunità di valutazione previste, di cui sono state analizzate 3.598 valutazioni valide osservate, mentre due opportunità di valutazione sono state registrate come mancanti. Cliccare qui per scaricare il file.
Tabella supplementare 4: Specifiche del file di controllo e diagnostiche di FACETS. Questa tabella riporta la struttura del modello FACETS e le impostazioni di riproducibilità, inclusa la versione del software, il tipo di modello, le dimensioni modellate, le categorie di punteggio, la gestione delle valutazioni mancanti, il metodo di stima, il numero massimo di iterazioni, il criterio di convergenza, le richieste di output, le soglie di adattamento, la soglia per la revisione dei bias, la soglia di dipendenza locale e la regola di interpretazione delle misure degli studenti. Le valutazioni mancanti sono state considerate come dati mancanti, non sono state imputate e non sono state ricodificate in categorie di punteggio valide. Cliccare qui per scaricare il file.
Discussione
Lo studio attuale ha applicato un modello di Rasch a più faccette per valutare il comportamento creativo in studenti universitari di musica attraverso opere compositive originali. I risultati hanno mostrato che prestazione dello studente, difficoltà del criterio, variazione della misura dell'esperto valutatore e funzionamento delle categorie della scala di valutazione potevano essere stimati all'interno di una struttura di misurazione comune. Questo risultato sostiene l'uso della modellizzazione a più faccette nella valutazione musicale basata su griglie di valutazione quando i punteggi sono prodotti mediante giudizio esperto piuttosto che attraverso risposte puramente oggettive11. Il modello non ha eliminato la necessità di una valutazione musicale esperta; al contrario, ha fornito un metodo strutturato per esaminare in che modo le faccette studente, criterio e valutatore contribuiscono ai punteggi osservati. Ciò è importante per la valutazione della composizione, poiché opere completate richiedono un giudizio qualitativo, ma i punteggi grezzi da soli non possono indicare se la variazione nei punteggi riflette lo studente, il criterio, il valutatore o la scala di valutazione12.
I risultati relativi ai criteri hanno mostrato che la novità era il criterio meno difficile, mentre la fattibilità e la flessibilità risultavano più complesse all'interno delle composizioni completate. Questo schema dovrebbe essere interpretato come un risultato descrittivo di misurazione, non come prova di un effetto causale dell'insegnamento. Il risultato indica che, in questo corpus, gli studenti hanno dimostrato con maggiore facilità idee musicali originali rispetto a una piena realizzabilità o a una trasformazione adattativa nell'ambito dell'opera completata. Tale distinzione è coerente con la ricerca sulla creatività musicale, che considera la composizione un processo che comprende la generazione di idee, lo sviluppo, la selezione, la riorganizzazione, il perfezionamento e la realizzazione, piuttosto che la semplice originalità13. Sostiene inoltre l'importanza di separare le dimensioni della griglia di valutazione anziché ridurre la performance creativa a un singolo giudizio globale14. Tuttavia, lo studio attuale non può determinare se il modello di difficoltà osservato sia stato causato dalle pratiche didattiche, dal design del compito, dallo stadio di sviluppo degli studenti, dalla formulazione dei criteri o dall'interpretazione degli esperti di valutazione. Studi futuri dovrebbero combinare le valutazioni del prodotto con evidenze di processo, come bozze, cronologie delle revisioni, resoconti riflessivi o interviste sulla composizione, per esaminare come gli studenti passino da idee iniziali a prodotti musicali realizzati.
I risultati dei valutatori hanno mostrato una notevole variazione tra valutatore e misurazione, mentre tutti i valori di adattamento dei valutatori sono rimasti entro il range accettabile definito. Questo schema non deve essere interpretato semplicemente come un fallimento della formazione dei valutatori. Differenze nell'uso dei punteggi da parte dei valutatori sono previste nella valutazione artistica mediata da esperti e costituiscono una delle principali ragioni per l'uso di un modello di Rasch a più fattori15. I risultati attuali mostrano che i valutatori hanno utilizzato la scala in modo generalmente accettabile, pur differendo nel loro uso relativo delle categorie di punteggio. Il modello, pertanto, ha contribuito a correggere la variazione nei punteggi legata ai valutatori prima di interpretare i criteri e le misurazioni degli studenti. Per applicazioni future, la formazione dei valutatori dovrebbe essere abbinata a un monitoraggio ex post della variazione nell'uso dei punteggi, dell'adattamento, dell'uso delle categorie e delle interazioni tra valutatore e criterio, piuttosto che fare affidamento esclusivamente sulla formazione per eliminare tutte le differenze tra i valutatori16.
L'aspetto relativo agli studenti ha mostrato una variazione misurabile ma solo una separazione moderata. La stima dell'affidabilità per gli studenti era di 0,78 e il valore di separazione era di 1,86. Pertanto, le misure degli studenti devono essere interpretate come indicative di una stratificazione generale della prestazione piuttosto che di un ordinamento preciso a livello individuale. Questo aspetto è importante perché piccole differenze tra i logit individuali degli studenti potrebbero essere inferiori agli errori standard di misurazione corrispondenti. Il caso S3, che presenta un adattamento inadeguato, sostiene ulteriormente un'interpretazione cauta a livello individuale. Dopo la verifica del record originale e l'analisi di sensibilità, l'ordine principale dei criteri, il modello delle misure dei valutatori e la struttura delle soglie della scala di valutazione sono rimasti stabili. Il caso S3 è stato quindi mantenuto nel modello principale, ma lo studio non trae conclusioni sostanziali da questo singolo caso. Questa interpretazione è coerente con l'uso dell'analisi di adattamento di Rasch come strumento diagnostico per valutare la stabilità della misurazione piuttosto che come base per affermazioni individuali non supportate17.
Lo studio presenta diversi limiti. In primo luogo, il campione è stato selezionato da un'unica istituzione e da un unico livello accademico, pertanto i risultati non dovrebbero essere generalizzati ad altri gruppi di studenti universitari in Musicologia senza ulteriore validazione. In secondo luogo, lo studio ha valutato soltanto i prodotti finali della composizione, senza includere materiali relativi al processo creativo, come bozze, cronologie delle revisioni, resoconti riflessivi o dati derivanti da protocolli verbali. In terzo luogo, i cinque criteri della griglia di valutazione sono stati considerati manifestazioni correlate del comportamento creativo complessivo nella composizione, e i risultati dell'analisi diagnostica hanno confermato tale specificazione nel presente dataset; tuttavia, ricerche future dovranno verificare se la stessa struttura si mantenga in campioni più ampi, in diverse istituzioni e in compiti compositivi differenti. In quarto luogo, il background dei valutatori è stato modellato soltanto attraverso il fattore "valutatore", e lo studio non ha esaminato direttamente in che modo il background disciplinare, l'esperienza didattica, le preferenze estetiche o l'esperienza specifica nella composizione abbiano contribuito alla variabilità delle misurazioni dei valutatori. Infine, lo studio aveva un disegno trasversale e non prevedeva interventi, pertanto il modello di difficoltà dei criteri non dovrebbe essere utilizzato per inferire l'efficacia didattica o relazioni causali nell'insegnamento.
In conclusione, questo studio dimostra un procedimento riproducibile per valutare il comportamento creativo negli studenti di musica attraverso opere compositive originali, utilizzando una rubrica strutturata e la misurazione di Rasch a più faccette. I risultati mostrano che difficoltà dei criteri, variazione della misura dei valutatori, distribuzione della prestazione degli studenti e funzionamento della scala di valutazione possono essere esaminati all'interno di un unico quadro di misurazione. La novità si è rivelata relativamente più facile da dimostrare, mentre fattibilità e flessibilità sono risultate più difficili nelle composizioni completate. La variazione nella misura dei valutatori è stata sostanziale, confermando la necessità di modellare gli effetti dei valutatori nella valutazione musicale. Le misure degli studenti hanno supportato una stratificazione ampia piuttosto che un ordinamento individuale preciso. Nel complesso, il quadro fornisce una base trasparente per valutare il comportamento creativo basato sulla composizione e per perfezionare la progettazione delle rubriche, il monitoraggio dei valutatori e futuri studi di validazione nell'istruzione musicale superiore.
Dichiarazioni
Gli autori dichiarano di non avere conflitti di interessi. Strumenti di editing linguistico assistiti da intelligenza artificiale sono stati utilizzati esclusivamente per migliorare la leggibilità e la grammatica durante la preparazione del manoscritto. Nessuno strumento di intelligenza artificiale è stato utilizzato per l'analisi dei dati, la modellizzazione Rasch a più faccette, la generazione di figure, l'interpretazione dei risultati o il processo decisionale scientifico. Gli autori hanno esaminato e verificato tutti i contenuti del manoscritto e accettano la piena responsabilità per la versione finale.
Ringraziamenti
Gli autori ringraziano gli studenti partecipanti, i valutatori e il personale amministrativo della Scuola di Musica e Danza del Jiangxi Institute of Technology per il loro supporto durante la somministrazione dei compiti, la raccolta dei file, l'anonimizzazione e la coordinazione della valutazione. Questo lavoro è stato sostenuto dal Progetto di Pianificazione Scientifica delle Arti e della Cultura della Provincia di Jiangxi, «Uno studio sulla conservazione e lo sviluppo diversificato delle canzoni montane Hakka di Jinggang» (Progetto n. YG2020158).
Materiali
| Nome | Azienda | Numero di catalogo | Commenti |
|---|---|---|---|
| Lettore Adobe Acrobat | Adobe | 26.001.21346 | Utilizzato per aprire e revisionare file PDF degli spartiti durante la valutazione preliminare e la valutazione formale. |
| Audacity | Audacity | 3.7.7 | Utilizzato per aprire e revisionare i file audio in formato MP3 allegati alle composizioni presentate. |
| FACETS | Winsteps | 3.83.6 | Utilizzato per l'analisi Rasch a più faccette. |
| Cuffie HD 280 Pro | Sennheiser | 506845 | Cuffie chiuse utilizzate per l'ascolto standardizzato durante la revisione dei file audio presentati. |
| Microsoft 365 Apps for business, inclusi Excel | Microsoft | O365BusinessRetail | Utilizzato per l'inserimento dei punteggi, l'assemblaggio dei dataset in formato lungo e la verifica dei dati prima dell'analisi Rasch. |
| Moodle LMS | Moodle | MOODLE_5013 | Utilizzato come sistema istituzionale di gestione dell'apprendimento per la consegna e la raccolta dei file. |
| MuseScore Studio | MuseScore | 4.6.5 | Utilizzato per la preparazione, la notazione e l'esportazione dei file originali delle composizioni in formati basati su spartito. |
| Desktop OptiPlex Tower Plus 7020 | Dell | QBS1250 | Utilizzato come workstation per la gestione dei file, l'amministrazione della valutazione e l'analisi statistica. |
Riferimenti
- UNESCO. Road Map for Arts Education: Building Creative Capacities for the 21st Century. Paris: UNESCO; 2006.
- Teaching Guidance Committee for Higher Education Institutions, Ministry of Education of the People’s Republic of China. National Standards for Teaching Quality of Undergraduate Major Programs in Regular Higher Education Institutions, Volume II. Beijing: Higher Education Press; 2018.
- Bolden B, DeLuca C. Nurturing student creativity through assessment for learning in music classrooms. Res Stud Music Educ. 2022;44(1):273-289. doi:10.1177/1321103X211054793.
- Escorihuela G, Martínez-Bayona T, Marzal L. Competence-based assessment in higher music education: faculty perceptions in the Valencian Community. Front Educ. 2025;10:1697717. doi:10.3389/feduc.2025.1697717.
- Moura N, Dias P, Veríssimo L, Oliveira-Silva P, Serra S. Solo music performance assessment criteria: a systematic review. Front Psychol. 2024;15:1467434. doi:10.3389/fpsyg.2024.1467434.
- Said-Metwaly S, Van den Noortgate W, Kyndt E. Approaches to measuring creativity: a systematic literature review. Creat Theor Res Appl. 2017;4(2):238-275. doi:10.1515/ctra-2017-0013.
- Uto M. A multidimensional generalized many-facet Rasch model for rubric-based performance assessment. Behaviormetrika. 2021;48:425-457. doi:10.1007/s41237-021-00144-w.
- Tavakol M, Pinner G. Using the many-facet Rasch model to analyse and evaluate the quality of an objective structured clinical examination: a non-experimental cross-sectional design. BMJ Open. 2019;9(9):e029208. doi:10.1136/bmjopen-2019-029208.
- Hung SP, Chen PH, Chen HC. Improving creativity performance assessment: a rater effect examination with many-facet Rasch model. Creat Res J. 2012;24(4):345-357. doi:10.1080/10400419.2012.730331.
- Huang HY. Understanding rater cognition in performance assessment: a mixed IRTree approach. Appl Psychol Meas. 2025;49(7):331-349. doi:10.1177/01466216251333578.
- Ooi PS, Engelhard G Jr. Examining rater judgements in music performance assessment using many-facets Rasch rating scale measurement model. J Appl Meas. 2019;20(1):79-99.
- Eckes T. Introduction to Many-Facet Rasch Measurement: Analyzing and Evaluating Rater-Mediated Assessments. Berlin: Peter Lang; 2015.
- Engelhard G Jr, Wind SA. Invariant Measurement with Raters and Rating Scales: Rasch Models for Rater-Mediated Assessments. New York: Routledge; 2018.
- Hickey M. An application of Amabile’s consensual assessment technique for rating the creativity of children’s musical compositions. J Res Music Educ. 2001;49(3):234-244. doi:10.2307/3345709.
- Schiavio A, Moran N, van der Schyff D, Biasutti M, Parncutt R. Processes and experiences of creative cognition in seven Western classical composers. Music Sci. 2022;26(2):303-325. doi:10.1177/1029864920943931.
- Nijs L, Grinspun N, Fortuna S. Developing musical creativity through movement: navigating the musical affordance landscape. Creat Res J. 2025;37(3):427-451. doi:10.1080/10400419.2023.2299159.
- Zhan Z, He J, Zhong Y. How does problem-solving pedagogy affect creativity? A meta-analysis of empirical studies. Front Psychol. 2024;15:1287082. doi:10.3389/fpsyg.2024.1287082.