Cette étude évalue le comportement créatif chez les étudiants en musique en appliquant une grille d'évaluation structurée de la composition et une mesure de Rasch à facettes multiples à des œuvres musicales originales.
Article de recherche
Évaluation du comportement créatif chez des étudiants en musique à travers des œuvres de composition à l'aide d'un modèle de Rasch à facettes multiples
Dans cet article
Résumé
Résumé
L'évaluation de la créativité dans l'enseignement de la musique demeure difficile, car les jugements portés sur une œuvre musicale originale sont influencés par des préférences subjectives, des interprétations inégales des critères et des différences de sévérité entre les évaluateurs. Dans la formation à la composition, les œuvres terminées peuvent être considérées comme des produits observables illustrant la manière dont les étudiants génèrent, développent, transforment, affinent et concrétisent des idées musicales. Cette étude a examiné si une grille d'évaluation structurée de la composition, combinée à une mesure de Rasch à multiples facettes, pouvait permettre une évaluation reproductible du comportement créatif chez des étudiants universitaires spécialisés en musique. Quatre-vingts étudiants en musique ont produit des compositions originales, notées indépendamment par neuf évaluateurs formés à l’aide d’une grille sur cinq points. Cette grille comprenait cinq dimensions liées au comportement créatif en composition : nouveauté, fluidité, flexibilité, précision et faisabilité. Les données de notation ont été analysées à l’aide du logiciel FACETS, version 3.83.6, les étudiants, les critères et les évaluateurs étant définis comme des facettes distinctes dans une structure de mesure logit commune. Le dispositif d’évaluation prévoyait 3 600 notations possibles ; 3 598 notations valides ont été analysées, deux étant manquantes. L’ajustement global du modèle soutient l’interprétation du dispositif d’évaluation, et la structure ordonnée des catégories indique que l’échelle à cinq points fonctionnait dans le sens attendu. Les estimations des critères ont montré que la nouveauté était relativement plus facile à démontrer, tandis que la faisabilité et la flexibilité s’avéraient plus difficiles à réaliser dans des compositions achevées. Des différences dans l’utilisation des scores par les évaluateurs ont également été observées, soulignant la nécessité de modéliser les effets des évaluateurs plutôt que de se fier uniquement aux scores bruts. La séparation des étudiants était modérée, indiquant que l’instrument était mieux adapté à une stratification globale des performances qu’à un classement individuel précis. Ces résultats suggèrent qu’une grille d’évaluation fondée sur la composition, combinée à une mesure de Rasch à multiples facettes, peut offrir un cadre transparent pour évaluer le comportement créatif dans l’enseignement supérieur de la musique.
Introduction
La créativité est devenue un résultat central de l'éducation artistique, car on attend désormais des étudiants qu'ils ne se contentent pas de reproduire des techniques établies, mais qu'ils créent également des œuvres originales, significatives et communicables dans un contexte disciplinaire1. Dans l'enseignement de la musique, cette attente revêt une importance particulière dans la formation à la composition, où les étudiants doivent transformer leurs connaissances musicales en œuvres achevées en prenant des décisions concernant le thème, la mélodie, le rythme, la forme, le développement et la réalisation. L'évaluation s'avère difficile dans ce contexte, car la créativité musicale ne peut être jugée uniquement selon des critères de goût personnel ou d'impression artistique générale. Une composition achevée fournit des preuves observables d'un comportement créatif, mais ces preuves doivent être traduites en critères explicites afin que la notation soit transparente et reproductible2. En l'absence de critères clairs, les notes risquent de refléter les préférences des évaluateurs, leur familiarité stylistique ou une impression générale de qualité, plutôt que les qualités spécifiques de l'œuvre soumise.
La présente étude définit le comportement créatif compositionnel comme l'expression observable d'un travail musical créatif dans une composition achevée. La grille d'évaluation repose sur cinq dimensions : la nouveauté, la fluidité, la flexibilité, la précision et la faisabilité. Ces dimensions ne sont pas considérées comme des sous-trait identiques ni comme des constructions théoriques distinctes. Elles sont plutôt utilisées comme des manifestations à un niveau critère d'une construction large fondée sur le produit, à savoir la capacité d'un élève à générer, développer, transformer, affiner et concrétiser des idées musicales dans une œuvre achevée. La nouveauté représente le caractère distinctif de l'idée musicale ou de son traitement ; la fluidité, la continuité et la productivité du développement des idées ; la flexibilité, la diversité des approches, des transformations ou des ajustements adaptatifs dans le traitement musical ; la précision, l'affinement, l'organisation interne et le caractère concret des détails musicaux ; et la faisabilité, la viabilité artistique et pratique de la composition terminée3. Cette structure relie la génération d'idées, le développement des idées, la transformation adaptative, l'affinement technique et la viabilité concrétisée en un seul produit musical achevé.
Cet argument relatif à la construction réduit également le chevauchement des critères et la contamination de construit. La précision se limitait à la finesse, à l'organisation interne et aux détails musicaux concrets, tandis que la faisabilité était définie comme la viabilité artistique et pratique de l'œuvre en tant que composition réalisée. De même, la fluidité était restreinte au développement soutenu et productif, tandis que la flexibilité était définie comme la variation, la transformation et la capacité d'adaptation musicale. Une œuvre peut contenir une idée originale mais présenter un développement limité, ou bien être cohérente et techniquement stable tout en montrant peu de transformation. Une grille d'évaluation fondée sur des critères est donc nécessaire, car un score brut total peut masquer des profils créatifs inégaux au sein d'une même composition4.
L'évaluation de la musique par des correcteurs exige une attention portée à la fois au comportement des évaluateurs et à la performance des élèves. Même lorsque les correcteurs utilisent la même grille d'évaluation, ils peuvent différer par leur sévérité, l'utilisation des catégories et l'interprétation des critères. Ces différences ne sont pas simplement des problèmes procéduraux ; elles font partie intégrante de la situation de mesure et peuvent influencer la signification des scores observés5. La mesure de Rasch à facettes multiples convient à ce contexte car elle permet d'estimer les élèves, les correcteurs, les critères et les catégories de l'échelle de notation dans un cadre logit commun. Les mesures des élèves représentent la performance créative estimée après ajustement pour la difficulté des critères et la sévérité des correcteurs, les mesures des critères indiquent dans quelle mesure chaque dimension est difficile à démontrer, les mesures des correcteurs indiquent la position relative d'utilisation des scores, et les statistiques des catégories montrent si l'échelle de notation fonctionne dans l'ordre prévu6. Cette approche est plus robuste que le simple recours aux totaux bruts ou aux scores moyens, car elle sépare plusieurs sources de variation des scores qui seraient autrement combinées dans la notation observée.
L'utilisation d'un modèle de Rasch multidimensionnel unidimensionnel exige un argument constructif clair. Dans cette étude, la spécification unidimensionnelle est justifiée au niveau du comportement créatif global en composition, et non en supposant que les cinq dimensions de la grille d'évaluation sont identiques. On s'attend à ce que les cinq critères représentent des aspects observables distincts d'un construit de performance large, tel qu'exprimé dans des œuvres musicales achevées. Cette hypothèse a été considérée comme une hypothèse de mesure empirique et a été examinée à travers l'ajustement aux critères, le fonctionnement de l'échelle de notation, les associations résiduelles entre les critères, ainsi que les diagnostics d'interaction juge-par-critère et étudiant-par-critère7. Bien que les approches de Rasch à multiples facettes aient été appliquées dans l'évaluation fondée sur la performance, leur utilisation systématique dans l'évaluation de compositions complètes au sein de l'enseignement supérieur en musique reste limitée8. La recherche existante en évaluation musicale a souligné la difficulté d'évaluer des productions artistiques ouvertes et la nécessité de critères de notation explicites9, tandis que les recherches en mesure ont montré que l'évaluation de la performance fondée sur une grille peut bénéficier d'une modélisation directe des effets des juges et des critères10. Dans ce contexte, la présente étude applique un cadre de Rasch à multiples facettes à des compositions originales produites par des étudiants de premier cycle en musique. L'étude aborde trois questions : si le cadre de notation en composition proposé fonctionne adéquatement comme conception de mesure ; comment la difficulté des critères et la variation dans l'utilisation des notes par les juges contribuent à la variation observée des notes ; et comment les mesures de performance créative des étudiants sont distribuées après modélisation des effets des critères et des juges.
Protocole
Cette étude a été approuvée par le comité d'évaluation institutionnel de l'École de musique et de danse de l'Institut de technologie de Jiangxi, Nanchang 330098, Jiangxi, Chine, sous le numéro d'approbation YG2020158. Un consentement éclairé écrit a été obtenu de tous les participants avant l'exécution des tâches et la collecte des données. Les participants ont été informés que leurs compositions soumises seraient utilisées uniquement à des fins d'évaluation fondées sur la recherche, après anonymisation. Les noms des étudiants, les identifiants de classe, les métadonnées des fichiers contenant des informations sur l'auteur et tout autre identifiant direct ont été supprimés avant l'évaluation. Ces identifiants n'ont pas été transmis aux évaluateurs. Tous les travaux soumis ont été anonymisés avant notation et analyse, et tous les fichiers analytiques ont été traités à l'aide d'identifiants codés uniquement.
Contexte de l'étude, recrutement des participants et attribution des tâches
L'étude a été menée à l'École de musique et de danse de l'Institut de technologie du Jiangxi, Nanchang, Jiangxi, Chine, de septembre 2025 à janvier 2026. Les participants ont été recrutés parmi la cohorte de troisième année en musicologie, car les étudiants à ce stade avaient déjà suivi le programme fondamental en théorie musicale, pratique de l'interprétation, composition de musique électronique et cours liés à la composition avant le semestre de l'étude.
La cohorte source comprenait 96 étudiants de troisième année de musicologie. L'ensemble des 96 étudiants a été sollicité. Quatre étudiants n'ont pas fourni de consentement écrit et n'ont donc pas participé au dépistage. Les 92 étudiants restants ont fourni un consentement éclairé par écrit et ont été dépistés. Douze étudiants ont été exclus avant l'analyse finale. Les motifs d'exclusion étaient les suivants : soumissions incomplètes de compositions chez cinq étudiants, absence d'un ou plusieurs éléments structurels requis chez trois étudiants, soumissions après la date limite chez deux étudiants, fichiers illisibles ou corrompus chez un étudiant, et désistements avant la notation chez un étudiant. L'échantillon analytique final comprenait 80 étudiants universitaires, dont 32 hommes et 48 femmes.
L'échantillon analytique final représentait l'ensemble du corpus admissible composé de productions anonymisées et notables disponibles à partir de la cohorte recrutée, après application des règles de consentement, de dépistage et d'exclusion. Cette taille d'échantillon n'était pas justifiée en considérant les 3 600 opportunités d'évaluation comme des observations indépendantes au niveau des étudiants. Au lieu de cela, le modèle de Rasch à multiples facettes a utilisé des évaluations répétées des 80 productions pour estimer les mesures de performance créative des étudiants, tout en modélisant la difficulté des critères, la variation dans l'utilisation des notes par les évaluateurs et le fonctionnement des catégories de l'échelle d'évaluation. L'inclusion de neuf évaluateurs avait pour but de soutenir l'estimation de la variation liée à l'utilisation des notes par les évaluateurs et de réduire la dépendance à l'interprétation d'un seul correcteur concernant la qualité ouverte des compositions. Les étudiants étaient admissibles s'ils étaient inscrits à temps plein en troisième année du programme de musicologie, avaient terminé les cours fondamentaux requis avant le semestre de l'étude, avaient fourni un consentement éclairé par écrit et soumis une composition originale complète dans le délai de soumission prévu. Les étudiants ont été exclus s'ils n'ont pas soumis un travail complet, si la soumission ne répondait pas aux exigences prédéfinies de la tâche, si le fichier ne pouvait pas être ouvert ou noté, si la soumission était reçue après la date limite ou si le consentement était retiré avant l'évaluation.
Chaque participant a réalisé une tâche individuelle de composition originale selon les mêmes consignes écrites. Les étudiants pouvaient choisir librement leur thème et leur style, mais chaque soumission devait inclure des paroles, une mélodie, un rythme et une organisation formelle. Les travaux de groupe, les devoirs remis une deuxième fois, les matériaux publiés adaptés, les fichiers préliminaires et les révisions tardives ont été exclus de l'ensemble de données destiné à l'évaluation formelle. Une seule version finale a été acceptée par participant. Les exigences détaillées de la tâche et les spécifications de soumission sont présentées dans le tableau supplémentaire 1. Le flux complet de recrutement et d'analyse est illustré dans la figure 1.
Collecte, dépistage et anonymisation d'œuvres compositionnelles
Toutes les compositions ont été soumises par l'intermédiaire du système de gestion de l'apprentissage institutionnel avant 23h59 le dernier jour de la semaine prévue pour le devoir. Chaque soumission comprenait un fichier de partition au format Portable Document Format (PDF) et un fichier audio au format MP3 associé. Après la date limite, l'équipe de recherche a téléchargé tous les fichiers soumis par le même canal de soumission et a examiné chaque œuvre selon les exigences prédéfinies de la tâche avant de les transmettre aux évaluateurs. Seules les compositions contenant des paroles, une mélodie, un rythme et une organisation formelle, et représentant un produit final complet, ont été conservées. Les fichiers correspondant uniquement à des brouillons, les œuvres incomplètes, les fichiers manquant des composantes structurelles essentielles, les soumissions en retard ainsi que les fichiers illisibles ou corrompus ont été exclus avant l'évaluation.
Chaque travail éligible s'est vu attribuer un code étudiant anonymisé allant de S1 à S80. Les noms des étudiants, les identifiants de classe, les métadonnées des fichiers contenant des informations sur l'auteur et tous les autres identifiants directs ont été supprimés avant que les fichiers ne soient transmis pour l'évaluation. Le fichier de correspondance reliant l'identité du participant au code d'étude anonymisé a été conservé séparément par le chercheur principal dans un fichier protégé par mot de passe. Ce fichier de correspondance n'était pas accessible aux évaluateurs ni à l'analyste pendant l'estimation du modèle. Le corpus final d'évaluation comprenait 80 compositions anonymisées et évaluables, chacune représentée par un fichier de notation au format PDF et une restitution audio au format MP3.
Barème d'évaluation
La grille d'évaluation mesurait cinq dimensions du comportement créatif dans les œuvres de composition : la nouveauté, la fluidité, la flexibilité, la précision et la faisabilité. La grille a été élaborée par l'équipe de recherche en consultation avec trois membres du corps professoral expérimentés dans l'enseignement de la composition, la théorie musicale et l'évaluation en éducation musicale. Une version initiale a été examinée à l'aide de cinq compositions d'entraînement, non incluses dans l'étude, provenant de l'année universitaire précédente. La formulation des critères ainsi que celle des cinq niveaux de notation a été révisée après cet examen pilote afin de réduire les chevauchements entre faisabilité et précision, et pour bien distinguer fluidité et flexibilité. La version finale de la grille a été arrêtée le 20 septembre 2025, avant la formation des évaluateurs et le début de l'évaluation formelle. Aucune modification du libellé des critères ou des niveaux de notation n'a été apportée après le début de l'évaluation formelle.
Dans la grille finale, la nouveauté faisait référence à la singularité et à l'originalité de l'idée ou du traitement musical. La fluidité désignait la continuité et la productivité du développement des idées au sein de l'œuvre. La souplesse correspondait à la variété des approches, des transformations ou des changements adaptatifs dans le traitement musical. La précision renvoyait au raffinement, à l'organisation interne et au caractère concret des détails musicaux. La faisabilité indiquait la viabilité artistique et pratique de l'œuvre achevée en tant que composition réalisée. Les cinq dimensions ont été notées selon le même format de réponse à cinq niveaux. Une note de 1 indiquait une manifestation très faible de la dimension évaluée, tandis qu'une note de 5 indiquait une manifestation très forte. Les demi-points n'étaient pas autorisés. Tous les évaluateurs ont utilisé le même ordre des critères, les mêmes repères de notation et une fiche de notation standardisée. Les définitions opérationnelles et les repères de notation pour les cinq dimensions sont présentés dans Tableau 1.
Recrutement, aveugle et formation des évaluateurs
Neuf évaluateurs ayant une expérience préalable dans l'évaluation liée à la musique ou aux arts ont été recrutés au Jiangxi Institute of Technology. Le panel d'évaluateurs comprenait cinq membres du corps professoral de cours liés à la musique, deux membres du corps professoral en éducation musicale et deux enseignants-chercheurs seniors expérimentés en évaluation artistique. Chaque évaluateur possédait au moins trois ans d'expérience dans l'enseignement, la notation, l'arbitrage ou l'évaluation artistique. Chaque évaluateur s'est vu attribuer un code anonymisé allant de J1 à J9. Tous les évaluateurs ont noté le même corpus anonymisé de 80 compositions. Pendant toute la phase formelle de notation, les évaluateurs étaient en insu de l'identité des étudiants, de leurs informations démographiques, de leur appartenance aux classes ainsi que des notes attribuées par tous les autres évaluateurs.
Avant l'évaluation formelle, tous les évaluateurs ont suivi une session normalisée de formation et de calibrage d'une durée d'environ 120 minutes. Pendant la session, l'équipe de recherche a distribué la grille écrite, les ancres de notation, la feuille de notation normalisée et les instructions de notation. Les cinq critères et les cinq catégories de réponse ont été expliqués dans le même ordre fixe utilisé lors de l'évaluation formelle. Trois compositions de calibrage anonymisées ont ensuite été utilisées pour l'entraînement à la notation. Ces trois compositions de calibrage étaient indépendantes des 80 compositions de l'étude formelle et n'ont pas été incluses dans le jeu de données analytique. Chaque évaluateur a noté indépendamment les trois œuvres de calibrage avant la discussion. Les divergences ont été examinées critère par critère afin de clarifier la signification de chaque dimension, la distinction entre les catégories de score adjacentes et l'utilisation de l'échelle complète à cinq points. L'objectif de la session de calibrage était de normaliser l'interprétation de la grille, et non d'imposer des scores identiques. Le flux de travail de formation et la procédure de calibrage sont présentés dans le tableau supplémentaire 2.
Procédure officielle de notation
Lors de l'évaluation formelle, chaque évaluateur a examiné indépendamment toutes les partitions anonymes selon les cinq critères. Les évaluateurs ont consulté à la fois le fichier de partition au format PDF et la restitution audio correspondante au format MP3 pour chaque œuvre. Les fichiers PDF ont été ouverts à l’aide d’un logiciel de lecture PDF, et les fichiers audio ont été examinés dans Audacity, à l’aide d’écouteurs Sennheiser HD 280 Pro, sur le même type de poste de travail utilisé pour la gestion de l’évaluation. Les évaluateurs ont reçu pour consigne d’examiner d’abord le fichier de partition, d’écouter intégralement la restitution audio une fois, puis de procéder à la notation par critère après un deuxième examen ciblé si nécessaire. Une réécoute supplémentaire était autorisée jusqu’à deux fois supplémentaires pour toute partition, lorsque l’évaluateur devait vérifier des détails relatifs au rythme, à la mélodie, à la structure ou à la réalisation. Les évaluateurs n’étaient pas autorisés à discuter des soumissions individuelles pendant l’évaluation formelle, et aucun évaluateur n’avait accès aux notes attribuées par les autres évaluateurs.
Les 80 compositions anonymisées ont été présentées à chaque évaluateur selon un ordre aléatoire généré avant l'évaluation. Chaque évaluateur a utilisé le même ensemble anonymisé de fichiers, la même grille d'évaluation, la même fiche de notation et les mêmes instructions de notation. L'évaluation formelle a été réalisée individuellement en une à trois séances par évaluateur, aucune séance de notation n'excédant 3 h. Lorsque l'évaluation s'est déroulée en plusieurs séances, le même environnement de notation, le même ensemble de fichiers et la même fiche de réponse ont été utilisés. Chaque composition comportait 45 opportunités d'évaluation prévues, correspondant à neuf évaluateurs multipliés par cinq critères. Avec 80 compositions incluses dans le corpus final, le plan d'évaluation a généré 3 600 opportunités d'évaluation prévues avant les vérifications des évaluations manquantes.
Saisie des données, structure de codage et contrôle de qualité
Après l'évaluation formelle, toutes les notes observées ont été saisies dans un jeu de données analytique au format long à l'aide de Microsoft Excel. La conception de Rasch à plusieurs facettes comprenait trois facettes : les étudiants, les évaluateurs et les critères. Les étudiants ont été codés de S1 à S80, les évaluateurs de J1 à J9, et les critères de C1 à C5. Les critères ont été codés comme suit : C1 pour la nouveauté, C2 pour la fluidité, C3 pour la flexibilité, C4 pour la précision et C5 pour la faisabilité. Chaque enregistrement de notation valide représentait une évaluation combinant un étudiant, un évaluateur et un critère, et contenait les variables student_id, rater_id, criterion_id, criterion_name et score. Les catégories de notes valides ont été enregistrées uniquement sous forme d'entiers allant de 1 à 5.
Avant l'ajustement du modèle, le jeu de données a été vérifié afin de détecter d'éventuels doublons, identifiants manquants, scores manquants, codes étudiants invalides, codes évaluateurs invalides, codes critères invalides, incohérences entre criterion_id et criterion_name, ainsi que des scores en dehors de la plage autorisée. Le plan expérimental complet a généré 3 600 opportunités de notation prévues. Le fichier d'analyse final contenait 3 598 notations observées valides et deux opportunités de notation manquantes. Les deux notations manquantes ont été consignées comme telles, sans être imputées ni recodées dans une catégorie de score valide. Les doublons et les incohérences de codage ont été vérifiés par rapport aux feuilles de notation originales avant l'estimation du modèle. La structure des variables requise et le format de codage sont présentés dans le tableau supplémentaire 3.
Spécification du modèle de Rasch à multiples facettes
Les données de notation nettoyées ont été analysées à l'aide de FACETS, version 3.83.6. Le modèle a estimé simultanément la performance créative des étudiants, la difficulté des critères, la localisation de l'utilisation des notes par les évaluateurs et les seuils des catégories de l'échelle de notation sur une échelle logit commune. Les étudiants ont été définis comme la facette de mesure cible, les critères comme la facette de difficulté et les évaluateurs comme la facette d'évaluation. Le fichier de contrôle FACETS spécifiait trois facettes, avec les étiquettes d'étudiants S1–S80, les étiquettes de critères C1–C5 et les étiquettes d'évaluateurs J1–J9. Un modèle d'échelle de notation commune à cinq catégories a été appliqué à l'ensemble des cinq critères, car tous utilisaient la même structure de réponse ordonnée de 1 à 5. Le modèle a été estimé par une méthode d'estimation du maximum de vraisemblance jointe. Aucune valeur d'ancrage externe n'a été appliquée. Les facettes étudiants et critères ont été centrées pour la présentation sur l'échelle logit commune, tandis que la facette évaluateurs a été librement estimée afin de représenter la variation dans l'utilisation des notes par les évaluateurs. La structure du fichier de contrôle FACETS, le codage des facettes, le paramétrage de l'échelle de notation, la méthode d'estimation, la règle de centrage, la règle de convergence, les demandes de sortie et les seuils diagnostiques sont résumés dans le tableau supplémentaire 4.
Le modèle a été spécifié comme suit :
Où Pnijk désigne la probabilité que l'étudiant n reçoive la catégorie k du répondant j selon le critère i plutôt que catégorie k − 1, Bn désigne la mesure estimée du rendement créatif de l'élève n, Di indique la difficulté du critère i, Rj désigne l'emplacement du score du juge utilisé par le juge j, et Fk indique le seuil entre des catégories de scores adjacentes. Les catégories de scores étaient ordonnées de 1 à 5. Dans cette paramétrisation, des positions de juges plus élevées correspondent à une utilisation plus fréquente des scores dans les résultats de FACETS. Le modèle initial a été ajusté aux évaluations valides disponibles sans regroupement de catégories. Les évaluations manquantes ont été traitées comme des données manquantes, sans imputation ni recodage en catégories de scores.
L'analyse FACETS a été effectuée avec un maximum de 100 itérations et un critère de convergence inférieur à 0,01 logit pour le changement maximal des paramètres entre les itérations consécutives. Les spécifications de sortie comprenaient des statistiques descriptives par facette, les mesures individuelles des facettes, les erreurs-types du modèle, les statistiques moyennes des carrés infit et outfit, les moyennes observées, les moyennes équitables, les indices de séparation et de fiabilité, les tests du chi-deux, les statistiques par catégorie, les seuils Rasch-Andrich, les erreurs-types des seuils, les probabilités catégorielles, les résidus standardisés, les sorties de biais par évaluateur et critère, ainsi que les sorties de biais par élève et critère. Le fichier de contrôle FACETS, le jeu de données de notation dépersonnalisé au format long, les sorties principales du modèle et les sorties de l'analyse de sensibilité ont été conservés comme fichiers d'analyse reproductibles.
Évaluation et règles diagnostiques
Les statistiques du carré-moyen d'ajustement (infit) et du carré-moyen externe (outfit) ont été utilisées pour évaluer l'ajustement du modèle aux étudiants, aux critères et aux évaluateurs. Les valeurs comprises entre 0,60 et 1,30 ont été considérées comme la plage acceptable principale pour l'interprétation courante. Les valeurs supérieures à 1,50 ont été signalées pour examen, et celles supérieures à 2,00 ont été considérées comme un désajustement important. Pour tout étudiant présentant des valeurs de carré-moyen d'ajustement ou externe supérieures à 2,00, les enregistrements de notation initiaux ont été vérifiés par rapport au jeu de données nettoyé, et le modèle a été réestimé après exclusion de cet étudiant dans le cadre d'une analyse de sensibilité. Les cas n'ont pas été supprimés du modèle principal uniquement en raison d'un mauvais ajustement ; une analyse de sensibilité a été utilisée pour déterminer si les conclusions principales concernant le critère, l'évaluateur et l'échelle de notation restaient stables. Ces règles d'examen de l'ajustement et d'analyse de sensibilité sont indiquées dans le tableau supplémentaire 4.
Les indices de séparation et de fiabilité ont été examinés pour chaque facette afin de déterminer si une différenciation interne significative était présente et si les mesures obtenues étaient suffisamment stables pour être interprétées. Des valeurs de séparation supérieures à 2,00 ont été interprétées comme indiquant une différenciation importante au sein d'une facette. Une séparation des élèves inférieure à 2,00 a été interprétée comme indiquant une stratification globale plutôt qu'un classement individuel précis. Des valeurs de fiabilité proches de 1,00 ont été interprétées comme reflétant une stabilité de mesure plus forte. Le fonctionnement de l'échelle d'évaluation a été examiné à l'aide des statistiques par catégorie, des moyennes observées, des valeurs moyennes quadratiques d'ajustement, des seuils Rasch-Andrich, des erreurs-types des seuils et des courbes de probabilité des catégories. Le fonctionnement des catégories a été jugé acceptable lorsque les moyennes observées augmentaient de façon monotone à travers les catégories de score, que les seuils adjacents progressaient selon une séquence ordonnée, et que les cinq catégories formaient des régions de probabilité interprétables le long de la continuité latente.
Les biais et les sorties d'interaction ont été examinés pour les combinaisons évaluateur-par-critère et étudiant-par-critère. Toute interaction présentant une valeur absolue standardisée du biais t égale ou supérieure à 2,00 a été signalée pour examen. Ces vérifications diagnostiques ont été utilisées afin d'identifier d'éventuelles incohérences dans l'interprétation des critères ou des profils de réponses inattendus, et non pour supprimer automatiquement des évaluations. La dépendance locale et le chevauchement des construits ont été analysés en examinant l'ajustement aux critères et les associations résiduelles entre toutes les paires de critères possibles (au nombre de 10). Toute association résiduelle égale ou supérieure à 0,30 entre deux critères a été signalée comme une dépendance locale potentielle et examinée en regard des définitions du barème. Ces critères diagnostiques sont également rapportés dans le Tableau supplémentaire 4. La spécification unidimensionnelle de Rasch a donc été évaluée comme une hypothèse de mesure, et non supposée automatiquement. Lors de l'interprétation des mesures des étudiants, les différences individuelles en logits n'ont pas été considérées comme significatives à moins qu'elles ne dépassent l'incertitude de mesure correspondante. Le facteur « étudiant » a été interprété principalement comme une distribution globale du niveau de créativité en composition, plutôt que comme un classement précis des étudiants individuels.
Résultats
Résumé général des facettes
L'analyse de Rasch à facettes multiples s'est appuyée sur un plan d'évaluation complet impliquant 80 compositions anonymisées, neuf évaluateurs et cinq critères de notation. Ce plan a généré 3 600 opportunités d'évaluation prévues. Parmi celles-ci, 3 598 évaluations observées valides ont été analysées, et deux opportunités d'évaluation ont été signalées comme manquantes. Les évaluations manquantes n'ont été ni imputées ni reclassées dans une catégorie de score valide. Les statistiques générales des facettes sont présentées dans Tableau 2. Pour les trois facettes modélisées, les valeurs moyennes des carrés-moyens d'ajustement (infit) et de désajustement (outfit) étaient proches de 1,00, ce qui indique un ajustement global acceptable entre le modèle et les données. Les estimations de fiabilité étaient de 0,87 pour les critères, de 1,00 pour les évaluateurs et de 0,78 pour les étudiants. Les valeurs de séparation étaient de 2,56 pour les critères, de 16,36 pour les évaluateurs et de 1,86 pour les étudiants. Les tests du chi-deux étaient significatifs pour les trois facettes. La facette des critères et celle des étudiants ont été centrées à 0,00 logits pour la présentation des résultats, tandis que la facette des évaluateurs présentait une mesure moyenne de 0,62 logits. Les mesures des étudiants variaient de -0,80 à 1,12 logits, ce qui donne une étendue estimée de 1,92 logits.
variation entre les évaluateurs et les mesures
Les estimations des correcteurs sont indiquées dans le Tableau 2. Les valeurs moyennes des carrés de l'ajustement interne (infit) variaient de 0,73 à 1,26, et celles de l'ajustement externe (outfit) de 0,74 à 1,27. Les neuf correcteurs se situaient tous dans la plage d'ajustement acceptable comprise entre 0,60 et 1,30. L'aspect « correcteur » présentait la dispersion la plus large parmi les aspects modélisés, indiquant une variation nette dans l'utilisation des scores par les correcteurs, bien que tous aient utilisé la même grille d'évaluation, la même fiche de notation et la même procédure de notation. J9 présentait la position la plus élevée en matière de mesure du correcteur, à 3,37 logits, tandis que J8 avait la position la plus basse, à -0,34 logits. Cette tendance était cohérente avec les moyennes observées et équitables : J9 affichait les moyennes observée et équitable les plus élevées, respectivement 4,74 et 4,75, alors que J8 avait les moyennes les plus faibles, toutes deux à 2,77. L'aspect « correcteur » a donc été interprété comme une variation de la position d'utilisation des scores sur l'échelle logit commune, plutôt que comme un simple classement de sévérité. J1 et J5 avaient des estimations identiques de 0,86 logits, J3 et J6 des estimations identiques de -0,13 logits, et J2 et J4 étaient situés près du centre de l'échelle des correcteurs, à 0,03 et -0,15 logits respectivement. L'étendue totale de la mesure des correcteurs était de 3,71 logits. La valeur de séparation des correcteurs était de 16,36, avec une valeur du chi-carré de 1487,8 (dl = 8), p < ; 0,001. Aucun correcteur n'a dépassé le seuil de révision de l'ajustement, et aucun n'a été exclu du modèle principal.
Difficulté du critère et adéquation au critère
Les estimations de difficulté des critères sont présentées dans le Tableau 2. La faisabilité présentait l'estimation de difficulté la plus élevée, de 0,20 logits, indiquant qu'il s'agissait du critère le plus difficile à démontrer pour les étudiants dans les compositions réalisées. La flexibilité et la précision se situaient dans la gamme intermédiaire, avec des estimations respectives de 0,07 et 0,02 logits. La fluidité avait une estimation de difficulté de -0,13 logits, et la nouveauté présentait la plus faible estimation de difficulté à -0,16 logits, ce qui indique que la nouveauté était le critère le plus facile à démontrer dans ce corpus. L'étendue totale des difficultés des critères était de 0,36 logits. Les cinq critères ont montré des valeurs d'ajustement acceptables. Les valeurs moyennes carrées d'infit variaient de 0,89 à 1,11, et les valeurs moyennes carrées d'outfit variaient de 0,90 à 1,12. La valeur de séparation des critères était de 2,56, et la valeur du chi-carré était de 37,8, dl = 4, p < 0,001. Aucun critère n'a dépassé le seuil de revue de l'ajustement, et aucun critère n'a été retiré du modèle.
Répartition des créations étudiantes et évaluation de l'adéquation
Les mesures des étudiants sont résumées dans le Tableau 2 sous forme de distribution globale plutôt que sous forme de classements individuels. La facette « étudiant » a présenté une valeur de séparation de 1,86 et une estimation de fiabilité de 0,78. La valeur du khi-deux était de 354,4 (dl = 79), p < 0,001. Les mesures estimées des étudiants variaient de -0,80 à 1,12 logits, avec des erreurs-types du modèle d’environ 0,19 à 0,20 logits. Étant donné que la valeur de séparation des étudiants était inférieure à 2,00, les résultats des étudiants ont été interprétés comme soutenant une stratification large des performances plutôt qu’un classement individuel précis.
Les statistiques d'ajustement des étudiants ont été examinées à l'aide des seuils d'ajustement définis. L'étudiant S3 présentait un carré-moyen infit de 2,10 et un carré-moyen outfit de 2,05, dépassant ainsi le seuil d'ajustement fortement insatisfaisant. Les enregistrements initiaux de notation de S3 ont été vérifiés par rapport au jeu de données analytiques nettoyé, y compris le code étudiant, le code évaluateur, le code du critère, le nom du critère, la catégorie de score, le statut d'enregistrement en double et le statut de notation manquante. Aucune erreur de saisie, aucun enregistrement en double, aucun score non valide, aucune discordance de notation manquante ni aucune incohérence de codage n'ont été détectés. S3 a donc été conservé dans le modèle principal. Un modèle de sensibilité a ensuite été estimé, excluant S3, afin de déterminer si les conclusions du modèle principal restaient stables. Ce modèle de sensibilité comprenait 79 compositions et 3 555 opportunités de notation attendues. Le nombre de notations valides analysées dans le modèle de sensibilité était de 3 553. Dans le modèle de sensibilité, la faisabilité restait le critère le plus difficile à 0,19 logits, et la nouveauté restait le critère le moins difficile à -0,15 logits. La séparation des critères est passée de 2,56 à 2,48, la fiabilité des critères est passée de 0,87 à 0,86, la séparation des évaluateurs est passée de 16,36 à 16,02, la fiabilité des évaluateurs est restée à 1,00, la séparation des étudiants est passée de 1,86 à 1,82, et la fiabilité des étudiants est passée de 0,78 à 0,77. Les seuils de l'échelle de notation sont restés ordonnés, passant de -2,10, -0,71, 0,69 et 2,12 logits dans le modèle principal à -2,08, -0,70, 0,68 et 2,10 logits dans le modèle de sensibilité. Ces changements n'ont pas modifié les conclusions principales concernant les critères, les évaluateurs, les étudiants ou l'échelle de notation. Les résultats de l'analyse de sensibilité sont présentés dans Tableau 3.
Diagnostics de la dépendance locale et des biais
Les diagnostics de dépendance locale ont été examinés pour les 10 paires de critères possibles parmi les cinq critères de notation. Toutes les associations résiduelles étaient inférieures au seuil de revue de 0,30. La plus forte association résiduelle était de 0,24 entre la précision et la faisabilité. Les associations suivantes les plus élevées étaient de 0,21 entre la fluidité et la flexibilité, de 0,18 entre la nouveauté et la fluidité, et de 0,17 entre la nouveauté et la flexibilité. Les six associations résiduelles restantes entre paires de critères étaient également inférieures à 0,30 et sont indiquées dans le tableau 4. Ces résultats n'ont pas révélé de dépendance locale problématique parmi les cinq critères de la grille d'évaluation.
Le biais par évaluateur selon le critère a été examiné à l’aide du seuil absolu du t-value standardisé de 2,00. Le plus grand t-value standardisé du biais par évaluateur selon le critère était de 1,84 pour J9 sur la faisabilité, ce qui était en dessous du seuil d’examen. Le résultat par élève selon le critère a révélé un schéma de réponse inattendu pour S3. Le t-value standardisé du biais le plus élevé par élève selon le critère était de 2,31 pour S3 sur la faisabilité, dépassant ainsi le seuil d’examen. Le cas de S3 a donc été vérifié par rapport aux enregistrements initiaux de notation et examiné par analyse de sensibilité. La vérification n’a révélé aucune erreur de codage ou de saisie, et le modèle de sensibilité n’a pas modifié les conclusions principales. Les diagnostics de dépendance locale et de biais sont résumés dans Tableau 4.
Fonctionnement de l'échelle d'évaluation
Les résultats de la structure des catégories sont présentés dans le tableau 5. Les mesures moyennes ont augmenté de -0,56 logits dans la catégorie 1 à 2,23 logits dans la catégorie 5, indiquant que les catégories à score plus élevé correspondaient à des niveaux estimés plus élevés de performance créative. Les valeurs moyennes carrées d'ajustement externe (outfit) pour les catégories notées variaient de 0,90 à 1,10. Les seuils de Rasch-Andrich progressaient selon l'ordre suivant : -2,10, -0,71, 0,69 et 2,12 logits. La transition de la catégorie 1 à la catégorie 2 s'est produite à environ -2,10 logits, celle de la catégorie 2 à la catégorie 3 près de -0,71 logits, celle de la catégorie 3 à la catégorie 4 près de 0,69 logits, et celle de la catégorie 4 à la catégorie 5 près de 2,12 logits. L'ordre des seuils et les valeurs d'ajustement externe acceptables ont justifié le maintien de la structure initiale à cinq catégories. Aucune catégorie n'a été regroupée.
Répartition des facettes et structure de probabilité des catégories
La distribution conjointe des évaluateurs, des étudiants, des critères et des catégories de réponse sur l'échelle logistique commune est présentée dans Figure 2. La composante « évaluateur » présentait la dispersion la plus large, reflétant une variation nette dans la localisation de l'utilisation des notes par les évaluateurs. La composante « critère » plaçait l'originalité au niveau de difficulté le plus faible et la faisabilité au niveau de difficulté le plus élevé. Les mesures des étudiants étaient concentrées autour du centre de l'échelle, avec moins de cas aux extrémités supérieure et inférieure. La carte en règle a été utilisée pour montrer la distribution des mesures des composantes, et non pour établir des classements précis des étudiants individuels.
Les courbes de probabilité des catégories sont présentées dans la Figure 3. La catégorie 1 présentait sa probabilité maximale en dessous d'environ -2,10 logits, la catégorie 2 atteignait son maximum entre environ -2,10 et -0,71 logits, la catégorie 3 son pic entre environ -0,71 et 0,69 logits, la catégorie 4 sa probabilité la plus élevée entre environ 0,69 et 2,12 logits, et la catégorie 5 devenait dominante au-dessus d’environ 2,12 logits. Les marqueurs seuils verticaux dans la Figure 3 indiquent les points de transition de Rasch-Andrich entre les catégories adjacentes. Les transitions entre catégories adjacentes se sont produites selon une séquence ordonnée, ce qui confirme que l’échelle à cinq points fonctionnait comme prévu.
Disponibilité des données :
L'ensemble de données de notation en format long désidentifié, le carnet de données et les résultats principaux de FACETS ont été déposés sur Zenodo sous le DOI : https://doi.org/10.5281/zenodo.21873801. L'ensemble de données contient des identifiants codés pour les étudiants, les évaluateurs, les critères, les noms des critères, les catégories de scores entiers valides et les indicateurs de notations manquantes. La conception complète de la notation comprenait 3 600 opportunités de notation prévues. Parmi celles-ci, 3 598 notations observées valides ont été analysées ; deux ont été signalées comme manquantes et n'ont pas été imputées. Les résultats principaux déposés de FACETS soutiennent les mesures des facettes rapportées, les statistiques d'ajustement, les indices de séparation et de fiabilité, les seuils de l'échelle de notation, le fonctionnement des catégories et les résumés diagnostiques. Les œuvres originales et les fichiers identifiables ne sont pas accessibles au public, car le consentement des participants et les restrictions institutionnelles en matière de confidentialité n'autorisent pas la redistribution des compositions ou fichiers individuels des étudiants pouvant contenir des informations sur l'auteur. L'analyse de Rasch à multiples facettes a été réalisée à l'aide de FACETS, version 3.83.6.
Figure 1 : Flux de travail relatif au recrutement des participants, à la passation de la tâche, à l'anonymisation, à la notation, à la vérification des données et à l'analyse de Rasch à de nombreux aspects. Cette figure illustre l'ensemble du déroulement de l'étude, depuis l'identification de la cohorte source jusqu'à l'analyse finale du modèle. La cohorte source comprenait 96 étudiants de troisième année de musicologie. Les 96 étudiants ont été sollicités ; quatre n'ont pas donné leur consentement écrit, 92 ont été sélectionnés, et 12 ont été exclus avant l'analyse finale. L'échantillon analytique final comprenait 80 compositions anonymisées et notables. La figure résume également l'attribution des tâches, la soumission des fichiers, le tri, l'anonymisation, la formation des évaluateurs, la notation formelle, l'assemblage des données au format long, le contrôle qualité et l'analyse FACETS. Le plan de notation a généré 3 600 opportunités de notation attendues ; parmi celles-ci, 3 598 notes observées valides ont été analysées, et deux ont été enregistrées comme manquantes. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.
Figure 2 : Carte en règle verticale des évaluateurs, des étudiants, des critères et des catégories d’échelle d’évaluation sur une métrique logistique commune. Cette figure présente les positions d’utilisation des notes par les évaluateurs, la distribution des mesures des étudiants, les estimations de difficulté des critères et les positions des catégories de réponse sur une échelle logistique partagée. Des positions plus élevées pour les évaluateurs dans ce graphique correspondent à une utilisation plus fréquente de notes élevées, et non à une sévérité accrue. La carte en règle permet de visualiser la distribution des facettes, mais ne sert pas à établir des classements précis des étudiants individuels. Veuillez cliquer ici pour afficher une version agrandie de cette figure.
Figure 3 : Courbes de probabilité des catégories pour l'échelle de notation à cinq points. Les lignes verticales en pointillés indiquent les seuils de catégorie de Rasch-Andrich, qui marquent les points de transition estimés entre les catégories de réponse adjacentes. Les intersections ordonnées des catégories adjacentes montrent que l'échelle de réponse à cinq points fonctionnait dans le sens attendu et soutient le maintien de la structure catégorielle d'origine sans regroupement de catégories. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.
| Originalité | Définition opérationnelle | Note 1 | Note 2 | Note 3 | Note 4 | Note 5 |
| Originalité | Caractère distinctif et originalité de l'idée musicale ou de son traitement | Conventionnel ou imitatif | Originalité limitée | Quelque originalité, mais inégale | Originalité nette dans plusieurs parties | Très marqué et constamment original |
| Fluence | Continuité et productivité du développement des idées au sein de l'œuvre | Développement très limité | Développement clairsemé | Développement adéquat | Développement riche et soutenu | Très productif et continuellement développé |
| Flexibilité | Utilisation d'approches variées, de transformations ou de changements adaptatifs dans le traitement musical | Une seule approche rigide | Variation minimale | Quelque variation | Variation nette entre les sections ou les procédés | Fortement varié et développé de manière adaptative |
| Précision | Raffinement, organisation interne et caractère concret du détail musical | Maîtrise faible et détails peu clairs | Raffinement limité | Organisation et détails modérés | Bon raffinement et bonne organisation interne | Raffinement élevé, avec des détails clairs et concrets |
| Faisabilité | Viabilité artistique et pratique de la composition achevée en tant qu'œuvre réalisée | Non viable en tant qu'œuvre finie | Viabilité faible | Viabilité fondamentale | Viabilité et fonctionnement musical satisfaisants | Fortement viable et réalisée de manière convaincante |
Tableau 1 : Définitions opérationnelles et points d'ancrage des scores pour les cinq dimensions du comportement créatif dans les œuvres compositionnelles. Ce tableau présente la grille finale utilisée pour l'évaluation formelle. Il définit la nouveauté, la fluidité, la flexibilité, la précision et la faisabilité, et fournit des points d'ancrage de score allant de 1 à 5 pour chaque critère. Les définitions distinguent le développement prolongé d'idées de la variation adaptative, ainsi que l'affinement structurel de la viabilité artistique et pratique réalisée.
| Facette / Unité | Mesure (logits) | ER du modèle | MnCar infit | MnCar outfit | Moyenne observée | Moyenne juste | Séparation | Fidélité | Khi-carré (dl) |
| Critères, global | 0 | 0,05 | 0,99 | 0,99 | 3,36 | 3,43 | 2,56 | 0,87 | 37,8 (4)*** |
| Nouveauté | -0,16 | 0,05 | 1,01 | 1,07 | 3,46 | 3,54 | — | — | — |
| Fluidité | -0,13 | 0,05 | 1 | 0,95 | 3,44 | 3,52 | — | — | — |
| Flexibilité | 0,07 | 0,05 | 0,89 | 0,93 | 3,32 | 3,39 | — | — | — |
| Précision | 0,02 | 0,05 | 0,95 | 0,9 | 3,35 | 3,42 | — | — | — |
| Faisabilité | 0,2 | 0,05 | 1,11 | 1,12 | 3,23 | 3,3 | — | — | — |
| Évaluateurs, global | 0,62 | 0,07 | 0,98 | 0,99 | 3,36 | 3,36 | 16,36 | 1 | 1487,8 (8)*** |
| J1 | 0,86 | 0,06 | 1,26 | 1,27 | 3,59 | 3,59 | — | — | — |
| J2 | 0,03 | 0,06 | 1,1 | 1,1 | 3,02 | 3,02 | — | — | — |
| J3 | -0,13 | 0,06 | 0,73 | 0,74 | 2,91 | 2,91 | — | — | — |
| J4 | -0,15 | 0,06 | 1,07 | 1,07 | 2,9 | 2,9 | — | — | — |
| J5 | 0,86 | 0,06 | 1,26 | 1,27 | 3,59 | 3,59 | — | — | — |
| J6 | -0,13 | 0,06 | 0,73 | 0,74 | 2,91 | 2,91 | — | — | — |
| J7 | 1,19 | 0,06 | 0,77 | 0,77 | 3,8 | 3,81 | — | — | — |
| J8 | -0,34 | 0,06 | 1,06 | 1,06 | 2,77 | 2,77 | — | — | — |
| J9 | 3,37 | 0,11 | 0,87 | 0,93 | 4,74 | 4,75 | — | — | — |
| Étudiants, global | 0 | 0,19 | 0,99 | 0,99 | 3,36 | 3,43 | 1,86 | 0,78 | 354,4 (79)*** |
| Étendue des mesures des étudiants | -0,80 à 1,12 | 0,19–0,20 | — | — | — | — | — | — | — |
| REMARQUE : Le plan d'évaluation a généré 3 600 opportunités d'évaluation attendues, calculées comme 80 rédactions × 9 évaluateurs × 5 critères. Le modèle principal a analysé 3 598 évaluations observées valides ; deux opportunités d'évaluation manquaient et n'ont pas été imputées ni recodées en catégories de score. Pour la facette des évaluateurs, les mesures des évaluateurs sont interprétées ici comme des positions d'utilisation des scores sur l'échelle logit partagée. Dans ce résultat, des mesures d'évaluateurs plus élevées étaient associées à des moyennes observées et justes plus élevées, indiquant une tendance à utiliser davantage les scores élevés plutôt qu'une plus grande sévérité. *** = p < 0,001. | |||||||||
Tableau 2 : Statistiques descriptives de l’analyse de Rasch à multiples facettes pour les critères, les évaluateurs et les étudiants. Ce tableau présente les principaux résultats fournis par FACETS pour les trois facettes modélisées, y compris les mesures en logits, les erreurs-types du modèle, les valeurs moyennes des carrés de l’ajustement (infit) et des écarts (outfit), les moyennes observées, les moyennes équitées, les indices de séparation, les estimations de fiabilité et les tests du chi-deux. Le plan d’évaluation a généré 3 600 opportunités d’évaluation attendues ; 3 598 évaluations valides ont été analysées, et deux opportunités d’évaluation ont été signalées comme manquantes. La difficulté des critères, la position d’utilisation des notes des évaluateurs et la distribution globale des mesures des étudiants sont exprimées dans la même unité logit. Les mesures des évaluateurs sont interprétées comme des positions d’utilisation des notes plutôt que comme un simple classement de sévérité, car des mesures d’évaluateurs plus élevées étaient associées à des moyennes observées et équitées plus élevées. Les résultats des étudiants sont présentés sous forme de distribution et ne constituent pas des classements individuels précis.
| Métrique | Modèle principal | Modèle de sensibilité excluant S3 |
| Nombre de compositions | 80 | 79 |
| Nombre attendu d'occasions d'évaluation | 3 600 | 3 555 |
| Nombre d'enregistrements d'évaluation valides analysés | 3 598 | 3 553 |
| Occasions d'évaluation manquantes | 2 | 2 |
| Critère présentant la plus grande difficulté | Applicabilité, 0,20 logits | Applicabilité, 0,19 logits |
| Critère présentant la plus faible difficulté | Originalité, -0,16 logits | Originalité, -0,15 logits |
| Séparation des critères | 2,56 | 2,48 |
| Fidélité des critères | 0,87 | 0,86 |
| Séparation des évaluateurs | 16,36 | 16,02 |
| Fidélité des évaluateurs | 1 | 1 |
| Séparation des étudiants | 1,86 | 1,82 |
| Fidélité des étudiants | 0,78 | 0,77 |
| Seuils de l'échelle d'évaluation | -2,10, -0,71, 0,69, 2,12 | -2,08, -0,70, 0,68, 2,10 |
| Décision concernant le modèle principal | Modèle principal conservé | Aucun changement substantiel |
| REMARQUE : Le modèle principal a utilisé 3 598 évaluations observées valides parmi 3 600 occasions d'évaluation attendues. Le modèle de sensibilité a exclu S3 et utilisé 3 553 évaluations observées valides parmi 3 555 occasions d'évaluation attendues. Les deux mêmes occasions d'évaluation manquantes se trouvaient en dehors de S3 et sont donc restées manquantes dans le modèle de sensibilité. L'exclusion de S3 n'a pas modifié de façon substantielle l'ordre des critères, les indices de séparation, les estimations de fidélité ni la structure des seuils de l'échelle d'évaluation. | ||
Tableau 3 : Analyse de sensibilité après exclusion du cas étudiant mal ajusté. Ce tableau compare le modèle principal avec le modèle de sensibilité estimé après l'exclusion du sujet S3. Le modèle principal utilisait 80 compositions, 3 600 opportunités de notation prévues et 3 598 notes valides observées. Le modèle de sensibilité utilisait 79 compositions, 3 555 opportunités de notation prévues et 3 553 notes valides observées. Le tableau indique les variations des seuils de difficulté des critères, de la séparation des critères, de la fiabilité des critères, de la séparation des évaluateurs, de la fiabilité des évaluateurs, de la séparation des étudiants, de la fiabilité des étudiants, ainsi que des seuils de l'échelle de notation. L'analyse de sensibilité n'a révélé aucun changement substantiel des conclusions du modèle principal.
| Élément diagnostique | Seuil d'examen | Valeur observée la plus élevée / valeur observée | Résultat de l'examen |
| Association résiduelle : nouveauté–fluidité | ≥0,30 | 0,18 | En dessous du seuil |
| Association résiduelle : nouveauté–flexibilité | ≥0,30 | 0,17 | En dessous du seuil |
| Association résiduelle : nouveauté–précision | ≥0,30 | 0,12 | En dessous du seuil |
| Association résiduelle : nouveauté–faisabilité | ≥0,30 | 0,09 | En dessous du seuil |
| Association résiduelle : fluidité–flexibilité | ≥0,30 | 0,21 | En dessous du seuil |
| Association résiduelle : fluidité–précision | ≥0,30 | 0,16 | En dessous du seuil |
| Association résiduelle : fluidité–faisabilité | ≥0,30 | 0,14 | En dessous du seuil |
| Association résiduelle : flexibilité–précision | ≥0,30 | 0,15 | En dessous du seuil |
| Association résiduelle : flexibilité–faisabilité | ≥0,30 | 0,11 | En dessous du seuil |
| Association résiduelle : précision–faisabilité | ≥0,30 | 0,24 | En dessous du seuil |
| Valeur t normalisée du biais par évaluateur et par critère | Valeur absolue ≥2,00 | 1,84 pour J9 sur la faisabilité | En dessous du seuil |
| Valeur t normalisée du biais par élève et par critère | Valeur absolue ≥2,00 | 2,31 pour S3 sur la faisabilité | Examiné par vérification des données d'origine et analyse de sensibilité |
| Vérification de la saisie des données pour S3 | Toute erreur de codage ou de saisie | Aucune trouvée | S3 conservé dans le modèle principal |
| Analyse de sensibilité excluant S3 | Changement des conclusions principales du modèle | Aucun changement significatif | Le modèle principal est conservé |
| REMARQUE : Les associations résiduelles pour les 10 paires de critères ont été examinées. Les valeurs inférieures à 0,30 ont été interprétées comme n'indiquant pas une dépendance locale problématique parmi les cinq critères de la grille. Les interactions par évaluateur et par critère, ainsi que par élève et par critère, ont été examinées à l'aide d'un seuil de valeur t normalisée absolue de 2,00. | |||
Tableau 4 : Vérifications diagnostiques de la dépendance locale et des biais. Ce tableau résume les vérifications diagnostiques concernant le chevauchement des critères, les biais liés à l'observateur selon les critères, les profils de réponses inattendus des étudiants selon les critères, ainsi que la vérification du cas d'ajustement incorrect. Toutes les 10 associations résiduelles possibles entre paires de critères ont été examinées. Les associations résiduelles entre critères étaient inférieures au seuil d'examen de 0,30. La valeur t normalisée maximale du biais observateur-par-critère était inférieure au seuil d'examen de |t| ≥ 2,00, tandis que l'analyse étudiant-par-critère a révélé un profil de réponse inattendu lié à l'étudiant S3, qui a été examiné par vérification du dossier d'origine et analyse de sensibilité. L'analyse de sensibilité n'a montré aucun changement substantiel des conclusions principales du modèle.
| Classement | Intitulé de la catégorie | Mesure moyenne (logits) | MnCar ajusté | Seuil Rasch-Andrich | ER du seuil | Mesure à -0,5 |
| 1 | Médiocre | -0,56 | 1 | — | — | — |
| 2 | Minimal | -0,21 | 0,9 | -2,1 | 0,1 | -2,51 |
| 3 | Satisfaisant | 0,25 | 0,9 | -0,71 | 0,05 | -0,73 |
| 4 | Au-dessus de la moyenne | 0,8 | 1,1 | 0,69 | 0,04 | 0,72 |
| 5 | Excellent | 2,23 | 1,1 | 2,12 | 0,06 | 2,53 |
| REMARQUE : Les seuils Rasch-Andrich indiquent les points de transition estimés entre les catégories de notation adjacentes. Aucun seuil n'est indiqué pour la catégorie 1 car il s'agit de la catégorie la plus basse. « Mesure à -0,5 » indique la position en logits associée à la limite de catégorie fournie par FACETS et est incluse comme indicateur diagnostique du fonctionnement de la catégorie, et non comme estimation distincte de la performance des étudiants. Aucune catégorie n'a été regroupée. | ||||||
Tableau 5 : Fonctionnement des catégories de l'échelle d'évaluation à cinq points. Ce tableau présente les statistiques au niveau des catégories pour l'échelle de réponse à cinq points, y compris les mesures moyennes, les valeurs moyennes des carrés des écarts, les seuils de Rasch-Andrich, les erreurs-types des seuils et les résultats du logiciel FACETS relatifs au « Mesure à -0,5 », qui évaluent le fonctionnement des catégories. Les seuils de Rasch-Andrich indiquent les points de transition estimés entre les catégories d'évaluation adjacentes. L'ordre des seuils montre que les cinq catégories de réponse progressent dans le sens attendu, et aucune catégorie n'a été regroupée.
Tableau supplémentaire 1 : Exigences relatives à la tâche de rédaction, flux de recrutement et spécifications de soumission. Ce tableau présente le cadre de l'étude, le flux de recrutement, les critères d'éligibilité des participants, le format de la tâche, les éléments structurels requis, les règles d'originalité, les exigences de soumission, les règles de triage, les motifs d'exclusion et l'unité finale d'analyse. Il décrit comment le corpus final de 80 rédactions anonymisées et notables a été obtenu. Veuillez cliquer ici pour télécharger ce fichier.
Tableau supplémentaire 2 : Formation des évaluateurs, calibration et procédure normalisée de notation. Ce tableau résume le recrutement des évaluateurs, les qualifications requises, le codage anonymisé des évaluateurs, les supports de formation, l'explication de la grille d'évaluation, l'explication des catégories, la notation de calibration, l'examen des divergences, les procédures de masquage, les restrictions de notation, les supports de relecture, la procédure de lecture différée, la règle d'écoute répétée, l'ordre aléatoire de présentation et le contrôle de la durée de notation. Veuillez cliquer ici pour télécharger ce fichier.
Tableau supplémentaire 3 : Structure des données au format long et règles de codage. Ce tableau présente la structure des variables, les règles de codage, les contraintes du jeu de données, les codes des critères ainsi que des exemples de lignes pour le jeu de données analytique au format long. Chaque ligne valide représente un événement de notation observé, défini par l'identifiant de l'étudiant, l'identifiant du correcteur, l'identifiant du critère, le nom du critère et la catégorie de la note. Le plan de notation prévoyait 3 600 opportunités de notation, dont 3 598 notations valides observées ont été analysées, et deux opportunités de notation ont été enregistrées comme manquantes. Veuillez cliquer ici pour télécharger ce fichier.
Tableau supplémentaire 4 : Fichier de contrôle et spécifications diagnostiques de FACETS. Ce tableau indique la structure du modèle FACETS et les paramètres de reproductibilité, notamment la version du logiciel, le type de modèle, les facettes modélisées, les catégories de scores, la gestion des évaluations manquantes, la méthode d'estimation, le nombre maximal d'itérations, le critère de convergence, les demandes de sortie, les seuils d'ajustement, le seuil de revue des biais, le seuil de dépendance locale et la règle d'interprétation des mesures des élèves. Les évaluations manquantes ont été traitées comme des données manquantes, n'ont pas été imputées et n'ont pas été recodées en catégories de scores valides. Veuillez cliquer ici pour télécharger ce fichier.
Discussion
La présente étude a appliqué un cadre de Rasch à de multiples facettes pour évaluer le comportement créatif chez des étudiants universitaires spécialisés en musique, à travers des œuvres compositionnelles originales. Les résultats ont montré que la performance des étudiants, la difficulté des critères, la variation de l'évaluation entre les correcteurs et le fonctionnement des catégories de l'échelle d'évaluation pouvaient être estimées au sein d'une structure de mesure commune. Cette découverte appuie l'utilisation de modélisations à multiples facettes dans l'évaluation musicale fondée sur des grilles d'évaluation lorsque les notes sont attribuées par jugement expert plutôt que par des réponses purement objectives11. Le modèle n'élimine pas le besoin d'évaluation musicale experte ; au contraire, il fournit une méthode structurée pour examiner la manière dont les facettes étudiant, critère et correcteur contribuent aux notes observées. Ceci est important pour l'évaluation de la composition, car les œuvres terminées exigent un jugement qualitatif, mais les notes brutes seules ne permettent pas de déterminer si la variation des notes reflète l'étudiant, le critère, le correcteur ou l'échelle d'évaluation12.
Les résultats des critères ont montré que la nouveauté était le critère le moins difficile, tandis que la faisabilité et la flexibilité étaient plus difficiles à atteindre dans les compositions réalisées. Ce profil doit être interprété comme un résultat descriptif de mesure, et non comme une preuve d’un effet pédagogique causal. Cette observation indique que, dans ce corpus, les étudiants ont exprimé plus facilement des idées musicales originales que des œuvres pleinement réalisées en termes de viabilité ou de transformation adaptative tout au long de la composition achevée. Cette distinction est conforme aux recherches sur la créativité en musique, qui conçoivent la composition comme un processus impliquant la génération d’idées, leur développement, leur sélection, leur restructuration, leur affinement et leur concrétisation, plutôt que comme une simple originalité13. Elle soutient également l’intérêt de distinguer les différentes dimensions d’une grille d’évaluation plutôt que de réduire la performance créative à un jugement global unique14. Toutefois, la présente étude ne permet pas de déterminer si le profil de difficulté observé résulte des pratiques d’enseignement, de la conception de la tâche, du stade de développement des élèves, de la formulation des critères ou de l’interprétation des évaluateurs. De futures recherches devraient combiner l’évaluation des produits avec des données sur le processus, telles que des brouillons, des historiques de révision, des journaux réflexifs ou des entretiens sur la composition, afin d’analyser comment les étudiants passent des idées initiales à des œuvres musicales concrétisées.
Les résultats des évaluateurs ont révélé une variation substantielle entre les évaluateurs et la mesure, bien que toutes les valeurs d'ajustement des évaluateurs soient restées dans la plage acceptable définie. Ce modèle ne doit pas être interprété simplement comme un échec de la formation des évaluateurs. Des différences dans l'utilisation des notes par les évaluateurs sont attendues dans une évaluation artistique assistée par des experts et constituent l'une des principales raisons d'utiliser un modèle de Rasch à multiples facettes15. Les résultats actuels montrent que les évaluateurs ont utilisé l'échelle de manière globalement acceptable, tout en présentant des différences dans leur utilisation relative des catégories de notes. Le modèle a donc permis de corriger la variation liée aux évaluateurs avant d'interpréter les mesures relatives aux critères et aux élèves. Pour les applications futures, la formation des évaluateurs devrait être combinée à une surveillance a posteriori de la variation dans l'utilisation des notes, de l'ajustement, de l'utilisation des catégories et des interactions entre évaluateurs et critères, plutôt que de compter uniquement sur la formation pour éliminer toutes les différences entre les évaluateurs16.
La facette étudiante a montré une variation mesurable, mais une séparation seulement modérée. L'estimation de la fiabilité des étudiants était de 0,78 et la valeur de séparation était de 1,86. Par conséquent, les mesures des étudiants doivent être interprétées comme soutenant une stratification large des performances plutôt qu'un classement individuel précis. Ce point est important, car de petites différences entre les logits individuels des étudiants peuvent être inférieures aux erreurs-types de mesure correspondantes. Le cas S3, qui ne correspond pas au modèle, renforce davantage la nécessité d'une interprétation prudente au niveau individuel. Après vérification des enregistrements initiaux et analyse de sensibilité, l'ordre principal des critères, le profil des mesures des évaluateurs et la structure des seuils de l'échelle d'évaluation sont restés stables. Le cas S3 a donc été conservé dans le modèle principal, mais l'étude n'en tire pas de conclusions substantielles pour ce cas individuel. Cette interprétation est conforme à l'utilisation de l'analyse d'ajustement de Rasch comme outil diagnostique permettant d'évaluer la stabilité de la mesure, plutôt que comme base pour des affirmations individuelles non étayées17.
L'étude présente plusieurs limites. Premièrement, l'échantillon provient d'une seule institution et d'un seul niveau universitaire, de sorte que les résultats ne devraient pas être généralisés à d'autres cohortes de licence en musicologie sans une validation supplémentaire. Deuxièmement, l'étude a évalué uniquement les produits finaux de composition et n'a pas inclus de matériaux relatifs au processus, tels que les brouillons, les historiques de révision, les journaux réflexifs ou les données de verbalisation spontanée. Troisièmement, les cinq critères de la grille d'évaluation ont été considérés comme des manifestations liées du comportement créatif global en composition, et les résultats de l'analyse diagnostique ont confirmé cette spécification dans le jeu de données actuel ; toutefois, des recherches futures devraient examiner si cette même structure se maintient dans des échantillons plus larges, dans d'autres institutions et pour différentes tâches de composition. Quatrièmement, le profil des évaluateurs n'a été modélisé que par le biais du facteur « évaluateur », et l'étude n'a pas testé directement l'impact du domaine disciplinaire, de l'expérience pédagogique, des préférences esthétiques ou de l'expertise en composition sur la variation des mesures entre évaluateurs. Enfin, l'étude était transversale et non interventionnelle, de sorte que le profil de difficulté des critères ne devrait pas être utilisé pour en déduire l'efficacité pédagogique ou une causalité instructionnelle.
En conclusion, cette étude démontre une procédure reproductible pour évaluer le comportement créatif chez les étudiants en musique à travers des œuvres compositionnelles originales, en utilisant une grille d'évaluation structurée et une mesure de Rasch à facettes multiples. Les résultats montrent que la difficulté des critères, la variation des mesures entre évaluateurs, la répartition des performances des étudiants et le fonctionnement de l'échelle d'évaluation peuvent être examinés dans un cadre de mesure unique. La nouveauté s'est avérée relativement plus facile à démontrer, tandis que la faisabilité et la flexibilité ont été plus difficiles à atteindre dans les compositions réalisées. La variation des mesures entre évaluateurs était importante, ce qui souligne la nécessité de modéliser les effets des évaluateurs dans l'évaluation musicale. Les mesures des étudiants indiquent une stratification générale plutôt qu'un classement individuel précis. Dans l'ensemble, ce cadre fournit une base transparente pour évaluer le comportement créatif fondé sur la composition, ainsi que pour améliorer la conception des grilles d'évaluation, le suivi des évaluateurs et les études futures de validation dans l'enseignement supérieur de la musique.
Déclarations de divulgation
Les auteurs déclarent qu’ils n’ont aucun conflit d’intérêts. Des outils d’édition linguistique assistés par intelligence artificielle ont été utilisés uniquement pour améliorer la lisibilité et la grammaire lors de la préparation du manuscrit. Aucun outil d’intelligence artificielle n’a été utilisé pour l’analyse des données, la modélisation de Rasch à facettes multiples, la génération de figures, l’interprétation des résultats ou la prise de décisions scientifiques. Les auteurs ont examiné et vérifié l’ensemble du contenu du manuscrit et acceptent l’entière responsabilité de la version finale.
Remerciements
Les auteurs remercient les étudiants participants, les évaluateurs et le personnel administratif de l'École de musique et de danse de l'Institut de technologie du Jiangxi pour leur soutien lors de la mise en œuvre des tâches, de la collecte des fichiers, de l'anonymisation et de la coordination de la notation. Ce travail a été soutenu par le projet de planification des sciences culturelles et artistiques de la province du Jiangxi, « Une étude sur la préservation et le développement diversifié des chants montagnards hakka de Jinggang » (numéro de projet YG2020158).
Matériaux
| Nom | Entreprise | Numéro de catalogue | Commentaires |
|---|---|---|---|
| Adobe Acrobat Reader | Adobe | 26.001.21346 | Utilisé pour ouvrir et examiner les fichiers PDF des partitions lors de l'évaluation préliminaire et de la notation formelle. |
| Audacity | Audacity | 3.7.7 | Utilisé pour ouvrir et examiner les fichiers audio MP3 joints aux compositions soumises. |
| FACETS | Winsteps | 3.83.6 | Utilisé pour l'analyse de Rasch à plusieurs facettes. |
| HD 280 Pro headphones | Sennheiser | 506845 | Casques à réduction passive utilisés pour l'écoute normalisée lors de l'examen des fichiers audio soumis. |
| Microsoft 365 Apps for business, including Excel | Microsoft | O365BusinessRetail | Utilisé pour la saisie des notes, l'assemblage des jeux de données en format long et la vérification des données avant l'analyse de Rasch. |
| Moodle LMS | Moodle | MOODLE_5013 | Utilisé comme système de gestion de l'apprentissage institutionnel pour la soumission des devoirs et la collecte de fichiers. |
| MuseScore Studio | MuseScore | 4.6.5 | Utilisé pour la préparation, la mise en notation et l'exportation des fichiers de composition originaux dans des formats basés sur la partition. |
| OptiPlex Tower Plus 7020 Desktop | Dell | QBS1250 | Utilisé comme poste de travail pour la gestion des fichiers, l'administration de la notation et l'analyse statistique. |
Références
- UNESCO. Road Map for Arts Education: Building Creative Capacities for the 21st Century. Paris: UNESCO; 2006.
- Teaching Guidance Committee for Higher Education Institutions, Ministry of Education of the People’s Republic of China. National Standards for Teaching Quality of Undergraduate Major Programs in Regular Higher Education Institutions, Volume II. Beijing: Higher Education Press; 2018.
- Bolden B, DeLuca C. Nurturing student creativity through assessment for learning in music classrooms. Res Stud Music Educ. 2022;44(1):273-289. doi:10.1177/1321103X211054793.
- Escorihuela G, Martínez-Bayona T, Marzal L. Competence-based assessment in higher music education: faculty perceptions in the Valencian Community. Front Educ. 2025;10:1697717. doi:10.3389/feduc.2025.1697717.
- Moura N, Dias P, Veríssimo L, Oliveira-Silva P, Serra S. Solo music performance assessment criteria: a systematic review. Front Psychol. 2024;15:1467434. doi:10.3389/fpsyg.2024.1467434.
- Said-Metwaly S, Van den Noortgate W, Kyndt E. Approaches to measuring creativity: a systematic literature review. Creat Theor Res Appl. 2017;4(2):238-275. doi:10.1515/ctra-2017-0013.
- Uto M. A multidimensional generalized many-facet Rasch model for rubric-based performance assessment. Behaviormetrika. 2021;48:425-457. doi:10.1007/s41237-021-00144-w.
- Tavakol M, Pinner G. Using the many-facet Rasch model to analyse and evaluate the quality of an objective structured clinical examination: a non-experimental cross-sectional design. BMJ Open. 2019;9(9):e029208. doi:10.1136/bmjopen-2019-029208.
- Hung SP, Chen PH, Chen HC. Improving creativity performance assessment: a rater effect examination with many-facet Rasch model. Creat Res J. 2012;24(4):345-357. doi:10.1080/10400419.2012.730331.
- Huang HY. Understanding rater cognition in performance assessment: a mixed IRTree approach. Appl Psychol Meas. 2025;49(7):331-349. doi:10.1177/01466216251333578.
- Ooi PS, Engelhard G Jr. Examining rater judgements in music performance assessment using many-facets Rasch rating scale measurement model. J Appl Meas. 2019;20(1):79-99.
- Eckes T. Introduction to Many-Facet Rasch Measurement: Analyzing and Evaluating Rater-Mediated Assessments. Berlin: Peter Lang; 2015.
- Engelhard G Jr, Wind SA. Invariant Measurement with Raters and Rating Scales: Rasch Models for Rater-Mediated Assessments. New York: Routledge; 2018.
- Hickey M. An application of Amabile’s consensual assessment technique for rating the creativity of children’s musical compositions. J Res Music Educ. 2001;49(3):234-244. doi:10.2307/3345709.
- Schiavio A, Moran N, van der Schyff D, Biasutti M, Parncutt R. Processes and experiences of creative cognition in seven Western classical composers. Music Sci. 2022;26(2):303-325. doi:10.1177/1029864920943931.
- Nijs L, Grinspun N, Fortuna S. Developing musical creativity through movement: navigating the musical affordance landscape. Creat Res J. 2025;37(3):427-451. doi:10.1080/10400419.2023.2299159.
- Zhan Z, He J, Zhong Y. How does problem-solving pedagogy affect creativity? A meta-analysis of empirical studies. Front Psychol. 2024;15:1287082. doi:10.3389/fpsyg.2024.1287082.