Este estudio evalúa el comportamiento creativo en estudiantes de música mediante la aplicación de una rúbrica estructurada de composición y calificación, y la medición Rasch de múltiples facetas, a obras musicales originales.
Artículo de investigación
Evaluación del comportamiento creativo en estudiantes de música a través de obras de composición utilizando un modelo Rasch de múltiples facetas
En este artículo
Resumen
Resumen
Evaluar la creatividad en la educación musical sigue siendo un desafío, ya que los juicios sobre obras musicales originales están influenciados por preferencias subjetivas, interpretaciones desiguales de los criterios y diferencias en la severidad de los evaluadores. En la formación compositiva, las obras terminadas pueden considerarse productos observables que muestran cómo los estudiantes generan, desarrollan, transforman, perfeccionan y concretan ideas musicales. Este estudio examinó si una rúbrica estructurada para calificar composiciones, combinada con la medición Rasch de múltiples facetas, podría respaldar una evaluación reproducible del comportamiento creativo entre estudiantes universitarios de música. Se calificaron independientemente composiciones originales de 80 estudiantes de música por nueve evaluadores capacitados, utilizando una rúbrica de cinco puntos. La rúbrica incluía cinco dimensiones relacionadas del comportamiento creativo compositivo: novedad, fluidez, flexibilidad, precisión y viabilidad. Los datos de calificación se analizaron mediante el software FACETS, versión 3.83.6, especificando estudiantes, criterios y evaluadores como facetas separadas dentro de una estructura común de medición logit. El diseño de calificación incluyó 3.600 oportunidades esperadas de calificación; se analizaron 3.598 calificaciones válidas observadas, con dos ausentes. El ajuste general del modelo respaldó la interpretación del diseño de calificación, y la estructura de categorías ordenadas indicó que la escala de cinco puntos funcionó en la dirección esperada. Las estimaciones de los criterios mostraron que la novedad era relativamente más fácil de demostrar, mientras que la viabilidad y la flexibilidad resultaron más difíciles de alcanzar en las composiciones terminadas. También se observaron diferencias en la ubicación del uso de puntuaciones entre evaluadores, lo que respalda la necesidad de modelar los efectos de los evaluadores en lugar de depender únicamente de las puntuaciones brutas. La separación entre estudiantes fue moderada, lo que indica que el instrumento era más adecuado para una estratificación amplia del rendimiento que para una clasificación individual precisa. Estos hallazgos sugieren que una rúbrica basada en composiciones, combinada con la medición Rasch de múltiples facetas, puede proporcionar un marco transparente para evaluar el comportamiento creativo en la educación musical superior.
Introducción
La creatividad se ha convertido en un resultado central de la educación artística porque se espera que los estudiantes no solo reproduzcan técnicas establecidas, sino que también creen obras originales, significativas y comunicables dentro de un contexto disciplinario1. En la educación musical, esta expectativa es especialmente importante en la formación en composición, donde los estudiantes deben transformar sus conocimientos musicales en obras terminadas mediante decisiones sobre tema, melodía, ritmo, forma, desarrollo y realización. La evaluación resulta difícil en este contexto porque la creatividad musical no puede valorarse únicamente según el gusto personal o una impresión artística general. Una composición terminada proporciona evidencia observable de comportamiento creativo, pero dicha evidencia debe traducirse en criterios explícitos si se desea que la calificación sea transparente y reproducible2. Sin criterios claros, las puntuaciones podrían reflejar preferencias del evaluador, familiaridad con ciertos estilos o una impresión general de calidad, en lugar de las cualidades específicas de la obra presentada.
El presente estudio define el comportamiento creativo compositivo como la expresión observable de un trabajo musical creativo en una composición terminada. La rúbrica utiliza cinco dimensiones: novedad, fluidez, flexibilidad, precisión y viabilidad. Estas dimensiones no se consideran subrasgos idénticos ni constructos teóricos separados. En cambio, se utilizan como manifestaciones a nivel de criterio de un único constructo amplio basado en el producto: el grado en que un estudiante puede generar, desarrollar, transformar, perfeccionar y concretar ideas musicales en una obra terminada. La novedad representa la singularidad de la idea o tratamiento musical; la fluidez representa la continuidad y productividad del desarrollo de ideas; la flexibilidad representa los enfoques variados, transformaciones o cambios adaptativos en el manejo musical; la precisión representa el perfeccionamiento, la organización interna y la concreción del detalle musical; y la viabilidad representa la viabilidad artística y práctica de la composición terminada3. Esta estructura conecta la generación de ideas, el desarrollo de ideas, la transformación adaptativa, el perfeccionamiento técnico y la viabilidad concretada en un único producto musical finalizado.
Este argumento de constructo también reduce la superposición de criterios y la contaminación del constructo. La precisión se limitó a la refinación, la organización interna y los detalles musicales concretos, mientras que la viabilidad se definió como la factibilidad artística y práctica de la obra como una composición realizada. De manera similar, la fluidez se limitó al desarrollo sostenido y productivo, mientras que la flexibilidad se definió como variación, transformación y manejo musical adaptativo. Una obra puede contener una idea original pero con desarrollo limitado, o puede ser coherente y técnicamente estable a la vez que muestra poca transformación. Por lo tanto, es necesaria una rúbrica basada en criterios porque una puntuación bruta total puede ocultar perfiles creativos desiguales dentro de una misma composición4.
La evaluación musical mediada por evaluadores requiere atención tanto al comportamiento del evaluador como al desempeño del estudiante. Incluso cuando los evaluadores utilizan la misma rúbrica, pueden diferir en severidad, uso de categorías e interpretación de los criterios. Estas diferencias no son meramente problemas procedimentales; forman parte de la situación de medición y pueden afectar el significado de las puntuaciones observadas5. La medición Rasch de múltiples facetas es adecuada para este contexto porque estima a los estudiantes, evaluadores, criterios y categorías de la escala de calificación dentro de un marco logit común. Las mediciones de los estudiantes representan el desempeño creativo estimado tras el ajuste por la dificultad del criterio y la severidad del evaluador; las mediciones de los criterios indican qué tan difícil es demostrar cada dimensión; las mediciones de los evaluadores indican la ubicación relativa en el uso de las puntuaciones, y las estadísticas de las categorías muestran si la escala de calificación funciona en el orden previsto6. Este enfoque es más robusto que basarse únicamente en totales brutos o puntuaciones medias, porque separa múltiples fuentes de variación en las puntuaciones que de otro modo se combinarían en la calificación observada.
El uso de un modelo Rasch unidimensional de múltiples facetas requiere un argumento claro sobre el constructo. En este estudio, la especificación unidimensional se justifica a nivel del comportamiento creativo compositivo general, no al asumir que las cinco dimensiones de la rúbrica son idénticas. Se espera que los cinco criterios representen aspectos observables distintos de un constructo amplio de desempeño, tal como se expresa en obras musicales completadas. Esta suposición se trató como una suposición empírica de medición y se examinó mediante el ajuste a los criterios, el funcionamiento de la escala de calificación, las asociaciones residuales entre criterios y los diagnósticos de interacción entre evaluadores y criterios, así como entre estudiantes y criterios7. Aunque los enfoques Rasch de múltiples facetas se han aplicado en evaluaciones basadas en el desempeño, su uso sistemático en la evaluación completa de composiciones dentro de la educación musical superior sigue siendo limitado8. La investigación existente sobre evaluación musical ha enfatizado la dificultad de juzgar productos artísticos abiertos y la necesidad de criterios de puntuación explícitos9, mientras que la investigación en medición ha demostrado que la evaluación del desempeño basada en rúbricas puede beneficiarse al modelar directamente los efectos del evaluador y del criterio10. En este contexto, el presente estudio aplica un marco Rasch de múltiples facetas a composiciones originales producidas por estudiantes universitarios de música. El estudio aborda tres preguntas: si el marco propuesto de evaluación de composiciones funciona adecuadamente como un diseño de medición; cómo la dificultad de los criterios y la variación en el uso de puntuaciones por parte de los evaluadores contribuyen a la variación observada en las puntuaciones; y cómo se distribuyen las medidas del desempeño creativo de los estudiantes tras modelar los efectos del criterio y del evaluador.
Protocolo
Este estudio fue aprobado por el Comité de Revisión Institucional de la Escuela de Música y Danza del Instituto de Tecnología de Jiangxi, Nanchang 330098, Jiangxi, China, bajo el número de aprobación YG2020158. Se obtuvo el consentimiento informado por escrito de todos los participantes antes de la administración de la tarea y la recopilación de datos. Se informó a los participantes que sus composiciones enviadas serían utilizadas únicamente para evaluación basada en investigación tras la desidentificación. Los nombres de los estudiantes, los identificadores de clase, los metadatos de los archivos que contienen información sobre autoría y otros identificadores directos fueron eliminados antes de la calificación. Estos identificadores no fueron entregados a los evaluadores. Todas las obras enviadas fueron desidentificadas antes de la calificación y el análisis, y todos los archivos analíticos se procesaron utilizando únicamente identificadores codificados.
Configuración del estudio, reclutamiento de participantes y asignación de tareas
El estudio se realizó en la Escuela de Música y Danza del Instituto de Tecnología de Jiangxi, Nanchang, Jiangxi, China, desde septiembre de 2025 hasta enero de 2026. Los participantes fueron reclutados del grupo de tercer año de Musicología porque los estudiantes en esta etapa ya habían completado el plan de estudios básico en teoría musical, práctica interpretativa, composición de música electrónica y cursos relacionados con la composición antes del semestre del estudio.
La cohorte de origen incluyó a 96 estudiantes de tercer año de Musicología. Se contactó a los 96 estudiantes. Cuatro estudiantes no proporcionaron consentimiento escrito y, por lo tanto, no participaron en la selección. Los 92 estudiantes restantes dieron su consentimiento informado por escrito y fueron seleccionados. Doce estudiantes fueron excluidos antes del análisis final. Las razones de exclusión fueron envíos incompletos de composiciones en cinco estudiantes, ausencia de uno o más elementos estructurales requeridos en tres estudiantes, envíos posteriores a la fecha límite en dos estudiantes, archivos ilegibles o dañados en un estudiante, y retiros antes de la calificación en un estudiante. La muestra analítica final incluyó a 80 estudiantes universitarios, entre ellos 32 hombres y 48 mujeres.
La muestra analítica final representó el corpus completo y elegible de composiciones anónimas y calificables disponibles a partir de la cohorte reclutada, tras aplicar las reglas de consentimiento, cribado y exclusión. Este tamaño de muestra no se justificó considerando las 3.600 oportunidades de calificación como observaciones independientes a nivel estudiantil. En cambio, el diseño Rasch de múltiples facetas utilizó calificaciones repetidas de las 80 composiciones para estimar las medidas de desempeño creativo del estudiante, al mismo tiempo que modelaba la dificultad del criterio, la variación en el uso de puntuaciones por parte de los evaluadores y el funcionamiento de las categorías de la escala de calificación. La inclusión de nueve evaluadores tuvo como objetivo apoyar la estimación de la variación relacionada con el uso de puntuaciones por parte de los evaluadores y reducir la dependencia de la interpretación de un solo calificador sobre la calidad compositiva abierta. Los estudiantes eran elegibles si estaban matriculados a tiempo completo en el tercer año del programa de Musicología, habían completado los cursos básicos requeridos antes del semestre del estudio, proporcionaron consentimiento informado por escrito y presentaron una composición original completa dentro del período designado de envío. Los estudiantes fueron excluidos si no presentaron un trabajo completo, si la presentación no cumplía con los requisitos previamente definidos de la tarea, si el archivo no podía abrirse o calificarse, si la presentación se recibió después de la fecha límite o si retiraron su consentimiento antes de la calificación.
Cada participante completó una tarea individual de composición original siguiendo las mismas instrucciones escritas. Se permitió a los estudiantes elegir su propio tema y estilo, pero toda presentación debía incluir letra, melodía, ritmo y organización formal. Se excluyeron del conjunto de datos para la calificación formal el trabajo grupal, las tareas reenviadas, el material publicado adaptado, archivos que solo fueran borradores y las revisiones tardías. Solo se aceptó una versión final de cada participante. Los requisitos detallados de la tarea y las especificaciones de entrega se presentan en Tabla Suplementaria 1. El flujo completo del reclutamiento y del análisis se muestra en Figura 1.
Recolección, selección y anonimización de obras composicionales
Todas las composiciones se enviaron a través del sistema institucional de gestión del aprendizaje antes de las 23:59 del último día de la semana programada para la entrega. Cada envío incluía un archivo de partitura en formato de documento portátil (PDF) y una grabación de audio MP3 adjunta. Después de la fecha límite, el equipo de investigación descargó todos los archivos enviados mediante el mismo canal de entrega y revisó cada obra según los requisitos predefinidos de la tarea antes de entregarlos a los evaluadores. Solo se conservaron las composiciones que contenían letra, melodía, ritmo y organización formal, y que representaban un producto final completo. Se excluyeron antes de la evaluación los archivos que solo eran borradores, obras incompletas, archivos que carecían de componentes estructurales importantes, envíos tardíos, y archivos ilegibles o dañados.
A cada trabajo elegible se le asignó un código anónimo de estudiante comprendido entre S1 y S80. Antes de que los archivos se liberaran para su evaluación, se eliminaron los nombres de los estudiantes, los identificadores de curso, los metadatos de los archivos que contenían información sobre autoría y todos los demás identificadores directos. El archivo de vinculación que relacionaba la identidad del participante con el código anónimo del estudio fue almacenado por separado por el investigador principal en un archivo protegido con contraseña. Este archivo de vinculación no estuvo disponible para los evaluadores ni para el analista durante la estimación del modelo. El corpus final de calificación consistió en 80 composiciones anónimas y calificables, cada una representada por un archivo de puntuación en formato PDF y una versión de audio en formato MP3.
Rúbrica de evaluación
La rúbrica de evaluación analizó cinco dimensiones del comportamiento creativo en obras de composición: novedad, fluidez, flexibilidad, precisión y viabilidad. La rúbrica fue desarrollada por el equipo de investigación en consulta con tres miembros del profesorado con experiencia en la enseñanza de la composición, la teoría musical y la evaluación en educación musical. Una versión inicial fue revisada utilizando cinco composiciones de práctica, no incluidas en el estudio, del año académico anterior. La redacción de los criterios y de los cinco puntos de calificación se modificó tras la revisión piloto, con el fin de reducir la superposición entre viabilidad y precisión, y para diferenciar la fluidez de la flexibilidad. La rúbrica definitiva se estableció el 20 de septiembre de 2025, antes del entrenamiento de los evaluadores y de la calificación formal. No se modificó la redacción de ningún criterio ni de los puntos de calificación después de iniciada la calificación formal.
En la rúbrica final, novedad hacía referencia al carácter distintivo y originalidad de la idea o tratamiento musical. Fluidez se refiere a la continuidad y productividad en el desarrollo de ideas dentro de la obra. Flexibilidad hacía referencia a los diversos enfoques, transformaciones o cambios adaptativos en el manejo musical. Precisión se refería al refinamiento, organización interna y concreción de los detalles musicales. Factibilidad hacía referencia a la viabilidad artística y práctica de la obra terminada como composición realizada. Las cinco dimensiones se calificaron utilizando el mismo formato de respuesta de cinco puntos. Una puntuación de 1 indicaba una demostración muy débil de la dimensión evaluada, y una puntuación de 5 indicaba una demostración muy sólida. No se permitían medias puntuaciones. Todos los evaluadores utilizaron el mismo orden de criterios, puntos de referencia para la calificación y hoja de evaluación estandarizada. Las definiciones operativas y los puntos de referencia para la calificación de las cinco dimensiones se presentan en Tabla 1.
Reclutamiento, cegamiento y capacitación de evaluadores
Se reclutaron nueve evaluadores con experiencia previa en evaluación relacionada con música o artes del Instituto de Tecnología de Jiangxi. El panel de evaluadores incluyó cinco profesores de cursos relacionados con música, dos profesores de educación musical y dos instructores posgraduados superiores con experiencia en evaluación artística. Cada evaluador contaba con al menos tres años de experiencia en docencia, calificación, jurado o evaluación artística. A cada evaluador se le asignó un código anónimo del J1 al J9. Todos los evaluadores calificaron el mismo corpus anónimo de 80 composiciones. Durante la fase formal de calificación, los evaluadores permanecieron ciegos respecto a la identidad de los estudiantes, la información demográfica, la pertenencia a clases y las calificaciones de todos los demás evaluadores.
Antes de la evaluación formal, todos los evaluadores completaron una sesión estandarizada de formación y calibración que duró aproximadamente 120 minutos. Durante la sesión, el equipo de investigación distribuyó la rúbrica escrita, los puntos de referencia para las calificaciones, la hoja estandarizada de puntuación y las instrucciones de calificación. Los cinco criterios y las cinco categorías de respuesta se explicaron en el mismo orden fijo que se utilizó durante la evaluación formal. Luego, se utilizaron tres composiciones anónimas de calibración para practicar la puntuación. Estas tres composiciones de calibración eran independientes de las 80 composiciones del estudio formal y no se incluyeron en el conjunto de datos analítico. Cada evaluador calificó las tres obras de calibración de forma independiente antes de la discusión. Las discrepancias se revisaron criterio por criterio para aclarar el significado de cada dimensión, la distinción entre categorías de puntuación adyacentes y el uso de la escala completa de cinco puntos. El objetivo de la sesión de calibración fue estandarizar la interpretación de la rúbrica, no forzar calificaciones idénticas. El flujo de trabajo de formación y el procedimiento de calibración se presentan en Supplementary Table 2.
Procedimiento formal de puntuación
Durante la evaluación formal, cada evaluador analizó de forma independiente todas las composiciones anonimizadas según los cinco criterios. Los evaluadores revisaron tanto el archivo de partitura en formato PDF como la reproducción de audio en formato MP3 correspondiente a cada obra. Los archivos PDF se abrieron con un software lector de PDF, y los archivos de audio se revisaron en Audacity utilizando auriculares Sennheiser HD 280 Pro, en el mismo tipo de estación de trabajo empleada para la administración de la evaluación. Se instruyó a los evaluadores para que revisaran primero el archivo de partitura, escucharan la reproducción de audio completa una vez, y luego completaran la calificación por criterios tras una segunda revisión detallada, si era necesario. Se permitió escuchar nuevamente el audio hasta dos veces adicionales para cualquier composición cuando el evaluador necesitara verificar detalles de ritmo, melodía, estructura o realización. Durante la evaluación formal, no se permitió a los evaluadores discutir las presentaciones individuales, y ningún evaluador tuvo acceso a las calificaciones asignadas por otros evaluadores.
Las 80 composiciones anónimas se presentaron a cada evaluador en un orden aleatorio generado antes de la calificación. Cada evaluador utilizó el mismo conjunto anónimo de archivos, rúbrica, hoja de calificación e instrucciones de calificación. La calificación formal se completó individualmente en una a tres sesiones por evaluador, y ninguna sesión de calificación excedió las 3 hr. Cuando la calificación se realizó en varias sesiones, se utilizó el mismo entorno de calificación, conjunto de archivos y hoja de respuestas. Cada composición tuvo 45 oportunidades esperadas de evaluación, correspondientes a nueve evaluadores multiplicados por cinco criterios. Con 80 composiciones incluidas en el corpus final, el diseño de evaluación generó 3.600 oportunidades esperadas de calificación antes de las verificaciones por calificaciones faltantes.
Entrada de datos, estructura de codificación y control de calidad
Después de la calificación formal, todas las calificaciones observadas se ingresaron en un conjunto de datos analíticos en formato largo utilizando Microsoft Excel. El diseño de Rasch de múltiples facetas incluyó tres facetas: estudiantes, evaluadores y criterios. Los estudiantes se codificaron como S1 a S80, los evaluadores como J1 a J9, y los criterios como C1 a C5. Los criterios se codificaron como C1 para novedad, C2 para fluidez, C3 para flexibilidad, C4 para precisión y C5 para viabilidad. Cada registro de calificación válido representaba una calificación observada por estudiante, evaluador y criterio, y contenía student_id, rater_id, criterion_id, criterion_name y score. Las categorías válidas de puntuación se registraron únicamente como números enteros del 1 al 5.
Antes del ajuste del modelo, el conjunto de datos fue revisado para detectar registros duplicados, identificadores faltantes, puntuaciones faltantes, códigos de estudiantes inválidos, códigos de evaluadores inválidos, códigos de criterios inválidos, discrepancias entre criterion_id y criterion_name, y puntuaciones fuera del rango permitido. El diseño completo generó 3.600 oportunidades de calificación esperadas. El archivo analítico final contenía 3.598 calificaciones observadas válidas y dos oportunidades de calificación faltantes. Las dos calificaciones faltantes fueron registradas como ausentes, no fueron imputadas ni recodificadas en ninguna categoría de puntuación válida. Los registros duplicados y las inconsistencias de codificación fueron verificados frente a las hojas originales de calificación antes de la estimación del modelo. La estructura de variables requerida y el formato de codificación se presentan en Supplementary Table 3.
Especificación del modelo Rasch de múltiples facetas
Los datos de calificación limpios se analizaron utilizando FACETS, versión 3.83.6. El modelo estimó simultáneamente el rendimiento creativo del estudiante, la dificultad del criterio, la ubicación del uso de la puntuación del evaluador y los umbrales de las categorías de la escala de calificación en una escala logit común. Se especificaron los estudiantes como la faceta de medición objetivo, los criterios como la faceta de dificultad y los evaluadores como la faceta de evaluadores. El archivo de control de FACETS especificó tres facetas, con las etiquetas de estudiantes S1–S80, las etiquetas de criterios C1–C5 y las etiquetas de evaluadores J1–J9. Se aplicó un modelo común de escala de calificación de cinco categorías en todos los cinco criterios, ya que todos los criterios utilizaban la misma estructura de respuesta ordenada del 1 al 5. La estimación del modelo se realizó mediante el método de máxima verosimilitud conjunta. No se aplicaron valores ancla externos. Las facetas de estudiantes y criterios se centraron para su presentación en la escala logit común, y la faceta de evaluadores se estimó libremente para representar la variación en el uso de las puntuaciones entre los evaluadores. La estructura del archivo de control de FACETS, la codificación de facetas, la configuración de la escala de calificación, el método de estimación, la regla de centrado, la regla de convergencia, las solicitudes de salida y los umbrales diagnósticos se resumen en Tabla Suplementaria 4.
El modelo se especificó de la siguiente manera:
Dónde Pnijk denota la probabilidad de que el estudiante n reciba la categoría k del evaluador j según el criterio i en lugar de categoría k − 1, Bn denota la medida estimada del rendimiento creativo del estudiante n, Di denota la dificultad del criterio i, Rj denota la ubicación del puntaje del evaluador en uso por el evaluador j, y Fk indica el umbral entre categorías adyacentes de puntuación. Las categorías de puntuación se ordenaron de 1 a 5. En esta parametrización, ubicaciones más altas del evaluador corresponden a un mayor uso de las puntuaciones en la salida de FACETS. El modelo inicial se ajustó a las calificaciones válidas disponibles sin combinar categorías. Las calificaciones faltantes se trataron como datos faltantes, sin imputación ni recodificación en categorías de puntuación.
El análisis FACETS se realizó con un máximo de 100 iteraciones y un criterio de convergencia de menos de 0,01 logit para el cambio máximo en los parámetros entre iteraciones consecutivas. Las especificaciones de salida incluyeron estadísticas resumidas por faceta, medidas individuales por faceta, errores estándar del modelo, estadísticos de cuadrado medio de ajuste interno y ajuste externo, promedios observados, promedios justos, índices de separación y fiabilidad, pruebas de chi-cuadrado, estadísticas por categoría, umbrales Rasch-Andrich, errores estándar de los umbrales, salida de probabilidad por categoría, residuos estandarizados, salida de sesgo por criterio entre evaluadores y salida de sesgo por criterio entre estudiantes. Se conservaron el archivo de control de FACETS, el conjunto de datos de calificaciones anonimizado en formato largo, la salida principal del modelo y la salida del análisis de sensibilidad como archivos de análisis reproducibles.
Evaluación y reglas diagnósticas
Se utilizaron estadísticos de cuadrado medio infit y cuadrado medio outfit para evaluar el ajuste del modelo para estudiantes, criterios y evaluadores. Los valores entre 0,60 y 1,30 se consideraron el rango aceptable principal para la interpretación habitual. Los valores superiores a 1,50 se marcaron para revisión, y los valores superiores a 2,00 se consideraron un desajuste sustancial. Para cualquier estudiante con valores de cuadrado medio infit o outfit superiores a 2,00, se verificaron los registros originales de puntuación frente al conjunto de datos limpio, y el modelo se reestimó tras excluir a ese estudiante como análisis de sensibilidad. No se eliminaron casos del modelo principal únicamente por desajuste; se utilizó el análisis de sensibilidad para determinar si las conclusiones principales sobre el criterio, el evaluador y la escala de calificación permanecieron estables. Estas reglas de revisión de ajuste y análisis de sensibilidad se enumeran en Tabla Suplementaria 4.
Se examinaron los índices de separación y de fiabilidad para cada faceta con el fin de determinar si existía una diferenciación interna significativa y si las medidas resultantes eran suficientemente estables para su interpretación. Los valores de separación superiores a 2,00 se interpretaron como indicativos de una diferenciación sustancial dentro de una faceta. Una separación entre estudiantes inferior a 2,00 se interpretó como indicativa de una estratificación amplia en lugar de una clasificación individual precisa. Los valores de fiabilidad más cercanos a 1,00 se consideraron indicadores de una mayor estabilidad en la medición. El funcionamiento de la escala de calificación se examinó mediante estadísticas por categoría, promedios observados, valores cuadráticos medios de ajuste (outfit), umbrales Rasch-Andrich, errores estándar de los umbrales y curvas de probabilidad por categoría. El desempeño por categoría se consideró aceptable cuando los promedios observados aumentaron de forma monótona a través de las categorías de puntuación, los umbrales adyacentes progresaron en secuencia ordenada y las cinco categorías formaron regiones de probabilidad interpretables a lo largo del continuo latente.
Se examinaron los sesgos y las salidas de interacción para las combinaciones de evaluador por criterio y estudiante por criterio. Cualquier interacción con un valor absoluto estandarizado de sesgo t igual o mayor a 2,00 se marcó para revisión. Estas comprobaciones diagnósticas se utilizaron para identificar posibles inconsistencias en la interpretación de los criterios o patrones de respuesta inesperados, no para eliminar calificaciones automáticamente. La dependencia local y el solapamiento del constructo se examinaron revisando el ajuste por criterio y las asociaciones residuales entre todos los 10 pares posibles de criterios. Cualquier asociación residual igual o mayor a 0,30 entre dos criterios se marcó como posible dependencia local y se revisó en comparación con las definiciones de la rúbrica. Estos criterios diagnósticos también se reportan en la Tabla Suplementaria 4. Por lo tanto, la especificación unidimensional de Rasch se evaluó como un supuesto de medición, en lugar de asumirla automáticamente. Al interpretar las medidas de los estudiantes, las diferencias logit individuales no se consideraron significativas a menos que superaran la incertidumbre de medición correspondiente. La faceta estudiante se interpretó principalmente como una distribución general del desempeño creativo compositivo, más que como una clasificación precisa de estudiantes individuales.
Resultados
Resumen general de las facetas
El análisis Rasch de múltiples facetas se basó en un diseño de evaluación completo que incluyó 80 composiciones anonimizadas, nueve evaluadores y cinco criterios de calificación. Este diseño generó 3.600 oportunidades de calificación esperadas. De estas, se analizaron 3.598 calificaciones observadas válidas, y se registraron dos oportunidades de calificación como faltantes. Las calificaciones faltantes no fueron imputadas ni recodificadas en ninguna categoría de puntuación válida. Las estadísticas generales de las facetas se presentan en Tabla 2. En las tres facetas modeladas, los valores promedio de los cuadrados medios de ajuste (infit) y de desajuste (outfit) estuvieron cercanos a 1,00, lo que respalda un ajuste aceptable entre el modelo y los datos. Las estimaciones de fiabilidad fueron de 0,87 para los criterios, 1,00 para los evaluadores y 0,78 para los estudiantes. Los valores de separación fueron 2,56 para los criterios, 16,36 para los evaluadores y 1,86 para los estudiantes. Las pruebas de chi-cuadrado fueron significativas para las tres facetas. La faceta de criterios y la faceta de estudiantes se centraron en 0,00 logitos para su presentación, mientras que la faceta de evaluadores tuvo una medida media de 0,62 logitos. Las medidas de los estudiantes oscilaron entre -0,80 y 1,12 logitos, lo que da un rango estimado de 1,92 logitos.
Variación entre evaluadores y mediciones
Las estimaciones de los evaluadores se muestran en la Tabla 2. Los valores cuadráticos medios de ajuste interno oscilaron entre 0,73 y 1,26, y los valores cuadráticos medios de ajuste externo variaron entre 0,74 y 1,27. Los nueve evaluadores se encontraban dentro del rango de ajuste aceptable de 0,60 a 1,30. El aspecto de evaluador mostró la mayor dispersión entre los aspectos modelados, lo que indica una variación clara en el uso de las puntuaciones por parte de los evaluadores, aunque todos utilizaron la misma rúbrica, hoja de calificación y procedimiento de puntuación. J9 tuvo la ubicación más alta en la medida del evaluador con 3,37 logit, mientras que J8 tuvo la ubicación más baja con -0,34 logit. Esta tendencia fue coherente con los promedios observados y justos: J9 presentó los promedios observado y justo más altos, 4,74 y 4,75, mientras que J8 tuvo los promedios observado y justo más bajos, ambos de 2,77. Por lo tanto, el aspecto de evaluador se interpretó como una variación en la ubicación del uso de las puntuaciones en la escala logit común, más que como un simple ordenamiento por severidad. J1 y J5 tuvieron estimaciones idénticas de 0,86 logit, J3 y J6 tuvieron estimaciones idénticas de -0,13 logit, y J2 y J4 se ubicaron cerca del centro de la escala de evaluadores en 0,03 y -0,15 logit, respectivamente. La dispersión total de la medida del evaluador fue de 3,71 logit. El valor de separación entre evaluadores fue de 16,36, con un valor chi-cuadrado de 1487,8 (gl = 8), p < 0,001. Ningún evaluador superó el umbral de revisión de ajuste, y ningún evaluador fue excluido del modelo principal.
Dificultad del criterio y ajuste del criterio
Las estimaciones de dificultad de los criterios se presentan en la Tabla 2. La viabilidad tuvo la estimación de mayor dificultad con 0,20 logits, lo que indica que fue el criterio más difícil de demostrar para los estudiantes dentro de las composiciones completadas. La flexibilidad y la precisión se ubicaron en el rango medio, con estimaciones de 0,07 y 0,02 logits, respectivamente. La fluidez tuvo una estimación de dificultad de -0,13 logits, y la novedad presentó la estimación más baja de dificultad con -0,16 logits, lo que indica que la novedad fue el criterio más fácil de demostrar en este corpus. La dispersión total de dificultad de los criterios fue de 0,36 logits. Los cinco criterios mostraron valores de ajuste aceptables. Los valores cuadráticos medios de ajuste interno oscilaron entre 0,89 y 1,11, y los valores cuadráticos medios de ajuste externo variaron entre 0,90 y 1,12. El valor de separación de los criterios fue de 2,56, y el valor de chi-cuadrado fue de 37,8, gl = 4, p < 0,001. Ningún criterio superó el umbral de revisión de ajuste, y ningún criterio fue eliminado del modelo.
Distribución del rendimiento creativo del estudiante y revisión del ajuste
Las medidas de los estudiantes se resumen en la Tabla 2 como una distribución general y no como clasificaciones individuales. El aspecto estudiante mostró un valor de separación de 1,86 y una estimación de fiabilidad de 0,78. El valor de chi-cuadrado fue de 354,4 (df = 79), p < 0,001. Las medidas estimadas de los estudiantes oscilaron entre -0,80 y 1,12 logit, con errores estándar del modelo de aproximadamente 0,19 a 0,20 logit. Dado que el valor de separación de los estudiantes fue inferior a 2,00, los resultados de los estudiantes se interpretaron como indicativos de una estratificación amplia del rendimiento y no de una clasificación individual precisa.
Se revisaron las estadísticas de ajuste del estudiante utilizando los umbrales de ajuste definidos. El estudiante S3 presentó una media cuadrática de ajuste dentro del rango (infit mean-square) de 2,10 y una media cuadrática de ajuste fuera del rango (outfit mean-square) de 2,05, superando el umbral de mala adaptación sustancial. Los registros originales de calificación para S3 se verificaron frente al conjunto de datos analíticos limpios, incluyendo el código del estudiante, código del evaluador, código del criterio, nombre del criterio, categoría de puntuación, estado de registro duplicado y estado de calificación faltante. No se encontró ningún error en la entrada de datos, registro duplicado, puntuación inválida, discrepancia en calificaciones faltantes ni inconsistencia en la codificación. Por lo tanto, S3 se mantuvo en el modelo principal. Luego se estimó un modelo de sensibilidad, excluyendo a S3, para determinar si las conclusiones del modelo principal permanecían estables. Este modelo de sensibilidad incluyó 79 composiciones y 3.555 oportunidades de calificación esperadas. El número de calificaciones válidas analizadas en el modelo de sensibilidad fue de 3.553. En el modelo de sensibilidad, la viabilidad siguió siendo el criterio más difícil con 0,19 logit, y la novedad siguió siendo el criterio menos difícil con -0,15 logit. La separación entre criterios cambió de 2,56 a 2,48, la confiabilidad de los criterios cambió de 0,87 a 0,86, la separación entre evaluadores cambió de 16,36 a 16,02, la confiabilidad de los evaluadores se mantuvo en 1,00, la separación entre estudiantes cambió de 1,86 a 1,82, y la confiabilidad de los estudiantes cambió de 0,78 a 0,77. Los umbrales de la escala de calificación permanecieron ordenados, cambiando de -2,10, -0,71, 0,69 y 2,12 logit en el modelo principal a -2,08, -0,70, 0,68 y 2,10 logit en el modelo de sensibilidad. Estos cambios no alteraron las conclusiones principales sobre criterios, evaluadores, estudiantes ni la escala de calificación. Los resultados del análisis de sensibilidad se presentan en Tabla 3.
Diagnósticos de dependencia local y sesgo
Se revisaron los diagnósticos de dependencia local para todos los 10 pares de criterios posibles entre los cinco criterios de calificación. Todas las asociaciones residuales estuvieron por debajo del umbral de revisión de 0,30. La asociación residual más alta fue de 0,24 entre precisión y viabilidad. Las siguientes asociaciones más altas fueron de 0,21 entre fluidez y flexibilidad, 0,18 entre novedad y fluidez, y 0,17 entre novedad y flexibilidad. Las seis asociaciones residuales restantes entre pares de criterios también estuvieron por debajo de 0,30 y se informan en Tabla 4. Estos resultados no indicaron dependencia local problemática entre los cinco criterios de la rúbrica.
La salida del sesgo por criterio del evaluador se inspeccionó utilizando un umbral absoluto del valor t estandarizado de 2,00. El valor t estandarizado más alto del sesgo por criterio del evaluador fue de 1,84 para J9 en viabilidad, que se encontró por debajo del umbral de revisión. La salida por criterio del estudiante identificó un patrón de respuesta inesperado para S3. El valor t estandarizado más alto del sesgo por criterio del estudiante fue de 2,31 para S3 en viabilidad, superando el umbral de revisión. Por lo tanto, el caso de S3 se verificó comparándolo con los registros originales de calificación y se examinó mediante un análisis de sensibilidad. La verificación no encontró errores de codificación ni de ingreso de datos, y el modelo de sensibilidad no alteró las conclusiones sustanciales. Los diagnósticos de dependencia local y sesgo se resumen en Tabla 4.
Funcionamiento de la escala de calificación
Los resultados de la estructura de categorías se muestran en la Tabla 5. Las medidas medias aumentaron de -0,56 logits en la categoría 1 a 2,23 logits en la categoría 5, lo que indica que las categorías con puntuaciones más altas correspondieron a ubicaciones estimadas más altas de rendimiento creativo. Los valores cuadráticos medios del outfit para las categorías puntuadas oscilaron entre 0,90 y 1,10. Los umbrales de Rasch-Andrich avanzaron en el orden de -2,10, -0,71, 0,69 y 2,12 logits. La transición de la categoría 1 a la categoría 2 ocurrió aproximadamente en -2,10 logits, la transición de la categoría 2 a la categoría 3 ocurrió cerca de -0,71 logits, la transición de la categoría 3 a la categoría 4 ocurrió cerca de 0,69 logits, y la transición de la categoría 4 a la categoría 5 ocurrió cerca de 2,12 logits. Los umbrales ordenados y los valores aceptables del outfit respaldaron la conservación de la estructura original de cinco categorías. No se fusionó ninguna categoría.
Distribución de facetas y estructura de probabilidad de categorías
La distribución conjunta de evaluadores, estudiantes, criterios y categorías de respuesta en la escala logit común se muestra en la Figura 2. La faceta de evaluadores mostró la mayor dispersión, reflejando una clara variación en la ubicación del uso de las puntuaciones por parte de los evaluadores. La faceta de criterios colocó la novedad en el nivel más bajo de dificultad y la viabilidad en el nivel más alto de dificultad. Las mediciones de los estudiantes se concentraron alrededor del centro de la escala, con menos casos en los extremos superior e inferior. El mapa regla se utilizó para mostrar la distribución de las mediciones de las facetas, y no para respaldar clasificaciones individuales precisas de los estudiantes.
Las curvas de probabilidad por categorías se presentan en la Figura 3. La categoría 1 mostró su mayor probabilidad por debajo de aproximadamente -2,10 logit, la categoría 2 alcanzó su pico entre aproximadamente -2,10 y -0,71 logit, la categoría 3 alcanzó su máximo entre aproximadamente -0,71 y 0,69 logit, la categoría 4 mostró su mayor probabilidad entre aproximadamente 0,69 y 2,12 logit, y la categoría 5 se volvió dominante por encima de aproximadamente 2,12 logit. Los marcadores verticales de umbral en la Figura 3 indican los puntos de transición de Rasch-Andrich entre categorías adyacentes. Las categorías adyacentes transicionaron en una secuencia ordenada, lo que respalda la interpretación de que la escala de cinco puntos funcionó como se pretendía.
Disponibilidad de datos:
El conjunto de datos de evaluación en formato largo con identificación eliminada, el código del conjunto de datos y el resultado principal de FACETS se han depositado en Zenodo bajo el DOI: https://doi.org/10.5281/zenodo.21873801. El conjunto de datos contiene identificadores codificados de estudiantes, identificadores de evaluadores, identificadores de criterios, nombres de criterios, categorías válidas de puntuaciones enteras e indicadores de evaluaciones faltantes. El diseño completo de evaluación incluía 3.600 oportunidades de evaluación esperadas. De estas, se analizaron 3.598 evaluaciones válidas observadas; dos se registraron como faltantes y no se imputaron. El resultado principal de FACETS depositado respalda las medidas de los factores informados, las estadísticas de ajuste, los índices de separación y fiabilidad, los umbrales de la escala de evaluación, el funcionamiento de las categorías y los resúmenes diagnósticos. Las obras creativas originales y los archivos identificables no están disponibles públicamente porque el consentimiento de los participantes y las restricciones institucionales de privacidad no permiten la redistribución de composiciones o archivos de estudiantes individuales que podrían contener información sobre autoría. El análisis de Rasch de múltiples factores se realizó utilizando FACETS, versión 3.83.6.
Figura 1: Flujo de trabajo del reclutamiento de participantes, administración de la tarea, anonimización, puntuación, verificación de datos y análisis Rasch de múltiples facetas. Esta figura muestra el flujo completo del estudio, desde la identificación de la cohorte de origen hasta el análisis final del modelo. La cohorte de origen incluyó a 96 estudiantes de tercer año de Musicología. Se contactó a los 96 estudiantes; cuatro no proporcionaron consentimiento escrito, 92 fueron evaluados y 12 fueron excluidos antes del análisis final. La muestra analítica final constó de 80 composiciones anonimizadas y calificables. La figura también resume la asignación de tareas, entrega de archivos, evaluación, anonimización, capacitación de evaluadores, calificación formal, ensamblaje de datos en formato largo, control de calidad y análisis con FACETS. El diseño de calificación generó 3.600 oportunidades esperadas de calificación; de estas, se analizaron 3.598 calificaciones observadas válidas y dos se registraron como faltantes. Haga clic aquí para ver una versión más grande de esta figura.
Figura 2: Mapa de regla vertical de evaluadores, estudiantes, criterios y categorías de la escala de calificación en la métrica logit común. Esta figura muestra las ubicaciones del uso de puntuaciones por parte de los evaluadores, la distribución de las medidas de los estudiantes, las estimaciones de dificultad de los criterios y las ubicaciones de las categorías de respuesta en una escala logit compartida. Las ubicaciones más altas de los evaluadores en este resultado corresponden a un mayor uso de puntuaciones, no a mayor severidad. El mapa de regla se utiliza para mostrar la distribución de las facetas y no se emplea para respaldar clasificaciones precisas de estudiantes individuales. Haga clic aquí para ver una versión más grande de esta figura.
Figura 3: Curvas de probabilidad de categoría para la escala de calificación de cinco puntos. Las líneas verticales discontinuas indican los umbrales de categoría Rasch-Andrich, que marcan los puntos de transición estimados entre categorías de respuesta adyacentes. Las intersecciones ordenadas de categorías adyacentes muestran que la escala de respuesta de cinco puntos funcionó en la dirección esperada y respalda la conservación de la estructura original de categorías sin necesidad de combinar categorías. Haga clic aquí para ver una versión ampliada de esta figura.
| Novedad | Definición operacional | Puntuación 1 | Puntuación 2 | Puntuación 3 | Puntuación 4 | Puntuación 5 |
| Novedad | Distinción y originalidad de la idea musical o su tratamiento | Convencional o imitativo | Originalidad limitada | Cierta originalidad, pero desigual | Originalidad clara en varias partes | Altamente distintivo y consistentemente original |
| Fluidez | Continuidad y productividad del desarrollo de ideas dentro de la obra | Desarrollo muy limitado | Desarrollo escaso | Desarrollo adecuado | Desarrollo rico y sostenido | Altamente productivo y continuamente desarrollado |
| Flexibilidad | Uso de enfoques variados, transformaciones o cambios adaptativos en el manejo musical | Un solo enfoque rígido | Variación mínima | Cierta variación | Clara variación entre secciones o recursos | Ampliamente variado y desarrollado adaptativamente |
| Precisión | Perfeccionamiento, organización interna y concreción del detalle musical | Control deficiente y detalles poco claros | Perfeccionamiento limitado | Organización y detalle moderados | Buen perfeccionamiento y organización interna | Alto nivel de perfeccionamiento con detalles claros y concretos |
| Factibilidad | Viabilidad artística y práctica de la composición terminada como obra realizada | No viable como obra terminada | Viabilidad débil | Viabilidad básica | Viable y funcional musicalmente | Altamente viable y convincentemente realizado |
Tabla 1: Definiciones operativas y puntos de referencia para la puntuación de las cinco dimensiones del comportamiento creativo en obras composicionales. Esta tabla presenta la rúbrica final utilizada para la evaluación formal. Define novedad, fluidez, flexibilidad, precisión y viabilidad, y proporciona puntos de referencia de puntuación del 1 al 5 para cada criterio. Las definiciones distinguen el desarrollo sostenido de ideas de la variación adaptativa, y el refinamiento estructural de la viabilidad artística y práctica real.
| Faceta / Unidad | Medida (logits) | EE del modelo | Infit MnSq | Outfit MnSq | Promedio observado | Promedio justo | Separación | Confiabilidad | Chi-cuadrado (gl) |
| Criterios, en general | 0 | 0.05 | 0.99 | 0.99 | 3.36 | 3.43 | 2.56 | 0.87 | 37.8 (4)*** |
| Novedad | -0.16 | 0.05 | 1.01 | 1.07 | 3.46 | 3.54 | — | — | — |
| Fluidez | -0.13 | 0.05 | 1 | 0.95 | 3.44 | 3.52 | — | — | — |
| Flexibilidad | 0.07 | 0.05 | 0.89 | 0.93 | 3.32 | 3.39 | — | — | — |
| Precisión | 0.02 | 0.05 | 0.95 | 0.9 | 3.35 | 3.42 | — | — | — |
| Factibilidad | 0.2 | 0.05 | 1.11 | 1.12 | 3.23 | 3.3 | — | — | — |
| Calificadores, en general | 0.62 | 0.07 | 0.98 | 0.99 | 3.36 | 3.36 | 16.36 | 1 | 1487.8 (8)*** |
| J1 | 0.86 | 0.06 | 1.26 | 1.27 | 3.59 | 3.59 | — | — | — |
| J2 | 0.03 | 0.06 | 1.1 | 1.1 | 3.02 | 3.02 | — | — | — |
| J3 | -0.13 | 0.06 | 0.73 | 0.74 | 2.91 | 2.91 | — | — | — |
| J4 | -0.15 | 0.06 | 1.07 | 1.07 | 2.9 | 2.9 | — | — | — |
| J5 | 0.86 | 0.06 | 1.26 | 1.27 | 3.59 | 3.59 | — | — | — |
| J6 | -0.13 | 0.06 | 0.73 | 0.74 | 2.91 | 2.91 | — | — | — |
| J7 | 1.19 | 0.06 | 0.77 | 0.77 | 3.8 | 3.81 | — | — | — |
| J8 | -0.34 | 0.06 | 1.06 | 1.06 | 2.77 | 2.77 | — | — | — |
| J9 | 3.37 | 0.11 | 0.87 | 0.93 | 4.74 | 4.75 | — | — | — |
| Estudiantes, en general | 0 | 0.19 | 0.99 | 0.99 | 3.36 | 3.43 | 1.86 | 0.78 | 354.4 (79)*** |
| Rango de medidas de estudiantes | -0.80 a 1.12 | 0.19–0.20 | — | — | — | — | — | — | — |
| NOTA: El diseño de calificación generó 3.600 oportunidades esperadas de calificación, calculadas como 80 composiciones × 9 calificadores × 5 criterios. El modelo principal analizó 3.598 calificaciones observadas válidas; dos oportunidades de calificación faltaban y no se imputaron ni recodificaron en categorías de puntuación. Para la faceta de calificadores, las medidas de los calificadores se interpretan aquí como ubicaciones de uso de puntuaciones en la escala logit compartida. En esta salida, medidas más altas de calificadores se asociaron con promedios observados y justos más altos, lo que indica una tendencia hacia un mayor uso de puntuaciones altas en lugar de mayor severidad. ***= p < 0,001. | |||||||||
Tabla 2: Estadísticas descriptivas del análisis Rasch de múltiples facetas para los criterios, evaluadores y estudiantes. Esta tabla presenta los resultados principales de FACETS para las tres facetas modeladas, incluyendo medidas en logit, errores estándar del modelo, valores cuadráticos medios de ajuste interno (infit) y ajuste externo (outfit), promedios observados, promedios justos, índices de separación, estimaciones de fiabilidad y pruebas de chi-cuadrado. El diseño de calificación generó 3.600 oportunidades esperadas de evaluación; se analizaron 3.598 calificaciones válidas observadas y se registraron dos oportunidades de evaluación como faltantes. La dificultad de los criterios, la ubicación en el uso de puntuaciones de los evaluadores y la distribución general de las medidas de los estudiantes se informan en la misma métrica logit. Las medidas de los evaluadores se interpretan como ubicaciones en el uso de puntuaciones, y no como un simple orden de severidad, ya que medidas más altas en los evaluadores estuvieron acompañadas de promedios observados y justos más elevados. Los resultados de los estudiantes se resumen como una distribución y no se presentan como clasificaciones individuales precisas.
| Métrica | Modelo principal | Modelo de sensibilidad excluyendo S3 |
| Número de composiciones | 80 | 79 |
| Oportunidades esperadas de calificación | 3.600 | 3.555 |
| Registros válidos de calificación analizados | 3.598 | 3.553 |
| Oportunidades de calificación faltantes | 2 | 2 |
| Criterio con mayor dificultad | Factibilidad, 0,20 logits | Factibilidad, 0,19 logits |
| Criterio con menor dificultad | Novedad, -0,16 logits | Novedad, -0,15 logits |
| Separación de criterios | 2,56 | 2,48 |
| Fiabilidad de criterios | 0,87 | 0,86 |
| Separación de evaluadores | 16,36 | 16,02 |
| Fiabilidad de evaluadores | 1 | 1 |
| Separación de estudiantes | 1,86 | 1,82 |
| Fiabilidad de estudiantes | 0,78 | 0,77 |
| Umbrales de la escala de calificación | -2,10, -0,71, 0,69, 2,12 | -2,08, -0,70, 0,68, 2,10 |
| Decisión del modelo principal | Modelo principal conservado | Sin cambio sustancial |
| NOTA: El modelo principal utilizó 3.598 calificaciones válidas observadas de 3.600 oportunidades esperadas de calificación. El modelo de sensibilidad excluyó S3 y utilizó 3.553 calificaciones válidas observadas de 3.555 oportunidades esperadas de calificación. Las mismas dos oportunidades de calificación faltantes estaban fuera de S3 y, por lo tanto, permanecieron ausentes en el modelo de sensibilidad. La exclusión de S3 no cambió sustancialmente el orden de los criterios, los índices de separación, las estimaciones de fiabilidad ni la estructura de los umbrales de la escala de calificación. | ||
Tabla 3: Análisis de sensibilidad tras excluir el caso del estudiante mal ajustado. Esta tabla compara el modelo principal con el modelo de sensibilidad estimado tras excluir a S3. El modelo principal utilizó 80 composiciones, 3.600 oportunidades esperadas de calificación y 3.598 calificaciones válidas observadas. El modelo de sensibilidad utilizó 79 composiciones, 3.555 oportunidades esperadas de calificación y 3.553 calificaciones válidas observadas. La tabla muestra los cambios en la dificultad de los criterios, la separación de los criterios, la fiabilidad de los criterios, la separación de los calificadores, la fiabilidad de los calificadores, la separación de los estudiantes, la fiabilidad de los estudiantes y los umbrales de la escala de calificación. El análisis de sensibilidad no mostró cambios sustanciales en las conclusiones del modelo principal.
| Elemento diagnóstico | Umbral de revisión | Valor observado más alto / valor observado | Resultado de la revisión |
| Asociación residual: novedad–fluidez | ≥0.30 | 0.18 | Por debajo del umbral |
| Asociación residual: novedad–flexibilidad | ≥0.30 | 0.17 | Por debajo del umbral |
| Asociación residual: novedad–precisión | ≥0.30 | 0.12 | Por debajo del umbral |
| Asociación residual: novedad–factibilidad | ≥0.30 | 0.09 | Por debajo del umbral |
| Asociación residual: fluidez–flexibilidad | ≥0.30 | 0.21 | Por debajo del umbral |
| Asociación residual: fluidez–precisión | ≥0.30 | 0.16 | Por debajo del umbral |
| Asociación residual: fluidez–factibilidad | ≥0.30 | 0.14 | Por debajo del umbral |
| Asociación residual: flexibilidad–precisión | ≥0.30 | 0.15 | Por debajo del umbral |
| Asociación residual: flexibilidad–factibilidad | ≥0.30 | 0.11 | Por debajo del umbral |
| Asociación residual: precisión–factibilidad | ≥0.30 | 0.24 | Por debajo del umbral |
| Valor t estandarizado de sesgo por evaluador y criterio | Valor absoluto ≥2.00 | 1.84 para J9 en factibilidad | Por debajo del umbral |
| Valor t estandarizado de sesgo por estudiante y criterio | Valor absoluto ≥2.00 | 2.31 para S3 en factibilidad | Revisado mediante verificación del registro original y análisis de sensibilidad |
| Verificación de entrada de datos para S3 | Cualquier error de codificación o entrada | Ninguno encontrado | S3 conservado en el modelo principal |
| Análisis de sensibilidad excluyendo a S3 | Cambio en las conclusiones del modelo principal | Sin cambio sustantivo | Modelo principal conservado |
| NOTA: Se revisaron las 10 asociaciones residuales entre pares de criterios. Los valores por debajo de 0.30 se interpretaron como que no indican dependencia local problemática entre los cinco criterios de la rúbrica. Las interacciones por evaluador y criterio, y por estudiante y criterio, se revisaron utilizando un umbral de valor t estandarizado absoluto de 2.00. | |||
Tabla 4: Controles diagnósticos de dependencia local y sesgo. Esta tabla resume los controles diagnósticos para la superposición de criterios, el sesgo del evaluador por criterio, los patrones de respuesta inesperados del estudiante por criterio y la verificación del caso de desajuste. Se revisaron todas las 10 asociaciones residuales posibles entre pares de criterios. Las asociaciones residuales entre criterios estuvieron por debajo del umbral de revisión de 0,30. El valor más alto del estadístico t estandarizado de sesgo por evaluador y criterio estuvo por debajo del umbral de revisión de |t| ≥ 2,00, mientras que el análisis por estudiante y criterio identificó un patrón de respuesta inesperado relacionado con S3 que se revisó mediante verificación del registro original y análisis de sensibilidad. El análisis de sensibilidad no mostró cambios sustanciales en las conclusiones principales del modelo.
| Categoría de calificación | Etiqueta de la categoría | Medida media (logits) | Outfit MnSq | Umbral Rasch-Andrich | EE del umbral | Medida en -0,5 |
| 1 | Mala | -0.56 | 1 | — | — | — |
| 2 | Mínima | -0.21 | 0.9 | -2.1 | 0.1 | -2.51 |
| 3 | Satisfactoria | 0.25 | 0.9 | -0.71 | 0.05 | -0.73 |
| 4 | Por encima del promedio | 0.8 | 1.1 | 0.69 | 0.04 | 0.72 |
| 5 | Excelente | 2.23 | 1.1 | 2.12 | 0.06 | 2.53 |
| NOTA: Los umbrales Rasch-Andrich indican los puntos de transición estimados entre categorías adyacentes de calificación. No se informa ningún umbral para la categoría 1 porque es la categoría más baja. «Medida en -0,5» informa de la ubicación en logits asociada con el límite de categoría proporcionado por FACETS y se incluye como un diagnóstico del funcionamiento de la categoría, y no como una estimación independiente del rendimiento del estudiante. No se fusionó ninguna categoría. | ||||||
Tabla 5: Funcionamiento de las categorías de la escala de calificación de cinco puntos. Esta tabla presenta estadísticas a nivel de categoría para la escala de respuesta de cinco puntos, incluyendo medidas medias, valores cuadráticos medios de ajuste (outfit), umbrales de Rasch-Andrich, errores estándar de los umbrales y el resultado del análisis FACETS «Medida en -0,5» sobre el funcionamiento de las categorías. Los umbrales de Rasch-Andrich indican los puntos de transición estimados entre categorías adyacentes de la calificación. El orden de los umbrales muestra que las cinco categorías de respuesta progresaron en la dirección esperada, y ninguna categoría fue fusionada.
Tabla suplementaria 1: Requisitos de la tarea de composición, flujo de reclutamiento y especificaciones de envío. Esta tabla presenta el entorno del estudio, el flujo de reclutamiento, los criterios de elegibilidad de los participantes, el formato de la tarea, los elementos estructurales requeridos, las reglas de originalidad, los requisitos de envío, las reglas de cribado, las razones de exclusión y la unidad analítica final. Documenta cómo se obtuvo el corpus final de 80 composiciones anonimizadas y calificables. Haga clic aquí para descargar este archivo.
Tabla suplementaria 2: Formación del evaluador, calibración y procedimiento estandarizado de puntuación. Esta tabla resume la selección de evaluadores, los requisitos de los evaluadores, la codificación anónima de los evaluadores, los materiales de formación, la explicación de la rúbrica, la explicación de las categorías, la puntuación de calibración, la revisión de discrepancias, los procedimientos de enmascaramiento, las restricciones de puntuación, los materiales de revisión, el procedimiento de reproducción, la regla de repetición de escucha, el orden aleatorio de presentación y el control de la duración de la puntuación. Haga clic aquí para descargar este archivo.
Tabla suplementaria 3: Estructura del conjunto de datos en formato largo y reglas de codificación. Esta tabla presenta la estructura de las variables, las reglas de codificación, las restricciones del conjunto de datos, los códigos de los criterios y filas de ejemplo para el conjunto de datos analítico en formato largo. Cada fila válida representa un evento de calificación observado definido por el identificador del estudiante, el identificador del evaluador, el identificador del criterio, el nombre del criterio y la categoría de puntuación. El diseño de la evaluación generó 3.600 oportunidades de calificación esperadas, de las cuales se analizaron 3.598 calificaciones observadas válidas, y dos oportunidades de calificación se registraron como faltantes. Haga clic aquí para descargar este archivo.
Tabla suplementaria 4: Especificaciones del archivo de control y diagnóstico de FACETS. Esta tabla informa la estructura del modelo FACETS y los ajustes de reproducibilidad, incluyendo la versión del software, tipo de modelo, facetas modeladas, categorías de puntuación, manejo de calificaciones faltantes, método de estimación, número máximo de iteraciones, criterio de convergencia, solicitudes de salida, umbrales de ajuste, umbral para revisión de sesgo, umbral de dependencia local y regla de interpretación de las medidas del estudiante. Las calificaciones faltantes se consideraron como datos faltantes, no fueron imputadas ni recodificadas en categorías de puntuación válidas. Haga clic aquí para descargar este archivo.
Discusión
El presente estudio aplicó un marco Rasch de múltiples facetas para evaluar el comportamiento creativo en estudiantes universitarios de música mediante obras composicionales originales. Los resultados mostraron que era posible estimar el desempeño del estudiante, la dificultad de los criterios, la variación en las mediciones de los evaluadores y el funcionamiento de las categorías de la escala de calificación dentro de una estructura de medición común. Este hallazgo respalda el uso de modelos de múltiples facetas en la evaluación musical basada en rúbricas cuando las calificaciones se obtienen mediante juicio experto en lugar de respuestas puramente objetivas11. El modelo no eliminó la necesidad de evaluación musical experta; más bien, proporcionó una forma estructurada de examinar cómo las facetas del estudiante, los criterios y los evaluadores contribuyeron a las calificaciones observadas. Esto es importante para la evaluación de composiciones porque las obras terminadas requieren juicio cualitativo, pero las calificaciones brutas por sí solas no pueden indicar si la variación en las calificaciones refleja al estudiante, al criterio, al evaluador o a la escala de calificación12.
Los resultados del criterio mostraron que la novedad fue el criterio menos difícil, mientras que la viabilidad y la flexibilidad resultaron más difíciles dentro de las composiciones completadas. Este patrón debe interpretarse como un resultado descriptivo de medición, no como evidencia de un efecto instructivo causal. El hallazgo indica que, en este corpus, los estudiantes demostraron ideas musicales distintivas con mayor facilidad que la viabilidad plenamente realizada o la transformación adaptable a lo largo de la obra completada. Esta distinción es coherente con la investigación sobre creatividad musical que considera la composición como un proceso que implica la generación de ideas, desarrollo, selección, reestructuración, refinamiento y realización, más que la originalidad por sí sola13. Asimismo, respalda el valor de separar las dimensiones de la rúbrica en lugar de reducir el desempeño creativo a un único juicio global14. Sin embargo, el presente estudio no puede determinar si el patrón de dificultad observado fue causado por las prácticas docentes, el diseño de la tarea, la etapa de desarrollo de los estudiantes, la redacción del criterio o la interpretación del evaluador. Estudios futuros deberían combinar calificaciones del producto con evidencias del proceso, tales como borradores, historiales de revisiones, registros reflexivos o entrevistas sobre la composición, para examinar cómo los estudiantes pasan de las ideas iniciales a productos musicales concretados.
Los resultados de los evaluadores mostraron una variación sustancial entre evaluador y medida, aunque todos los valores de ajuste de los evaluadores permanecieron dentro del rango aceptable definido. Este patrón no debe interpretarse simplemente como un fracaso en el entrenamiento de los evaluadores. Se esperan diferencias en el uso de las puntuaciones por parte de los evaluadores en evaluaciones artísticas mediadas por expertos, y esta es una de las principales razones para utilizar un modelo de Rasch de múltiples facetas15. Los resultados actuales muestran que los evaluadores utilizaron la escala de una manera generalmente aceptable, aunque difirieron en su uso relativo de las categorías de puntuación. Por lo tanto, el modelo ayudó a ajustar la variación relacionada con los evaluadores en las puntuaciones antes de interpretar las medidas de criterio y de los estudiantes. Para aplicaciones futuras, el entrenamiento de los evaluadores debe combinarse con un monitoreo posterior del uso de las puntuaciones, ajuste, uso de categorías e interacciones entre evaluadores y criterios, en lugar de depender únicamente del entrenamiento para eliminar todas las diferencias entre los evaluadores16.
La faceta de estudiante mostró variación medible, pero solo una separación moderada. La estimación de fiabilidad de los estudiantes fue de 0,78 y el valor de separación fue de 1,86. Por lo tanto, las mediciones de los estudiantes deben interpretarse como un respaldo a la estratificación amplia del rendimiento, más que como una clasificación individual precisa. Este punto es importante porque las diferencias pequeñas entre los logits individuales de los estudiantes pueden ser menores que los errores estándar de medición correspondientes. El caso S3 con mala adaptación apoya aún más una interpretación cautelosa a nivel individual. Tras la verificación del registro original y el análisis de sensibilidad, el orden principal de criterios, el patrón de mediciones de los evaluadores y la estructura de umbrales de la escala de calificación permanecieron estables. Por consiguiente, se mantuvo el caso S3 en el modelo principal, aunque el estudio no extrae conclusiones sustanciales a partir de este caso individual. Esta interpretación es coherente con el uso del análisis de ajuste Rasch como una herramienta diagnóstica para evaluar la estabilidad de la medición, y no como base para afirmaciones individuales infundadas17.
El estudio tiene varias limitaciones. En primer lugar, la muestra se obtuvo de una sola institución y etapa académica, por lo que los hallazgos no deben generalizarse más allá de grupos comparables de estudiantes de pregrado en Musicología sin una validación adicional. En segundo lugar, el estudio evaluó únicamente los productos finales de la composición y no incluyó materiales del proceso, como borradores, historiales de revisiones, registros reflexivos o datos de pensamiento en voz alta. En tercer lugar, los cinco criterios de la rúbrica se consideraron manifestaciones relacionadas del comportamiento creativo general en la composición, y los resultados diagnósticos respaldaron esta especificación en el conjunto de datos actual; sin embargo, investigaciones futuras deberían examinar si la misma estructura se mantiene en muestras más grandes, diferentes instituciones y distintas tareas de composición. En cuarto lugar, el trasfondo de los evaluadores solo se modeló mediante el factor de evaluador, y el estudio no evaluó directamente cómo la formación disciplinaria, la experiencia docente, las preferencias estéticas o la experiencia en composición contribuyeron a la variación en las mediciones de los evaluadores. Por último, el estudio fue transversal y no intervino, por lo que el patrón de dificultad de los criterios no debe utilizarse para inferir la efectividad docente ni una causalidad instruccional.
En conclusión, este estudio demuestra un procedimiento reproducible para evaluar el comportamiento creativo en estudiantes de música mediante obras composicionales originales, utilizando una rúbrica estructurada y la medición Rasch de múltiples facetas. Los resultados muestran que la dificultad de los criterios, la variación en las mediciones de los evaluadores, la distribución del desempeño estudiantil y el funcionamiento de la escala de calificación pueden examinarse dentro de un único marco de medición. La novedad resultó relativamente más fácil de demostrar, mientras que la factibilidad y la flexibilidad fueron más difíciles de alcanzar en las composiciones terminadas. La variación en las mediciones de los evaluadores fue considerable, lo que respalda la necesidad de modelar los efectos de los evaluadores en la evaluación musical. Las mediciones de los estudiantes apoyaron una estratificación amplia más que un ordenamiento individual preciso. En conjunto, el marco proporciona una base transparente para evaluar el comportamiento creativo basado en la composición, así como para perfeccionar el diseño de rúbricas, el monitoreo de evaluadores y futuros estudios de validación en la educación musical superior.
Divulgaciones
Los autores declaran que no tienen conflictos de interés. Se utilizaron únicamente herramientas de edición lingüística asistidas por IA para mejorar la legibilidad y la gramática durante la preparación del manuscrito. No se utilizaron herramientas de IA para el análisis de datos, la modelización de Rasch de múltiples facetas, la generación de figuras, la interpretación de resultados ni para la toma de decisiones científicas. Los autores revisaron y verificaron todo el contenido del manuscrito y aceptan la responsabilidad total por la versión final.
Agradecimientos
Los autores agradecen a los estudiantes participantes, evaluadores y personal administrativo de la Escuela de Música y Danza del Instituto de Tecnología de Jiangxi por su apoyo durante la administración de la tarea, recolección de archivos, anonimización y coordinación de la calificación. Este trabajo fue apoyado por el Proyecto de Planificación Científica de Artes y Cultura de la Provincia de Jiangxi, «Un Estudio sobre la Preservación y el Desarrollo Diversificado de las Canciones Montañesas Hakka de Jinggang» (Número de Proyecto YG2020158).
Materiales
| Nombre | Empresa | Número de catálogo | Comentarios |
|---|---|---|---|
| Adobe Acrobat Reader | Adobe | 26.001.21346 | Se utiliza para abrir y revisar archivos PDF de partituras durante la evaluación inicial y la calificación formal. |
| Audacity | Audacity | 3.7.7 | Se utiliza para abrir y revisar las grabaciones de audio en formato MP3 que acompañan a las composiciones presentadas. |
| FACETS | Winsteps | 3.83.6 | Se utiliza para el análisis Rasch de múltiples facetas. |
| HD 280 Pro headphones | Sennheiser | 506845 | Auriculares de monitoreo cerrados utilizados para escucha estandarizada durante la revisión de archivos de audio presentados. |
| Microsoft 365 Apps for business, including Excel | Microsoft | O365BusinessRetail | Se utiliza para la entrada de calificaciones, la creación de conjuntos de datos en formato largo y la verificación de datos antes del análisis Rasch. |
| Moodle LMS | Moodle | MOODLE_5013 | Se utiliza como sistema institucional de gestión del aprendizaje para la presentación de tareas y la recopilación de archivos. |
| MuseScore Studio | MuseScore | 4.6.5 | Se utiliza para la preparación, notación y exportación de archivos de composición original en formatos basados en partituras. |
| OptiPlex Tower Plus 7020 Desktop | Dell | QBS1250 | Se utiliza como estación de trabajo para la gestión de archivos, la administración de calificaciones y el análisis estadístico. |
Referencias
- UNESCO. Road Map for Arts Education: Building Creative Capacities for the 21st Century. Paris: UNESCO; 2006.
- Teaching Guidance Committee for Higher Education Institutions, Ministry of Education of the People’s Republic of China. National Standards for Teaching Quality of Undergraduate Major Programs in Regular Higher Education Institutions, Volume II. Beijing: Higher Education Press; 2018.
- Bolden B, DeLuca C. Nurturing student creativity through assessment for learning in music classrooms. Res Stud Music Educ. 2022;44(1):273-289. doi:10.1177/1321103X211054793.
- Escorihuela G, Martínez-Bayona T, Marzal L. Competence-based assessment in higher music education: faculty perceptions in the Valencian Community. Front Educ. 2025;10:1697717. doi:10.3389/feduc.2025.1697717.
- Moura N, Dias P, Veríssimo L, Oliveira-Silva P, Serra S. Solo music performance assessment criteria: a systematic review. Front Psychol. 2024;15:1467434. doi:10.3389/fpsyg.2024.1467434.
- Said-Metwaly S, Van den Noortgate W, Kyndt E. Approaches to measuring creativity: a systematic literature review. Creat Theor Res Appl. 2017;4(2):238-275. doi:10.1515/ctra-2017-0013.
- Uto M. A multidimensional generalized many-facet Rasch model for rubric-based performance assessment. Behaviormetrika. 2021;48:425-457. doi:10.1007/s41237-021-00144-w.
- Tavakol M, Pinner G. Using the many-facet Rasch model to analyse and evaluate the quality of an objective structured clinical examination: a non-experimental cross-sectional design. BMJ Open. 2019;9(9):e029208. doi:10.1136/bmjopen-2019-029208.
- Hung SP, Chen PH, Chen HC. Improving creativity performance assessment: a rater effect examination with many-facet Rasch model. Creat Res J. 2012;24(4):345-357. doi:10.1080/10400419.2012.730331.
- Huang HY. Understanding rater cognition in performance assessment: a mixed IRTree approach. Appl Psychol Meas. 2025;49(7):331-349. doi:10.1177/01466216251333578.
- Ooi PS, Engelhard G Jr. Examining rater judgements in music performance assessment using many-facets Rasch rating scale measurement model. J Appl Meas. 2019;20(1):79-99.
- Eckes T. Introduction to Many-Facet Rasch Measurement: Analyzing and Evaluating Rater-Mediated Assessments. Berlin: Peter Lang; 2015.
- Engelhard G Jr, Wind SA. Invariant Measurement with Raters and Rating Scales: Rasch Models for Rater-Mediated Assessments. New York: Routledge; 2018.
- Hickey M. An application of Amabile’s consensual assessment technique for rating the creativity of children’s musical compositions. J Res Music Educ. 2001;49(3):234-244. doi:10.2307/3345709.
- Schiavio A, Moran N, van der Schyff D, Biasutti M, Parncutt R. Processes and experiences of creative cognition in seven Western classical composers. Music Sci. 2022;26(2):303-325. doi:10.1177/1029864920943931.
- Nijs L, Grinspun N, Fortuna S. Developing musical creativity through movement: navigating the musical affordance landscape. Creat Res J. 2025;37(3):427-451. doi:10.1080/10400419.2023.2299159.
- Zhan Z, He J, Zhong Y. How does problem-solving pedagogy affect creativity? A meta-analysis of empirical studies. Front Psychol. 2024;15:1287082. doi:10.3389/fpsyg.2024.1287082.