Avaliação do Comportamento Criativo em Estudantes de Música por Meio de Obras Composicionais Utilizando um Modelo de Rasch de Múltiplas Facetas

Resumo

Este estudo avalia o comportamento criativo em alunos de música mediante a aplicação de uma rubrica estruturada de avaliação de composição e a medição de Rasch de múltiplas facetas em obras musicais originais.

Resumo

Avaliar a criatividade no ensino de música permanece desafiador porque julgamentos sobre obras musicais originais são influenciados por preferências subjetivas, interpretações desiguais de critérios e diferenças na severidade dos avaliadores. No treinamento de composição, obras concluídas podem ser tratadas como produtos observáveis que demonstram como os estudantes geram, desenvolvem, transformam, refinam e realizam ideias musicais. Este estudo examinou se uma matriz estruturada de avaliação de composições, combinada à medida de Rasch de múltiplas facetas, poderia apoiar uma avaliação reprodutível do comportamento criativo entre estudantes de graduação em música. Composições originais de 80 estudantes de música foram pontuadas independentemente por nove avaliadores treinados utilizando uma matriz de cinco pontos. A matriz incluía cinco dimensões relacionadas ao comportamento criativo composicional: novidade, fluência, flexibilidade, precisão e viabilidade. Os dados de avaliação foram analisados usando o software FACETS, versão 3.83.6, com estudantes, critérios e avaliadores especificados como facetas separadas dentro de uma estrutura comum de medida em logito. O desenho da avaliação incluiu 3.600 oportunidades esperadas de pontuação; foram analisadas 3.598 pontuações válidas observadas, com duas faltando. O ajuste geral do modelo apoiou a interpretação do desenho da avaliação, e a estrutura ordenada das categorias indicou que a escala de cinco pontos funcionou na direção esperada. As estimativas dos critérios mostraram que a novidade era relativamente mais fácil de demonstrar, enquanto viabilidade e flexibilidade eram mais difíceis de alcançar nas composições concluídas. Também foram observadas diferenças na localização do uso da pontuação pelos avaliadores, reforçando a necessidade de modelar os efeitos dos avaliadores em vez de depender apenas das pontuações brutas. A separação entre estudantes foi moderada, indicando que o instrumento era mais adequado para estratificação ampla de desempenho do que para classificação individual precisa. Esses achados sugerem que uma matriz baseada em composição, combinada à medida de Rasch de múltiplas facetas, pode fornecer um quadro transparente para avaliar o comportamento criativo no ensino superior de música.

Introdução

A criatividade tornou-se um resultado central da educação em artes, pois espera-se que os alunos não apenas reproduzam técnicas estabelecidas, mas também criem obras originais, significativas e comunicáveis dentro de um contexto disciplinar¹. Na educação musical, essa expectativa é especialmente importante no treinamento em composição, no qual os alunos devem transformar conhecimentos musicais em obras concluídas por meio de decisões sobre tema, melodia, ritmo, forma, desenvolvimento e realização. A avaliação é difícil nesse contexto, pois a criatividade musical não pode ser avaliada apenas como uma questão de gosto pessoal ou impressão artística geral. Uma composição concluída fornece evidências observáveis de comportamento criativo, mas essas evidências devem ser traduzidas em critérios explícitos para que a pontuação seja transparente e reprodutível². Sem critérios claros, as pontuações podem refletir preferências do avaliador, familiaridade com determinado estilo ou uma impressão geral de qualidade, em vez das qualidades específicas da obra submetida.

O presente estudo define comportamento criativo composicional como a expressão observável de um trabalho musical criativo em uma composição concluída. A matriz utiliza cinco dimensões: novidade, fluência, flexibilidade, precisão e viabilidade. Essas dimensões não são tratadas como subtraços idênticos nem como construtos teóricos separados. Em vez disso, são utilizadas como manifestações em nível de critério de um único construto amplo baseado em produto: o grau em que um aluno pode gerar, desenvolver, transformar, aperfeiçoar e concretizar ideias musicais em uma obra finalizada. A novidade representa a singularidade da ideia ou tratamento musical; a fluência, a continuidade e produtividade no desenvolvimento de ideias; a flexibilidade, os diferentes enfoques, transformações ou mudanças adaptativas no tratamento musical; a precisão, o aprimoramento, a organização interna e o detalhamento concreto dos elementos musicais; e a viabilidade, a viabilidade artística e prática da composição concluída³. Essa estrutura conecta a geração de ideias, o desenvolvimento de ideias, a transformação adaptativa, o aprimoramento técnico e a viabilidade concretizada em um único produto musical finalizado.

Esse argumento de construto também reduz a sobreposição de critérios e a contaminação de construto. A precisão foi limitada à refinamento, organização interna e detalhes musicais concretos, enquanto a viabilidade foi definida como a viabilidade artística e prática da obra como uma composição realizada. De forma semelhante, a fluência foi limitada ao desenvolvimento sustentado e produtivo, enquanto a flexibilidade foi definida como variação, transformação e tratamento musical adaptativo. Uma obra pode conter uma ideia original, mas com desenvolvimento limitado, ou pode ser coerente e tecnicamente estável, ao mesmo tempo que apresenta pouca transformação. Uma matriz baseada em critérios é, portanto, necessária, porque uma pontuação bruta total pode ocultar perfis criativos desiguais na mesma composição⁴.

A avaliação musical mediada por examinadores exige atenção tanto ao comportamento do avaliador quanto ao desempenho do aluno. Mesmo quando os examinadores utilizam a mesma matriz de avaliação, podem diferir em severidade, uso de categorias e interpretação dos critérios. Essas diferenças não são meramente problemas procedimentais; fazem parte da situação de mensuração e podem afetar o significado das pontuações observadas⁵. A medição de Rasch com múltiplas facetas é adequada para esse contexto, pois estima alunos, examinadores, critérios e categorias da escala de avaliação dentro de um quadro comum de logitos. As medidas dos alunos representam o desempenho criativo estimado após ajuste pela dificuldade dos critérios e pela severidade dos examinadores; as medidas dos critérios indicam quão difícil é demonstrar cada dimensão; as medidas dos examinadores indicam a posição relativa de uso das pontuações; e as estatísticas das categorias mostram se a escala de avaliação funciona na ordem pretendida⁶. Essa abordagem é mais robusta do que depender apenas de pontuações brutas ou médias, pois separa múltiplas fontes de variação das pontuações que, de outra forma, estariam combinadas na avaliação observada.

O uso de um modelo de muitas facetas unidimensional de Rasch exige um argumento claro sobre a construção. Neste estudo, a especificação unidimensional é justificada ao nível do comportamento criativo composicional geral, e não pela suposição de que as cinco dimensões da matriz sejam idênticas. Espera-se que os cinco critérios representem aspectos observáveis distintos de uma construção ampla de desempenho, conforme expressa em obras musicais concluídas. Essa suposição foi tratada como uma hipótese empírica de mensuração e foi examinada por meio do ajuste aos critérios, funcionamento da escala de classificação, associações residuais entre critérios e diagnósticos de interação entre avaliadores e critérios e entre estudantes e critérios⁷. Embora abordagens de Rasch de muitas facetas tenham sido aplicadas em avaliações baseadas em desempenho, seu uso sistemático na avaliação completa de composições no ensino superior de música permanece limitado⁸. A pesquisa existente sobre avaliação musical enfatizou a dificuldade de julgar produtos artísticos abertos e a necessidade de critérios explícitos de pontuação⁹, enquanto pesquisas em mensuração demonstraram que avaliações de desempenho baseadas em matrizes podem se beneficiar da modelagem direta dos efeitos dos avaliadores e dos critérios¹⁰. Nesse contexto, o presente estudo aplica uma estrutura de muitas facetas de Rasch a composições originais produzidas por estudantes de graduação em música. O estudo aborda três questões: se a estrutura proposta de avaliação de composições funciona adequadamente como um desenho de mensuração; como a dificuldade dos critérios e a variação no uso da pontuação pelos avaliadores contribuem para a variação observada nas notas; e como as medidas de desempenho criativo dos estudantes estão distribuídas após a modelagem dos efeitos dos critérios e dos avaliadores.

Protocolo

Este estudo foi aprovado pelo Comitê de Ética em Pesquisa da Escola de Música e Dança do Instituto de Tecnologia de Jiangxi, Nanchang 330098, Jiangxi, China, sob o número de aprovação YG2020158. O consentimento informado por escrito foi obtido de todos os participantes antes da aplicação da tarefa e da coleta de dados. Os participantes foram informados de que suas composições submetidas seriam utilizadas apenas para avaliação com fins de pesquisa após a desidentificação. Nomes dos alunos, identificadores de turma, metadados dos arquivos contendo informações sobre autoria e outros identificadores diretos foram removidos antes da correção. Esses identificadores não foram fornecidos aos avaliadores. Todas as obras submetidas foram desidentificadas antes da correção e análise, e todos os arquivos analíticos foram processados utilizando apenas identificadores codificados.

Configuração do estudo, recrutamento dos participantes e atribuição de tarefas

O estudo foi conduzido na Escola de Música e Dança do Instituto de Tecnologia de Jiangxi, Nanchang, Jiangxi, China, de setembro de 2025 a janeiro de 2026. Os participantes foram recrutados do terceiro ano da turma de Musicologia, pois os alunos nesse estágio já haviam concluído o currículo básico em teoria musical, prática interpretativa, composição de música eletrônica e disciplinas relacionadas à composição antes do semestre do estudo.

A coorte de origem incluiu 96 estudantes do terceiro ano de Musicologia. Todos os 96 estudantes foram abordados. Quatro estudantes não forneceram consentimento escrito e, portanto, não participaram da triagem. Os 92 estudantes restantes forneceram consentimento informado por escrito e foram submetidos à triagem. Doze estudantes foram excluídos antes da análise final. Os motivos de exclusão foram submissões incompletas de composições em cinco estudantes, ausência de um ou mais elementos estruturais obrigatórios em três estudantes, submissões após o prazo final em dois estudantes, arquivos ilegíveis ou corrompidos em um estudante e desistências antes da avaliação em um estudante. A amostra final para análise incluiu 80 estudantes de graduação, sendo 32 do sexo masculino e 48 do sexo feminino.

A amostra analítica final representou o corpus completo elegível de composições anônimas e pontuáveis disponíveis a partir da coorte recrutada após a aplicação das regras de consentimento, triagem e exclusão. Este tamanho amostral não foi justificado ao tratar as 3.600 oportunidades de avaliação como observações independentes ao nível dos estudantes. Em vez disso, o desenho de Rasch de múltiplas facetas utilizou avaliações repetidas das 80 composições para estimar medidas de desempenho criativo dos estudantes, ao mesmo tempo que modelava a dificuldade dos critérios, a variação no uso de pontuações pelos avaliadores e o funcionamento das categorias da escala de avaliação. A inclusão de nove avaliadores teve como objetivo apoiar a estimativa da variação relacionada ao uso de pontuações pelos avaliadores e reduzir a dependência da interpretação de qualquer único corretor sobre a qualidade aberta das composições. Os estudantes eram elegíveis se estivessem matriculados em tempo integral no terceiro ano do programa de Musicologia, tivessem concluído os cursos obrigatórios antes do semestre do estudo, fornecessem consentimento informado por escrito e submetessem uma composição original completa dentro do período designado para submissão. Os estudantes foram excluídos se não submeteram trabalho completo, se a submissão não atendeu aos requisitos pré-definidos da tarefa, se o arquivo não pôde ser aberto ou avaliado, se a submissão foi recebida após o prazo final ou se o consentimento foi retirado antes da avaliação.

Cada participante realizou uma tarefa individual de composição original seguindo as mesmas instruções por escrito. Os alunos puderam escolher seu próprio tema e estilo, mas todas as submissões precisavam incluir letra, melodia, ritmo e organização formal. Trabalhos em grupo, submissões de trabalhos já entregues anteriormente, materiais publicados adaptados, arquivos apenas de rascunho e revisões tardias foram excluídos do conjunto de dados destinado à avaliação formal. Apenas uma versão final foi aceita de cada participante. Os requisitos detalhados da tarefa e as especificações de envio estão apresentados na Tabela Suplementar 1. O fluxo completo do recrutamento e da análise é mostrado em  Figura 1.

Coleta, triagem e anonimização de obras composicionais

Todas as composições foram enviadas pelo sistema institucional de gerenciamento de aprendizagem até às 23h59 do último dia da semana programada para a tarefa. Cada envio incluía um arquivo de partitura no formato Portable Document Format (PDF) e um arquivo de áudio em formato MP3. Após o prazo final, a equipe de pesquisa baixou todos os arquivos enviados pelo mesmo canal de submissão e examinou cada trabalho em relação aos requisitos pré-definidos da tarefa antes de liberá-los aos avaliadores. Somente as composições que continham letra, melodia, ritmo e organização formal e que representassem um produto final completo foram mantidas. Arquivos que fossem apenas rascunhos, trabalhos incompletos, arquivos faltando componentes estruturais principais, submissões atrasadas e arquivos ilegíveis ou corrompidos foram excluídos antes da avaliação.

Cada trabalho elegível recebeu um código anônimo de estudante de S1 a S80. Os nomes dos estudantes, identificadores de turma, metadados dos arquivos contendo informações sobre autoria e todos os demais identificadores diretos foram removidos antes da liberação dos arquivos para correção. O arquivo de vinculação, que associa a identidade do participante ao código anônimo do estudo, foi armazenado separadamente pelo pesquisador principal em um arquivo protegido por senha. Esse arquivo de vinculação não estava disponível para os avaliadores nem para o analista durante a estimação do modelo. O corpus final de correção consistiu em 80 redações anônimas e passíveis de correção, cada uma representada por um arquivo de pontuação em PDF e uma renderização de áudio em MP3.

Rubrica de avaliação

A matriz de avaliação analisou cinco dimensões do comportamento criativo em obras composicionais: novidade, fluência, flexibilidade, precisão e viabilidade. A matriz foi desenvolvida pela equipe de pesquisa em consulta com três membros do corpo docente com experiência no ensino de composição, teoria musical e avaliação em educação musical. Uma versão inicial foi analisada utilizando cinco composições práticas, não pertencentes ao estudo, do ano letivo anterior. A redação dos critérios e dos cinco pontos de referência de pontuação foi revisada após a análise piloto, com o objetivo de reduzir a sobreposição entre viabilidade e precisão e de distinguir fluência de flexibilidade. A matriz final foi definida em 20 de setembro de 2025, antes do treinamento dos avaliadores e da pontuação formal. Nenhuma redação de critério ou ponto de referência de pontuação foi alterada após o início da pontuação formal.

Na rubrica final, novidade referia-se ao caráter distintivo e originalidade da ideia ou tratamento musical. Fluência refere-se à continuidade e produtividade no desenvolvimento de ideias dentro da obra. Flexibilidade referia-se a abordagens variadas, transformações ou mudanças adaptativas no tratamento musical. Precisão referia-se ao aperfeiçoamento, organização interna e concretude dos detalhes musicais. Exequibilidade referia-se à viabilidade artística e prática da obra concluída como uma composição realizada. Todas as cinco dimensões foram pontuadas utilizando o mesmo formato de resposta de cinco pontos. Uma pontuação 1 indicava uma demonstração muito fraca da dimensão avaliada, e uma pontuação 5 indicava uma demonstração muito forte. Pontuações com meios pontos não eram permitidas. Todos os avaliadores utilizaram a mesma ordem de critérios, pontos de referência de pontuação e formulário padronizado de pontuação. As definições operacionais e os pontos de referência de pontuação para as cinco dimensões estão apresentados na Table 1.

Recrutamento, cegamento e treinamento dos avaliadores

Nove avaliadores com experiência prévia em avaliação relacionada à música ou às artes foram recrutados no Instituto de Tecnologia de Jiangxi. O painel de avaliadores incluiu cinco membros do corpo docente de cursos relacionados à música, dois membros do corpo docente de educação musical e dois instrutores sênior de pós-graduação com experiência em avaliação artística. Cada avaliador possuía pelo menos três anos de experiência em ensino, correção, julgamento ou avaliação artística. A cada avaliador foi atribuído um código anônimo de J1 a J9. Todos os avaliadores corrigiram o mesmo corpus anônimo de 80 composições. Durante toda a fase formal de correção, os avaliadores permaneceram cegos quanto à identidade dos estudantes, informações demográficas, filiação à turma e às notas dos demais avaliadores.

Antes da pontuação formal, todos os avaliadores concluíram uma sessão padronizada de treinamento e calibração com duração aproximada de 120 min. Durante a sessão, a equipe de pesquisa distribuiu a matriz escrita, os pontos de referência de pontuação, a ficha padronizada de pontuação e as instruções de pontuação. Os cinco critérios e as cinco categorias de resposta foram explicados na mesma ordem fixa utilizada durante a pontuação formal. Em seguida, três composições anônimas de calibração foram usadas para prática de pontuação. Essas três composições de calibração eram independentes das 80 composições do estudo formal e não foram incluídas no conjunto de dados analítico. Cada avaliador pontuou os três trabalhos de calibração de forma independente antes da discussão. As discrepâncias foram revisadas critério por critério para esclarecer o significado de cada dimensão, a distinção entre categorias adjacentes de pontuação e o uso de toda a escala de cinco pontos. O objetivo da sessão de calibração era padronizar a interpretação da matriz, e não forçar pontuações idênticas. O fluxo de trabalho de treinamento e o procedimento de calibração estão apresentados no Supplementary Table 2.

Procedimento formal de pontuação

Durante a avaliação formal, cada avaliador analisou independentemente todas as composições anonimizadas em relação aos cinco critérios. Os avaliadores examinaram tanto o arquivo de partitura em PDF quanto a reprodução sonora em MP3 correspondente a cada obra. Os arquivos PDF foram abertos em um software leitor de PDF, e os arquivos de áudio foram analisados no Audacity, utilizando fones de ouvido Sennheiser HD 280 Pro, em um mesmo tipo de estação de trabalho utilizada para a aplicação da avaliação. Os avaliadores foram orientados a examinar primeiro o arquivo da partitura, ouvir a reprodução sonora completa uma vez e, em seguida, realizar a pontuação por critério após uma segunda análise detalhada, quando necessário. Era permitido ouvir novamente até duas vezes adicionais qualquer composição, caso o avaliador precisasse verificar detalhes de ritmo, melodia, estrutura ou realização. Durante a avaliação formal, não era permitido aos avaliadores discutir submissões individuais, e nenhum avaliador teve acesso às pontuações atribuídas pelos demais avaliadores.

As 80 composições anônimas foram apresentadas a cada avaliador em uma ordem aleatória gerada antes da avaliação. Cada avaliador utilizou o mesmo conjunto anônimo de arquivos, rubrica, ficha de pontuação e instruções de avaliação. A avaliação formal foi concluída individualmente em uma a três sessões por avaliador, e nenhuma sessão única de avaliação excedeu 3 hr. Quando a avaliação foi concluída em múltiplas sessões, utilizou-se o mesmo ambiente de avaliação, conjunto de arquivos e ficha de resposta. Cada composição teve 45 oportunidades esperadas de avaliação, correspondendo a nove avaliadores multiplicados por cinco critérios. Com 80 composições incluídas no corpus final, o desenho da avaliação gerou 3.600 oportunidades esperadas de avaliação antes das verificações de avaliações ausentes.

Entrada de dados, estrutura de codificação e controle de qualidade

Após a pontuação formal, todas as avaliações observadas foram inseridas em um conjunto de dados analítico no formato longo utilizando o Microsoft Excel. O desenho de Rasch com múltiplas facetas incluiu três dimensões: estudantes, avaliadores e critérios. Os estudantes foram codificados como S1 a S80, os avaliadores como J1 a J9 e os critérios como C1 a C5. Os critérios foram codificados como C1 para novidade, C2 para fluência, C3 para flexibilidade, C4 para precisão e C5 para viabilidade. Cada registro de pontuação válido representava uma avaliação observada entre estudante, avaliador e critério, e continha student_id, rater_id, criterion_id, criterion_name e score. As categorias de pontuação válidas foram registradas exclusivamente como números inteiros de 1 a 5.

Antes do ajuste do modelo, o conjunto de dados foi verificado quanto a registros duplicados, identificadores ausentes, pontuações ausentes, códigos de estudantes inválidos, códigos de avaliadores inválidos, códigos de critérios inválidos, incompatibilidades entre criterion_id e criterion_name e pontuações fora do intervalo permitido. O delineamento completo gerou 3.600 oportunidades de avaliação esperadas. O arquivo analítico final continha 3.598 avaliações válidas observadas e duas oportunidades de avaliação ausentes. As duas avaliações ausentes foram registradas como ausentes, não foram imputadas e não foram recodificadas em nenhuma categoria de pontuação válida. Registros duplicados e inconsistências de codificação foram verificados com base nas fichas originais de pontuação antes da estimação do modelo. A estrutura de variáveis e o formato de codificação exigidos são apresentados na Supplementary Table 3.

Especificação do modelo de Rasch de múltiplas facetas

Os dados de avaliação limpos foram analisados usando o FACETS, versão 3.83.6. O modelo estimou simultaneamente o desempenho criativo dos estudantes, a dificuldade dos critérios, a localização do uso da pontuação pelos avaliadores e os limiares das categorias da escala de avaliação em uma escala logística comum. Os estudantes foram definidos como a faceta de medição principal, os critérios como a faceta de dificuldade e os avaliadores como a faceta de avaliador. O arquivo de controle do FACETS especificou três facetas, com rótulos de estudantes S1–S80, rótulos de critérios C1–C5 e rótulos de avaliadores J1–J9. Um modelo comum de escala de avaliação de cinco categorias foi aplicado a todos os cinco critérios, pois todos utilizaram a mesma estrutura ordenada de respostas de 1 a 5. O modelo foi estimado utilizando a estimação conjunto por máxima verossimilhança. Nenhum valor âncora externo foi aplicado. As facetas de estudante e critério foram centralizadas para fins de apresentação na escala logística comum, e a faceta de avaliador foi estimada livremente para representar a variação no uso da pontuação entre os avaliadores. A estrutura do arquivo de controle do FACETS, codificação das facetas, configuração da escala de avaliação, método de estimação, regra de centralização, regra de convergência, solicitações de saída e limiares diagnósticos estão resumidos na Tabela Suplementar 4.

O modelo foi especificado da seguinte forma:

Onde P_nijk indica a probabilidade de o estudante n receber a categoria k do avaliador j no critério i em vez de categoria k − 1, B_n denota a medida estimada de desempenho criativo do estudante n, D_i indica a dificuldade do critério i, R_j indica a localização do avaliador para uso da pontuação do avaliador j, e F_k indica o limiar entre categorias adjacentes de pontuação. As categorias de pontuação foram ordenadas de 1 a 5. Nessa parametrização, locais mais altos do avaliador correspondem a um uso maior das pontuações na saída do FACETS. O modelo inicial foi ajustado com base nas avaliações válidas disponíveis, sem agrupamento de categorias. As avaliações ausentes foram tratadas como ausentes, sem imputação ou recodificação em categorias de pontuação.

A análise FACETS foi executada com um máximo de 100 iterações e um critério de convergência inferior a 0,01 logits para a maior mudança nos parâmetros entre iterações consecutivas. As especificações de saída incluíram estatísticas resumidas dos facetos, medidas individuais dos facetos, erros-padrão do modelo, estatísticas médias quadráticas de infite e outfite, médias observadas, médias justas, índices de separação e confiabilidade, testes qui-quadrado, estatísticas das categorias, limiares Rasch-Andrich, erros-padrão dos limiares, saída de probabilidade das categorias, resíduos padronizados, saída de viés entre avaliadores e critérios e saída de viés entre estudantes e critérios. O arquivo de controle do FACETS, o conjunto de dados de avaliações em formato longo com identificação removida, a saída do modelo principal e a saída da análise de sensibilidade foram mantidos como arquivos de análise reproduzível.

Avaliação e regras diagnósticas

As estatísticas de quadrado médio infit e quadrado médio outfit foram utilizadas para avaliar o ajuste do modelo para estudantes, critérios e avaliadores. Valores entre 0,60 e 1,30 foram considerados a faixa aceitável principal para interpretação rotineira. Valores acima de 1,50 foram sinalizados para revisão, e valores acima de 2,00 foram considerados desajuste substancial. Para qualquer estudante com valores de quadrado médio infit ou outfit acima de 2,00, os registros originais de pontuação foram verificados em comparação com o conjunto de dados limpo, e o modelo foi reestimado após a exclusão desse estudante como uma análise de sensibilidade. Os casos não foram removidos do modelo principal apenas por causa de desajuste; a análise de sensibilidade foi utilizada para determinar se as principais conclusões sobre critérios, avaliadores e escalas de avaliação permaneceram estáveis. Essas regras de revisão de ajuste e análise de sensibilidade estão listadas na Tabela Suplementar 4.

Índices de separação e confiabilidade foram examinados para cada facet para determinar se havia diferenciação interna significativa e se as medidas resultantes eram suficientemente estáveis para interpretação. Valores de separação superiores a 2,00 foram interpretados como indicativos de diferenciação substancial dentro de um facet. Separação entre estudantes inferior a 2,00 foi interpretada como indicativa de estratificação ampla, em vez de classificação individual precisa. Valores de confiabilidade mais próximos de 1,00 foram interpretados como indicadores de maior estabilidade da medição. O funcionamento da escala de classificação foi examinado por meio de estatísticas das categorias, médias observadas, valores médios quadráticos de ajuste, limiares de Rasch-Andrich, erros-padrão dos limiares e curvas de probabilidade das categorias. O desempenho das categorias foi considerado aceitável quando as médias observadas aumentaram monotonicamente ao longo das categorias de pontuação, os limiares adjacentes progrediram em sequência ordenada e as cinco categorias formaram regiões de probabilidade interpretáveis ao longo do continuum latente.

Os resultados de viés e interação foram analisados para combinações de avaliador-por-critério e aluno-por-critério. Qualquer interação com valor absoluto padronizado de viés t igual ou superior a 2,00 foi destacada para revisão. Essas verificações diagnósticas foram utilizadas para identificar possíveis inconsistências na interpretação dos critérios ou padrões inesperados de resposta, e não para remover automaticamente avaliações. A dependência local e a sobreposição de constructos foram examinadas mediante análise do ajuste dos critérios e das associações residuais entre todos os 10 pares possíveis de critérios. Qualquer associação residual igual ou superior a 0,30 entre dois critérios foi assinalada como possível dependência local e revisada com base nas definições da matriz de avaliação. Esses critérios diagnósticos também são relatados na Tabela Suplementar 4. Assim, a especificação unidimensional de Rasch foi avaliada como uma suposição de mensuração, e não assumida automaticamente. Ao interpretar as medidas dos alunos, diferenças logíticas individuais não foram consideradas significativas a menos que excedessem a respectiva incerteza de medição. O fator aluno foi interpretado principalmente como uma distribuição geral do desempenho criativo composicional, e não como uma classificação precisa de alunos individuais.

Resultados

Resumo geral das facetas

A análise de Rasch de múltiplas facetas baseou-se em um delineamento completo de avaliação envolvendo 80 redações anonimizadas, nove avaliadores e cinco critérios de pontuação. Esse delineamento gerou 3.600 oportunidades de avaliação esperadas. Dessas, foram analisadas 3.598 avaliações válidas observadas, e duas oportunidades de avaliação foram registradas como ausentes. As avaliações ausentes não foram imputadas nem recodificadas em qualquer categoria de pontuação válida. As estatísticas gerais das facetas são apresentadas na Tabela 2. Entre as três facetas modeladas, os valores médios dos quadrados médios de infit e de outfit foram próximos de 1,00, indicando um ajuste aceitável entre o modelo e os dados. As estimativas de confiabilidade foram 0,87 para os critérios, 1,00 para os avaliadores e 0,78 para os estudantes. Os valores de separação foram 2,56 para os critérios, 16,36 para os avaliadores e 1,86 para os estudantes. Os testes qui-quadrado foram significativos para as três facetas. A faceta critério e a faceta estudante foram centralizadas em 0,00 logitos para fins de relato, enquanto a faceta avaliador apresentou uma medida média de 0,62 logitos. As medidas dos estudantes variaram de -0,80 a 1,12 logitos, resultando em uma amplitude estimada de 1,92 logitos.

Variação entre avaliador e medida

As estimativas dos avaliadores estão apresentadas na Tabela 2. Os valores médios quadráticos de Infit variaram de 0,73 a 1,26, e os valores médios quadráticos de Outfit variaram de 0,74 a 1,27. Todos os nove avaliadores estavam dentro da faixa aceitável de ajuste de 0,60 a 1,30. O aspecto avaliador apresentou a maior dispersão entre os aspectos modelados, indicando variação clara no uso das pontuações pelos avaliadores, mesmo que todos tenham utilizado a mesma rubrica, ficha de correção e procedimento de pontuação. O avaliador J9 apresentou a maior localização de medida de avaliador, com 3,37 logitos, enquanto o J8 apresentou a menor localização de medida de avaliador, com -0,34 logitos. Essa tendência foi consistente com as médias observadas e justas: J9 obteve as médias observada e justa mais altas, 4,74 e 4,75, enquanto J8 obteve as médias observada e justa mais baixas, ambas iguais a 2,77. O aspecto avaliador foi, portanto, interpretado como variação na localização do uso das pontuações na escala logarítmica comum, e não como uma simples classificação de severidade. J1 e J5 tiveram estimativas idênticas de 0,86 logitos, J3 e J6 tiveram estimativas idênticas de -0,13 logitos, e J2 e J4 localizaram-se próximos ao centro da escala de avaliadores, com 0,03 e -0,15 logitos, respectivamente. A dispersão total das medidas dos avaliadores foi de 3,71 logitos. O valor de separação entre avaliadores foi de 16,36, com um valor qui-quadrado de 1487,8 (gl = 8), p < 0,001. Nenhum avaliador ultrapassou o limiar de revisão de ajuste, e nenhum avaliador foi excluído do modelo principal.

Dificuldade do critério e adequação do critério

As estimativas de dificuldade dos critérios são apresentadas na Tabela 2. Exequibilidade apresentou a maior estimativa de dificuldade, com 0,20 logits, indicando que foi o critério mais difícil de ser demonstrado pelos alunos nas composições concluídas. Flexibilidade e precisão situaram-se na faixa intermediária, com estimativas de 0,07 e 0,02 logits, respectivamente. Fluência apresentou uma estimativa de dificuldade de -0,13 logits, e novidade teve a menor estimativa de dificuldade, com -0,16 logits, indicando que novidade foi o critério mais fácil de ser demonstrado neste corpus. A amplitude total da dificuldade dos critérios foi de 0,36 logits. Todos os cinco critérios apresentaram valores de ajuste aceitáveis. Os valores médios quadráticos de infit variaram de 0,89 a 1,11, e os valores médios quadráticos de outfit variaram de 0,90 a 1,12. O valor de separação dos critérios foi de 2,56, e o valor qui-quadrado foi de 37,8, gl = 4, p < 0,001. Nenhum critério excedeu o limiar de revisão de ajuste, e nenhum critério foi removido do modelo.

Distribuição do desempenho criativo do estudante e análise de ajuste

As medidas dos estudantes são resumidas na Tabela 2 como uma distribuição geral, e não como classificações individuais. O aspecto estudante apresentou um valor de separação de 1,86 e uma estimativa de confiabilidade de 0,78. O valor qui-quadrado foi de 354,4 (df = 79), p < 0,001. As medidas estimadas dos estudantes variaram de -0,80 a 1,12 logits, com erros padrão do modelo entre aproximadamente 0,19 e 0,20 logits. Como o valor de separação dos estudantes foi inferior a 2,00, os resultados dos estudantes foram interpretados como indicativos de uma estratificação ampla de desempenho, e não de uma classificação individual precisa.

As estatísticas de ajuste do aluno foram revisadas utilizando os limiares de ajuste definidos. O aluno S3 apresentou um quadrado médio de ajuste interno (infit) de 2,10 e um quadrado médio de ajuste externo (outfit) de 2,05, excedendo o limiar de mau ajuste substancial. Os registros originais de pontuação para S3 foram verificados em comparação com o conjunto de dados analítico limpo, incluindo código do aluno, código do avaliador, código do critério, nome do critério, categoria de pontuação, status de registro duplicado e status de ausência de avaliação. Nenhum erro de digitação, registro duplicado, pontuação inválida, discrepância na ausência de avaliação ou inconsistência na codificação foi encontrado. Assim, S3 foi mantido no modelo principal. Um modelo de sensibilidade foi então estimado, excluindo S3, para determinar se as conclusões do modelo principal permaneceram estáveis. Esse modelo de sensibilidade incluiu 79 composições e 3.555 oportunidades esperadas de avaliação. O número de avaliações válidas analisadas no modelo de sensibilidade foi de 3.553. No modelo de sensibilidade, viabilidade permaneceu como o critério mais difícil, com 0,19 logitos, e novidade permaneceu como o critério menos difícil, com -0,15 logitos. A separação entre critérios mudou de 2,56 para 2,48, a confiabilidade dos critérios mudou de 0,87 para 0,86, a separação entre avaliadores mudou de 16,36 para 16,02, a confiabilidade dos avaliadores permaneceu em 1,00, a separação entre alunos mudou de 1,86 para 1,82 e a confiabilidade dos alunos mudou de 0,78 para 0,77. Os limiares da escala de avaliação permaneceram ordenados, alterando-se de -2,10, -0,71, 0,69 e 2,12 logitos no modelo principal para -2,08, -0,70, 0,68 e 2,10 logitos no modelo de sensibilidade. Essas alterações não modificaram as principais conclusões relativas aos critérios, avaliadores, alunos ou à escala de avaliação. Os resultados da análise de sensibilidade são apresentados na Tabela 3.

Diagnósticos de dependência local e viés

Os diagnósticos de dependência local foram revisados para todos os 10 pares de critérios possíveis entre os cinco critérios de pontuação. Todas as associações residuais estavam abaixo do limite de revisão de 0,30. A maior associação residual foi de 0,24 entre precisão e viabilidade. As próximas maiores associações foram de 0,21 entre fluência e flexibilidade, 0,18 entre novidade e fluência, e 0,17 entre novidade e flexibilidade. As seis associações residuais restantes entre pares de critérios também estavam abaixo de 0,30 e são apresentadas na Table 4. Esses resultados não indicaram dependência local problemática entre os cinco critérios da matriz.

A saída do viés por avaliador-critério foi inspecionada utilizando o limite absoluto do valor-t padronizado de 2,00. O maior valor-t padronizado de viés por avaliador-critério foi 1,84 para J9 na viabilidade, que ficou abaixo do limite de revisão. A saída por aluno-critério identificou um padrão de resposta inesperado para S3. O maior valor-t padronizado de viés por aluno-critério foi 2,31 para S3 na viabilidade, excedendo o limite de revisão. O caso S3 foi, portanto, verificado com base nos registros originais de pontuação e examinado por meio de análise de sensibilidade. A verificação não encontrou erros de codificação ou entrada, e o modelo de sensibilidade não alterou as conclusões substantivas. Os diagnósticos de dependência local e viés são resumidos na  Tabela 4.

Funcionamento da escala de classificação

Os resultados da estrutura das categorias são apresentados na Tabela 5. As médias aumentaram de -0,56 logits na categoria 1 para 2,23 logits na categoria 5, indicando que categorias com pontuações mais altas correspondiam a posições estimadas mais elevadas de desempenho criativo. Os valores médios quadráticos de ajuste (outfit) para as categorias pontuadas variaram de 0,90 a 1,10. Os limiares de Rasch-Andrich avançaram na ordem de -2,10, -0,71, 0,69 e 2,12 logits. A transição da categoria 1 para a categoria 2 ocorreu em aproximadamente -2,10 logits, a transição da categoria 2 para a categoria 3 ocorreu próximo a -0,71 logits, a transição da categoria 3 para a categoria 4 ocorreu próximo a 0,69 logits, e a transição da categoria 4 para a categoria 5 ocorreu próximo a 2,12 logits. Os limiares ordenados e os valores de ajuste aceitáveis apoiaram a manutenção da estrutura original de cinco categorias. Nenhuma categoria foi agrupada.

Distribuição de facetas e estrutura de probabilidade de categoria

A distribuição conjunta de avaliadores, estudantes, critérios e categorias de resposta na escala logito comum é apresentada na Figura 2. O aspecto avaliador apresentou a maior dispersão, refletindo uma variação clara na localização do uso das pontuações pelos avaliadores. O aspecto critério posicionou a novidade no nível mais baixo de dificuldade e a viabilidade no nível mais alto de dificuldade. As medidas dos estudantes concentraram-se ao redor do centro da escala, com menos casos nas extremidades superiores e inferiores. O mapa régua foi utilizado para mostrar a distribuição das medidas dos aspectos, e não para apoiar classificações individuais precisas dos estudantes.

As curvas de probabilidade das categorias são apresentadas na Figura 3. A categoria 1 apresentou sua maior probabilidade abaixo de aproximadamente -2,10 logits, a categoria 2 atingiu seu pico entre aproximadamente -2,10 e -0,71 logits, a categoria 3 atingiu seu máximo entre aproximadamente -0,71 e 0,69 logits, a categoria 4 mostrou sua maior probabilidade entre aproximadamente 0,69 e 2,12 logits, e a categoria 5 tornou-se dominante acima de aproximadamente 2,12 logits. Os marcadores verticais de limite na Figura 3 indicam os pontos de transição Rasch-Andrich entre categorias adjacentes. As categorias adjacentes transicionaram em uma sequência ordenada, o que sustenta a interpretação de que a escala de cinco pontos funcionou conforme o previsto.

Disponibilidade de Dados:

O conjunto de dados de avaliação em formato longo com identificação removida, o código de dados e a saída primária do FACETS foram depositados no Zenodo sob o DOI: https://doi.org/10.5281/zenodo.21873801. O conjunto de dados contém identificadores codificados dos estudantes, identificadores dos avaliadores, identificadores dos critérios, nomes dos critérios, categorias válidas de pontuação inteira e indicadores de avaliações ausentes. O desenho completo de avaliação continha 3.600 oportunidades esperadas de avaliação. Desses, 3.598 avaliações observadas válidas foram analisadas; duas foram registradas como ausentes e não foram imputadas. A saída primária do FACETS depositada sustenta as medidas dos fatores relatadas, estatísticas de ajuste, índices de separação e confiabilidade, limiares da escala de avaliação, funcionamento das categorias e resumos diagnósticos. Obras criativas originais e arquivos identificáveis não estão disponíveis publicamente porque o consentimento dos participantes e restrições institucionais de privacidade não permitem a redistribuição de composições ou arquivos individuais de estudantes que possam conter informações de autoria. A análise de Rasch com múltiplos fatores foi realizada utilizando o FACETS, versão 3.83.6.

Figura 1: Fluxo de trabalho de recrutamento dos participantes, aplicação da tarefa, anonimização, pontuação, verificação de dados e análise de Rasch de múltiplas facetas. Esta figura mostra o fluxo completo do estudo, desde a identificação da coorte de origem até a análise final do modelo. A coorte de origem incluiu 96 estudantes do terceiro ano de Musicologia. Todos os 96 estudantes foram abordados; quatro não forneceram consentimento escrito, 92 foram triados e 12 foram excluídos antes da análise final. A amostra analítica final compreendeu 80 composições anonimizadas e pontuáveis. A figura também resume a atribuição da tarefa, envio de arquivos, triagem, anonimização, treinamento dos avaliadores, pontuação formal, montagem dos dados em formato longo, controle de qualidade e análise FACETS. O desenho da avaliação gerou 3.600 oportunidades esperadas de pontuação; dessas, 3.598 pontuações observadas válidas foram analisadas e duas foram registradas como ausentes. Clique aqui para visualizar uma versão maior desta figura.

Figura 2: Mapa em forma de régua vertical com avaliadores, estudantes, critérios e categorias da escala de classificação na métrica logística comum. Esta figura exibe as posições de uso das pontuações dos avaliadores, a distribuição das medidas dos estudantes, as estimativas de dificuldade dos critérios e as posições das categorias de resposta em uma escala logística comum. Posições mais altas dos avaliadores nesta saída correspondem a um uso maior de pontuações mais altas, não a maior severidade. O mapa em forma de régua é usado para exibir a distribuição das facetas e não é utilizado para apoiar classificações precisas de estudantes individuais. Clique aqui para visualizar uma versão maior desta figura.

Figura 3: Curvas de probabilidade das categorias para a escala de classificação de cinco pontos. As linhas tracejadas verticais indicam os limiares de categoria Rasch-Andrich, que marcam os pontos estimados de transição entre categorias adjacentes de resposta. As interseções ordenadas entre categorias adjacentes mostram que a escala de resposta de cinco pontos funcionou na direção esperada e apoia a manutenção da estrutura original das categorias sem a necessidade de agrupá-las. Clique aqui para visualizar uma versão maior desta figura.

Critério	Definição operacional	Pontuação 1	Pontuação 2	Pontuação 3	Pontuação 4	Pontuação 5
Novidade	Distinção e originalidade da ideia ou tratamento musical	Convencional ou imitativo	Originalidade limitada	Alguma originalidade, mas irregular	Originalidade clara em várias partes	Altamente distinto e consistentemente original
Fluência	Continuidade e produtividade do desenvolvimento de ideias dentro da obra	Desenvolvimento muito limitado	Desenvolvimento escasso	Desenvolvimento adequado	Desenvolvimento rico e sustentado	Altamente produtivo e continuamente desenvolvido
Flexibilidade	Uso de abordagens variadas, transformações ou mudanças adaptativas no tratamento musical	Abordagem única e rígida	Variação mínima	Alguma variação	Variação clara entre seções ou dispositivos	Fortemente variado e desenvolvido adaptativamente
Precisão	Aperfeiçoamento, organização interna e concretude dos detalhes musicais	Controle fraco e detalhes pouco claros	Aperfeiçoamento limitado	Organização e detalhes moderados	Bom aperfeiçoamento e organização interna	Alto aperfeiçoamento com detalhes claros e concretos
Viabilidade	Viabilidade artística e prática da composição finalizada como obra realizada	Não viável como obra finalizada	Viabilidade fraca	Basicamente viável	Viável e funcional musicalmente	Fortemente viável e convincentemente realizada

Tabela 1: Definições operacionais e pontos de referência de pontuação para as cinco dimensões do comportamento criativo em obras composicionais. Esta tabela apresenta a rubrica final utilizada para a pontuação formal. Ela define novidade, fluência, flexibilidade, precisão e viabilidade, e fornece pontos de referência de pontuação de 1 a 5 para cada critério. As definições distinguem o desenvolvimento sustentado de ideias da variação adaptativa e diferenciam o aprimoramento estrutural da viabilidade artística e prática concretizada.

Fator / Unidade	Medida (logits)	EP do modelo	Infit MnSq	Outfit MnSq	Média observada	Média justa	Separacão	Confiabilidade	Qui-quadrado (gl)
Critérios, geral	0	0,05	0,99	0,99	3,36	3,43	2,56	0,87	37,8 (4)***
Novidade	-0,16	0,05	1,01	1,07	3,46	3,54	—	—	—
Fluência	-0,13	0,05	1	0,95	3,44	3,52	—	—	—
Flexibilidade	0,07	0,05	0,89	0,93	3,32	3,39	—	—	—
Precisão	0,02	0,05	0,95	0,9	3,35	3,42	—	—	—
Viabilidade	0,2	0,05	1,11	1,12	3,23	3,3	—	—	—
Avaliadores, geral	0,62	0,07	0,98	0,99	3,36	3,36	16,36	1	1487,8 (8)***
J1	0,86	0,06	1,26	1,27	3,59	3,59	—	—	—
J2	0,03	0,06	1,1	1,1	3,02	3,02	—	—	—
J3	-0,13	0,06	0,73	0,74	2,91	2,91	—	—	—
J4	-0,15	0,06	1,07	1,07	2,9	2,9	—	—	—
J5	0,86	0,06	1,26	1,27	3,59	3,59	—	—	—
J6	-0,13	0,06	0,73	0,74	2,91	2,91	—	—	—
J7	1,19	0,06	0,77	0,77	3,8	3,81	—	—	—
J8	-0,34	0,06	1,06	1,06	2,77	2,77	—	—	—
J9	3,37	0,11	0,87	0,93	4,74	4,75	—	—	—
Estudantes, geral	0	0,19	0,99	0,99	3,36	3,43	1,86	0,78	354,4 (79)***
Amplitude das medidas dos estudantes	-0,80 a 1,12	0,19–0,20	—	—	—	—	—	—	—
NOTA: O desenho da avaliação gerou 3.600 oportunidades esperadas de pontuação, calculadas como 80 composições × 9 avaliadores × 5 critérios. O modelo principal analisou 3.598 pontuações observadas válidas; duas oportunidades de avaliação estavam ausentes e não foram imputadas nem recodificadas em categorias de pontuação. Para o fator avaliador, as medidas dos avaliadores são interpretadas aqui como locais de uso da pontuação na escala logística compartilhada. Nesta saída, medidas mais altas dos avaliadores estiveram associadas a médias observadas e justas mais altas, indicando uma tendência ao maior uso de pontuações mais altas, em vez de maior severidade. ***= p < 0,001.

Tabela 2: Estatísticas descritivas da análise Rasch de múltiplas facetas para critérios, avaliadores e estudantes. Esta tabela apresenta os principais resultados do FACETS para as três facetas modeladas, incluindo medidas em logito, erros-padrão do modelo, valores médios quadráticos de infite e outfite, médias observadas, médias justas, índices de separação, estimativas de confiabilidade e testes qui-quadrado. O desenho da avaliação gerou 3.600 oportunidades esperadas de pontuação; foram analisadas 3.598 pontuações válidas observadas, e duas oportunidades de avaliação foram registradas como ausentes. A dificuldade dos critérios, a localização do uso da pontuação dos avaliadores e a distribuição geral das medidas dos estudantes são apresentadas na mesma métrica de logito. As medidas dos avaliadores são interpretadas como locais de uso da pontuação, e não como uma simples classificação de severidade, pois medidas mais altas dos avaliadores estiveram acompanhadas de médias observadas e justas mais elevadas. Os resultados dos estudantes são resumidos como uma distribuição e não são apresentados como classificações individuais precisas.

Métrica	Modelo principal	Modelo de sensibilidade excluindo S3
Número de composições	80	79
Oportunidades esperadas de avaliação	3.600	3.555
Registros válidos de avaliação analisados	3.598	3.553
Oportunidades de avaliação ausentes	2	2
Critério com maior dificuldade	Viabilidade, 0,20 logits	Viabilidade, 0,19 logits
Critério com menor dificuldade	Novidade, -0,16 logits	Novidade, -0,15 logits
Separacão entre critérios	2,56	2,48
Confiabilidade dos critérios	0,87	0,86
Separacão entre avaliadores	16,36	16,02
Confiabilidade dos avaliadores	1	1
Separacão entre estudantes	1,86	1,82
Confiabilidade dos estudantes	0,78	0,77
Limiares da escala de avaliação	-2,10, -0,71, 0,69, 2,12	-2,08, -0,70, 0,68, 2,10
Decisão do modelo principal	Modelo principal mantido	Nenhuma mudança substancial
NOTA: O modelo principal utilizou 3.598 avaliações válidas observadas de 3.600 oportunidades esperadas de avaliação. O modelo de sensibilidade excluiu S3 e utilizou 3.553 avaliações válidas observadas de 3.555 oportunidades esperadas de avaliação. As mesmas duas oportunidades de avaliação ausentes estavam fora de S3 e, portanto, permaneceram ausentes no modelo de sensibilidade. A exclusão de S3 não alterou substancialmente a ordem dos critérios, os índices de separação, as estimativas de confiabilidade ou a estrutura dos limiares da escala de avaliação.

Tabela 3: Análise de sensibilidade após a exclusão do caso do estudante com ajuste inadequado. Esta tabela compara o modelo principal com o modelo de sensibilidade estimado após a exclusão do estudante S3. O modelo principal utilizou 80 composições, 3.600 oportunidades esperadas de avaliação e 3.598 avaliações válidas observadas. O modelo de sensibilidade utilizou 79 composições, 3.555 oportunidades esperadas de avaliação e 3.553 avaliações válidas observadas. A tabela apresenta as alterações nos parâmetros de dificuldade dos critérios, separação dos critérios, confiabilidade dos critérios, separação dos avaliadores, confiabilidade dos avaliadores, separação dos estudantes, confiabilidade dos estudantes e limiares da escala de avaliação. A análise de sensibilidade não revelou mudanças substanciais nas conclusões do modelo principal.

Item de diagnóstico	Limiar de revisão	Maior valor observado / valor observado	Resultado da revisão
Associação residual: novidade–fluência	≥0,30	0,18	Abaixo do limiar
Associação residual: novidade–flexibilidade	≥0,30	0,17	Abaixo do limiar
Associação residual: novidade–precisão	≥0,30	0,12	Abaixo do limiar
Associação residual: novidade–viabilidade	≥0,30	0,09	Abaixo do limiar
Associação residual: fluência–flexibilidade	≥0,30	0,21	Abaixo do limiar
Associação residual: fluência–precisão	≥0,30	0,16	Abaixo do limiar
Associação residual: fluência–viabilidade	≥0,30	0,14	Abaixo do limiar
Associação residual: flexibilidade–precisão	≥0,30	0,15	Abaixo do limiar
Associação residual: flexibilidade–viabilidade	≥0,30	0,11	Abaixo do limiar
Associação residual: precisão–viabilidade	≥0,30	0,24	Abaixo do limiar
Valor t padronizado de viés por avaliador e critério	Valor absoluto ≥2,00	1,84 para J9 na viabilidade	Abaixo do limiar
Valor t padronizado de viés por aluno e critério	Valor absoluto ≥2,00	2,31 para S3 na viabilidade	Revisado mediante verificação do registro original e análise de sensibilidade
Verificação da entrada de dados para S3	Qualquer erro de codificação ou entrada	Nenhum encontrado	S3 mantido no modelo principal
Análise de sensibilidade excluindo S3	Mudança nas conclusões do modelo principal	Nenhuma mudança substancial	Modelo principal mantido
NOTA: Todas as 10 associações residuais entre pares de critérios foram revisadas. Valores abaixo de 0,30 foram interpretados como não indicando dependência local problemática entre os cinco critérios da rubrica. Interações por avaliador e critério e por aluno e critério foram revisadas utilizando um limiar de valor absoluto do valor t padronizado de viés igual a 2,00.

Tabela 4: Verificações diagnósticas de dependência local e viés. Esta tabela resume as verificações diagnósticas para sobreposição de critérios, viés do avaliador por critério, padrões inesperados de resposta do estudante por critério e verificação do caso de desajuste. Todas as 10 possíveis associações residuais entre pares de critérios foram analisadas. As associações residuais entre os critérios estavam abaixo do limite de análise de 0,30. O maior valor padronizado de viés t por avaliador e critério estava abaixo do limite de análise de |t| ≥ 2,00, enquanto a análise por estudante e critério identificou um padrão de resposta inesperado relacionado ao estudante S3, que foi analisado mediante verificação do registro original e análise de sensibilidade. A análise de sensibilidade não mostrou alterações substanciais nas conclusões principais do modelo.

Categoria de classificação	Rótulo da categoria	Média da medida (logits)	Outfit MnSq	Limiar Rasch-Andrich	Erro padrão do limiar	Medida em -0,5
1	Ruim	-0,56	1	—	—	—
2	Minimal	-0,21	0,9	-2,1	0,1	-2,51
3	Satisfatório	0,25	0,9	-0,71	0,05	-0,73
4	Acima da média	0,8	1,1	0,69	0,04	0,72
5	Excelente	2,23	1,1	2,12	0,06	2,53
NOTA: Os limiares Rasch-Andrich indicam os pontos estimados de transição entre categorias adjacentes de classificação. Nenhum limiar é informado para a categoria 1 porque é a categoria mais baixa. “Medida em -0,5” relata a localização em logits associada ao limite da categoria fornecido no FACETS e é incluída como um diagnóstico de funcionamento da categoria, e não como uma estimativa separada de desempenho do aluno. Nenhuma categoria foi agrupada.

Tabela 5: Funcionamento das categorias da escala de classificação de cinco pontos. Esta tabela apresenta estatísticas por categoria para a escala de resposta de cinco pontos, incluindo medidas médias, valores médios quadráticos de ajuste, limiares de Rasch-Andrich, erros padrão dos limiares e a saída do FACETS “Medida em -0,5” sobre o funcionamento das categorias. Os limiares de Rasch-Andrich indicam os pontos estimados de transição entre categorias adjacentes de classificação. Os limiares ordenados mostram que as cinco categorias de resposta progrediram na direção esperada, e nenhuma categoria foi colapsada.

Tabela Suplementar 1: Requisitos da tarefa de composição, fluxo de recrutamento e especificações de envio. Esta tabela apresenta o contexto do estudo, o fluxo de recrutamento, os critérios de elegibilidade dos participantes, o formato da tarefa, os elementos estruturais exigidos, as regras de originalidade, os requisitos de envio, as regras de triagem, os motivos de exclusão e a unidade analítica final. Documenta como foi obtido o corpus final de 80 composições anônimas e passíveis de pontuação. Clique aqui para baixar este arquivo.

Tabela Suplementar 2: Treinamento dos avaliadores, calibração e procedimento padronizado de pontuação. Esta tabela resume o recrutamento dos avaliadores, as qualificações dos avaliadores, codificação anônima dos avaliadores, materiais de treinamento, instruções sobre a matriz de avaliação, instruções sobre as categorias, pontuação de calibração, revisão de discrepâncias, procedimentos de ocultação da identidade, restrições de pontuação, materiais de revisão, procedimento de reprodução, regra de reescuta, ordem aleatória de apresentação e controle da duração da pontuação. Clique aqui para baixar este arquivo.

Tabela Suplementar 3: Estrutura do conjunto de dados em formato longo e regras de codificação. Esta tabela apresenta a estrutura das variáveis, regras de codificação, restrições do conjunto de dados, códigos dos critérios e exemplos de linhas para o conjunto de dados analítico em formato longo. Cada linha válida representa um evento de pontuação observado, definido pelo identificador do aluno, identificador do avaliador, identificador do critério, nome do critério e categoria da pontuação. O desenho da avaliação gerou 3.600 oportunidades esperadas de pontuação, das quais foram analisadas 3.598 pontuações observadas válidas, e duas oportunidades de pontuação foram registradas como ausentes. Clique aqui para baixar este arquivo.

Tabela Suplementar 4: Especificações do arquivo de controle e diagnósticos do FACETS. Esta tabela relata a estrutura do modelo FACETS e as configurações de reprodutibilidade, incluindo versão do software, tipo de modelo, facetas modeladas, categorias de pontuação, tratamento de avaliações ausentes, método de estimação, número máximo de iterações, critério de convergência, solicitações de saída, limiares de ajuste, limiar para revisão de viés, limiar de dependência local e regra de interpretação de medidas dos estudantes. As avaliações ausentes foram tratadas como ausentes, não foram imputadas e não foram recodificadas em categorias de pontuação válidas. Clique aqui para baixar este arquivo.

Discussão

O presente estudo aplicou uma estrutura de modelo de muitas facetas de Rasch para avaliar o comportamento criativo em alunos de graduação em música por meio de obras composicionais originais. Os resultados mostraram que o desempenho do aluno, a dificuldade dos critérios, a variação na medida dos avaliadores e o funcionamento das categorias da escala de avaliação puderam ser estimados dentro de uma estrutura comum de mensuração. Esse achado apoia o uso da modelagem de muitas facetas na avaliação musical baseada em rubricas quando as pontuações são produzidas por meio de julgamento especializado, em vez de respostas puramente objetivas¹¹. O modelo não eliminou a necessidade de avaliação musical especializada; ao contrário, forneceu uma maneira estruturada de examinar como as facetas aluno, critério e avaliador contribuíram para as pontuações observadas. Isso é importante para a avaliação de composição, pois obras concluídas exigem julgamento qualitativo, mas as pontuações brutas isoladamente não podem indicar se a variação nas pontuações reflete o aluno, o critério, o avaliador ou a escala de avaliação¹².

Os resultados dos critérios mostraram que a novidade foi o critério menos difícil, enquanto viabilidade e flexibilidade foram mais difíceis nas composições concluídas. Esse padrão deve ser interpretado como um resultado descritivo de medição, e não como evidência de um efeito instrucional causal. A descoberta indica que, nesse corpus, os alunos demonstraram com mais facilidade ideias musicais distintas do que viabilidade plenamente realizada ou transformação adaptativa ao longo da obra concluída. Essa distinção é consistente com pesquisas sobre criatividade musical que tratam a composição como um processo envolvendo geração de ideias, desenvolvimento, seleção, reestruturação, refinamento e concretização, e não apenas originalidade¹³. Também apoia o valor de separar as dimensões da matriz de avaliação, em vez de reduzir o desempenho criativo a um único julgamento global¹⁴. No entanto, o presente estudo não pode determinar se o padrão de dificuldade observado foi causado por práticas de ensino, design da tarefa, estágio de desenvolvimento dos alunos, formulação dos critérios ou interpretação dos avaliadores. Estudos futuros devem combinar avaliações do produto com evidências do processo, como rascunhos, históricos de revisão, registros reflexivos ou entrevistas sobre a composição, para examinar como os alunos avançam de ideias iniciais até produtos musicais concretizados.

Os resultados dos avaliadores mostraram uma variação substancial entre avaliador e medida, embora todos os valores de ajuste dos avaliadores tenham permanecido dentro da faixa aceitável definida. Esse padrão não deve ser interpretado simplesmente como uma falha no treinamento dos avaliadores. Diferenças no uso das pontuações pelos avaliadores são esperadas na avaliação artística mediada por especialistas e constituem uma das principais razões para o uso de um modelo de Rasch de múltiplas facetas¹⁵. Os resultados atuais indicam que os avaliadores utilizaram a escala de maneira amplamente aceitável, ainda que diferissem em seu uso relativo das categorias de pontuação. Assim, o modelo ajudou a ajustar a variação relacionada aos avaliadores nas pontuações antes da interpretação das medidas de critério e dos alunos. Para aplicações futuras, o treinamento dos avaliadores deve ser combinado com o monitoramento a posteriori da variação no uso das pontuações, ajuste, uso das categorias e interações entre avaliadores e critérios, em vez de depender exclusivamente do treinamento para eliminar todas as diferenças entre os avaliadores¹⁶.

A faceta dos estudantes apresentou variação mensurável, mas apenas separação moderada. A estimativa de confiabilidade dos estudantes foi de 0,78 e o valor de separação foi de 1,86. Portanto, as medidas dos estudantes devem ser interpretadas como suporte a uma estratificação ampla de desempenho, e não a uma classificação individual precisa. Esse ponto é importante porque pequenas diferenças entre os logits individuais dos estudantes podem ser menores do que os erros-padrão de medição correspondentes. O caso desajustado S3 reforça ainda mais a necessidade de interpretação cautelosa em nível individual. Após verificação do registro original e análise de sensibilidade, a ordem principal dos critérios, o padrão de medidas dos avaliadores e a estrutura dos limiares da escala de classificação permaneceram estáveis. Assim, o caso S3 foi mantido no modelo principal, mas o estudo não extrai conclusões substantivas a partir desse caso individual. Essa interpretação é consistente com o uso da análise de ajuste de Rasch como uma ferramenta diagnóstica para avaliar a estabilidade da medição, e não como base para afirmações individuais não comprovadas¹⁷.

O estudo apresenta várias limitações. Primeiramente, a amostra foi retirada de uma única instituição e estágio acadêmico, de modo que os resultados não devem ser generalizados para além de grupos semelhantes de graduação em Musicologia sem validação adicional. Em segundo lugar, o estudo avaliou apenas os produtos finais das composições e não incluiu materiais do processo, como rascunhos, históricos de revisão, registros reflexivos ou dados de verbalização espontânea. Terceiro, os cinco critérios da matriz de avaliação foram tratados como manifestações relacionadas do comportamento criativo composicional geral, e os resultados diagnósticos apoiaram essa especificação no conjunto de dados atual; no entanto, pesquisas futuras devem examinar se a mesma estrutura se mantém em amostras maiores, em diferentes instituições e em diferentes tarefas de composição. Quarto, o perfil dos avaliadores foi modelado apenas por meio do fator avaliador, e o estudo não testou diretamente como a formação disciplinar, a experiência docente, a preferência estética ou a expertise em composição contribuíram para a variação na medição dos avaliadores. Por fim, o estudo foi transversal e não intervencionista, de modo que o padrão de dificuldade dos critérios não deve ser usado para inferir eficácia do ensino ou causalidade instrucional.

Em conclusão, este estudo demonstra um procedimento reproduzível para avaliar o comportamento criativo em estudantes de música por meio de obras composicionais originais, utilizando uma matriz estruturada e a medição de Rasch de múltiplas facetas. Os resultados mostram que a dificuldade dos critérios, a variação na medida dos avaliadores, a distribuição do desempenho dos alunos e o funcionamento da escala de avaliação podem ser examinados dentro de uma única estrutura de medição. A novidade revelou-se relativamente mais fácil de demonstrar, enquanto viabilidade e flexibilidade foram mais difíceis de alcançar nas composições concluídas. A variação na medida dos avaliadores foi substancial, reforçando a necessidade de modelar os efeitos dos avaliadores na avaliação musical. As medidas dos alunos indicaram uma estratificação ampla, em vez de uma classificação individual precisa. De modo geral, a estrutura oferece uma base transparente para avaliar o comportamento criativo baseado em composição, bem como para aprimorar o design de matrizes, o monitoramento dos avaliadores e estudos futuros de validação no ensino superior de música.

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
Adobe Acrobat Reader	Adobe	26.001.21346	Utilizado para abrir e revisar arquivos PDF de partituras durante a triagem de submissões e a avaliação formal.
Audacity	Audacity	3.7.7	Utilizado para abrir e revisar renderizações de áudio em MP3 que acompanham as composições submetidas.
FACETS	Winsteps	3.83.6	Utilizado para análise de Rasch de múltiplas facetas.
HD 280 Pro headphones	Sennheiser	506845	Fones de ouvido fechados utilizados para escuta padronizada durante a revisão dos arquivos de áudio submetidos.
Microsoft 365 Apps for business, including Excel	Microsoft	O365BusinessRetail	Utilizado para entrada de notas, montagem de conjuntos de dados em formato longo e verificação de dados antes da análise de Rasch.
Moodle LMS	Moodle	MOODLE_5013	Utilizado como sistema institucional de gestão de aprendizagem para submissão e coleta de arquivos.
MuseScore Studio	MuseScore	4.6.5	Utilizado para preparação, notação e exportação de arquivos originais de composição em formatos baseados em partitura.
OptiPlex Tower Plus 7020 Desktop	Dell	QBS1250	Utilizado como estação de trabalho para gerenciamento de arquivos, administração da avaliação e análise estatística.