Оценка творческого поведения студентов музыкальных специальностей по композиционным работам с использованием многогранной модели Раша

Краткое содержание

В данном исследовании оценивается творческое поведение студентов музыкальных специальностей путем применения структурированного критерия оценки композиции и многофакторного измерения Раша к оригинальным музыкальным произведенияниям.

Аннотация

Оценка креативности в музыкальном образовании остается сложной задачей, поскольку суждения об оригинальных музыкальных произведениях подвержены влиянию субъективных предпочтений, неоднозначной интерпретации критериев и различий в строгости оценивания. В процессе обучения композиции готовые произведения могут рассматриваться как наблюдаемые продукты, демонстрирующие, как студенты генерируют, развивают, трансформируют, уточняют и реализуют музыкальные идеи. В данном исследовании изучалось, может ли структурированная рубрика оценки композиций в сочетании с многогранным измерением Раша (many-facet Rasch measurement) обеспечить воспроизводимую оценку творческого поведения студентов бакалавриата по специальности «музыка». Оригинальные композиции 80 студентов были независимо оценены девятью обученными экспертами с использованием пятибалльной рубрики. Рубрика включала пять взаимосвязанных аспектов творческого поведения при сочинении: новизну, беглость, гибкость, точность и реализуемость. Данные оценивания были проанализированы с помощью программного обеспечения FACETS версии 3.83.6, при этом студенты, критерии и эксперты были определены как отдельные грани (facets) в общей логит-структуре измерения. Дизайн оценивания предполагал 3 600 возможностей для выставления оценок; было проанализировано 3 598 действительных наблюдаемых оценок, две из которых отсутствовали. Общее соответствие модели подтвердило интерпретацию дизайна оценивания, а структура упорядоченных категорий показала, что пятибалльная шкала функционировала в ожидаемом направлении. Оценки критериев показали, что новизну было относительно легче продемонстрировать, тогда как реализуемость и гибкость в готовых композициях оказались более трудными для достижения. Также наблюдались различия в распределении баллов разными экспертами, что подтверждает необходимость моделирования эффектов оценивающих, а не простого использования необработанных баллов. Разделение студентов было умеренным, что указывает на то, что данный инструмент больше подходит для широкой стратификации успеваемости, чем для точного индивидуального ранжирования. Эти результаты позволяют предположить, что рубрика на основе анализа композиций в сочетании с многогранным измерением Раша может обеспечить прозрачную основу для оценки творческого поведения в высшем музыкальном образовании.

Введение

Креативность стала одним из центральных результатов художественного образования, поскольку от учащихся ожидается не только воспроизведение устоявшихся техник, но и создание оригинальных, содержательных работ, которые могут быть поняты в рамках соответствующего дисциплинарного контекста¹. В музыкальном образовании это ожидание особенно важно при обучении композиции, где студенты должны трансформировать музыкальные знания в законченные произведения, принимая решения относительно темы, мелодии, ритма, формы, развития и реализации. Оценка в этом контексте затруднена, так как музыкальную креативность невозможно оценивать исключительно с позиции личного вкуса или общего художественного впечатления. Завершенная композиция предоставляет наблюдаемые доказательства творческого поведения, но эти доказательства должны быть переведены в эксплицитные критерии, чтобы оценивание было прозрачным и воспроизводимым². Без четких критериев баллы могут отражать предпочтения эксперта, стилистическую близость или общее впечатление о качестве, а не конкретные характеристики представленной работы.

В настоящем исследовании композиционное творческое поведение определяется как наблюдаемое выражение творческой музыкальной работы в законченном произведении. Рубрика основана на пяти параметрах: новизне, беглости, гибкости, точности и реализуемости. Эти параметры рассматриваются не как идентичные субчерты или отдельные теоретические конструкты. Вместо этого они используются в качестве проявлений на уровне критериев одного широкого продуктивного конструкта исполнительского мастерства: степени, в которой студент способен генерировать, развивать, трансформировать, уточнять и воплощать музыкальные идеи в законченном произведении. Новизна представляет собой своеобразие музыкальной идеи или способа ее обработки; беглость отражает непрерывность и продуктивность развития идеи; гибкость представляет собой разнообразие подходов, трансформаций или адаптивных сдвигов в музыкальном обращении; точность отражает проработку, внутреннюю организацию и конкретику музыкальных деталей; а реализуемость представляет собой художественную и практическую жизнеспособность законченной композиции³. Такая структура объединяет генерацию идей, развитие идей, адаптивную трансформацию, техническое уточнение и воплощенную жизнеспособность в единый законченный музыкальный продукт.

Такой аргумент в пользу конструкта также снижает перекрытие критериев и загрязнение конструкта. Точность была ограничена доработкой, внутренней организацией и конкретными музыкальными деталями, в то время как осуществимость определялась как художественная и практическая жизнеспособность произведения как реализованной композиции. Аналогичным образом, беглость была ограничена устойчивым и продуктивным развитием, тогда как гибкость определялась как вариативность, трансформация и адаптивное музыкальное управление. Произведение может содержать оригинальную идею, но ограниченное развитие, или оно может быть связным и технически стабильным, проявляя при этом мало трансформации. Таким образом, необходима рубрика на основе критериев, поскольку общий необработанный балл может скрыть неравномерные творческие профили в рамках одной и той же композиции⁴.

Оценка музыки, проводимая экспертами, требует внимания как к поведению оценивающего, так и к результатам учащегося. Даже при использовании одной и той же рубрики эксперты могут различаться по степени строгости, использованию категорий и интерпретации критериев. Эти различия являются не просто процедурными проблемами; они составляют часть ситуации измерения и могут влиять на значение наблюдаемых баллов⁵. Многогранное измерение по модели Раша (Many-facet Rasch measurement) подходит для таких условий, поскольку оно оценивает учащихся, экспертов, критерии и категории шкалы оценивания в рамках единой логит-структуры. Показатели учащихся представляют собой расчетный уровень творческого исполнения с поправкой на сложность критериев и строгость экспертов, показатели критериев указывают на то, насколько сложно продемонстрировать каждое измерение, показатели экспертов отражают относительное положение при распределении баллов, а статистика категорий показывает, функционирует ли шкала оценивания в заданном порядке⁶. Данный подход является более надежным, чем опора только на общие суммы или средние баллы, поскольку он разделяет несколько источников вариативности баллов, которые в противном случае объединяются в наблюдаемой оценке.

Использование одномерной многофакторной модели Раша требует четкого обоснования конструкта. В данном исследовании одномерная спецификация обоснована на уровне общего композиционного творческого поведения, а не путем допущения о том, что пять измерений рубрики идентичны. Ожидается, что пять критериев будут представлять собой различные наблюдаемые аспекты широкого конструкта исполнения, выраженного в завершенных музыкальных произведениях. Это допущение рассматривалось как эмпирическое измерительное допущение и проверялось с помощью анализа соответствия критериев, функционирования оценочной шкалы, остаточных взаимосвязей между критериями, а также диагностики взаимодействия «оценивающий — критерий» и «студент — критерий»⁷. Хотя многофакторные подходы Раша применялись в оценке исполнительского мастерства, их систематическое использование при оценке законченных композиций в высшем музыкальном образовании остается ограниченным⁸. Существующие исследования в области музыкальной оценки подчеркивают сложность суждения об открытых художественных продуктах и необходимость четких критериев оценивания⁹, в то время как исследования в области метрологии показали, что оценка исполнения на основе рубрик может выиграть от прямого моделирования эффектов оценивающего и критерия¹⁰. На этом фоне в настоящем исследовании многофакторная модель Раша применяется к оригинальным композициям, созданным студентами бакалавриата по специальности «Музыка». Исследование направлено на решение трех вопросов: функционирует ли предлагаемая система оценки композиций надлежащим образом как измерительный дизайн; каким образом сложность критериев и вариативность использования баллов оценивающими влияют на наблюдаемую вариативность баллов; и как распределяются показатели творческого исполнения студентов после моделирования эффектов критериев и оценивающих.

Протокол

Данное исследование было одобрено Институциональным наблюдательным советом Школы музыки и танца Цзянсийского технологического института (Нанчан 330098, Цзянси, Китай) под номером одобрения YG2020158. До начала выполнения заданий и сбора данных от всех участников было получено письменное информированное согласие. Участники были проинформированы о том, что представленные ими композиции будут использоваться исключительно для научно-исследовательской оценки после деидентификации. Перед оцениванием были удалены имена студентов, идентификаторы классов, метаданные файлов, содержащие информацию об авторстве, и другие прямые идентификаторы. Эти идентификаторы не предоставлялись экспертам. Все представленные работы прошли процедуру деидентификации перед оцениванием и анализом, а все аналитические файлы обрабатывались только с использованием кодированных идентификаторов.

Условия исследования, набор участников и распределение по задачам

Исследование проводилось на факультете музыки и танцев Цзянсийского технологического института (Наньчан, Цзянси, Китай) с сентября 2025 г. по январь 2026 г. Участники были отобраны из группы студентов третьего курса по специальности «Музыковедение», поскольку к этому семестру студенты уже прошли основной курс теории музыки, исполнительской практики, композиции электронной музыки и другие курсы по композиции.

Исходная когорта включала 96 студентов третьего курса факультета музыковедения. К участию были приглашены все 96 студентов. Четыре студента не предоставили письменного согласия и, следовательно, не прошли скрининг. Остальные 92 студента предоставили письменное информированное согласие и прошли скрининг. Двенадцать студентов были исключены перед проведением окончательного анализа. Причинами исключения стали: неполные присланные композиции у пяти студентов, отсутствие одного или нескольких обязательных структурных элементов у трех студентов, подача работ после установленного срока у двух студентов, нечитаемые или поврежденные файлы у одного студента и отказ от участия до этапа оценки у одного студента. Окончательная аналитическая выборка составила 80 студентов бакалавриата, включая 32 мужчин и 48 женщин.

Итоговая аналитическая выборка представляла собой полный корпус подходящих анонимизированных и пригодных для оценки композиций, полученных от набранной когорты после применения правил согласия, скрининга и исключения. Размер этой выборки обосновывался не путем рассмотрения 3 600 возможностей оценки как независимых наблюдений на уровне студентов. Вместо этого в многофакторном дизайне Раша использовались повторные оценки 80 композиций для оценки показателей творческих достижений студентов с одновременным моделированием сложности критериев, вариативности использования баллов экспертами и функционирования категорий шкалы оценивания. Привлечение девяти экспертов было направлено на обеспечение оценки вариативности использования баллов, связанной с экспертом, и на снижение зависимости от интерпретации качества открытых композиций одним конкретным оценивающим. Студенты допускались к участию, если они обучались на очном отделении третьего курса программы «Музыковедение», прошли необходимый базовый курс до семестра исследования, предоставили письменное информированное согласие и представили одну полную оригинальную композицию в установленный период подачи работ. Студенты исключались, если они не представили работу в полном объеме, если работа не соответствовала заранее определенным требованиям задания, если файл невозможно было открыть или оценить, если работа была получена после установленного срока или если согласие было отозвано до начала оценивания.

Каждый участник выполнил одно индивидуальное задание по созданию оригинальной композиции согласно единым письменным инструкциям. Студентам было разрешено самостоятельно выбрать тему и стиль, однако каждая представленная работа должна была включать текст, мелодию, ритм и формальную структуру. Групповые работы, повторно представленные курсовые работы, адаптированные опубликованные материалы, черновики и правки, внесенные с опозданием, были исключены из набора данных для формального оценивания. От каждого участника принималась только одна окончательная версия. Подробные требования к заданию и спецификации подачи работ представлены в Дополнительная таблица 1Полный рабочий процесс набора участников и анализа представлен на  Рисунок 1.

Сбор, скрининг и анонимизация композиционных работ

Все композиции были представлены через институциональную систему управления обучением до 23:59 последнего дня запланированной недели выполнения задания. Каждая работа включала один файл с партитурой в формате Portable Document Format (PDF) и одну сопровождающую аудиозапись в формате MP3. После истечения установленного срока исследовательская группа скачала все представленные файлы через тот же канал подачи и проверила каждую работу на соответствие заранее определенным требованиям задания перед передачей экспертам для оценки. Были отобраны только те композиции, которые содержали текст, мелодию, ритм и формальную структуру, а также представляли собой законченный конечный продукт. Файлы с черновиками, незавершенные работы, файлы с отсутствующими основными структурными компонентами, работы, представленные с опозданием, а нечитаемые или поврежденные файлы были исключены до начала оценивания.

Каждой подходящей работе был присвоен анонимный код студента от S1 до S80. Имена студентов, идентификаторы классов, метаданные файлов, содержащие информацию об авторстве, и все другие прямые идентификаторы были удалены до того, как файлы были переданы на оценку. Файл соответствия, связывающий личность участника с анонимным кодом исследования, хранился отдельно главным исследователем в файле, защищенном паролем. Этот файл соответствия был недоступен экспертам или аналитику во время оценки модели. Итоговый корпус для оценки состоял из 80 анонимных и пригодных для оценки композиций, каждая из которых была представлена одним PDF-файлом с партитурой и одной аудиозаписью в формате MP3.

Критерии оценивания

Рубрика оценивания позволяла анализировать пять аспектов творческого поведения в композиторских работах: новизну, беглость, гибкость, точность и осуществимость. Рубрика была разработана исследовательской группой совместно с тремя преподавателями, имеющими опыт преподавания композиции, теории музыки и оценки музыкального образования. Начальная версия была протестирована на пяти учебных композициях предыдущего академического года, не входивших в исследование. Формулировки критериев и пяти опорных точек оценки были пересмотрены после пилотного обзора, чтобы уменьшить пересечение между осуществимостью и точностью, а также разграничить беглость и гибкость. Окончательный вариант рубрики был утвержден 20 сентября 2025 года, перед обучением экспертов и началом официального оценивания. После начала официального оценивания формулировки критериев и опорные точки оценки не изменялись.

В итоговом критерии новизна определялась как самобытность и оригинальность музыкальной идеи или способа её воплощения. Беглость относилась к непрерывности и продуктивности развития идеи внутри произведения. Гибкость определялась разнообразием подходов, трансформаций или адаптивных сдвигов в музыкальной обработке. Точность относилась к проработанности, внутренней организации и конкретике музыкальных деталей. Осуществимость определялась художественной и практической жизнеспособностью завершенного произведения как реализованной композиции. Все пять параметров оценивались по одной и той же пятибалльной шкале. Балл 1 означал очень слабый уровень проявления оцениваемого параметра, а балл 5 — очень высокий уровень. Использование половинных баллов не допускалось. Все эксперты использовали одинаковую последовательность критериев, опорные показатели оценки и стандартизированный оценочный лист. Операциональные определения и опорные показатели для всех пяти параметров представлены в Таблице 1.

Подбор, ослепление и обучение экспертов

Из Цзянсийского технологического института были привлечены девять экспертов, имеющих опыт оценки в области музыки или искусства. В состав экспертной группы вошли пять преподавателей музыкальных дисциплин, два преподавателя по музыкальному образованию и два старших преподавателя магистратуры с опытом оценки произведений искусства. Каждый эксперт имел не менее трех лет опыта в преподавании, оценивании, жюрировании или экспертизе в области искусств. Каждому эксперту был присвоен анонимный код от J1 до J9. Все эксперты оценивали один и тот же анонимизированный корпус из 80 композиций. На протяжении всего этапа формального оценивания эксперты не имели доступа к данным о личности студентов, их демографической информации, принадлежности к конкретной группе, а также к оценкам других экспертов.

Перед началом официального оценивания все эксперты прошли одну стандартизированную сессию обучения и калибровки продолжительностью примерно 120 min. В ходе сессии исследовательская группа предоставила письменный рубрикатор, опорные значения баллов, стандартизированный оценочный лист и инструкции по оцениванию. Пять критериев и пять категорий ответов были разъяснены в том же фиксированном порядке, который использовался при официальном оценивании. Затем для тренировочного оценивания были использованы три анонимизированных калибровочных сочинения. Эти три калибровочных сочинения были независимы от 80 сочинений основного исследования и не были включены в аналитический набор данных. Каждый эксперт независимо оценил три калибровочные работы перед обсуждением. Расхождения рассматривались по каждому критерию для уточнения значения каждого измерения, различий между соседними категориями баллов и правил использования полной пятибалльной шкалы. Целью сессии калибровки была стандартизация интерпретации рубрикатора, а не принуждение к выставлению идентичных баллов. Рабочий процесс обучения и процедура калибровки представлены в Дополнительной таблице 2.

Официальная процедура подсчета баллов

В ходе официального оценивания каждый эксперт независимо оценивал каждую анонимизированную композицию по всем пяти критериям. Эксперты изучали как файл партитуры в формате PDF, так и сопровождающую его аудиозапись в формате MP3 для каждого произведения. PDF-файлы открывались в программе для чтения PDF, а аудиофайлы прослушивались в Audacity с использованием наушников Sennheiser HD 280 Pro на той же рабочей станции, которая использовалась для проведения оценивания. Экспертам было поручено сначала изучить файл партитуры, один раз прослушать полную аудиозапись, а затем завершить оценивание по критериям после повторного детального анализа при необходимости. Повторное прослушивание любой композиции допускалось до двух дополнительных раз, если эксперту требовалось проверить детали ритма, мелодии, структуры или реализации. Во время официального оценивания экспертам было запрещено обсуждать отдельные работы, и ни один из экспертов не имел доступа к оценкам, выставленным другими коллегами.

80 анонимизированных сочинений были представлены каждому эксперту в рандомизированном порядке, сформированном до начала оценивания. Каждый эксперт использовал один и тот же анонимизированный набор файлов, критерии оценки, оценочный лист и инструкции по оцениванию. Формальное оценивание проводилось индивидуально в течение одной-трех сессий для каждого эксперта, при этом ни одна сессия не превышала 3 hr. В случаях, когда оценивание проходило в несколько сессий, использовались одни и те же условия среды, набор файлов и лист ответов. Для каждого сочинения было предусмотрено 45 возможностей оценивания, что соответствует девяти экспертам, умноженным на пять критериев. При включении 80 сочинений в итоговый корпус, структура оценивания позволила получить 3 600 ожидаемых оценок до проверки на наличие пропущенных данных.

Ввод данных, структура кодирования и контроль качества

После официальной оценки все полученные баллы были внесены в аналитический набор данных в длинном формате с использованием Microsoft Excel. Многогранный дизайн модели Раша включал три грани: студенты, эксперты и критерии. Студенты были закодированы как S1–S80, эксперты — как J1–J9, а критерии — как C1–C5. Критерии были закодированы следующим образом: C1 — новизна, C2 — беглость, C3 — гибкость, C4 — точность и C5 — осуществимость. Каждая допустимая запись об оценке представляла собой один наблюдаемый результат оценки «студент-эксперт-критерий» и содержала student_id, rater_id, criterion_id, criterion_name и score. Допустимые категории баллов записывались только в виде целых чисел от 1 до 5.

Перед подгонкой модели набор данных был проверен на наличие дубликатов записей, отсутствующих идентификаторов, отсутствующих баллов, недопустимых кодов студентов, недопустимых кодов экспертов, недопустимых кодов критериев, несоответствий между criterion_id и criterion_name, а также баллов, выходящих за пределы допустимого диапазона. Полный дизайн исследования предусматривал 3 600 ожидаемых возможностей для оценки. Итоговый аналитический файл содержал 3 598 валидных наблюдаемых оценок и две пропущенные возможности для оценки. Две пропущенные оценки были задокументированы как отсутствующие, не подвергались импутации и не были перекодированы ни в одну из категорий валидных баллов. Дубликаты записей и несоответствия в кодировании были проверены по оригинальным оценочным листам перед оцениванием модели. Требуемая структура переменных и формат кодирования представлены в Дополнительной таблице 3.

Спецификация многогранной модели Раша

Очищенные данные оценок анализировали с помощью программы FACETS версии 3.83.6. Модель одновременно оценивала творческие достижения учащихся, сложность критериев, позицию использования баллов оценивающими и пороги категорий шкалы оценивания на общей логит-шкале. В качестве целевого измерительного фасета были определены учащиеся, в качестве фасета сложности — критерии, а в качестве фасета оценивающих — сами эксперты. В управляющем файле FACETS были указаны три фасета с метками учащихся S1–S80, метками критериев C1–C5 и метками оценивающих J1–J9. Для всех пяти критериев была применена общая пятибалльная модель шкалы оценивания, так как все критерии использовали одну и ту же упорядоченную структуру ответов от 1 до 5. Оценка модели проводилась с использованием совместного метода максимального правдоподобия. Внешние опорные значения не применялись. Фасеты учащихся и критериев были центрированы для представления на общей логит-шкале, а фасет оценивающих оценивался свободно для отображения вариативности использования баллов разными экспертами. Структура управляющего файла FACETS, кодирование фасетов, настройки шкалы оценивания, метод оценки, правило центрирования, правило сходимости, запросы на вывод данных и диагностические пороги обобщены в Дополнительной таблице 4.

Модель была определена следующим образом:

Где P_nijk обозначает вероятность того, что студент n получит от эксперта j по критерию i категорию k, а не категорию k − 1, B_n обозначает расчетный показатель творческих способностей студента n, D_i обозначает сложность критерия i, R_j обозначает положение эксперта j по шкале использования баллов, а F_k обозначает порог между соседними категориями баллов. Категории баллов были расположены в порядке от 1 до 5. При такой параметризации более высокие значения положения эксперта соответствуют более интенсивному использованию баллов в результатах FACETS. Исходная модель была подогнана под имеющиеся достоверные оценки без объединения категорий. Пропущенные оценки рассматривались как отсутствующие; импутация или перекодирование в категории баллов не проводились.

Анализ FACETS проводился с максимальным количеством итераций 100 и критерием сходимости менее 0,01 логита для максимального изменения параметров между последовательными итерациями. Выходные спецификации включали сводную статистику по аспектам, индивидуальные показатели аспектов, стандартные ошибки модели, среднеквадратичные показатели инфита (infit) и аутфита (outfit), наблюдаемые средние значения, справедливые средние значения, индексы разделения и надежности, критерии хи-квадрат, статистику категорий, пороги Раша-Андриха, стандартные ошибки порогов, выходные данные о вероятности категорий, стандартизированные остатки, данные о смещении «оценщик — критерий» и данные о смещении «студент — критерий». Контрольный файл FACETS, деидентифицированный набор данных с оценками в длинном формате, основные выходные данные модели и результаты анализа чувствительности были сохранены в качестве файлов для воспроизводимого анализа.

Оценка и диагностические правила

Для оценки соответствия модели студентам, критериям и экспертам использовались показатели среднего квадрата внутреннего (infit) и внешнего (outfit) соответствия. Значения от 0,60 до 1,30 рассматривались как основной приемлемый диапазон для рутинной интерпретации. Значения выше 1,50 помечались для проверки, а значения выше 2,00 считались существенным несоответствием. Для любого студента, у которого значения среднего квадрата infit или outfit превышали 2,00, исходные протоколы оценивания сверялись с очищенным набором данных, и модель пересчитывалась после исключения этого студента в рамках анализа чувствительности. Случаи не удалялись из основной модели только на основании несоответствия; анализ чувствительности использовался для определения того, остаются ли стабильными основные выводы по критериям, экспертам и шкале оценивания. Эти правила проверки соответствия и анализа чувствительности приведены в Дополнительной таблице 4.

Для каждой фасеты были изучены индексы разделения и надежности, чтобы определить наличие значимой внутренней дифференциации и достаточную стабильность полученных показателей для их интерпретации. Значения разделения более 2.00 интерпретировались как подтверждающие существенную дифференциацию внутри фасеты. Значение разделения студентов ниже 2.00 интерпретировалось как свидетельство широкой стратификации, а не точного индивидуального ранжирования. Значения надежности, близкие к 1.00, интерпретировались как показатель более высокой стабильности измерений. Функционирование оценочной шкалы анализировалось с помощью категориальной статистики, наблюдаемых средних значений, среднеквадратичных значений outfit, порогов Раша-Андриха, стандартных ошибок порогов и кривых вероятности категорий. Работа категорий считалась приемлемой, если наблюдаемые средние значения монотонно возрастали по категориям баллов, смежные пороги следовали в упорядоченной последовательности, а пять категорий образовывали интерпретируемые области вероятности по всему латентному континууму.

Результаты смещения и взаимодействия анализировались для комбинаций «оценщик — критерий» и «студент — критерий». Любое взаимодействие с абсолютным стандартизированным значением смещения t 2,00 или выше отмечалось для дальнейшего анализа. Эти диагностические проверки использовались для выявления возможных несоответствий в интерпретации критериев или неожиданных паттернов ответов, а не для автоматического удаления оценок. Локальная зависимость и перекрытие конструктов изучались путем анализа соответствия критериев и остаточных взаимосвязей между всеми 10 возможными парами критериев. Любая остаточная взаимосвязь между двумя критериями, равная 0,30 или выше, отмечалась как возможная локальная зависимость и проверялась на соответствие определениям в рубрике. Эти диагностические критерии также представлены в Дополнительной таблице 4. Таким образом, одномерная спецификация модели Раша оценивалась как измерительное допущение, а не принималась автоматически. При интерпретации показателей студентов индивидуальные различия в логитах не рассматривались как значимые, если они не превышали соответствующую погрешность измерения. Фасет «студент» интерпретировался прежде всего как общее распределение композиционного творческого исполнения, а не как точный рейтинг отдельных студентов.

Результаты

Общий обзор аспектов

Многофакторный анализ Раша основывался на полном дизайне оценивания, включавшем 80 анонимизированных работ, девять экспертов и пять критериев оценивания. Данный дизайн обеспечил 3 600 ожидаемых возможностей оценивания. Из них были проанализированы 3 598 валидных наблюдаемых оценок, а две возможности оценивания были зафиксированы как пропущенные. Пропущенные оценки не подвергались импутации и не были перекодированы ни в одну из валидных категорий баллов. Общие показатели факторов представлены в Таблице 2. По трем моделируемым факторам средние значения среднеквадратичного отклонения (mean-square) для показателей Infit и Outfit были близки к 1,00, что подтверждает приемлемое общее соответствие модели данным. Показатели надежности составили 0,87 для критериев, 1,00 для экспертов и 0,78 для студентов. Значения сепарации составили 2,56 для критериев, 16,36 для экспертов и 1,86 для студентов. Тесты хи-квадрат были значимыми для всех трех факторов. Фактор критериев и фактор студентов были центрированы на значении 0,00 логгитов для представления результатов, в то время как средняя мера фактора экспертов составила 0,62 логгита. Показатели студентов варьировались от -0,80 до 1,12 логгитов, что дает расчетный диапазон в 1,92 логгита.

Вариабельность измерений между экспертами

Оценки экспертов представлены в Таблице 2. Значения среднего квадрата инфита (infit mean-square) варьировались от 0,73 до 1,26, а значения среднего квадрата аутфита (outfit mean-square) — от 0,74 до 1,27. Все девять экспертов находились в пределах допустимого диапазона соответствия от 0,60 до 1,30. Фактор эксперта продемонстрировал наибольший разброс среди моделируемых факторов, что указывает на явную вариативность использования баллов экспертами, несмотря на то что все они использовали одну и ту же рубрику, оценочный лист и процедуру оценивания. J9 имел наибольшее значение локации меры эксперта (rater-measure location), составившее 3,37 логвитов, в то время как J8 имел наименьшее значение локации меры эксперта — -0,34 логита. Это направление соответствовало наблюдаемым и справедливым средним значениям: у J9 были самые высокие наблюдаемые и справедливые средние показатели (4,74 и 4,75), а у J8 — самые низкие наблюдаемые и справедливые средние показатели, оба по 2,77. Таким образом, фактор эксперта интерпретировался как вариативность локации использования баллов на общей шкале логвитов, а не как простой рейтинг строгости. J1 и J5 имели идентичные оценки 0,86 логита, J3 и J6 имели идентичные оценки -0,13 логита, а J2 и J4 находились ближе к центру шкалы экспертов на уровнях 0,03 и -0,15 логита соответственно. Общий разброс меры эксперта составил 3,71 логита. Значение разделения экспертов составило 16,36 при значении хи-квадрат 1487,8 (df = 8), p < 0,001. Ни один эксперт не превысил порог проверки соответствия, и ни один эксперт не был исключен из основной модели.

Сложность критерия и соответствие критерию

Оценки сложности критериев представлены в Таблице 2. Наибольшая оценка сложности наблюдалась для критерия «осуществимость» (feasibility) и составила 0,20 логарифмических единиц (logits), что указывает на то, что этот критерий был самым трудным для демонстрации студентами в выполненных композициях. Гибкость и точность находились в среднем диапазоне с оценками 0,07 и 0,02 logits соответственно. Беглость имела оценку сложности -0,13 logits, а новизна имела самую низкую оценку сложности -0,16 logits, что свидетельствует о том, что новизна была самым легким критерием для демонстрации в данном корпусе. Общий разброс сложности критериев составил 0,36 logits. Все пять критериев показали приемлемые значения соответствия. Среднеквадратические значения Infit варьировались от 0,89 до 1,11, а среднеквадратические значения Outfit — от 0,90 до 1,12. Значение разделения критериев составило 2,56, а значение хи-квадрат — 37,8, df = 4, p < 0,001. Ни один критерий не превысил порог проверки соответствия, и ни один критерий не был исключен из модели.

Обзор распределения и соответствия творческой успеваемости студентов

Показатели студентов обобщены в Таблице 2 в виде общего распределения, а не в виде индивидуальных рейтингов. Фактор студента продемонстрировал значение разделения 1,86 и оценку надежности 0,78. Значение хи-квадрат составило 354,4 (df = 79), p < 0,001. Оценочные показатели студентов варьировались от -0,80 до 1,12 логгитов при стандартных ошибках модели примерно от 0,19 до 0,20 логгитов. Поскольку значение разделения студентов было ниже 2,00, результаты студентов были интерпретированы как подтверждающие широкую стратификацию успеваемости, а не точный индивидуальный рейтинг.

Статистика соответствия студентов была проанализирована с использованием определенных пороговых значений соответствия. Для S3 средний квадрат инфита составил 2.10, а средний квадрат аутфита — 2.05, что превышает порог существенного несоответствия. Исходные записи баллов для S3 были сверены с очищенным аналитическим набором данных, включая код студента, код эксперта, код критерия, название критерия, категорию баллов, статус дублирования записи и статус отсутствия оценки. Ошибок ввода данных, дублирующихся записей, недопустимых баллов, несоответствий в отсутствующих оценках или противоречий в кодировании обнаружено не было. Таким образом, S3 был оставлен в основной модели. Затем была оценена модель чувствительности с исключением S3, чтобы определить, останутся ли выводы основной модели стабильными. Эта модель чувствительности включала 79 композиций и 3,555 ожидаемых возможностей оценивания. Количество проанализированных допустимых оценок в модели чувствительности составило 3,553. В модели чувствительности реализуемость осталась самым сложным критерием (0.19 logits), а новизна — наименее сложным критерием (-0.15 logits). Сепарация критериев изменилась с 2.56 до 2.48, надежность критериев изменилась с 0.87 до 0.86, сепарация экспертов изменилась с 16.36 до 16.02, надежность экспертов осталась на уровне 1.00, сепарация студентов изменилась с 1.86 до 1.82, а надежность студентов изменилась с 0.78 до 0.77. Пороги шкалы оценивания остались упорядоченными, изменившись с -2.10, -0.71, 0.69 и 2.12 logits в основной модели до -2.08, -0.70, 0.68 и 2.10 logits в модели чувствительности. Эти изменения не повлияли на основные выводы относительно критериев, экспертов, студентов или шкалы оценивания. Результаты анализа чувствительности представлены в Таблице 3.

Диагностика локальной зависимости и смещения

Для всех 10 возможных пар критериев из пяти используемых критериев оценивания была проведена диагностика локальной зависимости. Все остаточные ассоциации оказались ниже порогового значения 0,30. Наибольшая остаточная ассоциация составила 0,24 между точностью и осуществимостью. Следующими по величине ассоциациями были 0,21 между беглостью и гибкостью, 0,18 между оригинальностью и беглостью и 0,17 между оригинальностью и гибкостью. Остальные шесть остаточных ассоциаций между парами критериев также были ниже 0,30 и приведены в Таблице 4. Эти результаты не выявили проблем с локальной зависимостью между пятью критериями рубрики.

Результаты анализа смещения «оценщик-критерий» были проверены с использованием порога абсолютного стандартизированного t-значения смещения 2,00. Наибольшее стандартизированное t-значение смещения «оценщик-критерий» составило 1,84 для J9 по критерию осуществимости, что было ниже порога пересмотра. Анализ «студент-критерий» выявил неожиданную структуру ответов для S3. Наибольшее стандартизированное t-значение смещения «студент-критерий» составило 2,31 для S3 по критерию осуществимости, что превысило порог пересмотра. В связи с этим случай S3 был сверен с исходными записями баллов и изучен с помощью анализа чувствительности. Проверка не выявила ошибок кодирования или ввода, а модель чувствительности не изменила существенных выводов. Диагностика локальной зависимости и смещения обобщена в  Таблице 4.

Функционирование по оценочной шкале

Результаты структуры категорий представлены в Таблице 5. Средние значения показателей увеличились с -0,56 логарифмических единиц (логитов) в категории 1 до 2,23 логарифмических единиц в категории 5, что указывает на то, что категории с более высокими баллами соответствовали более высоким расчетным позициям творческой результативности. Среднеквадратичные значения соответствия (outfit) для оцениваемых категорий варьировались от 0,90 до 1,10. Пороги Раша-Андриха последовательно смещались в значениях -2,10, -0,71, 0,69 и 2,12 логарифмических единиц. Переход из категории 1 в категорию 2 произошел примерно при -2,10 логарифмических единиц, переход из категории 2 в категорию 3 — около -0,71 логарифмических единиц, переход из категории 3 в категорию 4 — около 0,69 логарифмических единиц, а переход из категории 4 в категорию 5 — около 2,12 логарифмических единиц. Упорядоченные пороги и приемлемые значения соответствия обосновали сохранение исходной пятикатегориальной структуры. Объединение категорий не проводилось.

Распределение граней и структура вероятности категорий

Совместное распределение оценивающих, студентов, критериев и категорий ответов по общей логит-шкале показано на рисунке 2. Грани оценивающих продемонстрировали наибольший разброс, что отражает явную вариативность в использовании баллов разными экспертами. В грани критериев новизна оказалась на самом низком уровне сложности, а осуществимость — на самом высоком. Показатели студентов были сосредоточены вокруг центра шкалы, с меньшим количеством случаев на верхнем и нижнем пределах. Карта линеек (ruler map) была использована для отображения распределения показателей граней, а не для точного ранжирования отдельных студентов.

Кривые вероятности категорий представлены на рисунке 3. Категория 1 имела наибольшую вероятность при значениях ниже приблизительно -2,10 лог interacted, категория 2 достигла пика в диапазоне от приблизительно -2,10 до -0,71 лог interacted, категория 3 имела пик между приблизительно -0,71 и 0,69 лог interacted, категория 4 показала наибольшую вероятность в диапазоне от приблизительно 0,69 до 2,12 лог interacted, а категория 5 стала доминирующей при значениях выше приблизительно 2,12 лог interacted. Вертикальные маркеры порогов на рисунке 3 указывают на точки перехода Раша-Андриха между соседними категориями. Переходы между соседними категориями происходили в упорядоченной последовательности, что подтверждает интерпретацию того, что пятибалльная шкала функционировала в соответствии с предназначением.

Доступность данных:

Деидентифицированный набор данных с оценками в длинном формате, кодовая книга данных и основной вывод FACETS были размещены в Zenodo под DOI: https://doi.org/10.5281/zenodo.21873801. Набор данных содержит кодированные идентификаторы студентов, идентификаторы оценивающих, идентификаторы критериев, названия критериев, допустимые целочисленные категории баллов и индикаторы отсутствующих оценок. Полный план оценивания включал 3 600 ожидаемых возможностей для выставления оценки. Из них были проанализированы 3 598 действительных наблюдаемых оценок; две из них были задокументированы как отсутствующие и не подвергались импутации. Размещенный основной вывод FACETS подтверждает представленные показатели фасетов, статистику соответствия, индексы разделения и надежности, пороги шкалы оценивания, функционирование категорий и диагностические сводки. Оригинальные творческие работы и идентифицируемые файлы не находятся в открытом доступе, так как согласие участников и институциональные ограничения по конфиденциальности не позволяют распространять индивидуальные работы студентов или файлы, которые могут содержать информацию об авторстве. Многогранный анализ Раша был выполнен с использованием FACETS версии 3.83.6.

Рисунок 1: Схема набора участников, проведения заданий, анонимизации, оценивания, проверки данных и многогранного анализа по модели Раша.На данном рисунке представлен полный рабочий процесс исследования от идентификации исходной когорты до финального анализа модели. Исходная когорта включала 96 студентов третьего курса по специальности «Музыковедение». Были приглашены все 96 студентов; четверо не предоставили письменного согласия, 92 прошли скрининг, и 12 были исключены перед финальным анализом. Итоговая аналитическая выборка состояла из 80 анонимизированных композиций, пригодных для оценивания. На рисунке также обобщены этапы назначения заданий, подачи файлов, скрининга, анонимизации, обучения экспертов, формального оценивания, сборки данных в длинном формате, контроля качества и анализа FACETS. Дизайн оценивания обеспечил 3 600 ожидаемых возможностей для оценки; из них были проанализированы 3 598 валидных наблюдаемых оценок, а две были задокументированы как отсутствующие. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 2: Вертикальная линейная карта экспертов, студентов, критериев и категорий шкалы оценивания в общей логит-метрике.На этом рисунке показаны положения использования баллов экспертами, распределение показателей студентов, оценки сложности критериев и положения категорий ответов на общей логит-шкале. Более высокие значения положений экспертов на данном графике соответствуют более частому использованию баллов, а не большей строгости. Линейная карта используется для отображения распределения фасетов и не предназначена для точного ранжирования отдельных студентов. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 3: Кривые вероятности категорий для пятибалльной шкалы оценки.Вертикальные пунктирные линии обозначают пороги категорий по модели Раша-Андриха, которые отмечают расчетные точки перехода между соседними категориями ответов. Упорядоченные пересечения соседних категорий показывают, что пятибалльная шкала ответов функционировала в ожидаемом направлении, что позволяет сохранить исходную структуру категорий без их объединения. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Критерий	Операциональное определение	Балл 1	Балл 2	Оценка 3	Балл 4	Оценка 5
Научная новизна	Самобытность и оригинальность музыкальной идеи или ее воплощения	Традиционный или имитационный	Ограниченная оригинальность	Присутствует определенная оригинальность, но уровень исполнения неравномерен	Явная оригинальность в нескольких частях	Высокодифференцированный и неизменно оригинальный
Беглость	Непрерывность и продуктивность развития идей в процессе работы	Крайне ограниченное развитие	Разреженное развитие	Адекватное развитие	Богатое и устойчивое развитие	Высокопродуктивный и постоянно развивающийся
Гибкость	Использование разнообразных подходов, трансформаций или адаптивных сдвигов в музыкальной обработке	Единый жесткий подход	Минимальная вариабельность	Некоторая вариативность	Заметная вариабельность между секциями или устройствами	Значительно варьирующийся и адаптивно развивающийся
Точность	Уточнение, внутренняя организация и конкретика музыкальных деталей	Слабый контроль и недостаточная детализация	Ограниченное уточнение	Умеренная организация и детализация	Качественная доработка и внутренняя организация	Высокая степень очистки с четкой и конкретной детализацией
Осуществимость	Художественная и практическая жизнеспособность завершенной композиции как реализованного произведения	Непригодно в качестве законченного произведения	Низкая жизнеспособность	Относительно жизнеспособный	Жизнеспособный и пригодный для музыкальной обработки	Высокожизнеспособный и убедительно реализованный

Таблица 1: Операциональные определения и опорные значения баллов для пяти измерений творческого поведения в композиционных работах.В этой таблице представлена итоговая рубрика, использованная для формальной оценки. В ней даны определения новизны, беглости, гибкости, точности и осуществимости, а также приведены опорные значения баллов от 1 до 5 для каждого критерия. Данные определения позволяют отличить устойчивое развитие идеи от адаптивной вариации, а также структурное уточнение — от реализованной художественной и практической жизнеспособности.

Фасет / Единица	Показатель (логиты)	SE модели	Infit MnSq	Outfit MnSq	Наблюдаемое среднее	Справедливое среднее	Сепарация	Надежность	Хи-квадрат (df)
Критерии, общие	0	0.05	0.99	0.99	3.36	3.43	2.56	0.87	37.8 (4)***
Новизна	-0.16	0.05	1.01	1.07	3.46	3.54	—	—	—
Беглость	-0.13	0.05	1	0.95	3.44	3.52	—	—	—
Гибкость	0.07	0.05	0.89	0.93	3.32	3.39	—	—	—
Точность	0.02	0.05	0.95	0.9	3.35	3.42	—	—	—
Осуществимость	0.2	0.05	1.11	1.12	3.23	3.3	—	—	—
Эксперты, общие	0.62	0.07	0.98	0.99	3.36	3.36	16.36	1	1487.8 (8)***
J1	0.86	0.06	1.26	1.27	3.59	3.59	—	—	—
J2	0.03	0.06	1.1	1.1	3.02	3.02	—	—	—
J3	-0.13	0.06	0.73	0.74	2.91	2.91	—	—	—
J4	-0.15	0.06	1.07	1.07	2.9	2.9	—	—	—
J5	0.86	0.06	1.26	1.27	3.59	3.59	—	—	—
J6	-0.13	0.06	0.73	0.74	2.91	2.91	—	—	—
J7	1.19	0.06	0.77	0.77	3.8	3.81	—	—	—
J8	-0.34	0.06	1.06	1.06	2.77	2.77	—	—	—
J9	3.37	0.11	0.87	0.93	4.74	4.75	—	—	—
Студенты, общие	0	0.19	0.99	0.99	3.36	3.43	1.86	0.78	354.4 (79)***
Диапазон показателей студентов	от -0.80 до 1.12	0.19–0.20	—	—	—	—	—	—	—
ПРИМЕЧАНИЕ: Дизайн оценивания создал 3 600 ожидаемых возможностей для рейтинга, рассчитанных как 80 сочинений x 9 экспертов x 5 критериев. В основной модели проанализировано 3 598 действительных наблюдаемых оценок; две возможности оценивания отсутствовали и не были подвергнуты импутации или перекодированию в категории баллов. Для фасета экспертов показатели экспертов интерпретируются здесь как позиции использования баллов экспертами на общей логит-шкале. В данных результатах более высокие показатели экспертов были связаны с более высокими наблюдаемыми и справедливыми средними значениями, что указывает на тенденцию к более частому использованию высоких баллов, а не на большую строгость. ***= p < 0.001.

Таблица 2: Сводная статистика многогранного анализа Раша для критериев, экспертов и студентов. В этой таблице представлены основные выходные данные FACETS для трех моделируемых аспектов, включая показатели в логитах, стандартные ошибки модели, средние квадраты инфита (infit) и аутфита (outfit), наблюдаемые средние значения, скорректированные средние значения (fair averages), индексы разделения, оценки надежности и критерии хи-квадрат. Дизайн оценивания обеспечил 3 600 ожидаемых возможностей для выставления оценок; проанализировано было 3 598 действительных наблюдаемых оценок, и две возможности оценивания были зафиксированы как пропущенные. Сложность критерия, позиция использования баллов экспертом и общее распределение показателей студентов представлены в одной и той же метрике логитов. Показатели экспертов интерпретируются как позиции использования баллов, а не как простой рейтинг строгости, поскольку более высокие показатели экспертов сопровождались более высокими наблюдаемыми и скорректированными средними значениями. Результаты студентов представлены в виде распределения, а не в виде точных индивидуальных рейтингов.

Метрика	Первичная модель	Модель чувствительности без учета S3
Количество составов	80	79
Ожидаемые возможности оценки	3,600	3,555
Проанализировано достоверных записей о рейтингах	3,598	3,553
Упущенные возможности для оценки	2	2
Критерий с наибольшей сложностью	Техническая осуществимость, 0,20 логитов	Техническая осуществимость, 0,19 логитов
Критерий с наименьшей сложностью	Новизна, -0,16 логитов	Новизна, -0,15 логитов
Разделение по критерию	2.56	2.48
Критериальная надежность	0.87	0.86
Разделение оценок (Rater separation)	16.36	16.02
Надежность оценивающего	1	1
Разделение студентов	1.86	1.82
Надежность студента	0.78	0.77
Пороговые значения рейтинговой шкалы	-2.10, -0.71, 0.69, 2.12	-2.08, -0.70, 0.68, 2.10
Выбор первичной модели	Основная модель сохранена	Без существенных изменений
ПРИМЕЧАНИЕ: В основной модели использовались 3 598 действительных наблюдаемых оценок из 3 600 ожидаемых возможностей оценивания. В модели анализа чувствительности субъект S3 был исключен, и использовались 3 553 действительных наблюдаемых оценки из 3 555 ожидаемых возможностей оценивания. Те же две отсутствующие возможности оценивания находились вне группы S3 и, следовательно, остались отсутствующими в модели анализа чувствительности. Исключение S3 не привело к существенным изменениям в порядке критериев, индексах сепарации, оценках надежности или структуре порогов шкалы оценивания.

Таблица 3: Анализ чувствительности после исключения случая студента с несоответствующими данными. В данной таблице приводится сравнение основной модели с моделью чувствительности, рассчитанной после исключения S3. В основной модели использовались 80 работ, 3 600 ожидаемых возможностей оценивания и 3 598 валидных наблюдаемых оценок. В модели чувствительности использовались 79 работ, 3 555 ожидаемых возможностей оценивания и 3 553 валидных наблюдаемых оценки. В таблице отражены изменения сложности критериев, разделения критериев, надежности критериев, разделения экспертов, надежности экспертов, разделения студентов, надежности студентов и пороговых значений шкалы оценивания. Анализ чувствительности не выявил существенных изменений в выводах основной модели.

Диагностический показатель	Порог рецензирования	Максимальное наблюдаемое значение / наблюдаемое значение	Результат рецензирования
Остаточная связь: новизна — беглость	≥0.30	0.18	Ниже порога
Остаточная связь: новизна — гибкость	≥0.30	0.17	Ниже порога
Остаточная связь: новизна — точность	≥0.30	0.12	Ниже порога
Остаточная взаимосвязь: новизна — осуществимость	≥0.30	0.09	Ниже порога
Остаточная взаимосвязь: беглость — гибкость	≥0.30	0.21	Ниже порога
Остаточная связь: беглость — точность	≥0.30	0.16	Ниже порога
Остаточная связь: беглость — осуществимость	≥0.30	0.14	Ниже порога
Остаточная взаимосвязь: гибкость — точность	≥0.30	0.15	Ниже порога
Остаточная взаимосвязь: гибкость — осуществимость	≥0.30	0.11	Ниже порога
Остаточная взаимосвязь: точность — осуществимость	≥0.30	0.24	Ниже порога
Стандартизированное значение t-критерия систематической ошибки для каждого эксперта по каждому критерию	абсолютное значение ≥2,00	1.84 для J9 по технической осуществимости	Ниже порога
Стандартизированное значение t-критерия смещения по студенту (student-by-criterion standardized bias t value)	абсолютное значение ≥ 2,00	2.31 для S3 по вопросу осуществимости	Проверено с помощью верификации исходных записей и анализа чувствительности
Верификация ввода данных для S3	Любая ошибка кодирования или ввода данных	Ничего не найдено	S3 сохранено в основной модели
Анализ чувствительности с исключением S3	Изменение основных выводов модели	Без существенных изменений	Основная модель сохранена
ПРИМЕЧАНИЕ: Были проанализированы все 10 остаточных ассоциаций между парами критериев. Значения ниже 0,30 интерпретировались как отсутствие проблемной локальной зависимости между пятью критериями рубрики. Взаимодействия «эксперт-критерий» и «студент-критерий» оценивались с использованием порогового значения абсолютного стандартизированного t-критерия смещения 2,00.

Таблица 4: Проверка локальной зависимости и диагностика систематической ошибки. В этой таблице обобщены результаты диагностических проверок на перекрытие критериев, систематическую ошибку «оценщик-критерий», неожиданные паттерны ответов «студент-критерий» и верификация случая студента с несоответствием модели. Были рассмотрены все 10 возможных остаточных ассоциаций между парами критериев. Остаточные ассоциации между критериями оказались ниже порогового значения проверки 0,30. Максимальное стандартизированное значение t для систематической ошибки «оценщик-критерий» было ниже порога проверки |t| ≥ 2,00, в то время как анализ «студент-критерий» выявил неожиданный паттерн ответов, связанный с S3, который был проверен путем верификации исходных записей и анализа чувствительности. Анализ чувствительности не показал существенных изменений в основных выводах модели.

Категория рейтинга	Метка категории	Среднее значение (логиты)	Подготовка MnSq	порог Раша-Андриха	Пороговая стандартная ошибка (SE)	Измерить при -0,5
1	Низкое качество	-0.56	1	—	—	—
2	Минимальный	-0.21	0.9	-2.1	0.1	-2.51
3	Удовлетворительно	0.25	0.9	-0.71	0.05	-0.73
4	Выше среднего	0.8	1.1	0.69	0.04	0.72
5	Отлично	2.23	1.1	2.12	0.06	2.53
ПРИМЕЧАНИЕ: Пороги Раша — Андриха указывают расчетные точки перехода между соседними категориями оценок. Порог для категории 1 не приводится, так как она является низшей категорией. Значение «Measure at -0.5» сообщает логгит-положение, соответствующее границе категории в выходных данных FACETS, и приводится в качестве диагностического показателя функционирования категории, а не как отдельная оценка успеваемости студента. Объединение категорий не проводилось.

Таблица 5: Функционирование категорий пятибалльной шкалы оценки.В этой таблице представлены статистические данные на уровне категорий для пятибалльной шкалы ответов, включая средние значения измерений, значения среднеквадратичного отклонения outfit, пороги Раша-Андриха, стандартные ошибки порогов и выходные данные FACETS «Measure at -0.5» для функционирования категорий. Пороги Раша-Андриха указывают на расчетные точки перехода между соседними категориями оценки. Упорядоченные пороги показывают, что пять категорий ответов развивались в ожидаемом направлении, и ни одна категория не была объединена.

Дополнительная таблица 1: Требования к заданию по сочинению, схема набора участников и спецификации подачи работ. В данной таблице представлены условия исследования, схема набора, критерии отбора участников, формат задания, необходимые структурные элементы, правила оригинальности, требования к подаче работ, правила скрининга, причины исключения и конечная единица анализа. В ней задокументирован процесс получения итогового корпуса из 80 анонимизированных и пригодных для оценивания сочинений. Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительная таблица 2: Обучение экспертов, калибровка и стандартизированная процедура оценки. В этой таблице обобщены сведения о подборе экспертов, квалификации экспертов, анонимном кодировании экспертов, обучающих материалах, инструктаже по рубрикам, инструктаже по категориям, калибровочной оценке, разборе расхождений, процедурах ослепления, ограничениях при оценивании, материалах для анализа, процедуре воспроизведения, правиле повторного прослушивания, рандомизированном порядке представления данных и контроле продолжительности оценивания. Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительная таблица 3: Структура набора данных в длинном формате и правила кодирования.В данной таблице представлены структура переменных, правила кодирования, ограничения набора данных, коды критериев и примеры строк для аналитического набора данных в длинном формате. Каждая допустимая строка представляет собой одно зафиксированное событие оценивания, определяемое идентификатором студента, идентификатором оценивающего, идентификатором критерия, названием критерия и категорией оценки. Дизайн оценивания предусматривал 3 600 ожидаемых случаев оценивания, из которых были проанализированы 3 598 допустимых зафиксированных оценок, а два случая оценивания были отмечены как пропущенные. Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительная таблица 4: Спецификации контрольного файла и диагностические параметры FACETS.В этой таблице представлены структура модели и настройки воспроизводимости FACETS, включая версию программного обеспечения, тип модели, моделируемые грани, категории баллов, способ обработки пропущенных оценок, метод оценивания, максимальное количество итераций, критерий сходимости, запросы вывода, пороги соответствия, порог анализа систематической ошибки, порог локальной зависимости и правило интерпретации показателей учащихся. Пропущенные оценки рассматривались как отсутствующие, не подвергались импутации и не перекодировались в допустимые категории баллов. Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Обсуждение

В настоящем исследовании была применена многофакторная модель Раша для оценки творческого поведения студентов бакалавриата по специальности «музыка» на основе их оригинальных композиторских работ. Результаты показали, что успеваемость студентов, сложность критериев, вариативность оценок экспертов и функционирование категорий шкалы оценивания могут быть определены в рамках единой структуры измерений. Данный вывод подтверждает целесообразность использования многофакторного моделирования при оценке музыкальных произведений на основе рубрикаторов в тех случаях, когда баллы выставляются на основе экспертного суждения, а не чисто объективных ответов¹¹. Модель не устранила необходимость в экспертной музыкальной оценке; напротив, она предоставила структурированный способ анализа того, как факторы студента, критерия и эксперта влияют на наблюдаемые оценки. Это имеет важное значение для оценки композиций, поскольку завершенные произведения требуют качественного суждения, но одни лишь необработанные баллы не могут показать, отражает ли вариативность оценок уровень студента, сложность критерия, особенности эксперта или специфику шкалы оценивания¹².

Результаты анализа критериев показали, что новизна была наименее сложным критерием, тогда как осуществимость и гибкость оказались более трудными в рамках завершенных композиций. Данную закономерность следует интерпретировать как описательный результат измерения, а не как доказательство причинно-следственного обучающего эффекта. Полученный результат указывает на то, что в данном корпусе работ студенты с большей легкостью демонстрировали самобытные музыкальные идеи, чем полностью реализованную жизнеспособность или адаптивную трансформацию на протяжении всего произведения. Это различие согласуется с исследованиями музыкального творчества, в которых композиция рассматривается как процесс, включающий генерацию идей, их развитие, отбор, реструктуризацию, уточнение и реализацию, а не только как проявление оригинальности¹³. Это также подтверждает ценность разделения параметров рубрики вместо объединения творческого исполнения в одну общую оценку¹⁴. Однако настоящее исследование не позволяет определить, была ли наблюдаемая закономерность сложности вызвана методикой преподавания, дизайном задания, этапом развития студентов, формулировкой критериев или интерпретацией эксперта. Будущие исследования должны сочетать оценку конечного продукта с данными о процессе, такими как черновики, история правок, рефлексивные журналы или интервью по композиции, чтобы изучить, как студенты переходят от первоначальных идей к реализованным музыкальным произведениям.

Результаты оценки показали значительную вариативность между экспертами, при этом все значения соответствия экспертов оставались в пределах определенного допустимого диапазона. Такую закономерность не следует интерпретировать просто как неудачу в подготовке экспертов. Различия в использовании баллов экспертами ожидаемы при художественной оценке, проводимой специалистами, и являются одной из основных причин применения многогранной модели Раша¹⁵. Полученные результаты показывают, что эксперты использовали шкалу в целом приемлемым образом, хотя и различались в относительном использовании категорий баллов. Таким образом, модель помогла скорректировать вариативность баллов, связанную с экспертами, перед интерпретацией показателей критериев и студентов. В будущих приложениях подготовку экспертов следует сочетать с апостериорным мониторингом вариативности использования баллов, соответствия, использования категорий и взаимодействий «эксперт-критерий», а не полагаться исключительно на обучение для устранения всех различий между экспертами¹⁶.

Фактор студентов продемонстрировал измеримую вариативность, но лишь умеренное разделение. Оценка надежности по студентам составила 0,78, а значение разделения — 1,86. Следовательно, показатели студентов следует интерпретировать как поддерживающие широкую стратификацию успеваемости, а не точное индивидуальное ранжирование. Этот момент важен, так как небольшие различия между логитами отдельных студентов могут быть меньше соответствующих стандартных ошибок измерения. Случай S3 с плохим соответствием (misfitting) дополнительно подтверждает необходимость осторожной интерпретации на индивидуальном уровне. После проверки исходных записей и анализа чувствительности порядок основного критерия, паттерн оценок экспертов и структура порогов шкалы оценивания остались стабильными. Таким образом, случай S3 был оставлен в основной модели, однако в исследовании не делаются содержательных выводов по этому конкретному случаю. Такая интерпретация согласуется с использованием анализа соответствия по модели Раша в качестве диагностического инструмента для оценки стабильности измерений, а не как основы для необоснованных индивидуальных утверждений¹⁷.

Данное исследование имеет несколько ограничений. Во-первых, выборка была сформирована из студентов одного учебного заведения и одного этапа обучения, поэтому результаты не следует обобщать на другие сопоставимые когорты студентов бакалавриата по специальности «Музыковедение» без дополнительной проверки. Во-вторых, в исследовании оценивались конечные результаты композиторской деятельности и не учитывались материалы процесса, такие как черновики, история правок, рефлексивные журналы или данные метода «размышления вслух». В-третьих, пять критериев рубрики рассматривались как взаимосвязанные проявления общего творческого поведения при сочинении, и диагностические результаты подтвердили данную спецификацию для настоящего набора данных; однако в будущих исследованиях следует изучить, сохраняется ли такая же структура в более крупных выборках, в других учебных заведениях и при выполнении иных композиционных задач. В-четвертых, опыт экспертов моделировался только через фактор эксперта, и в исследовании не проверялось напрямую, каким образом дисциплинарная подготовка, преподавательский стаж, эстетические предпочтения или уровень квалификации в области композиции влияли на вариативность оценок. Наконец, исследование носило поперечный и неинтервенционный характер, поэтому закономерность сложности критериев не следует использовать для выводов об эффективности преподавания или причинно-следственных связях в обучении.

В заключение, данное исследование демонстрирует воспроизводимую процедуру оценки творческого поведения студентов музыкальных специальностей на основе оригинальных композиторских работ с использованием структурированной рубрики и многогранного измерения Раша. Результаты показывают, что сложность критериев, вариативность оценок экспертов, распределение успеваемости студентов и функционирование шкалы оценивания могут быть изучены в рамках единой системы измерения. В завершенных композициях было относительно проще продемонстрировать новизну, тогда как реализуемость и гибкость оказались более сложными аспектами. Вариативность оценок экспертов была существенной, что подтверждает необходимость моделирования влияния оценивающего при анализе музыкальных произведений. Показатели студентов свидетельствовали в пользу широкой стратификации, а не точного индивидуального ранжирования. В целом, предложенная система обеспечивает прозрачную основу для оценки творческого поведения на базе композиторской деятельности, а также для совершенствования дизайна рубрик, мониторинга экспертов и будущих валидационных исследований в высшем музыкальном образовании.

Материалы

Список материалов, использованных в этой статье

Имя	Компания	Каталожный номер	Комментарии
Adobe Acrobat Reader	Adobe	26.001.21346	Используется для открытия и анализа PDF-файлов с партитурами в процессе предварительного отбора и официального оценивания.
Audacity	Audacity	3.7.7	Используется для открытия и анализа аудиозаписей в формате MP3, сопровождающих представленные композиции.
FACETS	Winsteps	3.83.6	Используется для многофакторного анализа Раша.
Наушники HD 280 Pro	Sennheiser	506845	Закрытые мониторные наушники, используемые для стандартизированного прослушивания при анализе представленных аудиофайлов.
Microsoft 365 Apps for business, включая Excel	Microsoft	O365BusinessRetail	Используются для ввода баллов, сборки наборов данных в длинном формате и проверки данных перед анализом Раша.
Moodle LMS	Moodle	MOODLE_5013	Используется в качестве институциональной системы управления обучением для сдачи заданий и сбора файлов.
MuseScore Studio	MuseScore	4.6.5	Используется для подготовки, нотации и экспорта файлов оригинальных композиций в форматах партитур.
Настольный компьютер OptiPlex Tower Plus 7020	Dell	QBS1250	Используется в качестве рабочей станции для управления файлами, администрирования оценивания и статистического анализа.