다면 라쉬 모델(Many-Facet Rasch Model)을 이용한 작곡 작품 기반 음악 전공자의 창의적 행동 평가

요약

본 연구는 구조화된 작곡 평가 루브릭과 다면 라쉬 측정법(many-facet Rasch measurement)을 독창적인 음악 작품에 적용하여 음악 전공자의 창의적 행동을 평가합니다.

초록

음악 교육에서 창의성을 평가하는 것은 독창적인 음악 작품에 대한 판단이 주관적인 선호도, 기준에 대한 불균등한 해석, 그리고 평가자 간의 엄격함 차이에 의해 영향을 받기 때문에 여전히 어려운 과제로 남아 있습니다. 작곡 훈련에서 완성된 작품은 학생들이 음악적 아이디어를 어떻게 생성, 발전, 변형, 정교화 및 구현하는지를 보여주는 관찰 가능한 결과물로 취급될 수 있습니다. 본 연구에서는 구조화된 작곡 평가 루브릭과 다면 라쉬 측정(many-facet Rasch measurement)을 결합하여 학부 음악 전공생들의 창의적 행동에 대한 재현 가능한 평가를 지원할 수 있는지 조사하였습니다. 80명의 음악 전공생이 제출한 독창적인 작곡 작품을 훈련된 9명의 평가자가 5점 척도의 루브릭을 사용하여 독립적으로 채점하였습니다. 루브릭에는 참신성, 유창성, 유연성, 정밀성, 그리고 실현 가능성이라는 작곡 창의적 행동의 다섯 가지 관련 차원이 포함되었습니다. 평가 데이터는 FACETS 소프트웨어(버전 3.83.6)를 사용하여 분석되었으며, 학생, 기준, 평가자를 공통 로짓 측정 구조 내의 개별 면(facet)으로 지정하였습니다. 평가 설계에는 총 3,600회의 예상 평가 기회가 포함되었으며, 2건의 누락을 제외한 3,598건의 유효한 관찰 평가 데이터가 분석되었습니다. 전반적인 모델 적합도는 평가 설계의 해석을 뒷받침하였으며, 순서형 범주 구조는 5점 척도가 예상된 방향으로 작동했음을 나타냈습니다. 기준 추정치 분석 결과, 완성된 작곡물에서 참신성은 상대적으로 증명하기 쉬웠던 반면, 실현 가능성과 유연성은 더 어려웠던 것으로 나타났습니다. 평가자 간의 점수 사용 위치에서도 차이가 관찰되었으며, 이는 단순한 원점수에 의존하기보다 평가자 효과를 모델링할 필요가 있음을 뒷받침합니다. 학생 간 분리도는 보통 수준으로 나타나, 이 도구가 정밀한 개인 순위 산정보다는 광범위한 성취도 계층화에 더 적합함을 시사합니다. 이러한 결과는 작곡 기반 루브릭과 다면 라쉬 측정을 결합함으로써 고등 음악 교육에서 창의적 행동을 평가하기 위한 투명한 체계를 제공할 수 있음을 보여줍니다.

서론

학생들이 기성의 기법을 재현하는 것뿐만 아니라, 학문적 맥락 내에서 독창적이고 의미 있으며 전달 가능한 작품을 창조할 것이 기대됨에 따라 창의성은 예술 교육의 핵심적인 성과가 되었습니다¹. 음악 교육에서 이러한 기대는 특히 작곡 훈련에서 중요한데, 여기에서 학생들은 주제, 선율, 리듬, 형식, 전개 및 실현에 관한 결정을 통해 음악적 지식을 완성된 작품으로 변환해야 합니다. 음악적 창의성을 단순히 개인적인 취향이나 일반적인 예술적 인상만으로 평가할 수 없기 때문에 이 맥락에서의 평가는 어렵습니다. 완성된 작곡품은 창의적 행동에 대한 관찰 가능한 증거를 제공하지만, 채점이 투명하고 재현 가능하려면 그 증거가 명시적인 기준 форму로 변환되어야 합니다². 명확한 기준이 없다면 점수는 제출된 작품의 구체적인 특성보다는 평가자의 선호도, 양식적 친숙함 또는 품질에 대한 일반적인 인상을 반영할 수 있습니다.

본 연구에서는 작곡의 창의적 행동을 완성된 곡으로 나타나는 창의적인 음악적 작업의 관찰 가능한 표현으로 정의한다. 루브릭은 신규성, 유창성, 유연성, 정밀성, 실현 가능성의 다섯 가지 차원을 사용한다. 이러한 차원들은 동일한 하위 특성이나 별개의 이론적 구성 개념으로 취급되지 않는다. 대신, 학생이 완성된 작품 내에서 음악적 아이디어를 생성, 전개, 변형, 정제 및 구현할 수 있는 정도라는 하나의 광범위한 결과물 기반 수행 구성 개념의 기준 수준 발현으로 사용된다. 신규성은 음악적 아이디어나 처리 방식의 독창성을 나타내며, 유창성은 아이디어 전개의 연속성과 생산성을 나타낸다. 유연성은 음악적 처리에서의 다양한 접근 방식, 변형 또는 적응적 전환을 나타내고, 정밀성은 음악적 세부 사항의 정제, 내부 조직 및 구체성을 나타내며, 실현 가능성은 완성된 곡의 예술적 및 실제적 실행 가능성을 나타낸다³. 이러한 구조는 아이디어 생성, 아이디어 전개, 적응적 변형, 기술적 정제 및 구현된 실행 가능성을 하나의 완성된 음악적 결과물로 연결한다.

이러한 구성 개념 논거는 기준 간의 중복과 구성 개념 오염을 줄여줍니다. 정교함(Precision)은 세밀화, 내부 구조화 및 구체적인 음악적 세부 사항으로 제한한 반면, 실행 가능성(feasibility)은 실현된 작품으로서의 예술적 및 실질적 생존 가능성으로 정의하였습니다. 마찬가지로, 유창성(fluency)은 지속적이고 생산적인 전개로 제한하였고, 유연성(flexibility)은 변형, 전환 및 적응적인 음악적 처리로 정의하였습니다. 어떤 작품은 독창적인 아이디어를 포함하고 있으나 전개가 제한적일 수 있으며, 혹은 일관성이 있고 기술적으로 안정적이지만 변형이 거의 나타나지 않을 수 있습니다. 따라서 동일한 작곡물 내에서도 불균형한 창의적 프로필이 나타날 수 있으며, 총 원점수는 이를 가릴 수 있기 때문에 기준 기반의 루브릭이 필요합니다⁴.

평가자 매개 음악 평가는 채점자의 행동과 학생의 수행 모두에 대한 주의를 필요로 합니다. 평가자들이 동일한 루브릭을 사용하더라도 엄격함, 범주 사용 방식 및 기준 해석에서 차이가 나타날 수 있습니다. 이러한 차이는 단순한 절차적 문제가 아니라 측정 상황의 일부이며, 관찰된 점수의 의미에 영향을 미칠 수 있습니다⁵. 다면 라쉬 측정(Many-facet Rasch measurement)은 학생, 평가자, 기준 및 평가 척도 범주를 공통의 로짓(logit) 프레임워크 내에서 추정하기 때문에 이러한 설정에 적합합니다. 학생 측정값은 기준 난이도와 평가자 엄격도를 조정한 후의 추정 창의적 수행 능력을 나타내고, 기준 측정값은 각 차원을 입증하기가 얼마나 어려운지를 나타내며, 평가자 측정값은 상대적인 점수 사용 위치를 나타내고, 범주 통계는 평가 척도가 의도한 순서대로 작동하는지를 보여줍니다⁶. 이 접근 방식은 관찰된 평가 점수에 통합되어 있는 점수 변동의 여러 원인을 분리해낼 수 있으므로, 단순 총점이나 평균 점수에만 의존하는 것보다 더 강력한 방법입니다.

단일차원 다면 라쉬 모델(unidimensional many-facet Rasch model)을 사용하기 위해서는 명확한 구성 개념 논거가 필요합니다. 본 연구에서 단일차원 설정은 다섯 가지 루브릭 차원이 동일하다고 가정하는 것이 아니라, 전반적인 작곡 창의적 행동 수준에서 정당화됩니다. 다섯 가지 기준은 완성된 음악 작품에 표현된 광범위한 수행 구성 개념의 서로 다른 관찰 가능한 측면을 나타낼 것으로 기대됩니다. 이러한 가정은 경험적 측정 가정으로 취급되었으며, 기준 적합도, 평가 척도 기능, 기준 간 잔차 상관관계, 평가자-기준 및 학생-기준 상호작용 진단을 통해 검토되었습니다⁷. 다면 라쉬 접근법이 수행 기반 평가에 적용되어 왔으나, 고등 음악 교육 내의 전체 작곡 평가에서 체계적으로 사용된 사례는 여전히 제한적입니다⁸. 기존의 음악 평가 연구는 개방형 예술 작품을 판단하는 것의 어려움과 명시적인 채점 기준의 필요성을 강조해 왔으며⁹, 측정 연구에서는 루브릭 기반 수행 평가가 평가자와 기준 효과를 직접 모델링함으로써 이점을 얻을 수 있음을 보여주었습니다¹⁰. 이러한 배경 하에, 본 연구는 학부 음악 전공자들이 제작한 독창적 작곡 작품에 다면 라쉬 프레임워크를 적용합니다. 본 연구는 세 가지 질문을 다룹니다: 제안된 작곡 평가 프레임워크가 측정 설계로서 적절하게 기능하는지, 기준 난이도와 평가자의 점수 사용 변동이 관찰된 점수 변동에 어떻게 기여하는지, 그리고 기준 및 평가자 효과를 모델링한 후 학생들의 창의적 수행 측정값이 어떻게 분포하는지입니다.

프로토콜

본 연구는 중국 강서성 남창(330098) 소재 강서 공과대학 음악무용학부의 기관생명윤리위원회(IRB)로부터 승인 번호 YG2020158로 승인을 받았습니다. 과제 수행 및 데이터 수집 전 모든 참여자로부터 서면 동의를 얻었습니다. 참여자들에게는 제출된 작곡물이 비식별화 처리 후 연구 기반 평가 목적으로만 사용될 것임을 안내하였습니다. 채점 전 학생 성명, 학급 식별자, 저자 정보가 포함된 파일 메타데이터 및 기타 직접적인 식별 정보를 제거하였습니다. 이러한 식별 정보는 평가자에게 제공되지 않았습니다. 제출된 모든 작품은 채점 및 분석 전 비식별화되었으며, 모든 분석 파일은 코드화된 식별자만을 사용하여 처리되었습니다.

연구 설정, 참가자 모집 및 과제 할당

본 연구는 2025년 9월부터 2026년 1월까지 중국 장시성 난창의 장시 공과대학교 음악무용대학에서 수행되었습니다. 연구 대상자는 음악학 전공 3학년 학생들로 모집하였으며, 이는 해당 단계의 학생들이 연구 학기 이전에 음악 이론, 연주 실습, 전자 음악 작곡 및 작곡 관련 필수 교과 과정을 모두 이수했기 때문입니다.

원천 코호트에는 음악학 전공 3학년 학생 96명이 포함되었습니다. 96명의 학생 모두에게 접근하였습니다. 이 중 4명의 학생은 서면 동의서를 제출하지 않아 스크리닝 단계에 진입하지 못했습니다. 나머지 92명의 학생은 서면 동의서를 제출하고 스크리닝을 거쳤습니다. 최종 분석 전 12명의 학생이 제외되었습니다. 제외 사유는 작곡물 제출 미완성 5명, 필수 구조 요소 중 하나 이상 누락 3명, 마감 기한 후 제출 2명, 파일 판독 불가 또는 손상 1명, 점수 산정 전 중도 포기 1명이었습니다. 최종 분석 표본에는 남성 32명과 여성 48명을 포함하여 총 80명의 학부생이 포함되었습니다.

최종 분석 표본은 동의, 스크리닝 및 제외 규칙을 적용한 후 모집된 코호트로부터 확보 가능한 익명화 및 점수 산정이 가능한 작곡물 전체 적격 코퍼스를 나타냅니다. 이 표본 크기는 3,600건의 평가 기회를 독립적인 학생 수준의 관측치로 처리하여 정당화하지 않았습니다. 대신, 다면 라쉬(many-facet Rasch) 설계를 통해 80편의 작곡물에 대한 반복 평가를 사용하여 학생의 창의적 수행 측정치를 추정하는 동시에, 기준 난이도, 평가자 간 점수 사용 변동 및 평가 척도 범주 기능을 모델링했습니다. 9명의 평가자를 포함시킨 것은 평가자 관련 점수 사용 변동의 추정을 지원하고, 개방형 작곡 품질에 대한 단일 채점자의 해석에 대한 의존도를 낮추기 위함이었습니다. 학생은 음악학 프로그램 3학년에 전일제로 등록되어 있고, 연구 학기 이전에 필수 핵심 교과 과정을 완료했으며, 서면 동의서를 제출하고, 지정된 제출 기간 내에 완성된 독창적인 작곡물 한 편을 제출한 경우 적격한 것으로 간주되었습니다. 완성된 작품을 제출하지 않았거나, 제출물이 사전에 정의된 과제 요구 사항을 충족하지 않았거나, 파일을 열거나 점수를 매길 수 없는 경우, 마감일 이후에 제출물이 접수된 경우, 또는 채점 전에 동의를 철회한 경우에는 제외되었습니다.

각 참가자는 동일한 서면 지침에 따라 한 가지의 개별 창작 곡 작업물 작성을 완료했습니다. 학생들은 스스로 주제와 스타일을 선택할 수 있었으나, 모든 제출물에는 가사, 멜로디, 리듬 및 형식적 구성이 반드시 포함되어야 했습니다. 그룹 작업, 재제출된 과제물, 각색된 기출 자료, 초안 파일 및 지연 수정본은 정식 점수 산정 데이터 세트에서 제외되었습니다. 각 참가자당 단 하나의 최종 버전만 접수되었습니다. 상세한 과제 요구 사항 및 제출 규격은 부록 표 1에 제시되어 있습니다. 전체 모집 및 분석 워크플로우는   그림 1에 나타나 있습니다.

구성 작품의 수집, 스크리닝 및 익명화

모든 작곡물은 지정된 과제 주간의 마지막 날 23:59까지 기관 학습 관리 시스템을 통해 제출되었습니다. 각 제출물에는 하나의 Portable Document Format (PDF) 악보 파일과 이에 수반되는 MP3 오디오 렌더링 파일이 포함되었습니다. 마감일 이후, 연구팀은 동일한 제출 채널을 통해 제출된 모든 파일을 다운로드하였으며, 평가자에게 전달하기 전 각 작품이 사전 정의된 과제 요구 사항을 충족하는지 심사하였습니다. 가사, 멜로디, 리듬 및 형식적 구성이 포함되어 있으며 완성된 최종 결과물 형태를 갖춘 작곡물만이 유지되었습니다. 초안 상태의 파일, 미완성 작품, 주요 구조적 구성 요소가 누락된 파일, 지연 제출물, 그리고 읽을 수 없거나 손상된 파일은 채점 전 제외되었습니다.

각 적격 작품에는 S1에서 S80까지의 익명화된 학생 코드가 부여되었습니다. 파일이 채점을 위해 공개되기 전, 학생 이름, 학급 식별자, 저자 정보가 포함된 파일 메타데이터 및 기타 모든 직접적인 식별 정보가 제거되었습니다. 참여자의 신원과 익명화된 연구 코드를 연결하는 연결 파일은 책임 연구자에 의해 암호 보호된 파일로 별도 저장되었습니다. 이 연결 파일은 모델 추정 과정 중 평가자나 분석가가 사용할 수 없었습니다. 최종 채점 코퍼스는 80개의 익명화된 채점 가능 작곡물로 구성되었으며, 각 작품은 하나의 PDF 악보 파일과 하나의 MP3 오디오 렌더링 파일로 나타내었습니다.

채점 루브릭

채점 루브릭은 작곡 작품에서 창의적 행동의 다섯 가지 차원인 독창성, 유창성, 유연성, 정밀성 및 실현 가능성을 평가했습니다. 이 루브릭은 작곡 지도, 음악 이론 및 음악 교육 평가 분야의 경험이 있는 세 명의 교수진과 협의하여 연구팀이 개발했습니다. 이전 학년도의 연구 대상이 아닌 연습 작곡 작품 5개를 사용하여 초기 버전을 검토했습니다. 파일럿 검토 후, 실현 가능성과 정밀성 사이의 중복을 줄이고 유창성과 유연성을 구분하기 위해 기준의 문구와 다섯 가지 점수 앵커를 수정했습니다. 최종 루브릭은 평가자 교육 및 공식 채점 전인 2025년 9월 20일에 확정되었습니다. 공식 채점이 시작된 이후에는 기준 문구나 점수 앵커를 변경하지 않았습니다.

최종 평가 항목에서 참신성(novelty)은 음악적 아이디어나 처리 방식의 독특함과 독창성을 의미했습니다. 유창성(fluency)은 작품 내에서 아이디어 전개의 연속성과 생산성을 나타냅니다. 유연성(flexibility)은 음악적 처리에서의 다양한 접근 방식, 변형 또는 적응적 전환을 의미했습니다. 정밀성(precision)은 음악적 세부 사항의 정교함, 내부 조직 및 구체성을 의미했습니다. 실현 가능성(feasibility)은 완성된 작품이 실제 작곡물로서 가지는 예술적 및 실질적 생존 가능성을 의미했습니다. 다섯 가지 차원 모두 동일한 5점 척도 응답 형식을 사용하여 점수를 매겼습니다. 1점은 대상 차원의 구현 정도가 매우 낮음을 나타내고, 5점은 매우 높음을 나타냅니다. 0.5점 단위의 점수는 허용되지 않았습니다. 모든 평가자는 동일한 기준 순서, 점수 앵커 및 표준화된 채점표를 사용했습니다. 다섯 가지 모든 차원에 대한 조작적 정의와 점수 앵커는 표 1에 제시되어 있습니다.

평가자 모집, 블라인딩 및 교육

음악 또는 예술 관련 평가 경험이 있는 9명의 평가자를 Jiangxi Institute of Technology에서 모집하였다. 평가단은 음악 관련 과목 교수 5명, 음악 교육 교수 2명, 그리고 예술 평가 경험이 있는 선임 대학원 강사 2명으로 구성되었다. 각 평가자는 최소 3년 이상의 교육, 채점, 심사 또는 예술 평가 경험을 보유하였다. 각 평가자에게는 J1에서 J9까지의 익명 코드가 부여되었다. 모든 평가자는 익명 처리된 80곡의 작곡물 코퍼스에 대해 동일하게 채점을 진행하였다. 정식 채점 단계 동안 평가자들은 학생의 신원, 인구통계학적 정보, 수업 소속 및 다른 모든 평가자의 점수를 알 수 없도록 블라인드 처리되었다.

정식 채점을 시작하기 전, 모든 평가자는 약 120분 동안 진행된 1회의 표준화된 훈련 및 보정 세션을 완료하였습니다. 세션 동안 연구팀은 서면 루브릭, 점수 앵커, 표준 채점지 및 채점 지침서를 배포하였습니다. 5가지 기준과 5가지 응답 범주는 정식 채점 시 사용된 것과 동일한 고정된 순서로 설명되었습니다. 이후 세 개의 익명화된 보정 작문물을 사용하여 연습 채점을 진행하였습니다. 이 세 개의 보정 작문물은 80개의 정식 연구 작문물과는 별개이며 분석 데이터 세트에는 포함되지 않았습니다. 각 평가자는 토론 전 세 개의 보정 작품을 독립적으로 채점하였습니다. 각 차원의 의미, 인접한 점수 범주 간의 구별, 그리고 5점 척도 전체의 활용도를 명확히 하기 위해 기준별로 불일치 사항을 검토하였습니다. 보정 세션의 목적은 루브릭의 해석을 표준화하는 것이지, 동일한 점수를 강요하는 것이 아니었습니다. 훈련 워크플로우와 보정 절차는 부록 표 2에 제시되어 있습니다.

공식 점수 산정 절차

정식 채점 과정에서, 각 평가자는 5가지 모든 기준에 따라 익명화된 모든 작품을 독립적으로 평가하였습니다. 평가자들은 각 작품의 PDF 악보 파일과 그에 수반되는 MP3 오디오 렌더링 파일을 모두 검토하였습니다. PDF 파일은 PDF 리더 소프트웨어로 열었으며, 오디오 파일은 채점 관리에 사용된 것과 동일한 유형의 워크스테이션에서 Sennheiser HD 280 Pro 헤드폰을 사용하여 Audacity로 검토하였습니다. 평가자들은 먼저 악보 파일을 검토하고, 전체 오디오 렌더링을 한 번 청취한 뒤, 필요한 경우 두 번째 집중 검토를 거쳐 기준별 채점을 완료하도록 안내받았습니다. 평가자가 리듬, 멜로디, 구조 또는 구현의 세부 사항을 확인할 필요가 있는 경우, 모든 작품에 대해 최대 2회까지 추가 청취가 허용되었습니다. 정식 채점 기간 동안 평가자들은 개별 제출물에 대해 논의하는 것이 금지되었으며, 어떤 평가자도 다른 평가자가 부여한 점수에 접근할 수 없었습니다.

익명화된 80편의 작문물은 채점 전 생성된 무작위 순서에 따라 각 평가자에게 제시되었습니다. 모든 평가자는 동일한 익명 파일 세트, 루브릭, 채점표 및 채점 지침을 사용하였습니다. 공식 채점은 평가자당 1~3회 세션에 걸쳐 개별적으로 완료되었으며, 단일 채점 세션은 3 hr를 초과하지 않았습니다. 여러 세션에 걸쳐 채점이 진행된 경우, 동일한 채점 환경, 파일 세트 및 응답지를 사용하였습니다. 각 작문물은 9명의 평가자와 5가지 기준을 곱한 값에 해당하는 45회의 예상 평가 기회를 가졌습니다. 최종 코퍼스에 80편의 작문물이 포함됨에 따라, 누락된 평가 확인 전의 평가 설계상 총 3,600회의 예상 평가 기회가 생성되었습니다.

데이터 입력, 코딩 구조 및 품질 관리

공식 채점이 완료된 후, 모든 관찰 등급은 Microsoft Excel을 사용하여 롱 포맷(long-format) 분석 데이터 세트에 입력되었습니다. 다면 라쉬(many-facet Rasch) 설계에는 학생, 평가자, 기준의 세 가지 측면이 포함되었습니다. 학생은 S1에서 S80으로, 평가자는 J1에서 J9로, 기준은 C1에서 C5로 코딩되었습니다. 기준은 C1(독창성), C2(유창성), C3(유연성), C4(정밀성), C5(실현 가능성)로 코딩되었습니다. 각 유효 채점 기록은 관찰된 하나의 학생-평가자-기준 등급을 나타내며, student_id, rater_id, criterion_id, criterion_name 및 score를 포함하였습니다. 유효 점수 범주는 1에서 5까지의 정수로만 기록되었습니다.

모델 적합 전, 데이터셋에서 중복 기록, 식별자 누락, 점수 누락, 유효하지 않은 학생 코드, 유효하지 않은 평가자 코드, 유효하지 않은 준거 코드, criterion_id와 criterion_name 간의 불일치 및 허용 범위를 벗어난 점수가 있는지 확인하였습니다. 전체 설계상 예상되는 평가 기회는 3,600회였습니다. 최종 분석 파일에는 3,598개의 유효한 관찰 평가치가 포함되었으며, 2회의 평가 기회가 누락되었습니다. 누락된 2개의 평가치는 누락으로 기록되었으며, 대체 입력(imputation)하지 않았고 어떤 유효한 점수 범주로도 재코딩하지 않았습니다. 모델 추정 전, 원본 채점표를 대조하여 중복 기록과 코딩 불일치 여부를 확인하였습니다. 필요한 변수 구조와 코딩 형식은 부록 표 3(Supplementary Table 3)에 제시되어 있습니다.

다면 라쉬 모델 사양

정제된 평가 데이터는 FACETS 버전 3.83.6을 사용하여 분석되었습니다. 이 모델은 학생의 창의적 수행 능력, 기준 난이도, 평가자의 점수 사용 위치 및 평가 척도 범주 임계값을 공통 로짓 척도(logit scale)에서 동시에 추정하였습니다. 학생은 대상 측정 패싯(facet)으로, 기준은 난이도 패싯으로, 평가자는 평가자 패싯으로 지정되었습니다. FACETS 제어 파일에는 학생 레이블 S1–S80, 기준 레이블 C1–C5, 평가자 레이블 J1–J9를 포함한 세 가지 패싯이 지정되었습니다. 모든 기준이 동일한 1–5 순서 응답 구조를 사용했으므로, 5개 기준 전체에 공통 5범주 평가 척도 모델이 적용되었습니다. 모델은 결합 최대 우도 추정법(joint maximum-likelihood estimation)을 사용하여 추정되었습니다. 외부 앵커 값은 적용되지 않았습니다. 공통 로짓 척도 보고를 위해 학생 및 기준 패싯은 중심화(centering)되었으며, 평가자 패싯은 평가자 간의 점수 사용 변이를 나타내기 위해 자유롭게 추정되었습니다. FACETS 제어 파일 구조, 패싯 코딩, 평가 척도 설정, 추정 방법, 중심화 규칙, 수렴 규칙, 출력 요청 및 진단 임계값은 부록 표 4에 요약되어 있습니다.

모델은 다음과 같이 지정되었습니다:

여기서 P_nijk는 학생 n이 평가자 j로부터 기준 i에 대해 카테고리 k − 1보다 카테고리 k를 받을 확률을 나타내고, B_n은 학생 n의 추정된 창의적 성과 측정값을, D_i는 기준 i의 난이도를, R_j는 평가자 j의 평가자 점수 사용 위치를, F_k는 인접한 점수 카테고리 사이의 임계값을 나타냅니다. 점수 카테고리는 1에서 5까지 순서대로 지정되었습니다. 이 매개변수화에서 평가자 위치가 높을수록 FACETS 출력값의 점수 사용률이 더 높음을 의미합니다. 초기 모델은 카테고리를 통합하지 않고 사용 가능한 유효 등급에 맞춰 적합되었습니다. 누락된 등급은 결측치로 처리되었으며, 대체하거나 점수 카테고리로 재코딩하지 않았습니다.

FACETS 분석은 최대 100회 반복으로 실행되었으며, 수렴 기준은 연속된 반복 간 파라미터의 최대 변화량이 0.01 logits 미만으로 설정되었습니다. 출력 사양에는 패싯 요약 통계, 개별 패싯 측정값, 모델 표준 오차, infit 및 outfit 평균 제곱 통계, 관찰 평균, 공정 평균, 분리도 및 신뢰도 지수, 카이제곱 검정, 범주 통계, Rasch-Andrich 임계값, 임계값 표준 오차, 범주 확률 출력, 표준화 잔차, 평가자-기준 편향 출력, 학생-기준 편향 출력이 포함되었습니다. FACETS 제어 파일, 비식별화된 롱 포맷 평가 데이터 세트, 기본 모델 출력 및 민감도 분석 출력물은 재현 가능한 분석 파일로 보존되었습니다.

평가 및 진단 규칙

학생, 기준 및 평가자의 모델 적합도를 평가하기 위해 infit 평균 제곱 및 outfit 평균 제곱 통계량을 사용하였습니다. 일반적인 해석을 위한 일차적인 허용 범위는 0.60에서 1.30 사이의 값으로 설정하였습니다. 1.50 이상의 값은 검토 대상으로 표시하였으며, 2.00 이상의 값은 상당한 부적합(misfit)으로 처리하였습니다. infit 또는 outfit 평균 제곱 값이 2.00을 초과하는 학생의 경우, 원래의 채점 기록을 정제된 데이터 세트와 대조하여 확인하였으며, 민감도 분석의 일환으로 해당 학생을 제외한 후 모델을 재추정하였습니다. 단순히 부적합하다는 이유만으로 기본 모델에서 사례를 제거하지는 않았으며, 민감도 분석을 통해 주요 기준, 평가자 및 평가 척도에 대한 결론이 안정적으로 유지되는지 확인하였습니다. 이러한 적합도 검토 및 민감도 분석 규칙은 보충 표 4에 나열되어 있습니다.

의미 있는 내부 차별화가 존재하는지, 그리고 결과 측정값이 해석에 충분히 안정적인지를 결정하기 위해 각 패싯(facet)에 대해 분리도 및 신뢰도 지수를 조사하였습니다. 2.00보다 큰 분리도 값은 패싯 내에서 실질적인 차별화가 이루어졌음을 지원하는 것으로 해석하였습니다. 2.00 미만의 학생 분리도는 정밀한 개인 순위보다는 광범위한 층화를 지원하는 것으로 해석하였습니다. 1.00에 가까운 신뢰도 값은 더 강력한 측정 안정성을 나타내는 것으로 해석하였습니다. 등급 척도 기능은 범주 통계, 관찰 평균, outfit 평균 제곱값, Rasch-Andrich 임계값, 임계값 표준 오차 및 범주 확률 곡선을 사용하여 조사하였습니다. 관찰 평균이 점수 범주 전반에 걸쳐 단조롭게 증가하고, 인접한 임계값이 순차적으로 전진하며, 5개 범주가 잠재 연속체 전반에 걸쳐 해석 가능한 확률 영역을 형성할 때 범주 성능이 수용 가능한 것으로 판단하였습니다.

평가자-기준 및 학생-기준 조합에 대해 편향 및 상호작용 결과물을 검토하였습니다. 절대 표준화 편향 t 값이 2.00 이상인 모든 상호작용은 검토 대상으로 표시되었습니다. 이러한 진단적 점검은 평가를 자동으로 삭제하기 위한 것이 아니라, 기준 해석의 잠재적 불일치나 예상치 못한 응답 패턴을 식별하기 위해 사용되었습니다. 기준 적합도와 가능한 10가지 기준 쌍 전체의 잔차 연관성을 검토하여 국소 의존성과 구성 개념 중복을 조사하였습니다. 두 기준 간의 잔차 연관성이 0.30 이상인 경우 국소 의존성 가능성이 있는 것으로 표시하고 루브릭 정의와 대조하여 검토하였습니다. 이러한 진단 기준은 Supplementary Table 4에도 보고되어 있습니다. 따라서 단일 차원 Rasch 명세는 자동으로 가정된 것이 아니라 측정 가정으로서 평가되었습니다. 학생 측정치를 해석할 때, 개별 로짓(logit) 차이가 해당 측정 불확실성을 초과하지 않는 한 의미 있는 것으로 간주하지 않았습니다. 학생 패싯은 개별 학생의 정밀한 순위보다는 작문 창의적 성과 전반의 분포로 주로 해석되었습니다.

결과

전체 패싯 요약

다면 Rasch 분석은 익명화된 작문 80편, 채점자 9명, 5가지 채점 기준을 포함하는 완전 평가 설계(complete rating design)를 기반으로 수행되었습니다. 이 설계를 통해 총 3,600회의 예상 평가 기회가 생성되었습니다. 이 중 3,598건의 유효한 관찰 평가 값이 분석되었으며, 2건의 평가 기회는 결측치로 기록되었습니다. 결측된 평가 값은 대체(impute)하거나 유효한 점수 범주로 재코딩하지 않았습니다. 전체 패싯 통계는 표 2에 제시되어 있습니다. 모델링된 세 가지 패싯 전체에서 평균 infit 및 outfit 평균 제곱 값은 1.00에 근접하여, 전반적인 모델-데이터 적합도가 수용 가능한 수준임을 뒷받침하였습니다. 신뢰도 추정치는 기준의 경우 0.87, 채점자의 경우 1.00, 학생의 경우 0.78이었습니다. 분리 지수(Separation values)는 기준 2.56, 채점자 16.36, 학생 1.86으로 나타났습니다. 카이제곱 검정 결과 세 가지 패싯 모두에서 유의미한 것으로 나타났습니다. 보고를 위해 기준 패싯과 학생 패싯은 0.00 logit으로 중심화하였으며, 채점자 패싯의 평균 측정값은 0.62 logit이었습니다. 학생 측정값은 -0.80에서 1.12 logit 사이로 분포하여, 추정 범위는 1.92 logit이었습니다.

평가자-측정 변이

평가자 추정치는 Table 2에 제시되어 있다. Infit 평균 제곱 값은 0.73에서 1.26 사이였으며, outfit 평균 제곱 값은 0.74에서 1.27 사이였다. 9명의 평가자 모두 0.60에서 1.30의 허용 가능한 적합도 범위 내에 있었다. 평가자 패싯(facet)은 모델링된 패싯 중 가장 넓은 분포를 보였으며, 이는 모든 평가자가 동일한 루브릭, 채점표 및 채점 절차를 사용했음에도 불구하고 평가자 간 점수 사용에 분명한 변이가 있음을 나타낸다. J9은 3.37 logits로 가장 높은 평가자 측정 위치를 보인 반면, J8은 -0.34 logits로 가장 낮은 평가자 측정 위치를 보였다. 이러한 경향은 관찰 평균 및 공정 평균과 일치하였다. J9은 관찰 평균과 공정 평균이 각각 4.74와 4.75로 가장 높았고, J8은 관찰 평균과 공정 평균 모두 2.77로 가장 낮았다. 따라서 평가자 패싯은 단순한 엄격도 순위가 아니라 공유된 logit 척도상에서의 점수 사용 위치의 변이로 해석되었다. J1과 J5는 0.86 logits로 동일한 추정치를 가졌고, J3과 J6은 -0.13 logits로 동일한 추정치를 가졌으며, J2와 J4는 각각 0.03 및 -0.15 logits로 평가자 척도의 중앙 근처에 위치했다. 전체 평가자 측정 분포는 3.71 logits였다. 평가자 분리 값은 16.36이었으며, 카이제곱 값은 1487.8 (df = 8), p < 0.001이었다. 적합도 검토 임계값을 초과한 평가자는 없었으며, 기본 모델에서 제외된 평가자도 없었다.

기준 난이도 및 기준 적합도

기준 난이도 추정치는 표 2에 제시되어 있습니다. 타당성(Feasibility)의 난이도 추정치가 0.20 logits로 가장 높았으며, 이는 완성된 작문 내에서 학생들이 입증하기 가장 어려운 기준이었음을 나타냅니다. 유연성(Flexibility)과 정확성(precision)은 각각 0.07 및 0.02 logits의 추정치로 중간 범위에 위치했습니다. 유창성(Fluency)의 난이도 추정치는 -0.13 logits였으며, 참신성(novelty)은 -0.16 logits로 가장 낮은 난이도 추정치를 보여, 본 코퍼스에서 참신성이 입증하기 가장 쉬운 기준이었음을 나타냈습니다. 전체 기준 난이도 편차는 0.36 logits였습니다. 다섯 가지 기준 모두 수용 가능한 적합도 값을 보였습니다. Infit 평균 제곱 값은 0.89에서 1.11 사이였고, outfit 평균 제곱 값은 0.90에서 1.12 사이였습니다. 기준 분리 값은 2.56이었으며, 카이제곱 값은 37.8, df = 4, p < 0.001이었습니다. 적합도 검토 임계값을 초과한 기준은 없었으며, 모델에서 제거된 기준 또한 없었습니다.

학생의 창의적 성과 분포 및 적합도 검토

학생 측정값은 개별 순위가 아닌 전체 분포로 표 2에 요약되어 있습니다. 학생 측면은 1.86의 분리 값과 0.78의 신뢰도 추정치를 보였습니다. 카이제곱 값은 354.4 (df = 79), p < 0.001이었습니다. 추정된 학생 측정값은 -0.80에서 1.12 logit 범위였으며, 모델 표준 오차는 약 0.19에서 0.20 logit였습니다. 학생 분리 값이 2.00 미만이었으므로, 학생 결과는 정밀한 개별 순위보다는 광범위한 성취도 층화를 지원하는 것으로 해석되었습니다.

정의된 적합도 임계값을 사용하여 학생 적합도 통계량을 검토하였습니다. S3의 경우 infit 평균 제곱은 2.10, outfit 평균 제곱은 2.05로 나타나 상당한 부적합(substantial-misfit) 임계값을 초과하였습니다. 이에 따라 S3의 원래 채점 기록을 학생 코드, 평가자 코드, 기준 코드, 기준 이름, 점수 범주, 중복 기록 여부 및 평점 누락 여부를 포함하여 정제된 분석 데이터셋과 대조하여 확인하였습니다. 데이터 입력 오류, 중복 기록, 무효한 점수, 평점 누락 불일치 또는 코딩 불일치는 발견되지 않았습니다. 따라서 S3를 기본 모델에 유지하였습니다. 이후 주 모델의 결론이 안정적으로 유지되는지 확인하기 위해 S3를 제외한 민감도 모델을 추정하였습니다. 이 민감도 모델에는 79개의 구성과 3,555개의 예상 평점 기회가 포함되었습니다. 민감도 모델에서 분석된 유효 평점 수는 3,553개였습니다. 민감도 모델에서도 타당성(feasibility)은 0.19 logits로 가장 어려운 기준으로 남았으며, 참신성(novelty)은 -0.15 logits로 가장 쉽지 않은 기준(least difficult criterion)으로 유지되었습니다. 기준 분리도는 2.56에서 2.48로, 기준 신뢰도는 0.87에서 0.86으로, 평가자 분리도는 16.36에서 16.02로 변경되었으며, 평가자 신뢰도는 1.00으로 유지되었고, 학생 분리도는 1.86에서 1.82로, 학생 신뢰도는 0.78에서 0.77로 변경되었습니다. 평점 척도 임계값의 순서는 유지되었으며, 기본 모델의 -2.10, -0.71, 0.69, 2.12 logits에서 민감도 모델의 -2.08, -0.70, 0.68, 2.10 logits로 변경되었습니다. 이러한 변화는 주요 기준, 평가자, 학생 또는 평점 척도에 대한 주요 결론을 변경하지 않았습니다. 민감도 분석 결과는 Table 3에 제시되어 있습니다.

국소 의존성 및 편향 진단

다섯 가지 채점 기준 간의 가능한 모든 10가지 기준 쌍에 대해 국소 의존성 진단을 검토하였습니다. 모든 잔차 상관관계는 검토 임계값인 0.30 미만이었습니다. 가장 큰 잔차 상관관계는 정밀도와 타당성 사이의 0.24였습니다. 그다음으로 큰 상관관계는 유창성과 유연성 사이의 0.21, 참신함과 유창성 사이의 0.18, 그리고 참신함과 유연성 사이의 0.17 순이었습니다. 나머지 6개 기준 쌍의 잔차 상관관계 또한 0.30 미만이었으며 표 4에 기재되어 있습니다. 이러한 결과는 다섯 가지 루브릭 기준 간에 문제가 될 만한 국소 의존성이 없음을 나타냅니다.

평가자-기준 편향 출력은 2.00의 절대 표준화 편향 t-값 임계값을 사용하여 검토되었습니다. 가장 큰 평가자-기준 표준화 편향 t-값은 타당성 항목의 J9에서 나타난 1.84였으며, 이는 검토 임계값보다 낮았습니다. 학생-기준 출력에서는 S3에 대한 예상치 못한 응답 패턴이 확인되었습니다. 가장 큰 학생-기준 표준화 편향 t-값은 타당성 항목의 S3에서 나타난 2.31로, 검토 임계값을 초과했습니다. 이에 따라 S3 사례를 원래의 채점 기록과 대조하여 확인하고 민감도 분석을 통해 검토하였습니다. 검증 결과 코딩 또는 입력 오류는 발견되지 않았으며, 민감도 모델은 실질적인 결론을 변경하지 않았습니다. 국소 의존성 및 편향 진단 결과는   표 4에 요약되어 있습니다.

평가 척도 작동 방식

범주 구조 결과는 표 5에 나타나 있습니다. 평균 측정값은 범주 1의 -0.56 logits에서 범주 5의 2.23 logits로 증가했으며, 이는 더 높은 점수의 범주가 더 높은 추정 창의적 성과 위치에 해당함을 나타냅니다. 점수가 매겨진 범주들의 outfit 평균 제곱 값은 0.90에서 1.10 사이였습니다. Rasch-Andrich 임계값은 -2.10, -0.71, 0.69, 2.12 logits 순으로 진행되었습니다. 범주 1에서 범주 2로의 전환은 약 -2.10 logits에서 발생했고, 범주 2에서 범주 3으로의 전환은 -0.71 logits 근처에서, 범주 3에서 범주 4로의 전환은 0.69 logits 근처에서, 그리고 범주 4에서 범주 5로의 전환은 2.12 logits 근처에서 발생했습니다. 순서대로 정렬된 임계값과 허용 가능한 outfit 값은 기존의 5범주 구조를 유지하는 것을 뒷받침했습니다. 통합된 범주는 없었습니다.

패싯의 분포 및 카테고리 확률 구조

평가자, 학생, 기준 및 응답 범주의 공통 로짓 척도상 결합 분포가 그림 2에 나타나 있습니다. 평가자 패싯(facet)은 가장 넓은 분포를 보였으며, 이는 평가자의 점수 사용 위치에 뚜렷한 변이가 있음을 반영합니다. 기준 패싯에서는 참신함이 가장 낮은 난이도 수준에, 실현 가능성이 가장 높은 난이도 수준에 배치되었습니다. 학생 측정값은 척도의 중심 주변에 집중되었으며, 상위 및 하위 극단에 해당하는 사례는 적었습니다. 룰러 맵(ruler map)은 패싯 측정값의 분포를 보여주기 위해 사용되었으며, 개별 학생의 정밀한 순위를 뒷받침하기 위한 용도는 아니었습니다.

범주 확률 곡선은 그림 3에 제시되어 있다. 범주 1은 약 -2.10 logits 미만에서 가장 높은 확률을 보였으며, 범주 2는 약 -2.10 및 -0.71 logits 사이에서 정점에 도달했고, 범주 3은 약 -0.71 및 0.69 logits 사이에서 정점을 찍었으며, 범주 4는 약 0.69 및 2.12 logits 사이에서 가장 높은 확률을 보였고, 범주 5는 약 2.12 logits 이상에서 지배적으로 나타났다. 그림 3의 수직 임계값 표시자는 인접한 범주 간의 Rasch-Andrich 전이 지점을 나타낸다. 인접한 범주들이 순차적으로 전이되었으며, 이는 5점 척도가 의도한 대로 기능했다는 해석을 뒷받침한다.

데이터 가용성:

비식별화된 롱 포맷(long-format) 평가 데이터셋, 데이터 코드북 및 FACETS 기본 출력물은 DOI: https://doi.org/10.5281/zenodo.21873801를 통해 Zenodo에 저장되었습니다. 해당 데이터셋에는 코딩된 학생 식별자, 평가자 식별자, 기준 식별자, 기준 명칭, 유효한 정수 점수 범주 및 평가 누락 표시가 포함되어 있습니다. 전체 평가 설계에는 3,600건의 예상 평가 기회가 포함되었습니다. 이 중 3,598건의 유효한 관찰 평가치가 분석되었으며, 2건은 누락된 것으로 기록되어 대체 입력(imputation)을 수행하지 않았습니다. 저장된 FACETS 기본 출력물은 보고된 패싯 측정값, 적합도 통계량, 분리 및 신뢰도 지수, 평가 척도 임계값, 범주 기능 및 진단 요약을 뒷받침합니다. 참여자 동의 및 기관의 개인정보 보호 제한으로 인해 개별 학생의 작문이나 저자 정보가 포함될 수 있는 파일의 재배포가 허용되지 않으므로, 원본 창작물 및 식별 가능한 파일은 공개되지 않습니다. 다면 Rasch 분석(many-facet Rasch analysis)은 FACETS 버전 3.83.6을 사용하여 수행되었습니다.

그림 1: 참가자 모집, 과제 수행, 익명화, 채점, 데이터 점검 및 다면 Rasch 분석의 워크플로우. 이 그림은 소스 코호트 식별부터 최종 모델 분석까지의 전체 연구 워크플로우를 보여준다. 소스 코호트에는 음악학 전공 3학년 학생 96명이 포함되었다. 96명의 학생 모두에게 접근하였으며, 4명은 서면 동의서를 제출하지 않았고, 92명이 스크리닝되었으며, 최종 분석 전 12명이 제외되었다. 최종 분석 샘플은 익명화되어 채점이 가능한 80개의 작곡물로 구성되었다. 또한 이 그림은 과제 할당, 파일 제출, 스크리닝, 익명화, 평가자 교육, 공식 채점, 롱 포맷 데이터 구축, 품질 관리 및 FACETS 분석 과정을 요약하여 보여준다. 평가 설계에 따라 3,600건의 예상 평가 기회가 생성되었으며, 이 중 3,598건의 유효한 관찰 평가값이 분석되었고 2건은 결측치로 기록되었다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.

그림 2: 공통 로짓(logit) 척도 상의 평가자, 학생, 기준 및 평가 척도 범주의 수직 자 지도(Vertical ruler map).이 그림은 공유된 로짓 척도 상에서 평가자의 점수 사용 위치, 학생 측정치 분포, 기준 난이도 추정치 및 응답 범주 위치를 보여줍니다. 이 결과에서 평가자의 위치가 높을수록 엄격함이 아니라 점수 사용 빈도가 높음을 의미합니다. 자 지도는 패싯(facet)의 분포를 표시하는 데 사용되며, 개별 학생의 정밀한 순위를 산출하는 용도로는 사용되지 않습니다. 이 그림의 확대 버전을 보시려면 여기를 클릭하십시오.

그림 3: 5점 척도 평가에 대한 범주 확률 곡선. 수직 점선은 인접한 응답 범주 간의 추정 전이 지점을 나타내는 Rasch-Andrich 범주 임계값을 의미합니다. 인접 범주들의 순차적인 교차점은 5점 응답 척도가 예상된 방향으로 작동했음을 보여주며, 범주를 통합하지 않고 기존의 범주 구조를 유지하는 것을 뒷받침합니다. 여기를 클릭하여 이 그림의 확대 버전을 확인하십시오.

기준	조작적 정의	점수 1	점수 2	점수 3	점수 4	점수 5
독창성	음악적 아이디어 또는 처리의 독창성 및 창의성	관습적 또는 모방적	제한된 독창성	어느 정도의 독창성이 있으나 고르지 않음	여러 부분에서 명확한 독창성이 나타남	매우 독특하고 일관되게 독창적인
유창성	업무 내 아이디어 전개의 연속성 및 생산성	매우 제한적인 발달	희소 발달	적절한 발달	풍부하고 지속적인 발달	높은 생산성과 지속적인 발전 가능성
유연성	음악적 처리에서의 다양한 접근법, 변형 또는 적응적 전환의 활용	단일 고정 접근법	최소 변이	일부 변이	섹션 또는 기기 간의 뚜렷한 편차	강하게 다양화되고 적응적으로 발달된
정밀도	음악적 세부 사항의 정교화, 내부 구성 및 구체성	취약한 제어 및 불분명한 세부 사항	제한적 정제	적절한 조직 및 세부 사항	우수한 정제 및 내부 구성	명확하고 구체적인 세부 사항을 통한 고도의 정밀화
실행 가능성	완성된 작품으로서 구현된 작곡물의 예술적 및 실무적 실행 가능성	완성된 작업물로 사용 불가함	낮은 생존능	기본적으로 생존 가능한	실행 가능하며 음악적으로 운용 가능한	강력한 실행 가능성과 설득력 있는 구현

표 1: 작곡 작품 내 창의적 행동의 5가지 차원에 대한 조작적 정의 및 점수 기준.이 표는 정식 채점에 사용된 최종 루브릭을 나타냅니다. 여기에는 독창성, 유창성, 유연성, 정밀성 및 실현 가능성이 정의되어 있으며, 각 기준에 대해 1점에서 5점까지의 점수 기준이 제공됩니다. 해당 정의는 지속적인 아이디어 전개를 적응적 변형과 구분하며, 구조적 정교화를 실제적인 예술적 및 실무적 실행 가능성과 구분합니다.

측면 / 단위	측정(로짓)	모델 SE	Infit MnSq	MnSq 장착	관찰된 평균값	적절한 평균값	분리	신뢰도	카이제곱(자유도)
전반적 기준	0	0.05	0.99	0.99	3.36	3.43	2.56	0.87	37.8 (4)***
신규성	-0.16	0.05	1.01	1.07	3.46	3.54	—	—	—
유창성	-0.13	0.05	1	0.95	3.44	3.52	—	—	—
유연성	0.07	0.05	0.89	0.93	3.32	3.39	—	—	—
정밀도	0.02	0.05	0.95	0.9	3.35	3.42	—	—	—
실행 가능성	0.2	0.05	1.11	1.12	3.23	3.3	—	—	—
평가자, 전체적으로	0.62	0.07	0.98	0.99	3.36	3.36	16.36	1	1487.8 (8)***
J1	0.86	0.06	1.26	1.27	3.59	3.59	—	—	—
J2	0.03	0.06	1.1	1.1	3.02	3.02	—	—	—
J3	-0.13	0.06	0.73	0.74	2.91	2.91	—	—	—
J4	-0.15	0.06	1.07	1.07	2.9	2.9	—	—	—
J5	0.86	0.06	1.26	1.27	3.59	3.59	—	—	—
J6	-0.13	0.06	0.73	0.74	2.91	2.91	—	—	—
J7	1.19	0.06	0.77	0.77	3.8	3.81	—	—	—
J8	-0.34	0.06	1.06	1.06	2.77	2.77	—	—	—
J9	3.37	0.11	0.87	0.93	4.74	4.75	—	—	—
학생, 전반적	0	0.19	0.99	0.99	3.36	3.43	1.86	0.78	354.4 (79)***
학생 측정 범위	-0.80 ~ 1.12	0.19–0.20	—	—	—	—	—	—	—
참고: 평가 설계에 따라 총 3,600회의 예상 평가 기회가 생성되었으며, 이는 80개 조성 x 9명의 평가자 x 5개 기준으로 계산되었습니다. 주 모델에서는 3,598개의 유효 관측 평가치를 분석하였습니다. 평가 기회 중 2건이 누락되었으며, 이는 대체되었거나 점수 범주로 재부호화되지 않았습니다. 평가자 패싯의 경우, 평가자 측정치는 여기서 공유 로짓 척도상에서의 평가자 점수 사용 위치로 해석됩니다. 본 결과에서 평가자 측정치가 높을수록 관측 평균 및 공정 평균이 높게 나타났으며, 이는 엄격함보다는 더 높은 점수를 사용하는 경향이 있음을 나타냅니다. ***= p < 0.001.

표 2: 기준, 평가자 및 학생에 대한 다면 Rasch 분석의 요약 통계. 이 표는 logit 측정값, 모델 표준 오차, infit 및 outfit 평균 제곱값, 관찰 평균, 공정 평균, 분리 지수, 신뢰도 추정치 및 카이제곱 검정을 포함하여 모델링된 세 가지 면(facet)에 대한 주요 FACETS 출력 결과를 보고합니다. 평가 설계에 따라 3,600회의 예상 평가 기회가 생성되었으며, 3,598회의 유효한 관찰 평가가 분석되었고 2회의 평가 기회는 결측치로 기록되었습니다. 기준 난이도, 평가자 점수 사용 위치 및 전반적인 학생 측정 분포는 동일한 logit 척도로 보고됩니다. 평가자 측정값은 더 높은 평가자 측정값이 더 높은 관찰 평균 및 공정 평균과 동반되었으므로, 단순한 엄격도 순위가 아닌 점수 사용 위치로 해석됩니다. 학생 결과는 분포로 요약되었으며 정확한 개별 순위로 제시되지 않았습니다.

지표	기본 모델	S3를 제외한 민감도 모델
구성 성분 수	80	79
예상 평가 기회	3,600	3,555
분석된 유효 평가 기록	3,598	3,553
누락된 평가 기회	2	2
난이도가 가장 높은 기준	Feasibility, 0.20 logits	Feasibility, 0.19 logits
난이도가 가장 낮은 기준	Novelty, -0.16 logits	Novelty, -0.15 logits
기준 분리도	2.56	2.48
기준 신뢰도	0.87	0.86
평가자 분리도	16.36	16.02
평가자 신뢰도	1	1
학생 분리도	1.86	1.82
학생 신뢰도	0.78	0.77
평가 척도 임계값	-2.10, -0.71, 0.69, 2.12	-2.08, -0.70, 0.68, 2.10
기본 모델 결정	기본 모델 유지	실질적 변화 없음
참고: 기본 모델은 3,600회의 예상 평가 기회 중 3,598회의 유효 관찰 평가를 사용하였다. 민감도 모델은 S3를 제외하였으며, 3,555회의 예상 평가 기회 중 3,553회의 유효 관찰 평가를 사용하였다. 동일한 2회의 누락된 평가 기회는 S3 범위 밖이었으므로 민감도 모델에서도 누락된 상태로 유지되었다. S3를 제외하더라도 기준 순서, 분리도 지수, 신뢰도 추정치 또는 평가 척도 임계값 구조에 실질적인 변화는 없었다.

표 3: 부적합 학생 사례 제외 후의 민감도 분석. 이 표는 기본 모델과 S3를 제외한 후 추정된 민감도 모델을 비교합니다. 기본 모델은 80개의 작문, 3,600개의 예상 평가 기회, 3,598개의 유효 관찰 평가를 사용했습니다. 민감도 모델은 79개의 작문, 3,555개의 예상 평가 기회, 3,553개의 유효 관찰 평가를 사용했습니다. 이 표는 기준 난이도, 기준 분리도, 기준 신뢰도, 평가자 분리도, 평가자 신뢰도, 학생 분리도, 학생 신뢰도 및 평가 척도 임계값의 변화를 나타냅니다. 민감도 분석 결과, 기본 모델의 결론에 실질적인 변화가 없는 것으로 나타났습니다.

진단 항목	검토 임계값	최대 관찰값 / 관찰값	심사 결과
잔여 연관성: 신규성–유창성	≥0.30	0.18	임계값 미만
잔여 상관관계: 새로움-유연성	≥0.30	0.17	임계값 미만
잔차 연관성: 신규성-정밀도	≥0.30	0.12	임계값 미만
잔여 연관성: 신규성-실행 가능성	≥0.30	0.09	임계값 미만
잔차 연관성: 유창성–유연성	≥0.30	0.21	임계값 미만
잔차 연관성: 유창성–정확성	≥0.30	0.16	임계값 미만
잔여 연관성: 유창성-실행 가능성	≥0.30	0.14	임계값 미만
잔차 연관성: 유연성-정밀도	≥0.30	0.15	임계값 미만
잔여 연관성: 유연성-실행 가능성	≥0.30	0.11	임계값 미만
잔차 연관성: 정밀도-실행 가능성	≥0.30	0.24	임계값 미만
평가자-기준별 표준화 편향 t 값	절댓값 ≥2.00	J9의 타당성에 관한 1.84	임계값 미만
기준별 학생 표준화 편향 t 값	절댓값 ≥2.00	2.31 S3의 타당성 분석	원본 기록 검증 및 민감도 분석을 통해 검토됨
S3 데이터 입력 검증	모든 코딩 또는 입력 오류	검색 결과 없음	기본 모델에 S3 유지
S3를 제외한 민감도 분석	주 모델 결론의 변경	실질적인 변경 사항 없음	주 모델 유지됨
참고: 10가지 기준-쌍 잔차 상관관계(criterion-pair residual associations)를 모두 검토하였다. 0.30 미만의 값은 5가지 루브릭 기준 간에 문제가 되는 국소 의존성(local dependence)이 나타나지 않는 것으로 해석하였다. 평가자-기준 및 학생-기준 상호작용은 절대 표준화 편향 t-값(absolute standardized bias t-value) 임계값 2.00을 사용하여 검토하였다.

표 4: 국소 의존성 및 편향 진단 점검. 이 표는 기준 중복, 평가자별 기준 편향, 학생별 기준 예상 외 응답 패턴 및 부적합 학생 사례 검증에 대한 진단 점검 결과를 요약한 것입니다. 가능한 모든 10가지 기준 쌍의 잔차 연관성을 검토하였습니다. 기준 간의 잔차 연관성은 검토 임계값인 0.30 미만이었습니다. 평가자별 기준 표준화 편향 t 값의 최댓값은 검토 임계값인 |t| ≥ 2.00 미만이었으며, 학생별 기준 출력에서는 S3와 관련된 예상 외 응답 패턴이 식별되어 원본 기록 검증 및 민감도 분석을 통해 검토되었습니다. 민감도 분석 결과, 주 모델 결론에 실질적인 변화가 없음이 확인되었습니다.

평가 범주	카테고리 레이블	평균 측정치(로짓)	MnSq 장착	Rasch-Andrich 임계치	임계값 SE	-0.5에서 측정하십시오.
1	불량한	-0.56	1	—	—	—
2	최소한의	-0.21	0.9	-2.1	0.1	-2.51
3	만족스러운	0.25	0.9	-0.71	0.05	-0.73
4	평균 이상	0.8	1.1	0.69	0.04	0.72
5	훌륭합니다	2.23	1.1	2.12	0.06	2.53
참고: Rasch-Andrich 임계값은 인접한 평가 범주 사이의 추정 전이 지점을 나타냅니다. 범주 1은 가장 낮은 범주이므로 임계값이 보고되지 않았습니다. “-0.5에서의 측정값”은 FACETS에서 출력된 범주 경계와 관련된 로짓(logit) 위치를 보고하며, 이는 별도의 학생 성취도 추정치가 아니라 범주 기능 진단 항목으로 포함되었습니다. 통합된 범주는 없습니다.

표 5: 5점 척도의 범주별 기능. 이 표는 평균 측정치, outfit 평균 제곱값, Rasch-Andrich 임계값, 임계값 표준 오차, 그리고 FACETS의 “-0.5에서의 측정치” 범주 기능 출력값을 포함하여 5점 응답 척도에 대한 범주 수준 통계치를 나타냅니다. Rasch-Andrich 임계값은 인접한 평가 범주 간의 추정 전이 지점을 나타냅니다. 정렬된 임계값은 5개의 응답 범주가 예상된 방향으로 진행되었음을 보여주며, 통합된 범주는 없었습니다.

보충 표 1: 작문 과제 요구 사항, 모집 흐름 및 제출 규격.이 표는 연구 설정, 모집 흐름, 참가자 적격성 기준, 과제 형식, 필수 구조적 요소, 독창성 규칙, 제출 요구 사항, 심사 규칙, 제외 사유 및 최종 분석 단위를 보여줍니다. 또한 익명화되어 점수 산정이 가능한 최종 80편의 작문 코퍼스가 어떻게 확보되었는지를 기록하고 있습니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 표 2: 평가자 교육, 보정 및 표준화된 채점 절차.이 표는 평가자 모집, 평가자 자격, 익명화된 평가자 코딩, 교육 자료, 루브릭 브리핑, 범주 브리핑, 보정 채점, 불일치 검토, 블라인딩 절차, 채점 제한 사항, 검토 자료, 재생 절차, 반복 청취 규칙, 무작위 제시 순서 및 채점 시간 제어를 요약한 것입니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 표 3: 롱 포맷(Long-format) 데이터셋 구조 및 코딩 규칙. 이 표는 롱 포맷 분석 데이터셋의 변수 구조, 코딩 규칙, 데이터셋 제약 조건, 기준 코드 및 예시 행을 보여줍니다. 각 유효한 행은 학생 식별자, 평가자 식별자, 기준 식별자, 기준 이름 및 점수 범주로 정의된 하나의 관찰된 채점 이벤트를 나타냅니다. 평가 설계 결과 3,600회의 예상 평가 기회가 생성되었으며, 그 중 3,598회의 유효한 관찰 평가가 분석되었고, 2회의 평가 기회는 누락된 것으로 기록되었습니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 표 4: FACETS 제어 파일 및 진단 사양.이 표는 소프트웨어 버전, 모델 유형, 모델링된 패싯, 점수 범주, 누락된 평점 처리 방식, 추정 방법, 최대 반복 횟수, 수렴 기준, 출력 요청, 적합도 임계값, 편향 검토 임계값, 국소 의존성 임계값 및 학생 측정 해석 규칙을 포함한 FACETS 모델 구조와 재현성 설정을 보고합니다. 누락된 평점은 누락된 것으로 처리되었으며, 대체되었거나 유효한 점수 범주로 재코딩되지 않았습니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.

토론

본 연구에서는 다면 라쉬(many-facet Rasch) 프레임워크를 적용하여 학부 음악 전공자들의 독창적인 작곡 작품을 통해 창의적 행동을 평가하였습니다. 연구 결과, 학생의 성취도, 평가 기준의 난이도, 평가자 간 측정 변이 및 평가 척도 범주의 기능이 공통 측정 구조 내에서 추정될 수 있음을 확인하였습니다. 이러한 결과는 순수하게 객관적인 응답이 아닌 전문가의 판단을 통해 점수가 산출되는 루브릭 기반 음악 평가에서 다면 모델링을 사용하는 것이 유효함을 뒷받침합니다¹¹. 본 모델은 전문가의 음악적 평가 필요성을 없앤 것이 아니라, 학생, 기준 및 평가자라는 각 측면이 관찰된 등급에 어떻게 기여했는지 조사할 수 있는 구조화된 방법을 제공하였습니다. 이는 완성된 작품에 대해 질적인 판단이 필요하지만, 원점수만으로는 점수의 변이가 학생, 기준, 평가자 또는 평가 척도 중 무엇을 반영하는지 알 수 없기 때문에 작곡 평가에서 매우 중요합니다¹².

기준 평가 결과, 완성된 작품들 내에서 독창성이 가장 달성하기 쉬운 기준이었던 반면, 실현 가능성과 유연성은 더 어려웠던 것으로 나타났다. 이러한 패턴은 기술적인 측정 결과로 해석해야 하며, 인과적인 교육 효과의 증거로 보아서는 안 된다. 이 결과는 해당 코퍼스에서 학생들이 작품 전체에 걸쳐 완전히 구현된 생존력이나 적응적 변형보다는 독특한 음악적 아이디어를 더 쉽게 보여주었음을 나타낸다. 이러한 구분은 작곡을 단순히 독창성만으로 보는 것이 아니라 아이디어 생성, 발전, 선택, 재구조화, 정교화 및 구현을 포함하는 과정으로 취급하는 음악 창의성 연구와 일치한다¹³. 또한 이는 창의적 성과를 하나의 종합적인 판단으로 통합하기보다 루브릭 차원을 분리하는 것의 가치를 뒷받침한다¹⁴. 그러나 본 연구는 관찰된 난이도 패턴이 교수법, 과제 설계, 학생의 발달 단계, 기준의 표현 방식 또는 평가자의 해석 중 무엇에 의해 발생했는지 결정할 수 없다. 향후 연구에서는 학생들이 초기 아이디어에서 구현된 음악적 결과물로 어떻게 나아가는지 조사하기 위해 결과물 평가와 초안, 수정 이력, 성찰 일지 또는 작곡 인터뷰와 같은 과정 증거를 결합해야 한다.

평가자 결과에서는 상당한 평가자-측정 변이가 나타난 반면, 모든 평가자 적합도 값은 정의된 허용 범위 내에 유지되었습니다. 이러한 패턴을 단순히 평가자 교육의 실패로 해석해서는 안 됩니다. 전문가 매개 예술 평가에서는 평가자 간 점수 사용의 차이가 예상되며, 이는 다면 Rasch 모델을 사용하는 주요 이유 중 하나입니다¹⁵. 본 결과는 평가자들이 전반적으로 수용 가능한 방식으로 척도를 사용하면서도, 점수 범주의 상대적 사용 방식에서는 차이를 보였음을 나타냅니다. 따라서 이 모델은 기준 및 학생 측정치를 해석하기 전에 점수의 평가자 관련 변이를 조정하는 데 도움이 되었습니다. 향후 적용 시에는 교육만으로 모든 평가자 간 차이를 없애려 하기보다, 평가자 교육과 더불어 점수 사용 변이, 적합도, 범주 사용 및 평가자-기준 상호작용에 대한 사후 모니터링을 병행해야 합니다¹⁶.

학생 측면에서는 측정 가능한 변동이 나타났으나 분리도는 보통 수준이었다. 학생 신뢰도 추정치는 0.78이었으며, 분리도 값은 1.86이었다. 따라서 학생 측정값은 정밀한 개인별 순위보다는 전반적인 성취도 계층화를 뒷받침하는 것으로 해석해야 한다. 개별 학생 logit 간의 작은 차이가 해당 측정 표준 오차보다 작을 수 있기 때문에 이 점은 중요하다. 부적합 판정을 받은 S3 사례는 개인 수준에서의 신중한 해석이 필요함을 더욱 뒷받침한다. 원본 기록 검증 및 민감도 분석 결과, 주요 기준 순서, 평가자 측정 패턴 및 평정 척도 임계값 구조는 안정적으로 유지되었다. 따라서 S3를 기본 모델에 유지하였으나, 본 연구는 이 개별 사례로부터 실질적인 결론을 도출하지는 않았다. 이러한 해석은 Rasch 적합도 분석을 근거 없는 개인적 주장의 기초가 아니라 측정 안정성을 평가하기 위한 진단 도구로 사용하는 것과 일치한다¹⁷.

본 연구에는 몇 가지 한계점이 있습니다. 첫째, 표본이 단일 기관 및 특정 학업 단계에서 추출되었으므로, 추가 검증 없이 본 결과를 유사한 학부 음악학 집단 이외로 일반화해서는 안 됩니다. 둘째, 본 연구는 최종 작곡 결과물만을 평가하였으며 초안, 수정 이력, 성찰 로그 또는 싱크어라우드(think-aloud) 데이터와 같은 과정상의 자료는 포함하지 않았습니다. 셋째, 다섯 가지 루브릭 기준은 전반적인 작곡 창의적 행동의 연관된 발현으로 처리되었으며, 진단 결과는 현재 데이터셋에서 이러한 설정을 뒷받침했습니다. 그러나 향후 연구에서는 더 큰 표본, 다른 기관 및 다른 작곡 과제에서도 동일한 구조가 유지되는지 확인해야 합니다. 넷째, 평가자 배경은 평가자 요인(rater facet)을 통해서만 모델링되었으며, 전공 배경, 교육 경험, 미적 선호도 또는 작곡 전문성이 평가자-측정 변동성에 어떻게 기여하는지는 직접적으로 테스트하지 않았습니다. 마지막으로, 본 연구는 단면 연구이자 비개입 연구였으므로, 기준-난이도 패턴을 교수 효과나 교육적 인과관계를 추론하는 데 사용해서는 안 됩니다.

결론적으로, 본 연구는 구조화된 루브릭과 다면 라쉬 측정(many-facet Rasch measurement)을 사용하여 원곡 작곡 작품을 통해 음악 전공자의 창의적 행동을 평가하는 재현 가능한 절차를 입증하였습니다. 연구 결과, 기준 난이도, 평가자 측정 변동, 학생 수행 분포 및 평가 척도 기능이 단일 측정 프레임워크 내에서 검토될 수 있음을 보여주었습니다. 완성된 작곡 작품에서 참신함(novelty)은 비교적 입증하기 쉬웠던 반면, 실현 가능성(feasibility)과 유연성(flexibility)은 더 어려웠습니다. 평가자 측정 변동이 상당하게 나타났으며, 이는 음악 평가에서 평가자 효과를 모델링할 필요가 있음을 뒷받침합니다. 학생 측정치는 정밀한 개인별 순위보다는 광범위한 계층화를 지원하였습니다. 전반적으로, 이 프레임워크는 작곡 기반의 창의적 행동을 평가하고, 고등 음악 교육에서의 루브릭 설계 개선, 평가자 모니터링 및 향후 타당도 연구를 위한 투명한 기초를 제공합니다.

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
Adobe Acrobat Reader	Adobe	26.001.21346	제출물 스크리닝 및 공식 채점 과정 중 PDF 악보 파일을 열고 검토하는 데 사용됨.
Audacity	Audacity	3.7.7	제출된 작곡물에 수반되는 MP3 오디오 렌더링 파일을 열고 검토하는 데 사용됨.
FACETS	Winsteps	3.83.6	다측면 Rasch 분석에 사용됨.
HD 280 Pro headphones	Sennheiser	506845	제출된 오디오 파일 검토 중 표준화된 청취를 위해 사용되는 밀폐형 모니터링 헤드폰.
Microsoft 365 Apps for business, including Excel	Microsoft	O365BusinessRetail	점수 입력, 롱포맷 데이터셋 구축 및 Rasch 분석 전 데이터 확인에 사용됨.
Moodle LMS	Moodle	MOODLE_5013	과제 제출 및 파일 수집을 위한 기관 학습 관리 시스템으로 사용됨.
MuseScore Studio	MuseScore	4.6.5	악보 기반 형식의 오리지널 작곡 파일 준비, 기보 및 내보내기에 사용됨.
OptiPlex Tower Plus 7020 Desktop	Dell	QBS1250	파일 관리, 채점 운영 및 통계 분석을 위한 워크스테이션으로 사용됨.