本研究では、構造化された作曲評価ルーブリックと多面ラッシュ測定法をオリジナルの楽曲に適用することで、音楽専攻学生における創造的行動を評価します。
この記事について
サマリー
要約
音楽教育における創造性の評価は、独創的な音楽作品への判断が主観的な好みや評価基準の不均一な解釈、および評価者による厳格さの違いに影響されるため、依然として困難な課題である。作曲トレーニングにおいて、完成した作品は、学生がどのように音楽的なアイデアを生成し、展開し、変容させ、洗練させ、そして具現化するかを示す観察可能な成果物として扱うことができる。本研究では、構造化された作曲評価ルーブリックと多面ラッシュ測定（many-facet Rasch measurement）を組み合わせることで、音楽学部の学生における創造的行動の再現可能な評価を支援できるかを検証した。音楽専攻の学生80名によるオリジナル作品を、訓練を受けた9名の評価者が5段階のルーブリックを用いて独立して採点した。このルーブリックには、作曲における創造的行動に関連する5つの次元、すなわち「新規性（novelty）」、「流暢性（fluency）」、「柔軟性（flexibility）」、「正確性（precision）」、「実現可能性（feasibility）」が含まれている。評価データはFACETSソフトウェア（バージョン3.83.6）を用いて分析し、学生、基準、評価者を共通のロジット測定構造内の個別のファセットとして指定した。評価設計では3,600件の評価機会が見込まれ、欠損値2件を除く3,598件の有効な観察評価が分析された。全体的なモデル適合度は評価設計の解釈を支持し、順序カテゴリー構造は5段階尺度が見込まれた方向に機能していることを示した。基準の推定値からは、完成した作品において新規性は比較的示しやすかった一方で、実現可能性と柔軟性はより困難であることが示された。また、評価者間でのスコア使用位置に差が見られ、生データのみに頼るのではなく評価者の影響をモデル化する必要性が裏付けられた。学生の分離度は中程度であり、本評価ツールが精密な個人のランキングよりも、広範なパフォーマンスの層別化に適していることが示唆された。これらの知見は、作曲ベースのルーブリックと多面ラッシュ測定を組み合わせることで、高等音楽教育における創造的行動を評価するための透明性の高い枠組みを提供できることを示唆している。
概要
学生には、確立された技法を再現するだけでなく、学問的な文脈において独創的で意味があり、かつ伝達可能な作品を創造することが期待されているため、創造性は芸術教育の主要な成果となっています1。音楽教育において、この期待は特に作曲トレーニングで重要であり、そこでは学生が主題、旋律、リズム、形式、展開、および具現化に関する決定を通じて、音楽的知識を完成した作品へと変換しなければなりません。音楽的な創造性は、単に個人の好みや一般的な芸術的印象としてのみ評価することはできないため、この文脈における評価は困難です。完成した作曲作品は創造的な行動の観察可能な証拠となりますが、採点が透明かつ再現可能なものになるためには、その証拠を明確な基準に変換する必要があります2。明確な基準がなければ、得点は提出された作品の具体的な質ではなく、採点者の好みや様式への親しみやすさ、あるいは品質に関する全般的な印象を反映したものになる可能性があります。
本研究では、作曲における創造的行動を、完成した楽曲という形での創造的な音楽作品の観察可能な表現と定義する。評価ルーブリックには、新規性、流暢性、柔軟性、精密性、実現可能性の5つの次元を用いる。これらの次元は、同一の亜特性や個別の理論的構成概念として扱うのではなく、単一の広範なプロダクトベースのパフォーマンス構成概念、すなわち「学生が完成した作品の中で、音楽的なアイデアをどの程度生成し、展開し、変容させ、洗練させ、そして具現化できるか」という基準レベルの現れとして用いる。新規性は音楽的なアイデアや処理の独創性を、流暢性はアイデア展開の連続性と生産性を、柔軟性は音楽的処理における多様なアプローチ、変容、または適応的な転換を、精密性は音楽的詳細の洗練度、内部組織化、および具体性を、そして実現可能性は完成した楽曲の芸術的および実用的生存性を表している3。この構造により、アイデアの生成、展開、適応的な変容、技術的な洗練、および具現化された生存性が、単一の完成した音楽プロダクトへと統合される。
この構成概念の議論により、判定基準の重複や構成概念の汚染も軽減されます。「精度（Precision）」は、洗練度、内部構成、および具体的な音楽的詳細に限定され、一方で「実現可能性（feasibility）」は、実現された楽曲としての芸術的および実用的な生存能力として定義されました。同様に、「流暢性（fluency）」は持続的かつ生産的な展開に限定され、「柔軟性（flexibility）」は変奏、変容、および適応的な音楽的操作として定義されました。作品には独創的なアイデアが含まれているが展開が限定的である場合もあれば、一貫性があり技術的に安定しているが変容がほとんど見られない場合もあります。したがって、合計の原点数では同一の楽曲内における不均一な創造的プロファイルが不明瞭になる可能性があるため、基準に基づいたルーブリックが必要となります4。
評価者による音楽アセスメントでは、採点者の行動と学生のパフォーマンスの両方に注意を払う必要があります。たとえ評価者が同一のルーブリックを使用していても、厳格さ、カテゴリーの使用方法、および基準の解釈において差異が生じる可能性があります。これらの差異は単なる手続き上の問題ではなく、測定状況の一部であり、観察されたスコアの意味に影響を及ぼす可能性があります5。多面ラッシュ測定（Many-facet Rasch measurement）は、学生、評価者、基準、および評定尺度のカテゴリーを共通のロジット枠組みの中で推定するため、このような設定に適しています。学生の尺度値は、基準の困難度と評価者の厳格さを調整した後の推定される創造的パフォーマンスを表し、基準の尺度値は各次元の実証がどの程度困難かを示し、評価者の尺度値は相対的なスコア使用位置を示し、カテゴリー統計は評定尺度が意図した順序で機能しているかを示します6。このアプローチは、生の合計点や平均スコアのみに依存するよりも強力です。なぜなら、観察された評定において otherwise 統合されてしまうスコア変動の複数の要因を分離できるためです。
1次元多面ラッシュモデル（many-facet Rasch model）を使用するには、明確な構成概念論的根拠が必要です。本研究における1次元の指定は、5つのルーブリック次元が同一であると想定してではなく、全体的な作曲における創造的行動というレベルで正当化されています。5つの基準は、完成した音楽作品に表現される広範なパフォーマンス構成概念の、それぞれ異なる観察可能な側面を表していると考えられます。この想定は経験的な測定上の想定として扱われ、基準適合度、評定尺度の機能、基準間の残差相関、および評定者×基準および学生×基準の交互作用診断を通じて検証されました7。多面ラッシュアプローチはパフォーマンスベースの評価に適用されてきましたが、高等音楽教育における作曲作品全体の評価において系統的に使用された例は限られています8。既存の音楽評価研究では、オープンエンドな芸術作品を判定することの困難さと、明示的な採点基準の必要性が強調されており9、一方で測定研究では、ルーブリックに基づくパフォーマンス評価は、評定者および基準の効果を直接モデル化することで改善されることが示されています10。このような背景から、本研究では音楽専攻の学部生が制作したオリジナル作品に多面ラッシュフレームワークを適用します。本研究では、提案された作曲評定フレームワークが測定デザインとして適切に機能するか、基準の困難度と評定者のスコア使用のばらつきが観察されたスコアの変動にどのように寄与しているか、そして基準と評定者の効果をモデル化した後、学生の創造的パフォーマンス尺度がどのように分布しているかという3つの問いに取り組みます。
プロトコル
本研究は、中国江西省南昌市330098の江西理工大学音楽舞踊学院の機関審査委員会（承認番号YG2020158）によって承認されました。タスクの実施およびデータ収集に先立ち、すべての参加者から書面によるインフォームドコンセントを得ました。参加者には、提出された楽曲が匿名化された後、研究目的の評価にのみ使用されることが説明されました。採点前に、学生の名前、クラス識別子、著者情報を含むファイルのメタデータ、およびその他の直接的な識別子が削除されました。これらの識別子は評価者に開示されませんでした。提出されたすべての作品は採点および分析の前に匿名化され、すべての分析ファイルはコード化された識別子のみを用いて処理されました。
研究設定、参加者の募集、およびタスクの割り当て
本研究は2025年9月から2026年1月にかけて、中国江西省南昌市の江西理工大学音楽舞踊学院で実施されました。参加者は音楽学専攻の3年次学生から募集しました。これは、この段階の学生が研究実施学期より前に、音楽理論、演奏実践、電子音楽作曲、および作曲関連のコースワークにおけるコアカリキュラムを修了していたためです。
ソースコホートには、音楽学専攻の3年生96名が含まれていた。96名全員にアプローチを行った。そのうち4名は書面による同意が得られなかったため、スクリーニングの対象外となった。残りの92名は書面によるインフォームドコンセントを提供し、スクリーニングを受けた。最終解析の前に、12名が除外された。除外理由は、5名が作曲課題の提出不備、3名が必要な構成要素が1つ以上欠落、2名が締め切り後の提出、1名がファイルの判読不能または破損、1名がスコアリング前の辞退であった。最終的な解析サンプルは、男性32名、女性48名を含む学部生80名であった。
最終的な分析サンプルは、同意、スクリーニング、および除外ルールの適用後に、募集したコホートから得られた、匿名化可能でスコア付け可能な全適格作品群で構成されました。このサンプルサイズは、3,600回の評価機会を独立した学生レベルの観察として扱うことで正当化したものではありません。その代わりに、多面ラッシュモデル（many-facet Rasch design）を用いて、80作品の繰り返し評価を行い、基準の困難度、評価者によるスコア運用のばらつき、および評価尺度のカテゴリー機能をモデル化しつつ、学生の創造的パフォーマンス指標を推定しました。9名の評価者を起用したのは、評価者に関連するスコア運用のばらつきの推定をサポートし、自由形式の作曲品質に対する特定の評価者の解釈への依存度を低減することを目的としていました。適格基準は、音楽学プログラムの3年次にフルタイムで在籍し、研究実施学期より前に必須のコアコースワークを完了しており、書面によるインフォームドコンセントを提供し、指定の提出期間内に1つの完全なオリジナル作品を提出した学生としました。完全な作品を提出しなかった場合、提出物が事前に定義された課題要件を満たさなかった場合、ファイルを開くことやスコア付けができなかった場合、締め切り後に提出された場合、またはスコア付け前に同意が撤回された場合は、学生を分析から除外しました。
各参加者は、同一の書面指示の下で1つの個別のオリジナル作曲課題を完了した。学生はテーマとスタイルを自由に選択することができたが、すべての提出物には歌詞、メロディ、リズム、および形式的な構成を含めることが義務付けられていた。グループワーク、再提出されたコースワーク、出版物の編曲、下書きのみのファイル、および期限後の修正は、正式なスコアリングデータセットから除外された。各参加者から1つの最終バージョンのみが受理された。詳細な課題要件および提出仕様は付録表1に提示されている。リクルートおよび分析の完全なワークフローは 図1に示されている。
構成作品の収集、スクリーニング、および匿名化
すべての楽曲は、指定された課題週の最終日の23:59までに、機関の学習管理システムを通じて提出されました。各提出物には、1つのPDF形式の楽譜ファイルと、それに付随する1つのMP3オーディオレンダリングが含まれていました。締め切り後、研究チームは同じ提出チャネルを介してすべての提出ファイルをダウンロードし、評価者に提供する前に、定義済みの課題要件に照らして各作品を審査しました。歌詞、メロディー、リズム、および形式的な構成が含まれており、完成した最終製品である楽曲のみが保持されました。下書きのみのファイル、未完成の作品、主要な構造的要素が欠けているファイル、期限後の提出物、および読み取り不能または破損したファイルは、採点前に除外されました。
適格と判断された各作品には、S1からS80までの匿名化された学生コードが割り当てられました。ファイルが採点に回される前に、学生の名前、クラス識別子、著者情報を含むファイルのメタデータ、およびその他すべての直接的な識別子は削除されました。参加者の身元と匿名化された研究コードを紐付けるリンクファイルは、責任研究者がパスワード保護されたファイルに別途保存しました。このリンクファイルは、モデル推定中の採点者や分析者が閲覧することはできませんでした。最終的な採点コーパスは、80件の匿名化され採点可能な作品で構成され、それぞれ1つのPDF楽譜ファイルと1つのMP3オーディオレンダリングで表現されました。
採点ルーブリック
スコアリングルーブリックでは、作曲作品における創造的行動の5つの次元（新規性、流暢性、柔軟性、正確性、および実現可能性）を評価しました。このルーブリックは、作曲指導、音楽理論、および音楽教育評価の経験を持つ3名の教員との協議を経て、研究チームによって作成されました。まず、前年度の研究対象外の練習曲5曲を用いて初期バージョンのレビューを行いました。パイロットレビュー後、実現可能性と正確性の重複を減らし、流暢性と柔軟性を区別するために、基準の表現と5段階のスコアアンカーを修正しました。最終的なルーブリックは、評価者のトレーニングおよび正式なスコアリングに先立ち、2025年9月20日に確定しました。正式なスコアリング開始後、基準の表現やスコアアンカーの変更は一切行われませんでした。
最終的な評価基準において、「斬新さ（novelty）」は音楽的なアイデアや手法の特異性と独創性を指しました。「流暢さ（fluency）」は作品内におけるアイデア展開の連続性と生産性を指します。「柔軟性（flexibility）」は、音楽的な取り扱いにおける多様なアプローチ、変容、または適応的な転換を指しました。「精緻さ（precision）」は、音楽的ディテールの洗練度、内部組織化、および具体性を指しました。「実現可能性（feasibility）」は、完成した作品が実際の楽曲として成立し得るかという芸術的および実用的な生存能力を指しました。これら5つの次元はすべて、同一の5段階評価形式を用いてスコアリングされました。スコア1は対象次元の提示が非常に弱かったことを示し、スコア5は非常に強力に提示されていたことを示します。0.5点などの端数は認められませんでした。すべての評価者は、同一の基準順序、スコアアンカー、および標準化されたスコアリングシートを使用しました。これら5つの次元すべてに関する操作的定義とスコアアンカーをTable 1に示します。
評価者の募集、盲検化、およびトレーニング
音楽関連または芸術関連の評価経験を持つ9名の評価者を江西理工大学から募集した。評価パネルは、音楽関連科目の教員5名、音楽教育の教員2名、および芸術評価の経験を持つ上級大学院指導教員2名で構成された。各評価者は、少なくとも3年の教育、採点、審査、または芸術評価の経験を有していた。各評価者にはJ1からJ9までの匿名化されたコードが割り当てられた。すべての評価者が、匿名化された80曲の楽曲コーパスを同様に採点した。正式な採点段階を通じて、評価者は学生の身元、人口統計学的情報、クラスへの所属、および他のすべての評価者のスコアについてブラインド化されていた。
正式な採点に先立ち、すべての評価者は約120分間の標準化されたトレーニングおよびキャリブレーションセッションを1回完了した。このセッションの中で、研究チームは書面によるルーブリック、スコアアンカー、標準化された採点表、および採点指示書を配布した。5つの基準と5つの回答カテゴリーについて、正式な採点時に使用されるものと同じ固定順序で説明を行った。その後、匿名化された3つのキャリブレーション用作文を用いて練習採点を行った。これら3つのキャリブレーション用作文は、本研究の正式な80件の作文とは独立しており、分析データセットには含まれていない。各評価者は、議論を行う前に、独立してこれら3つのキャリブレーション作品を採点した。不一致については、各次元の意味、隣接するスコアカテゴリー間の区別、および5段階評価スケールの全範囲の使用方法を明確にするため、基準ごとに検討した。キャリブレーションセッションの目的は、同一のスコアを強制することではなく、ルーブリックの解釈を標準化することであった。トレーニングのワークフローとキャリブレーションの手順は、付録表2に示されている。
正式なスコアリング手順
正式な採点において、各評価者は5つの基準すべてに基づき、匿名化されたすべての作品を独立して評価した。評価者は、各作品のPDF楽譜ファイルと、それに付随するMP3オーディオレンダリングの両方を確認した。PDFファイルはPDFリーダーソフトで開き、オーディオファイルは、採点管理に使用されたものと同じ種類のワークステーション上で、Sennheiser HD 280 Proヘッドフォンを用いてAudacityで確認した。評価者は、まず楽譜ファイルを確認し、次にオーディオレンダリングを一度最後まで聴き、必要に応じて2回目の重点的な確認を行った後、基準ごとの採点を完了させるよう指示された。リズム、メロディ、構造、または具現化の詳細を確認する必要がある場合、任意の作品について最大2回までの追加聴取が許可された。正式な採点中、評価者が個別の提出作品について議論することは禁止されており、また、ある評価者が他の評価者による採点結果にアクセスすることはなかった。
匿名化された80件の作文を、採点前に生成されたランダムな順序で各採点者に提示した。各採点者は、同一の匿名化ファイルセット、ルーブリック、採点シート、および採点指示書を使用した。正式な採点は、採点者ごとに1〜3回のセッションに分けて個別に行われ、1回の採点セッションは3 hrを超えないようにした。採点が複数のセッションにわたった場合、同一の採点環境、ファイルセット、および回答シートを使用した。各作文につき、9人の採点者に5つの基準を掛け合わせた、計45回の想定評価機会があった。最終的なコーパスに80件の作文が含まれていたため、欠損評価の確認前における評価設計上の想定評価機会は3,600回となった。
データ入力、コーディング構造、および品質管理
正式な採点後、観察されたすべての評価結果をMicrosoft Excelを用いてロング形式の分析データセットに入力した。多面 Rasch デザインには、学生、評価者、基準の3つのファセットが含まれていた。学生はS1からS80、評価者はJ1からJ9、基準はC1からC5としてコード化した。基準は、C1を新規性、C2を流暢性、C3を柔軟性、C4を正確性、C5を実現可能性としてコード化した。各有効な採点レコードは、1つの観察された「学生×評価者×基準」の評価を表し、student_id、rater_id、criterion_id、criterion_name、およびscoreが含まれていた。有効なスコアカテゴリーは、1から5までの整数のみで記録した。
モデル適合の前、データセットにおいて、重複レコード、識別子の欠落、スコアの欠落、無効な学生コード、無効な評定者コード、無効な基準コード、criterion_idとcriterion_nameの不一致、および許容範囲外のスコアがないかを確認した。全設計により、期待される評定機会は3,600件であった。最終的な分析ファイルには、3,598件の有効な観察評定と、2件の欠損した評定機会が含まれていた。これら2件の欠損評定は欠損として記録され、補完は行わず、いかなる有効なスコアカテゴリーへも再コード化しなかった。モデル推定の前に、重複レコードおよびコーディングの不整合を元のスコアシートと照らし合わせて確認した。必要な変数構造およびコーディング形式は、 Supplementary Table 3に示されている。
多面ラッシュモデルの規定
クリーニング済みの評価データをFACETS（バージョン3.83.6）を用いて分析した。本モデルにより、学生の創造的パフォーマンス、基準の困難度、評価者のスコア使用位置、および評価スケールのカテゴリー閾値を、共通のロジット尺度上で同時に推定した。学生を目標測定ファセット、基準を困難度ファセット、評価者を評価者ファセットとして指定した。FACETSのコントロールファイルでは、学生ラベルをS1–S80、基準ラベルをC1–C5、評価者ラベルをJ1–J9とする3つのファセットを指定した。すべての基準において同一の1–5の順序応答構造が用いられていたため、5つの基準すべてに共通の5カテゴリー評価スケールモデルを適用した。モデルの推定には共同最大尤度推定法を用いた。外部アンカー値は適用しなかった。共通ロジット尺度での報告のため、学生および基準のファセットはセンタリングを行い、評価者ファセットは評価者間のスコア使用のばらつきを表すために自由推定とした。FACETSのコントロールファイル構造、ファセットコーディング、評価スケールの設定、推定方法、センタリングルール、収束ルール、出力リクエスト、および診断閾値を付随表4にまとめる。
モデルは次のように定義されました：
ここで、Pnijkは、基準iにおいて、評価者jが学生nにカテゴリーk − 1ではなくカテゴリーkを割り当てる確率、Bnは学生nの推定創造的パフォーマンス尺度、Diは基準iの困難度、Rjは評価者jのスコア使用位置、Fkは隣接するスコアカテゴリー間の閾値を表す。スコアカテゴリーは1から5まで順に設定した。このパラメータ設定において、評価者の位置が高いほど、FACETSの出力におけるスコアの使用頻度が高くなる。初期モデルは、カテゴリーを統合せずに、利用可能な有効な評価値に適合させた。欠損評価については、代入やスコアカテゴリーへの再コード化を行わず、欠損値として処理した。
FACETS解析は、最大反復回数を100回とし、連続する反復間のパラメータの最大変化量が0.01 logits未満という収束基準で実行した。出力仕様には、ファセット要約統計量、個別のファセット測定値、モデル標準誤差、infitおよびoutfitの平均二乗統計量、観測平均、公正平均、分離指数および信頼性指数、カイ二乗検定、カテゴリー統計量、Rasch-Andrich閾値、閾値標準誤差、カテゴリー確率出力、標準化残差、評価者別基準バイアス出力、および学生別基準バイアス出力が含まれた。FACETSコントロールファイル、匿名化されたロングフォーマットの評価データセット、主要モデル出力、および感度分析出力は、再現可能な解析ファイルとして保存した。
評価および診断基準
学生、基準、および評価者のモデル適合度を評価するために、infit平均二乗およびoutfit平均二乗統計量を使用した。0.60から1.30までの値を、日常的な解釈における主要な許容範囲とした。1.50を超える値は要検討としてフラグを立て、2.00を超える値は大幅な不適合として扱った。infitまたはoutfit平均二乗値が2.00を超えた学生については、元の採点記録とクリーニング後のデータセットを照合し、感度分析としてその学生を除外した上でモデルを再推定した。不適合のみを理由にケースを主要モデルから削除することはせず、感度分析を用いて、主要な基準、評価者、および評定尺度に関する結論が安定しているかどうかを判断した。これらの適合度レビューおよび感度分析のルールは、付表4に記載されている。
各ファセットについて分離指数および信頼性指数を検討し、有意な内部分化が存在するか、また得られた尺度が解釈に十分な安定性を有しているかを確認した。分離値が2.00を超える場合は、ファセット内の実質的な分化を支持するものと解釈した。学生分離値が2.00未満の場合は、精密な個人のランキングではなく、広範な層別化を支持するものと解釈した。信頼性値が1.00に近いほど、測定の安定性が高いことを示すと解釈した。評定尺度の機能性は、カテゴリー統計量、観測平均、アウトフィット平均二乗値、Rasch-Andrich閾値、閾値標準誤差、およびカテゴリー確率曲線を用いて検討した。観測平均がスコアカテゴリー間で単調に増加し、隣接する閾値が順序通りに進行し、かつ5つのカテゴリーが潜在連続体において解釈可能な確率領域を形成している場合に、カテゴリーのパフォーマンスは許容範囲内であると判断した。
評価者×基準および学生×基準の組み合わせについて、バイアスと交互作用の出力を検証した。標準化バイアスt値の絶対値が2.00以上の交互作用はすべて、レビューの対象としてフラグを立てた。これらの診断チェックは、基準の解釈における不整合や予期しない回答パターンの可能性を特定するために使用されたものであり、自動的に評価を除外するためのものではない。局所依存性と構成概念の重複については、10組のすべての基準ペアにおける基準適合度と残差相関を確認することで検討した。2つの基準間で0.30以上の残差相関が認められた場合は、局所依存性の可能性があるとしてフラグを立て、ルーブリックの定義に照らしてレビューした。これらの診断基準は付録表4にも記載されている。したがって、単次元Raschモデルの仕様は、自動的に想定されるものではなく、測定上の仮定として評価された。学生の測定値を解釈する際、個々のロジット差は、対応する測定不確かさを超えない限り、意味のあるものとしては扱わなかった。学生ファセットは、個々の学生の精密な順位付けとしてではなく、主に構成的な創造的パフォーマンスの全体的な分布として解釈した。
結果
全体のファセット概要
多面的ラッシュ分析は、匿名化された80件の作文、9名の採点者、および5つの採点基準を含む完全評価設計に基づいた。この設計により、3,600件の期待評価機会が生じた。このうち、3,598件の有効な観察評価が分析され、2件の評価機会が欠損として記録された。欠損した評価は補完されず、また有効なスコアカテゴリーに再コード化もされなかった。全体的なファセット統計をTable 2に示す。モデル化された3つのファセット全体で、平均infitおよびoutfitの平均平方値は1.00に近く、モデルとデータの全体的な適合度は許容範囲内であることが支持された。信頼性推定値は、基準で0.87、採点者で1.00、学生で0.78であった。分離値は、基準で2.56、採点者で16.36、学生で1.86であった。カイ二乗検定は3つのファセットすべてにおいて有意であった。報告にあたり、基準ファセットと学生ファセットは0.00 logitsで中心化したが、採点者ファセットの平均尺度は0.62 logitsであった。学生の尺度は-0.80から1.12 logitsの範囲にあり、推定範囲は1.92 logitsであった。
評価者間変動
評価者の推定値はTable 2に示されている。Infit平均二乗値は0.73から1.26の範囲であり、Outfit平均二乗値は0.74から1.27の範囲であった。9名すべての評価者が、許容適合範囲である0.60から1.30の中に収まっていた。評価者ファセットは、モデル化されたファセットの中で最大の分散を示しており、すべての評価者が同一のルーブリック、採点シート、および採点手順を用いたにもかかわらず、評価者間で得点の使い方に明らかな変動があることが示された。J9の評価者測定位置が3.37 logitsで最も高く、J8の評価者測定位置が-0.34 logitsで最も低かった。この傾向は、観察平均および公正平均と一致しており、J9の観察平均および公正平均がそれぞれ4.74および4.75で最高であり、J8の観察平均および公正平均はいずれも2.77で最低であった。したがって、評価者ファセットは、単純な厳格性の順位付けではなく、共通のlogitスケール上における得点利用位置の変動として解釈された。J1とJ5の推定値は0.86 logitsで同一であり、J3とJ6の推定値は-0.13 logitsで同一であった。また、J2とJ4は評価者スケールの中央付近の0.03 logitsおよび-0.15 logitsに位置していた。評価者測定の全分散は3.71 logitsであった。評価者分離値は16.36であり、カイ二乗値は1487.8 (df = 8), p < 0.001であった。適合性レビューのしきい値を超えた評価者はなく、一次モデルから除外された評価者はいなかった。
基準困難度および基準適合度
基準の困難度推定値はTable 2に示されている。実行可能性（Feasibility）の困難度推定値が0.20 logitsと最も高く、完成した作文の中で学生が示すのに最も困難な基準であったことを示している。柔軟性（Flexibility）と正確性（Precision）は中間的な範囲にあり、推定値はそれぞれ0.07 logitsおよび0.02 logitsであった。流暢性（Fluency）の困難度推定値は-0.13 logitsであり、新規性（Novelty）の困難度推定値が-0.16 logitsと最も低かったことから、このコーパスにおいて新規性が最も示しやすい基準であったことがわかる。基準困難度の全範囲は0.36 logitsであった。5つの基準すべてにおいて許容可能な適合値が示された。Infit平均二乗値は0.89から1.11の範囲であり、Outfit平均二乗値は0.90から1.12の範囲であった。基準分離値は2.56、カイ二乗値は37.8（df = 4, p < 0.001）であった。適合性レビューの閾値を超える基準はなく、モデルから削除された基準もなかった。
学生の創造的パフォーマンス分布および適合度の検討
学生の測定値は、個別のランキングではなく、全体的な分布として表2にまとめられています。学生ファセットの分離値は1.86、信頼性推定値は0.78でした。カイ二乗値は354.4（df = 79）、p < 0.001でした。推定された学生の測定値は-0.80から1.12 logitsの範囲であり、モデル標準誤差は約0.19から0.20 logitsでした。学生の分離値が2.00を下回ったため、学生の結果は、厳密な個人のランキングではなく、広範なパフォーマンス階層化を支持するものとして解釈されました。
定義された適合しきい値を用いて、学生の適合統計量を確認した。S3のinfit平均二乗は2.10、outfit平均二乗は2.05であり、大幅な不適合（substantial-misfit）のしきい値を超えていた。そのため、S3の元の採点記録を、学生コード、評価者コード、基準コード、基準名、スコアカテゴリー、重複レコードの状態、および評価欠損の状態を含む、クリーニング済みの分析データセットと照合して確認した。データ入力ミス、重複レコード、無効なスコア、評価欠損の不一致、またはコーディングの不整合は見つからなかった。したがって、S3は主モデルに保持された。次に、主モデルの結論が安定しているかを確認するため、S3を除外した感度モデルを推定した。この感度モデルには79個の構成と3,555件の期待評価機会が含まれていた。感度モデルにおける有効な分析済み評価数は3,553件であった。感度モデルにおいても、実現可能性（feasibility）が0.19 logitsで最も困難な基準であり、新規性（novelty）が-0.15 logitsで最も容易な基準であった。基準分離度は2.56から2.48に、基準信頼度は0.87から0.86に、評価者分離度は16.36から16.02に変化し、評価者信頼度は1.00のままであった。また、学生分離度は1.86から1.82に、学生信頼度は0.78から0.77に変化した。評価尺度のしきい値は順序を維持しており、主モデルの-2.10, -0.71, 0.69, 2.12 logitsから、感度モデルでは-2.08, -0.70, 0.68, 2.10 logitsへと変化した。これらの変化は、基準、評価者、学生、または評価尺度に関する主要な結論に影響を及ぼさなかった。感度分析の結果をTable 3に示す。
局所的な依存性とバイアス診断
5つの採点基準における、考えられるすべての10組の基準ペアについて局所依存性の診断を行った。すべての剰余相関は、検討しきい値である0.30を下回っていた。最大の剰余相関は、正確性と実現可能性の間で0.24であった。次に大きな相関は、流暢性と柔軟性の間で0.21、新規性と流暢性の間で0.18、および新規性と柔軟性の間で0.17であった。残りの6組の基準ペアの剰余相関も0.30を下回っており、表4に記載している。これらの結果は、5つのルーブリック基準間に問題となる局所依存性がないことを示していた。
評価者別基準バイアスの出力は、絶対標準化バイアスt値の閾値を2.00として検証した。評価者別基準の最大標準化バイアスt値は、実現可能性におけるJ9の1.84であり、レビュー閾値を下回っていた。学生別基準の出力では、S3に予期せぬ回答パターンが認められた。学生別基準の最大標準化バイアスt値は、実現可能性におけるS3の2.31であり、レビュー閾値を上回った。そのため、S3のケースについて元の採点記録との照合および感度分析による検討を行った。検証の結果、コーディングや入力のエラーは見つからず、感度モデルによって実質的な結論が変わることはなかった。局所依存性とバイアスの診断結果は 表4にまとめられている。
評価スケールによる機能判定
カテゴリ構造の結果を表5に示す。平均尺度はカテゴリ1の-0.56 logitsからカテゴリ5の2.23 logitsまで増加しており、スコアの高いカテゴリほど、推定される創造的パフォーマンスの位置が高いことに対応していることが示された。スコア付けされたカテゴリのOutfit平均二乗値は0.90から1.10の範囲であった。Rasch-Andrich閾値は、-2.10、-0.71、0.69、2.12 logitsの順に上昇した。カテゴリ1からカテゴリ2への移行は約-2.10 logitsで起こり、カテゴリ2からカテゴリ3への移行は-0.71 logits付近、カテゴリ3からカテゴリ4への移行は0.69 logits付近、そしてカテゴリ4からカテゴリ5への移行は2.12 logits付近で起こった。順序付けられた閾値および許容範囲内のOutfit値により、元の5カテゴリ構造を維持することが支持された。カテゴリの統合は行わなかった。
ファセットの分布とカテゴリ確率構造
評価者、学生、基準、および回答カテゴリーの共通ロジット尺度における共同分布を図2に示す。評価者ファセットは最も広い分散を示しており、評価スコアの使用箇所に明確な変動があることが反映されている。基準ファセットでは、「新規性（novelty）」が最も低い困難度レベルに、「実現可能性（feasibility）」が最も高い困難度レベルに配置された。学生の測定値は尺度の中心付近に集中しており、上下の両端に位置するケースは少なかった。ルーラーマップはファセット測定値の分布を示すために使用されており、個々の学生の詳細な順位付けを裏付けるためのものではない。
カテゴリー確率曲線を図3に示す。カテゴリー1は約-2.10 logits未満で最高の確率を示し、カテゴリー2は約-2.10から-0.71 logitsの間でピークに達し、カテゴリー3は約-0.71から0.69 logitsの間でピークとなり、カテゴリー4は約0.69から2.12 logitsの間で最高の確率を示し、カテゴリー5は約2.12 logits以上で支配的となった。図3の垂直な閾値マーカーは、隣接するカテゴリー間のRasch-Andrich遷移点を示している。隣接するカテゴリーは順序立てて遷移しており、この5段階尺度が意図した通りに機能したという解釈を支持している。
データの可用性：
非識別化されたロングフォーマットの評定データセット、データコードブック、およびFACETSのプライマリ出力は、DOI: https://doi.org/10.5281/zenodo.21873801 としてZenodoに保存されています。このデータセットには、コード化された学生識別子、評定者識別子、基準識別子、基準名、有効な整数スコアカテゴリー、および評定欠損指標が含まれています。全評定デザインでは3,600件の評定機会が想定されていました。このうち、有効に観察された3,598件の評定が分析され、2件は欠損として記録され、補完されませんでした。保存されたFACETSのプライマリ出力は、報告されたファセット尺度、適合統計量、分離・信頼性指標、評定尺度の閾値、カテゴリー機能、および診断要約を裏付けるものです。参加者の同意および機関のプライバシー制限により、個々の学生の作文や著者情報が含まれ得るファイルの再配布は許可されていないため、オリジナルの創作物および識別可能なファイルは公開されていません。多面ラッシュ分析（many-facet Rasch analysis）は、FACETSバージョン3.83.6を用いて実施されました。
図1: 参加者の募集、タスクの実施、匿名化、採点、データチェック、および多面ラッシュ分析（many-facet Rasch analysis）のワークフロー。この図は、ソースコホートの特定から最終的なモデル分析までの研究ワークフロー全体を示している。ソースコホートには、音楽学専攻の3年生96名が含まれていた。96名全員にアプローチし、4名が書面による同意を提供しなかったため、92名がスクリーニングされ、最終分析の前に12名が除外された。最終的な分析サンプルは、匿名化され採点可能な80曲の作品で構成された。また、本図では、タスクの割り当て、ファイルの提出、スクリーニング、匿名化、評定者トレーニング、正式な採点、ロングフォーマットデータの構築、品質管理、およびFACETS分析についても要約している。評定設計により、期待される評定機会は3,600回生成された。このうち、有効な観察評定3,598回が分析され、2回が欠損として記録された。この図の拡大版を表示するには、ここをクリックしてください。
図2共通ロジット尺度上の評価者、学生、基準、および評価スケールカテゴリーの垂直ルーラーマップ。 この図は、評価者のスコア使用位置、学生の測定値分布、基準の困難度推定値、および回答カテゴリの位置を、共通のロジット尺度上に示しています。この出力における評価者の位置が高いことは、厳格さが増していることではなく、スコアの使用頻度が高いことに対応します。ルーラーマップはファセットの分布を表示するために使用されており、個々の学生の正確な順位付けを裏付けるために使用されるものではありません。 この図の拡大版を表示するには、ここをクリックしてください。
図 3: 5段階評価尺度のカテゴリー確率曲線。垂直の破線はRasch-Andrichカテゴリー閾値を示しており、これは隣接する回答カテゴリー間の推定移行点を示す。隣接カテゴリーが順序通りに交差していることは、5段階の回答尺度が期待通りの方向に機能していることを示しており、カテゴリーを統合せずに元のカテゴリー構造を維持することを支持している。この図の拡大版を表示するには、ここをクリックしてください。
| 判定基準 | 操作的定義 | スコア 1 | スコア 2 | スコア 3 | スコア 4 | スコア 5 |
| 新規性 | 音楽的なアイデアまたは処理の独創性と独創性 | 従来型または模倣型 | 独創性の欠如 | 一定の独創性は認められるが、不均一である | 数箇所において明確な独創性が認められる | 極めて独創的で、一貫して斬新な |
| 流暢性 | 業務内におけるアイデア展開の継続性と生産性 | 極めて限定的な進展 | 疎らな発生 | 適切な発達 | 豊かで持続的な発達 | 極めて生産性が高く、継続的に開発されている |
| 柔軟性 | 音楽的処理における多様なアプローチ、変容、または適応的転換の活用 | シングルリジッドアプローチ | 最小限の変動 | いくつかのバリエーション | セクション間またはデバイス間における明確な変動 | 多様性に富み、適応的に発達した |
| 精度 | 音楽的詳細の洗練、内部構成、および具体性 | 不十分な制御および不明確な詳細 | 限定的な精製 | 中程度の組織化および詳細度 | 適切な精製および内部組織化 | 明確かつ具体的な詳細を伴う高度な精製 |
| 実現可能性 | 完成した楽曲として具現化された際の、芸術的なおよび実用的な生存可能性 | 完成品として不適当 | 生存率の低下 | 基本的に生存可能 | 実行可能かつ音楽的に運用可能 | 強力に生存可能であり、説得力を持って実現されている |
表1：構成作品における創造的行動の5つの次元に関する操作的定義とスコアアンカーこの表は、正式な採点に使用された最終的なルーブリックを示している。ここでは、新規性、流暢性、柔軟性、正確性、および実現可能性を定義し、各基準に対して1から5までのスコアアンカーを提示している。これらの定義では、持続的なアイデアの展開と適応的なバリエーションを区別し、構造的な洗練と、具現化された芸術的および実用的な生存可能性を区別している。
| ファセット / 単位 | 測定（ロジット） | モデル SE | インフィット平均二乗誤差 | MnSqの装着 | 観測平均値 | 妥当な平均値 | 分離 | 信頼性 | カイ二乗値 (自由度) |
| 総合的な基準 | 0 | 0.05 | 0.99 | 0.99 | 3.36 | 3.43 | 2.56 | 0.87 | 37.8 (4)*** |
| 新規性 | -0.16 | 0.05 | 1.01 | 1.07 | 3.46 | 3.54 | — | — | — |
| 流暢性 | -0.13 | 0.05 | 1 | 0.95 | 3.44 | 3.52 | — | — | — |
| 柔軟性 | 0.07 | 0.05 | 0.89 | 0.93 | 3.32 | 3.39 | — | — | — |
| 精度 | 0.02 | 0.05 | 0.95 | 0.9 | 3.35 | 3.42 | — | — | — |
| 実現可能性 | 0.2 | 0.05 | 1.11 | 1.12 | 3.23 | 3.3 | — | — | — |
| 評価者、全般 | 0.62 | 0.07 | 0.98 | 0.99 | 3.36 | 3.36 | 16.36 | 1 | 1487.8 (8)*** |
| J1 | 0.86 | 0.06 | 1.26 | 1.27 | 3.59 | 3.59 | — | — | — |
| J2 | 0.03 | 0.06 | 1.1 | 1.1 | 3.02 | 3.02 | — | — | — |
| J3 | -0.13 | 0.06 | 0.73 | 0.74 | 2.91 | 2.91 | — | — | — |
| J4 | -0.15 | 0.06 | 1.07 | 1.07 | 2.9 | 2.9 | — | — | — |
| J5 | 0.86 | 0.06 | 1.26 | 1.27 | 3.59 | 3.59 | — | — | — |
| J6 | -0.13 | 0.06 | 0.73 | 0.74 | 2.91 | 2.91 | — | — | — |
| J7 | 1.19 | 0.06 | 0.77 | 0.77 | 3.8 | 3.81 | — | — | — |
| J8 | -0.34 | 0.06 | 1.06 | 1.06 | 2.77 | 2.77 | — | — | — |
| J9 | 3.37 | 0.11 | 0.87 | 0.93 | 4.74 | 4.75 | — | — | — |
| 学生、全体 | 0 | 0.19 | 0.99 | 0.99 | 3.36 | 3.43 | 1.86 | 0.78 | 354.4 (79)*** |
| 学生測定範囲 | -0.80 ～ 1.12 | 0.19–0.20 | — | — | — | — | — | — | — |
| 注：評価設計により、80構成 × 9評価者 × 5基準で算出される3,600件の期待評価機会が生成された。主要モデルでは、3,598件の有効な観察評価を分析した。2件の評価機会が欠損しており、これらは補完またはスコアカテゴリーへの再コード化は行われなかった。評価者ファセットについては、評価者尺度は共有ロジット尺度上の評価者スコア使用位置として解釈される。本出力において、評価者尺度の値が高いほど、観察平均および公平平均が高くなっており、これは厳格さが増したことではなく、より高いスコアを使用する傾向があることを示している。***= p < 0.001. | |||||||||
表2：基準、評価者、および学生に関する多面ラッシュ分析の要約統計量。この表は、ロジット測定値、モデル標準誤差、infitおよびoutfitの平均二乗値、観測平均、公正平均、分離指数、信頼性推定値、およびカイ二乗検定を含む、モデル化された3つのファセットに関する主要なFACETS出力を報告している。評価設計により3,600件の想定評価機会が生成され、そのうち3,598件の有効な観測評価が分析され、2件の評価機会が欠損として記録された。基準の困難度、評価者のスコア利用位置、および学生の全体的な測定分布は、同一のロジット指標で報告されている。評価者の測定値は、単純な厳格性のランキングではなく、スコア利用位置として解釈される。これは、評価者の測定値が高いほど、観測平均および公正平均も高かったためである。学生の結果は分布として要約されており、正確な個人のランキングとしては提示されていない。
| 指標 | 一次モデル | S3を除いた感度モデル |
| 組成数 | 80 | 79 |
| 期待される評価機会 | 3,600 | 3,555 |
| 解析された有効な評価記録 | 3,598 | 3,553 |
| 評価機会の喪失 | 2 | 2 |
| 最高難易度の基準 | 実現可能性、0.20ロジット | 実現可能性、0.19 ロジット |
| 最低難易度の基準 | 新規性、-0.16 ロジット | 新規性、-0.15 ロジット |
| 基準分離 | 2.56 | 2.48 |
| 基準関連信頼性 | 0.87 | 0.86 |
| 評価者の分離度 | 16.36 | 16.02 |
| 評価者間信頼性 | 1 | 1 |
| 学生の分離 | 1.86 | 1.82 |
| 学生の信頼性 | 0.78 | 0.77 |
| 評定尺度しきい値 | -2.10, -0.71, 0.69, 2.12 | -2.08, -0.70, 0.68, 2.10 |
| 一次モデルの決定 | 一次モデルを保持 | 実質的な変更なし |
| 注：主モデルでは、想定される3,600件の評価機会のうち、有効な観察評価値3,598件を使用した。感度分析モデルではS3を除外し、想定される3,555件の評価機会のうち、有効な観察評価値3,553件を使用した。同一の2件の欠損評価機会はS3以外のものであったため、感度分析モデルにおいても欠損のままであった。S3を除外しても、基準の順序、分離指数、信頼性推定値、または評定尺度しきい値構造に実質的な変化は認められなかった。 | ||
表3：不適合な学生例を除外した後の感度分析。この表は、S3を除外した後に推定された感度モデルと一次モデルを比較したものである。一次モデルでは、80件の作文、3,600件の期待評価機会、および3,598件の有効な観測評価を用いた。感度モデルでは、79件の作文、3,555件の期待評価機会、および3,553件の有効な観測評価を用いた。本表では、基準の困難度、基準の分離度、基準の信頼性、評価者の分離度、評価者の信頼性、学生の分離度、学生の信頼性、および評価尺度の閾値の変化を報告している。感度分析の結果、メインモデルの結論に実質的な変化は見られなかった。
| 診断項目 | レビューしきい値 | 最大観測値 / 観測値 | 審査結果 |
| 残留相関：新規性–流暢性 | ≥0.30 | 0.18 | 閾値以下 |
| 残差関連：新規性–柔軟性 | ≥0.30 | 0.17 | 閾値以下 |
| 残差関連：新規性－精度 | ≥0.30 | 0.12 | 閾値未満 |
| 残差相関：新規性–実現可能性 | ≥0.30 | 0.09 | 閾値以下 |
| 残差相関：流暢性－柔軟性 | ≥0.30 | 0.21 | 閾値以下 |
| 残差相関：流暢性と正確性 | ≥0.30 | 0.16 | 閾値以下 |
| 残差相関：流暢性と実現可能性 | ≥0.30 | 0.14 | 閾値以下 |
| 残差相関：柔軟性と精確性 | ≥0.30 | 0.15 | 閾値以下 |
| 残差相関：柔軟性と実現可能性 | ≥0.30 | 0.11 | 閾値以下 |
| 残留関連：精度と実現可能性 | ≥0.30 | 0.24 | 閾値以下 |
| 基準ごとの評価者標準化バイアスt値 | 絶対値が2.00以上 | 実現可能性に関するJ9の1.84 | 閾値未満 |
| 基準による学生t検定の標準化バイアスt値 | 絶対値2.00以上 | 2.31 実現可能性に関するS3の結果 | 原本照合および感度分析を通じてレビュー済み |
| S3のデータ入力検証 | コーディングまたは入力エラー | 見つかりませんでした | 主要モデルに保持されたS3 |
| S3を除外した感度分析 | メインモデルの結論における変更 | 実質的な変更なし | 一次モデルを保持した |
| 注：10組すべての基準ペアの残差相関を確認した。0.30未満の値は、5つのルーブリック基準間に問題となる局所依存性がないことを示すと解釈した。評価者×基準および学生×基準の交互作用は、絶対標準化バイアスt値のしきい値を2.00として確認した。 | |||
表4：局所依存性とバイアスの診断チェック。この表は、基準の重複、評価者別基準バイアス、学生別基準の予期せぬ回答パターン、および不適合学生ケースの検証に関する診断チェックをまとめたものである。考えられるすべての10組の基準ペアの残差相関を確認した。基準間の残差相関は、レビューしきい値である0.30を下回っていた。評価者別基準の標準化バイアスt値の最大値は、レビューしきい値である|t| ≥ 2.00を下回っていたが、学生別基準の出力によりS3に関連する予期せぬ回答パターンが特定されたため、原本の照合および感度分析を通じてレビューを行った。感度分析の結果、メインモデルの結論に実質的な変更はないことが示された。
| 評価カテゴリー | カテゴリーラベル | 平均測定値（ロジット） | MnSqの装着 | Rasch-Andrichしきい値 | 閾値SE | -0.5で測定する |
| 1 | 不良な | -0.56 | 1 | — | — | — |
| 2 | 最小限の | -0.21 | 0.9 | -2.1 | 0.1 | -2.51 |
| 3 | 満足のいく | 0.25 | 0.9 | -0.71 | 0.05 | -0.73 |
| 4 | 平均以上 | 0.8 | 1.1 | 0.69 | 0.04 | 0.72 |
| 5 | 素晴らしい | 2.23 | 1.1 | 2.12 | 0.06 | 2.53 |
| 注：Rasch-Andrich閾値は、隣接する評価カテゴリー間の推定遷移点を示している。カテゴリー1は最低カテゴリーであるため、閾値は報告されていない。「-0.5における尺度」は、FACETSで出力されたカテゴリー境界に関連するロジット位置を報告するものであり、個別の学生のパフォーマンス推定値ではなく、カテゴリー機能の診断として含まれている。カテゴリーの統合は行わなかった。 | ||||||
表5：5段階評価尺度のカテゴリー機能。 この表は、平均測度、アウトフィット平均二乗値、Rasch-Andrich閾値、閾値標準誤差、およびFACETSの「-0.5における測度」カテゴリー機能出力を含む、5段階回答尺度のカテゴリーレベルの統計量を示している。Rasch-Andrich閾値は、隣接する評価カテゴリー間の推定移行点を示す。順序付けられた閾値により、5つの回答カテゴリーが期待される方向に進展していることが示されており、カテゴリーの統合は行われなかった。
補足表1：作文課題の要件、募集フロー、および提出仕様。この表には、研究設定、募集フロー、参加者の適格性基準、課題形式、必須の構成要素、独創性に関するルール、提出要件、スクリーニングルール、除外理由、および最終的な分析単位が示されています。ここでは、匿名化されスコアリング可能な80編の作文からなる最終的なコーパスをどのようにして取得したかが記録されています。 こちらのリンクからファイルをダウンロードしてください。
付録表2：評価者のトレーニング、キャリブレーション、および標準化されたスコアリング手順。この表では、評価者の募集、評価者の資格、匿名化された評価者コーディング、トレーニング資料、ルーブリックの説明、カテゴリーの説明、キャリブレーション・スコアリング、不一致の検討、ブラインド化の手順、スコアリングの制限、レビュー資料、再生手順、反復聴取ルール、提示順序のランダム化、およびスコアリング時間の管理についてまとめています。 こちらのリンクからファイルをダウンロードしてください。
補足表3：ロング形式データセットの構造およびコーディングルールこの表は、ロング形式の分析用データセットにおける変数構造、コーディングルール、データセットの制約、基準コード、および行の例を示しています。各有効行は、学生識別子、評価者識別子、基準識別子、基準名、およびスコアカテゴリーによって定義される1回の観察されたスコアリングイベントを表しています。評価設計により3,600件の期待評価機会が生成され、そのうち3,598件の有効な観察評価が分析され、2件の評価機会は欠損として記録されました。 こちらをクリックしてファイルをダウンロードしてください。
補足表4：FACETSコントロールファイルおよび診断仕様。この表は、ソフトウェアバージョン、モデルタイプ、モデル化されたファセット、スコアカテゴリ、欠損評価の処理、推定方法、最大反復回数、収束基準、出力リクエスト、適合しきい値、バイアスレビューしきい値、局所依存しきい値、および学生測定値の解釈ルールを含む、FACETSモデル構造と再現性の設定を報告している。欠損評価は欠損として処理され、補完されず、有効なスコアカテゴリに再コード化されなかった。 こちらのリンクからファイルをダウンロードしてください。
ディスカッション
本研究では、学部レベルの音楽専攻学生によるオリジナルの作曲作品を通じて、創造的行動を評価するために多面ラッシュモデル（many-facet Rasch framework）を適用した。その結果、学生のパフォーマンス、基準の困難度、評価者間の測定変動、および評定スケールのカテゴリー機能が、共通の測定構造内で推定できることが示された。この知見は、客観的な回答ではなく専門家の判断によってスコアが算出されるルーブリックベースの音楽評価において、多面モデリングを用いることの妥当性を支持するものである11。このモデルは、音楽的な専門評価の必要性を排除するものではなく、むしろ学生、基準、評価者の各側面（ファセット）が観察された評定にどのように寄与しているかを検討するための構造化された手法を提供した。完成した作品には質的な判断が必要であり、かつ生スコアだけではスコアの変動が学生、基準、評価者、または評定スケールのいずれを反映しているかを判別できないため、このアプローチは作曲の評価において重要である12。
評価基準の結果から、完成した楽曲において、新規性が最も達成しやすい基準であったのに対し、実現可能性と柔軟性はより困難であることが示されました。このパターンは記述的な測定結果として解釈されるべきであり、因果的な指導効果の根拠として捉えるべきではありません。この知見は、本コーパスにおいて、学生が楽曲全体を通じて完全に実現された生存能力や適応的な変容を示すよりも、独特な音楽的アイデアを容易に提示できたことを示唆しています。この区別は、作曲を単なる独創性ではなく、アイデアの生成、展開、選択、再構成、洗練、そして具現化を含むプロセスとして扱う音楽創造性研究13と一致しています。また、創造的なパフォーマンスを単一の総合的な判断にまとめるのではなく、ルーブリックの次元を分離することの有用性を裏付けるものです14。しかしながら、本研究では、観察された困難さのパターンが、指導法、タスク設計、学生の発達段階、基準の文言、あるいは評価者の解釈のいずれによって引き起こされたかを特定することはできません。今後の研究では、作品の評価に加えて、下書き、修正履歴、リフレクティブ・ログ、作曲に関するインタビューなどのプロセスに関する根拠を組み合わせることで、学生が初期のアイデアから具現化された音楽作品へとどのように移行するかを検討する必要があります。
評価者の結果からは、評価者による測定値に相当な変動が見られましたが、すべての評価者の適合度（fit values）は定義された許容範囲内に留まっていました。このパターンを、単に評価者トレーニングの不備として解釈すべきではありません。専門家が介在する芸術的評価において、評価者によるスコア使用の差異は予想されることであり、多面ラッシュモデル（many-facet Rasch model）を用いる主な理由の一つとなっています15。本結果は、評価者が概ね許容可能な方法で尺度を使用していた一方で、スコアカテゴリーの相対的な使用法には依然として差異があったことを示しています。したがって、このモデルは、基準および学生の測定値を解釈する前に、スコアにおける評価者由来の変動を調整するのに役立ちました。今後の運用においては、評価者間のすべての差異をなくすためにトレーニングだけに頼るのではなく、評価者トレーニングと、スコア使用の変動、適合度、カテゴリー使用、および評価者と基準の交互作用に関する事後モニタリングを組み合わせるべきです16。
学生ファセットでは測定可能な変動が見られたが、分離度は中程度であった。学生の信頼性推定値は0.78であり、分離値は1.86であった。したがって、学生の測定値は、精密な個別の順位付けではなく、大まかなパフォーマンスの層別化を支持するものとして解釈されるべきである。個々の学生のロジット間のわずかな差が、対応する測定標準誤差よりも小さい可能性があるため、この点は重要である。不適合であったS3のケースは、個々のレベルでの解釈に慎重であるべきことをさらに支持している。元の記録の照合および感度分析の後、主要な基準の順序、評価者測定パターン、および評価スケールの閾値構造は安定していた。そのため、S3は一次モデルに保持されたが、本研究はこの個別のケースから実質的な結論を導き出すことはしていない。この解釈は、Rasch適合分析を、根拠のない個別の主張の根拠としてではなく、測定の安定性を評価するための診断ツールとして使用することと一致している17。
本研究にはいくつかの限界がある。第一に、サンプルが単一の機関および単一の学年層から抽出されているため、さらなる検証なしに、同等の音楽学の学部生コホート以外に結果を一般化すべきではない。第二に、本研究では最終的な作曲成果物を評価しており、下書き、改訂履歴、リフレクティブ・ログ、思考発話データなどのプロセス資料は含まれていない。第三に、5つのルーブリック基準は、作曲における全体的な創造的行動の関連した現れとして扱われ、本データセットにおける診断結果はこの仕様を支持していた。しかし、今後の研究では、より大規模なサンプル、異なる機関、および異なる作曲課題においても同様の構造が保持されるかを確認する必要がある。第四に、採点者の背景は採点者ファセットを通じてのみモデル化されており、専門分野の背景、指導経験、美的嗜好、または作曲の専門知識が、採点者間の測定値のばらつきにどのように寄与しているかを直接的には検証していない。最後に、本研究は横断的かつ非介入的な研究であるため、基準の難易度パターンを指導の有効性や教授上の因果関係を推論するために用いるべきではない。
結論として、本研究は、構造化されたルーブリックと多面ラッシュ測定を用いることで、音楽専攻学生の独創的な作曲作品を通じて創造的行動を評価するための再現可能な手順を提示した。分析の結果、評価基準の困難度、評価者間の測定変動、学生のパフォーマンス分布、および評定尺度の機能性を、単一の測定枠組みの中で検証できることが示された。完成した作曲作品においては、独創性は比較的証明しやすかった一方で、実現可能性と柔軟性の証明はより困難であった。評価者間の測定変動は相当なものであり、音楽評価における評価者効果をモデル化する必要性が裏付けられた。学生の測定値は、精密な個人のランキングよりも、広範な層別化を支持する結果となった。全体として、本枠組みは、作曲に基づく創造的行動を評価するための透明性の高い基盤を提供し、高等音楽教育におけるルーブリック設計の改善、評価者のモニタリング、および今後の妥当性検証研究に寄与するものである。
開示事項
著者は利益相反がないことを宣言します。原稿作成時、可読性と文法の向上のみを目的にAI支援言語編集ツールを使用しました。データ分析、多面ラッシュモデル（many-facet Rasch modeling）、図の作成、結果の解釈、または科学的な意思決定にAIツールは使用していません。著者は原稿のすべての内容を確認・検証し、最終版に対して全責任を負います。
謝辞
タスクの実施、ファイルの収集、匿名化、およびスコアリングの調整において、支援をいただいた江西理工学院音楽舞蹈学院の参加学生、評価者、および事務スタッフに感謝いたします。 本研究は、江西省文化芸術科学計画プロジェクト「井崗客家山歌の保存と多様な発展に関する研究」（プロジェクト番号：YG2020158）の支援を受けて行われました。
材料
| 名前 | 会社 | カタログ番号 | コメント |
|---|---|---|---|
| Adobe Acrobat Reader | Adobe | 26.001.21346 | 提出物のスクリーニングおよび正式な採点時に、PDF形式の楽譜ファイルを開き、確認するために使用。 |
| Audacity | Audacity | 3.7.7 | 提出された楽曲に付随するMP3オーディオレンダリングを開き、確認するために使用。 |
| FACETS | Winsteps | 3.83.6 | 多面ラッシュ分析に使用。 |
| HD 280 Pro headphones | Sennheiser | 506845 | 提出されたオーディオファイルの審査において、標準化されたリスニングを行うための密閉型モニターヘッドホン。 |
| Microsoft 365 Apps for business, including Excel | Microsoft | O365BusinessRetail | スコアの入力、ロングフォーマットのデータセット作成、およびラッシュ分析前のデータチェックに使用。 |
| Moodle LMS | Moodle | MOODLE_5013 | 課題の提出およびファイルの収集を行うための、機関用学習管理システムとして使用。 |
| MuseScore Studio | MuseScore | 4.6.5 | 楽譜ベースの形式でのオリジナル作曲ファイルの作成、記譜、およびエクスポートに使用。 |
| OptiPlex Tower Plus 7020 Desktop | Dell | QBS1250 | ファイル管理、採点管理、および統計分析のためのワークステーションとして使用。 |
参考文献
- UNESCO. Road Map for Arts Education: Building Creative Capacities for the 21st Century. Paris: UNESCO; 2006.
- Teaching Guidance Committee for Higher Education Institutions, Ministry of Education of the People’s Republic of China. National Standards for Teaching Quality of Undergraduate Major Programs in Regular Higher Education Institutions, Volume II. Beijing: Higher Education Press; 2018.
- Bolden B, DeLuca C. Nurturing student creativity through assessment for learning in music classrooms. Res Stud Music Educ. 2022;44(1):273-289. doi:10.1177/1321103X211054793.
- Escorihuela G, Martínez-Bayona T, Marzal L. Competence-based assessment in higher music education: faculty perceptions in the Valencian Community. Front Educ. 2025;10:1697717. doi:10.3389/feduc.2025.1697717.
- Moura N, Dias P, Veríssimo L, Oliveira-Silva P, Serra S. Solo music performance assessment criteria: a systematic review. Front Psychol. 2024;15:1467434. doi:10.3389/fpsyg.2024.1467434.
- Said-Metwaly S, Van den Noortgate W, Kyndt E. Approaches to measuring creativity: a systematic literature review. Creat Theor Res Appl. 2017;4(2):238-275. doi:10.1515/ctra-2017-0013.
- Uto M. A multidimensional generalized many-facet Rasch model for rubric-based performance assessment. Behaviormetrika. 2021;48:425-457. doi:10.1007/s41237-021-00144-w.
- Tavakol M, Pinner G. Using the many-facet Rasch model to analyse and evaluate the quality of an objective structured clinical examination: a non-experimental cross-sectional design. BMJ Open. 2019;9(9):e029208. doi:10.1136/bmjopen-2019-029208.
- Hung SP, Chen PH, Chen HC. Improving creativity performance assessment: a rater effect examination with many-facet Rasch model. Creat Res J. 2012;24(4):345-357. doi:10.1080/10400419.2012.730331.
- Huang HY. Understanding rater cognition in performance assessment: a mixed IRTree approach. Appl Psychol Meas. 2025;49(7):331-349. doi:10.1177/01466216251333578.
- Ooi PS, Engelhard G Jr. Examining rater judgements in music performance assessment using many-facets Rasch rating scale measurement model. J Appl Meas. 2019;20(1):79-99.
- Eckes T. Introduction to Many-Facet Rasch Measurement: Analyzing and Evaluating Rater-Mediated Assessments. Berlin: Peter Lang; 2015.
- Engelhard G Jr, Wind SA. Invariant Measurement with Raters and Rating Scales: Rasch Models for Rater-Mediated Assessments. New York: Routledge; 2018.
- Hickey M. An application of Amabile’s consensual assessment technique for rating the creativity of children’s musical compositions. J Res Music Educ. 2001;49(3):234-244. doi:10.2307/3345709.
- Schiavio A, Moran N, van der Schyff D, Biasutti M, Parncutt R. Processes and experiences of creative cognition in seven Western classical composers. Music Sci. 2022;26(2):303-325. doi:10.1177/1029864920943931.
- Nijs L, Grinspun N, Fortuna S. Developing musical creativity through movement: navigating the musical affordance landscape. Creat Res J. 2025;37(3):427-451. doi:10.1080/10400419.2023.2299159.
- Zhan Z, He J, Zhong Y. How does problem-solving pedagogy affect creativity? A meta-analysis of empirical studies. Front Psychol. 2024;15:1287082. doi:10.3389/fpsyg.2024.1287082.