研究文章

使用多面Rasch模型通过音乐创作作品评估音乐专业学生的创造性行为

14 次观看

⸱

DOI:

10.3791/71754

⸱

2026年10月6日

 , 

本文内容

摘要

本研究通过应用结构化的作曲评分量规和多面Rasch测量法,对音乐专业学生的原创音乐作品进行评估,以衡量其创造性行为。

摘要

在音乐教育中,创造力的评估仍然具有挑战性,因为对原创音乐作品的评判受到主观偏好、评价标准解释不一致以及评分者严格程度差异的影响。在作曲训练中,完成的作品可被视为可观察的成果,用以体现学生如何生成、发展、转化、完善和实现音乐构思。本研究探讨了结构化的作曲评分量规结合多面Rasch测量模型,是否能够支持对本科音乐专业学生创造性行为进行可重复的评估。80名音乐专业本科生的原创作品由9名经过培训的评分者依据五点量规独立评分。该量规包含五个与作曲创造性行为相关的维度:新颖性、流畅性、灵活性、精确性和可行性。评分数据采用FACETS软件(版本3.83.6)进行分析,将学生、评价标准和评分者设定为同一对数单位测量结构中的不同面。评分设计共包含3,600个预期评分机会,实际分析了3,598个有效评分,缺失2个。整体模型拟合情况支持对评分设计的合理解释,有序类别结构表明五点评分量表按预期方向有效运作。各标准的难度估计显示,在完成的作品中,新颖性相对更容易体现,而可行性和灵活性则更难实现。同时观察到评分者在分数使用上的差异,说明有必要对评分者效应进行建模,而非仅依赖原始分数。学生的分离信度处于中等水平,表明该工具更适合进行宽泛的绩效分层,而非精确的个体排序。这些结果表明,基于作曲的评分量规结合多面Rasch测量模型,可为高等教育中的音乐创造力行为评估提供一个透明的框架。

引言

创造力已成为艺术教育的核心成果,因为学生不仅需要掌握既定的技法,还需在特定学科语境中创作出具有原创性、意义性和可交流性的作品1。在音乐教育中,这一要求在作曲训练中尤为重要,学生必须通过关于主题、旋律、节奏、曲式、发展与实现等方面的决策,将音乐知识转化为完整的音乐作品。然而,在此背景下评估创造力具有挑战性,因为音乐创造力不能仅凭个人喜好或整体艺术印象来评判。一部完整的音乐作品虽能为创造性行为提供可观测的证据,但这些证据必须转化为明确的评价标准,才能使评分过程透明且可重复2。若缺乏清晰的标准,评分结果可能反映的是评分者的个人偏好、对某种风格的熟悉程度或对作品整体质量的主观印象,而非提交作品所具有的具体创造性特质。

本研究将作曲创造性行为定义为在完整作品中完成的、可观察的音乐创作表达。该评分标准包含五个维度:新颖性、流畅性、灵活性、精确性和可行性。这些维度并非被视为完全相同的子特质或相互独立的理论构念,而是作为基于成果的表现性指标,用以衡量一个宽泛的、以最终作品为导向的能力构念——即学生在完成的作品中生成、发展、转化、精炼并实现音乐构思的能力程度。其中,新颖性指音乐构思或处理方式的独特性;流畅性指构思发展的连贯性与产出量;灵活性指音乐处理中所体现的多样化方法、转化方式或适应性转变;精确性指音乐细节的精炼程度、内在组织性与具体性;可行性则指完成作品在艺术上和实践上的可实现性3。该框架将构思生成、构思发展、适应性转化、技术精炼以及最终实现的可行性整合为一个完整的音乐成果。

这一构念论证还减少了标准重叠和构念污染。其中,精确性仅限于细化程度、内部组织结构以及具体的音乐细节,而可行性则被定义为作品作为实际完成的作曲在艺术上和实践上的可实现性。类似地,流畅性仅指持续且富有成效的发展能力,而灵活性则被定义为变化、转换以及适应性的音乐处理能力。一部作品可能包含原创性的构思但发展有限,也可能在技术上连贯且稳定,却缺乏显著的转化表现。因此,基于评价标准的评分量规是必要的,因为总原始分可能掩盖同一作品中不同创造性特征之间的不均衡表现4。

评分员参与的音乐评价需要同时关注评分者行为与学生表现。即使评分员使用相同的评分量规,他们在评分严苛程度、等级使用以及标准解释方面仍可能存在差异。这些差异不仅仅是程序性问题,而是测评情境的组成部分,可能影响观测分数的意义。5多面Rasch测量适用于此情境,因为它可在同一对数单位框架下估计学生、评分者、评价标准及评分量表等级。学生的测量值表示在调整了标准难度和评分者严苛程度后的创造性表现估计水平;标准的测量值反映各维度在表现上的难易程度;评分者的测量值反映其评分倾向的相对位置;而等级统计信息则显示评分量表是否按预期顺序发挥作用。6这种方法比仅依赖原始总数或平均得分更为优越,因为它能够将观测评分中原本混杂在一起的多种得分变异来源进行分离。

使用单维多面Rasch模型需要明确的构念论证。在本研究中,单维设定的合理性建立在整体创作行为这一总体构念层面,而非基于假设评分量规的五个维度完全相同。这五个标准预期代表在已完成的音乐作品中所体现的广泛表现构念的不同可观测方面。该假设被视为一项实证测量假设,并通过标准拟合度、评分量表功能、各标准间的残差关联,以及评分者与标准、学生与标准的交互诊断进行检验7。尽管多面Rasch方法已应用于基于表现的评估中,但其在高等教育音乐领域内对完整作品进行系统性评估的应用仍较为有限8。现有的音乐评估研究强调了评判开放式艺术作品的困难性以及制定明确评分标准的必要性9,而测量学研究则表明,基于量规的表现评估可通过直接建模评分者效应和标准效应而获益10。在此背景下,本研究将多面Rasch框架应用于本科音乐专业学生创作的原创音乐作品。本研究探讨三个问题:所提出的作曲评分框架作为测量设计是否具有足够的功能性;标准难度和评分者评分使用差异如何影响观测分数的变异;以及在建模标准和评分者效应后,学生的创造性表现测量值如何分布。

方案

本研究获得了中国江西省南昌市江西理工学院音乐与舞蹈学院机构审查委员会的批准,批准编号为YG2020158。在任务实施和数据收集之前,已从所有参与者处获得书面知情同意。参与者被告知,其提交的作品在去标识化后仅用于基于研究的评估。在评分前,已删除学生姓名、班级标识符、包含作者信息的文件元数据及其他直接标识信息。这些标识信息未向评分人员提供。所有提交的作品在评分和分析前均进行了去标识化处理,所有分析文件仅使用编码标识符进行处理。

研究设置、参与者招募与任务分配

本研究于2025年9月至2026年1月在中国江西省南昌市江西科技学院音乐与舞蹈学院进行。研究对象选自音乐学专业三年级学生,因为该阶段的学生在研究开始前的学期已完成了音乐理论、演奏实践、电子音乐创作以及作曲相关课程的核心教学内容。

源队列包括96名三年级音乐学专业学生。研究人员联系了全部96名学生,其中4名学生未提供书面知情同意书,因此未参与筛查。其余92名学生提供了书面知情同意书并接受了筛查。在最终分析前,有12名学生被排除。排除原因包括:5名学生作品提交不完整,3名学生缺失一个或多个必要的结构要素,2名学生逾期提交,1名学生提交的文件无法读取或已损坏,以及1名学生在评分前退出。最终分析样本包括80名本科生,其中男性32名,女性48名。

最终的分析样本代表了在获得知情同意、经过筛选并应用排除标准后,从招募队列中可获得的全部符合条件的匿名且可评分的作品。该样本量并未通过将3,600次评分机会视为独立的学生水平观测值来论证其合理性。相反,本研究采用多面Rasch模型,通过对80份作品进行重复评分,以估计学生创造性表现水平,同时对评分标准难度、评分者打分习惯差异以及评分量表等级功能进行建模。纳入九名评分者旨在支持对评分者相关打分差异的估计,并减少对任何单一评分者对开放式创作质量解释的依赖。符合资格的学生需为音乐学专业三年级全日制在读学生,在研究学期开始前已完成规定的必修课程,签署书面知情同意书,并在指定提交期内提交一份完整且原创的作品。若学生未提交完整作品、提交内容不符合预设任务要求、文件无法打开或评分、提交时间超过截止日期,或在评分前撤回知情同意,则被排除在外。

每位参与者均在相同的书面指导下独立完成一项原创作品任务。学生可自行选择主题和风格,但每份提交作品必须包含歌词、旋律、节奏和曲式结构。小组合作作品、重新提交的课程作业、改编的已发表材料、仅含草稿的文件以及逾期修改的内容均被排除在正式评分数据集之外。每位参与者仅接受一份最终版本。详细的任务要求和提交规范见补充表1。完整的招募与分析工作流程见  图1。

作品的收集、筛选与匿名化处理

所有作品均通过院级学习管理系统在指定作业周的最后一天23:59前提交。每次提交包含一个便携式文档格式(PDF)的乐谱文件和一个配套的MP3音频文件。截止时间过后,研究团队通过相同的提交渠道下载所有已提交的文件,并根据预先设定的任务要求对每部作品进行筛选,然后将其分发给评分人员。仅保留包含歌词、旋律、节奏和曲式结构,并代表完整最终成果的作品。仅包含草稿、未完成作品、缺失主要结构组成部分、逾期提交以及无法读取或已损坏的文件均在评分前被排除。

每份符合条件的作品均被分配一个从 S1 到 S80 的匿名学生代码。在文件发布用于评分之前,已移除学生姓名、班级标识符、包含作者信息的文件元数据以及所有其他直接标识信息。将参与者身份与匿名研究代码关联的链接文件由主要研究者单独保存在一个密码保护的文件中。在模型估计期间,评分员和分析人员均无法获取该链接文件。最终的评分语料库包含 80 份匿名且可评分的作文,每份作文由一个 PDF 评分文件和一个 MP3 音频文件表示。

评分标准

评分量规评估了作曲作品中创造性行为的五个维度:新颖性、流畅性、灵活性、精确性和可行性。该量规由研究团队在咨询了三位具有作曲教学、音乐理论和音乐教育评估经验的教师后共同制定。初步版本使用前一学年的五份非研究用练习作品进行了评审。在试评之后,对评分标准的措辞和五个评分等级的定义进行了修订,以减少可行性与精确性之间的重叠,并区分流畅性与灵活性。最终版量规于2025年9月20日确定,在评分员培训和正式评分开始之前完成定稿。正式评分开始后,未对任何评分标准的措辞或评分等级进行修改。

在最终的评分标准中,新颖性指音乐构思或处理的独特性和原创性。流畅性指作品内部构思发展的连贯性和丰富性。灵活性指音乐处理中采用的不同方法、变换方式或适应性调整。精确性指音乐细节的精炼程度、内在组织性以及具体性。可行性指完成作品作为实际创作在艺术上和实践上的可实现性。五个维度均采用相同的五点评分格式:1 分表示该维度表现非常弱,5 分表示表现非常强,不允许使用半分。所有评分者均使用相同的评分维度顺序、评分基准和标准化评分表。全部五个维度的操作性定义及评分基准见表 1。

评估者招募、设盲与培训

从江西理工大学招募了九名具有音乐或艺术相关评估经验的评分员。评分小组包括五名来自音乐相关课程的教师、两名来自音乐教育领域的教师,以及两名具有艺术评估经验的高级研究生导师。每位评分员均具有至少三年的教学、评分、评审或艺术评估经验。每位评分员被分配一个从 J1 到 J9 的匿名代码。所有评分员对同一套包含 80 部作品的匿名语料库进行评分。在整个正式评分阶段,评分员对学生的身份信息、人口统计学信息、班级归属以及其他评分员的评分均处于盲态。

在正式评分前,所有评分者均需完成一次约120分钟的标准化培训与校准环节。在此环节中,研究团队分发了书面评分量规、评分锚定点、标准化评分表及评分说明。五个评分标准和五个评分等级均按照正式评分时所采用的相同固定顺序进行讲解。随后使用三份匿名的校准作文进行评分练习。这三份校准作文独立于正式研究中的80份作文,且不包含在分析数据集中。每位评分者先独立完成三份校准作品的评分,之后进行讨论。针对评分差异,逐项进行回顾,以澄清各维度的含义、相邻评分等级之间的区别,以及五点量表的完整使用方法。校准环节的目的是统一评分量规的理解标准,而非强制评分结果完全一致。培训流程与校准程序详见补充表2。

正式评分流程

在正式评分过程中,每位评分者独立对每份匿名作品的全部五项标准进行评估。评分者需同时查阅每份作品的PDF评分文件及其配套的MP3音频呈现。PDF文件通过PDF阅读软件打开,音频文件则使用Sennheiser HD 280 Pro耳机在与评分管理所用相同型号的工作站上,通过Audacity软件进行审听。评分者被要求首先查阅乐谱文件,完整聆听一次音频,必要时再进行第二次重点审阅,之后完成各评分标准的打分。若评分者需要核实节奏、旋律、结构或实际呈现的细节,允许对任一作品额外重复聆听最多两次。在正式评分期间,评分者不得讨论任何个人提交的作品,且任何评分者均无法查看其他评分者所给出的分数。

在评分前,80份匿名作文以随机顺序呈现给每位评分者。每位评分者使用相同的匿名文件集、评分量规、评分表和评分说明。正式评分由每位评分者独立完成,每人分一至三次会话完成,且单次评分会话不超过3小时。若评分分多次会话完成,则每次均使用相同的评分环境、文件集和答卷。每篇作文应有45次评分机会,即9位评分者 × 5项评分标准。由于最终语料库包含80篇作文,因此在检查缺失评分前,该评分设计共产生3,600次预期评分机会。

数据录入、编码结构与质量控制

正式评分后,所有观察到的评分结果均使用 Microsoft Excel 录入长格式分析数据集。多面拉希模型设计包含三个层面:学生、评分者和评分标准。学生编码为 S1 至 S80,评分者编码为 J1 至 J9,评分标准编码为 C1 至 C5。其中,C1 代表新颖性,C2 代表流畅性,C3 代表灵活性,C4 代表精确性,C5 代表可行性。每条有效评分记录代表一个学生-评分者-评分标准的观测评分,包含 student_id、rater_id、criterion_id、criterion_name 和 score。有效评分等级仅记录为 1 至 5 的整数。

在模型拟合之前,对数据集进行了检查,以排查重复记录、缺失的标识符、缺失的评分、无效的学生代码、无效的评分者代码、无效的评价标准代码、criterion_id 与 criterion_name 之间的不匹配,以及超出允许范围的评分。完整的实验设计共产生 3,600 次预期评分机会。最终的分析文件包含 3,598 条有效观测评分和两次缺失的评分机会。这两次缺失的评分被明确标记为缺失值,未进行填补,也未重新编码为任何有效的评分类别。在模型估计之前,重复记录和编码不一致问题已与原始评分表进行核对。所需的变量结构和编码格式见补充表 3。

多面Rasch模型设定

使用 FACETS 3.83.6 版对清洗后的评分数据进行分析。该模型在同一个对数单位量表上同时估计学生的创造性表现、评分标准难度、评分者打分倾向位置以及评分量表等级阈值。学生被设定为目标测量层面,评分标准为难度层面,评分者为评分者层面。FACETS 控制文件中定义了三个层面,学生标签为 S1–S80,评分标准标签为 C1–C5,评分者标签为 J1–J9。由于所有评分标准均采用相同的有序 1–5 分应答结构,因此在全部五个评分标准上应用了统一的五等级评分量表模型。模型采用联合极大似然估计法进行参数估计,未施加任何外部锚定值。学生和评分标准层面在报告时以共同对数单位量表为中心进行校准,评分者层面则自由估计,以反映不同评分者在分数使用上的差异。FACETS 控制文件结构、层面编码、评分量表设置、估计方法、中心化规则、收敛规则、输出请求及诊断阈值详见补充表 4。

模型的设定如下:

figure-protocol-1

何处 Pnijk 表示学生 n 获得某一类别的概率 k 来自评分者 j 根据标准 i 而非类别 k − 1, Bn 表示学生 n 的创造性表现估计值, Di 表示标准的难度 i, Rj 表示评分者评分时的位置 j,以及 Fk 表示相邻评分等级之间的阈值。评分等级按1至5的顺序排列。在此参数化中,较高的评分者位置对应于FACETS输出中更频繁地使用高分。初始模型基于所有有效的可用评分进行拟合,未对等级进行合并。缺失的评分被视为缺失数据,未进行填补或重新编码为评分等级。

FACETS 分析最多运行 100 次迭代,收敛标准为连续迭代间参数最大变化值小于 0.01 logits。输出结果包括层面摘要统计量、各层面测量值、模型标准误、拟合和失拟均方统计量、观测平均值、公平平均值、分离指数与信度指数、卡方检验、类别统计量、Rasch-Andrich 阈值、阈值标准误、类别概率输出、标准化残差、评分者-指标偏差输出以及学生-指标偏差输出。FACETS 控制文件、去标识化的长格式评分数据集、主模型输出结果及敏感性分析输出结果均被保留为可重复的分析文件。

评估与诊断标准

采用拟合均方(infit mean-square)和失拟均方(outfit mean-square)统计量评估学生、评分标准及评分者的模型拟合情况。0.60 至 1.30 的数值被视为常规解释的主要可接受范围。高于 1.50 的数值被标记以供审查,高于 2.00 的数值被视为显著不拟合。对于任何拟合或失拟均方值高于 2.00 的学生,均会核对原始评分记录与清理后的数据集,并在排除该学生后重新估计模型,以进行敏感性分析。仅因模型不拟合并不从主模型中删除个案;通过敏感性分析判断主要评分标准、评分者及评分量表的结论是否保持稳定。这些拟合审查和敏感性分析规则列于 补充表 4中。

针对每个方面,通过分离指数和信度指数来检验是否存在有意义的内部区分,以及所得到的测量结果是否具有足够的稳定性以供解释。当分离值大于2.00时,认为该方面内部存在显著的区分度;学生分离值低于2.00时,则认为仅支持较宽泛的分层,而非精确的个体排序。信度值越接近1.00,表示测量稳定性越强。通过类别统计量、观测平均值、拟合均方值、Rasch-Andrich阈值、阈值标准误以及类别概率曲线来评估评分量表的功能表现。当观测平均值在各评分等级间呈单调递增趋势、相邻阈值按有序序列递进,且五个类别在潜在连续体上形成可解释的概率区域时,判定类别表现可接受。

对评分者-标准组合和学生-标准组合的偏差与交互作用输出进行了检查。任何标准化偏差的绝对 t 值达到或超过 2.00 的情况均被标记以供审查。这些诊断性检查用于识别标准解释中可能存在的不一致或意外的作答模式,而非自动剔除评分数据。通过审查各评分标准的拟合情况以及所有 10 种可能的标准组合之间的残差关联,来检验局部依赖性和构念重叠问题。若两个标准之间的残差关联达到或超过 0.30,则标记为可能存在局部依赖性,并结合评分量规的定义进行复核。这些诊断性标准也在补充表 4中予以报告。因此,单维性 Rasch 模型的设定被作为测量假设进行检验,而非自动默认成立。在解释学生能力值时,个体之间的对数单位(logit)差异除非超过相应的测量误差范围,否则不被视为具有实际意义。对学生维度的解释主要侧重于整体创造性写作表现的分布情况,而非对个体学生的精确排序。

结果

整体晶面总结

多面Rasch分析基于一个完整的评分设计,该设计包含80份匿名作文、9名评分者以及5项评分标准。此设计共产生3,600个预期评分机会。其中,3,598个有效观测评分被纳入分析,有2个评分机会记录为缺失。缺失评分未进行填补,也未重新编码为任何有效分数类别。总体面统计结果见表2。在所建模的三个面中,平均infit和outfit均方值均接近1.00,表明整体模型与数据拟合良好。各面的信度估计值分别为:评分标准0.87,评分者1.00,学生0.78。分离度值分别为:评分标准2.56,评分者16.36,学生1.86。三个面的卡方检验均具有显著性。为报告方便,评分标准面和学生面以0.00 logit为中心,而评分者面的平均测量值为0.62 logit。学生的测量值范围从-0.80到1.12 logit,估计跨度为1.92 logit。

评估者-测量变异

评分者估计值如表2所示。Infit平均方值范围为0.73至1.26,outfit平均方值范围为0.74至1.27。所有九位评分者均处于可接受的拟合范围(0.60至1.30)之内。评分者层面在模型各层面中显示出最广的分布,表明即使所有评分者使用相同的评分量规、评分表和评分程序,其分数使用仍存在明显的差异。J9的评分者测量位置最高,为3.37 logits,而J8的评分者测量位置最低,为-0.34 logits。该趋势与观察平均值和公平平均值一致:J9的观察平均值和公平平均值最高,分别为4.74和4.75;而J8的观察平均值和公平平均值最低,均为2.77。因此,评分者层面被解释为在共享logit量表上分数使用位置的变异,而非简单的严格性排序。J1和J5的估计值相同,均为0.86 logits;J3和J6的估计值相同,均为-0.13 logits;J2和J4则分别位于评分者量表的接近中心位置,为0.03和-0.15 logits。评分者测量值的总分布范围为3.71 logits。评分者分离值为16.36,卡方值为1487.8(df = 8),p < 0.001。没有评分者超出拟合审查阈值,所有评分者均保留在主模型中。

标准难度与标准适配度

各项标准的难度估计值见表2。可行性(Feasibility)的难度估计值最高,为0.20 logits,表明在已完成的作文中,该标准对学生而言最难体现。灵活性(Flexibility)和精确性(precision)位于中等难度范围,其估计值分别为0.07和0.02 logits。流畅性(Fluency)的难度估计值为-0.13 logits,新颖性(novelty)的难度估计值最低,为-0.16 logits,表明在本语料库中,新颖性是最容易体现的标准。各项标准的总体难度跨度为0.36 logits。所有五项标准均表现出可接受的拟合值。Infit均方值介于0.89至1.11之间,outfit均方值介于0.90至1.12之间。标准分离值为2.56,卡方值为37.8,df = 4,p < 0.001。没有任何标准超出拟合审查阈值,因此未从模型中删除任何标准。

学生创意表现分布及适配性评估

学生的测量结果以整体分布形式总结于表2中,而非以个体排名形式呈现。学生维度的分离值为1.86,信度估计值为0.78。卡方值为354.4(df = 79),p < 0.001。估计的学生测量值范围为-0.80至1.12 logit,模型标准误约为0.19至0.20 logit。由于学生分离值低于2.00,因此学生结果被解释为支持较宽泛的绩效分层,而非精确的个体排名。

使用预设的拟合阈值对学生的拟合统计量进行了审查。S3 的 Infit 平均方为 2.10,Outfit 平均方为 2.05,均超过了显著不拟合的阈值。研究人员将 S3 的原始评分记录与清理后的分析数据集进行了核对,核对内容包括学生代码、评分者代码、标准代码、标准名称、评分等级、重复记录状态以及缺失评分状态。未发现数据录入错误、重复记录、无效评分、缺失评分不一致或编码不一致等问题。因此,S3 被保留在主模型中。随后构建了一个敏感性模型,排除 S3 后重新估计,以确定主模型的结论是否保持稳定。该敏感性模型包含 79 篇作文和 3,555 个预期评分机会。敏感性模型中有效分析的评分数量为 3,553 个。在敏感性模型中,可行性仍然是最难的评分标准(0.19 logits),而新颖性仍然是最容易的评分标准(-0.15 logits)。标准分离度从 2.56 变为 2.48,标准信度从 0.87 变为 0.86;评分者分离度从 16.36 变为 16.02,评分者信度保持为 1.00;学生分离度从 1.86 变为 1.82,学生信度从 0.78 变为 0.77。评分量表阈值仍保持有序,从主模型中的 -2.10、-0.71、0.69 和 2.12 logits 变为敏感性模型中的 -2.08、-0.70、0.68 和 2.10 logits。这些变化并未改变关于评分标准、评分者、学生或评分量表的主要结论。敏感性分析结果见表 3。

局部依赖性与偏倚诊断

对评分标准中的五个准则之间所有10种可能的准则对进行了局部依赖性诊断。所有残差关联均低于0.30的审查阈值。其中,精确性与可行性之间的残差关联最大,为0.24;其次为流畅性与灵活性之间的0.21,新颖性与流畅性之间的0.18,以及新颖性与灵活性之间的0.17。其余六组准则对的残差关联也均低于0.30,详见表4。这些结果表明,五个评分准则之间不存在显著的局部依赖问题。

采用绝对标准化偏差 t 值阈值 2.00 来检查评分者-标准偏差结果。评分者-标准标准化偏差 t 值最大的是 J9 在可行性上的 1.84,低于审查阈值。学生-标准结果中发现 S3 存在意外的应答模式。学生-标准标准化偏差 t 值最大的是 S3 在可行性上的 2.31,超过了审查阈值。因此,对该 S3 案例核对了原始评分记录,并通过敏感性分析进行了检验。验证未发现编码或录入错误,敏感性模型也未改变实质性的结论。局部依赖性和偏差诊断结果汇总于  表 4中。

量表功能评估

类别结构的结果如表5所示。平均测量值从第1类的-0.56 logits上升到第5类的2.23 logits,表明较高评分类别对应较高的估计创造性表现水平。各评分类别的Outfit均方值介于0.90至1.10之间。Rasch-Andrich阈值依次为-2.10、-0.71、0.69和2.12 logits。从第1类到第2类的转换发生在约-2.10 logits处,从第2类到第3类的转换发生在约-0.71 logits处,从第3类到第4类的转换发生在约0.69 logits处,从第4类到第5类的转换发生在约2.12 logits处。有序的阈值及可接受的Outfit值支持保留原始的五类别结构。未对任何类别进行合并。

晶面分布与类别概率结构

评分者、学生、评价标准及回答类别的联合分布在共同logit量表上的分布情况如图2所示。评分者层面表现出最广泛的离散度,反映出评分者在分数使用位置上存在明显差异。在评价标准层面,新颖性被置于最低难度水平,而可行性则位于最高难度水平。学生的测量值集中在量表的中点附近,上下两端的极端情况较少。该量尺图用于展示各层面测量值的分布情况,而不用于支持对学生个体的精确排名。

类别概率曲线如图3所示。类别1在约-2.10 logits以下时概率最高,类别2在约-2.10至-0.71 logits之间达到峰值,类别3在约-0.71至0.69 logits之间达到峰值,类别4在约0.69至2.12 logits之间概率最高,而类别5在约2.12 logits以上成为主导类别。图3中的垂直阈值标记表示相邻类别之间的Rasch-Andrich转换点。相邻类别按有序序列过渡,表明该五点量表按预期方式发挥作用。

数据可用性:

去识别化的长格式评分数据集、数据代码本以及 FACETS 主要输出结果已存入 Zenodo,DOI 编号为:https://doi.org/10.5281/zenodo.21873801。该数据集包含编码后的学生标识符、评分者标识符、指标标识符、指标名称、有效的整数评分等级类别以及缺失评分的标记。完整的评分设计共包含 3,600 次预期评分机会,其中 3,598 次有效观测评分被纳入分析;另有两次记录为缺失,未进行插补。所存档的 FACETS 主要输出结果支持报告中的各个层面测量值、拟合统计量、分离度与信度指数、评分量表阈值、等级功能表现以及诊断性汇总信息。原始创作作品及可识别文件未公开提供,因参与者知情同意及机构隐私限制不允许重新分发可能包含作者身份信息的学生作品或文件。多面 Rasch 分析使用 FACETS 软件版本 3.83.6 完成。

figure-results-1
图1:参与者招募、任务实施、匿名化处理、评分、数据核查及多面Rasch分析的工作流程。 本图展示了从源队列确定到最终模型分析的完整研究流程。源队列包括96名三年级音乐学专业学生。研究人员联系了全部96名学生,其中4人未提供书面知情同意书,92人进入筛选阶段,12人在最终分析前被排除。最终分析样本包含80份匿名化且可评分的音乐作品。该图还总结了任务分配、文件提交、筛选、匿名化、评分员培训、正式评分、长格式数据整合、质量控制以及FACETS分析等步骤。评分设计共产生3,600个预期评分机会;其中3,598个有效观测评分被纳入分析,2个记录为缺失。 请点击此处查看此图的放大版本。

figure-results-2
图2:评分者、学生、评价标准及评分等级在共同logit量尺上的垂直标尺图。 该图展示了评分者打分使用位置、学生能力测量分布、评价标准难度估计以及回答类别的位置,均以统一的logit量尺表示。在此图中,评分者位置越高,表示其使用高分的倾向越强,而非评分更严格。该标尺图用于展示各要素的分布情况,不能用于对学生个体进行精确排序。请点击此处查看此图的放大版本。

figure-results-3
图3:五点评分量表的类别概率曲线。 垂直虚线表示 Rasch-Andrich 类别阈值,标记了相邻回答类别之间的估计转换点。相邻类别间有序的交叉点表明,五点回答量表按预期方向发挥作用,并支持保留原始类别结构,无需合并类别。请点击此处查看该图的放大版本。

标准操作性定义评分1评分2评分3评分4评分5
新颖性音乐构思或处理方式的独特性和原创性常规化或模仿性原创性有限有一定原创性但不均衡多个部分表现出明显的原创性高度独特且始终一贯地具有原创性
流畅性作品内部构思发展的连续性与丰富性发展极为有限发展稀疏发展充分发展丰富且持续高度丰富且连贯发展
灵活性在音乐处理中使用多样化的方法、转换方式或适应性调整单一且僵化的手法变化极少有一定变化在不同段落或技巧间表现出明显变化变化显著且具有适应性发展
精确性音乐细节的精炼程度、内部组织性及具体性控制力弱,细节模糊精炼程度有限中等水平的组织性与细节良好的精炼程度与内部组织性高度精炼,细节清晰具体
可行性完成作品在艺术上和实践上的可实现性与可操作性无法作为完整作品成立可行性弱基本可行可行且音乐上可操作高度可行且实现效果令人信服

表1:作品创作中创造性行为五个维度的操作性定义与评分基准。 本表展示了用于正式评分的最终评分量规。该量规对新颖性、流畅性、灵活性、精确性以及可行性进行了定义,并为每个评分标准提供了从1到5的评分基准。这些定义将持续性的创意发展与适应性变异区分开来,同时将结构上的优化与实际艺术表现及应用可行性区分开来。

维度 / 单位测量值(logits)模型标准误Infit MnSqOutfit MnSq观察平均值公平平均值分离度信度卡方值(自由度)
总体标准00.050.990.993.363.432.560.8737.8 (4)***
新颖性-0.160.051.011.073.463.54———
流畅性-0.130.0510.953.443.52———
灵活性0.070.050.890.933.323.39———
精确性0.020.050.950.93.353.42———
可行性0.20.051.111.123.233.3———
总体评分者0.620.070.980.993.363.3616.3611487.8 (8)***
J10.860.061.261.273.593.59———
J20.030.061.11.13.023.02———
J3-0.130.060.730.742.912.91———
J4-0.150.061.071.072.92.9———
J50.860.061.261.273.593.59———
J6-0.130.060.730.742.912.91———
J71.190.060.770.773.83.81———
J8-0.340.061.061.062.772.77———
J93.370.110.870.934.744.75———
总体学生00.190.990.993.363.431.860.78354.4 (79)***
学生测量范围-0.80 到 1.120.19–0.20———————
注:评分设计共产生 3,600 个预期评分机会,计算方式为 80 篇作文 × 9 名评分者 × 5 项标准。主模型分析了 3,598 个有效观测评分;其中两个评分机会缺失,未进行填补或重新编码为分数类别。对于评分者维度,此处的评分者测量值被解释为评分者在共享logit量表上的分数使用位置。在此输出结果中,较高的评分者测量值与较高的观察平均值和公平平均值相关,表明评分者更倾向于使用较高分数,而非评分更严格。***= p < 0.001。

表2:针对评分标准、评分者和学生的多面Rasch分析的汇总统计。 该表格报告了三个建模维度的主要FACETS输出结果,包括logit量值、模型标准误、拟合和未拟合均方值、观察平均值、公平平均值、分离指数、信度估计值以及卡方检验。评分设计共产生3,600个预期评分机会;其中3,598个有效观测评分被纳入分析,2个评分机会记录为缺失。准则难度、评分者分数使用位置以及学生总体测量值分布均以相同的logit度量单位报告。评分者的测量值被解释为分数使用位置,而非简单的严厉程度排序,因为较高的评分者测量值伴随着较高的观察平均值和公平平均值。学生结果以分布形式汇总呈现,不提供精确的个体排名。

指标主模型排除 S3 的敏感性模型
作品数量8079
预期评分机会数3,6003,555
纳入分析的有效评分记录数3,5983,553
缺失的评分机会数22
难度最高的评价标准可行性, 0.20 logits可行性, 0.19 logits
难度最低的评价标准新颖性, -0.16 logits新颖性, -0.15 logits
评价标准分离度2.562.48
评价标准信度0.870.86
评分者分离度16.3616.02
评分者信度11
学生分离度1.861.82
学生信度0.780.77
评分量表阈值-2.10, -0.71, 0.69, 2.12-2.08, -0.70, 0.68, 2.10
主模型决策保留主模型无实质性变化
注:主模型使用了来自 3,600 次预期评分机会中的 3,598 条有效观测评分。敏感性模型排除了 S3,使用了来自 3,555 次预期评分机会中的 3,553 条有效观测评分。两个缺失的评分机会均位于 S3 之外,因此在敏感性模型中仍为缺失。排除 S3 对评价标准的顺序、分离指数、信度估计值或评分量表阈值结构均未产生实质性影响。

表3:排除不拟合的学生个案后的敏感性分析。 本表比较了主要模型与排除S3后估计的敏感性模型。主要模型使用了80篇作文、3,600个预期评分机会和3,598个有效观测评分;敏感性模型使用了79篇作文、3,555个预期评分机会和3,553个有效观测评分。该表报告了评分标准难度、评分标准分离度、评分标准信度、评分者分离度、评分者信度、学生分离度、学生信度以及评分量表阈值的变化。敏感性分析显示,主要模型的结论未发生实质性改变。

诊断项目审查阈值最大观测值 / 观测值审查结果
残差关联:新颖性–流畅性≥0.300.18低于阈值
残差关联:新颖性–灵活性≥0.300.17低于阈值
残差关联:新颖性–精确性≥0.300.12低于阈值
残差关联:新颖性–可行性≥0.300.09低于阈值
残差关联:流畅性–灵活性≥0.300.21低于阈值
残差关联:流畅性–精确性≥0.300.16低于阈值
残差关联:流畅性–可行性≥0.300.14低于阈值
残差关联:灵活性–精确性≥0.300.15低于阈值
残差关联:灵活性–可行性≥0.300.11低于阈值
残差关联:精确性–可行性≥0.300.24低于阈值
评分者-标准标准化偏差 t 值绝对值 ≥2.00可行性维度上 J9 的 t 值为 1.84低于阈值
学生-标准标准化偏差 t 值绝对值 ≥2.00可行性维度上 S3 的 t 值为 2.31通过原始记录核查与敏感性分析进行审查
对 S3 的数据录入核查是否存在编码或录入错误未发现错误S3 保留在主模型中
排除 S3 的敏感性分析主模型结论是否发生变化无实质性变化保留主模型
注:所有 10 对标准间的残差关联均已完成审查。低于 0.30 的值被认为不提示五个评分标准之间存在需关注的局部依赖性。评分者-标准与学生-标准的交互效应采用绝对标准化偏差 t 值 2.00 作为审查阈值。

表4:局部依赖性与偏差诊断检查。 本表总结了关于评分标准重叠、评分者-标准偏差、学生-标准意外反应模式以及不符合拟合学生案例的验证等诊断检查结果。共审查了所有10种可能的标准配对残差关联。各标准之间的残差关联均低于0.30的审查阈值。评分者-标准标准化偏差t值的最大值低于审查阈值|t| ≥ 2.00;而学生-标准输出识别出与S3相关的意外反应模式,通过原始记录核验和敏感性分析进行了审查。敏感性分析显示,主模型的结论未发生实质性变化。

评分等级等级标签平均测量值(logits)Outfit MnSqRasch-Andrich 阈值阈值标准误-0.5 处的测量值
1差-0.561———
2最低水平-0.210.9-2.10.1-2.51
3满意0.250.9-0.710.05-0.73
4高于平均水平0.81.10.690.040.72
5优秀2.231.12.120.062.53
注:Rasch-Andrich 阈值表示相邻评分等级之间的估计转换点。等级 1 未报告阈值,因其为最低等级。“-0.5 处的测量值”报告了与 FACETS 输出的类别边界相关的 logits 位置,该值用于类别功能诊断,而非作为独立的学生表现估计值。未对任何类别进行合并。

表5:五点评分量表的类别功能。 本表报告了五点反应量表的类别水平统计信息,包括平均测量值、拟合均方值、Rasch-Andrich阈值、阈值标准误以及FACETS“-0.5处的测量值”类别功能输出结果。Rasch-Andrich阈值表示相邻评分等级之间的估计转换点。有序的阈值表明,五个反应类别按预期方向递进,且未出现任何类别合并。

补充表1:写作任务要求、招募流程及提交规范。本表格展示了研究设置、招募流程、参与者资格标准、任务形式、所需的结构要素、原创性规定、提交要求、筛选规则、排除原因以及最终分析单位。该表格记录了最终获得的80篇匿名且可评分的作文语料库的构建过程。 请点击此处下载该文件。

补充表 2:评分员培训、校准及标准化评分流程。 该表格总结了评分员招募、评分员资格、匿名评分编码、培训材料、评分标准说明、类别说明、校准评分、分歧审查、盲法流程、评分限制、复习材料、回放流程、重复聆听规则、随机呈现顺序以及评分时长控制。 请点击此处下载该文件。

补充表3:长格式数据集结构与编码规则。本表展示了长格式分析数据集的变量结构、编码规则、数据集约束条件、评分标准代码及示例行。每一有效行代表一次观测到的评分事件,由学生标识符、评分者标识符、标准标识符、标准名称和评分类别共同定义。该评分设计共产生3,600个预期评分机会,其中3,598个有效观测评分被纳入分析,另有两个评分机会记录为缺失。 请点击此处下载该文件。

补充表 4:FACETS 控制文件与诊断参数说明。 本表列出了 FACETS 模型的结构与可重复性设置,包括软件版本、模型类型、建模的维度(facets)、评分等级、缺失评分的处理方式、估计方法、最大迭代次数、收敛标准、输出请求、拟合阈值、偏差审查阈值、局部依赖性阈值以及学生能力量值的解释规则。缺失评分按缺失处理,未进行填补,也未重新编码为有效评分等级。 请点击此处下载该文件。

讨论

本研究采用多面Rasch模型框架,通过原创音乐作品评估音乐专业本科生的创造性行为。结果表明,学生表现、评分标准难度、评分者判断差异以及评分量表等级的功能均可在统一的测量结构中进行估计。该发现支持在基于评分量规的音乐评估中使用多面Rasch模型,尤其是在评分由专家主观判断而非完全客观反应产生的情况下11。该模型并未消除对专业音乐评价的需求,而是提供了一种系统化方法,用于分析学生、评分标准和评分者等各个维度对实际评分结果的贡献。这一点在音乐作品创作评估中尤为重要,因为完成的作品需要定性判断,而原始分数本身无法说明评分差异究竟源于学生能力、评分标准、评分者个体差异,还是评分量表本身的设计12。

评价结果表明,在已完成的作品中,新颖性是最容易达到的标准,而可行性和灵活性则更难实现。这一模式应被理解为一种描述性测量结果,而非教学产生因果效应的证据。该发现表明,在本语料库中,学生相较于完整实现作品的可行性或在整体作品中进行适应性转换,更容易展现出独特的音乐构思。这一差异与音乐创造性研究一致,后者将作曲视为一个包含创意生成、发展、选择、重构、精炼和实现的过程,而不仅仅是原创性13。同时,该结果也支持将评分量规的不同维度加以区分,而非将创造性表现简化为单一的总体判断14。然而,本研究无法确定所观察到的难度模式是由教学实践、任务设计、学生的发展阶段、标准表述方式还是评分者解读所导致的。未来的研究应将作品评分与过程性证据(如草稿、修改记录、反思日志或作曲访谈)相结合,以考察学生如何从初始创意发展为最终实现的音乐作品。

评分者结果显示出显著的评分者-测量变异,但所有评分者的拟合值均保持在预定义的可接受范围内。这种模式不应简单地解释为评分者培训的失败。在专家主导的艺术性评估中,评分者在分数使用上的差异是预期之中的,也是采用多面Rasch模型的主要原因之一15。当前结果表明,评分者以总体可接受的方式使用了评分量表,但在评分等级的相对使用上仍存在差异。因此,该模型有助于在解释标准和学生测量结果之前,对评分者相关的分数变异进行校正。对于未来应用,应将评分者培训与事后对分数使用变异、拟合度、等级使用情况以及评分者与标准间交互作用的监测相结合,而非仅依赖培训来消除评分者之间的所有差异16。

学生维度显示出可测量的变异,但仅具有中等程度的分离。学生信度估计值为0.78,分离值为1.86。因此,学生测量结果应被理解为支持总体表现分层,而非精确的个体排序。这一点非常重要,因为个别学生logit值之间的微小差异可能小于相应的测量标准误。S3这一不拟合案例进一步支持在个体层面上谨慎解释结果。在完成原始记录核查和敏感性分析后,主要的准则顺序、评分者测量模式以及评分量表阈值结构均保持稳定。因此,S3被保留在主模型中,但本研究并未基于该个案得出实质性结论。这种解释方式与将Rasch拟合分析用作评估测量稳定性的诊断工具、而非作为缺乏支持的个体推论依据的做法是一致的17。

本研究存在若干局限性。首先,样本来自单一机构和学术阶段,因此在缺乏进一步验证的情况下,研究结果不宜推广至其他类似的本科音乐学群体。其次,本研究仅评估了最终的作曲成果,未纳入创作过程中的材料,如草稿、修改记录、反思日志或出声思维数据。第三,五个评分量规标准被视为整体作曲创造性行为的相关表现形式,当前数据集的诊断结果支持这一设定;然而,未来的研究应检验该结构在更大样本、不同机构及不同作曲任务中是否依然成立。第四,评分者背景仅通过评分者层面进行建模,研究未直接检验学科背景、教学经验、审美偏好或作曲专长如何影响评分者测量变异。最后,本研究为横断面、非干预性设计,因此不应依据标准-难度模式推断教学效果或教学因果关系。

综上所述,本研究展示了一种通过原创音乐作品,利用结构化评分量规和多面Rasch测量法来评估音乐专业学生创造性行为的可重复性程序。研究结果表明,标准难度、评分者测量差异、学生成绩分布以及评分量表的功能可在同一测量框架内进行分析。在完成的作品中,新颖性相对容易体现,而可行性与灵活性则较难实现。评分者测量差异显著,表明在音乐评估中建模评分者效应具有必要性。对学生能力的测量支持较宽泛的分层,而非精确的个体排序。总体而言,该框架为基于作曲的创造性行为评估提供了透明的依据,同时有助于改进评分量规设计、评分者监控以及未来在高等音乐教育中的验证研究。

披露

作者声明不存在利益冲突。在稿件撰写过程中,仅使用了人工智能辅助语言编辑工具以提高可读性和语法准确性。未使用任何人工智能工具进行数据分析、多面Rasch模型分析、图表生成、结果解释或科学决策。所有作者均已审阅并核实了稿件的全部内容,对最终版本承担全部责任。

致谢

作者感谢江西理工学院音乐与舞蹈学院参与本研究的学生、评分员及行政人员在任务实施、文件收集、匿名化处理和评分协调过程中提供的支持。 本研究由江西省文化艺术科学规划项目“井冈山客家山歌的保护与多元化发展研究”(项目编号:YG2020158)资助。

材料

本文使用的材料清单
姓名公司目录编号评论
Adobe Acrobat ReaderAdobe26.001.21346用于在提交材料初审和正式评分期间打开并审阅 PDF 乐谱文件。
AudacityAudacity3.7.7用于打开并审阅随作品提交的 MP3 音频文件。
FACETSWinsteps3.83.6用于多面拉希分析(many-facet Rasch analysis)。
HD 280 Pro 耳机Sennheiser506845封闭式监听耳机,用于审阅提交音频文件期间的标准收听流程。
Microsoft 365 商用应用(含 Excel)MicrosoftO365BusinessRetail用于分数录入、长格式数据集构建以及拉希分析前的数据核查。
Moodle 学习管理系统MoodleMOODLE_5013作为机构教学管理平台,用于作业提交与文件收集。
MuseScore StudioMuseScore4.6.5用于基于乐谱格式的原创作品制谱、记谱与导出。
OptiPlex Tower Plus 7020 台式机DellQBS1250作为工作站,用于文件管理、评分管理与统计分析。

参考文献

  1. UNESCO. Road Map for Arts Education: Building Creative Capacities for the 21st Century. Paris: UNESCO; 2006.
  2. Teaching Guidance Committee for Higher Education Institutions, Ministry of Education of the People’s Republic of China. National Standards for Teaching Quality of Undergraduate Major Programs in Regular Higher Education Institutions, Volume II. Beijing: Higher Education Press; 2018.
  3. Bolden B, DeLuca C. Nurturing student creativity through assessment for learning in music classrooms. Res Stud Music Educ. 2022;44(1):273-289. doi:10.1177/1321103X211054793.
  4. Escorihuela G, Martínez-Bayona T, Marzal L. Competence-based assessment in higher music education: faculty perceptions in the Valencian Community. Front Educ. 2025;10:1697717. doi:10.3389/feduc.2025.1697717.
  5. Moura N, Dias P, Veríssimo L, Oliveira-Silva P, Serra S. Solo music performance assessment criteria: a systematic review. Front Psychol. 2024;15:1467434. doi:10.3389/fpsyg.2024.1467434.
  6. Said-Metwaly S, Van den Noortgate W, Kyndt E. Approaches to measuring creativity: a systematic literature review. Creat Theor Res Appl. 2017;4(2):238-275. doi:10.1515/ctra-2017-0013.
  7. Uto M. A multidimensional generalized many-facet Rasch model for rubric-based performance assessment. Behaviormetrika. 2021;48:425-457. doi:10.1007/s41237-021-00144-w.
  8. Tavakol M, Pinner G. Using the many-facet Rasch model to analyse and evaluate the quality of an objective structured clinical examination: a non-experimental cross-sectional design. BMJ Open. 2019;9(9):e029208. doi:10.1136/bmjopen-2019-029208.
  9. Hung SP, Chen PH, Chen HC. Improving creativity performance assessment: a rater effect examination with many-facet Rasch model. Creat Res J. 2012;24(4):345-357. doi:10.1080/10400419.2012.730331.
  10. Huang HY. Understanding rater cognition in performance assessment: a mixed IRTree approach. Appl Psychol Meas. 2025;49(7):331-349. doi:10.1177/01466216251333578.
  11. Ooi PS, Engelhard G Jr. Examining rater judgements in music performance assessment using many-facets Rasch rating scale measurement model. J Appl Meas. 2019;20(1):79-99.
  12. Eckes T. Introduction to Many-Facet Rasch Measurement: Analyzing and Evaluating Rater-Mediated Assessments. Berlin: Peter Lang; 2015.
  13. Engelhard G Jr, Wind SA. Invariant Measurement with Raters and Rating Scales: Rasch Models for Rater-Mediated Assessments. New York: Routledge; 2018.
  14. Hickey M. An application of Amabile’s consensual assessment technique for rating the creativity of children’s musical compositions. J Res Music Educ. 2001;49(3):234-244. doi:10.2307/3345709.
  15. Schiavio A, Moran N, van der Schyff D, Biasutti M, Parncutt R. Processes and experiences of creative cognition in seven Western classical composers. Music Sci. 2022;26(2):303-325. doi:10.1177/1029864920943931.
  16. Nijs L, Grinspun N, Fortuna S. Developing musical creativity through movement: navigating the musical affordance landscape. Creat Res J. 2025;37(3):427-451. doi:10.1080/10400419.2023.2299159.
  17. Zhan Z, He J, Zhong Y. How does problem-solving pedagogy affect creativity? A meta-analysis of empirical studies. Front Psychol. 2024;15:1287082. doi:10.3389/fpsyg.2024.1287082.

重印与许可

探索更多文章

作品评分量规创造性评估评分者效应音乐创造力高等音乐教育表现分层