2025年8月29日
本文概述了一种遵循简约性原则的大学服务学习测量工具定性与定量验证方案,旨在创建尽可能稳健且最优的版本。为此,采用了德尔菲法进行定性验证,并采用稳健未加权最小二乘探索性因子分析作为定量项目优化方法。
在新兴的大学服务学习领域,我们缺乏兼具可靠性与有效性、定性与定量相结合且足够简明而易于使用的标准化工具。引入评分和量表可实现不同专业人员之间的比较,以评估大学服务学习的质量。目前尚无其他工具能够实现这一目标。
QaSLu 是首个通过严格定性与定量验证流程、并遵循简约性原则所开发的仪器。它篇幅简短,但具有极高的科学严谨性。本方案为开发具备有效性、稳健性和实用性的新型科学仪器指明了方向。
不仅限于服务性学习,也包括更广泛的教育领域。我们计划为其他不同群体创建新的评分标准和量表,并扩大参与样本,以进一步提升 QaSLu 的评估价值,使其适用于不同情境。首先,在台式计算机上创建 QaSLu 的第一版草案。
对用于评估服务学习体验的主要工具中的条目进行内容分析。审阅来自国际工具的条目,这些工具定义了质量标准,并涵盖服务学习专家领域公认的主要评分量规。根据设计服务学习体验所涉及的阶段(如设计、实施和评估)对所有条目进行分类。
然后根据服务性学习的应用阶段对所有项目进行分类,例如初始阶段、规划阶段、实施阶段、结项阶段以及复制推广阶段。选取大量在大学服务性学习领域具有专长的专家,对初步编制的测量工具进行评估。组建最终的专家小组,对用于评估美国服务性学习(USL)的定型化测量工具进行评价,专家名单应涵盖学术与专业背景的多样性、地理分布的多样性以及性别的多样性。
收到第一轮专家的数据后,依次点击“分析”、“非参数检验”、“旧对话框”和“K个相关样本”,以计算相关性 Kendall 协和系数。在“检验类型”下选择 Kendall's W。然后选择所有专家关于相关性和清晰度的反馈。
将条目移至“检验变量”列表,然后点击“确定”以运行分析。在收到第二轮专家反馈后,重新评估之前计算的肯德尔和谐系数,并删除被评为高度不相关的条目。对被认为高度相关但表述不清的条目进行重新表述,以改进措辞和精确性,最终形成《大学服务性学习体验自我评估问卷》QaSLu-45 的最终版本。
获得足够数量的完整问卷后,使用统计软件包一评估问卷的内部一致性。依次点击“分析”、“量表”,然后选择“可靠性分析”。在对话框中选择“Alpha”,随后将所有相关变量移入可靠性分析对话框,点击“确定”以生成结果。
在统计软件包一中进行探索性因子分析:打开“分析”,然后点击“降维”,接着选择“因子”。在因子分析对话框中,将所有问卷条目移入变量框,然后点击“描述统计”和“KMO与巴特利特球形度检验”,并选择“单变量描述统计”。点击继续。
接下来,点击“提取”,并选择“主成分”作为提取方法。勾选“未旋转的因子解”和“碎石图”选项,然后点击“继续”,再点击“确定”以生成结果。识别出与主成分呈反向关系的需删除条目。
根据探索性因子分析结果中获得的成分矩阵,标记在主因子上具有负荷载的条目,并将其从QaSLu简化优化的单因子版本中剔除。接下来,使用统计软件包二进行验证性因子分析,以评估单因子模型的拟合优度。选择“读取数据”,在样本对话框中点击“浏览”,并选择先前创建的ASCII数据文件。
确认在“数据矩阵大小”中显示的参与者数量和变量数量为绿色。现在点击“打开单组数据集”并返回主菜单。在主菜单中点击“配置分析”,然后在对话菜单中勾选“验证性因子分析”,点击“确认”,进入“CFA:因子分析配置”窗口。
接受默认设置,然后单击“确认”返回主菜单。当出现“验证性因子分析已就绪!”消息时,单击“计算”按钮并等待结果。
接下来,打开统计软件包 two,以执行稳健的未加权最小二乘法探索性因子分析。选择“读取数据”,然后在样本对话框中点击“浏览”,并选择先前创建的 ASCII 文件。参与者和变量的数量将在“数据矩阵大小”部分以绿色显示。
现在,单击“打开单组数据集”图标以返回主菜单。在主菜单中,单击“配置分析”,然后在对话菜单中选择“探索性因子分析”,并单击“确认”按钮。在探索性因子分析配置菜单中,选择被确定为与主成分呈反向关系的项目,并将其移至“排除变量”框中。
现在,勾选皮尔逊相关矩阵和平行分析选项,将因子或主成分数量设置为1,并选择稳健因子分析。单击确认返回主菜单,然后单击计算以生成结果。为了识别需要删除的条目(其抽样适切性度量或MSA得分低于0.49),请查阅使用统计软件包二对QaSLu进行RULS探索性因子分析所得的结果,特别是条目位置和条目适切性指数,并从简化优化的单因子版本QaSLu中剔除这些条目。
在统计软件包中,通过选择“转换”菜单并点击“计算变量”来创建一个不含已删除条目的新变量。将新变量命名为 SUM 27,然后选择 SUM 函数,并使用优化后的条目列表完成数值表达式。单击“确定”以生成新变量 SUM 27。
通过选择“分析”,然后选择“描述性统计”和“频率”,计算 SUM 27 的百分位数。将 SUM 27 移至“变量”框,然后单击“统计”图标。选择“百分位数”,并添加 1、5、15、25、35、45、55、65、75、85、95 和 99。
单击“继续”,然后单击“确定”以生成百分位数。通过单击“拆分文件”图标并选择每个相关变量,然后选择“按组组织输出”,对每个评分量表重复上述百分位数计算过程。单击箭头按钮,然后按“确定”,以生成 SUM 27 的分组百分位数。
为每个评分量表创建表格时,首先添加一个标题行,以及对应于“低”、“中低”、“中”、“中高”和“高”等级的行,并包含指定的百分位数子行。在标题行中,添加“等级”列、“百分位数”列,以及代表所选变量各条件的额外列。根据计算出的百分位数,将分数范围填入各表格中以完成表格内容。
根据研究中使用的评分量表,将参与样本所得结果与既定的比较标准进行对照。每个类别的不同等级由其间的中间值构成。例如,第50百分位数是根据第45百分位数和第54百分位数的得分计算得出的。
除第1和第99百分位外,所有等级均显示完全有界的范围,对应于第4和第95百分位,以及任何可能的分数调整。通过根据用户特征选择相应的评分量表,这些量表均可用于比较各视角用户的得分。
查看完整文字稿并访问数千部科学视频
本文介绍了QaSLu工具,这是首个用于评估大学服务学习项目的标准化工具。该工具结合了定性与定量的验证方法,以确保其可靠性和有效性,同时保持简洁性。
测量工具的稳健验证对于确保早期发现和转化研究中数据的可靠性、可重复性和可操作性至关重要。QaSLu-27 协议展示了一种严格且基于统计学的仪器开发方法,支持预测可信度和跨研究的可比性。此类经过验证的工具可使企业研发团队在多样化的研究项目中标准化质量评估,并优化资源配置。
QaSLu-27 验证工作流程体现了从早期发现到临床前研究阶段整合新型测量工具的最佳实践。