定性与定量验证用于评估高校服务性学习质量的量表类工具

摘要

本文概述了一种遵循简约性原则的大学服务学习测量工具定性与定量验证方案，旨在创建尽可能稳健且最优的版本。为此，采用了德尔菲法进行定性验证，并采用稳健未加权最小二乘探索性因子分析作为定量项目优化方法。

摘要

服务学习（Service-Learning, SL）近年来已成为一种高效的学习方法，能够弥合理论与实践之间的差距，并将学习置于真实世界的情境之中。该方法已在高等教育各个层面成功实施，显著提升了大学生的各项能力。然而，作为一种具有变革性的教学方法，SL 在评估方法的发展上仍处于初级阶段。因此，迫切需要设计并验证可靠且尤其是有效的测量工具，因为将 SL 应用于现实情境正是其核心价值所在。本文展示了如何在简约性原则的指导下，从大学教师的视角出发，优化设计并验证用于评估大学层面 SL 实践质量的测量工具。研究采用在线改良版德尔菲法、稳健未加权最小二乘探索性因子分析以及验证性因子分析，开发出一种新的测量工具 QaSLu-27。该工具通过16位专家参与的在线改良版德尔菲法以及118名实施 SL 项目的大学教师样本进行了验证。结果显示，该新工具具有优良的心理测量学特性（W = 0.11；α = 0.92；CMIN/DF = 1.027；CFI = 0.979；WRMR = 0.0985；RMSEA = 0.046），并由此开发出新的评分量表，可用于比较未来使用该方法的用户，同时考虑其归因特征和人口统计学特征。设计出可应用于真实场景并支持量表构建的新一代经过验证的测量工具，将极大有助于衡量 SL 新实践的实施情况，评估其进展、参与者、管理者及督导人员，推动该研究领域在当前学术体系中的确立，并促进新科学知识的产生。

引言

服务学习（Service-Learning，简称SL）是一种将学术学习与社区服务相结合的教育模式，近年来在当代教育中日益受到重视。这种教学方法使学生能够将课堂所学知识应用于现实世界的挑战，同时培养公民责任感和社区参与意识¹。SL在当前教育中的重要性不容忽视，因为它不仅帮助学生掌握实用的专业能力，促进公民参与，还加深了他们对社会问题的理解²。

近年来，服务性学习（SL）的研究显著增长，这得益于人们 increasingly 认识到其在促进学术学习和社区参与方面的潜力。这一发展势头源于社会对教育模式日益增长的需求，这些模式不仅促进学术发展，还能应对社会挑战³。研究者已探讨了服务性学习的多种影响，从推动社会正义到培养学生公民意识⁴。此外，服务性学习的研究 increasingly 聚焦于其在特定领域的应用，如 STEM、医疗保健和环境科学，在这些领域中，解决现实世界的问题至关重要^5,6,7。随着相关文献不断积累，研究者也开始探索服务性学习如何有效弥合理论与实践之间的差距，使其对学生及其所服务的社区都具有实际意义⁸。

然而，尽管服务学习项目的作用日益凸显，但在衡量其有效性方面仍存在重大挑战⁹。目前已有多种以评分量规形式提出的评估方案，例如 Furco¹⁰、Martín 等人¹¹、Lorenzo 和 Belando-Montoro¹²、Shek 等人¹³，以及 Lu 和 Lambright¹⁴ 提出的量规，这些方案尽管在实地研究中已被证明具有实用价值，但尚未经过充分验证。另一方面，其他一些方案，如 Escofet-Roig 等人¹⁵、Rodríguez-Izquierdo¹⁶、León-Carrascosa 等人¹⁷、Ruiz-Ordoñez 等人¹⁸、Santos-Pastor 等人^19, 以及 Gul 等人²⁰ 提出的工具，则缺乏定性验证，或仅具有极为有限的定量验证。以往评估工具中观察到的其他不足之处还包括：未对评估因素和条目进行优化以符合简约性原则，以及完全缺乏评分量表。这种情况在新兴科学领域较为普遍，也是所有研究领域在发展出适用于广泛使用的最佳工具过程中所经历的自然阶段。

在创建《大学服务性学习体验自评问卷》（QaSLu）以从大学教师的角度评估大学层面服务性学习（SL）体验质量时，已有的被广泛认可并用于界定服务性学习质量标准的工具主要包括：Campo（2015）²¹、Europe Engage（2017）²²、GREM（2014）²³、RMC Research Corporation（2008）²⁴、Puig-Rovira、Martín 和 Rubio-Serrano（2017）²⁵，以及 Rubio-Serrano、Puig-Rovira、Martín 和 Palos（2015）²⁶。尽管目前已有更多评估工具出现，但现有的测量工具往往难以充分捕捉与这些项目相关的广泛且细致的学习成果，尤其是在长期个人成长和社区影响方面，部分工具被发现过于宽泛，或缺乏严谨的科学理论框架支持^9,27。这一测量工具上的缺失限制了人们对服务性学习对学生及社区所产生的影响进行全面理解与优化的能力。

推进服务学习（SL）研究的下一步是开发具有科学严谨性的测量工具。这些工具不仅应能够捕捉学术成果，还应能够评估服务学习对学生及其所服务社区产生的个人与社会影响。本研究旨在通过创建一个基于科学严谨性的评估工具，弥补这一空白，从而对服务学习项目进行更全面的评估，并指导其未来的实施。

除了研制仪器外，还将对其进行验证，首先进行定性验证，然后进行定量验证。初步验证将采用改良的在线德尔菲法²⁸。术语"改良"指的是Cabero提出的将德尔菲法限制为两轮咨询的建议，以避免专家小组成员中途退出。术语"在线"由Cruz-Ramírez和Rúa-Vásquez²⁹提出，强调咨询通过电子邮件进行，因为互联网有助于克服传统德尔菲法中存在的一些固有局限性，例如群体思维或权威专家意见的影响，这些因素可能影响条目的筛选^30,31。

采用改进的在线德尔菲法，将评估两种效度：构念效度和内容效度。构念效度将参照Bakieva等人的研究³²所提出的流程，通过咨询专家对每个条目的相关性进行评价；内容效度则基于Gil和Pascual-Ezama的研究³³，通过专家咨询评估每个条目的清晰程度。

专家将获得一个包含四个选项的李克特量表（无、较少、较多、非常多）。由于未设置任何中间选项，专家必须对每个条目明确表示支持或反对³⁴，从而有助于决策是否在问卷中保留或删除相应条目。

在定量验证方面，其依据是简约性原则，这是科学中的一个基本原理，即在相同条件下，面对一个科学问题时，最简短的解决方案更可取^35,36。因此，寻找最短且经过优化的有效测量工具具有同等的科学保障，同时更具实用性、可推广性，并适用于真实情境中的日常应用，且不牺牲其可靠性或有效性。将采用验证性因子分析（Confirmatory Factor Analysis, CFA）³⁷ 和稳健未加权最小二乘法（Robust Unweighted Least Squares, RULS）探索性因子分析^38,39 作为分析技术，以剔除不必要的条目，并验证最终的量表结构。拟合指数和信度指数被用作评估新结构相对于原有结构有效性的指标，参考标准是保持或提升优化后量表的信度与效度，使其达到能够保证精简优化后问卷新结构充分性和稳健性的水平。

方案

本方案于2020年获得智利国家科学技术研究委员会（CONICYT Fondecyt/启动项目）伦理批准，批准编号：11170623。一组外部专家对整个流程进行了审查和验证。根据《赫尔辛基宣言》⁴⁰，要求参与者签署书面知情同意书以参加本研究，并明确告知其不会涉及任何实验性条件。

1. 设计QaSLu的初稿

1. 对用于评估服务学习（SL）经验的主要工具中的条目进行内容分析。为此，查阅了界定服务学习质量保障标准的国际工具中的条目，以及服务学习专家群体公认的主要评分量规。
   注：通过此次审查，QaSLu 明确纳入了社会正义这一维度，体现了欧洲服务学习的典型关注点。
2. 根据设计服务学习经验所涉及的阶段（1. 设计，2. 实施，3. 评估）以及服务学习经验的应用环节（A. 初始阶段，B. 规划，C. 执行，D. 结束与复制），对所有条目进行分类。
   注：为确保分类的可靠性，采用完全一致的评分者间信度，仅保留所有作者达成一致的分类结果。
3. 为大学服务学习（USL）评估工具的初稿选定最终条目。
   1. 首先，在每个类别内部删除重复条目，涵盖与服务学习经验设计和应用相关的各个阶段。
   2. 其次，剔除与新工具目标不相关的内容。
   3. 最后，创建或调整条目，以适配目标人群（高校教师）及研究目标（评估服务学习经验的质量）。
      注：QaSLu 专为大学阶段的服务学习而设计。尽管大多数现有工具均针对大学层面的服务学习质量进行评估，但仍需对部分先前工具中的条目进行重新表述，并新增若干条目，以确保 QaSLu 完全适用于大学环境。
4. 设计问卷初稿，以实现研究目标。
   注：QaSLu 的初稿使用 Microsoft Word 编制，便于共享与修改。初始版本共包含 54 个条目，采用五点李克特量表作答（从不、很少、有时、几乎总是、总是）。问卷设计时采用单一因子或主成分结构，以便最终得分可通过标准化评分量表，按用户特征进行比较。

德尔菲法专家小组的遴选

1. 选择一批在服务学习（USL）领域具有专长的专家，以评估先前设计的评估工具。在此过程中，确立必要的纳入标准：1. 至少四年从事服务学习研究与设计/实施服务学习经验的经历；2. 隶属于大学学术机构；3. 为博士候选人或已获得博士学位者。
   注：根据纳入标准，共确定了20位可在服务学习领域发挥重要作用的专家名单。
2. 向第2.1步中选定的所有专家发送电子邮件，说明研究目的、德尔菲法的各个阶段、预期时间安排、纳入标准，并询问其是否愿意参与验证过程及其时间可行性，同时征求其对书面知情同意书的同意。
   注：所有专家均同意参与。
3. 组建最终的专家小组，用于评估服务学习评估的最终工具。根据同意参与的专家特征，制定新的纳入标准。专家小组的最终构成为：1. 学术与专业背景的多样性，即来自不同学术层级的代表；2. 开展服务学习经验所在地理位置的多样性；3. 性别的多样性。
   注：共有16位服务学习专家全程承诺并完成了整个过程。最终专家小组中女性占75%，男性占25%。

3. 通过改良的在线德尔菲法对QaSLu问卷进行定性验证

1. 向专家小组每位成员发送一封电子邮件，附上用于评估USL评价工具初稿条目的评估模板及相关说明德尔菲法第一轮).
   注意：专家使用4点Likert量表对每个条目的相关性（建构效度）和清晰度（内容效度）进行评估，其中1表示“不相关或不清晰”，4表示“非常相关或非常清晰”。在每个条目旁设有两个方框，分别用于评估相关性和清晰度，专家需在1至4的量表上对每个条目进行评分。在这些方框下方另设有一栏，供专家定性说明其评估理由，并对条目提出可能的修改建议（参见所提供的问卷样稿）。 补充文件 1）。由于未设置任何中间选项，专家必须采取明确立场，这有助于推动问卷条目的保留或删除决策过程。
2. 收集德尔菲咨询第一轮中专家的反馈意见，并汇总至单一文件中。
   注意：专家有 2 周时间完成对模板中 54 个条目的相关性（结构效度）和清晰度（内容效度）的评估。
3. 计算肯德尔系数，以确定专家在相关性和清晰性评价上的一致性程度。
   1. 首先访问菜单 分析 > 非参数检验 > 传统对话框 > K 相关样本 （参见 图1）。分别选择专家关于相关性和清晰度的所有反馈。首先选择相关性，然后选择清晰度。
   2. 将物品移至 测试变量列表 盒中。在 检测类型 切片，选择 肯德尔 W 选项。最后，单击 好的 运行分析并获得相应结果。
      注意：一致性分析显示，受访专家在相关性（结构效度）和清晰度（内容效度）方面均表现出具有统计学意义的一致性。
4. 评估结构效度（相关性）和内容效度（清晰性）。
   1. 使用统计软件包1进行描述性分析。首先，选择 分析菜单 > 描述性统计学 > 频率，以及在 频率 对话框中，选择该量表所有条目的相关性评分，并将其添加到 变量 通过点击箭头图标选择该选项框。
   2. 然后，单击 统计学 图标，检查 百分位数 箱线图，并添加第25、50和75百分位数 频率: 统计学 对话框，然后单击 继续 返回到 频率 对话框
   3. 最后，单击 好的 图标以生成每个项目的所需百分位数（参见 图2）。输出后，前往 分析 > 描述性统计 > 描述性，以及在 描述性统计 对话框中，选择该量表所有条目的清晰度评分，并将其添加到 变量 通过点击箭头图标查看盒子（参见 图3最后，单击 好的 以生成结果。
5. 移除被75%的专家认为高度不相关的条目，并重新表述被评为高度相关但表述不清的条目。
   注意：经过第一轮咨询后，QaSLu 初始草案中删除了 10 个项目：第 4、5、9、16、27、45、51、52、53 和 54 项。此外，QaSLu 初始草案中的 16 个项目被重新表述：第 1、2、10、13、14、15、23、30、31、33、37、41、42、43、48 和 49 项。这些修改或措辞调整均基于专家的建议。
6. 准备第一轮咨询的结果报告，内容包括：1. 关于相关性或结构效度一致性的结果（Kendall 系数）；2. 制定的决策标准；3. 已验证的条目数量；4. 删除的条目数量；5. 仍处于评审中的修改条目数量；以及 6. 用于评估 USL 的工具修订版本。
   注意：撰写本报告的目的是在不提供过多数据且不影响专家组未来评估的前提下，向其传达必要信息。
7. 向专家小组每位成员发送电子邮件，附上第一轮咨询结果的报告，以及用于评估改良版超声引导下穿刺（USL）评估工具中重新表述条目的模板，并提供具体说明（德尔菲法第二轮).
   注意：专家使用4点Likert量表对每个重新表述的条目进行清晰度（内容效度）评估，其中1表示“不相关或不清晰”，4表示“非常相关或非常清晰”。在每个条目旁边设有评分框，用于填写1至4之间的清晰度评分，随后设有另一部分供专家定性说明其评估理由，并提出对该条目的可能进一步修改建议（参见所提供的问卷样稿）。 补充文件 2通过不设置任何中间选项，迫使专家必须对条目明确表态，即支持或反对。这有助于决策哪些条目应纳入或排除出问卷。
8. 将德尔菲咨询第二轮中专家的反馈汇总成一个文件。
   注意：专家们再次被给予两周时间，以完成对模板中16个条目的清晰度（内容效度）的评估。
9. 重复3.3中的步骤，但此次仅选择该测量工具中重新表述条目的清晰度评分，并将其纳入 变量 盒子
10. 重复3.4中的步骤，移除被75%专家评为高度清晰的所有条目。
    注意：经过第二轮咨询后，以下条目已被删除：条目1、23、31和41。
11. 包含若干控制条目，旨在评估未来的内部一致性（建议每10个条目中包含约1个控制条目）。
    注意：本版本的量表中增加了四个对照项目。
12. 准备第二轮咨询的结果报告，内容包括：1. 关于清晰度或内容效度一致性的结果（Kendall 系数）；2. 制定的决策标准；3. 已验证的条目数量；4. 被删除的条目数量；5. 作为控制条目纳入的条目数量；6. 修订后的 QaSLu-45 版本（41 个已验证条目 + 4 个控制条目）。
    注意：问卷的最终版本结构如下：1）问卷目的、书面知情同意书及填写说明；2）受访者所属机构或组织、性别、年龄、教育程度以及参与服务性学习的专业年限（此类信息不会导致参与者身份被识别）；3）服务性学习经历的相关数据；4）用于服务性学习经历自我评估的45个条目；以及5）对参与者的感谢（附有问卷样稿作为示例） 补充文件 3).
13. 将第二轮咨询的结果报告发送给专家组，报告包含所设计问卷的最终版本（QaSLu-45），并感谢他们参与改进版的在线德尔菲法研究。

图1：在统计软件包1中计算肯德尔系数。 (1) 单击“K个相关样本”图标；(2) 选择肯德尔W；(3) 单击“确定”图标。 请点击此处查看此图的放大版本。

图 2：在统计软件包 1 中提取百分位数。（1）单击频率图标；（2）单击统计量图标；（3）在“频率：统计量”对话框中，添加百分位数。请点击此处查看此图的放大版本。

图 3：在统计软件包 1 中提取描述性统计量。（1）单击“描述性统计”图标；（2）添加变量；（3）单击“确定”图标。

4. 将问卷调整以适应安全服务器的在线规范

1. 作为已注册用户，登录至私有服务器的软件即服务（SaaS）平台主页面（参见材料表）。注册需提前提供个人信息。注册完成后，选择从零开始创建问卷（参见图4）。
2. 创建第一页，该页面必须包含强制接受的知情同意书，参与者需同意后方可继续。
3. 创建第二页，包含参与者的属性问题，这些问题将在研究中作为中介变量或控制变量使用。
   注：本研究包含三个离散的定量变量和五个名义分类变量。以下是研究中包含的这八个变量的操作性定义：
   性别：一个名义性、属性型且二分的变量，包含两个水平（男性/女性）。
   年龄：一个离散的定量变量，用于确定参与者在研究中的实际年龄。
   服务学习（USL）经验：一个离散的定量变量，用于衡量参与者在服务学习方面的经验。量表从0开始，代表服务学习经验少于一年（不等同于“无经验”），无上限。
   学术水平：一个名义性、二分变量，包含两个水平（博士/非博士），反映参与者是否拥有专业博士学位。
   服务学习活动合作组织：一个名义变量，包含五个类别（社会中心、非政府组织、基金会、学校、与高等教育机构或大学的联盟、政府公共行政部门、老年中心及其他与健康相关的机构）。该变量用于识别参与者在服务学习经历中所合作的组织或机构类型。
   服务学习活动的目标群体：一个名义变量，包含五个类别（残障群体、学生、少数民族、老年人、处于社会风险中的弱势群体）。该变量用于识别服务学习活动的主要受益群体。
   服务学习活动的干预模式：一个名义性、二分变量（ exclusively face-to-face service-learning / Includes online activities in whole or part），用于表明服务学习活动是否包含在线组成部分。
4. 通过私有服务器的SaaS平台，为先前设计好的问卷创建多个页面，包含问题及可能的答案选项。
5. 创建并保存问卷后（最终问卷见补充文件2），返回平台主菜单，选择该问卷，点击开放 > 关闭公开问卷图标，使问卷对参与者开放。然后点击获取问卷链接图标，选择多种参与者访问方式（例如通过电子邮件或网站嵌入链接、网站上的iframe、网站弹窗，或提供给呼叫中心计算机的链接，参见图5）。
   注：问卷的最终版本结构如下：1）问卷目的、书面知情同意书及填写说明；2）参与者信息（所属机构或组织、年龄、性别、教育水平及服务学习领域的专业经验年限），该信息确保参与者的匿名性；3）服务学习经历相关数据；4）45个用于服务学习经历自我评估的条目；5）表达对参与者的感谢部分。

图 4：从零开始创建问卷。（1）点击新建问卷图标；（2）选择从零开始创建问卷。请点击此处查看此图的放大版本。

图 5：设计问卷。（1）编辑问卷；（2）添加并配置页面和问题；（3-5）设计页面、问题和答案。请点击此处查看此图的放大版本。

5. 取样方法

1. 查阅过去三年内由西班牙大学服务学习网络组织的所有会议纪要。列出近年来从事服务学习研究的作者名单，并收集他们的电子邮件地址。
   注意：采样方式为偶遇抽样和便利抽样。
2. 向所有作者发送电子邮件，邀请他们参与本研究。分别在一周后和两周后再次发送邮件提醒。
   注意：邮件鼓励收件人将邀请转发给可能有兴趣参与的联系人。因此，偶遇抽样方法结合了滚雪球抽样技术。
3. 以注册用户身份登录SaaS平台主页，选择已创建的问卷，点击结果。在弹出菜单中，点击问卷 图标，直接进入已完成的问卷页面。通过SaaS平台删除任何不完整或错误的回复（参见图6）。
4. 在排除不完整回复后，当问卷达到所需的最低参与者数量（>100）时，以注册用户身份返回SaaS平台主页，选择该问卷，点击开放/关闭公开调查图标以关闭调查，防止进一步参与（再次参见图5中的步骤1）。
   注意：共有来自43所高等教育机构的118名教育工作者参与，其中67.80%为女性，32.20%为男性。平均年龄为46.16岁（标准差 = 9.60），年龄范围为24至65岁。在学术资格方面，绝大多数（76.3%）拥有博士学位，其余参与者至少拥有学士学位。就服务学习经验而言，平均年限为6.69年（标准差 = 5.39年），最短为半年，最长为34年。参与者所在大学合作的机构包括教育中心（含其他大学）、社会中心、老年中心、卫生中心、非政府组织、基金会以及市政府和委员会等政府机构。服务学习合作关系分为两类机构：正规教育中心，占样本的50.85%；非正规教育中心，占其余的49.15%。在服务学习实施模式方面，64.41%为线下开展，35.59%包含某种形式的线上活动。

图6：获取调查链接。（1）打开调查；（2）点击获取调查链接图标；（3）选择所需的方法。请点击此处查看此图的放大版本。

6. 通过因子分析对问卷进行定量验证

1. 以注册用户身份登录 SaaS 平台主页面，选择已创建的问卷，然后点击 结果 图标。在弹出菜单中，单击 导出 并选择详细报告选项（高级电子表格格式），在 文本，扩展名为逗号分隔值（.csv）（参见 图7)。参与者完成问卷后，将数据以 .csv 格式导出至电子邮件账户，并确保数据存储在安全、私密且受保护的位置。
2. 开放统计软件包 1（参见 材料表）并选择 文件菜单 > 导入数据 > CSV 数据. 选择先前保存的 .csv 文件。此过程将匿名数据转换为统计软件包 1 所需的分析格式（参见 图8).
3. 选择要进行统计分析的变量（性别、年龄、教育资格、USL 活动的合作机构、USL 活动的目标群体、USL 活动的干预方式 以及来自QaSLu的45个项目），并删除通过统计软件包1生成的.sav文件导入的任何无关数据。
4. 使用 QaSLu-45 问卷评估其内部一致性 克朗巴哈系数 使用统计软件包 1。为此，请选择 分析菜单 > 比例尺 > 可靠性分析，并将所有相关变量转入 可靠性分析 对话框。最后，单击 好的 按钮以生成所需输出（参见 图9).
   注意：该问卷的信度和内部一致性较高，Cronbach's Alpha 测量值为 α = 0.917。
5. 使用统计软件包1进行探索性因子分析。
   1. 要进行此分析，请选择 分析菜单 > 降维 > 因子. 在 因子分析 对话框中，选择问卷中的所有项目，然后点击 描述性统计 并选择 单变量描述性统计 和 KMO 与巴特利特球形度检验.
   2. 点击 继续 返回主菜单 因子分析 对话框。接下来，单击 提取 并选择 主成分 作为提取方法。
   3. 检查以下选项 未旋转因子解 和 碎石图，然后点击 继续 再次返回主菜单 因子分析 对话框。最后，单击 好的 图标以生成输出（参见 图10).
      注意：Bartlett 球形度检验（χ2 = 2689.72；p = 0.00）和 Kaiser-Meyer-Olkin（KMO）抽样适切性检验（KMO = 0.793）的结果均具有显著性，表明由于 QaSLu-45 验证研究所采用的条目设计严谨且抽样合理，适合进行因子分析。主成分分析结果显示，共有 13 个成分的特征值大于 1.0，累计解释总方差的 69.95%。然而，碎石图（见 图11) 显示第一个成分具有如此显著的优势，以至于其余成分的重要性变得微不足道。因此，建议将 QaSLu-45 简化为单一成分，从而获得该设计的 QaSLu-45 唯一最终得分。
6. 将问卷的结果文件（不包括属性变量）转换为ASCII固定格式dat），兼容统计软件包 2（参见 材料表).
   1. 首先移除所有属性变量，仅在统计软件1中保留问卷条目作为变量。然后选择 文件菜单 > 导出数据 > 固定文本 （参见 图12).
   2. 将文件保存在安全位置，并使用易于识别的名称命名。此过程将匿名数据转换为统计软件包 2 分析所需的格式。
7. 使用统计软件包2对问卷的单因子模型进行验证性因子分析（CFA），以确定其拟合优度。
   1. 要进行此分析，请选择 读取数据， 然后在“样本”对话框中，单击 浏览 并选择先前创建的 ASCII 文件。参与者和变量的数量将以绿色显示在 数据矩阵的大小 部分
   2. 接下来，单击 开放单组数据集 图标并返回统计软件包2的主菜单。在主菜单中，点击 配置分析. 在 对话 菜单，检查 验证性因子分析 并点击 确认 按钮
   3. 在 CFA：因子分析配置 窗口，接受默认设置并点击 确认 返回主菜单。最后，主菜单中将显示消息“验证性因子分析已就绪”；然后，单击 计算 按钮（参见 图13）并等待结果。
      注意：QaSLu-45 量表条目在验证性因子分析（CFA）模型的拟合指标评估下，表现出优异的稳健拟合优度。根据 Kelley 提出的判断标准，QaSLu-45 量表条目的比较拟合指数为 >0.95（CFI = 0.973），由于CFA/自由度的最小-最大差异介于1至3之间（CMIN/DF = 1.053），近似误差均方根为 <0.06（RMSEA = 0.042），加权均方根残差为 <1.0（WRMR = 0.0978）

图 7：将数据导出以用于统计软件包 1 和 2。 （1）点击 结果 图标；（2）点击 问卷 图标；（3）在详细选项中选择 文本 和 CSV。 请点击此处查看此图的放大版本。

图 8：将数据导入统计软件包 1。选择 文件菜单 > 导入数据 > CSV 数据。请点击此处查看此图的放大版本。

图9：评估问卷的内部一致性。选择分析菜单 > 量表 > 信度分析。请点击此处查看此图的放大版本。

图10：使用统计软件包1进行探索性因子分析。（1）点击因子图标；（2）点击描述性统计图标；（3）在详细选项中选择KMO和巴特利特球形度检验；（4）点击提取图标；（5）在详细选项中选择碎石图；（6）点击确定图标。请点击此处查看此图的放大版本。

图11：45个条目初始版本的主成分因子分析的碎石图。 请注意，根据探索性因子分析，成分1与其他成分相比极为突出，表明其重要性远超过其余所有成分的总和，验证了单因子结构是该问卷最合适的模型。此图表已重印自López-de-Arana Prado 等人⁹。 请点击此处查看此图的放大版本。

图12：以固定格式将结果文件转换为ASCII格式。（1）点击固定文本图标；（2）在“保存类型”菜单中选择固定ASCII；（3）点击保存图标。请点击此处查看此图的放大版本。

图13：使用统计软件包2进行验证性因子分析。（1）点击读取数据图标；（2）在样本菜单中选择ASCII文件；（3）点击打开单组数据集图标；（4）点击配置分析图标；（5）在详细选项中选择验证性因子分析；（6）点击确定图标；（7）点击计算图标。请点击此处查看此图的放大版本。

7. 根据简约原则，优化问卷以获得单一主成分，减少多余的条目

1. 在问卷的优化版本中，识别出与主成分呈负相关的条目并予以删除。
   1. 使用statistical software package 1回顾步骤6.5中获得的成分矩阵，确定哪些条目与主因子呈负相关关系。在单因子结构的简化与优化版问卷中排除这些条目。
      注：根据各条目在主成分上的得分矩阵，条目6、16、28和35因与主成分呈负相关，已在最终构型中被剔除。由于该问卷仅提供一个总分，应删除负向条目，以避免掩盖问卷使用者之间的真实差异。
2. 使用统计软件包2进行稳健未加权最小二乘法（RULS）探索性因子分析。
   1. 执行此分析时，首先选择Read Data，然后在样本对话框中点击Browse，并选择先前创建的ASCII文件。Size of Data Matrices部分将以绿色显示参与者数量和变量数量。
   2. 接着，点击Open Single Group Dataset图标，返回统计软件包2的主菜单。在主菜单中点击Configure Analysis，在Dialog菜单中选择Explorative Factor Analysis，然后点击Confirm按钮。
   3. 在Exploratory Factor Analysis Configuration菜单中，根据使用统计软件包1进行的探索性因子分析结果，选择与主成分呈负相关的条目，并将其移至“排除变量”框中。
   4. 随后勾选Pearson Correlation Matrix和Parallel Analysis选项，将Number of Factors/Components更改为1，并选择Robust Factor Analysis（见图14）。最后点击Confirm按钮返回主菜单，再点击Compute以生成结果。
3. 识别并删除在优化版问卷中抽样适宜性度量（MSA）低于0.49的条目。为此，请查阅使用统计软件包2进行RULS探索性因子分析所得结果，特别是Item Location and Item Adequacy Indices部分。
   注：RULS探索性因子分析建议剔除14个条目，以使设计适配单一主成分：1、4、7、8、9、11、18、20、23、25、31、38、41和42。最终形成一个包含27个条目的优化构型，适用于单一主成分，且具有较高的心理测量学稳健性。该版本被命名为QaSLu-27（问卷样稿见Supplementary File 4）。

图14：使用统计软件包2执行稳健未加权最小二乘法。（1）点击读取数据图标；（2）在样本菜单中选择ASCII文件；（3）点击打开单组数据集图标；（4）点击配置分析图标；（5）在详细选项中选择探索性因子分析；（6）勾选皮尔逊相关矩阵和平行分析选项；（7）将因子/成分数量更改为1；（8）在选项中勾选稳健因子分析；（9）点击确认按钮；（10）点击计算图标。请点击此处查看该图的放大版本。

8. 评估 QaSLu-27 相对于 QaSLu-45 的心理测量学特性的充分性。

1. 重新执行步骤 6.4，分析时排除不属于问卷优化版本的任何条目。
2. 重新执行步骤 6.5，分析时排除不属于问卷优化版本的任何条目。
3. 重新执行步骤 6.7，分析时排除不属于问卷优化版本的任何条目。
4. 以表格形式比较问卷优化版本与原始版本的心理测量学特性的适宜性。
   ​注：KMO 抽样适切性检验（KMO = 0.863）和巴特利特球形检验（χ2 = 1447.76；p = 0.000）均显示出显著改善。对 QaSLu-27 进行主成分因子分析，发现七个特征值>1.0 的因子，共解释总方差的 65.59%。通过验证性因子分析（CFA）确定的模型拟合优度指标显示结果略有提升，且 Cronbach's α 系数所测得的信度有所提高（α = 0.92），尽管 QaSLu-27 仅包含 27 个条目而非 45 个。这些结果支持最终版本的效度和稳健性显著高于原始 45 条目版本的结论。

9. 评分量表的开发

1. 通过汇总问卷优化版本中所有条目的得分，创建一个新变量。
   1. 选择 转换菜单 > 计算变量，在计算变量对话框中将新变量命名为 SUM27。
   2. 选择求和函数，并完成数值表达式，包含问卷优化版本中的所有条目。最后点击确定图标以生成新变量 SUM27（见图15）。
2. 计算问卷优化版本最终结果的不同百分位数。
   1. 选择 分析菜单 > 描述统计 > 频率，在频率对话框中选择变量 SUM27，并通过点击箭头图标将其移至变量(s)框中。
   2. 然后点击统计图标，选择百分位数(s)，并添加以下百分位数：1、5、15、25、35、45、55、65、75、85、95 和 99。点击继续图标返回频率对话框。最后点击确定图标以生成 SUM27 的所需百分位数（见图1）。
   3. 对每个评分量表重复此过程，根据所添加的变量应用筛选条件。为此，点击拆分文件图标，选择每个被认为相关的名义或有序变量，选择按组组织输出，点击箭头图标，最后点击确定图标以按每个变量筛选生成 SUM27 的所需百分位数。
3. 为每个评分量表创建一个表格。
   1. 为表格标题创建一行，随后创建表示“低”（包含百分位数 1、10 和 20 的子行）、“中低”（包含百分位数 30 和 40 的子行）、“中等”（百分位数 50）、“中高”（包含百分位数 60 和 70 的子行）和“高”（包含百分位数 80、90 和 99 的子行）的行。
   2. 在标题行中创建若干列：第一列为“等级”（下方列出各等级名称），第二列为“百分位数”（下方列出各百分位数），从第三列开始依次列出为每个表格所选变量的不同条件名称。
   3. 使用先前计算的百分位数对应得分范围填充表格。即：百分位数 1 = 0 - 百分位数 4，百分位数 10 = 百分位数 5 - 百分位数 14，百分位数 20 = 百分位数 15 - 百分位数 24，百分位数 30 = 百分位数 25 - 百分位数 34，百分位数 40 = 百分位数 35 - 百分位数 44，百分位数 50 = 百分位数 45 - 百分位数 54，百分位数 60 = 百分位数 55 - 百分位数 64，百分位数 70 = 百分位数 65 - 百分位数 74，百分位数 80 = 百分位数 75 - 百分位数 84，百分位数 90 = 百分位数 85 - 百分位数 94，百分位数 99 = 百分位数 95 - 百分位数 99。对每个评分量表及所选的名义或有序变量重复此过程。

图15：在统计软件包1中通过汇总所有条目得分创建新变量。 （1）单击计算变量图标；（2）选择求和（Sum）函数；（3）在数值表达式中填入所有条目；（4）为新变量指定一个名称；（5）单击确定图标。 请点击此处查看该图的放大版本。

结果

在完成这一严格的定性-定量验证流程后，我们开发出一种可靠、优化且简洁的工具，用于大学生服务性学习体验的自我评估，命名为QaSLu（高等教育服务性学习体验自我评估问卷）。该最终版本的工具已通过德尔菲法获得16位服务性学习（SL）领域专家的定性认可，历经两轮在线咨询与修改；同时，基于118名具有服务性学习专业背景的大学教授的样本数据，通过验证性因子分析以及稳健未加权最小二乘法探索性因子分析，完成了坚实的定量验证^38,41,42。最终，这一耗时且复杂的定性-定量验证过程成功构建出若干评分量表，可用于确立针对高校人群的比较性基准，并可根据年龄、性别、学术水平、高校服务性学习经验、在干预活动中的主要角色、服务接收机构或组织、服务性学习活动的主要服务对象群体，以及是否通过数字媒体开展服务性学习等变量进行调整。

首先，关于通过德尔菲法进行的定性验证，研究进行了初步优化，将QaSLu的54个原始条目精简为一个包含...

讨论

用于仪器验证的方法具有多项优势。德尔菲法有助于收集专家小组的见解，从而系统地整理这些信息以供分析。该方法可根据专家的评估和建议对回答进行选择和优化^32,47,48,49。此外，该方法在相对较短的时间内即取得了显著成果⁴⁸。另外，在咨询轮次的实施阶段采用了改良的"在线"德尔菲法，因为咨询通过电子邮件进行。这一调整解决了传统德尔菲法所存在的局限性^{30,31,50,51,52,}

材料

本文使用的材料清单

姓名	公司	目录编号	评论
Encuestafacil.com 软件即服务	Encuestafacil.com	2025	在 Encuestafacil.com 私有数据服务器上运行的软件即服务
因子分析	罗维拉-威尔吉利大学	12.06.07	用于数据因子分析的软件包
社会科学统计软件包（SPSS）	IBM	24	用于数据分析的统计软件包