使用学习成果评估指标评估护理学博士教育

摘要

本文讨论并应用了通过可定制评估量规来测量学生学习成果的结构与流程，该方法应用于博士护理教育项目。

摘要

各级教育项目都必须能够证明其项目成果的有效性。仅凭成绩无法全面衡量课程或项目层面的学生学习成果。评估量规的制定与应用提供了一种明确的测量方法，通过定性与定量可测的课程及项目总体成果，为提升教育质量奠定基础，从而确保优质的学习体验。学习成果体现了完整的教育体验，应包含对定性与定量项目成果的评估。在各级教育项目中，定性指标的评估对教育工作者而言均构成挑战。护理学因其通过关怀的艺术实践科学，带来了独特的挑战与机遇。通过设计用于衡量护理教育与学习过程中定量与定性特征的评估量规，可增强对期望学生学习成果的量化能力。这些量规为护理教师提供了一种统一的评估机制，用以评估那些原本难以描述和衡量的概念与构念。本文提出了一项应用于博士护理教育项目的方案，并提出了将该评估量规推广应用于其他教育项目的建议。通过应用这些专门设计的量规，可充分评估教育项目的各个方面，获取用于项目评估的信息，从而促进缩小特定教育能力领域中期望与实际学生学习成果之间的差距。

方案

以下方案描述了用于衡量学生学习成果的评估量规的开发过程。该过程应用于一个护理学博士教育项目。

1. 引言。在过去的二十年中，医疗教育领域的教师越来越面临挑战，需要通过其教育项目证明学生在毕业时已充分准备好应对复杂的实际工作环境（^{1, 2, 3,4, 5, 6}）。学生学习成果评估这一概念建立在一种愿望之上，即通过测量手段展示：成功完成某一知识领域学习过程的学生，与未完成该过程的学生相比，在能力上存在差异。仅凭成绩无法体现学生对学习成果的掌握程度，而只能反映其在某一时间点应对测试程序的成功或失败。过分强调评分而忽视学习，会导致形成一种“应试文化”，而非“学习文化”（⁷）。此外，大多数测试方法仅能对那些已经或易于量化的概念进行定量测量。然而，对于科学或技能中更多与质量相关的方面，我们又该如何衡量？教育工作者应如何评估这些方面？它们又应如何体现在预期的学生学习成果中？如何将这些方面量化，以便进行恰当的测量？作为一个社会，我们通常不会重视那些无法测量的事物。本方案提供了一种方法，通过所谓的“评分量规”（rubrics）（⁸），对任何学科或技能中的概念和构念进行量化。一旦这些概念被量化，就可以对其进行测量、调整和优化，从而证明学生已经获得了相应的知识。
2. 结构。以下核心概念以可视化方式定义，与评估过程相关。首先，学习成果概念的构建如下所示（见表1）。学习成果是指学生在成功完成与某一类内容相关的学习过程后，应具备的知识体现。学习成果应涵盖基于测量的知识（本质上为定量）和基于意义的知识（本质上为定性）。
   1. 结构—方法论。评估过程的下一个核心概念是测量方法。许多教育工作者将学生成功达成学习成果与考试高分混为一谈。仅以成绩作为唯一的测量方法，只能反映学习过程潜在评估的一半。这一点可通过以下问题最好地说明：在以下两名学生中，谁真正掌握了学习成果？一名学生在考试中得分为90%，但在现实情境中无法实际应用所学知识；另一名学生在相同考试中得分为70%，却能在现实情境中按需运用知识。成绩本身仅提供了一个基线性的、特定时间点的知识验证与综合能力的测量，无法反映知识的转化或应用能力。
   2. 结构—评分量规定义。在理解了学习成果的基础之后，我们需要了解衡量它的最佳方式。其中一种有效方法是使用矩阵或评估量规。要正确开发学生学习成果评估量规，首先必须明确什么是量规。量规是一种评分工具，当其被恰当构建时，可使使用者依据一组明确定义的标准来评估某项工作成果。此外，它提供了一种机制，将那些“直觉判断”转化为可测量的现象。研究表明，这种方法对教师和学习者都具有重要价值，尤其是在成人学习环境中（^{9, 10}）。
   3. 结构—评分量规构成。评分量规通常以网格形式呈现，包含行与列。行表示用于界定所要测量概念或构念的不同类别，而列表示在每个类别中所测量各项标准的不同程度。表2提供了基本评分量规的框架。
   4. 结构—评分量规概述。在理解了评分量规的定义及其功能后，您需要思考所要界定的概念或构念包含哪些方面。表3提供了一个示例，展示了可应用于学习成果评估量规并进行测量的定量与定性概念。
3. 过程。开发有效评分量规的方法，依赖于该量规快速而准确地测量您希望评估的概念或构念的能力。在其最原始的状态下，它是评估者“直觉感受”的体现。理想情况下，测量过程应同时考虑定量方面（常规且易于测量的内容）和定性方面（具有意义但不易测量的内容），并将两者以评估量规的形式进行量化。
4. 结果。在教育过程中开发并使用评估量规的预期结果，是准确测量学生的学习成果。学习成果是对教师期望学生在课程或项目结束时能够掌握的知识、能够执行的操作、所持价值观及思维方式等方面的可测量陈述。
5. 应用。Harden指出，学习成果可以被量化，从而实现对医学实践中所需能力的测量（¹¹）。研究表明，设计良好的学习成果可用于衡量顶点课程中的表现，是关联护理教育准备与顺利过渡到临床实践的有效工具（¹²）。正确构建的用于评估学习成果的评分量规，是设计良好的学习成果测量项目的核心组成部分（^{13, 14}）。在专业教育项目中，当定性概念在实践中处于核心地位时，此类量规具有重要意义。本方案应用于一个博士层次的护理教育项目，旨在示范如何在课程和项目层面开发并使用评估量规，以评价预期的学生学习成果。
   1. 应用—情境设定。护理实践博士（Doctor of Nursing Practice, DNP）是一个相对较新的博士学位，是护理领域的实践型博士学位，与医疗领域其他实践型博士学位如医师的医学博士（MD）、药剂师的药学博士（PharmD）以及心理学家的心理学博士（PsyD）并列。该学位的核心要求是，毕业生应具备综合能力与伦理决策能力，以实现将研究成果转化为护理实践的知识转化。认证DNP项目的机构要求，学生学习成果必须衡量学生在课程和项目层面上，通过技能与知识的应用，展示前述及其他相关能力的水平。
   2. 应用—学习成果开发。DNP项目中的一位教师希望向学生传授知识与技能，使其能够展示出伦理决策的能力。首先，教师应通过以下问题指导其学习成果评估工具的构建：“我希望用什么标准来区分已经掌握X概念的学生与尚未掌握该概念的学生？”在本应用中，该概念即为伦理决策（见表1示例）。
   3. 应用—概念开发。接下来，教师应列出支撑所要测量成果结构的各个核心概念。在本例中，我们希望评估的是伦理决策能力。表1再次提供了这些关键概念的示例。
   4. 应用—定量评分量规部分开发。第三，教师应确定哪些概念本质上是定量的，可作为基于测量的知识所构成的学习成果进行测量。表4展示了一个用于衡量上述学习成果的评分量规中，伦理决策的定量测量部分。
   5. 应用—定性评分量规部分开发。第四，教师应确定哪些概念本质上是定性的，可作为基于意义的知识所构成的学习成果进行测量。该部分的量规开发可通过两种方式实现：一是作为纯定性描述部分的量规，二是作为准定性描述部分的量规。一旦该部分完成，整个评分量规即可用于学习成果的评估。
   6. 应用—定性评分量规部分详述。有必要进一步详细说明澄清教师如何测量学习成果中定性概念的重要性。纯定性层级量规的优势在于，它能将先前模糊或未定义的概念用语言明确表达出来，帮助教师开始将对学生学习的“直觉判断”转化为可界定的描述。然而，采用纯定性方法进行量规测量的代价是牺牲了评估量规的可靠性，因为评分仍取决于评估者的主观判断。相比之下，将概念发展为准定性描述性评估部分，可在其他评估者使用时实现更可靠的测量，因为它以一种简单、客观可测的形式对概念进行了量化。
   7. 应用—量规测试。在评分量规创建完成后，重要的是确定其将如何应用于成果测量。通常，学习成果测量量规应用于课程中的学习活动，并与评分要素相关联。表5的示例展示了我们刚刚创建的量规如何应用于一项伦理决策练习中。

讨论

1. 我们已经展示了学习成果评分标准的定义、构建方法以及如何将其应用于DNP教育项目中以评估学习成果。在此需要进一步阐述以下几个关键要点。
   1. 学习成果评分标准与评分评分标准的区别。首先，必须明确区分评分评分标准与学习成果评分标准。评分评分标准旨在帮助教师根据学生在特定作业中的表现评定其应得成绩，可能包含定量和定性两方面内容，也可能不包含；而学习成果评分标准则专注于帮助教师评估学生是否掌握了某一概念或构念的所有关键和核心要素。学习成果的测量通常包括定量和定性两个方面。最重要的是，被评分的作业通常是学习成果整体评估的一部分。
   2. 内在定性概念的量化。一旦理解了学习成果评分标准与评分评分标准之间的区别，构建学习成果评估评分标准最具挑战性的部分便是确定你希望将定性成分界定到何种程度。如前所述，若将成分定义停留在纯粹定性层面，虽可赋予教师个体在评估成败时更大的自由度，但通常难以被其他授课教师可靠地使用，因为其定义往往取决于评估者的主观判断。此外，此类评分标准也容易引发学生对评分和评估结果的质疑，因为其解释仍可能因人而异。
   3. 课程层面与项目层面的学习成果。合理构建的学习成果评估评分标准可用于对教学与学习过程及程序进行准确的课程层面评估。然而，这些评分标准同样适用于项目层面的学习成果评估。例如，某一学生群体在特定学习成果（如本应用案例中所使用的）上的得分结果，可用于在汇总或项目层面上证明教学与学习过程的有效性。随后，这些结果可帮助项目教师明确追踪教学过程中哪些具体方面需要改进，作为学习项目持续绩效改进流程的一部分。
2. 结论。我们力求阐明与学习成果评分标准相关的概念，具体包括它们的定义及其边界、构建方法以及使用方式。此外，我们还通过DNP项目的案例研究示例，展示了学习成果的开发过程。学习成果测量是一个常被误解且误用的概念和流程，可能导致教师与学生双方的不满。本次展示聚焦于通过可视化方式清晰表达学习成果测量构念，以展现时序性知识的发展过程。