Summary
在这里，我们为健康科学学生（20-56岁）提出了基于项目的学习方法的行为分析协议。该协议有助于通过监测工具比较参与者在电子学习与混合学习（b-Learning）中的表现。使用教育数据挖掘和定性技术分析结果。
Abstract
世界各地的学术领袖都在鼓励在教学中使用积极的方法，特别是在高等教育中。其原因是社会变革正在以越来越快的速度发生，它们需要学生和教师发展数字技能。这对于健康科学学位尤其重要，未来的毕业生必须具备有效的解决问题的能力。为了应对这一挑战，使用基于项目的学习（PBL）方法，以及基于使用教育数据挖掘（EDM）和混合方法的各种监测技术，将为教师提供有关该方法有效性的信息，并指导实施个性化的教育响应。
本研究为在高等教育中学习职业治疗的健康科学学生提供将PBL方法应用于电子学习和混合学习（b-Learning）教学模式的协议。此外，用于分析协方差和无监督学习的统计技术允许检测两种教学模式之间的差异，从而根据与行为模式、表现和满意度相关的一系列变量指定它们的有效性。数据可视化还有助于理解学习过程的定性方面。这些数据将帮助教师根据教学过程的背景，为PBL方法的实施提出更有效的建议。因此，该协议提供了许多资源和材料，以帮助教师在电子学习和b-Learning教学方法中实施PBL方法。
Introduction
基于项目的学习方法的特点
如今，各行各业的专业人士面临着全球化在各个领域带来的众多（技术、社会政治和经济）挑战，例如环境1.这些问题影响着疾病的全球传播，从而减少了资源，加剧了贫困，并需要承担创建可持续社会的责任1.卫生专家有潜力和技能，通过大规模推进护理战略和技术，同时为改善人们的生活质量做出贡献，确保社区的生存能力2.联合国强调，需要所有国家积极参与可持续发展目标1，应对这些 挑战。卫生专业人员的活动可以与许多拟议目标联系起来。因此，那些培训医疗保健学生的人必须获得教学方法，帮助学生获得使他们能够面对这些新挑战的能力1，2。
在现有的各种教学方法中，基于项目的学习（PBL）3 作为一种帮助学生培养安全有效地应对其职业未来挑战所需的能力的方法脱颖而出3.PBL是一种创新的教学方法，通过改变教学过程，使学生成为自己学习的主角，克服了传统方法的局限性。这一变化有助于学生在现实生活中获得解决问题的能力4.PBL基于教师提出的研究问题5，这些问题包含在与该学科相关的实际场景中。学生必须在协作小组中解决问题。最终目标是通过解决任务或问题6 的小组工作获得知识（概念、程序和态度）。
这种方法起源于教育和建构主义心理学领域，从这些开始，它就被适应了不同的学科6。然而，实施这种方法可能会受到缺乏教育资源和基础设施的影响，因此，有时会使用将传统教学与PBL7，8相结合的混合模型。然而，这些模型在学习体验方面表现出局限性1。因此，制定指导和促进这些方法的使用和解释的教学规程非常重要。此外，近年来，PBL方法已通过虚拟学习平台（学习管理系统（LMS）9）在所谓的在线基于项目的学习（OPBL）10中实施。
健康科学领域大学生基于项目的学习方法
该协议对于帮助教师应用这些方法并解释教学过程产生的结果非常重要9.该方案可以从学校教育开始到高等教育，并可以根据不同的心理、身体和社会经济条件量身定制11.所提出的协议侧重于与健康科学领域的大学生合作。教学模式基于围绕教师准备的项目组织学习，教师作为初始刺激，从这个框架中，学生成为他们自己学习的主要焦点11.该方法是一种积极，全面和建设性的方式，让学生获得与他们未来的专业实践密切相关的基本能力（概念，程序和态度）4，12。
结合学习方法，刺激获得与概念和程序知识相关的认知和元认知能力4，13，14，所有这些都有助于学生发展批判性思维，增加学习动机以及决策和解决问题的自主性13.然而，成功应用这种方法的关键之一是教师准备的项目必须与实际实践直接相关，并且必须赋予学生根据最低初始准则4，9处理问题的自主权。这意味着教师需要明确定义评估学生能力的工具，并就将用于塑造PBL的评估标准为他们提供指导，并评估评估的完成情况15，16。此外，学生受益于与同龄人的合作，通过辩论学会争论和自信，从而培养沟通和团队合作技能4，16。
大学生的主要目标是通过应对教师为促进获得这些能力而设定的挑战来“学会学习”14（这些挑战稍后将在学生未来的工作生活中实施）。使用这种方法的结果表明，它鼓励自主学习和解决实际问题4.这种方法的另一个优点是，它非常有效地帮助学生获得在线教学和混合学习（b-Learning）的能力，特别是在健康科学方面17，18，19。由于 COVID-19 大流行20，21，这变得尤为重要。
PBL的共同要素可以总结如下：（1）首先，向学生解释与项目相关的概念（在在线教学环境中，可以使用翻转的学习体验）;（2）项目计划的定义和分析;（3）对支持理论进行复习，制定计划，帮助理解研究对象;（四）提出解决问题的目标和问题;（5）制定可能的解决方案，评估最可行的方案;（六）落实这些方案;（七）报告结果;（8）进行批判性反思，提供反馈，评估过程，包括提出新问题;（9）通过展示作品4，6，13来完成该过程。
还应该记住，并非所有学生对这种方法的反应都相同。更积极地参与学习的学生、批判性思维者更强的学生以及人际关系技巧更好的学生往往会取得更好的成绩22.习惯于传统学习方法的学生也可能会感到沮丧。这就是为什么应该给学生明确的工作规则和从一开始就实施项目阶段的时间表8.如上所述，PBL已在健康科学学位中广泛使用，并且在文献中有大量证据支持它18，23，24。但是，已经确定了可以改进的一些方面，这些方面与临床技能研讨会和科学界的经验传播有关25，26。
这种方法对于实习比例较高的学位（例如，护理与医学、职业治疗与心理学或营养学）似乎有更好的结果3。此外，最近的研究建议通过不同程度之间的联合培训项目来实施PBL方法，以在真实环境中进行互动。目标是获得多学科和跨学科的能力27，28。然而，要很好地实施这种方法，教学人员必须有资格实施它，学生必须在临床实践方面发展批判性和发散性思维，特别是在健康科学3，15，18，29的情况下。
实施的另一个重要方面是需要评估学生对PBL方法培训的满意度，并分析他们的想法以进行改进19，30，31。更具体地说，据报道，职业治疗学生发现这种方法对他们的学习至关重要，因为它使他们能够学习如何解决与他们在职业生涯中将面临的类似问题，从而提高他们的动力31.同样，一项始于1993年的纵向研究 - 其中在职业治疗学生中评估了PBL的混合模型 - 表明学生对他们未来的专业实践的小组学习有非常积极的看法7。另一项针对职业治疗学生的研究发现，对该方法的高度满意度。这是因为学生认为这种学习方式有助于他们通过实践获得知识，并使他们能够在未来的工作中做出适当的反应13.
总之，在健康科学课程中使用PBL方法是学生获得专业能力的关键。各种研究表明了确定干预措施和材料设计的优先顺序的步骤，以实现有效、令人满意的学习。因此，监控学生的学习过程非常重要，以发现学习的早期或潜在问题并解决这些问题。应使用教育数据挖掘（EDM）和混合方法分析技术进行监视，其基本原理将在下面讨论。
教育数据挖掘技术
在电子学习或 b-Learning 教学模型中使用 LMS 时，会生成一系列日志或日志文件，用于捕获每个学生和教师的交互。这些日志是学习行为的证据，可以使用EDM或学习分析（LA）32 技术进行分析。这些技巧使教师能够了解学生互动存在什么，有多少互动，以及互动的质量如何33.特别是，EDM技术更容易发现学生的学习行为模式及其互动4.EDM技术可用于研究不同的配置文件35，36 （面向学生或面向教育工作者）。
最终目标是为教学提供反馈，评估课程内容结构，分析在学习过程中有效的元素，对学生类型进行分类，并确定对学习的指导和监测的需求。这有助于确定每个学生最常见的学习模式和错误的频率，然后可以用来定制最合适的教育反应。EDM技术可用于监控学生的学习过程，以 通过指导提供 适当的帮助。EDM技术包括监督学习技术（预测或分类技术）37 和无监督学习技术36 （聚类技术）38。在包括主动教学方法（如PBL）的教学过程中使用EDM技术已被证明对于研究个别学生的行为和协作小组中的学生行为非常有效10。
计算机辅助定性分析技术的应用
在过去的二十年中，定量和定性技术，或两者的结合，已被应用于所谓的混合方法39的研究。在处理复杂的分析问题（例如监控学生的学习行为）时，使用混合方法进行数据分析特别有用。使用这些方法可以将定性数据（例如学生对调查中开放式问题的反馈）转换为定性数据，并使用不同的数据可视化技术对数据分析40。各种计算机辅助（或辅助）定性数据分析软件（CAQDAS）可用于促进数据转换和分析41。
图 1 显示了通过 PBL 方法进行教学的程序、学习行为分析、EDM 的使用和基于计算机的定性分析技术的摘要。
图1：PBL工作以及EDM和基于计算机的定性分析技术的使用。 在电子学习和b-Learning教学环境中应用EDM和文本挖掘技术的数据收集和处理。缩写：PBL = 基于项目的学习;EDM = 教育数据挖掘;DB = 数据库;电子学习=在线课程;b-学习=混合课程（在线和实体课程）。 请点击此处查看此图的大图。
本研究提出了三个研究问题： RQ1：考虑到学生先验知识的影响，学习职业治疗的健康科学学生的学习成果和满意度是否存在显着差异，这取决于PBL方法是通过电子学习还是通过b-Learning 实施 ？ RQ2：发现的参与者集群是否与学习成果、学习行为和感知满意度相匹配，作为教学方式（电子学习与b-学习）的函数？ RQ3：学生对改进PBL方法的建议是否因教学方式（电子学习与b-Learning）而异？
以下协议可供医疗保健教师使用，也可以修改以与其他知识领域的学生一起工作。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
该协议是根据布尔戈斯大学（西班牙）生物伦理委员会编号IO 03/2022的程序规定执行的。在参与之前，受访者充分了解研究目标并提供了知情同意。他们的参与没有得到任何经济补偿。
1. 参与者招募
- 从高等教育的两组（学生和教师）中招募年龄在20岁至56岁之间的成年参与者，特别是职业治疗的本科生。
注： 表1 显示了按教学方式、年龄和性别分列的学生名单。在 COVID-19 大流行期间，PBL 方法在两个不同时期使用：完全禁闭的紧急状态（由于完全禁闭，教学必须通过电子学习 进行 ）和部分禁闭的紧急状态（只有 COVID-19 检测呈阳性或与检测呈阳性的人直接接触的学生才被限制; 在这种情况下， b-学习被应用）。
表 1：样品特性。 两组的样本特征（年龄、性别）（电子学习教学方法与b-学习教学方法）。缩写：电子学习=在线课程;b-学习=混合课程（在线和实体课程）;M 年龄 = 平均年龄;SD 年龄 = 标准偏差年龄。 请按此下载此表格。
2. 实验程序
- 第一节： 收集同意书并向参与者介绍情况
- 收集知情同意书、个人数据和背景知识。
- 在教学的第一周，告知受训者学习的目标以及数据收集，处理和存储。如果学生同意参加，请他们签署知情同意书。
注意：参与本研究是自愿的，没有经济补偿。这方面确保了在没有经济条件因素的情况下执行任务的动力。
- 第二节： 评估学生的先验知识
- 在教学的第一周，要求学生完成一份关于他们对核心学科概念的先验知识的调查问卷。以二分法或李克特型量表从1到5记录封闭问题的答案（表2）。
注意：先验知识问卷包含与应用于该主题的方法相关的封闭式问题，在这种情况下，包括用于报告课程事件的个性化语音助手、面向过程的自动 反馈系统、虚拟实验室、 翻转课堂体验和 PBL。问卷通过UBUVirtual学习平台匿名应用，这是一个Moodle环境（模块化面向对象的动态学习环境），并由学生在线填写。本研究中的问卷的Cronbachα可靠性指数为α = 0.88，如果删除项目，则每个项目的α = 0.87-0.89。问卷还包括一个关于学生对该主题的动机的开放式问题。
- 在教学的第一周，要求学生完成一份关于他们对核心学科概念的先验知识的调查问卷。以二分法或李克特型量表从1到5记录封闭问题的答案（表2）。
- 第三节： 告知学生基于项目的教学方法和要使用的不同资源
- 为学生提供如何交付PBL的指南，以及项目评估和项目演示的量规。
- 告知学生可用的高级学习技术资源（智能语音助手、面向流程的个性化反馈、虚拟实验室、带有资格反馈的问卷、翻转课堂体验和 PBL 体验）。
注意：学生可以访问详细说明PBL方法的文件（请参阅补充材料附录1）以及用于执行项目和展示项目的两个量规（请参阅补充材料附录2）。- 确保在电子学习组中，学生得到智能语音助手的协助，该助手会通知他们有关课程活动的信息。
- 在b-Learning组中，不要使用此资源，而是要求参与者在物理模拟实验室中执行项目，而不仅仅是虚拟的，就像电子学习组一样。
- 第四节： 案例研究的选择
- 将学生分成两到五名参与者的小组，并要求每组从一系列与0-6岁儿童的不同发育障碍（身体，心理或感官）相关的实际案例中进行选择。
注意：案例研究包括来自临床病史的数据（示例可在 补充材料附录3中找到）。
- 将学生分成两到五名参与者的小组，并要求每组从一系列与0-6岁儿童的不同发育障碍（身体，心理或感官）相关的实际案例中进行选择。
- 第五节： 项目干预范围说明
- 要求每个小组准备一份介绍，描述他们将实施项目的服务类型（他们可以在早期护理框架内选择健康、教育、患者团体或私人服务领域的干预）。
注意：学生以创造性的方式精心制作作品;一些示例可以在 补充材料附录 4 中查阅。
- 要求每个小组准备一份介绍，描述他们将实施项目的服务类型（他们可以在早期护理框架内选择健康、教育、患者团体或私人服务领域的干预）。
- 第六节： 在干预领域工作的专业人员的描述
- 要求每个小组描述将要干预的专业人员的角色，以及将应用的关系结构，鼓励跨学科工作。
- 第7节： 干预案例研究的描述
- 要求每组描述病理或发育障碍的特征。
- 第八节： 创建干预计划
- 要求每个小组在干预计划中准备解决以下要素的各个阶段：初步用户评估，基于初始评估结果的拟议评估指标，实现儿童技能或行为发展的拟议干预程序，干预所需的材料，概括活动的建议， 以及干预的后续行动计划。
- 在虚拟实验室中，让老师帮助电子学习小组的学生。
注意。有关在虚拟实验室中为电子学习学生提供的帮助示例，请参阅 补充材料附录 5。 - 通过b-Learning小组模拟中心的实践课程 来 执行项目的这一部分。
- 在虚拟实验室中，让老师帮助电子学习小组的学生。
- 要求每个小组在干预计划中准备解决以下要素的各个阶段：初步用户评估，基于初始评估结果的拟议评估指标，实现儿童技能或行为发展的拟议干预程序，干预所需的材料，概括活动的建议， 以及干预的后续行动计划。
- 第九节： 项目文件的制作
- 要求每个小组提供一份文档，解释为所选实际案例创建的项目。
注：项目使用项目开发评价量规进行评估（见 附录2补充材料）。
- 要求每个小组提供一份文档，解释为所选实际案例创建的项目。
- 第10节： 项目介绍
- 要求每个小组介绍他们选择的实际案例。
注意：演示文稿是给他们的同学和教授的。 - 评估演示文稿。根据演示文稿评估量规对演示文稿进行评估（请参阅 补充材料附录 2）。
- 要求每个小组介绍他们选择的实际案例。
- 第11节： 跟进学生的工作
- 通过学生行为监控软件41工具评估UBUVirtual平台上学生群体的互动，该工具允许单独（图2）和分组分析学生的互动（图3）。
- 要执行组分析：单击组 图标>组 01 >选择所有>日志。选择 “组件”> “从 可视化分析 中选择全部指向”，然后选择 “热图”。这将生成一个热图，允许单独分析交互，如图 2 所示。
- 要执行单个分析：单击“选择所有比较>”。选择“日志”>“组件”。然后，单击从可视化分析中选择全部指向并选择热图。这将生成一个热图，允许将交互作为一个组进行分析，如图 3 所示。
- 使用该工具确定每个学生单独（图 4）和小组内的互动（按照步骤 2.11.2 和步骤 2.11.3）。
- 第12节： 评估学生对基于项目的学习的满意度
- 要求每个学生在课程结束时完成一份关于他们对PBL工作的满意度的意见调查（表3）。
注意：PBL 满意度调查包括 17 个封闭式回答问题，以 1 到 5 的李克特类型量表和两个开放回答问题进行测量。本研究中的克朗巴赫α可靠性指数总体量表为α = 0.89，如果删除项目，则每个项目的α = 0.88-0.91。
- 要求每个学生在课程结束时完成一份关于他们对PBL工作的满意度的意见调查（表3）。
- 第13节： 数据分析
- 对于第一个问题 （RQ1：考虑到学生先验知识的影响，学习职业治疗的健康科学学生的学习成果和满意度是否存在显着差异，这取决于PBL方法是通过电子学习还是通过b-Learning 实施 的？），将所有数据从电子表格导入统计程序，SPSS42：PBL的阐述（LOEPBL），PBL的呈现（LOEXPBL），学习成果总数（LOT），获得LMS访问（LMSA），学生对教学的满意度（SPBL），自变量（电子学习模式的类型，即教学的实施年份）和协变量（先验知识）。
- 对于电子学习与 b-Learning 教学模式组（在 COVID-19 大流行的第一年，在线教学）和 b-Learning（在 COVID-19 大流行的第二年，混合教学，部分面对面，部分在线）都这样做。
- 执行具有固定效果（教学方式：电子学习与b学习）和协变量（先验知识）的ANCOVA。
- 选择 多变量分析 并包括因变量（LOEPBL、LOEXPBL、LOT、LMSA 和 SPBL）、自变量（b-Learning 的教学模式类型）和协变量（先验知识）。
- 估计边际均值并通过按 确定 按钮执行 ANCOVA 分析。
- 对于第二个问题 （RQ2：发现的参与者集群是否与学习成果、学习行为和感知满意度相匹配，作为教学方式的函数[电子学习与b-Learning]？），请执行以下步骤：
- 选择 均值聚类分析 ，然后选择变量 LOEPBL、LOEXPBL、LOT、LMSA 和 SPBL。然后，选择“ 群集成员身份 ”，然后稍微暂停，单击 “连续 ”并再次稍微暂停。选择 初始聚类中心>方差分析表>每个个案的聚类信息 。然后，选择 “继续”。
- 选择为群集成员身份找到的数据与电子学习与 b-Learning 教学模式组之间的交叉表。对于“行”，选择 可变 年份（电子学习模式的类型，即教学实施年份）。对于列，选择事例的 群集编号 。
- 使用可视化软件执行聚类分析。为此，请将数据导入可视化软件，然后选择 Radviz >热图。使用与所用教学模式的关系研究的不同变量实现集群的可视化。
注意：此分析使用了免费数据挖掘软件43 （参见 材料表）。
- 对于第三个问题 （RQ3：学生对改进PBL方法的建议是否因教学方式，电子学习与b-Learning而异？），请执行以下步骤。
- 使用定性数据分析软件44 对两组电子学习与 b-Learning 的 PBL13 满意度量表中找到的开放答案进行定性分析。将学生对教学满意度的开放式问题的答案（SPBL）导入软件。
- 选择在两种教学模式（电子学习与b-学习）中对 学生的回答进行分类 。
- 选择 文档组 （教学方式：电子学习与 b-学习）分析。
- 选择 桑基图。
- 将结果导出到电子表格软件中。
注：首先，对开放式问题的回答按每个教学方式组（电子学习与b-学习）进行分类，并按组和分类对回答进行频率分析。结果使用桑基图可视化。这是使用定性数据分析软件44 完成的（见 材料表）
- 对于第一个问题 （RQ1：考虑到学生先验知识的影响，学习职业治疗的健康科学学生的学习成果和满意度是否存在显着差异，这取决于PBL方法是通过电子学习还是通过b-Learning 实施 的？），将所有数据从电子表格导入统计程序，SPSS42：PBL的阐述（LOEPBL），PBL的呈现（LOEXPBL），学习成果总数（LOT），获得LMS访问（LMSA），学生对教学的满意度（SPBL），自变量（电子学习模式的类型，即教学的实施年份）和协变量（先验知识）。
表 2：先验知识问卷13. 先验知识问卷中的开放和封闭问题。 请按此下载此表格。
表 3：对 PBL 的满意度13. PBL满意度量表中的开放和封闭问题。缩写：PBL = 基于项目的学习。 请按此下载此表格。
图2：单个学生在UBUVirtual平台上的行为分析。 学生在虚拟学习平台上进行的行为的热图。 请点击此处查看此图的大图。
图3：UBUVirtual平台上所有学生行为的分析。 分析学生在虚拟学习平台上执行的与任务完成有关的学习行为。 请点击此处查看此图的大图。
图4：UBUVirtual平台上学生群体行为分析。 分析学生在虚拟学习平台上工作组中完成任务的学习行为。 请点击此处查看此图的大图。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
本研究招募的98名受试者是年龄在21岁至56岁之间的本科职业治疗学生（表1）。该协议在布尔戈斯大学进行了2个学年的测试。 表4总结了协议的交付。
表4：协议在大学生基于项目的学习中的应用摘要。 缩写：LMS = 学习管理系统。 请按此下载此表格。
第一个研究问题（RQ1）如下：考虑到学生先前知识的影响，学习职业治疗的健康科学学生的学习成果和满意度是否存在显着差异，这取决于PBL方法是通过电子学习还是通过b-Learning 实施 ？
如表5所示，详细阐述（LOEPBL）分数存在显着差异，电子学习组得分更高。b-Learning组在演示（LOEXPBL）和LMS访问（LMSA）方面得分较高。在总学习成果（LOT）中没有发现显着差异，并且没有发现先验知识作为协变量的影响。
表5：固定效应因子（教学方式、电子学习与b学习）、协变量（先验知识水平）和效应值的ANCOVA， η2. 固定效应因子（教学模式、电子学习与 b-学习）、协变量（先验知识水平）和效应值的 ANCOVA， η2.缩写：PBL = 基于项目的学习;LOEPBL = PBL的阐述;LOEXPBL = PBL 的呈现;LOT = 总学习成果;LMS = 学习管理系统;LMSA = LMS 访问;SPBL = 对 PBL 的满意度;电子学习=在线课程;b-学习=混合课程（在线和实体课程）;M = 平均值;SD = 标准偏差;ANCOVA = 协方差分析。 请按此下载此表格。
第二个研究问题（RQ2）如下：发现的参与者集群是否与学习成果、学习行为和感知满意度相匹配，作为教学方式（电子学习与b-Learning）的函数？
发现了两个聚类，其中检测到不同变量的差异，但无法确定一个在所有变量中都优于另一个（表6）。
表 6：最终聚类中心。 缩写：PBL = 基于项目的学习;LOEPBL = PBL的阐述;LOEXPBL = PBL 的呈现;LOT = 总学习成果;LMS = 学习管理系统;LMSA = LMS 访问;SPBL = 对 PBL 的满意度。 请按此下载此表格。
随后，在分配给每个参与者的关于教学方式变量（电子学习与b学习）的归属集群值之间编制了一个交叉表（表6）和属于每个组的百分比。获得 C = 0.40， p <0.001的列联系数（表7）。
表7：按集群编号分列的参与者交叉表 缩写：电子学习=在线课程;b-学习=混合课程（在线和实体课程）。请按此下载此表格。
此外，在阐述变量（LOEPBL）、演示变量（LOEXPBL）、总学习成果（LOT）、LMS访问（LMSA）和学生教学满意度（SLPBL）的聚类之间进行了方差分析。在表现（LOEXPBL，p = 0.03）和LMS访问（LMSA，p < 0.001）方面存在显著差异（见表8）。
表 8：方差分析集群。 缩写：PBL = 基于项目的学习;LOEPBL = PBL的阐述;LOEXPBL = PBL 的呈现;LOT = 总学习成果;LMS = 学习管理系统;LMSA = LMS 访问;SPBL = 对 PBL 的满意度;df = 自由度;方差分析 = 方差分析。 请按此下载此表格。
使用可视化软件43通过k-means技术进行视觉聚类分析，将教学模式，电子学习与b-Learning作为所研究的不同变量的变量：阐述（LOEPBL），演示（LOEXPBL），总学习成果（LOT），访问LMS（LMSA）和学生对教学的满意度（SPBL）（图5）。
图 5：变量 LOEPBL、LOEXPBL、LOT、LMSA 和 SPBL 相对于变量“教学模式、电子学习与 b-学习”的聚类分析。 相对于变量 LOEPBL、LOEXPBL、LOT、LMSA 和 SPBL 找到的集群的可视化。缩写：PBL = 基于项目的学习;LOEPBL = PBL的阐述;LOEXPBL = PBL 的呈现;LOT = 总学习成果;LMS = 学习管理系统;LMSA = LMS 访问;SPBL = 对 PBL 的满意度;电子学习=在线课程;b-学习=混合课程（在线和实体课程）。 请点击此处查看此图的大图。
接下来，为聚类中变量的行为构建热图。在第1组（该组的学生较少访问虚拟学习平台）和第2组（该组的学生有更多机会使用虚拟学习平台）中，学生在虚拟学习平台（UBUVirtual是基于Moodle的虚拟学习平台）和教学类型（电子学习与b-学习）上的行为（图6）中发现了更大的歧视。
图 6：变量 LOEPBL、LOEXPBL、LOT、LMSA 和 SPBL 中集群的热图可视化。缩写：PBL = 基于项目的学习;LOEPBL = PBL的阐述;LOEXPBL = PBL 的呈现;LOT = 总学习成果;LMS = 学习管理系统;LMSA = LMS 访问;SPBL = 对 PBL 的满意度。请点击此处查看此图的大图。
第三个研究问题（RQ3）如下：学生对改进PBL方法的建议是否因教学方式（电子学习与b-学习）而异？
答案被分为两组，电子学习组和b学习组，使用定性数据分析软件44。按分类代码划分的频率如 表9所示，图7显示了通过应用桑基 图 对两组学生反应的分析。
表9：两个干预组（第1组，电子学习教学和第2组，b-学习教学）学生分类反应的频率分析。 缩写：电子学习=在线课程;b-学习=混合课程（在线和实体课程）。 请按此下载此表格。
图7：两个干预组（第1组，电子学习教学和第2组，b-学习教学）中分类反应的桑基图。两个干预组中分类反应的桑基图。缩写：电子学习=在线课程;b-学习=混合课程（在线和实体课程）。请点击此处查看此图的大图。
这些结果如何表明，根据教学是通过电子学习还是b-Learning 进行 教学，改进教学的建议是不同的？两组学生都认为教学令人满意。尽管如此，b-Learning小组注意到使用模拟中心的重要性以及他们对儿童进行真实练习的愿望，从而增加了课堂实践中的教学。所使用的教学方式（电子学习与b学习）导致应用PBL方法的结果存在差异。
更具体地说，电子学习组的学生在项目执行中得分较高，而b-Learning组在演示项目方面得分较高。在b-Learning组中，对虚拟平台的访问也有所增加。发现了两个聚类，聚类2在所有研究变量中都显示出更好的结果，除了两个变量（总学习成果，两组的结果相同，以及对教学方法的满意度，两组的结果非常相似）。
同样，在电子学习组中，82.6%的学生属于第1组，17.39%的学生属于第2组。在b-Learning组中，59.62%在第2类，40.38%在第1类。因此，可以得出结论，所使用的教学方式似乎对LMS中学生的学习成果和学生活动有影响，在LMS中的项目演示和学生活动中，b-Learning比电子学习更有效。相比之下，电子学习在创建项目方面似乎更有效。尽管如此，PBL方法在这两种情况下都非常有效，因为两组的最终学习成果均值都很高，变异性非常低（电子学习平均值= 8.89，标准差= 0.48;b-学习平均值= 8.65，标准差= 0.92）。此外，两种方式的满意度都非常高，两组之间没有显著差异。
这些结果支持了RQ1的第一个问题，并指出了未来研究的方向，以更深入地研究这些方面。通过分析两种教学模式中有关学生满意度的定性数据，也可以看出上述差异。重要的是要记住，电子学习是在 COVID-19 紧急状态的最关键时刻提供的，在此期间无法进行面对面或混合教学。学生们对如何在在线模式下实施PBL方法的评估表明，它非常令人满意，因为它使他们能够以接近正常的方式继续他们的培训，并将其与他们的专业实践联系起来。这可能就是电子学习小组没有提出许多改进建议的原因。相比之下，在大流行第二年接受教育的 b-Learning 小组认为， 通过 LMS 和面对面模拟中心传授的 PBL 方法对他们的培训有益。然而，该小组提出了更多改进教学的想法，这些想法主要集中在增加面对面的课程上，特别是在与真实用户的实践活动方面。
补充材料附录 1. 这包括表 1 和表 2。（表1）记录元认知策略、子策略之间的关系以及开发它们的活动。基于项目的学习是从该领域的当前状态描述的。此外，还提供了有关PBL步骤与不同元认知策略开发之间关系的信息。对于想要应用这种教育方法的教师来说，这是一份非常有用的文档。（表2）项目解决过程评估的量规。提出了一个量规，用于监测项目开发过程，涉及不同元认知策略的使用。 请点击此处下载此文件。
补充材料附录2： 这包括表 1 和表 2。（表1）评价PBL列报的量规。提出了一个量规，用于评估项目开发过程，涉及项目的演示和辩护。（表2）评价《政治关系清单》拟订情况的准则。提出了一个量规，用于评估项目开发过程与项目评价有关。 请点击此处下载此文件。
补充材料附录3：案例研究示例。请点击此处下载此文件。
补充材料附录4：学生制作的作品示例。请点击此处下载此文件。
补充材料 附录5：开发的虚拟实验室示例。请点击此处下载此文件。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
这项研究得出的结论是，教学模式（电子学习与b学习）可能会影响PBL17，18不同元素的结果。在未来的研究中，将更深入地探讨这一方面，看看其他（特别是健康科学）课程的学生是否发现相同的模式，因为这是本协议的主题。相比之下，在总体学习成果或学生对教学方法的满意度方面没有发现差异。这与其他研究的结果一致4，13，14，15，18，29。
总之，使用PBL教学方法已被证明对学生的学习成果和学习动机都是有效的，这与其他研究的结果一致2，3，4。然而，b-Learning小组的学生表示有兴趣进行更多的面对面教学。这方面支持混合使用方法8。同样，两组的学生都赞赏这种方法引导他们走向他们职业的实际方面4，13.还发现，教学的社会环境影响了学生对学习的满意度和批判性反思。在大流行的后半部分，学习更具参与性，面对面学习的可能性更大4，14，15，18，29。并非所有学生都以相同的方式做出反应或经历相同的参与程度22.这是教师在使用这种方法时要考虑的一个重要方面，支持该方法需要教师具有数字能力以及使用EDM技术32，33，36和使用混合技术分析学生的开放反应39，40，41。
最后，这项研究的一个局限性与PBL方法有关，该方法仅用于学习单一学位职业治疗的学生。该方法没有通过多学科或跨学科教学设计实施31.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
附上记录本作品中呈现的图像和视频的授权书。
还附上了在PBL工作中应用的实际假设模型（见补充材料附录3：案例研究示例）。提交人声明，他们没有相互竞争的经济利益。
Acknowledgments
该研究是作为研究项目“SmartLearnUni”的一部分进行的，该项目由西班牙科学与创新部2020 I + D + i项目-RTI B型资助。 参考：PID2020-117111RB-I00。作者还感谢布尔戈斯大学健康科学学生的合作，特别是攻读职业治疗和护理学位的学生。
Materials
| Name | Company | Catalog Number | Comments |
| Atlas.ti v.9 | Atlas.ti | ||
| Orange v. 3.30 | Orange | ||
| SPSS v.24 | SPSS | ||
| UBUVirtual | UBU |
References
- Mann, L., et al. et al. problem-based learning to practice-based education: A framework for shaping future engineers. European Journal of Engineering Education. 46 (1), 27-47 (2021).
- Alonso Martínez, L., Puente Alcaraz, J. The importance of global health in nursing, what do we know. Nursing Index. 29 (3), 160-164 (2020).
- enyuva, E., Kaya, H., Bodur, G. Effect social skills of nursing students of the project based teaching methods. Florence Nightingale Journal of Nursing. 23 (2), 116-125 (2014).
- Sáez López, J. M. Estilos de Aprendizaje y Métodos de Enseñanza [Learning Styles and Teaching Methods]. Universidad Nacional de Educación a Distancia - UNED. , Madrid, Spain. 35-56 (2018).
- Holm, M. Project-based instruction: A review of the literature on effectiveness in prekindergarten through 12th grade classrooms. InSight: Rivier Academic Journal. 7 (2), 1-13 (2011).
- Kokotsaki, D., Menzies, V., Wiggins, A. Project-based learning: A review of the literature. Improving Schools. 19 (3), 267-277 (2016).
- Jay, J. Problem based learning-A review of students' perceptions in an occupational therapy undergraduate curriculum. South African Journal of Occupational Therapy. 44 (1), 56-61 (2014).
- Fortune, T., et al. Transformative learning through international project-based learning in the global south: Applying a students-as-partners lens to a "high-impact" Capstone. Journal of Studies in International Education. 23 (1), 49-65 (2019).
- Sáiz-Manzanares, M. C., et al. Teaching and learning styles in Moodle: An analysis of effectiveness of use in STEM and Non-STEM qualifications from a gender perspective. Sustainability. 13 (3), 1166 (2021).
- Sáiz-Manzanares, M. C., et al. Improve teaching with modalities and collaborative groups in an LMS: An analysis of monitoring using visualisation techniques. Journal of Computing in Higher Education. 33, 747-778 (2021).
- Yazici, H. J. Project-based learning for teaching business analytics in the undergraduate curriculum. Decision Sciences Journal of Innovative Education. 18 (4), 589-611 (2020).
- Sáiz-Manzanares, M. C., Garcia-Osorio, C. I., Díez-Pastor, J. F. Differential efficacy of the resources used in b-learning environments. Psicothema. 31 (2), 170-178 (2019).
- Sáiz-Manzanares, M. C. E-Project Based Learning in Occupational Therapy: An Application in the Subject "Estimulación Temprana". , Servicio de Publicaciones de la Universidad de Burgos. Burgos, Spain. 15-250 (2018).
- Sáiz-Manzanares, M. C., Marticorena, R., García-Osorio, C. I., Díez-Pastor, J. F. How do b-learning and learning patterns influence learning outcomes. Frontiers in Psychology. 8, 745 (2017).
- Chen, C. H., Yang, Y. C. Revisiting the effects of project-based learning on students' academic achievement: A meta-analysis investigating moderators. Educational Research Review. 26, 71-81 (2019).
- Spikol, D., Ruffaldi, E., Dabisias, G., Cukurova, M. Supervised machine learning in multimodal learning analytics for estimating success in project-based learning. Journal of Computer Assisted Learning. 34 (4), 366-377 (2018).
- Guo, P., Saab, N., Post, L. S., Admiraal, W. A review of project-based learning in higher education: Student outcomes and measures. International Journal of Educational Research. 102, 101586 (2020).
- Almulla, M. A. The effectiveness of the project-based learning (PBL) approach as a way to engage students in learning. SAGE Open. 10 (3), (2020).
- Sáiz-Manzanares, M. C., Escolar-Llamazares, M. C., Arnaiz, Á Effectiveness of blended learning in nursing education. International Journal of Environmental Research and Public Health. 17 (5), 1589 (2020).
- Sáiz-Manzanares, M. C., Marticorena-Sanchez, R., Ochoa-Orihuel, J. Effectiveness of using voice assistants in learning: A study at the time of COVID-19. International Journal of Environmental Research and Public Health. 17 (15), 5618 (2020).
- Simonton, K. L., Layne, T. E., Irwin, C. C. Project-based learning and its potential in physical education: an instructional model inquiry. Curriculum Studies in Health and Physical Education. 12 (1), 36-52 (2021).
- Yadav, R. L., et al. Attitude and perception of undergraduate medical students toward the problem-based learning in Chitwan Medical College, Nepal. Advances in Medical Education and Practice. 9, 317-322 (2018).
- Brinkman, D. J., et al. Switching from a traditional undergraduate programme in (clinical) pharmacology and therapeutics to a problem-based learning programme. European Journal of Clinical Pharmacology. 77 (3), 421-429 (2021).
- de la Puente-Pacheco, M. A., Guerra-Florez, D., de Oro-Aguado, C. M., Llinas-Solano, H. Does project-based learning work in different local contexts? A Colombian Caribbean case study. Educational Review. 73 (6), 733-752 (2019).
- Cavicchia, M. L., Cusumano, A. M., Bottino, D. V. Problem-based learning implementation in a health sciences blended-learning program in Argentina. International Journal of Medical Education. 9, 45-47 (2018).
- Wu, T. T., Huang, Y. M., Su, C. Y., Chang, L., Lu, Y. C. Application and analysis of a mobile E-Book system based on project-based learning in community health nursing practice courses. Journal of Educational Technology & Society. 21 (4), 143-156 (2018).
- Avrech Bar, M., et al. Problem-based learning in occupational therapy curriculum-implications and challenges. Disability and Rehabilitation. 40 (17), 2098-2104 (2018).
- DeFillippi, R., Milter, R. G. Chapter 18: Problem-based and project-based learning approaches: Applying knowledge to authentic situations. The SAGE Handbook of Management Learning, Education and Development. Armstrong, S. J., Fukami, C. V. , SAGE Publications Ltd. London, United Kingdom. (2009).
- Theobald, K. A., Ramsbotham, J. Inquiry-based learning and clinical reasoning scaffolds: An action research project to support undergraduate students' learning to 'think like a nurse'. Nurse Education in Practice. 38, 59-65 (2019).
- AlHaqwi, A. I., et al. Problem-based learning in undergraduate medical education in Saudi Arabia: Time has come to reflect on the experience. Medical Teacher. 37 (1), S61-S66 (2015).
- Wright, S. L., Duncana, M. J., Savin-Badenb, M. Student perceptions and experiences of problem-based learning in first year undergraduate sports therapy. Journal of Hospitality, Leisure, Sport & Tourism Education. 17, 39-49 (2015).
- Baker, R. S., Inventado, P. S. Chapter 4. Educational data mining and learning analytics. Learning Analytics: From Research to Practice. Larusson, J. A., White, B. , Springer: Science+Business Media. New York, United States. 61-75 (2014).
- Yücel, ÜA., Usluel, Y. K. Knowledge building and the quantity, content and quality of the interaction and participation of students in an online collaborative learning environment. Computers & Education. 97 (1), 31-48 (2016).
- Gibson, D., de Freitas, S.
- Romero, C., Ventura, S. Educational data mining: A survey from 1995 to 2005. Expert Systems with Applications. 33 (1), 135-146 (2007).
- Romero, C., Espejo, P. G., Zafra, A., Romero, J. R., Ventura, S. Web usage mining for predicting final marks of students that use Moodle courses. Computer Applications in Engineering Education. 21 (1), 135-146 (2013).
- Arnaiz-González, Á, Díez-Pastor, J. F., Rodríguez, J. J., García-Osorio, C. Instance selection for regression: Adapting DROP. Neurocomputing. 201 (12), 66-81 (2016).
- García, S., Luengo, J., Herrera, F. Data Preprocessing in Data Mining, Volume 72 of Intelligent Systems Reference Library. , Springer. New York, United States. (2015).
- Verd Pericás, J. M. Introducción a la investigación cualitativa [Introduction to qualitative research]. , Síntesis. Madrid, Spain. 370 (2016).
- Castañer, M., Camerino, O., Anguera, M. T. Métodos mixtos en la investigación de las ciencias de la actividad física y el deporte. Apunts. Educación física y deportes. 2 (112), 31-36 (2013).
- Ji, Y. P., Marticorena-Sánchez, R., Pardo-Aguilar, C. UBUMonitor: Monitoring of students on the Moodle platform. , Available from: https://github.com/yjx0003/ (2018).
- IBM Corp. SPSS Statistical Package for the Social Sciences (SPSS) (Version 24). IBM Corp. , Madrid, Spain. (2016).
- Software Package. Orange. , Available from: https://orange.biolab.si/docs/ (2021).
- Software Package Qualitative Data Analysis (Version 9). Atlas.ti. , Scientifc Software Development GmbH. Berlin, Germany. Available from: https://atlasti.com/es/ (2020).
