混合现实技术在工程学在线课程中的教育应用及实施效果

摘要

本研究开发了一种名为 MRE 的混合现实系统，旨在帮助学生在线上课程之外开展实验操作训练。实验共招募了 30 名学生；其中 10 名学生未使用 MRE，10 名学生使用 MRE，另外 10 名学生在使用 MRE 的同时接受教师反馈。

摘要

新冠肺炎疫情改变了众多行业，推动了某些领域的发展，同时也导致许多其他行业消失。教育领域也未能幸免于重大变革；在一些国家或城市，课程曾完全以在线形式授课长达至少一年。然而，部分大学专业需要通过实验课程来补充学习，尤其是在工程领域，仅依靠在线理论课程可能会影响学生的学习效果。因此，本研究开发了一套名为“教育用混合现实”（MRE）的混合现实系统，旨在帮助学生开展实验实践，以补充在线教学。研究对30名学生进行了实验：其中10名学生未使用MRE，10名使用MRE，另外10名则在使用MRE的同时接受教师反馈。该实验揭示了混合现实在教育领域的优势。结果表明，使用MRE有助于提升工程类课程的学习成效；使用该系统的学生所获得的成绩比未使用者高出10%至20%。尤其值得注意的是，实验结果凸显了在使用虚拟现实系统时提供反馈的重要性。

引言

技术一直存在于教育领域中，用于教学的设备也发生了深刻的变化。然而，面对面授课仍然是学生和教师的首选方式。当疫情爆发时，它改变了所有行业，教育也不例外。2018年，在疫情发生之前，仅有35%的学位课程学习者报告曾参加过至少一门在线课程；也就是说，65%的学生仍以线下方式完成学业¹。自2020年4月起，根据政府命令（墨西哥），所有公立和私立学校均被禁止开展面对面教学，因此100%的学生不得不转为远程学习。大学是最早采取行动的机构，使用视频通话工具、课程准备平台、作业管理系统等进行教学。这并不奇怪，因为大学生年龄段的人群（18至25岁）是自出生以来就一直接触技术的一代人。

某些课程可以完全转为线上教学；然而，实验实践远程操作较为复杂，且学生缺乏必要的实验材料，而这些材料通常价格昂贵。在线课程对知识掌握质量的影响尚不明确，一些研究表明，在线课程的学生表现普遍不如线下课程的学生²。但有一点是确定的：若不开展使学生贴近未来工业实际体验的实验实践，将对其职业能力产生负面影响。因此，在当前的工程教育中，开展真实规模的实践体验变得尤为必要^3,4,5。基于这些原因，人们正利用新技术来缓解上述问题，其中包括虚拟现实（VR）、增强现实（AR）和混合现实（MR）。需要指出的是，VR 是一种能够创建完全沉浸式数字环境的技术，而 AR 则是将虚拟对象叠加到真实世界环境中。另一方面，MR 不仅使用虚拟对象，还将这些对象锚定在真实世界中，从而实现与之交互。因此，MR 是 VR 与 AR 的结合⁶。此外，一些机构也致力于开发远程实验室，其中存在真实的实验设备，但可通过远程方式进行控制⁷。

MR 这一术语始于1994年；然而，在过去5年中，由于一些大型企业致力于开发诸如元宇宙（Metaverse）等环境，MR 变得尤为重要⁶。MR 可应用于不同领域，其中最常见的两个领域是培训与教育。培训是推动 MR 发展的重要动力之一；对企业而言，为培训新员工而停止生产线，或在危险环境中开展培训，成本高昂，且现场培训实施难度较大。教育领域紧随其后；尽管面对面授课模式变化不大，但将 MR 融入课堂教学的努力正不断加强^8,9。在教育中，某些专业需要通过实验实践才能完成完整的训练。目前大量已有的研究集中在医学领域，其中虚拟现实（VR）、增强现实（AR）和混合现实（MR）发挥着关键作用。多篇论文表明，在外科和医学课程中，MR 在实践方面的优势明显，能够超越传统教学方法，显著提升学生的学习效果^{10,11,12,13,14}。

然而，针对工程领域问题的研究数量并不相同。通常在工程类专业中，学生会接受理论课程与实践课程的结合。因此，已有研究展示了混合现实（MR）和虚拟现实（VR）在工程教育中的优势¹²。然而，其中一些研究侧重于分析环境和所用工具的复杂性^8,15。Tang 等人设计了一项研究，让来自不同领域且具备不同知识背景的学生利用 MR 来提升其对几何分析和创造力的理解¹⁶。在随后的测试中，使用 MR 上课的学生完成任务的速度更快，明确表明 MR 对学习具有积极影响¹⁶。此外，Halabi 展示了 VR 工具在工程教育中的应用。尽管该研究未涉及 MR，但它展示了可用于教学的工具，并通过一个真实的案例研究说明了将 VR 引入工程课程是可行的¹⁷。

另一方面，远程实验室（RL）是由软件和硬件组成的技术工具，可让学生远程开展实验操作，如同身处传统实验室一般。远程实验室通常通过互联网访问，在学生需要自主反复练习所学知识时被广泛使用¹⁸。然而，随着新冠疫情的暴发，其用途已转变为替代传统实验室，以支持在线教学期间实验课程的开展¹⁸。如上所述，远程实验室需要一个物理空间（即传统实验室）以及能够实现远程控制的设备组件。随着虚拟现实（VR）技术的出现，实验室得以被虚拟建模，并通过物理机制实现对实验设备的远程操控¹⁹。然而，建设远程实验室成本高昂，使得许多学校——尤其是在发展中国家——难以负担。一些研究指出，其成本可能在50,000至100,000美元之间^20,21。

此外，自疫情爆发以来，各项调整必须迅速实施；以远程实验室（RLs）为例，曾尝试将实验套件寄送至每位学生家中，以替代传统实验室。然而，这一方案存在成本问题，研究显示每套设备的成本约为700美元^18,22。但这些研究中使用的组件价格昂贵且难以获取。新冠疫情对全球教育造成了影响，很少有人能够花费数千美元来实现实验室自动化或购买实验套件。大多数研究均以线下授课为基础，并辅以混合现实（MR）技术。然而，近年来由于COVID-19疫情，课程转为线上进行，仅有少数研究展示了利用MR技术和低成本设备对虚拟课堂进行改进的效果^23,24。

目前现有的研究主要集中在医学领域，关于工程学方面的信息较少。然而，毫无疑问，我们认为本研究最大的贡献和区别在于，我们的实验持续了6个月，并与未使用虚拟模型但具有相同特征的受试者进行了比较；而此前大多数研究仅开展了短期实验，用于比较单一技术或操作流程，未进行数月以上的长期应用。因此，本文展示了在大学课程中使用混合现实（MR）技术所带来的学习效果差异。

因此，本研究展示了用于在大学电子工程相关实验教学中辅助开展实验实践的混合现实（MR）系统的开发过程与应用结果。需要特别指出的是，该系统在设计时着重考虑了设备的低成本，以确保其能够被大众广泛使用。实验中，三组学生采用不同的教学方法，并在课程主题上进行测试。通过这种方式，可以获取关于在远程教育中利用混合现实技术对课程内容理解程度的相关结果。

本研究中介绍的项目称为用于教育的混合现实（MRE），其被设计为一个平台，学生可通过智能手机配合VR眼镜使用（即不使用专用VR眼镜）。该平台构建了一个工作空间，学生可仅通过双手与虚拟环境和真实物体进行交互，由于结合了虚拟与真实物体，因此构成一个混合现实系统。该工作空间包含一个带有图像的基底，所有虚拟物体均在此基底上显示并实现交互。所创建的环境聚焦于开展实验教学，用于展示工程类专业所需的电子元器件和物理知识。需要特别强调的是，向学生提供反馈至关重要。为此，MRE集成了一套反馈系统，管理员（通常为教师）可通过该系统查看学生正在进行的操作，并对其实验活动进行评分，从而对学生完成的任务给予反馈。最后，本研究的目标是验证在在线课程中使用混合现实（MR）是否具有优势。

为实现这一目标，实验共分为三组学生进行。每组包含10名学生（总计30名学生）。第一组不使用混合现实实验（MRE），仅接受关于动量守恒原理和电子元件的理论课程（在线授课）。第二组使用无反馈的MRE，第三组则在教师提供反馈的情况下使用MRE。需要特别说明的是，所有学生的教育水平相同，均为同一学期、同一专业的大学本科生，专业为机电工程。该实验应用于一门名为“物理与电子学导论”的课程中，该课程开设于大学二年级第二学期，即学生接受大学教育的时间不足一年。因此，从工程学角度来看，课程所涵盖的主题可被视为基础性内容。实验共涉及30名学生，此为获准开展实验的课程中实际注册的学生人数。所选课程（物理与电子学导论）原本包含理论教学和实验实践环节，但由于疫情原因，当时仅开展理论授课。将学生分为三组的目的是评估实验实践对整体学习效果的影响，并探究混合现实（MR）课程是否可作为线下实验实践的替代方案。

方案

本方案遵循泛美大学伦理委员会的指导原则。实验共招募了30名年龄在18至20岁之间的学生参与，其中8名为女性，22名为男性，所有参与者均为墨西哥哈利斯科州瓜达拉哈拉市（墨西哥第二大城市）泛美大学的学生。所有参与者均完成了知情同意程序，并书面同意在数据采集过程中拍摄和发表照片。唯一的参与要求是学生需拥有一部智能手机，而这一点对所有参与者均无困难。因此，本实验未设置任何排除标准。

1. 虚拟现实系统的设置与校准

注意：此步骤需要约 10 分钟。

1. 确保系统包含所有组件：一台操作系统版本为10或更高的Android手机、VR盒子眼镜，以及带有校准图像的木制底座（图1）（参见材料表）。
2. 在手机上打开MRE应用程序，并加载Unity、AR Foundation、Google Cardboard和ManoMotion服务^25,26,27,28。MRE应用程序由我们自行开发，专为Android系统设计，目前未公开发布。
3. 将手机插入VR眼镜中，并佩戴眼镜。
4. 目视定位MRE原型底座的中心位置（图1中的蓝色方块）。
5. 当模拟画面出现时，抬起伸展的手，将其置于视野中央。
   注意：从此时起，用户可通过手势与模拟环境进行交互。

2. 用户准备

注意：此步骤需要约 5 分钟。

1. 不佩戴VR眼镜时，打开MRE应用程序，如图2所示。
2. 确保应用程序以用户模式启动，以便仅需登录即可。
3. 选择用户想要进行的场景。共有两个场景：电子元件和物理。
4. 按下播放按钮；用户将有30秒时间戴上VR眼镜。

3. 情景的执行

注意：此步骤需要约 15 分钟。

1. 场景1：电子元件
   1. 通过红色、绿色和蓝色标识来确定放置元件的位置。这些颜色划分了该场景的六个交互区域：三个用于拾取虚拟电子元件的区域和三个用于放置元件的区域，如图3所示。
   2. 拾取元件并将其放置到正确位置。正确位置取决于元件类型以及理论学习内容；例如，理论上会讲解如何安装散热片，在混合现实环境（MRE）中则可实践该安装过程。
   3. 重复操作，直至所有元件均放置到位。
2. 场景2：物理
   1. 定位场景中涉及的两辆汽车（图4）。
   2. 选择每辆汽车的速度。
   3. 观察碰撞后的图像变化。

4. 管理员视图

1. 在主界面，按下 MRE 模式（见图 2），并选择管理员选项。
2. 登录以确认该账户是否具有管理员访问权限。
   ​注意：此时可查看学生名单以及每位学生在各个场景中获得的成绩。

5. 学生实验结果

1. 以管理员身份登录后，点击目标学生的姓名，查看其各个场景成绩的信息表格。
2. 点击某位学生的姓名，然后选择以 CSV 格式下载成绩。这将生成一个逗号分隔的文件，其中包含所有结果。

结果

本部分展示了实验获得的结果。首先，介绍了实验的实施细节，然后展示了对实验组学生进行的测试，并进一步呈现了测试结果。最后，描述了对每组一名学生的分析。

疫情给工程教育带来的最大问题之一是无法开展面对面的实验实践，这直接影响了学生所获得的知识。为了分析本文所开发的项目是否具有影响，我们对三组学生进行了实验。每组由10名学生组成；第一组不使用MRE，仅学习关于动量守恒原理和电子元件的理论（在线课程）；第二组使用无反馈的MRE；最后，第三组使用带有教师反馈的MRE。需要强调的是，所有学生的教育水平相同，均为墨西哥瓜达拉哈拉泛美大学（墨西哥第二大城市）同一学期、同一专业的机械电子工程专业大学生，且均处于大学二年级第一学期（即大学学习时间不足1年）。因此，从工程学角度来看，课程所涉及的主题可被视为基础内容¹⁷。

开展本实验的课程（物理学与电子学导论）具有以下特点：（1）课程持续一个学期；（2）整个学期共进行两次考试（即每10周授课时间举行一次测试），每次测试或每10周的授课阶段均称为“阶段考...

讨论

MRE 系统为学生提供了学习电子元件或物理主题的不同场景。其中一个重要方面是教师提供反馈的可能性。通过这种方式，学生能够了解自己哪里出错以及出错的原因。在开发出 MRE 系统后，开展了一项包含 30 名学生的实验，其中 10 名学生未使用 MRE，10 名学生使用 MRE，最后另外 10 名学生使用 MRE 并接收教师的反馈。课程结束后，对所有学生进行了一次综合知识测试。该测试未因实验而修改（即无论课程是纯理论授课，还是包含实验实践，均使用相同的测试）。实验实践仅作为补充，以帮助更好地理解理论内容，从而更全面地掌握学科知识。测试要求书面作答并展示计算过程，若答案部分正确，教师可给予半分评分。

由于使用了MRE，学生的总体平均分有所提高，在教师提供反馈的情况下达到了最高平均分。同样，一个重要的方面是标准差。课堂教学的目标是让大多数学生、理想情况下是所有学生，掌握尽可能多的知识。由于使用了MRE，成绩的离散程度更小，这表明有更多学生理解了相关主题的知识。

详细观察每道题的得分情况时可以发现，当问题集中在完全可以通过理论分析解决的问...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
适用于 Android 的 MRE 应用程序			该应用程序是为实验开发的，由我们团队自行制作。它并未公开发布，且目前无发布计划。
防滑织物（20 × 20 cm）
我们的基础图像打印件
自粘纸（1 张 A4 尺寸）
虚拟现实眼镜	Meta Quest 2		我们使用的是 Meta Quest 2，这是一款虚拟现实头戴设备，每只眼睛对应的显示屏分辨率为 1832 × 1920 像素。通过该设备，您可以运行视频游戏或体验具有 360 度视野的模拟器。此外，该头戴设备配备两个控制器，结合手部追踪技术，可使虚拟环境中的手部动作与真实手部动作一致。 https://www.meta.com/quest/products/quest-2/tech-specs/#tech-specs
木板（20 × 20 cm）