开发基于音频的虚拟游戏环境以辅助盲人导航技能训练

以下实验的总体目标是证明，与虚拟环境进行交互能够实现空间导航技能的迁移，且这些技能可在后续的真实物理环境中进行评估。该目标首先通过学习在虚拟环境中进行游戏时用于导航的键盘操作来实现。接下来，参与者学习如何识别声音，从而能够辨别物体及其相对位置。

游戏结束后，将进行一系列虚拟和实际的导航任务，以评估参与者对环境的空间理解能力。研究结果表明，参与者能够成功穿越在游戏过程中通过虚拟环境呈现的真实物理建筑。与现有的标准定向与行动训练等方法相比，该技术的主要优势在于，可以通过虚拟探索以安全且可控的方式学习陌生建筑的空间布局。

本实验操作将由本实验室的研究协调员 Aaron Connors 和 Lindsey Aino 演示。本研究的参与者均为法定盲人，对需要学习的目标建筑的空间布局毫无了解，也不知晓通过游戏方式学习目标建筑空间布局的整体研究目的。开始前，向参与者提供眼罩和耳机。

确保耳机正确佩戴在耳朵上。接下来，指导参与者如何使用指定的按键以及音频提示在基于音频的环境模拟器中提供的信息。此处显示的特定按键用于在虚拟环境中进行导航和探索。

每个虚拟步骤对应真实物理建筑中的一个实际步长。在讲解操作控制之后，需说明游戏的前提和规则，并告知参与者游戏过程中使用的各种音频提示。

例如，当用户在虚拟环境中移动时，随着每一步的行进，系统会逐步获取并动态更新听觉和空间信息，如附近珠宝和怪物的声音。使用语音合成技术提供有关用户当前位置、朝向、行进方向以及路径上物体和障碍物身份的进一步信息。声音的空间定位会随之更新，以匹配用户的自我中心行进方向。

例如，如果一扇门位于人的右侧，则敲门声会被人耳右侧听到。如果此人现在转身180度，使同一扇门位于其左侧，则同样的敲门声现在会从左侧通道听到。让参与者进行三次、每次30分钟的游戏训练。

在每次训练结束后，记录游戏过程中出现的任何困难或挑战，给予参与者积极的反馈，并提供必要的澄清或进一步指导。随后，通过统计参与者找到Juul设备的次数、时间以及位置，对其游戏表现进行评分。为了评估虚拟导航任务的表现，向参与者说明他们将依次完成由Abes软件呈现的10项预设导航任务。

路径的难度相当，根据预先设定的10对起始和终止位置进行选择。在每个任务开始时，告知参与者完成每个任务的最长时间为六分钟。

系统会自动提供描述起始位置和目标位置的指令。当参与者接收到音频指令后，计时自动开始；当其到达目标位置时，计时自动结束。到达目标位置后，系统将自动记录结果指标，包括导航任务是否成功完成以及到达目标位置所用的时间。

为了测试参与者在实际环境中的表现，向其说明将接受10项预先设定的导航任务。在经验丰富的研究人员监督下进行。告知参与者，每项任务最多有六分钟时间完成，且允许使用手杖作为行动辅助工具。

准备好秒表、导航任务列表和用于手动评分的剪贴板。让受试者面向起始位置，并向其描述起始地点和目标目的地。计时从受试者迈出第一步时立即开始，并在到达终点时结束。

当参与者口头报告到达目的地时，记录任务成功完成的情况以及到达目标所用的时间。向参与者说明，他们将完成五项导航任务，目标是通过尽可能最短的路线离开建筑物。在经验丰富的研究人员监督下，告知参与者每项导航任务最多有六分钟的时间完成，并允许其使用手杖作为行动辅助工具。

使用五个预设的起始位置，使得存在三条不同长度和复杂程度的出口路径。准备好秒表、导航任务列表和用于手动评分的写字板。将受试者定位，并向其描述起始位置。

计时从参与者迈出第一步时立即开始，到其口头报告到达建筑物出口门时结束。记录丢弃任务的成功完成情况、所走路径以及离开建筑物所需的时间。此外，对路径进行评分，最短路径得分高于较长路径。

此处展示了三名参与者在导航任务中的平均表现。虚拟导航任务和实际导航任务的正确率均较高，表明参与者在这两类任务中均表现出色。与实际导航相比，虚拟导航到达目标所需的时间更长。

在“离开任务”中，结果表明参与者通常会选择最短的路径离开建筑物。这一点由到达并离开所需的平均时间较短得以证实。此处显示的结果来自同一位参与者在全部三项导航任务中的表现。

在虚拟导航过程中，完成任务耗时79秒。以黄色路径标记的任务表现显示，在物理建筑中沿相同路径完成任务耗时46秒。在投递任务中。

参与者选择了最短路径离开建筑物。请记住，使用新技术与盲人参与者合作时需要给予鼓励。我们感谢他们抽出时间并愿意参与本次演示和研究。