开发基于音频的虚拟游戏环境以辅助盲人导航技能训练

摘要

基于音频的环境模拟器（AbES）是一种虚拟环境软件，旨在提高盲人的真实世界导航能力。

摘要

基于音频的环境模拟器（AbES）是一种虚拟环境软件，旨在提高盲人的真实世界导航能力。该软件仅使用基于音频的线索，并以视频游戏为隐喻背景，使用户能够获取有关建筑物布局的相关空间信息。这使得用户能够构建出关于大型三维空间的精确空间认知地图，并可将其运用于实际的室内导航任务中。在游戏结束后，参与者将在游戏中所代表的目标真实建筑物内进行导航能力的评估。初步结果表明，早盲用户能够获取有关此前不熟悉建筑物空间布局的相关信息，这一点通过他们在一系列导航任务中的表现得以体现。这些任务包括在虚拟环境和真实建筑物中进行路径寻找，以及一系列投放任务。我们发现，AbES软件所具有的沉浸感和高度交互性似乎能极大地促使盲人用户主动探索虚拟环境。该方法的应用前景可能扩展至更广泛的视觉障碍人群。

引言

在陌生环境中找到方向对盲人来说是一项重大挑战。成功的导航需要理解自身与环境中物体之间存在的空间关系^1,2。描述周围空间的心理表征被称为空间认知地图³。盲人可以通过其他感官通道（如听觉）获取有关周围环境的相关空间信息，从而构建准确的空间认知地图，以完成现实世界中的导航任务^4,5。

关于虚拟环境和动作视频游戏在学习和掌握技能方面的教育潜力，人们已产生了极大的兴趣^6-9。事实上，为此目的已开发出多种针对盲人的策略和方法（见^4,10-12）。我们开发了基于音频的环境模拟器（Audio-based Environment Simulator, AbES）；这是一种以用户为中心的基于音频的虚拟环境，可模拟对真实物理建筑的导航与探索。基于原始建筑设计平面图，利用AbES软件生成了一座现代两层建筑的虚拟渲染模型（位于马萨诸塞州牛顿市的卡罗尔盲人中心；Carroll Center for the Blind）（图1A和B）。AbES采用动作游戏的隐喻设计，旨在促进用户对建筑空间的全面探索。用户通过简单的键盘操作和空间化的声音提示，在整栋建筑中进行导航和探索，以收集隐藏在各个房间内的尽可能多的宝石。用户必须避开四处游走的怪物，这些怪物会将其抓走并藏在建筑内的其他位置（图1C）。

我们证明，通过与AbES交互，盲人用户能够基于动作游戏隐喻情境中获取的听觉信息，为目标建筑生成精确的空间认知地图。这一结论通过一系列训练后的行为表现测试得到验证，这些测试旨在评估从虚拟环境获取的空间信息向真实世界大尺度室内导航任务的迁移能力（整体研究设计见图2）。我们的结果表明，尽管在实验过程中从未告知参与者研究的整体目的，也未要求他们在玩游戏时主动记忆建筑的空间布局，盲人用户仍能够成功地在先前完全陌生的建筑中完成导航。

方案

1. 参与者人口统计学信息

这是一项正在进行的研究，招募18至45岁之间的盲人男性和女性参与者。所有参与者均为法律定义的盲人，且为早发性失明（有记录显示在3岁前已确诊），病因包括多种眼部疾病。所有研究参与者此前均不熟悉目标建筑物的空间布局。

2. AbES 的准备与熟悉

1. 为参与者提供眼罩和耳机，并要求其在整个训练和评估过程中佩戴。确保眼罩舒适地覆盖双眼，耳机正确朝向并贴合双耳（即左声道对应左耳）。
2. 培训参与者如何使用AbES中指定的按键以及音频提示所代表的信息。通过特定的按键操作（图3），用户可在虚拟环境中导航并探索建筑结构（前进、向右或向左移动）。每一次虚拟步进约等于真实物理建筑中的一步。
3. 熟悉游戏的规则与基本设定。
4. 熟悉与游戏过程相关的特定音频提示（例如 寻找宝石的声音以及附近怪物出现的声音）。当用户在建筑中导航时，基于听觉和情境的空间信息将被依次获取并动态更新。空间与情境信息依赖于每迈出一步后所提供的图示性及空间化的声音提示。方位基于基本罗盘方向（例如 “北”或“东”），并通过文本转语音（TTS）提供有关用户当前位置、朝向和行进方向的进一步信息（例如 “您位于一楼走廊，面朝西”），以及路径中物体和障碍物的身份信息（例如 “这是一扇门”）。距离提示通过调节声音强度来提供。声音的空间定位会根据用户的自我中心朝向实时更新。本质上，该软件会根据用户的位置和自我中心朝向播放相应的音频文件，并持续追踪用户在环境中的位置变化。例如，若一扇门位于用户右侧，则敲击声将仅出现在右耳（即软件在右声道播放敲击声的音频文件）。若用户随后转身180度，使同一扇门位于其左侧，则相同的敲击声将出现在左耳（即 软件在左声道播放敲击声的音频文件）。最后，当用户正对门时，相同的敲击声将在双耳等强度地播放。通过持续追踪用户的自我中心朝向，软件能够播放适当的空间定位声音，以识别物体的存在与位置，并在用户穿越虚拟环境时实时更新这些变化。参见 图4。

3. 使用 AbES 进行训练与游戏（共3次会话，每次持续30分钟，总计1.5小时）

1. 允许自由游戏，并记录任何困难和挑战（即 使用键盘按键、音频提示以及导航困难区域）。每次培训结束时提供正向反馈和解释说明。
2. 记录游戏表现（例如 参与者找到宝石的数量、时间及位置。

4. 评估虚拟导航任务表现

1. 向参与者详细解释测试内容，并提供完成虚拟导航任务的指导说明。参与者将使用AbES软件依次完成10项预先设定的导航任务。即 一旦参与者成功完成第一项任务，计算机将自动将其重新定位至下一项任务的起始点。
2. 告知参与者，他们最多有6分钟时间完成每项导航任务。
3. 10 条难度相当的虚拟导航路径（即 移动距离和转弯次数）根据预设的10个起始点和终止点的配对位置确定即 具体而言，导航目标路线所需的步数范围为25至35步（在虚拟环境中），并包含3至4次90度转弯。
4. 将10组导航配对载入AbES，以实现表现的自动呈现和数据采集。
5. 结果指标通过AbES内置软件自动记录。结果指标包括：导航任务的成功完成情况以及到达目标所需的时间。参见 图 5A.
6. 在每个任务开始时，AbES 软件会自动提供描述起始位置和目标位置的指令。当受试者从起始位置迈出第一个虚拟步时，计时立即开始，并在到达目标位置时结束（若用时超过 6 分钟，则视为未完成，系统将呈现下一条路径）。采集的数据会自动保存至文本文件，随后导入数据库或统计软件进行进一步分析。

5. 评估物理导航任务表现

1. 向参与者详细解释测试内容，并提供完成实际导航任务的指导说明。参与者将在有经验的研究人员监督下，完成10项预先设定的导航任务（任务顺序从先前的虚拟表现评估中随机打乱）。
2. 告知参与者每项导航任务最多有6分钟时间完成。在实际导航任务中，允许参与者使用其白色手杖作为移动辅助工具。
3. 10条实际导航路径的选择基于10对预先设定的起始和终止位置（i.e. 房间），这些路径具有相似的难度（i.e. 行进距离和转弯次数）。
4. 研究人员准备秒表和带有导航任务列表的写字板，用于手动评分任务表现。
5. 研究人员手动记录结果指标。结果指标包括：是否成功完成导航任务以及到达目标位置所用的时间。
6. 将参与者“对齐起始位置”（i.e. 使参与者背对起始位置的门）。每项任务开始时，研究人员提供关于起始位置和目标位置的口头说明。计时从参与者迈出起始位置的第一步立即开始，当参与者口头报告到达目的地时结束（若超过6分钟仍未完成，则记为未完成任务，并进入下一条路径）。采集的数据由人工记录，随后转入数据库/统计软件进行进一步分析。参见 Figure 5B。

6. 评估物理掉落任务表现

1. 向参与者详细解释测试内容，并说明如何完成实地导航任务。参与者将在经验丰富的研究人员监督下，完成5项导航任务，目标是尽可能选择最短路线离开建筑物。
2. 告知参与者每项导航任务最多有6分钟完成时间。在实地导航任务中，允许参与者使用白色手杖辅助移动。
3. 采用5个预先确定的物理起始位置，使得存在3条不同长度的可选出口路径。
4. 研究人员准备秒表和带有导航任务列表的写字板，用于手动评分任务表现。
5. 研究人员手动记录结果指标。结果指标包括：是否成功完成导航任务以及到达目标所需的时间。此外，路径将根据长度评分，最短路径得分最高（即 最短路径得3分，第二短得2分，最长得1分，未能完成任务得0分）。参见图5C。
6. 将参与者“对齐”至第一个起始位置。每项任务开始时，研究人员会提供关于起始位置的说明。计时从参与者从起始位置迈出第一步时立即开始，到参与者口头报告已到达建筑物出口门时结束（若超过6分钟仍未完成，则记为未完成任务，并进入下一个起始位置）。采集的数据由人工记录，随后转入数据库或统计软件进行进一步分析。

结果

展示了三名早盲参与者（年龄在19至22岁之间）的实验结果（参与者的具体特征见表1）。总体而言，三名参与者在使用AbES软件进行游戏训练后，均在全部三项导航任务中表现出较高的成功率。这一结果通过三项行为任务中的表现得分（群体均值及个体得分）得到了验证（见图6）。虚拟导航任务的正确率（平均：90%）和实际导航任务的正确率（平均：88.7%）均显示出较高的任务完成水平，且两项任务的表现相当（图6A）。在“放下”实验任务中的表现表明，参与者通常会选择最短路径离开建筑物（平均得分：3.0）（图6B）。最后，图6C展示了完成三项导航任务到达目标点所需的平均时间。虚拟导航时间（首先进行测试）通常长于实际导航（平均：137.3秒 vs. 73.8秒）。而“放下”任务中较短的平均导航时间（平均：37.3秒）与参与者倾向于选择最短路径离开建筑物的结果一致。

对一名代表性研究参与者在全部三项任务中的个体结果及导航路径进行评估显示，在虚拟...

讨论

我们介绍了一种基于音频的交互式虚拟环境模拟器，旨在提高盲人的整体空间感知能力和导航技能。我们证明，与AbES进行交互可提供准确的线索，描述物体之间的空间关系以及目标环境的整体布局。盲人用户能够基于这些听觉信息，并通过与沉浸式虚拟环境的交互，构建出准确的空间认知地图。此外，在游戏隐喻的背景下与AbES交互表明，空间认知结构可以通过与软件的因果性交互被隐式且较为简单地习得。如本研究初期阶段所展示的，这种游戏的交互性和沉浸性能够增强个体对新环境的空间感知，为构建准确的空间认知地图提供平台，并可能减少在到达陌生建筑之前独立导航时所产生的不安感。

通常，视觉障碍者可以通过定向与行动能力（O&M）训练获得功能性独立。然而，训练策略必须保持灵活且可适应，以便应用于新颖和不熟悉的情境，并根据个人的优势与不足进行调整，从而应对他们特定的挑战、需求和学习策略。交互式虚拟导航环境（如 AbES）的创造性应用可提供这种灵活性，并补充当前的 O&M 培训课程。该软件是一种辅助策略，不仅能够利用高度激励性的优势，还提供了一个测试平台，用于开展更受控且可量化的研究，以检验和验证这些训练方法的有效性。

<...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
笔记本电脑			专用于培训参与者和收集数据的笔记本电脑
立体声耳机 （全封闭式耳罩设计）			所有参与者在培训期间佩戴
眼罩			所有参与者在培训和测试期间佩戴