基于音频的环境模拟器（AbES）是一种虚拟环境软件，旨在提高盲人的真实世界导航能力。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本文内容
摘要
摘要
基于音频的环境模拟器（AbES）是一种虚拟环境软件，旨在提高盲人的真实世界导航能力。该软件仅使用基于音频的线索，并以视频游戏为隐喻背景，使用户能够获取有关建筑物布局的相关空间信息。这使得用户能够构建出关于大型三维空间的精确空间认知地图，并可将其运用于实际的室内导航任务中。在游戏结束后，参与者将在游戏中所代表的目标真实建筑物内进行导航能力的评估。初步结果表明，早盲用户能够获取有关此前不熟悉建筑物空间布局的相关信息，这一点通过他们在一系列导航任务中的表现得以体现。这些任务包括在虚拟环境和真实建筑物中进行路径寻找，以及一系列投放任务。我们发现，AbES软件所具有的沉浸感和高度交互性似乎能极大地促使盲人用户主动探索虚拟环境。该方法的应用前景可能扩展至更广泛的视觉障碍人群。
引言
在陌生环境中找到方向对盲人来说是一项重大挑战。成功的导航需要理解自身与环境中物体之间存在的空间关系1,2。描述周围空间的心理表征被称为空间认知地图3。盲人可以通过其他感官通道（如听觉）获取有关周围环境的相关空间信息，从而构建准确的空间认知地图，以完成现实世界中的导航任务4,5。
关于虚拟环境和动作视频游戏在学习和掌握技能方面的教育潜力，人们已产生了极大的兴趣6-9。事实上，为此目的已开发出多种针对盲人的策略和方法（见4,10-12）。我们开发了基于音频的环境模拟器（Audio-based Environment Simulator, AbES）；这是一种以用户为中心的基于音频的虚拟环境，可模拟对真实物理建筑的导航与探索。基于原始建筑设计平面图，利用AbES软件生成了一座现代两层建筑的虚拟渲染模型（位于马萨诸塞州牛顿市的卡罗尔盲人中心；Carroll Center for the Blind）（图1A和B）。AbES采用动作游戏的隐喻设计，旨在促进用户对建筑空间的全面探索。用户通过简单的键盘操作和空间化的声音提示，在整栋建筑中进行导航和探索，以收集隐藏在各个房间内的尽可能多的宝石。用户必须避开四处游走的怪物，这些怪物会将其抓走并藏在建筑内的其他位置（图1C）。
访问受限。请登录或开始试用以查看此内容。
方案
1. 参与者人口统计学信息
这是一项正在进行的研究，招募18至45岁之间的盲人男性和女性参与者。所有参与者均为法律定义的盲人，且为早发性失明（有记录显示在3岁前已确诊），病因包括多种眼部疾病。所有研究参与者此前均不熟悉目标建筑物的空间布局。
2. AbES 的准备与熟悉
- 为参与者提供眼罩和耳机，并要求其在整个训练和评估过程中佩戴。确保眼罩舒适地覆盖双眼，耳机正确朝向并贴合双耳（即左声道对应左耳）。
- 培训参与者如何使用AbES中指定的按键以及音频提示所代表的信息。通过特定的按键操作（图3），用户可在虚拟环境中导航并探索建筑结构（前进、向右或向左移动）。每一次虚拟步进约等于真实物理建筑中的一步。
- 熟悉游戏的规则与基本设定。
- 熟悉与游戏过程相关的特定音频提示（例如 寻找宝石的声音以及附近怪物出现的声音）。当用户在建筑中导航时，基于听觉和情境的空间信息将被依次获取并动态更新。空间与情境信息依赖于每迈出一步后所提供的图示性及空间化的声音提示。方位基于基本罗盘方向（例如 “北”或“东”），并通过文本转语音（TTS）提供有关用户当前位置、朝向和行进方向的进一步信息（例如 “您位于一楼走廊，面朝西”），以及路径中物体和障碍物的身....
访问受限。请登录或开始试用以查看此内容。
结果
展示了三名早盲参与者（年龄在19至22岁之间）的实验结果（参与者的具体特征见表1）。总体而言，三名参与者在使用AbES软件进行游戏训练后，均在全部三项导航任务中表现出较高的成功率。这一结果通过三项行为任务中的表现得分（群体均值及个体得分）得到了验证（见图6）。虚拟导航任务的正确率（平均：90%）和实际导航任务的正确率（平均：88.7%）均显示出较高的任务完成水平，且两项任务的表现相当（图6A）。在“放下”实验任务中的表现表明，参与者通常会选择最短路径离开建筑物（平均得分：3.0）（图6B）。最后，图6C展示了完成三项导航任务到达目标点所需的平均时间。虚拟导航时间（首先进行测试）通常长于实际导航（平均：137.3秒 vs. 73.8秒）。而“放下”任务中较短的平均导航时间（平均：37.3秒）与参与者倾向于选择最短路径离开建筑物的结果一致。
对一名代表性研究参与者在全部三项任务中的个体结果及导航路径进行评估显示，在虚拟.......
访问受限。请登录或开始试用以查看此内容。
讨论
我们介绍了一种基于音频的交互式虚拟环境模拟器，旨在提高盲人的整体空间感知能力和导航技能。我们证明，与AbES进行交互可提供准确的线索，描述物体之间的空间关系以及目标环境的整体布局。盲人用户能够基于这些听觉信息，并通过与沉浸式虚拟环境的交互，构建出准确的空间认知地图。此外，在游戏隐喻的背景下与AbES交互表明，空间认知结构可以通过与软件的因果性交互被隐式且较为简单地习得。如本研究初期阶段所展示的，这种游戏的交互性和沉浸性能够增强个体对新环境的空间感知，为构建准确的空间认知地图提供平台，并可能减少在到达陌生建筑之前独立导航时所产生的不安感。
通常，视觉障碍者可以通过定向与行动能力（O&M）训练获得功能性独立。然而，训练策略必须保持灵活且可适应，以便应用于新颖和不熟悉的情境，并根据个人的优势与不足进行调整，从而应对他们特定的挑战、需求和学习策略。交互式虚拟导航环境（如 AbES）的创造性应用可提供这种灵活性，并补充当前的 O&M 培训课程。该软件是一种辅助策略，不仅能够利用高度激励性的优势，还提供了一个测试平台，用于开展更受控且可量化的研究，以检验和验证这些训练方法的有效性。
<.......访问受限。请登录或开始试用以查看此内容。
披露
作者声明无利益冲突。
致谢
作者谨此感谢 Rabih Dow、Padma Rajagopal、Molly Connors 以及卡罗尔盲人中心（美国马萨诸塞州牛顿市）的工作人员在开展本研究过程中提供的支持。本工作得到美国国立卫生研究院/国家眼科研究所资助：RO1 EY019924。
....访问受限。请登录或开始试用以查看此内容。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 笔记本电脑 | 专用于培训参与者和收集数据的笔记本电脑 | ||
| 立体声耳机 （全封闭式耳罩设计） | 所有参与者在培训期间佩戴 | ||
| 眼罩 | 所有参与者在培训和测试期间佩戴 |
参考文献
- Loomis, J. M., Klatzky, R. L., Golledge, R. G. Navigating without vision: basic and applied research. Optom. Vis. Sci. 78, 282-289 (2001).
- Siegel, A. W., White, S. H. The development of spatial representations of large-scale environments. Adv. Child Dev. Behav.
访问受限。请登录或开始试用以查看此内容。
重印与许可
