Summary
基于音频的环境模拟器（ABES），是真正的全球导航能力，旨在提高在盲目的虚拟环境软件。
Abstract
基于音频的环境模拟器（ABES），是真正的全球导航能力，旨在提高在盲目的虚拟环境软件。用户只使用音频线索，并设置范围内的视频游戏比喻，收集相关的空间信息有关建筑物的布局。这允许用户制定了大规模的三维空间中，可以被操纵一个真正的室内导航任务为施行准确的空间认知的地图。游戏结束后，与会者评估他们的代表在游戏中的目标物理建筑内的导航能力。初步结果表明，早期盲人用户能够获得的空间布局，以前不熟悉的建筑被他们的表演了一系列的导航任务索引的相关信息。这些任务包括寻找路径，通过虚拟和物理的建筑，以及一系列任务落。我们发现，身临其境的高度交互性的的ABES软件的出现，极大地从事盲人用户，积极探索虚拟环境。这种方法的应用可以扩展到人口较多的视障人士。
Introduction
在一个陌生的环境中找到自己的方式表现为盲人作为一个重大的挑战。导航成功，需要了解一个人的自我环境中的1,2和对象之间的空间关系存在。周围空间的心理表征，描述了被称为“空间认知地图3。盲人可以通过收集相关的空间信息，其周围的环境可以生成一个精确的空间认知地图的目的，现实世界中的导航任务4,5的其他感觉通道（如听觉）。
动作视频游戏作为一种手段，学习和掌握技能6-9虚拟环境和教育的潜力方面出现相当大的兴趣。事实上，许多策略和方法已经开发了用于此目的的盲人（4,10-12）。我们已经开发了奥迪基于邻环境模拟器（ABES），以用户为中心的基于音频的虚拟环境，允许现有的物理建筑为模拟导航和探索。利用原有的建筑平面布置图，一个虚拟的渲染一个现代化的两层楼的建筑（位于卡罗尔中心的盲人，牛顿，MA）生成的的ABES软件（ 图1A和B）。 ABES结合了动作游戏的比喻，促进全面探索的建筑空间设计的前提。使用简单的击键和空间化的声音提示，用户浏览和探索整个建筑隐藏在各个房间收集到最大数量的珠宝。用户必须避免巡回怪物，可以把他们带走，并隐藏在其他地方建设（ 图1C）。
我们表明，与ABES使盲人用户产生一个精确的空间认知地图，基于对听觉信息的目标楼宇cquired范围内的一款动作游戏的比喻。一系列培训后的行为表现的测试，目的是评估转移获得的空间信息从虚拟环境到一个真实的世界，大型室内导航任务（参见图2为总体研究设计）证实了这一点。我们的研究结果表明，盲人用户能够成功地驾驭整个建筑，他们以前不熟悉，尽管事实上，在任何时候他们的整体研究的目的，也没有通知他们的指示回忆的空间布局，建设边玩游戏。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1。参与者的人口统计学
这是一个持续的研究，招募盲目的年龄在18-45岁之间的男性和女性参加。所有参与者在法律上是盲目的早期发病（记录之前于3岁以下）和不同的眼部病因。这项研究的参与者没有以前熟悉的目标物理建筑的空间布局。
2。准备和熟悉ABES
- 提供一个眼罩和耳机佩戴在整个培训和考核过程的参与者。确保眼罩放置在眼睛舒适和耳机的方向正确，定位在耳朵（ 即超过左耳左扬声器）。
- 火车参与者如何使用分配的键的信息所表示的音频提示在ABES。使用特定的按键组合（ 图3），在用户浏览，并探讨了建筑几乎（前进，向左或向右）。每一个虚步，接近真实的物理建筑中的一个步骤。
- 熟悉的游戏规则和前提。
- 熟悉游戏的声音提示（ 例如声音定位的珠宝和附近的怪物的声音）。当用户浏览通过建设，收购顺序听觉和上下文的空间信息，并动态更新。空间和态势信息的基础上标志性的空间化的声音提示后采取的每一步提供。方向是基于对大是大非的指南针标题（ 例如 “北”或“东进”）和文本通过语音（TTS）是用于提供进一步的信息对于用户的当前位置，方向和标题（ 例如：“你是在楼道里的第一个楼，面向西部大开发“），以及在他们的路径（ 例如：”这是一门“）的物体和障碍物的身份。距离线索提供基于ØŇ调节声音强度。声音的空间定位进行更新以匹配用户的以自我为中心的标题。本质上，该软件被设计作为一个功能的用户的位置和自我中心标题发挥适当的音频文件，并跟踪用户的位置，因为他们通过移动环境。例如，如果一个门位于人的右侧上，在用户的右耳听到的敲击声（即软件播放的音频文件的爆震在右声道的声音）。如果现在的人打开约180度，使同门现在位于其左侧，同样的敲击声现在听到在左声道（ 即软件播放的音频文件的爆震在左声道的声音）。最后，如果用户所面临的门，也同样在两个耳朵听到相同的敲击声。通过跟踪用户的以自我为中心的标题，该软件可以发挥适当的空间本地化的声音识别的存在和位置的对象和跟踪这些变化作为用户通过虚拟环境中移动。参见图4。
3。训练和游戏ABES（3次，每次持续30分钟共1.5小时）
- 允许免费玩游戏，并注意任何困难和挑战（ 例如，使用击键，声音提示，困难的导航区域）。正强化和澄清的每一堂训练课结束时。
- 记录游戏的性能（ 例如数量，时间和地点，参与者发现的一颗明珠）。
4。评估实景导航任务绩效
- 说明参与者的详细的测试和提供如何完成虚拟导航任务的说明。与会者将完成10个预定的导航任务，提出了按顺序使用的的ABES软件（ 即一次参与喘气成功地完成了第一个任务，计算机将自动重新定位他们的出发点以下任务）。
- 通知参与者，他们将有最多6分钟完成每个导航任务。
- 10个虚拟的导航路径的选择是基于比较的困难（ 即行驶距离和圈数）10开始预定配对的停止位置（ 即房间）。具体而言，导航目标路径所需的步骤的范围介于25-35步骤（在虚拟环境中）和90度的3-4匝之间成立。
- 将10导航对ABES自动化的性能介绍和数据采集。
- 测试结果是使用ABES的内部软件自动记录。成果的措施包括：成功地完成导航任务和达到目标的时间。请参阅图5A。
- 指令Describing的起始位置和目标中所提供由ABES软件自动在每个任务的开始。一旦受他们的第一个虚步，从起始位置和结束一次到达目标位置（除非时间需要更长的时间超过6分钟，运行取得了不完整的下一个路径），立即开始计时。捕获到的数据自动传送到一个文本文件，并在随后打开数据库/统计软件进行进一步的分析。
5。评估身体导航任务性能
- 说明的测试参与者的详细信息，并提供有关如何完成的物理导航任务的说明。与会者将完成10个预定的导航任务（加扰为了从以前的虚拟性能评估）和一个经验丰富的调查员的监督下。
- 通知的参与者，他们将有一个马克西妈妈的6分钟完成每个导航任务。的物理导航任务的目的，参与者可以使用他们的白甘蔗的流动性支持。
- 10个物理的导航路径的选择是基于10的开始和停止位置（ 即室）可比的困难（ 即行驶距离和圈数）在预定的配对。
- 调查准备与人工阅卷性能的导航任务列表的秒表和剪贴板。
- 由调查结果的措施手工记录。成果的措施包括：成功地完成导航任务和达到目标的时间。
- “方”的参与者（ 即位置的门在他们身后的起始位置）的参与者。由研究者中所提供的每个任务的开始描述的起始位置和目标的指令。计时开始后立即受德上课他们的第一物理步骤从起始位置和结束时，参与者口头报告到达目的地（除非时间需要更长的时间超过6分钟，该运行得分作为一个完整，并提出下一路径），。捕获的数据是手工记录，然后传输到数据库/统计软件进行进一步的分析。参见图5B。
6。任务绩效评估身体落
- 说明的测试参与者的详细信息，并提供有关如何完成导航任务的物理落的说明。与退出的建设的目标，用最短的可能的途径和经验丰富的调查员的监督下，参加者将完成5个导航任务。
- 通知参与者，他们将有最多6分钟完成每个导航任务。对于导航任务的物理落的目的，允许参与者使用白手杖的流动性支持。
- 5预定的物理起始位置用于使得3退出路径不同的长度是可能的。
- 调查准备与人工阅卷性能的导航任务列表的秒表和剪贴板。
- 由调查结果的措施手工记录。成果的措施包括：成功地完成导航任务和达到目标的时间。此外，路径取得了最高点的最短路径的最短路径（ 即 3个，2代表第二个，最长的1和0为不能够完成的任务）。参见图5C。
- “广场”的参与者在第一的位置。由研究者在开始每个任务中所提供的描述的开始位置的指令。一旦受他们的第一个步骤，从起始位置和结束，立即开始计时当参与者口头报告到达出口门的建筑（，除非时间需要更长的时间超过6分钟，运行取得了不完整，下一个起始位置）。捕获的数据是手工记录，然后传输到数据库/统计软件进行进一步的分析。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
从早期的盲目参与者（年龄介乎19至22岁）的结果显示参与者的特点（ 见表1）。总之，所有与会者表现出高层次的成功在所有这三个导航任务ABES软件与游戏。证实了这一点的表现的分数（组均值和个人）在所有三个行为的任务（ 见图6）。正确的比例表现为虚拟（平均90％），其次是物理的（平均88.7％）导航任务说明了一个高层次的成功和相当的性能，这两个任务（ 图6A）。性能上落实验表明，参与者往往选择最短的路线可能退出的建设（平均分：3.0）（ 图6B）。最后，导航到目标所需的平均时间是示出可用于所有三个导航任务， 如图6C所示。虚拟资产净值评估第一igation时间通常较长（平均137.3秒），比物理（73.8秒）的导航性能。在落客任务（平均：37.3秒）较短的平均航行时间观察是一致的事实，参加者可能会选择最短的路径，退出建设。
评估个别评估表明，从一个具有代表性的研究参与者和导航路线上的所有三个任务从开始到结束点位于一楼的虚拟导航了79秒（ 图7A路径显示为黄色）。性能的评价在同一路径上在物理的建筑用时46秒（ 图7B）。任务绩效落评价示出参与者采取尽可能最短路径的（打进3点和摄影导航时间48秒）（ 图7C）。
| 主题 | 年龄（岁） | 失明的病因 | 视功能的水平 |
| 1 | 22 | 早产儿视网膜病变 | 剩余的（光感） |
| 2 | 19 | 彼得斯异常，双侧视网膜脱离;终末期青光眼 | 深刻（无光感） |
| 3 | 19 | 早产儿视网膜病变 | 剩余的（光感） |
表1。参与者特性。
图1。提供虚拟环境中的ABES。一个）原有的两个故事的建筑平面图。该建筑包括23间客房和一系列连接走廊以及3个独立的出入口和2楼梯间。鉴于现有的空间布局，有多个路由的可能性，进入和退出的建设，B）虚拟渲染目标的建设ABES，C）对象时遇到玩ABES游戏模式。 点击此处查看大图 。
图2。总体研究设计，所有的参与者接受一个固定的训练和比赛发挥ABES期与随后的一系列导航评估（始终按顺序）。性能评估，包括虚拟，物理和脱落导航任务。
图3。阿贝斯的按键。
图4。培训和玩游戏用的ABES。一个）参与者坐在计算机终端上戴一个眼罩和立体声耳机B）的调查与研究参与者的照片。
图5。摘要A）数据采集的导航任务评估。虚拟导航路径评估。读出的开始和结束点的参与者和完成后的下一个路径被自动加载。所采取的路径（黄色）和时间目标是由软件自动收集的。B）调查评估在物理导航任务的性能。时序（用秒表）与会者的第一步开始和结束时，参加者到达的目标终点。C）样品的路线和导航任务落打分策略报告。有三个出口大门，因此多个可能的路径退出的建筑物。基于的起点上，所采取的路径（黄色中所示）得分。三（3）点，用最短的出口，其次是2和1点（零分表示无法找到一个出口）。 点击此处查看大图 。
图6。从导航任务的评估结果（一组10种导航路线的手段和个人的结果），从3个代表参与调查的汇总结果显示A）的百分比正确的性能为虚拟的物理导航任务。B）性能测试结果（滴上点的平均数）关闭任务。C）的平均时间，浏览到目标的所有三个导航评估。 点击此处查看大图 。
图7。个人导航任务的评估结果。代表性的结果从一个研究参与者所有这三个导航任务进行评估。A）虚拟导航（黄色）显示的路径B）在同一路径上的性能评估在物理大楼。C）评估关闭任务说明，参与者的最短路径可能下降。另一种可能的路径（黄色虚线）和得分值相对于给定的起点。 点击这里查看大图 。
Supplmental动画1。补充注释的视频游戏。视频序列视频播放器（黄色移动图标）进入房间位于一楼，被隐藏的宝石。空间化的声音（左，右声道），让玩家定位，并在其周围的环境，确定物体的位置（ 如门和障碍）。一旦发现的一颗明珠，解放军揭掉退出的建设，他们必须避免巡回怪物（红色动态图标）。然后玩家继续探索建设（第一层和第二层），以发现更多隐藏的宝石。 点击此处查看补充电影 。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
我们描述一个互动的虚拟环境仿真，旨在改善空间意识和导航技术的盲目。我们表明，与ABES提供准确线索，描述对象之间的空间关系和整体布局的目标环境。盲人用户可以生成精确的空间认知地图，在此听觉信息和身临其境的虚拟环境的互动。此外，与ABES范围内的游戏比喻表明，空间认知结构，可以学到隐含因果互动的软件，而不是简单地通过。在这个初始阶段的研究表明，互动和身临其境的游戏的本质可以提高个人的空间意识的一个新的环境，提供一个平台，创建一个精确的空间认知地图，并可能减少不安全与独立吨航行之前，到达一个陌生的建筑。
通常情况下，个人视障人士可以通过获得功能独立的方向和流动性（O＆M）培训。然而，重要的是保持灵活性和适应性，使他们可以应用到新的和不熟悉的情况下，针对一个人的自己的长处和短处，以便解决其特殊的挑战，需要和学习策略培训策略。创造性地利用与虚拟互动导航的环境，如ABES可以提供这种灵活性和补充当前的O＆M的培训课程。该软件的辅助策略，不仅借鉴了高激励驱动器的好处，但也提供了一个测试平台，进行更多的控制，可量化的研究，以测试和验证这些训练方法的有效性。
当前和今后一个调查包括一个大规模的研究，参与者随机分配到不同的训练方法（ 例如游戏相比，直接串行路径学习）和导航（ 即路由查找）的性能进行比较。我们亦会研究之间的差异早期和晚期的盲人以及其他因素包括年龄，性别之间的关系。
最后，这个组合的虚拟环境和游戏方式显然是引人入胜的自然，它也有兴趣在这里所描述的档案之外的盲人调查ABES导航技能发展的潜在利益。例如，最大（和增长最快的视力障碍）段是在人口老龄化和当前的趋势预计将增加13。因此，它似乎是高度相关的非可视化空间信息支撑资产净值的收购，探讨该方法的有效性这个人口群体igation技能。 ABES是一个基于计算机的方法，是很难推测在这个时候其非数字原生代的有效性。与此相似，ABES的方式，这将是适合残余视力的个人（ 即低视力）也可能是值得的。由于盲人属于这个类别的13个人，大多数实际的物理旅游前，在虚拟环境中训练也可能是福利计划路线，避免在一个陌生的环境，试图获取信息的困难。在这个方向，当前工作的目的是ABES的功能，如缩放（ 即高倍率），高的对比度显示，支持与低视力的个人发展。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
作者宣称没有利益冲突。
Acknowledgments
作者想感谢的Rabih陶氏，帕德玛拉贾格帕兰，莫莉·康纳斯和盲人卡罗尔中心的工作人员（牛顿MA，USA）的支持，在开展这项研究。这项工作是由美国国立卫生研究院/ NEI补助金：RO1 EY019924支持。
Materials
| Name | Company | Catalog Number | Comments |
| Laptop computer | Laptop used exclusively for training participants and collecting data | ||
| Stereo Head phones (fully enclosed circumaural design) | Worn by all participants during training | ||
| Blindfold | Worn by all participants during training and testing |
References
- Loomis, J. M., Klatzky, R. L., Golledge, R. G. Navigating without vision: basic and applied research. Optom. Vis. Sci. 78, 282-289 (2001).
- Siegel, A. W., White, S. H. The development of spatial representations of large-scale environments. Adv. Child Dev. Behav. 10, 9-55 (1975).
- Strelow, E. R. What is needed for a theory of mobility: direct perception and cognitive maps--lessons from the blind. Psychol. Rev. 92, 226-248 (1985).
- Giudice, N. A., Bakdash, J. Z., Legge, G. E. Wayfinding with words: spatial learning and navigation using dynamically updated verbal descriptions. Psychol. Res. 71, 347-358 (2007).
- Ashmead, D. H., Hill, E. W., Talor, C. R. Obstacle perception by congenitally blind children. Percept. Psychophys. 46, 425-433 (1989).
- Dede, C. Immersive interfaces for engagement and learning. Science. 323, 66-69 (2009).
- Bavelier, D., et al. Brains on video games. Nat. Rev. Neurosci. 12, 763-768 (2011).
- Bavelier, D., Green, C. S., Dye, M. W. Children, wired: for better and for worse. Neuron. 67, 692-701 (2010).
- Lange, B., et al. Designing informed game-based rehabilitation tasks leveraging advances in virtual reality. Disabil. Rehabil. , (2012).
- Merabet, L., Sánchez, J. Audio-based Navigation Using Virtual Environments: Combining Technology and Neuroscience. AER Journal: Research and Practice in Visual Impairment and Blindness. 2, 128-137 (2009).
- Kalia, A. A., Legge, G. E., Roy, R., Ogale, A. Assessment of Indoor Route-finding Technology for People with Visual Impairment. J. Vis. Impair. Blind. 104, 135-147 (2010).
- Lahav, O., Schloerb, D. W., Srinivasan, M. A. Newly blind persons using virtual environment system in a traditional orientation and mobility rehabilitation program: a case study. Disabil. Rehabil. Assist Technol. , (2011).
- WHO | Global trends in the magnitude of blindness and visual impairment [Internet]. , World Health Organization (WHO). Available from: http://www.who.int/blindness/causes/trends/en/index.html (2012).
