Summary
オーディオベースの環境シミュレータ（AbES）はブラインドで現実世界のナビゲーションのスキルを向上させるために設計された仮想環境ソフトウェアです。
Abstract
オーディオベースの環境シミュレータ（AbES）はブラインドで現実世界のナビゲーションのスキルを向上させるために設計された仮想環境ソフトウェアです。ビデオゲームのメタファーのコンテキスト内でのみオーディオベースの手がかりとセットを使用して、ユーザーが建物のレイアウトに関する関連する空間情報を収集します。これにより、ユーザーは実際の屋内ナビゲーションタスクの目的のために操作することができる大規模な3次元空間の正確な空間認知マップを開発することができます。ゲームプレイの後、参加者は、その後の試合で表されるターゲット物理的な建物内を移動する能力に基づいて評価されます。予備的な結果は、初期の視覚障害者がナビゲーションして、一連の作業で、その性能によってインデックスとして以前になじみのない建物の空間的レイアウトに関する関連情報を取得することができたことを示唆している。これらのタスクは、仮想および物理的な建物を通って経路探索だけでなく、タスクのドロップオフのシリーズが含まれていた。我々はその没入見つけるとAbESソフトウェアの高度にインタラクティブな性質は大いに積極的に仮想環境を探索するために盲目のユーザに係合するように表示されます。このアプローチのアプリケーションでは、視覚障害者の個人の大きな集団にまで及ぶかもしれません。
Introduction
不慣れな環境で自分の道を見つけることは、視覚障害者のための重要な課題として提示します。正常にナビゲートすると、1つの自己と環境1,2内のオブジェクト間に存在する空間的な関係を理解する必要があります。周囲の空間を記述心的表象は、空間認知地図3と呼ばれています。盲目の人は、4,5、現実世界のナビゲーション作業の目的のための正確な空間認知地図の生成を可能にする他の感覚チャネル（例えば聴覚など）を介して、周囲の環境に関する関連する空間情報を収集できます。
かなりの関心がスキル6-9を学び、習得するための手段として、仮想環境とアクションビデオゲームの教育的可能性に関して生じている。実際、多くの戦略やアプローチが（4,10-12を参照） は、この目的のためのブラインドのために開発されている。我々は、アウディを開発したOベースの環境シミュレータ（AbES）;シミュレートナビゲーションと既存の物理的な建物の探査を可能にするユーザー中心のオーディオベースの仮想環境。 AbESソフトウェア（ 図1AおよびB）で生成された、元の建築のフロアプラン、現代の2階建ての建物（ニュートン、マサチューセッツ州視覚障害者のためのキャロルセンターに設置）の仮想描画から描画。 AbESは、建物空間の完全な探査を促進するために設計を前提とアクションゲームのメタファーを内蔵しています。簡単なキーストロークと空間音響的な手がかりを使用して、ユーザーが移動し、様々な部屋に隠された宝石の最大数を収集するために、建物全体を探る。ユーザーがそれらを奪う、他の場所の建物（ 図1C）で、それらを非表示にすることができますロービングモンスターを避けなければなりません。
我々はAbESと対話する盲目のユーザーが、聴覚情報に基づいて、対象建物の正確な空間的な認知地図を生成することができることを実証アクションゲームのメタファーのコンテキスト内cquired。これは、現実世界との大規模な屋内ナビゲーションタスク（全体の研究デザインについては図2を参照）、仮想環境から獲得した空間情報の転送を評価するために設計された研修後の行動一連のパフォーマンステストにより確認されている。我々の結果は、時間がない時、彼らは研究全体の目的を知らされず、また、彼らはの空間レイアウトをリコールするように指示されたという事実にもかかわらず、目の不自由なユーザーが正常に彼らが以前に不慣れであった対象の建物全体をナビゲートすることができることを示すゲームをプレイしながら構築しています。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1。参加者の人口統計
これは、18から45歳の間盲目の男性と女性の参加者を募集して現在進行中の研究である。すべての参加者が合法的に早期発症のブラインド（3歳前に文書化されている）および眼病因を変えるのです。研究参加者はいずれも、ターゲット物理的な建物の空間的レイアウトを使用して、以前に精通していなかった。
2。 AbES有する製剤と習熟
- トレーニングやアセスメントプロセスを通して着用する目隠しとヘッドホンで参加者を提供します。目隠しは、快適目の上に配置されており、ヘッドホンを正しい向きで耳（左耳の上すなわち左スピーカー）の上に配置されていることを確認します。
- 割り当てられたキーとAbESでオーディオキューによって表される情報をどのように使うかの参加者を養成する。特定のキーストローク（ 図3）を使用して 、ユーザーがナビゲートすると探究（前進、右または左）事実上構築。各仮想のステップは、実際の物理的な建物の中に一歩を近似します。
- ゲームのルールと前提しておきます。
- ゲームプレイに固有のオーディオキュー（場所宝石や近くのモンスターの音などの音）に慣れる。ユーザが建物を通ってナビゲートすると、聴覚系、文脈空間情報を順次取得し、動的に更新されます。空間と状況情報が取られた各ステップの後に提供象徴と空間音響的な手がかりに基づいています。オリエンテーションは、ユーザの現在位置に関するさらなる情報を提供するために使用される音声合成（TTS）を通過するカーディナルコンパスの見出し（ 例えば "北"や"東"）としたテキストに基づいて方位と見出し（ 例えば "あなたが最初に廊下にあるので、西に面した床、 "）、ならびにそれらのパス内のオブジェクトや障害の識別情報（ 例えば、"これは"ドアです）。距離手がかりはo基づいて提供されn個の変調音の強さ。音の空間的局在は、ユーザーの自己中心的な見出しと一致するように更新されます。本質的には、ソフトウェアがユーザーの位置や自己中心的な見出しの関数として適切なオーディオファイルを再生するように設計されており、彼らが環境内を移動するユーザーの位置を追跡しています。ドアは、人の右側に配置されている場合たとえば、ノッキング音が（すなわち、ソフトウェアが右チャンネルのノック音の音声ファイルを再生）ユーザの右耳で聞いています。同じドアは今や彼らの左側に位置するように、人はすぐに180度回る場合は、同じ打音は、現在左チャンネル（ すなわち、ソフトウェアが左チャンネルのノック音の音声ファイルを再生）で聞かれる。最後に、ユーザーがドアを向いている場合、同一のノック音が均等に両耳で聞かれる。ユーザーの自己中心的な見出しを追跡することによって、ソフトウェアを特定、適切な空間ローカライズサウンドを再生することができますプレゼンスとオブジェクトの位置と、ユーザーが仮想環境内を移動するこれらの変更を追跡します。 図4を参照してください。
3。 AbESトレーニングとゲームプレイ（1.5時間の合計のための3つのセッションの各ラスティング30分）
- 自由なゲームプレイを可能にし、どんな困難や課題を（ すなわち、キーストロークの使用、オーディオキュー、困難なナビゲーションの領域）にも注意してください。正の強化と明確化が各トレーニングセッションの終了時に提供されています。
- レコード·ゲームのパフォーマンス（ 例えば 、参加者が宝石を見つけた数、時間と場所）。
4。仮想ナビゲーションタスクのパフォーマンスを評価
- 参加者にテストの詳細を説明し、仮想ナビゲーションタスクを完了する方法についての指示を提供します。参加者が順次参加一度AbESソフトウェア（ すなわちを用いて提示10所定のナビゲーションタスクを完了しますパンツは、最初のタスクを正常に完了すると、コンピュータが自動的に）次の作業の出発点にそれらを再検索します。
- 彼らは各ナビゲーションタスクを完了するために、6分の最大を持っていることを参加者に通知します。
- 同程度の難易度10の仮想ナビゲーションパス（ すなわち走行距離とターン数）10スタートとストップの場所（ すなわち室 ）の所定の組み合わせに基づいて選択されます。具体的には、目標ルートをナビゲートするために必要な手順の範囲は25から35の手順（仮想環境）と90度の3-4ターンの間に組み込ま間であった。
- 自動化されたプレゼンテーションやパフォーマンスのデータ·キャプチャ用AbESに10ナビゲーションペアをロードします。
- アウトカム指標は、自動的にAbES '内部のソフトウェアを使用して記録されます。アウトカム指標は、次のとおりです。ナビゲーションタスクと目標を達成するのに要した時間が正常に完了したことを。 図5Aを参照してください。
- 命令D開始位置とターゲット宛先をescribingは、各タスクの開始時にAbESソフトウェアによって自動的に提供されます。タイミングは、被験者が開始位置から彼らの最初の仮想ステップを取り、一度ターゲットの場所（時間は実行が不完全として採点され、次のパスが提示されている6分、より長くかかる場合を除きます）に到着一度終了直後に開始されます。キャプチャされたデータは自動的にテキストファイルに送信され、データベース/さらなる分析のための統計ソフトウェアに続いて開かれます。
5。物理的なナビゲーション·タスクのパフォーマンスを評価
- 参加者にテストの詳細を説明し、物理的なナビゲーション·タスクを完了する方法についての指示を提供します。参加者は10所定のナビゲーション作業（以前の仮想性能評価からスクランブルの順序で表示）と、経験豊かな調査員の監督の下で完了します。
- 彼らは最大を持つことになり、参加者に知らせる各ナビゲーションタスクを完了するために6分のお母さん。物理的なナビゲーション·タスクの目的のために、参加者はモビリティサポートのために彼らの白杖を使用することが許される。
- 10物理的なナビゲーション·パスは匹敵する難易度の10スタートとストップの場所（ すなわち部屋）（ すなわち走行距離とターン数）の所定の組み合わせに基づいて選択されます。
- 調査官は、ストップウォッチやパフォーマンスの手動スコアリング用のナビゲーションタスクのリストをクリップボードを準備します。
- アウトカム指標は、手動で調査者によって記録されます。アウトカム指標は、次のとおりです。ナビゲーションタスクと目標を達成するのに要した時間が正常に完了したことを。
- "スクエアオフ"参加者（ つまりそれらの背後に位置開始位置のドアを持つ参加者）。開始位置とターゲット宛先を記述する手順は、各タスクの開始時に治験責任医師によって提供されています。タイミングは、被験者鐸たら直ちに開始ES開始位置から彼らの最初の物理的なステップと参加者が口頭で（時間は実行が不完全として採点され、次のパスが提示されている6分、より長くかかる場合を除きます）目的地に到着報告したときに終了します。キャプチャしたデータを手動で記録し、その後データベース/さらなる分析のための統計ソフトウェアに転送されます。 図5Bを参照してください。
6。タスクパフォーマンスオフ物理Dropを評価する
- 参加者にテストの詳細を説明し、ナビゲーション作業オフ物理降下を完了する方法を提供します。参加者は、できるだけ最短のルートを使用して建物を出たの目標とし、経験豊かな調査員の監督の下で5ナビゲーション作業を完了します。
- 彼らは各ナビゲーションタスクを完了するために、6分の最大を持っていることを参加者に通知します。ナビゲーションタスクオフ物理降下の目的のために、参加者が許可されモビリティサポートのために彼らの白杖を使用します。
- 5所定の物理的な開始位置は、異なる長さの3の終了パスが可能であることはそのような使用されています。
- 調査官は、ストップウォッチやパフォーマンスの手動スコアリング用のナビゲーションタスクのリストをクリップボードを準備します。
- アウトカム指標は、手動で調査者によって記録されます。アウトカム指標は、次のとおりです。ナビゲーションタスクと目標を達成するのに要した時間が正常に完了したことを。また、パスが取ら最短パスが最大のポイント（最短経路すなわち 3、第2、タスクを完了することができないの最長は1、0）を与えられるように採点されます。 図5Cを参照してください。
- 最初に開始位置で "スクエアオフ"の参加者。開始位置を記述する手順は、各タスクの開始時に治験責任医師によって提供されています。タイミングは、一度被写体が開始位置から彼らの最初の物理的なステップを取り、終了直後に始まる参加者は、口頭で建物の出口のドア（時間は、実行が不完全であると得点が記録され、次のスタートの場所が提示されている6分、より長くかかる場合を除きます）に到着したときに報告します。キャプチャしたデータを手動で記録し、その後データベース/さらなる分析のための統計ソフトウェアに転送されます。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
3早いブラインドの参加者（19〜22歳）の結果は（参加者の特徴については表1を参照）が示されている。要約すると、3つのすべての参加者がAbESソフトウェアとゲームプレイに続くすべての3つのナビゲーション·タスクに成功の高いレベルを示した。これは、すべての3つの行動のタスクのパフォーマンススコア（グループ平均と個）（ 図6を参照）によって確認された。仮想（平均90％）の割合が正しい性能が続く物理的（平均：88.7％）のナビゲーションタスクは両方のタスク（ 図6A）の成功と匹敵する高いレベルのパフォーマンスを示しています。 （ 図6B）：実験ドロップオフでのパフォーマンスは、参加者が頻繁に建物を（3.0スコアを意味する）に終了する可能最短ルートを選択したことを示唆している。最後に、ターゲットに移動に要した平均時間は、 図6Cに示されているすべての3つのナビゲーション·タスクのために示されている。仮想NAV物理（73.8秒）、ナビゲーション性能より：igation時間（最初に評価された）（137.3秒を意味する）は、典型的には長かった。タスクドロップオフ（平均：37.3秒）で観察されたより短い平均航行時間は、参加者が建物を終了する最短経路を選択する可能性があったという事実と整合的である。
最初から仮想ナビゲーションは1階に位置してポイントを終了することを明らかにした査定の3つのタスクの1つの代表的な研究参加者や航路から個々の結果を評価する（;黄色で示されたパス図7A）秒79かかりました。物理的な建物の中に同一のパス上の性能の評価は、46秒（ 図7B）を取った。タスクパフォーマンスドロップオフの評価は参加者が可能な限り最短のパス（スコア3ポイント、48秒の撮影ナビゲーション時）（ 図7C）を取ったことを示しています。
| 件名 | 年齢（歳） | 失明の病因 | 視覚機能のレベル |
| 1 | 22 | 未熟児網膜症 | 残差（光覚） |
| 2 | 19 | ピーターズ異常、二国間の網膜剥離、緑内障末期 | 深遠な（光覚なし） |
| 3 | 19 | 未熟児網膜症 | 残差（光覚） |
表1参加者の特徴。
図1。 AbESでレンダリング仮想環境。）オリジナルの二階建ての建物のフロアプラン。建物は23室と渡り廊下のシリーズと同様に3つの別々の入り口と2階段を含む。既存の空間レイアウトを考えると、建物に出入りするための複数のルートの可能性がAbES内のターゲットの建物の仮想レンダリング、C）は 、ゲームモードでAbESを再生しながら、オブジェクトが発生した）A、Bがあります。 拡大図を表示するには、ここをクリックしてください 。
図2。全体的な研究デザイン。すべての参加者は、ナビゲーション·アセスメント（常に順番に）続いて一連のAbES持つ固定トレーニングやゲームのプレイ期間を経る。性能の評価は、物理環境、仮想含まれており、ナビゲーション作業を落とす。
図3。 AbESキーストローク。
図4。 AbESトレーニングとゲームをプレイ。）参加者は目隠しとステレオヘッドホンを着用してコンピュータ端末の前に座る。研究参加者と捜査官のB）の写真。
図5。ナビゲーションタスクアセスメントの要約を表示します。）仮想ナビゲーションパスアセスメントからのデータキャプチャ。開始点と終了点は、参加者に読まれ、次のパスが完了した後に自動的にロードされます。取られた経路（黄色で表示）と時間ターゲットにソフトウェアによって自動的に収集されます。B）の捜査官は、物理的なナビゲーション·タスクのパフォーマンスを評価しています。タイミング（ストップウォッチを使用して）参加者の最初のステップで始まり、参加者はターゲットのエンドポイントに到着報告したときに終了します。ナビゲーションタスクドロップオフのC）サンプル経路と得点戦略。建物を出る3つの出口のドアと、その結果、複数の可能なルートがあります。出発点に基づいて、取られた経路は、（黄色で表示）得点が記録されます。 3つの（3）の点は2と1点（ゼロのスコアが出口を見つけることができませんことを示します）に続いて最短の出口を、使用するために与えられている。 拡大図を表示するには、ここをクリックしてください 。
図6。ナビゲーションタスクアセスメントから集計結果。研究では3代表の参加者からの結果（グループ平均と10テスト航路から個々の結果）が表示されます）仮想のためのパーセント正しい性能が物理ナビゲーション作業が続いた。B）のパフォーマンス結果（タスクのドロップオフのポイントの平均数）はC）のターゲットに移動するのにかかる平均時間は、すべての3つのナビゲーション·アセスメントのために示されている。 拡大図を表示するには、ここをクリックしてください 。
図7。ナビゲーションタスクアセスメントから個々の結果。代表的な結果が上の1つの研究参加者から示され評価し、3つすべてのナビゲーション作業。）仮想ナビゲーション（黄色で表示されているパス）。物理的な建物内の同じパスのパフォーマンスのB）を評価します。C）タスクドロップオフの評価は、参加者が最短経路を取ったことを示しています。代替可能性のあるパス（黄色い点線）と指定された開始点からの相対的なスコア値も示されています。 拡大図を表示するには、ここをクリックしてください 。
Supplmentalムービー1。宝石が隠されている一階に部屋に入ってくる選手（黄色移動アイコン）を示す注釈付きのビデオゲームをプレイ。ビデオシーケンスの補足ビデオ 。音が空間化（左右チャンネル）の向きをプレーヤーを許可し、彼らの周囲の環境のオブジェクト（ 例えばドアや障害物）の位置を特定します。宝石が見つかったら、ナンプラーヤーは終了し建物を、彼らは放浪モンスター（赤移動アイコン）を避けなければなりません。プレイヤーは、より多くの隠された宝石を見つけるために、建物（一、二階）を探索し続けています。 補足ムービーを見るにはここをクリック 。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
我々は盲目の一般的な空間認識とナビゲーション·スキルを向上させるために設計されたインタラクティブなオーディオベースの仮想環境シミュレータについて説明します。我々はAbESと相互作用するオブジェクトとターゲット環境の全体的なレイアウト間の空間的関係を記述する正確な手がかりを提供することを実証している。盲目のユーザーは、この聴覚情報にと没入型仮想環境と相互作用することによって、基に正確な空間認知地図を生成することができます。さらに、ゲームのメタファーのコンテキスト内AbESと相互作用すると、その空間認知コンストラクトは単にソフトウェアとの因果関係の相互作用を介して暗黙のうちに、むしろ学ぶことができますを示しています。研究のこの初期段階で示されるように、ゲームのインタラクティブな没入と性質は、新しい環境の個々の空間意識を向上させる正確な空間認知地図を作成するためのプラットフォームを提供し、independenに関連付けられている不安を減らすことができますトンナビゲーション不慣れな建物に到着する前に。
典型的には、視覚障害を持つ個人は、オリエンテーションとモビリティ（O＆M）研修を通じて機能的自立を得ることができます。それは、トレーニング戦略は彼らが小説や不慣れな状況に適用し、特定の課題、ニーズや学習戦略に対処するように、人の長所と短所に合わせて調整することができるように、柔軟で適応性のままであることが重要である。そのようなAbESなどのインタラクティブ仮想ナビゲーション環境の創造的な使用には、このような柔軟性を提供し、現在のO＆Mの研修カリキュラムを補足することができる。このソフトウェアは、高い動機付けのドライブの利点に描画だけでなく、これらの訓練のアプローチの有効性をテストおよび検証するより制御された、定量的研究を行うためにテスト·プラットフォームを提供するだけでなく、補助的な戦略を表しています。
現在および将来の捜査意志参加者が比較される訓練（ 例えばゲームの直接シリアルルートの学習と比較して）とナビゲーション（ すなわち、経路発見）パフォーマンスの方法が異なるためにランダム化された大規模な研究が含まれています。我々はまた、朝早くから夜遅くまでブラインドと同様に、年齢や性別など、その他の要因との関係の違いを調査します。
最後に、この結合された仮想環境やゲームアプローチの明らかに魅力的な性質を考えると、それはまた、ここで説明したプロファイルを越えブラインド個人のナビゲーション能力開発上のAbESの潜在的な利点を調査するのは興味があるだろう。例えば、視覚障害の最大の（かつ最も急速に成長している）セグメントは、人口の高齢化と現在のトレンドである13を増加することが予想される。したがって、それはNAVを支える空間情報の非視覚的買収のためのこのアプローチの有効性を探索するために、関連性の高いと思われるこの属性グループでigationスキル。 AbESは、コンピュータベースのアプローチであることを考えると、それは非デジタルネイティブでその有効性について、現時点では推測することは困難である。似たような線に沿って、残存視覚を有する個人（ すなわち低視力）に従順であろう方法で開発AbESも価値がある可能性があります。このカテゴリに13歳未満の法的盲目の秋である個人の大多数を考えると、実際の物理的な旅行前に仮想環境でのトレーニングもルートを計画し、不慣れな環境で情報にアクセスしようとすると関連付けられている問題を回避するために有益である可能性があります。この方向では、現在の作業は、ズーム（高倍率）やロービジョンを持つ個人をサポートする高コントラスト表示などAbES機能を開発することを目的としている。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
著者らは、利害の衝突は宣言しない。
Acknowledgments
著者らは、この研究を実施する上で彼らのサポートのためのラビア·ダウ、パドマRajagopal、モリーコナーズと視覚障害者のためのキャロルセンター（ニュートンMA、USA）のスタッフに感謝したいと思います。 RO1 EY019924：この作品は、NIH / NEI助成金によって支えられている。
Materials
| Name | Company | Catalog Number | Comments |
| Laptop computer | Laptop used exclusively for training participants and collecting data | ||
| Stereo Head phones (fully enclosed circumaural design) | Worn by all participants during training | ||
| Blindfold | Worn by all participants during training and testing |
References
- Loomis, J. M., Klatzky, R. L., Golledge, R. G. Navigating without vision: basic and applied research. Optom. Vis. Sci. 78, 282-289 (2001).
- Siegel, A. W., White, S. H. The development of spatial representations of large-scale environments. Adv. Child Dev. Behav. 10, 9-55 (1975).
- Strelow, E. R. What is needed for a theory of mobility: direct perception and cognitive maps--lessons from the blind. Psychol. Rev. 92, 226-248 (1985).
- Giudice, N. A., Bakdash, J. Z., Legge, G. E. Wayfinding with words: spatial learning and navigation using dynamically updated verbal descriptions. Psychol. Res. 71, 347-358 (2007).
- Ashmead, D. H., Hill, E. W., Talor, C. R. Obstacle perception by congenitally blind children. Percept. Psychophys. 46, 425-433 (1989).
- Dede, C. Immersive interfaces for engagement and learning. Science. 323, 66-69 (2009).
- Bavelier, D., et al. Brains on video games. Nat. Rev. Neurosci. 12, 763-768 (2011).
- Bavelier, D., Green, C. S., Dye, M. W. Children, wired: for better and for worse. Neuron. 67, 692-701 (2010).
- Lange, B., et al. Designing informed game-based rehabilitation tasks leveraging advances in virtual reality. Disabil. Rehabil. , (2012).
- Merabet, L., Sánchez, J. Audio-based Navigation Using Virtual Environments: Combining Technology and Neuroscience. AER Journal: Research and Practice in Visual Impairment and Blindness. 2, 128-137 (2009).
- Kalia, A. A., Legge, G. E., Roy, R., Ogale, A. Assessment of Indoor Route-finding Technology for People with Visual Impairment. J. Vis. Impair. Blind. 104, 135-147 (2010).
- Lahav, O., Schloerb, D. W., Srinivasan, M. A. Newly blind persons using virtual environment system in a traditional orientation and mobility rehabilitation program: a case study. Disabil. Rehabil. Assist Technol. , (2011).
- WHO | Global trends in the magnitude of blindness and visual impairment [Internet]. , World Health Organization (WHO). Available from: http://www.who.int/blindness/causes/trends/en/index.html (2012).
