ブラインドのナビゲーションスキルを支援するためにオーディオベースのバーチャル·ゲーム環境の開発

サマリー

オーディオベースの環境シミュレータ（AbES）はブラインドで現実世界のナビゲーションのスキルを向上させるために設計された仮想環境ソフトウェアです。

要約

オーディオベースの環境シミュレータ（AbES）はブラインドで現実世界のナビゲーションのスキルを向上させるために設計された仮想環境ソフトウェアです。ビデオゲームのメタファーのコンテキスト内でのみオーディオベースの手がかりとセットを使用して、ユーザーが建物のレイアウトに関する関連する空間情報を収集します。これにより、ユーザーは実際の屋内ナビゲーションタスクの目的のために操作することができる大規模な3次元空間の正確な空間認知マップを開発することができます。ゲームプレイの後、参加者は、その後の試合で表されるターゲット物理的な建物内を移動する能力に基づいて評価されます。予備的な結果は、初期の視覚障害者がナビゲーションして、一連の作業で、その性能によってインデックスとして以前になじみのない建物の空間的レイアウトに関する関連情報を取得することができたことを示唆している。これらのタスクは、仮想および物理的な建物を通って経路探索だけでなく、タスクのドロップオフのシリーズが含まれていた。我々はその没入見つけるとAbESソフトウェアの高度にインタラクティブな性質は大いに積極的に仮想環境を探索するために盲目のユーザに係合するように表示されます。このアプローチのアプリケーションでは、視覚障害者の個人の大きな集団にまで及ぶかもしれません。

概要

不慣れな環境で自分の道を見つけることは、視覚障害者のための重要な課題として提示します。正常にナビゲートすると、1つの自己と環境^1,2内のオブジェクト間に存在する空間的な関係を理解する必要があります。周囲の空間を記述心的表象は、空間認知地図³と呼ばれています。盲目の人は^、4,5、現実世界のナビゲーション作業の目的のための正確な空間認知地図の生成を可能にする他の感覚チャネル（例えば聴覚など）を介して、周囲の環境に関する関連する空間情報を収集できます。

かなりの関心がスキル^6-9を学び、習得するための手段として、仮想環境とアクションビデオゲームの教育的可能性に関して生じている。実際、多くの戦略やアプローチが^{（4,10-12を}参照） ^は、この目的のためのブラインドのために開発されている。我々は、アウディを開発したOベースの環境シミュレータ（AbES）;シミュレートナビゲーションと既存の物理的な建物の探査を可能にするユーザー中心のオーディオベースの仮想環境。 AbESソフトウェア（ 図1AおよびB）で生成された、元の建築のフロアプラン、現代の2階建ての建物（ニュートン、マサチューセッツ州視覚障害者のためのキャロルセンターに設置）の仮想描画から描画。 AbESは、建物空間の完全な探査を促進するために設計を前提とアクションゲームのメタファーを内蔵しています。簡単なキーストロークと空間音響的な手がかりを使用して、ユーザーが移動し、様々な部屋に隠された宝石の最大数を収集するために、建物全体を探る。ユーザーがそれらを奪う、他の場所の建物（ 図1C）で、それらを非表示にすることができますロービングモンスターを避けなければなりません。

我々はAbESと対話する盲目のユーザーが、聴覚情報に基づいて、対象建物の正確な空間的な認知地図を生成することができることを実証アクションゲームのメタファーのコンテキスト内cquired。これは、現実世界との大規模な屋内ナビゲーションタスク（全体の研究デザインについては図2を参照）、仮想環境から獲得した空間情報の転送を評価するために設計された研修後の行動一連のパフォーマンステストにより確認されている。我々の結果は、時間がない時、彼らは研究全体の目的を知らされず、また、彼らはの空間レイアウトをリコールするように指示されたという事実にもかかわらず、目の不自由なユーザーが正常に彼らが以前に不慣れであった対象の建物全体をナビゲートすることができることを示すゲームをプレイしながら構築しています。

プロトコル

1。参加者の人口統計

これは、18から45歳の間盲目の男性と女性の参加者を募集して現在進行中の研究である。すべての参加者が合法的に早期発症のブラインド（3歳前に文書化されている）および眼病因を変えるのです。研究参加者はいずれも、ターゲット物理的な建物の空間的レイアウトを使用して、以前に精通していなかった。

2。 AbES有する製剤と習熟

1. トレーニングやアセスメントプロセスを通して着用する目隠しとヘッドホンで参加者を提供します。目隠しは、快適目の上に配置されており、ヘッドホンを正しい向きで耳（左耳の上すなわち左スピーカー）の上に配置されていることを確認します。
2. 割り当てられたキーとAbESでオーディオキューによって表される情報をどのように使うかの参加者を養成する。特定のキーストローク（ 図3）を使用して 、ユーザーがナビゲートすると探究（前進、右または左）事実上構築。各仮想のステップは、実際の物理的な建物の中に一歩を近似します。
3. ゲームのルールと前提しておきます。
4. ゲームプレイに固有のオーディオキュー（場所宝石や近くのモンスターの音などの音）に慣れる。ユーザが建物を通ってナビゲートすると、聴覚系、文脈空間情報を順次取得し、動的に更新されます。空間と状況情報が取られた各ステップの後に提供象徴と空間音響的な手がかりに基づいています。オリエンテーションは、ユーザの現在位置に関するさらなる情報を提供するために使用される音声合成（TTS）を通過するカーディナルコンパスの見出し（ 例えば "北"や"東"）としたテキストに基づいて方位と見出し（ 例えば "あなたが最初に廊下にあるので、西に面した床、 "）、ならびにそれらのパス内のオブジェクトや障害の識別情報（ 例えば、"これは"ドアです）。距離手がかりはo基づいて提供されn個の変調音の強さ。音の空間的局在は、ユーザーの自己中心的な見出しと一致するように更新されます。本質的には、ソフトウェアがユーザーの位置や自己中心的な見出しの関数として適切なオーディオファイルを再生するように設計されており、彼らが環境内を移動するユーザーの位置を追跡しています。ドアは、人の右側に配置されている場合たとえば、ノッキング音が（すなわち、ソフトウェアが右チャンネルのノック音の音声ファイルを再生）ユーザの右耳で聞いています。同じドアは今や彼らの左側に位置するように、人はすぐに180度回る場合は、同じ打音は、現在左チャンネル（ すなわち、ソフトウェアが左チャンネルのノック音の音声ファイルを再生）で聞かれる。最後に、ユーザーがドアを向いている場合、同一のノック音が均等に両耳で聞かれる。ユーザーの自己中心的な見出しを追跡することによって、ソフトウェアを特定、適切な空間ローカライズサウンドを再生することができますプレゼンスとオブジェクトの位置と、ユーザーが仮想環境内を移動するこれらの変更を追跡します。 図4を参照してください。

3。 AbESトレーニングとゲームプレイ（1.5時間の合計のための3つのセッションの各ラスティング30分）

1. 自由なゲームプレイを可能にし、どんな困難や課題を（ すなわち、キーストロークの使用、オーディオキュー、困難なナビゲーションの領域）にも注意してください。正の強化と明確化が各トレーニングセッションの終了時に提供されています。
2. レコード·ゲームのパフォーマンス（ 例えば 、参加者が宝石を見つけた数、時間と場所）。

4。仮想ナビゲーションタスクのパフォーマンスを評価

1. 参加者にテストの詳細を説明し、仮想ナビゲーションタスクを完了する方法についての指示を提供します。参加者が順次参加一度AbESソフトウェア（ すなわちを用いて提示10所定のナビゲーションタスクを完了しますパンツは、最初のタスクを正常に完了すると、コンピュータが自動的に）次の作業の出発点にそれらを再検索します。
2. 彼らは各ナビゲーションタスクを完了するために、6分の最大を持っていることを参加者に通知します。
3. 同程度の難易度10の仮想ナビゲーションパス（ すなわち走行距離とターン数）10スタートとストップの場所（ すなわち室 ）の所定の組み合わせに基づいて選択されます。具体的には、目標ルートをナビゲートするために必要な手順の範囲は25から35の手順（仮想環境）と90度の3-4ターンの間に組み込ま間であった。
4. 自動化されたプレゼンテーションやパフォーマンスのデータ·キャプチャ用AbESに10ナビゲーションペアをロードします。
5. アウトカム指標は、自動的にAbES '内部のソフトウェアを使用して記録されます。アウトカム指標は、次のとおりです。ナビゲーションタスクと目標を達成するの​​に要した時間が正常に完了したことを。 図5Aを参照してください。
6. 命令D開始位置とターゲット宛先をescribingは、各タスクの開始時にAbESソフトウェアによって自動的に提供されます。タイミングは、被験者が開始位置から彼らの最初の仮想ステップを取り、一度ターゲットの場所（時間は実行が不完全として採点され、次のパスが提示されている6分、より長くかかる場合を除きます）に到着一度終了直後に開始されます。キャプチャされたデータは自動的にテキストフ​​ァイルに送信され、データベース/さらなる分析のための統計ソフトウェアに続いて開かれます。

5。物理的なナビゲーション·タスクのパフォーマンスを評価

1. 参加者にテストの詳細を説明し、物理的なナビゲーション·タスクを完了する方法についての指示を提供します。参加者は10所定のナビゲーション作業（以前の仮想性能評価からスクランブルの順序で表示）と、経験豊かな調査員の監督の下で完了します。
2. 彼らは最大を持つことになり、参加者に知らせる各ナビゲーションタスクを完了するために6分のお母さん。物理的なナビゲーション·タスクの目的のために、参加者はモビリティサポートのために彼らの白杖を使用することが許される。
3. 10物理的なナビゲーション·パスは匹敵する難易度の10スタートとストップの場所（ すなわち部屋）（ すなわち走行距離とターン数）の所定の組み合わせに基づいて選択されます。
4. 調査官は、ストップウォッチやパフォーマンスの手動スコアリング用のナビゲーションタスクのリストをクリップボードを準備します。
5. アウトカム指標は、手動で調査者によって記録されます。アウトカム指標は、次のとおりです。ナビゲーションタスクと目標を達成するの​​に要した時間が正常に完了したことを。
6. "スクエアオフ"参加者（ つまりそれらの背後に位置開始位置のドアを持つ参加者）。開始位置とターゲット宛先を記述する手順は、各タスクの開始時に治験責任医師によって提供されています。タイミングは、被験者鐸たら直ちに開始ES開始位置から彼らの最初の物理的なステップと参加者が口頭で（時間は実行が不完全として採点され、次のパスが提示されている6分、より長くかかる場合を除きます）目的地に到着報告したときに終了します。キャプチャしたデータを手動で記録し、その後データベース/さらなる分析のための統計ソフトウェアに転送されます。 図5Bを参照してください。

6。タスクパフォ​​ーマンスオフ物理Dropを評価する

1. 参加者にテストの詳細を説明し、ナビゲーション作業オフ物理降下を完了する方法を提供します。参加者は、できるだけ最短のルートを使用して建物を出たの目標とし、経験豊かな調査員の監督の下で5ナビゲーション作業を完了します。
2. 彼らは各ナビゲーションタスクを完了するために、6分の最大を持っていることを参加者に通知します。ナビゲーションタスクオフ物理降下の目的のために、参加者が許可されモビリティサポートのために彼らの白杖を使用します。
3. 5所定の物理的な開始位置は、異なる長さの3の終了パスが可能であることはそのような使用されています。
4. 調査官は、ストップウォッチやパフォーマンスの手動スコアリング用のナビゲーションタスクのリストをクリップボードを準備します。
5. アウトカム指標は、手動で調査者によって記録されます。アウトカム指標は、次のとおりです。ナビゲーションタスクと目標を達成するの​​に要した時間が正常に完了したことを。また、パスが取ら最短パスが最大のポイント（最短経路すなわち 3、第2、タスクを完了することができないの最長は1、0）を与えられるように採点されます。 図5Cを参照してください。
6. 最初に開始位置で "スクエアオフ"の参加者。開始位置を記述する手順は、各タスクの開始時に治験責任医師によって提供されています。タイミングは、一度被写体が開始位置から彼らの最初の物理的なステップを取り、終了直後に始まる参加者は、口頭で建物の出口のドア（時間は、実行が不完全であると得点が記録され、次のスタートの場所が提示されている6分、より長くかかる場合を除きます）に到着したときに報告します。キャプチャしたデータを手動で記録し、その後データベース/さらなる分析のための統計ソフトウェアに転送されます。

結果

3早いブラインドの参加者（19〜22歳）の結果は（参加者の特徴については表1を参照）が示されている。要約すると、3つのすべての参加者がAbESソフトウェアとゲームプレイに続くすべての3つのナビゲーション·タスクに成功の高いレベルを示した。これは、すべての3つの行動のタスクのパフォーマンススコア（グループ平均と個）（ 図6を参照）によって確認された。仮想（平均90％）の割合が正しい性能が続く物理的（平均：88.7％）のナビゲーションタスクは両方のタスク（ 図6A）の成功と匹敵する高いレベルのパフォーマンスを示しています。 （ 図6B）：実験ドロップオフでのパフォーマンスは、参加者が頻繁に建物を（3.0スコアを意味する）に終了する可能最短ルートを選択したことを示唆している。最後に、ターゲットに移動に要した平均時間は、 図6Cに示されているすべての3つのナビゲーション·タスクのために示されている。仮想NAV物理（73.8秒）、ナビゲーション性能より：igation時間（最初...

ディスカッション

我々は盲目の一般的な空間認識とナビゲーション·スキルを向上させるために設計されたインタラクティブなオーディオベースの仮想環境シミュレータについて説明します。我々はAbESと相互作用するオブジェクトとターゲット環境の全体的なレイアウト間の空間的関係を記述する正確な手がかりを提供することを実証している。盲目のユーザーは、この聴覚情報にと没入型仮想環境と相互作用することによって、基に正確な空間認知地図を生成することができます。さらに、ゲームのメタファーのコンテキスト内AbESと相互作用すると、その空間認知コンストラクトは単にソフトウェアとの因果関係の相互作用を介して暗黙のうちに、むしろ学ぶことができますを示しています。研究のこの初期段階で示されるように、ゲームのインタラクティブな没入と性質は、新しい環境の個々の空間意識を向上させる正確な空間認知地図を作成するためのプラットフォームを提供し、independenに関連付けられている不安を減らすことができますトンナビゲーション不慣れな建物に到着する前に。

典型的には、視覚障害を持つ個人は、オリエンテーションとモビリティ（O＆M）研修を通じて機...

材料

この記事で使用された材料の一覧

名前	会社	カタログ番号	コメント
機器の名称	注釈
ラップトップコンピュータ	研修参加者とデータ収集のためだけに使用されるラップトップ
ステレオヘッドフォン（完全密閉circumaural設計）	訓練中にすべての参加者が着用している
目隠し	トレーニングとテストの間に、すべての参加者が着用している