Entwicklung eines Audio-based Virtual Gaming Umwelt mit Navigation Skills in the Blind Assist

Zusammenfassung

Audio-based Environment Simulator (ABES) ist virtuelle Umgebung Software entwickelt, um realen Welt Navigation Fähigkeiten im toten verbessern.

Zusammenfassung

Audio-based Environment Simulator (ABES) ist virtuelle Umgebung Software entwickelt, um realen Welt Navigation Fähigkeiten im toten verbessern. Verwendung nur Tonbasisrichtung Signale und Satzes im Kontext eines Videospiels Metapher sammeln Benutzer relevante räumliche Informationen bezüglich eines Gebäudes u.dgl. Dies ermöglicht dem Benutzer, um eine genaue räumliche kognitiven Karte eines großen dreidimensionalen Raum, die für die Zwecke einer Echtzeit Indoor-Navigation Aufgabe manipuliert werden kann entwickeln. Nachdem ein Spiel spielen, werden die Teilnehmer dann auf ihre Fähigkeit, innerhalb des Ziels bauphysikalischen im Spiel dargestellt navigieren beurteilt. Vorläufige Ergebnisse legen nahe, dass eine frühzeitige blinde Benutzer in der Lage, relevante Informationen bezüglich der räumlichen Anordnung eines zuvor unbekannten Gebäude wie durch ihre Leistung an einer Serie von Navigationsaufgaben indexiert gewinnen konnten. Diese Aufgaben enthalten Wegfindung durch die virtuelle und physische Gebäude, sowie eine Reihe von Drop-off Aufgaben. Wir finden, dass die immersiveund hoch interaktive Natur des ABES Software erscheint stark Eingriff mit dem blinden Benutzer aktiv die virtuelle Umgebung. Anwendungen dieses Ansatzes können zu größeren Populationen von sehbehinderten Menschen zu verlängern.

Einleitung

Finding ein Weg in einer fremden Umgebung stellt sich als eine große Herausforderung für Blinde. Navigieren erfolgreich erfordert ein Verständnis der räumlichen Beziehungen, die zwischen sich selbst und Objekte in der Umgebung ^1,2 existieren. Die mentale Repräsentation, die umgebenden Raum beschreibt, ist als einer räumlichen kognitiven Karte ³ bezeichnet. Blinde können relevante räumliche Informationen über ihre Umgebung durch andere sensorische Kanäle (wie Hören) Ermöglichen für die Erzeugung einer genauen räumlichen kognitive Karte zum Zweck der realen Welt Navigationsaufgaben ^4,5 sammeln.

Großes Interesse hat über die erzieherische Potential von virtuellen Umgebungen und Handeln Videospiele als ein Mittel, um zu lernen und zu beherrschen Fertigkeiten ^6-9 entstanden. Tatsächlich haben viele Strategien und Ansätze für Blinde zu diesem Zweck (siehe ^4,10-12) entwickelt worden. Wir haben Audi entwickelto-based Environment Simulator (ABES), ein User-Centered audio-basierte virtuelle Umgebung, die für simulierte Navigation und Exploration von einem vorhandenen physischen Gebäudes ermöglicht. Zeichnung aus ursprünglichen architektonischen Grundrisse, eine virtuelle Darstellung eines modernen zweistöckigen Gebäude (an der Carroll Center for the Blind, Newton, MA) wurde mit dem ABES Software (1A und B) erzeugt. ABES enthält ein Action-Spiel Metapher mit einer Prämisse entworfen, um vollen Erforschung der Bauraum zu fördern. Mit einfachen Tastenkombinationen und verräumlichten Sound Cues, navigieren Nutzer und erkunden Sie das gesamte Gebäude um eine maximale Anzahl von Edelsteinen in verschiedenen Räumen versteckt zu sammeln. Benutzer müssen vermeiden, Roving Monstern, die sie mitnehmen und sich verstecken sie anderswo im Gebäude (1C).

Wir zeigen, dass die Interaktion mit Abes ermöglicht eine blinde Benutzer, um eine genaue räumliche kognitive Karte eines Ziels Gebäude auf auditive Informationen einer generierencquired im Rahmen eines Actionspiels Metapher. Dies wird durch eine Reihe von Post-Trainings Verhaltensleistung Tests entwickelt, um die Übertragung der erworbenen räumliche Informationen aus einer virtuellen Umgebung zu einem realen und großen Indoor-Navigation Aufgabe (siehe Abbildung 2 für die gesamte Studiendesign) Beurteilung bestätigt. Unsere Ergebnisse zeigen, dass blinde Benutzer in der Lage, erfolgreich in einem Gebäude, für die sie bisher unbekannten navigieren sind, trotz der Tatsache, dass zu keinem Zeitpunkt waren sie informiert der allgemeine Zweck der Studie, noch waren sie angewiesen, die räumliche Anordnung des Rückrufs Aufbau während des Spiels.

Protokoll

Ein. Teilnehmer Demographie

Dies ist eine laufende Studie, die blind männlichen und weiblichen Teilnehmern zwischen 18-45 Jahren rekrutiert. Alle Teilnehmer sind blind der frühe Beginn (dokumentiert vor dem Alter von 3) und von unterschiedlicher okuläre Ursachen. Keiner der Teilnehmer der Studie waren zuvor vertraut mit der räumlichen Anordnung des Ziels bauphysikalischen.

2. Vorbereitung und Einarbeitung in Abes

1. Geben Sie die Teilnehmer mit einer Augenbinde und Kopfhörer während des Trainings-und Bewertungsprozess getragen werden. Sicherzustellen, dass die Augenbinde bequem über den Augen gelegt und die Kopfhörer korrekt orientiert und positioniert über den Ohren (dh linken Lautsprecher über linken Ohr).
2. Zug Teilnehmer, wie man zugeordneten Tasten und die Informationen der Audio-Signale in Abes vertreten verwenden. Mit Hilfe spezieller Tastenkombinationen (Abbildung 3), navigiert der Benutzer durch und untersucht dieAufbau praktisch (vorwärts, rechts oder links). Jede virtuelle Schritt annähert ein Schritt in die reale physische Gebäude.
3. Machen Sie sich mit Regeln und Prämisse des Spiels.
4. Machen Sie mit Audio-Signale spezifisch für Spiel (z. B. Sound der Lokalisierung Juwelen und Ton von Monstern in der Nähe). Wenn der Benutzer navigiert durch das Gebäude wird auditiv-basierte und kontextuellen räumliche Informationen sequenziell und erworben wird dynamisch aktualisiert. Räumliche und situationsbezogenen Informationen auf ikonischen und verräumlichten Sound Cues nach jedem Schritt bereitgestellt werden. Orientierung auf Kardinal Kompass Überschriften (zB "Norden" oder "Osten") und Text durch Sprache (TTS) wird verwendet, um weitere Informationen über eines Benutzers aktuellen Standort, Ausrichtung und Position (zB "Sie sind auf dem Flur im ersten bereitzustellen Basis Stock, Westlage ") sowie die Identität von Objekten und Hindernissen in den Weg (zB" Dies ist eine Tür "). Entfernung Hinweise basieren o vorgesehenn modulierenden Schallintensität. Die räumliche Lokalisation der Klänge wird aktualisiert, um die Benutzer-egozentrischen Position entsprechen. Im Wesentlichen ist die Software, die entworfen, um eine geeignete Audiodatei als Funktion des Ortes und egozentrischen Position des Benutzers zu spielen und verfolgt die Position des Benutzers, wie sie durch die Umgebung bewegen. Zum Beispiel, wenn eine Tür an der Person rechten Seite angeordnet ist, wird das Klopfgeräusch im Benutzerprofil rechten Ohr gehört (dh die Software eine Audio-Datei eines Klopfgeräusch im rechten Kanal spielt). Wenn nun die Person dreht sich um 180 Grad, so dass die gleiche Tür jetzt auf der linken Seite befindet, wird die gleiche Klopfgeräusch jetzt in den linken Kanal (dh die Software spielt eine Audiodatei eines Klopfgeräusch im linken Kanal) gehört. Schließlich, wenn der Benutzer der Tür zugewandten, wird dieselbe Klopfgeräusch auf beiden Ohren zu hören gleichermaßen. Durch das Verfolgen des Benutzers egozentrischen Überschrift, kann die Software spielen die entsprechenden räumlichen lokalisierten Klänge, zu identifizierendie Anwesenheit und Lokalisierung von Objekten und behalten diese Änderungen als der Benutzer bewegt sich durch die virtuelle Umgebung. Siehe Abbildung 4.

3. Training und Spiel mit ABES (3 Sessions à 30 min für eine Summe von 1,5 hr)

1. Lassen Sie für freies Spiel zu spielen und beachten Sie eventuelle Schwierigkeiten und Herausforderungen (dh die Verwendung von Tastenkombinationen, Audio Cues Bereichen schwierige Navigation). Positive Verstärkung und Klarstellungen sind am Ende jeder Trainingseinheit zur Verfügung gestellt.
2. Rekord-Spiel Performance (zB Rufnummer, Uhrzeit und Ort, an dem ein Teilnehmer findet ein Juwel).

4. Bewerten Virtuelle Navigation Aufgabenerfüllung

1. Erklären Sie Teilnehmer die Details zu den Test und geben Anweisungen, wie die virtuellen Navigation Aufgaben zu erledigen. Der Teilnehmer wird komplett 10 vorgegebenen Navigation Aufgaben präsentiert nacheinander mit der ABES Software (dh, wenn die Teilnehmerpant erfolgreich die erste Aufgabe, wird der Computer automatisch neu suchen sie an den Ausgangspunkt der folgenden Aufgabe).
2. Informieren Sie die Teilnehmer, dass sie ein Maximum von 6 min, jedes Navigationssystem Aufgabe haben.
3. 10 virtuelle Navigationspfade vergleichbarer Schwierigkeiten (dh Strecke und Anzahl der Umdrehungen) werden basierend auf vorbestimmten Paarungen von 10 Start ausgewählt und zu stoppen Standorten (dh Zimmer). Insbesondere lag der Bereich der erforderlichen Schritte, um das Ziel Route navigieren zwischen 25-35 Schritte (in der virtuellen Umgebung) und integriert zwischen 3-4 Umdrehungen von 90 Grad.
4. Legen Sie die 10 Navigation Paare in Abes zur automatisierten Darstellung und Datenerfassung der Leistung.
5. Zielparameter werden automatisch aufgezeichnet mit Abes internen Software. Outcome Maßnahmen umfassen: erfolgreicher Abschluss des Navigationssystems Aufgabe und Zeit, um Ziel zu erreichen. Siehe Abbildung 5A.
6. Instructions describing den Startort und den Zielort automatisch durch die Software ABES zu Beginn jeder Task vorgesehen ist. Zeitablauf gestartet, sobald der Gegenstand nimmt ihre erste virtuelle Schritt von dem Startort und endet, wenn der Ankunft am Zielort (sofern Zeit dauert länger als 6 Minuten, für die der Lauf als unvollständig und der nächste Pfad wird vorgestellt fällt). Die erfassten Daten werden automatisch in einer Textdatei geschickt und öffnete anschließend in der Datenbank / Statistik-Software zur weiteren Analyse.

5. Bewerten Physical Navigation Aufgabenerfüllung

1. Erklären Sie Teilnehmer die Details zu den Test und geben Anweisungen, wie die physikalischen Navigation Aufgaben zu erledigen. Der Teilnehmer wird komplett 10 vorgegebenen Navigation Aufgaben (vorgestellt in verschlüsselter um aus der vorherigen virtuellen Leistungsbeurteilung) und unter der Aufsicht eines erfahrenen Untersucher.
2. Informieren Sie die Teilnehmer sie eine maxi haben wirdMutter von 6 min zu vervollständigen jedes Navigationssystem Aufgabe. Für die Zwecke der physischen Navigation Aufgabe wird die Teilnehmer dürfen ihre weißen Stock zur Unterstützung der Mobilität zu nutzen.
3. 10 physischen Navigationspfade werden basierend auf vorbestimmten Paarungen von 10 Start-und Stop Standorte (dh Räume) vergleichbarer Schwierigkeiten (dh Wegstrecke für die Anzahl der Umdrehungen) übernommen.
4. Investigator bereitet Stoppuhr und Klemmbrett mit einer Liste der Navigation Aufgaben für manuelle Auswertung der Leistung.
5. Zielparameter werden manuell durch den Prüfarzt aufgezeichnet. Outcome Maßnahmen umfassen: erfolgreicher Abschluss des Navigationssystems Aufgabe und Zeit, um Ziel zu erreichen.
6. "Square-off" der Teilnehmer (dh Position der Teilnehmer mit der Tür der Startposition hinter ihnen). Instruktionen zur Beschreibung der Startort und der Zielort durch den Untersucher zu Beginn jeder Task vorgesehen ist. Zeitablauf beginnt, sobald das Thema takn ihren ersten physischen Stufe von dem Startort und endet, wenn der Teilnehmer verbal meldet der Ankunft am Zielort (sofern Zeit dauert länger als 6 Minuten, für die der Lauf als unvollständiger und der nächste Pfad wird vorgestellt fällt). Die erfassten Daten manuell erfasst und anschließend Datenbank / Statistik-Software zur weiteren Analyse übertragen. Siehe Abbildung 5B.

6. Bewerten Physical Drop off Aufgabenerfüllung

1. Erklären Sie Teilnehmer die Details zu den Test und geben Anweisungen, wie die physische drop off Navigation Aufgaben zu erledigen. Die Teilnehmer werden 5 Navigation Aufgaben mit den Zielen der aus dem Gebäude auf dem kürzesten Weg möglich und unter der Aufsicht eines erfahrenen Untersucher abzuschließen.
2. Informieren Sie die Teilnehmer, dass sie ein Maximum von 6 min, jedes Navigationssystem Aufgabe haben. Für die Zwecke der physischen drop off Navigation Aufgabe, wird der Teilnehmer zugelassenihre weißen Stock zur Unterstützung der Mobilität zu nutzen.
3. 5 vorgegebenen physikalischen Startpunkte verwendet werden, so dass 3 Ausfahrt unterschiedlich lange Wege möglich sind.
4. Investigator bereitet Stoppuhr und Klemmbrett mit einer Liste der Navigation Aufgaben für manuelle Auswertung der Leistung.
5. Zielparameter werden manuell durch den Prüfarzt aufgezeichnet. Outcome Maßnahmen umfassen: erfolgreicher Abschluss des Navigationssystems Aufgabe und Zeit, um Ziel zu erreichen. Darüber hinaus werden Wege erzielt, so dass der kürzeste Weg genommen maximale Punktzahl (dh 3 für kürzeste Weg, 2 für den zweiten, 1 für die längste und 0 für nicht in der Lage, die Aufgabe abzuschließen) gegeben ist. Siehe Abbildung 5C.
6. "Square-off" der Teilnehmer an der ersten Startposition. Instruktionen zur Beschreibung der Startposition durch den Untersucher zu Beginn jeder Task vorgesehen ist. Zeitablauf beginnt, sobald das Thema nimmt ihre ersten physikalischen Schritt vom Startort und endetwenn der Teilnehmer mündlich berichtet ankommen zu einer Ausfahrt Tür des Gebäudes (es sei denn Zeit dauert länger als 6 min, für den die run als unvollständig erzielt wurde und der nächste Start Ort dargestellt). Die erfassten Daten manuell erfasst und anschließend Datenbank / Statistik-Software zur weiteren Analyse übertragen.

Ergebnisse

Die Ergebnisse von drei frühen blinden Teilnehmer (im Alter zwischen 19 und 22 Jahre) gezeigt werden (siehe Tabelle 1 für Teilnehmer Eigenschaften). Zusammenfassend zeigten alle drei Teilnehmer ein hohes Maß an Erfolg auf allen drei Navigations-Aufgaben nach Spiel mit der ABES Software. Dies wurde durch die Leistungswerte (Gruppe Mittelwert und individuell) an allen drei Verhaltensstörungen Aufgaben (siehe Abbildung 6) bestätigt. Der Prozentsatz korrekte Leistung für die virtuelle (Mitt...

Diskussion

Wir beschreiben eine interaktive audio-basierten virtuellen Umgebung Simulator entwickelt, um allgemeine räumliche Wahrnehmung und Navigation Fähigkeiten der Blinden zu verbessern. Wir zeigen, dass die Interaktion mit Abes liefert genaue Hinweise, dass die räumlichen Beziehungen zwischen Objekten und das gesamte Layout der Zielumgebung zu beschreiben. Blinde Benutzer generieren können genaue räumliche kognitiven Landkarten auf dieser auditiven Informationen und durch die Interaktion mit dem immersiven virtuellen Umgebun...

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
Name der Einrichtung	Kommentare
Laptop-Computer	Laptop verwendet ausschließlich für Schulungsteilnehmer und Sammeln von Daten
Stereo Kopfhörer (voll gekapselt ohrumschließend Design)	Getragen von allen Teilnehmern während der Ausbildung
Augenbinde	Getragen von allen Teilnehmern während der Ausbildung und Prüfung