Ontwikkeling van een Audio-based Virtual Gaming Milieu om te helpen met Navigatie Vaardigheden in het Blind

Samenvatting

Audio-based Milieu Simulator (ABES) is virtuele omgeving software ontworpen om echte wereld navigatie vaardigheden te verbeteren in de blind.

Samenvatting

Audio-based Milieu Simulator (ABES) is virtuele omgeving software ontworpen om echte wereld navigatie vaardigheden te verbeteren in de blind. Met alleen audio op basis van signalen en zet in het kader van een video game metafoor, gebruikers verzamelen relevante ruimtelijke informatie met betrekking tot een gebouw lay-out. Hierdoor kan de gebruiker het ontwikkelen van een nauwkeurige ruimtelijke cognitieve kaart van een grote driedimensionale ruimte kunnen worden gemanipuleerd ten behoeve van een real indoor navigatie taak. Na het spel, worden de deelnemers vervolgens beoordeeld op hun vermogen om te navigeren binnen de doelstelling fysieke gebouw vertegenwoordigd in het spel. Voorlopige resultaten suggereren dat vroege blinde gebruikers in staat waren om relevante informatie over de ruimtelijke inrichting van een eerder onbekende gebouw als geïndexeerd door hun prestaties op een reeks van navigatie taken te verwerven. Deze taken omvatten weg vinden via de virtuele en fysieke gebouw, alsmede een reeks drop off taken. Wij vinden dat de meeslependeen zeer interactieve karakter van de ABES software lijkt sterk gaan de blinde gebruiker actief verkennen van de virtuele omgeving. Toepassingen van deze aanpak kan zich uitstrekken tot grotere populaties van visuele handicap.

Inleiding

Het vinden van een weg in een onbekende omgeving presenteert als een belangrijke uitdaging voor de blinden. Navigeren met succes vereist een begrip van de ruimtelijke relaties die bestaan ​​tussen jezelf en objecten in de omgeving ^1,2. De mentale representatie die beschrijft ruimte er omheen wordt aangeduid als een ruimtelijk cognitieve kaart ^3. Blinde mensen kunnen verzamelen relevante ruimtelijke informatie met betrekking tot hun omgeving via andere zintuiglijke kanalen (zoals het horen), waardoor voor het genereren van een nauwkeurige ruimtelijke cognitieve kaart voor de doeleinden van de echte wereld navigatietaken ^4,5.

Grote belangstelling is ontstaan ​​ten aanzien van de educatieve mogelijkheden van virtuele omgevingen en actie video games als een middel om te leren en te beheersen vaardigheden ^6-9. Inderdaad, vele strategieën en methoden ontwikkeld voor blinden hiervoor (zie ^4,10-12). We hebben Audio-gebaseerde omgeving Simulator (ABES), een user-centered audio-gebaseerde virtuele omgeving die het mogelijk maakt voor gesimuleerde navigatie en exploratie van een bestaande fysieke gebouw. Puttend uit originele architectonische plattegronden, een virtuele weergave van een moderne twee-verdiepingen tellende gebouw (gelegen aan de Carroll Center for the Blind, Newton, MA) werd gegenereerd met ABES software (figuren 1A en B). ABES is uitgerust met een actie spel metafoor met een premisse ontworpen om volledige verkenning van het gebouw ruimte te bevorderen. Met behulp van eenvoudige toetsaanslagen en spatialized geluid signalen, gebruikers navigeren en verken het hele gebouw tot een maximum aantal van juwelen verborgen in verschillende kamers te verzamelen. Gebruikers moeten voorkomen dat rondzwervende monsters die kan ze weg en verstopt ze elders in het gebouw (figuur 1C).

We laten zien dat de interactie met ABES kan een blinde gebruiker te genereren een nauwkeurige ruimtelijke cognitieve kaart van een target gebouw op basis van auditieve informatie eencquired in het kader van een actie spel metafoor. Dit wordt bevestigd door een reeks van na de training gedragsverandering performance tests ontworpen om de overdracht van verworven ruimtelijke informatie uit een virtuele omgeving naar een real-world en grootschalige indoor navigatie taak (zie figuur 2 voor de algehele opzet van het onderzoek) te beoordelen. Onze resultaten laten zien dat blinde gebruikers in staat zijn om succesvol te navigeren in een gebouw waarvoor ze voorheen onbekende, ondanks het feit dat op geen enkel moment waren ze op de hoogte van het algemene doel van het onderzoek, noch waren zij de opdracht om de ruimtelijke indeling van de te herinneren bouwen tijdens het spelen van het spel.

Protocol

1. Deelnemer Demografie

Dit is een on-going onderzoek dat blinde mannelijke en vrouwelijke deelnemers tussen 18-45 jaar werft. Alle deelnemers zijn blind van early onset (vóór de leeftijd van 3 gedocumenteerd) en van verschillende oculaire oorzaken. Geen van de deelnemers aan de studie waren eerder bekend met de ruimtelijke inrichting van het doel fysieke gebouw.

2. Voorbereiding en Kennismaking met ABES

1. Zorg voor de deelnemer met een blinddoek en een hoofdtelefoon om te worden gedragen tijdens de training en beoordelingsproces. Zorg ervoor dat de blinddoek comfortabel wordt geplaatst over de ogen en de hoofdtelefoon goed georiënteerd en gepositioneerd over de oren (dwz linker luidspreker op linkeroor).
2. Trein deelnemer hoe toegewezen toetsen en de informatie weergegeven door het audio signalen in ABES gebruiken. Met behulp van specifieke toetsaanslagen (figuur 3), een gebruiker door en verkent dehet opbouwen van virtueel (vooruit, rechts of links). Elke virtuele stap benadert een stap in de echte fysieke gebouw.
3. Vertrouwd te maken met regels en uitgangspunt van het spel.
4. Vertrouwd te maken met auditieve signalen die specifiek zijn voor het spel (bijvoorbeeld geluid van het vinden van juwelen en geluid van monsters in de buurt). Als de gebruiker navigeert door het gebouw, wordt auditief-based en contextuele ruimtelijke informatie sequentieel verkregen en wordt dynamisch bijgewerkt. Ruimtelijke en situationele gegevens zijn gebaseerd op iconische en spatialized geluid signalen die na het nemen van elke stap. Oriëntatie is gebaseerd op kardinaal kompas (bijv. "noorden" of "oost") en tekst via spraak (TTS) wordt gebruikt om meer informatie over een gebruiker de huidige locatie, oriëntatie en richting (bijvoorbeeld: "je bent in de gang op de eerste zorgen verdieping, op west ") en de identiteit van objecten en hindernissen in hun pad (bijvoorbeeld" dit is een deur "). Afstand cues zijn voorzien op basis van on modulerende geluidsintensiteit. De ruimtelijke lokalisatie van het geluid wordt bijgewerkt om de gebruiker egocentrisch rubriek passen. In wezen is de software ontworpen om een ​​geschikte audio-bestand af te spelen als een functie van de plaats en de egocentrische post van de gebruiker en houdt van de positie van de gebruiker als ze bewegen door de omgeving. Bijvoorbeeld, als een deur bevindt zich aan de rechterkant van de persoon kant, is het kloppend geluid horen in het recht van de gebruiker oor (dat wil zeggen de software een audiobestand van een kloppend geluid in het rechterkanaal speelt). Als de persoon nu draait rond de 180 graden, zodat het dezelfde deur nu bevindt zich aan de linker kant, wordt dezelfde kloppend geluid nu gehoord in het linker kanaal (dat wil zeggen de software speelt een audiobestand van een kloppend geluid in het linker kanaal). Ten slotte, als de gebruiker naar de deur wordt dezelfde kloppen geluid in beide oren gelijk. Door het bijhouden van egocentrische van de gebruiker rubriek, kan de software speel de juiste ruimtelijke gelokaliseerde geluiden die te identificerende aanwezigheid en locatie van objecten en houden deze veranderingen als de gebruiker zich door de virtuele omgeving. Zie afbeelding 4.

3. Training en spel te spelen met ABES (3 sessies van telkens 30 min. voor een totaal van 1,5 uur)

1. Laat gratis spel te spelen en noteer eventuele moeilijkheden en uitdagingen (dwz gebruik van toetsaanslagen, auditieve signalen, de gebieden van moeilijke navigatie). Positieve bekrachtiging en verduidelijkingen worden verstrekt aan het einde van elke trainingssessie.
2. Record prestaties van het spel (bijvoorbeeld aantal, tijdstip en locatie waar een deelnemer vindt een juweel).

4. Beoordeel Virtuele Navigatie Taakuitvoeringfouten

1. Leg deelnemer de details van de testen en instructies geven over hoe u de virtuele navigatie taken te voltooien. De deelnemer zal voltooien 10 vooraf bepaalde navigatie taken gepresenteerd sequentieel met behulp van de ABES-software (dat wil zeggen zodra de deelnemendebroek met succes de eerste taak is voltooid, wordt de computer automatisch opnieuw vinden ze naar het startpunt van de volgende taak).
2. Informeer de deelnemer dat zij maximaal 6 minuten aan elke navigatie taak te voltooien hebben.
3. 10 virtuele navigatiepaden van vergelijkbare moeilijkheidsgraad (dat wil zeggen de afgelegde afstand en het aantal windingen) zijn gekozen op basis van vooraf bepaalde paringen van 10 start en stop locaties (dat wil zeggen kamers). Met name de reeks stappen nodig om de doelstelling route navigeren varieerde tussen 25-35 stappen (in de virtuele omgeving) en opgenomen tussen 3-4 bochten van 90 graden.
4. Laad de 10 navigatie paren in ABES voor geautomatiseerde presentatie en data capture van de prestaties.
5. Uitkomstmaten worden automatisch geregistreerd met behulp van interne software ABES '. Uitkomstmaten zijn: succesvolle voltooiing van de navigatie-taak en de tijd genomen om doel te bereiken. Zie figuur 5A.
6. Aanwijzingen describing de beginpositie en de gewenste bestemming worden automatisch door de software ABES aan het begin van elke taak. Timing begint wanneer de subject is de eerste stap van de virtuele startlocatie en eindigt na aankomst op de gewenste plaats (tenzij duurt langer dan 6 min, waarbij de punt wordt gescoord als onvolledig en het volgende pad wordt gepresenteerd). Gevangen gegevens worden automatisch verzonden naar een tekstbestand en opende vervolgens in de database / statistische software voor verdere analyse.

5. Beoordeel Fysieke Navigatie Taakuitvoeringfouten

1. Leg deelnemer de details van de testen en instructies geven over hoe u de fysieke navigatie taken te voltooien. De deelnemer zal voltooien 10 vooraf bepaalde navigatie taken (die in gecodeerde volgorde van de vorige virtuele prestatiebeoordeling) en onder toezicht van een ervaren onderzoeker.
2. Informeer de deelnemer zullen zij een maxi hebbenmum van 6 min. aan elke navigatie taak te voltooien. Voor de toepassing van de fysieke navigatie taak, wordt de deelnemer toegestaan ​​om hun witte stok gebruiken voor mobiliteit ondersteuning.
3. 10 fysieke navigatie paden worden gekozen op basis van vooraf bepaalde paringen van 10 start en stop locaties (dat wil zeggen kamers) met een vergelijkbare moeilijkheidsgraad (dwz afgelegde afstand en het aantal slagen).
4. Investigator bereidt stopwatch en klembord met een lijst van navigatie taken voor handmatige scoring van de prestaties.
5. Uitkomstmaten worden handmatig vastgelegd door de onderzoeker. Uitkomstmaten zijn: succesvolle voltooiing van de navigatie-taak en de tijd genomen om doel te bereiken.
6. "Square-off" van de deelnemer (dat wil zeggen de positie van de deelnemer met de deur van de startlocatie achter hen). Aanwijzingen de beginpositie en de gewenste bestemming worden door de onderzoeker aan het begin van elke taak. Timing begint onmiddellijk nadat het onderwerp takes de eerste fysieke stap van de startlocatie en eindigt wanneer de deelnemer mondeling mededelingen die op de bestemming (tenzij duurt langer dan 6 min, waarbij de punt wordt gescoord als onvolledig en het volgende pad wordt gepresenteerd). Vastgelegde gegevens wordt handmatig opgeslagen en vervolgens overgebracht naar de database / statistische software voor verdere analyse. Zie Figuur 5B.

6. Beoordeel Fysieke Drop off Taakuitvoeringfouten

1. Leg deelnemer de details van de testen en instructies geven over hoe je de fysieke drop-off navigatie taken te voltooien. De deelnemer zal voltooien 5 navigatie taken met de doelstellingen van het verlaten van het gebouw met behulp van de kortste route en onder toezicht van een ervaren onderzoeker.
2. Informeer de deelnemer dat zij maximaal 6 minuten aan elke navigatie taak te voltooien hebben. Voor de toepassing van de fysieke drop off menu taak is de deelnemer toegestaanhun witte stok gebruiken voor mobiliteit ondersteuning.
3. 5 voorafbepaalde fysieke startplaatsen worden gebruikt dat drie uitgang paden met verschillende lengtes mogelijk.
4. Investigator bereidt stopwatch en klembord met een lijst van navigatie taken voor handmatige scoring van de prestaties.
5. Uitkomstmaten worden handmatig vastgelegd door de onderzoeker. Uitkomstmaten zijn: succesvolle voltooiing van de navigatie-taak en de tijd genomen om doel te bereiken. Bovendien zijn paden gescoord, dat de genomen kortste weg is het maximum aantal punten (dus 3 voor kortste weg, 2 voor het tweede, 1 voor de langste, en 0 voor het niet in staat om de taak te voltooien) gegeven. Zie Figuur 5C.
6. "Square-off" van de deelnemer op de eerste startplaats. Aanwijzingen de beginpositie worden door de onderzoeker aan het begin van elke taak. Timing begint onmiddellijk nadat het onderwerp neemt hun eerste fysieke stap van de startlocatie en eindigtwanneer de deelnemer rapporteert mondeling te komen tot een uitgangsdeur van het gebouw (tenzij duurt langer dan 6 minuten, waarbij de run wordt gescoord als onvolledig en de volgende start locatie wordt gepresenteerd). Vastgelegde gegevens wordt handmatig opgeslagen en vervolgens overgebracht naar de database / statistische software voor verdere analyse.

Resultaten

Resultaten van drie vroege blinde deelnemers (leeftijd tussen 19 en 22 jaar) worden weergegeven (zie tabel 1 voor kenmerken van de deelnemer). Kortom, alle drie de deelnemers bleek een hoge mate van succes op alle drie de navigatie taken na het spelen met de ABES software. Dit werd bevestigd door de prestatiescores (groep gemiddelde en individueel) op alle drie taken gedrag (zie figuur 6). Het percentage correct uitvoeren voor de virtuele (gemiddelde: 90%), gevolgd door de fysieke (gemi...

Discussie

We beschrijven een interactieve audio-gebaseerde virtuele omgeving simulator ontworpen om algemene ruimtelijk inzicht en navigatie vaardigheden in de blinde te verbeteren. We zien dat de interactie met ABES nauwkeurige signalen die de ruimtelijke relaties tussen objecten en de algemene lay-out van de doelomgeving beschrijven biedt. Blinde gebruikers kunnen genereren nauwkeurige ruimtelijke cognitieve kaarten op basis van deze auditieve informatie en door interactie met de meeslepende virtuele omgeving. Bovendien interac...

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
Naam van de apparatuur	Reacties
Laptop computer	Laptop die uitsluitend voor deelnemers aan de opleidingen en het verzamelen van gegevens
Stereo Hoofdtelefoon (volledig gesloten circumaural-ontwerp)	Gedragen door alle deelnemers tijdens de training
Geblinddoekt	Gedragen door alle deelnemers tijdens de training en testen