Summary
Ljud-baserad miljö Simulator (Abes) är virtuell miljö programvara som utformats för att förbättra verkliga kunskaper världens navigering i blinda.
Abstract
Ljud-baserad miljö Simulator (Abes) är virtuell miljö programvara som utformats för att förbättra verkliga kunskaper världens navigering i blinda. Genom att bara använda ljud-baserade signaler och set inom ramen för ett videospel metafor, användare samla in relevant geografisk information om en byggnads utformning. Detta tillåter användaren att utveckla en riktig rumsliga kognitiv karta över en storskalig tre-dimensionell rymd som kan manipuleras för att en verklig inomhus navigering uppgift. Efter spelet är deltagarna sedan utvärderas på deras förmåga att navigera i målet fysiska byggnaden representerade i spelet. Preliminära resultat tyder på att tidiga blinda användare kunde få relevant information om den rumsliga utformningen av en tidigare obekant byggnad som indexeras av deras resultat på ett antal navigering uppgifter. Dessa uppgifter ingår väg att hitta via den virtuella och fysiska byggnaden, liksom en serie avhopp uppgifter. Vi finner att den uppslukandeoch mycket interaktiva karaktär Abes programmet verkar kraftigt engagera blinda användare att aktivt utforska den virtuella miljön. Tillämpningar av denna metod kan omfatta större populationer av synskadade personer.
Introduction
Hitta en väg i en obekant miljö innebär en betydande utmaning för blinda. Navigera framgångsrikt krävs en förståelse för de rumsliga relationer som finns mellan en själv och föremål i omgivningen 1,2. Den mentala representation som beskriver omgivande rymden kallas en spatial kognitiv karta 3. Blinda personer kan samla relevant geografisk information om deras omgivande miljö genom andra sensoriska kanaler (t.ex. hörseln) möjliggör generering av en korrekt rumslig kognitiv karta för att verkliga uppgifter världens navigering 4,5.
Stort intresse har dykt upp om pedagogiska potential virtuella miljöer och åtgärder videospel som ett sätt att lära sig och behärska färdigheter 6-9. I själva verket har många strategier och metoder har utvecklats för blinda för detta ändamål (se 4,10-12). Vi har utvecklat Audio-baserad miljö Simulator (Abes), en användarcentrerad ljud-baserad virtuell miljö som möjliggör simulerad navigering och utforskning av en befintlig fysisk byggnad. Teckning av ursprungliga arkitektoniska planritningar, en virtuell rendering av ett modernt två våningar (belägen vid Carroll Centrum för blinda, Newton, MA) genererades med Abes programvara (figurerna 1A och B). Abes innehåller en metafor actionspel med en premiss för att främja fullständig utforskning av byggnaden utrymme. Med hjälp av enkla knapptryckningar och spatialized ledtrådar ljud, användare navigera och utforska hela byggnaden för att samla ett maximalt antal juveler gömda i olika rum. Användarna måste undvika rörliga monster som kan ta bort dem och gömma dem på andra ställen i byggnaden (Figur 1C).
Vi visar att interagera med Abes tillåter en blind användare att generera en exakt rumsliga kognitiv karta över ett mål byggnad baserad på ljudinformation encquired inom ramen för ett actionspel metafor. Detta bekräftas av en rad efter träning beteende prestandatester för att bedöma överföring av förvärvade geografisk information från en virtuell miljö till en verklig och storskalig inomhus navigering uppgift (se figur 2 för övergripande studiedesign). Våra resultat visar att blinda användare kan lyckas navigera genom en byggnad som de var tidigare okända, trots att inte vid något tillfälle var de informerade om det övergripande syftet med studien, inte heller var de instrueras att återkalla den rumsliga utformningen av bygga medan du spelar spelet.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. Deltagare Demografi
Detta är en pågående studie som rekryterar blinda manliga och kvinnliga deltagare i åldern 18-45 år. Alla deltagare är juridiskt blinda av tidig debut (dokumenterade före år 3) och av varierande okulära etiologier. Ingen av deltagarna i studien var tidigare bekant med rumsliga utformningen av mål fysiska byggnaden.
2. Förberedelse och förtrogenhet med Abes
- Ge deltagaren med en ögonbindel och hörlurar att bäras hela utbildningen och bedömningen. Se till att ögonbindeln bekvämt placeras över ögonen och hörlurarna är korrekt orienterade och placeras över öronen (dvs. vänstra högtalaren över vänster öra).
- Tåg deltagare hur man använder tilldelade nycklar och den information som representeras av ljud ledtrådar i Abes. Användning av specifika knapptryckningar (Figur 3), navigerar användaren genom och utforskarbygga nästan (framåt, höger eller vänster). Varje virtuell steg ungefär ett steg i den verkliga fysiska byggnaden.
- Bekanta med regler och förutsättningen för spelet.
- Bekanta med ljud ledtrådar som är specifika för spelet (t.ex. ljudet av lokaliserings juveler och ljudet av monster i närheten). När användaren navigerar genom byggnaden är hörsel-baserade och kontextuell geografisk information som förvärvats sekventiellt och uppdateras dynamiskt. Rumslig och situationsanpassat information är baserad på ikoniska och spatialized ljud ledtrådar som efter varje tagen steg. Orientering är baserad på kardinal kompass rubriker (t.ex. "Norra" eller "öst") och text genom tal (TTS) används för att ge ytterligare information om en användares aktuella position, orientering och rubriken (t.ex. "du är i korridoren på första våningen, inför väst ") samt identitet föremål och hinder på vägen (t.ex." detta är en dörr "). Avstånd ledtrådar ges utifrån on modulerande ljudintensitet. Den rumsliga lokalisering av ljuden uppdateras för att matcha användarens egocentriska rubrik. I huvudsak är programvara avsedd att spela en lämplig ljudfil som en funktion av läget och egocentriska rubrik användaren och håller reda på användarens position när de rör sig genom miljön. Till exempel, om en dörr är placerad på personens högra sida är knackar ljud hörs i användarens höger öra (dvs. programvara spelar en ljudfil på en knackning ljud i höger kanal). Om personen nu vänder 180 grader så att samma dörren nu ligger på vänster sida, samma knackar ljudet nu hörs i vänster kanal (dvs. programvara spelar en ljudfil på en knackning ljud i vänster kanal). Slutligen, om användaren står inför dörren, samma knackar ljud hörs i båda öronen lika. Genom att hålla koll på användarens egocentriska rubrik kan programvaran spela lämpliga spatiala lokala ljud som identifierarnärvaron och placeringen av objekt och hålla reda på dessa förändringar som användaren rör sig genom den virtuella miljön. Se Figur 4.
3. Utbildning och spel med Abes (3 sessioner om vardera 30 min för totalt 1,5 timmar)
- Tillåta gratis spel att spela och notera eventuella svårigheter och utmaningar (dvs. användning av knapptryckningar, ljud ledtrådar, områden med svåra navigering). Positiv förstärkning och förtydliganden i slutet av varje träningspass.
- Rekord spelprestanda (t.ex. antal, tid och plats där en deltagare finner en juvel).
4. Bedöm Virtual Navigation uppgift prestanda
- Förklara för deltagarna detaljerna i testningen och ger instruktioner om hur du slutför de virtuella navigering uppgifter. Deltagaren kommer att slutföra 10 förutbestämda navigering uppgifter som presenteras sekventiellt med Abes programvara (dvs. när deltagarnabyxa framgångsrikt slutför den första uppgiften, kommer datorn automatiskt att hitta dem till startpunkten av följande uppgift).
- Informera deltagare som de kommer att ha högst 6 minuter att slutföra varje navigeringen uppgift.
- 10 virtuella sökvägarna av jämförbar svårighetsgrad (dvs. tillryggalagd sträcka och antal varv) väljs utifrån förutbestämda para ihop 10 start och stopp ställen (t.ex. rum). Specifikt, varierade intervallet steg som behövs för att navigera målet rutten mellan 25-35 steg (i den virtuella miljön) och införlivade mellan 3-4 varv 90 grader.
- Ladda 10 navigering par i Abes för automatiserad presentation och datafångst av prestanda.
- Resultatmått registreras automatiskt med Abes "interna programvara. Resultatmått inkluderar: avslutad navigering uppgiften och tid det tar att nå målet. Se figur 5A.
- Instruktioner describing startplatsen och en destination tillhandahålls automatiskt av Abes mjukvaran vid början av varje uppgift. Timing börjar omedelbart när motivet tar sin första virtuella steg från startplatsen och slutar när anländer till målplatsen (såvida tiden tar längre tid än 6 minuter, där körningen görs som ofullständig och nästa vägen presenteras). Tagna data skickas automatiskt till en textfil och öppnas senare i databas / statistisk programvara för vidare analys.
5. Bedöm fysisk prestationsförmåga Navigering Uppgift
- Förklara för deltagarna detaljerna i testningen och ger instruktioner om hur du slutför de fysiska navigering uppgifter. Deltagaren kommer att slutföra 10 förutbestämda navigering uppgifter (som presenteras i oordning ordning från föregående virtuella prestanda bedömning) och under överinseende av en erfaren utredare.
- Informera deltagaren kommer de att ha en maximamma till 6 minuter för att slutföra varje navigering uppgift. Vid tillämpningen av den fysiska navigering uppgift är deltagaren får använda sin vita käpp för mobilitetsstöd.
- 10 fysiska sökvägarna väljs utifrån förutbestämda para ihop 10 start-och platser stopp (dvs. rum) med jämförbar svårighet (dvs. tillryggalagd sträcka och antal varv).
- Utredare förbereder stoppur och urklipp och en förteckning över navigering uppgifter för manuell poängsättning av prestanda.
- Resultatmått manuellt registreras av prövaren. Resultatmått inkluderar: avslutad navigering uppgiften och tid det tar att nå målet.
- "Square-off" deltagaren (dvs. läge deltagaren med dörren till startplatsen bakom dem). Instruktioner som beskriver start platsen och destinationen tillhandahålls av utredaren i början av varje uppgift. Timing börjar omedelbart när ämnet takes sin första fysiska steget från startplatsen och slutar när deltagaren muntligen rapporterar anländer till destinationen (om inte tiden tar längre tid än 6 minuter, där körningen görs som en ofullständig och nästa vägen presenteras). Tagna data registreras manuellt och därefter överföras till databas / statistisk programvara för vidare analys. Se Figur 5B.
6. Bedöm Fysisk avhopp uppgift prestanda
- Förklara för deltagarna detaljerna i testningen och ger instruktioner om hur man fyller i fysiska avhopp navigering uppgifter. Deltagaren kommer att slutföra 5 navigering uppgifter med målen lämnar byggnaden med den kortaste vägen möjligt och under överinseende av en erfaren utredare.
- Informera deltagare som de kommer att ha högst 6 minuter att slutföra varje navigeringen uppgift. Vid tillämpningen av den fysiska avhopp navigering uppgift är deltagaren fåratt använda sin vita käpp för mobilitetsstöd.
- 5 förutbestämda fysiska startplatser används så att 3 exit vägar olika längder är möjliga.
- Utredare förbereder stoppur och urklipp och en förteckning över navigering uppgifter för manuell poängsättning av prestanda.
- Resultatmått manuellt registreras av prövaren. Resultatmått inkluderar: avslutad navigering uppgiften och tid det tar att nå målet. Vidare vägar gjorde så att den kortaste vägen tas ges maxpoäng (dvs. 3 för kortaste vägen, 2 för den andra, 1 för den längsta, och 0 för att inte kunna slutföra uppgiften). Se figur 5C.
- "Square-off" deltagaren vid den första startplatsen. Instruktioner som beskriver start plats tillhandahålls av utredaren i början av varje uppgift. Timing börjar omedelbart när motivet tar sin första fysiska steget från startplatsen och slutarNär deltagaren rapporterar muntligt anländer till en utgång dörren till byggnaden (såvida tiden tar längre tid än 6 minuter, där körningen görs som ofullständig och nästa startplatsen presenteras). Tagna data registreras manuellt och därefter överföras till databas / statistisk programvara för vidare analys.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Resultat från tre tidiga blinda deltagare (mellan 19 och 22 år) visas (se tabell 1 för deltagare egenskaper). Sammanfattningsvis visade alla tre deltagarna en hög grad av framgång på alla tre navigering uppgifter som följer spelet med Abes programmet. Detta bekräftades av prestanda poäng (grupp medelvärde och individ) på alla tre beteendemässiga uppgifter (se diagram 6). Den procentuella rätt prestanda för den virtuella (medel: 90%) följt av det fysiska (medelvärde: 88,7%) Navigering uppgifter visar en hög nivå av framgång och jämförbar prestanda för båda uppgifterna (Figur 6A). Prestation på avhopp experiment tyder på att deltagarna ofta valt den kortaste vägen möjligt att lämna byggnaden (genomsnittlig värdering: 3,0) (Figur 6B). Slutligen är den genomsnittliga tid det tar att gå till målet visas för alla tre navigering uppgifter visas i figur 6C. Virtuell navigation tid (bedömas) var typiskt längre (medelvärde: 137,3 sek) än fysisk (73,8 sek) navigeringsprestanda. De kortare genomsnittliga navigering tider observerats i avhopp uppgiften (medelvärde: 37,3 sek) stämmer överens med det faktum att deltagarna var sannolikt välja kortast möjliga väg att lämna byggnaden.
Bedöma individuella resultat från en representativ studie deltagare och navigering rutten på alla tre uppgifter värderade visade att virtuella navigering från en start till slut punkt ligger på första våningen tog 79 sek (Figur 7A, sökvägen som visas i gult). Bedömning av prestanda på samma bana i den fysiska byggnaden tog 46 sek (figur 7B). Bedömning av avhopp uppgift prestanda visar att deltagaren tog den kortaste vägen möjligt (poäng 3 poäng och en tar navigering på 48 sek) (Figur 7C).
| ämne | ålder (år) | etiologin för blindhet | nivå av synfunktionen |
| 1 | 22 | prematuritetsretinopati | resterande (ljus uppfattning) |
| 2 | 19 | Peters anomali, bilateralt näthinneavlossning, slutsteg glaukom | djupgående (inget ljus uppfattning) |
| 3 | 19 | prematuritetsretinopati | resterande (ljus uppfattning) |
Tabell 1. Deltagare egenskaper.
Figur 1. Virtuell miljö återges i Abes. A) ursprungliga två- våningsbyggnad planlösning. Byggnaden omfattar 23 rum och en rad anslutande korridorer samt 3 separata ingångar och 2 trapphus. Med tanke på den nuvarande rumsliga layouten, det finns flera rutter möjligheter att komma in och ut ur byggnaden, B) virtuellt återgivning av mål byggnad i Abes, C) föremål påträffas medan du spelar Abes i spelläget. Klicka här för att se större bild .
Figur 2. Totalt studiedesign. Alla deltagare genomgår en fast utbildning och spel period med Abes följt av en serie av navigering bedömningar (alltid i ordningsföljd). Bedömningar av prestanda inkluderar virtuella, fysiska och släppa av navigering uppgifter.
Figur 3. Abes tangenttryckningar.
Figur 4. Utbildning och spel med Abes. A) Deltagare sitta vid en dataterminal med ögonbindel och stereohörlurar. B) Bild av en utredare med en studie deltagare.
Figur 5. Sammanfattning av navigering uppgift bedömningar. A) Datainsamling från virtuella sökvägen bedömning. De start-och slutpunkter läses till deltagaren och nästa vägen laddas automatiskt efter färdigställandet. Den väg som (visas i gult) och tidtill målet samlas automatiskt av programmet. B) Investigator bedömer prestation i en fysisk navigering uppgift. Timing (med ett stoppur) börjar med deltagarens första steget och slutar när deltagaren rapporterar anländer till målet slutpunkt. C) Exempel rutt och poäng strategi för avhopp navigering uppgift. Det finns tre nödutgångar och därmed flera möjliga vägar att lämna byggnaden. Baserat på startpunkten, är den väg som (visas i gult) gjorde. Tre (3) poäng ges för att använda den kortaste utgång, följt av 2 och 1 poäng (en poäng av noll indikerar inte kan hitta en exit). Klicka här för att se större bild .
Figur 6. Sammanfattning av resultaten från navigering uppgiften bedömningar. Resultat (grupp medel och enskilda resultat från 10 testade farleder) från 3 representativa deltagarna i studien visas. A) Andel rätt prestanda för det virtuella följt av fysiska navigering uppgifter. B) Performance resultat ( genomsnittligt antal poäng) på avhopp uppgifter. C) Genomsnittlig tid för att navigera till målet visas för alla tre navigering bedömningar. Klicka här för att se större bild .
Figur 7. Individuella resultat från navigering uppgiften bedömningar. Representativa resultat visas från en studie deltagare påalla tre navigering uppgifter bedömas. A) virtuellt navigering (sökvägen som visas på gult). B) bedömning av prestanda på samma bana i den fysiska byggnaden. C) bedömning av avhopp uppgift visar att deltagaren tog den kortaste vägen möjligt. De alternativa potentiella banor (gula streckade linjer) och poäng värde i förhållande till den givna startpunkten visas också. Klicka här för att se större bild .
Supplmental Movie 1. Kompletterande video kommenterad video spel. Videosekvens som visar en spelare (gul rörlig symbol) in i ett rum ligger på första våningen där en juvel döljs. Spatialized ljud (vänster och höger kanal) tillåter spelaren att orientera och identifiera var föremål (t.ex. dörrar och hinder) i deras omgivning. När en juvel hittas, player lämnar byggnaden och de måste undvika ambulerande monster (röd rörliga ikoner). Spelaren fortsätter sedan att utforska byggnaden (första och andra våningen) för att hitta mer dolda juveler. Klicka här för att se extra film .
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Vi beskriver ett interaktivt ljud-baserad virtuell miljö simulator för att förbättra den allmänna rumsuppfattning och färdigheter navigering i blinda. Vi visar att interagera med Abes ger korrekta signaler som beskriver de rumsliga relationer mellan objekt och den övergripande utformningen av mål miljön. Blinda användare kan generera korrekta rumsliga kognitiva kartor grundar sig på detta auditiv information och genom att interagera med den uppslukande virtuell miljö. Dessutom interagerar med Abes inom ramen för ett spel metafor visar att geografiska kognitiva konstruktioner kan läras underförstått och ganska enkelt genom kausal interaktion med programvaran. Som visas i denna inledande fas av studien, kan det interaktiva och uppslukande typ av spel förbättrar individens rumsuppfattning en ny miljö, en plattform för att skapa en korrekt rumslig kognitiv karta, och kan minska den osäkerhet förknippad med INDEPENDENt navigering innan du anländer till en främmande byggnad.
Normalt kan personer med synskada får funktionellt oberoende genom orientering och rörlighet (O & M) utbildning. Det är dock viktigt att utbildningsstrategier vara flexibla och anpassningsbara så att de kan tillämpas på nya och okända situationer och anpassas till en persons egna styrkor och svagheter så att hantera sina särskilda utmaningar, behov och inlärningsstrategier. Den kreativa användningen av interaktiva virtuella navigering miljöer såsom Abes får i detta flexibilitet och komplettera nuvarande O & M utbildningsplan. Denna programvara är en tilläggsbehandling strategi som inte bara bygger på fördelarna med hög motiverande disk, men också en test plattform för att utföra mer kontrollerade och mätbara studier för att testa och validera effektiviteten hos dessa utbildningsmetoder.
Nuvarande och framtida utredningar kommerinkluderar en omfattande studie där deltagarna randomiserades till olika metoder för utbildning (t.ex. spel jämfört med direkt seriell väg lärande) och navigation (dvs. route fynd) prestanda kommer att jämföras. Vi kommer också att undersöka skillnader mellan tidig och sen blinda samt förhållandet mellan ytterligare faktorer av intresse även ålder och kön.
Slutligen, med tanke på till synes engagerande karaktär kombinerade virtuell miljö och spel tillvägagångssätt skulle det också vara av intresse att undersöka nyttan av Abes om navigering kompetensutveckling i blinda personer utanför profilen som beskrivs här. Till exempel är det största (och snabbast växande) segmentet synnedsättning i åldrande befolkning och aktuella trender förväntas öka 13. Således verkar det högst relevant att undersöka hur effektivt detta tillvägagångssätt för icke-visuella förvärv av geografisk information som stöder navigation färdigheter i denna demografiska grupp. Med tanke på att Abes är en datorbaserad metod är det svårt att spekulera vid denna tid på dess effektivitet på icke-digitala infödingar. På liknande sätt kan utveckla Abes på sätt som skulle vara mottagliga för personer med synrester (dvs nedsatt syn) också värdefullt. Med tanke på att majoriteten av personer som är juridiskt blinda faller under denna kategori 13 får utbildning i virtuella miljöer innan faktisk fysisk resa också vara till nytta för att planera rutter och undvika svårigheter som är förknippade med att försöka få tillgång till information i en obekant miljö. I denna riktning är pågående arbete att utveckla Abes funktioner som zoomning (dvs. hög förstoring) och hög kontrast display för att stödja personer med nedsatt syn.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Författarna förklarar några intressekonflikter.
Acknowledgments
Författarna vill tacka Rabih Dow, Padma Rajagopal, Molly Connors och personal Carroll Centrum för blinda (Newton MA, USA) för deras stöd för att genomföra denna forskning. Detta arbete stöddes av NIH / NEI bidrag: RO1 EY019924.
Materials
| Name | Company | Catalog Number | Comments |
| Laptop computer | Laptop used exclusively for training participants and collecting data | ||
| Stereo Head phones (fully enclosed circumaural design) | Worn by all participants during training | ||
| Blindfold | Worn by all participants during training and testing |
References
- Loomis, J. M., Klatzky, R. L., Golledge, R. G. Navigating without vision: basic and applied research. Optom. Vis. Sci. 78, 282-289 (2001).
- Siegel, A. W., White, S. H. The development of spatial representations of large-scale environments. Adv. Child Dev. Behav. 10, 9-55 (1975).
- Strelow, E. R. What is needed for a theory of mobility: direct perception and cognitive maps--lessons from the blind. Psychol. Rev. 92, 226-248 (1985).
- Giudice, N. A., Bakdash, J. Z., Legge, G. E. Wayfinding with words: spatial learning and navigation using dynamically updated verbal descriptions. Psychol. Res. 71, 347-358 (2007).
- Ashmead, D. H., Hill, E. W., Talor, C. R. Obstacle perception by congenitally blind children. Percept. Psychophys. 46, 425-433 (1989).
- Dede, C. Immersive interfaces for engagement and learning. Science. 323, 66-69 (2009).
- Bavelier, D., et al. Brains on video games. Nat. Rev. Neurosci. 12, 763-768 (2011).
- Bavelier, D., Green, C. S., Dye, M. W. Children, wired: for better and for worse. Neuron. 67, 692-701 (2010).
- Lange, B., et al. Designing informed game-based rehabilitation tasks leveraging advances in virtual reality. Disabil. Rehabil. , (2012).
- Merabet, L., Sánchez, J. Audio-based Navigation Using Virtual Environments: Combining Technology and Neuroscience. AER Journal: Research and Practice in Visual Impairment and Blindness. 2, 128-137 (2009).
- Kalia, A. A., Legge, G. E., Roy, R., Ogale, A. Assessment of Indoor Route-finding Technology for People with Visual Impairment. J. Vis. Impair. Blind. 104, 135-147 (2010).
- Lahav, O., Schloerb, D. W., Srinivasan, M. A. Newly blind persons using virtual environment system in a traditional orientation and mobility rehabilitation program: a case study. Disabil. Rehabil. Assist Technol. , (2011).
- WHO | Global trends in the magnitude of blindness and visual impairment [Internet]. , World Health Organization (WHO). Available from: http://www.who.int/blindness/causes/trends/en/index.html (2012).
