Summary
Audio-baseret miljø Simulator (Abes) er virtuelt miljø software designet til at forbedre den virkelige verden navigation færdigheder i blinde.
Abstract
Audio-baseret miljø Simulator (Abes) er virtuelt miljø software designet til at forbedre den virkelige verden navigation færdigheder i blinde. Brug kun lyd baseret stikord og sæt inden for rammerne af et videospil metafor, brugerne indsamle relevante geografiske oplysninger om en bygning layout. Dette giver brugeren mulighed for at udvikle en præcis rumlig kognitiv kort over et stort tredimensionalt rum, der kan manipuleres med henblik på en rigtig indendørs navigation opgave. Efter spillet kan deltagerne vurderes herefter på deres evne til at navigere inden for målsætningen fysisk bygning repræsenteret i spillet. Foreløbige resultater tyder på, at tidlig blinde brugere var i stand til at erhverve relevante oplysninger om den rumlige layout af en tidligere ukendt bygning som indekseret ved deres præstation på en række navigations opgaver. Disse opgaver omfattede sti finde gennem det virtuelle og fysiske bygning, samt en række drop off opgaver. Vi finder, at den medrivendeog yderst interaktiv karakter Abes software synes i høj grad at engagere den blinde bruger til aktivt at udforske det virtuelle miljø. Anvendelser af denne fremgangsmåde kan udvides til større bestande af synshandicappede personer.
Introduction
Finde vej i et ukendt miljø viser sig som en væsentlig udfordring for blinde. Navigering succes kræver en forståelse af de rumlige forhold, der eksisterer mellem sig selv og objekter i miljøet 1,2. Den mentale repræsentation, der beskriver omgivende rum omtales som en rumlig kognitiv kort 3. Blinde individer kan indsamle relevant geografisk information om deres omgivende miljø gennem andre sensoriske kanaler (såsom hørelsen) giver mulighed for dannelsen af en præcis rumlig kognitive kort med henblik på virkelige verden navigation opgaver 4,5.
Stor interesse er opstået i forbindelse med pædagogiske potentiale af virtuelle miljøer og action videospil som et middel til at lære og mestre færdigheder 6-9. Faktisk har mange strategier og tilgange blevet udviklet til blinde til dette formål (se 4,10-12). Vi har udviklet Audio-baseret miljø Simulator (Abes), en bruger-centreret lyd-baseret virtuelt miljø, der giver mulighed for simuleret navigation og udforskning af en eksisterende fysisk bygning. Tegning fra oprindelige arkitektoniske grundplaner, en virtuel gengivelse af et moderne to-etagers bygning (placeret på Carroll Center for the Blind, Newton, MA) blev dannet med Abes software (figur 1A og B). Abes inkorporerer et actionspil metafor med en forudsætning designet til at fremme fuld udforskning af bygningen rummet. Brug enkle tastetryk og spatialized lyd køer, brugere navigere og udforske hele bygningen til at indsamle et maksimalt antal juveler skjult i forskellige værelser. Brugerne skal undgå at roving monstre, der kan tage dem væk og skjule dem et andet sted i bygningen (figur 1C).
Vi viser, at interagere med Abes tillader en blind bruger til at generere en nøjagtig geografisk kognitiv kort over et mål bygning baseret på akustiske informationer encquired inden for rammerne af et actionspil metafor. Dette bekræftes af en række post-uddannelse adfærdsmæssige præstationstest designet til at vurdere overførslen af erhvervede geografiske oplysninger fra et virtuelt miljø til en real-verden og store indendørs navigation opgave (se figur 2 for den samlede undersøgelse design). Vores resultater viser, at blinde brugere er i stand til at navigere gennem en bygning, som de tidligere var ukendte, til trods for at der på intet tidspunkt er blevet informeret om det overordnede formål med undersøgelsen, var heller ikke de pålagt at minde om den rumlige layout bygning, mens du spiller spillet.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. Deltager Demografi
Dette er en on-going undersøgelse, der rekrutterer blinde mandlige og kvindelige deltagere i alderen 18-45 år. Alle deltagere er juridisk blind for tidlig debut (dokumenteret før en alder af 3) og af varierende okulære ætiologier. Ingen af undersøgelsens deltagere var tidligere bekendt med den rumlige layout af målet fysisk bygning.
2. Forberedelse og Familiarization med Abes
- Give deltageren en blindfold og hovedtelefoner til at blive båret hele uddannelses-og evalueringsprocessen. Sørg for, at blindfold komfortabelt placeret over øjnene og hovedtelefonerne er korrekt orienteret og placeret over ørerne (dvs. venstre højttaler over venstre øre).
- Train deltager hvordan man bruger tildelte taster og de oplysninger repræsenteret ved de lydsignaler i Abes. Ved hjælp af konkrete tastetryk (figur 3), en bruger navigerer igennem og udforskerbygning næsten (bevæger sig fremad, til højre eller til venstre). Hver virtuel skridt nærmer et skridt i den virkelige fysiske bygning.
- Bekendt med regler og præmissen for spillet.
- Bekendt med lydsignaler er specifikke for spillet (f.eks lyden af lokalisere juveler og lyden af monstre i nærheden). Når brugeren navigerer gennem bygningen, er auditive-baseret og kontekstuel geografisk information erhvervet sekventielt og opdateres dynamisk. Rumlig og situationsbestemt oplysninger er baseret på ikoniske og spatialized lyd køer, der er fastsat efter hvert taget skridt. Orientering er baseret på kardinale kompasretninger (fx "nord" eller "øst") og tekst via tale (TTS) bruges til at give yderligere oplysninger om en brugers aktuelle placering, orientering og position (fx "du er i korridoren på den første gulv, mod vest "), samt identiteten af objekter og forhindringer på deres vej (fx" dette er en dør "). Afstand tidskoder gives baseret on modulerende lydintensitet. Den rumlige lokalisering af lydene er opdateret til at passe til brugerens egocentriske position. I det væsentlige er den software, der kan spille en passende lydfil som en funktion af placering og egocentriske position af brugeren og holder styr på brugerens position som de bevæger sig gennem miljøet. For eksempel, hvis en dør er placeret på personens højre side er den banke lyd, der høres i brugerens højre øre (dvs. software spiller en lydfil af en banke lyd i højre kanal). Hvis personen vender sig nu omkring 180 grader, så den samme dør er nu placeret på deres venstre side, er det samme banke lyden nu høres i den venstre kanal (dvs. software spiller en lydfil af en banke lyd i venstre kanal). Endelig, hvis brugeren vender mod døren, er den samme banke lyd, der høres i begge ører ligeligt. Ved at registrere brugerens egocentriske position, kan softwaren afspille de passende rumlige lokaliserede lyde, der identificerertilstedeværelsen og placeringen af objekter og holde styr på disse ændringer, som brugeren bevæger sig gennem virtuelt miljø. Se Figur 4..
3. Uddannelse og spil med Abes (3 sessioner hver Lasting 30 min for i alt 1,5 time)
- Tillad dig gratis spil og notere eventuelle vanskeligheder og udfordringer (dvs. brug af tastetryk, lydsignaler, områder med vanskelige navigation). Positiv forstærkning og præciseringer er tilvejebragt ved slutningen af hver træningssession.
- Optag spillets ydeevne (fx antal, tid og sted, hvor en deltager finder en juvel).
4. Vurdere Virtual Navigation opgaveløsningen
- Forklar deltager detaljerne i afprøvning og give anvisninger på, hvordan man udfylder de virtuelle navigation opgaver. Deltageren vil fuldføre 10 forudbestemte navigation opgaver præsenteres sekventielt ved hjælp af Abes software (dvs. når deltapant fuldfører den første opgave, vil computeren automatisk re-lokalisere dem til udgangspunktet for den følgende opgave).
- Underrette deltageren, at de vil have et maksimum på 6 min at fuldføre hver navigation opgave.
- 10 virtuelle navigationsstier af sammenlignelig vanskeligheder (dvs. distance og antal omgange) er valgt ud fra forudbestemte bindinger på 10 start og stop placeringer (dvs. værelser). Specifikt rækken af nødvendige skridt for at navigere målet rute lå mellem 25-35 trin (i det virtuelle miljø) og indarbejdet mellem 3-4 vindinger af 90 grader.
- Ilæg de 10 navigations par i Abes til automatiseret præsentation og datafangst af performance.
- Resultatmål registreres automatisk ved hjælp af Abes 'interne software. Resultatmål omfatter: en vellykket afslutning af navigations opgave og tid, det tager at nå målet. Se figur 5A.
- Instruktioner describing start position og måldestinationen tilvejebringes automatisk af Abes softwaren ved begyndelsen af hver opgave. Timing begynder straks efter emne tager deres første virtuelle skridt fra start placering og slutter, når ankommer til målplaceringen (medmindre tid tager længere tid end 6 min, hvor kørslen er scoret som ufuldstændig, og den næste bane er præsenteret). Indsamlede data sendes automatisk til en tekstfil og åbnede derefter i database / statistisk software til yderligere analyse.
5. Vurdere Fysisk Navigation opgaveløsningen
- Forklar deltager detaljerne i afprøvning og give anvisninger på, hvordan man udfylder de fysiske navigation opgaver. Deltageren vil fuldføre 10 forudbestemte navigation opgaver (præsenteret i kodet rækkefølge fra den tidligere virtuelle Performance Assessment) og under opsyn af en erfaren efterforsker.
- Underrette deltageren de vil have en maximum af 6 min at fuldføre hver navigation opgave. I forbindelse med den fysiske navigation opgave bliver deltageren lov til at bruge deres hvide stok for mobilitet support.
- 10 fysiske navigationsstier er valgt ud fra forudbestemte bindinger på 10 start-og stop-steder (dvs. værelser) af sammenlignelige problemer (dvs. distance og antal omgange).
- Investigator forbereder stopur og clipboard med en liste over navigations opgaver for manuel scoring af performance.
- Resultatmål manuelt registreres af investigator. Resultatmål omfatter: en vellykket afslutning af navigations opgave og tid, det tager at nå målet.
- "Square-off" deltageren (dvs. position deltageren med døren til start placering bag dem). Instruktioner, der beskriver start position og måldestinationen er tilvejebragt af forskeren ved begyndelsen af hver opgave. Timing begynder umiddelbart efter emnet takes deres første fysiske skridt fra start placering og slutter, når deltageren verbalt rapporterer ankommer til destinationen (medmindre tid tager længere tid end 6 min, hvor kørslen er scoret som en ufuldstændig, og den næste bane er præsenteret). Indsamlede data registreres manuelt og efterfølgende overført til database / statistisk software til yderligere analyse. Se Figur 5B.
6. Vurdere Fysisk Drop off opgaveløsningen
- Forklar deltager detaljerne i afprøvning og give anvisninger på, hvordan man udfylder den fysiske drop off navigation opgaver. Deltageren vil afslutte 5 navigation opgaver med målene i at forlade bygningen ved hjælp den korteste rute muligt, og under tilsyn af en erfaren efterforsker.
- Underrette deltageren, at de vil have et maksimum på 6 min at fuldføre hver navigation opgave. I forbindelse med den fysiske drop off navigation opgave bliver deltageren tilladtat bruge deres hvide stok for mobilitet support.
- 5 forudbestemte fysiske startplaceringer anvendes således, at tre udgange stier af forskellige længder er mulige.
- Investigator forbereder stopur og clipboard med en liste over navigations opgaver for manuel scoring af performance.
- Resultatmål manuelt registreres af investigator. Resultatmål omfatter: en vellykket afslutning af navigations opgave og tid, det tager at nå målet. Endvidere er stier scorede således, at den korteste taget stien er givet maksimum point (dvs. 3 for korteste vej, 2 for den anden, 1 for længst, og 0 for ikke at være i stand til at fuldføre opgaven). Se figur 5C.
- "Square-off" deltageren ved første start placering. Instruktioner, der beskriver start position er tilvejebragt af forskeren ved begyndelsen af hver opgave. Timing begynder straks efter emne tager deres første fysiske skridt fra start placering og slutternår deltageren verbalt rapporterer ankommer til en exit døren af bygningen (medmindre tid tager længere tid end 6 min, hvor kørslen er scoret som ufuldstændig og næste start placering er præsenteret). Indsamlede data registreres manuelt og efterfølgende overført til database / statistisk software til yderligere analyse.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Resultaterne fra tre tidlige blinde deltagere (i alderen mellem 19 og 22 år) er vist (se tabel 1 for de deltagende karakteristika). Sammenfattende viste alle tre deltagere en høj grad af succes på alle tre navigations opgaver efter spil med Abes software. Dette blev bekræftet af de præstationskrav score (gruppe gennemsnit og individuelle) på alle tre adfærdsmæssige opgaver (se figur 6). Den procentvise korrekte udførelse til den virtuelle (gennemsnit: 90%) efterfulgt af den fysiske (gennemsnit: 88,7%) navigations opgaver illustrerer en høj grad af succes og sammenlignelig ydelse for begge opgaver (figur 6A). Ydelse på drop off eksperimenter tyder på, at deltagerne ofte valgt den korteste vej muligt at forlade bygningen (gennemsnitlig score: 3,0) (figur 6B). Endelig er den gennemsnitlige tid, det tager at navigere til målet vist for alle tre navigations opgaver er vist i figur 6C. Virtual navigation tid (vurderes først) var typisk længere (gennemsnit: 137,3 sek) end fysisk (73,8 sek) navigation performance. De kortere gennemsnitlige navigation gange observeret i drop off opgave (gennemsnit: 37,3 sek) er i overensstemmelse med det faktum, at deltagerne var tilbøjelige til at vælge den kortest mulige vej til at forlade bygningen.
Evaluering individuelle resultater fra en repræsentativ undersøgelse deltager og sejlrute på alle tre opgaver vurderede afsløret, at virtuel navigation fra en start til slutpunkt ligger på første sal fik 79 sek (fig. 7A, sti vist med gult). Vurdering af resultater på den samme vej i den fysiske bygning tog 46 sek (Figur 7B). Vurdering af drop off opgaveløsningen illustrerer, at deltageren tog den korteste vej muligt (lave 3 point og en under navigation på 48 sek) (figur 7C).
| emne | alder (år) | Ætiologien for blindhed | niveau af visuel funktion |
| 1 | 22 | retinopati ved præmaturitet | residual (lys perception) |
| 2 | 19 | Peters anomali, bilateral nethindeløsning, slutstadiet glaukom | dyb (intet lys perception) |
| 3 | 19 | retinopati ved præmaturitet | residual (lys perception) |
Tabel 1. Deltager egenskaber.
Figur 1. Virtuelt miljø afsagt i Abes. A) original to- etagers bygning plantegning. Bygningen indeholder 23 værelser og en række forbindelsesgange samt 3 separate indgange og 2 trappeopgange. I betragtning af den eksisterende rumlige layout, er der flere rute muligheder for at komme ind og forlade bygningen, B) virtuel gengivelse af target bygning i Abes, C) objekter stødt, mens du spiller Abes i game mode. Klik her for at se større figur .
Figur 2. Samlet Study Design. Alle deltagere gennemgår en fast træning og spil periode med Abes efterfulgt af en række navigations vurderinger (altid i rækkefølge). Vurderinger af ydeevne omfatter virtuelle, fysiske og slippe væk fra navigations opgaver.
Figur 3. Abes tastetryk.
Figur 4. Træning og spil med Abes. A) Deltagerne sidder ved en computer terminal iført bind for øjnene og stereo hovedtelefoner. B) Foto af en investigator med en undersøgelse deltager.
Figur 5. Resumé af navigation opgave vurderinger. A) Datafangst fra virtuelle stien vurdering. De start-og slutpunkter er læst til deltageren og den næste sti indlæses automatisk efter endt. Den taget sti (vist med gult) og tidtil mål indsamles automatisk af softwaren. B) Investigator vurderer ydeevne i et fysisk navigation opgave. Timing (ved hjælp af et stopur) begynder med deltagerens første skridt, og slutter, når deltageren rapporterer ankommer til målet slutpunkt. C) Sample rute og scoring strategi for drop off navigation opgave. Der er tre udgange og dermed flere mulige ruter for at forlade bygningen. Ud fra udgangspunktet er det taget bane (vist med gult) scores. Tre (3) point gives for at bruge den korteste exit, efterfulgt af 2 og 1 point (en score på nul indikerer ikke kan finde en exit). Klik her for at se større figur .
Figur 6. Oversigt over resultater fra navigations opgave vurderinger. Resultater (gruppe midler og individuelle resultater fra 10 testede sejlruter) fra 3 repræsentative deltagere i undersøgelsen er vist. A) Procent korrekte udførelse til den virtuelle efterfulgt af de fysiske navigation opgaver. B) opfyldelse resultater ( gennemsnitligt antal point) på drop off opgaver. C) Gennemsnitlig tid, det tager at navigere til målet er vist for alle tre navigations evalueringer. Klik her for at se større figur .
Figur 7. Individuelle resultater fra navigations opgave vurderinger. Repræsentative resultater er vist fra et studie deltager påalle tre navigations opgaver vurderet. A) virtuel navigation (sti vist på gul). B) vurdering af effektiviteten på den samme vej i den fysiske bygning. C) vurdering af en drop off opgave illustrerer, at deltageren tog den korteste vej muligt. De alternative potentielle veje (gule stiplede linjer) og score værdi i forhold til den givne udgangspunktet er også vist. Klik her for at se større figur .
Supplmental Movie 1. Supplerende video af kommenteret video game play. Videosekvens viser en spiller (gul bevægelse ikon) ind i et værelse ligger på første sal, hvor en juvel er skjult. Spatialized lyde (venstre og højre kanal) tillader spilleren at orientere og identificere placeringen af objekter (f.eks døre og forhindringer) i deres omgivende miljø. Når en juvel er fundet, PLAyer forlader bygningen, og de skal undgå roving monstre (røde bevægelige ikoner). Spilleren fortsætter herefter med at udforske bygningen (første og anden etage) for at finde flere skjulte juveler. Klik her for at se supplerende film .
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Vi beskriver et interaktivt audio-baseret virtuelt miljø simulator designet til at forbedre den generelle rumlige bevidsthed og navigation færdigheder i blinde. Vi viser, at interagere med Abes giver nøjagtige signaler, der beskriver de rumlige relationer mellem objekter, og den samlede indretning af den tilsigtede miljø. Blinde brugere kan generere nøjagtige rumlige kognitive kort baseret på denne akustiske informationer, og ved at interagere med den medrivende virtuelt miljø. Desuden interagere med Abes inden for rammerne af et spil metafor viser, at rumlige kognitive konstruktioner kan læres implicit og snarere blot gennem kausal interaktion med softwaren. Som påvist i denne indledende fase af undersøgelsen, kan den interaktive og medrivende karakter af spillet forbedre den enkeltes rumlige bevidsthed om et nyt miljø, skabe en platform for at skabe en præcis rumlig kognitiv kort, og kan reducere usikkerhed forbundet med independent navigation forud for ankommer til en fremmed bygning.
Typisk kan personer med synshandicap får funktionel uafhængighed gennem orientering og mobilitet (O & M) uddannelse. Det er imidlertid vigtigt, at uddannelse strategier forblive fleksible og tilpasningsdygtige, således at de kan anvendes til nye og uvante situationer og skræddersyet til en persons egne styrker og svagheder, således at løse deres særlige udfordringer, behov og læringsstrategier. Den kreative brug af interaktive virtuelle navigation miljøer såsom Abes kan fastsætte denne fleksibilitet og supplere den nuværende O & M uddannelse pensum. Denne software repræsenterer en supplerende strategi, der ikke kun trækker på fordelene ved høj motiverende drev, men giver også mulighed for en test platform til at udføre mere kontrollerede og kvantificerbare undersøgelser for at afprøve og validere effektiviteten af disse uddannelsesmetoder.
Nuværende og fremtidige undersøgelser vilindeholde en storstilet undersøgelse, hvor deltagerne er randomiseret til forskellige metoder til uddannelse (f.eks gaming i forhold til direkte seriel rute læring) og navigation (dvs. rute konstatering) performance vil blive sammenlignet. Vi vil også undersøge forskelle mellem tidlige og sene blind samt sammenhængen mellem yderligere faktorer af interesse, herunder alder og køn.
I betragtning af den tilsyneladende engagerende karakter af denne kombinerede virtuelt miljø og gaming tilgang, ville det også være interessant at undersøge de potentielle fordele i Abes på sejlads kompetenceudvikling i blinde personer uden for profilen beskrevet her. For eksempel er den største (og hurtigst voksende) segment af synshandicap i den aldrende befolkning og de aktuelle tendenser forventes at stige 13. Således ville det være yderst relevant at undersøge effektiviteten af denne fremgangsmåde for den ikke-visuelle erhvervelse af geografisk information til støtte navigation færdigheder i denne demografisk gruppe. Eftersom Abes er en computer tilgang, er det vanskeligt at spekulere på dette tidspunkt på dens effektivitet på ikke-digitale indfødte. I samme forbindelse kunne udvikle Abes i måde, der ville være egnede til personer med synsrest (dvs. lav vision) også være umagen værd. Da størstedelen af de personer, der er lovligt blinde, falder ind under denne kategori 13 kan uddannelse i virtuelle miljøer før den faktiske fysiske rejser også være til gavn for at planlægge ruter og undgå vanskeligheder i forbindelse med at forsøge at få adgang til oplysninger i et ukendt miljø. I denne retning er nuværende arbejde mod at udvikle Abes funktioner såsom zoom (dvs. stor forstørrelse) og høj en kontrast display for at støtte personer med nedsat syn.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Forfatterne erklærer nogen interessekonflikter.
Acknowledgments
Forfatterne vil gerne takke Rabih Dow, Padma Rajagopal, Molly Connors og personalet i Carroll Center for the Blind (Newton MA, USA) for deres støtte i udførelsen af denne forskning. Dette arbejde blev støttet af NIH / NEI tilskud: RO1 EY019924.
Materials
| Name | Company | Catalog Number | Comments |
| Laptop computer | Laptop used exclusively for training participants and collecting data | ||
| Stereo Head phones (fully enclosed circumaural design) | Worn by all participants during training | ||
| Blindfold | Worn by all participants during training and testing |
References
- Loomis, J. M., Klatzky, R. L., Golledge, R. G. Navigating without vision: basic and applied research. Optom. Vis. Sci. 78, 282-289 (2001).
- Siegel, A. W., White, S. H. The development of spatial representations of large-scale environments. Adv. Child Dev. Behav. 10, 9-55 (1975).
- Strelow, E. R. What is needed for a theory of mobility: direct perception and cognitive maps--lessons from the blind. Psychol. Rev. 92, 226-248 (1985).
- Giudice, N. A., Bakdash, J. Z., Legge, G. E. Wayfinding with words: spatial learning and navigation using dynamically updated verbal descriptions. Psychol. Res. 71, 347-358 (2007).
- Ashmead, D. H., Hill, E. W., Talor, C. R. Obstacle perception by congenitally blind children. Percept. Psychophys. 46, 425-433 (1989).
- Dede, C. Immersive interfaces for engagement and learning. Science. 323, 66-69 (2009).
- Bavelier, D., et al. Brains on video games. Nat. Rev. Neurosci. 12, 763-768 (2011).
- Bavelier, D., Green, C. S., Dye, M. W. Children, wired: for better and for worse. Neuron. 67, 692-701 (2010).
- Lange, B., et al. Designing informed game-based rehabilitation tasks leveraging advances in virtual reality. Disabil. Rehabil. , (2012).
- Merabet, L., Sánchez, J. Audio-based Navigation Using Virtual Environments: Combining Technology and Neuroscience. AER Journal: Research and Practice in Visual Impairment and Blindness. 2, 128-137 (2009).
- Kalia, A. A., Legge, G. E., Roy, R., Ogale, A. Assessment of Indoor Route-finding Technology for People with Visual Impairment. J. Vis. Impair. Blind. 104, 135-147 (2010).
- Lahav, O., Schloerb, D. W., Srinivasan, M. A. Newly blind persons using virtual environment system in a traditional orientation and mobility rehabilitation program: a case study. Disabil. Rehabil. Assist Technol. , (2011).
- WHO | Global trends in the magnitude of blindness and visual impairment [Internet]. , World Health Organization (WHO). Available from: http://www.who.int/blindness/causes/trends/en/index.html (2012).
