Utvikling av en Audio-baserte Virtual Gaming Environment for å bistå med Navigasjon Skills i Blind

Summary

Audio-basert miljø Simulator (Abes) er virtuelt miljø programvare designet for å forbedre virkelige verden navigasjon ferdigheter i blinde.

Abstract

Audio-basert miljø Simulator (Abes) er virtuelt miljø programvare designet for å forbedre virkelige verden navigasjon ferdigheter i blinde. Med bare lyd baserte signaler og sett i sammenheng med et videospill metafor, brukere samle relevant romlig informasjon om en bygning layout. Dette tillater brukeren å utvikle et nøyaktig romlig kognitiv kart av en stor-skala tredimensjonalt rom som kan manipuleres for formålene i en reell innendørs navigasjon oppgave. Etter spillet blir deltakerne så vurdert på deres evne til å navigere innenfor målet fysiske bygningen representert i spillet. Foreløpige resultater tyder på at tidlige blinde brukere kunne tilegne relevant informasjon om den romlige utformingen av en tidligere ukjent bygning som indekseres av deres opptreden på en rekke navigasjon oppgaver. Disse oppgavene inkluderte sti finne gjennom den virtuelle og fysiske bygningen, samt en serie frafalt oppgaver. Vi finner at oppslukendeog svært interaktive natur Abes programvaren vises til sterkt engasjere blind bruker til aktivt å utforske det virtuelle miljøet. Anvendelser av denne tilnærmingen kan utvide til større bestander av synshemmede personer.

Introduction

Finne en måte i en ukjent miljø presenterer som en betydelig utfordring for blinde. Navigere vellykket krever en forståelse av de romlige relasjoner som eksisterer mellom en selv og gjenstander i miljøet ^1,2. Den mentale representasjon som beskriver omkringliggende rommet er referert til som en romlig kognitiv kart ^3. Blinde personer kan samle relevant romlig informasjon om deres omgivelsene gjennom andre sensoriske kanaler (som å høre) muliggjør generering av en nøyaktig romlig kognitive kart i forbindelse med virkelige verden navigasjon oppgaver ^4,5.

Stor interesse har oppstått vedrørende lærerikt potensialet av virtuelle miljøer og action videospill som et middel til å lære og mestre ferdigheter ^6-9. Faktisk har mange strategier og tilnærminger er utviklet for blinde for dette formålet (se ^4,10-12). Vi har utviklet Audio-basert miljø Simulator (Abes), en bruker-sentrert lyd-baserte virtuelle miljø som gjør det mulig for simulert navigering og utforskning av et eksisterende fysiske bygningen. Tegning fra opprinnelige arkitektoniske planløsninger, en virtuell gjengivelse av en moderne to-etasjers bygning (plassert på Carroll Center for the Blind, Newton, MA) ble laget med Abes programvare (Tall 1A og B). Abes inneholder et actionspill metafor med en premiss for å fremme full utforskning av bygningen plass. Ved hjelp av enkle tastetrykk og spatialized lyd signaler, brukere navigere og utforske hele bygningen for å samle maksimalt antall juveler gjemt i ulike rom. Brukere må unngå omstreifende monstre som kan ta dem bort og skjule dem andre steder i bygningen (Figur 1C).

Vi viser at samspill med Abes tillater en blind bruker å generere en nøyaktig romlig kognitiv kart over et mål bygg basert på auditiv informasjon encquired innenfor rammen av et actionspill metafor. Dette bekreftes av en rekke post-trening atferdsmessige ytelsestester designet for å vurdere overføring av ervervet romlig informasjon fra et virtuelt miljø til en real-world og stor skala innendørs navigering oppgave (se Figur 2 for generelle studie design). Våre resultater viser at blinde brukere er i stand til å navigere gjennom en bygning som de var tidligere ukjent, til tross for at ikke på noe tidspunkt var de informert om overordnede formålet med studien, og heller ikke var de instruert til å huske den romlige utformingen av bygge mens du spiller spillet.

Protocol

1. Deltaker Demografi

Dette er en pågående studie som rekrutterer blinde mannlige og kvinnelige deltakere i alderen 18-45 år. Alle deltakerne er juridisk blind med tidlig debut (dokumentert før fylte 3) og av varierende okulære årsaker. Ingen av deltagerne var tidligere kjent med den romlige utformingen av målet fysiske bygningen.

2. Forberedelse og kjent med Abes

1. Gi deltakeren med en blindfold og hodetelefoner å bli slitt i hele opplæring og vurdering prosess. Sørg for at bindet er komfortabelt plassert over øynene og hodetelefonene er riktig orientert og plassert over ørene (dvs. venstre høyttaler over venstre øre).
2. Tog deltaker hvordan du bruker tildelte nøkler og informasjon representert ved lydsignaler i Abes. Med bestemte tastetrykk (figur 3), navigerer en bruker gjennom og utforskerbygge nesten (fremover, høyre eller venstre). Hver virtuelle trinn tilnærmet ett skritt i den virkelige fysiske bygningen.
3. Kjent med regler og premiss for spillet.
4. Kjent med lydsignaler som er spesifikke for spillet (f.eks lyden av lokalisering juveler og lyden av monstre i nærheten). Som brukeren navigerer gjennom bygningen, er auditiv-basert og kontekstuell romlig informasjon som erverves sekvensielt og dynamisk oppdatert. Romlig og situasjonsbestemt informasjon er basert på ikoniske og spatialized lyd signaler gitt etter hvert skritt tatt. Orientering er basert på kardinal kompasset (f.eks "nord" eller "øst") og tekst gjennom tale (TTS) brukes til å gi ytterligere informasjon om en brukers nåværende plassering, orientering og posisjon (for eksempel "du er i korridoren i første etasje, vestvendt ") samt identiteten til objekter og hindringer i veien (for eksempel" dette er en dør "). Avstand signaler er gitt basert on modulerende lydintensitet. Den romlige lokalisering av lydene er oppdatert for å passe brukerens egosentriske overskrift. I hovedsak er programvaren utviklet for å spille en passende lydfil som en funksjon av plasseringen og egosentriske overskriften for brukeren og holder rede på brukerens posisjon som de beveger seg gjennom miljøet. For eksempel, hvis en dør ligger på personens høyre side, er det banket lyd høres i brukerens høyre øre (dvs. programvaren spiller en lydfil på en banket lyd i den høyre kanal). Hvis personen nå snur 180 grader slik at det samme Døren er nå plassert på sin venstre side, er det samme banket lyd nå hørt i den venstre kanalen (dvs. programvaren spiller en lydfil på en banket lyd i venstre kanal). Til slutt, hvis brukeren er vendt mot døren, er det samme banket lyd høres i begge ørene likt. Ved å holde styr på brukerens egosentrisk posisjon, kan programvaren spille de riktige romlige lokaliserte lyder som identifiserernærvær og plassering av objekter og holde styr på disse endringene som brukeren beveger seg gjennom det virtuelle miljøet. Se figur 4.

3. Opplæring og spill med Abes (3 økter hver Lasting 30 min for totalt 1,5 timer)

1. Tillate gratis spill spille og merke noen problemer og utfordringer (dvs. bruk av tastetrykk, lydsignaler, områder med vanskelig navigering). Positiv forsterkning og avklaringer er gitt på slutten av hver treningsøkt.
2. Record spillytelse (for eksempel antall, tid og sted der en deltaker finner en juvel).

4. Vurdere Virtual Navigation Task Ytelse

1. Forklar deltaker detaljene i testing og gi instruksjoner om hvordan du fullfører de virtuelle navigasjon oppgaver. Deltakeren vil fullføre 10 forhåndsbestemte navigasjon oppgaver presenteres fortløpende ved hjelp av Abes programvare (dvs. når de deltakendebukse fullfører den første oppgaven, vil datamaskinen automatisk finne igjen dem til startpunktet for følgende oppgave).
2. Informer deltakeren at de vil ha maksimalt 6 min for å fullføre hver navigasjon oppgave.
3. 10 virtuelle navigasjon stier sammenlignbare vanskeligheter (dvs. distanse og antall omdreininger) er valgt basert på forhåndsbestemte motstandere av 10 start og stopp steder (dvs. rom). Konkret varierte utvalget av tiltak som trengs for å navigere målet rute mellom 25-35 trinn (i det virtuelle miljøet) og innlemmet mellom 3-4 omdreininger på 90 grader.
4. Laste de 10 navigasjon parene i Abes for automatisert presentasjon og datafangst av ytelse.
5. Utfallsmål registreres automatisk ved hjelp av Abes 'interne programvare. Utfallsmål er: vellykket fullføring av navigasjon oppgave og tid det tar å nå målet. Se figur 5A.
6. Instruksjoner describing starten plassering og målet destinasjonen er gitt automatisk av Abes programvare ved starten av hver oppgave. Timing begynner straks emnet tar sin første virtuelle skritt fra start plassering og slutter en gang ankommer målplasseringen (med mindre tid tar lengre tid enn 6 min, der kjøringen er scoret som ufullstendig og neste bane presentert). Fanget data sendes automatisk til en tekstfil og åpnet senere i database / statistisk programvare for videre analyse.

5. Vurdere Fysisk Navigation Task Ytelse

1. Forklar deltaker detaljene i testing og gi instruksjoner om hvordan du fullfører de fysiske navigasjon oppgaver. Deltakeren vil fullføre 10 forhåndsbestemte navigasjon oppgaver (presentert i kryptert rekkefølge fra forrige virtuelle prestasjonsvurdering) og under tilsyn av en erfaren etterforsker.
2. Informer deltakeren de vil ha en maximum 6 min for å fullføre hver navigasjon oppgave. Ved anvendelsen av den fysiske navigasjon oppgave blir deltageren lov til å bruke deres hvit stokk for mobilitet støtte.
3. 10 fysiske navigasjon banene er valgt basert på forhåndsbestemte motstandere av 10 start og stopp steder (dvs. rom) av sammenlignbare vanskeligheter (dvs. distanse og antall omdreininger).
4. Investigator forbereder stoppeklokke og utklippstavlen med liste over navigasjon oppgaver for manuell scoring av ytelse.
5. Utfallsmål er manuelt registrert av utprøver. Utfallsmål er: vellykket fullføring av navigasjon oppgave og tid det tar å nå målet.
6. "Square-off" deltaker (dvs. posisjon deltakeren med døren til start plasseringen bak dem). Instruksjoner beskriver startsted og mål reisemål er levert av etterforsker ved starten av hver oppgave. Timing begynner straks gjenstand takes sin første fysiske skrittet fra start plassering og slutter når deltakeren verbalt rapporterer ankommer destinasjonen (med mindre tid tar lengre tid enn 6 min, der kjøringen er scoret som en ufullstendig og neste bane presentert). Fanget data registreres manuelt og deretter overført til database / statistisk programvare for videre analyse. Se figur 5B.

6. Vurdere Fysisk Drop off Task Ytelse

1. Forklar deltaker detaljene i testing og gi instruksjoner om hvordan du fullfører den fysiske frafalt navigasjon oppgaver. Deltakeren vil fullføre 5 navigasjon oppgaver med mål avslutter bygningen ved hjelp av den korteste ruten mulig og under tilsyn av en erfaren etterforsker.
2. Informer deltakeren at de vil ha maksimalt 6 min for å fullføre hver navigasjon oppgave. For formålene i den fysiske frafalt navigasjon oppgave blir deltageren tillateså bruke sin hvite stokk for mobilitet støtte.
3. 5 forhåndsbestemte fysiske start steder brukes slik at 3 exit stier av forskjellig lengde er mulig.
4. Investigator forbereder stoppeklokke og utklippstavlen med liste over navigasjon oppgaver for manuell scoring av ytelse.
5. Utfallsmål er manuelt registrert av utprøver. Utfallsmål er: vellykket fullføring av navigasjon oppgave og tid det tar å nå målet. Videre er stier scoret slik at den korteste banen tatt er gitt maksimalt med poeng (dvs. 3 for korteste veien, 2 for den andre, en for lengst, og 0 for ikke å være i stand til å fullføre oppgaven). Se figur 5C.
6. "Square-off" deltakeren ved første startposisjonen. Instruksjoner beskriver startsted er levert av etterforsker ved starten av hver oppgave. Timing begynner straks emnet tar sin første fysiske skrittet fra start plassering og slutternår deltakeren rapporterer muntlig ankommer en avkjøring dør av bygningen (med mindre tid tar lengre tid enn 6 min, der kjøringen er scoret som ufullstendig og neste start plasseringen er presentert). Fanget data registreres manuelt og deretter overført til database / statistisk programvare for videre analyse.

Representative Results

Resultater fra tre tidlige blinde deltakere (i alderen mellom 19 og 22 år) er vist (se tabell 1 for deltaker egenskaper). I sammendraget, viste alle tre deltakerne en høy grad av suksess på alle tre navigasjon oppgaver etter spillet med Abes programvare. Dette ble bekreftet av ytelse score (gruppe mener og individuelle) på alle tre atferdsmessige oppgaver (se figur 6). Prosentandelen riktig ytelse for den virtuelle (middelverdien: 90%) etterfulgt av den fysiske (middelverdien: 88,7%) navigasjon oppgaver illustrerer en høy grad av suksess, og sammenlignbar ytelse for begge oppgaver (figur 6A). Ytelse på drop off eksperimenter tyder på at deltakerne ofte valgt den korteste ruten er mulig å avslutte bygningen (mean score: 3,0) (figur 6B). Endelig er den gjennomsnittlige tid for å navigere til målet vist for alle tre navigasjonsskjermer oppgaver er vist i Figur 6C. Virtual navigation tid (vurdert først) var vanligvis lengre (betyr: 137,3 sek) enn fysisk (73,8 sek) navigasjon ytelse. Kortere gjennomsnittlig navigasjon ganger observert i frafalt oppgave (betyr: 37,3 sek) er i samsvar med det faktum at deltakerne var sannsynlig å velge den korteste veien til å forlate bygningen.

Vurdere individuelle resultater fra en representant studiedeltageren og navigasjon rute på alle tre oppgavene vurderes avdekket at virtuelle navigasjon fra en start til slutt punkt ligger i første etasje tok 79 sek (figur 7A; banen vist med gult). Vurdering av prestasjoner på samme bane i den fysiske bygningen tok 46 sek (figur 7B). Vurdering av drop off utførelsen av oppgaver illustrerer at deltakeren tok den korteste veien mulig (å utføre 3 poeng og en tar navigasjon på 48 sek) (figur 7C).

emne	alder (år)	Etiologi av blindhet	nivå av visuell funksjon
1	22	prematuritetsretinopati	residual (lys persepsjon)
2	19	Peters anomali, bilateral netthinneavløsning, slutten stadium glaukom	dyp (ingen lys persepsjon)
3	19	prematuritetsretinopati	residual (lys persepsjon)

Tabell 1. Deltaker egenskaper.

Figur 1. Virtuelt miljø gjengitt i Abes. A) opprinnelige to- etasjers bygning planløsning. Bygningen inneholder 23 rom og en rekke sammenhengende korridorer samt 3 separate innganger og 2 trapperom. Gitt den eksisterende romlige layout, det er flere ruten muligheter til å gå inn og ut av bygningen, B) virtuelle gjengivelse av målet bygning i Abes, C) objekter oppstått mens du spiller Abes i spillmodus. Klikk her for å se større figur .

Figur 2. Samlet Study Design. Alle deltakere gjennomgår en fast trening og spill periode med Abes etterfulgt av en serie navigasjon vurderinger (alltid i kronologisk rekkefølge). Vurdering av prestasjoner er virtuelle, fysisk, og frafalt navigasjon oppgaver.

s ">
Figur 3. Abes tastetrykk.

Figur 4. Trening og spill med Abes. A) Deltakerne sitter ved en datamaskin terminal iført en blindfold og stereo hodetelefoner. B) Bilde av en etterforsker med en studie deltaker.

Figur 5. Oppsummering av navigasjon oppgave vurderinger. A) datafangst fra virtuell navigeringsbane vurdering. Start-og sluttpunkt leses til deltakeren og neste bane lastes automatisk etter ferdigstillelse. Banen tatt (vist i gult) og tidtil målet samles automatisk av programvaren. B) Investigator vurderer ytelse i en fysisk navigasjon oppgave. Timing (ved hjelp av en stoppeklokke) starter med deltakerens første skritt og slutter når deltakeren rapporterer ankommer til målet endepunkt. C) Eksempel rute og scoring strategi for drop off navigasjon oppgave. Det er tre utgangsdører og dermed flere mulige ruter å gå ut av bygningen. Basert på startpunktet, er banen tatt (vist i gult) scoret. Tre (3) poeng blir gitt for bruk av den korteste exit, etterfulgt av 2 og 1 poeng (en poengsum på null indikerer ikke å finne en utgang). Klikk her for å se større figur .

Figur 6. Oppsummering av resultater fra navigasjon oppgave vurderinger. Resultater (gruppe midler og individuelle resultater fra 10 testede navigasjonsruter) fra 3 representative deltakerne i studien er vist. A) Prosentvis riktig ytelse for den virtuelle etterfulgt av de fysiske navigasjon oppgaver. B) Ytelse resultater ( gjennomsnittlig antall poeng) på drop off oppgaver. C) Gjennomsnittlig tid for å navigere til målet vises for alle tre navigasjon vurderinger. Klikk her for å se større figur .

Figur 7. Individuelle resultater fra navigasjon oppgave vurderinger. Representative resultater er vist fra en studie deltaker påalle tre navigasjon oppgaver vurderes. A) virtuell navigasjon (banen vist på gult). B) vurdering av ytelse på samme bane i den fysiske bygningen. C) vurdering av en frafalt oppgave illustrerer at deltakeren tok den korteste veien mulig. De alternative potensielle baner (gule stiplede linjer) og score verdi i forhold til det oppgitte startpunktet er også vist. Klikk her for å se større figur .

Supplmental Movie 1. Supplerende video av annotert video spill. Videosekvens viser en spiller (gul bevegelse ikon) inn i et rom ligger i første etasje der en juvel er skjult. Spatialized lyder (venstre og høyre kanal) lar spilleren å orientere og identifisere plasseringen av objekter (f.eks dører og hindringer) i sin omgivelsene. Når en juvel blir funnet, player avslutter bygningen, og de må unngå roving monstre (røde bevegelige ikoner). Spilleren fortsetter da å utforske bygningen (første og andre etasje) for å finne mer skjulte juveler. Klikk her for å se supplerende filmen .

Discussion

Vi beskriver en interaktiv lyd-basert virtuelt miljø simulator utviklet for å forbedre generell romlig bevissthet og navigasjon ferdigheter i blinde. Vi viser at samspill med Abes gir nøyaktige signaler som beskriver romlige relasjoner mellom objekter og den totale utformingen av målet miljøet. Blinde brukere kan generere nøyaktige romlige kognitive kart basert på denne auditiv informasjon og ved å samhandle med oppslukende virtuelle miljøet. Videre, i samspill med Abes innenfor rammen av et spill metafor viser at romlige kognitive konstruksjoner kan læres implisitt og heller bare gjennom årsakssammenheng interaksjon med programvaren. Som vist i denne innledende fasen av studien, kan den interaktive og engasjerende natur spillet bedre den enkeltes romforståelse av et nytt miljø, gi en plattform for å lage en nøyaktig romlig kognitive kart, og kan redusere usikkerhet forbundet med selvstendighett navigasjon før ankomst til en ukjent bygning.

Vanligvis kan personer med synshemming få funksjonell uavhengighet gjennom orientering og mobilitet (O & M) trening. Det er imidlertid viktig at trening strategier være fleksibel og tilpasningsdyktig, slik at de kan brukes på nye og ukjente situasjoner og skreddersydd til en persons egne styrker og svakheter, slik som å møte deres spesielle utfordringer, behov og læringsstrategier. Kreativ bruk av interaktive virtuelle navigasjon miljøer som Abes kan gi for denne fleksibiliteten og supplere dagens O & M undervisningsopplegg. Denne programvaren er en tilleggsbehandling strategi som ikke bare trekker på fordelene av høy motiverende stasjonen, men også sørger for en testing plattform for å gjennomføre mer kontrollerte og kvantifiserbare studier for å teste og validere effektiviteten av disse opplæring tilnærminger.

Nåværende og fremtidige undersøkelser vilinkludere en storstilt studie der deltakerne er randomisert til ulike metoder for opplæring (f.eks gaming i forhold til direkte seriell rute læring) og navigasjon (dvs. rute funn) ytelsen vil bli sammenlignet. Vi vil også undersøke forskjeller mellom tidlig og sen blind samt forholdet mellom ytterligere faktorer av interesse, inkludert alder og kjønn.

Til slutt, gitt den tilsynelatende engasjerende natur denne kombinerte virtuelt miljø og gaming tilnærming, ville det også være av interesse å undersøke den potensielle nytten av Abes på navigasjon kompetanseutvikling i blinde individer utover profilen er beskrevet her. For eksempel er den største (og raskest voksende) segment av synshemming i den aldrende befolkning og dagens trender forventes å øke ^13. Dermed vil det virke svært relevant å utforske effekten av denne tilnærmingen for ikke-visuelle oppkjøpet av romlig informasjon som støtter navigation ferdigheter i denne demografiske gruppen. Gitt at Abes er en datamaskin basert tilnærming, er det vanskelig å spekulere på dette tidspunktet på sin effektivitet på ikke-digitale innfødte. Langs de samme linjer, kunne utvikle Abes i måte som ville være mottagelig for personer med gjenværende syn (dvs. lav visjon) også være verdt. Gitt at flertallet av personer som er lovlig blind faller inn under denne kategorien ^13, kan trening i virtuelle miljøer før selve fysiske reiser også være til nytte for å planlegge ruter og unngå problemer forbundet med å prøve å få tilgang til informasjon i et ukjent miljø. I denne retningen, er dagens arbeid med utvikling Abes funksjoner som zooming (dvs. høy forstørrelse) og høy kontrast skjerm for å støtte personer med nedsatt syn.

Materials

Name	Company	Catalog Number	Comments
Laptop computer			Laptop used exclusively for training participants and collecting data
Stereo Head phones (fully enclosed circumaural design)			Worn by all participants during training
Blindfold			Worn by all participants during training and testing