Articolo metodologico

Sviluppo di un audio-based ambiente di gioco virtuale per assistere con doti di navigazione in the Blind

DOI:

10.3791/50272

⸱

27 marzo 2013

 ,  ,  , 
1Laboratory for Visual Neuroplasticity, Department of Ophthalmology, Massachusetts Eye and Ear Infirmary, Harvard Medical School, 2Department of Computer Science and Center for Advanced Research in Education (CARE), University of Chile

In questo articolo

Sommario

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Audio-based Simulator Ambiente (Abes) è un software ambiente virtuale progettato per migliorare le reali doti di navigazione mondiali nel cieco.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Audio-based Simulator Ambiente (Abes) è un software ambiente virtuale progettato per migliorare le reali doti di navigazione mondiali nel cieco. Utilizzando solo segnali audio based e si inserisce nel contesto di una metafora videogioco, gli utenti di raccogliere informazioni pertinenti riguardanti il ​​layout dello spazio di un edificio. Questo consente all'utente di sviluppare una accurata mappa spaziale cognitiva di un grande spazio tridimensionale che può essere manipolata per fini di un compito reale navigazione interna. Dopo il gioco, i partecipanti vengono valutati sulla loro capacità di navigare all'interno del palazzo di destinazione fisica rappresentata nel gioco. I risultati preliminari indicano che i primi utenti non vedenti sono in grado di acquisire le informazioni utili per quanto riguarda la disposizione spaziale di un edificio in precedenza sconosciuto, come indicizzato da loro prestazioni su una serie di compiti di navigazione. Questi compiti inclusi percorso trovando attraverso l'edificio virtuale e fisico, nonché una serie di drop off compiti. Troviamo che la coinvolgentee la natura altamente interattivo del software Abes sembra coinvolgere notevolmente l'utente non vedente di esplorare attivamente l'ambiente virtuale. Le applicazioni di questo approccio può estendersi ai più grandi popolazioni di individui con disabilità visive.

Introduzione

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Orientarsi in un ambiente sconosciuto si presenta come una sfida significativa per i non vedenti. Navigazione con successo richiede una comprensione delle relazioni spaziali esistenti tra se stessi e gli oggetti del 1,2 ambiente. La rappresentazione mentale che descrive lo spazio circostante viene indicato come una mappa cognitiva del territorio 3. Persone non vedenti in grado di raccogliere informazioni spaziali rilevanti per quanto riguarda l'ambiente circostante tramite altri canali sensoriali (ad esempio l'udito) che consentono la generazione di una precisa mappa spaziale cognitiva ai fini delle funzioni reali di navigazione del mondo 4,5.

Notevole interesse è sorta per quanto riguarda il potenziale educativo degli ambienti virtuali e videogiochi d'azione come mezzo per imparare e padroneggiare le abilità di 6-9. In effetti, molte strategie e gli approcci sono stati sviluppati per i non vedenti per questo scopo (cfr. 4,10-12). Abbiamo sviluppato Audio basata Simulator Ambiente (Abes), un utente-centrico audio-based ambiente virtuale che permette la navigazione simulata e l'esplorazione di un edificio esistente fisico. Attingendo originali planimetrie architettoniche, una rappresentazione virtuale di un moderno edificio a due piani (che si trova presso il Centro Carroll per i ciechi, Newton, MA) è stato generato con il software Abes (Figure 1A e B). Abes incorpora una metafora gioco d'azione con una premessa progettato per promuovere l'esplorazione completa dello spazio dell'edificio. Utilizzo di semplici combinazioni di tasti e spunti sonori spazializzati, gli utenti a navigare ed esplorare l'intero edificio di raccogliere un numero massimo di gioielli nascosti nelle varie stanze. Gli utenti devono evitare di vagante mostri che li può portare via e nasconderli altrove nell'edificio (Figura 1C).

Abbiamo dimostrato che l'interazione con Abes consente a un utente non vedente per generare una accurata mappa spaziale cognitiva di un edificio di destinazione sulla base di informazioni uditive uncquired nel contesto di una metafora gioco d'azione. Ciò è confermato da una serie di post-formazione test di performance comportamentali destinati a valutare il trasferimento delle informazioni spaziali acquisite da un ambiente virtuale di un mondo reale e su larga scala attività di navigazione interna (vedere la figura 2 per il disegno generale dello studio). I nostri risultati mostrano che gli utenti non vedenti sono in grado di navigare con successo all'interno di un edificio per il quale erano in precedenza sconosciuta, nonostante il fatto che in nessun momento erano informati dello scopo generale dello studio, né erano istruiti a ricordare la disposizione spaziale del costruire durante il gioco.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Protocollo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. Partecipanti Popolazione

Si tratta di un continuo studio che recluta ciechi partecipanti uomini e donne di età compresa tra 18-45 anni. Tutti i partecipanti sono legalmente cieco di esordio precoce (documentato prima dell'età di 3) e di varie eziologie oculari. Nessuno dei partecipanti allo studio erano precedentemente familiarità con la disposizione spaziale dell'edificio bersaglio fisico.

2. Preparazione e familiarizzazione con Abes

  1. Fornire il partecipante con gli occhi bendati e le cuffie da indossare tutto il processo di formazione e di valutazione. Assicurarsi che la benda è comodamente posizionato sopra gli occhi e le cuffie siano correttamente orientati e posizionati sopra le orecchie (cioè altoparlanti sinistro sopra l'orecchio sinistro).
  2. Partecipante treno come utilizzare i tasti assegnati e le informazioni rappresentate dai segnali audio in Abes. Utilizzo di specifiche combinazioni di tasti (figura 3), un utente tramite e esplora ilcostruire virtualmente (muovendosi in avanti, a destra oa sinistra). Ogni passo virtuale si avvicina di un passo nella struttura fisica reale.
  3. Familiarizzare con le norme e premessa del gioco.
  4. Familiarizzare con segnali audio specifici per il gioco (ad esempio, il suono di gioielli localizzazione e suono di mostri nelle vicinanze). Mentre l'utente naviga attraverso l'edificio, uditivo-based e contestuale informazione spaziale viene acquisita in sequenza e viene aggiornato dinamicamente. Informazione spaziale e situazionale si basa su segnali audio spazializzato iconici e forniti dopo ogni passo compiuto. Orientamento si basa su voci bussola cardinali (ad esempio, "del nord" o "est") e il testo attraverso speech (TTS) è usato per fornire ulteriori informazioni sulla posizione corrente di un utente, l'orientamento e la direzione (ad esempio "si è nel corridoio al primo piano, esposto ad ovest "), così come l'identità di oggetti e ostacoli nel loro percorso (ad esempio," si tratta di una porta "). Distanza spunti sono forniti sulla base on intensità del suono modulante. La localizzazione spaziale dei suoni viene aggiornata in modo che corrisponda egocentrica voce dell'utente. Essenzialmente, il software è progettato per riprodurre un file audio appropriato in funzione della posizione e egocentrica voce dell'utente e registra la posizione dell'utente mentre si muovono attraverso l'ambiente. Ad esempio, se una porta si trova sul lato destro della persona, il suono è sentito bussare all'orecchio destro dell'utente (cioè il software svolge un file audio di un suono bussare nel canale destro). Se la persona si rivolge ora intorno a 180 gradi in modo che la porta stessa si trova ora sul lato sinistro, lo stesso suono bussare è ora ascoltato nel canale sinistro (cioè il software svolge un file audio di un suono bussare nel canale sinistro). Infine, se l'utente si trova di fronte alla porta, lo stesso suono bussare si sente allo stesso modo in entrambe le orecchie. Per tenere traccia di voce egocentrico dell'utente, il software in grado di riprodurre i suoni appropriati spaziali localizzate che identificanola presenza e la posizione di oggetti e tenere traccia di questi cambiamenti come l'utente si muove attraverso l'ambiente virtuale. Vedere la Figura 4.

3. Formazione e Gioco con Abes (3 sessioni ciascuna della durata 30 minuti per un totale di 1,5 ore)

  1. Consentire gioco libero gioco e prendete nota di eventuali difficoltà e le sfide (cioè l'uso di combinazioni di tasti, segnali audio, le aree di navigazione difficile). Il rinforzo positivo e chiarimenti sono disponibili alla fine di ogni sessione di allenamento.
  2. Gioco Prestazioni da record (ad esempio, numero, tempo e luogo in cui un partecipante si trova un gioiello).

4. Valutare virtuale prestazioni dell'attività di navigazione

  1. Spiegate ai partecipanti i dettagli della prova e di fornire istruzioni su come completare le attività di navigazione virtuale. Il partecipante completerà 10 attività di navigazione prestabiliti presentati in sequenza utilizzando il software Abes (vale a dire una volta che la partecipazionepant completa con successo il primo compito, il computer verrà automaticamente ri-localizzare il punto di partenza del lavoro che segue).
  2. Informare il partecipante che avrà un massimo di 6 minuti per completare ogni attività di navigazione.
  3. 10 percorsi di navigazione virtuale di difficoltà comparabili (cioè la distanza percorsa e il numero di giri) sono scelti sulla base di accoppiamenti predeterminati di 10 posizioni di inizio e fine (ad esempio le camere). Specificamente, la gamma delle fasi necessarie per navigare sulla rotta bersaglio variava tra 25-35 passi (in ambiente virtuale) e incorporati tra 3-4 giri di 90 gradi.
  4. Caricare le 10 coppie di navigazione in Abes per la presentazione automatica e raccolta dati delle prestazioni.
  5. Le misure di outcome sono registrati automaticamente utilizzando il software interno Abes '. Le misure di outcome sono: il completamento del compito di navigazione e tempo impiegato per raggiungere l'obiettivo. Vedere Figura 5A.
  6. Istruzioni describing la posizione di partenza e la destinazione vengono fornite automaticamente dal software Abes all'inizio di ogni attività. La temporizzazione inizia immediatamente una volta che il soggetto prende il loro primo passo virtuale dal punto di partenza e termina una volta arrivati ​​nel percorso di destinazione (a meno che ora richiede più tempo di 6 minuti, per il quale è segnato il percorso in quanto incompleta e il percorso successivo è presentato). I dati acquisiti vengono automaticamente inviati a un file di testo e aperte successivamente nel database / software statistico per ulteriori analisi.

5. Valutare fisica prestazioni dell'attività di navigazione

  1. Spiegate ai partecipanti i dettagli della prova e di fornire istruzioni su come completare le attività di navigazione fisici. Il partecipante completerà 10 attività di navigazione predeterminati (presentati in ordine strapazzate dalla valutazione precedente prestazione virtuale) e sotto la supervisione di un esperto investigatore.
  2. Informare il partecipante avranno un maximassima di 6 minuti per completare ogni attività di navigazione. Ai fini dell'attività fisica di navigazione, il partecipante è permesso di usare il loro bastone bianco per il supporto alla mobilità.
  3. 10 percorsi di navigazione fisici sono scelti sulla base di accoppiamenti predeterminati di 10 posizioni iniziale e di arresto (ad esempio camere) di difficoltà paragonabile (cioè la distanza percorsa e il numero di giri).
  4. Investigator prepara cronometro e appunti con l'elenco delle attività di navigazione per il punteggio manuale delle prestazioni.
  5. Le misure di outcome sono registrati manualmente dallo sperimentatore. Le misure di outcome sono: il completamento del compito di navigazione e tempo impiegato per raggiungere l'obiettivo.
  6. "Square-off" del partecipante (ovvero la posizione del partecipante con la porta del luogo di partenza dietro di loro). Istruzioni descrivono la posizione di partenza e la destinazione sono forniti dal ricercatore all'inizio di ogni attività. La temporizzazione inizia immediatamente una volta che il soggetto Takes il loro primo passo fisico dal punto di partenza e termina quando il partecipante riporta verbalmente arrivare a destinazione (a meno che ora richiede più tempo di 6 minuti, per il quale è segnato il percorso come incompleta e il percorso successivo è presentato). I dati acquisiti vengono registrati manualmente e successivamente trasferiti al database / software statistico per ulteriori analisi. Vedere Figura 5B.

6. Valutare Goccia fisica off performance Task

  1. Spiegate ai partecipanti i dettagli della prova e di fornire istruzioni su come completare il calo fisico off compiti di navigazione. Il partecipante sarà completare 5 compiti di navigazione con gli obiettivi in ​​uscita dell'edificio utilizzando il percorso più breve possibile e sotto la supervisione di un investigatore esperto.
  2. Informare il partecipante che avrà un massimo di 6 minuti per completare ogni attività di navigazione. Ai fini del calo fisico fuori tema di navigazione, il partecipante è consentitodi usare il loro bastone bianco per il supporto alla mobilità.
  3. 5 predeterminate posizioni fisiche iniziali vengono utilizzati in modo tale che tre percorsi di uscita di lunghezze diverse sono possibili.
  4. Investigator prepara cronometro e appunti con l'elenco delle attività di navigazione per il punteggio manuale delle prestazioni.
  5. Le misure di outcome sono registrati manualmente dallo sperimentatore. Le misure di outcome sono: il completamento del compito di navigazione e tempo impiegato per raggiungere l'obiettivo. Inoltre, i percorsi sono segnati in modo tale che il percorso più breve presa è dato il massimo dei punti (cioè 3 per il percorso più breve, 2 per il secondo, 1 per il più lungo, e 0 per non essere in grado di completare l'operazione). Vedi Figura 5C.
  6. "Square-off" il partecipante alla prima posizione di partenza. Istruzioni descrivono la posizione di partenza sono forniti dal ricercatore all'inizio di ogni attività. La temporizzazione inizia immediatamente una volta che il soggetto prende il loro primo passo fisico dal punto di partenza e terminaquando il partecipante riferisce verbalmente arrivando ad una porta d'uscita dell'edificio (meno tempo richiede più di 6 min, per cui è ottenuto il run come incompleta e la posizione di avvio successivo viene presentato). I dati acquisiti vengono registrati manualmente e successivamente trasferiti al database / software statistico per ulteriori analisi.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Risultati

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

I risultati di tre partecipanti i primi ciechi (di età compresa tra 19 e 22 anni) sono riportati (cfr. tabella 1 per le caratteristiche dei partecipanti). In sintesi, tutti e tre i partecipanti hanno mostrato un alto livello di successo su tutti e tre i compiti di navigazione seguendo gioco con il software Abes. Ciò è stato confermato dal punteggio di prestazione (media di gruppo e individuali) su tutte e tre le attività comportamentali (vedi Figura 6). La performance percentuale corret...

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Discussione

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Descriviamo interattiva audio-based simulatore virtuale ambiente progettato per migliorare la generale consapevolezza spaziale e capacità di navigazione in cieco. Abbiamo dimostrato che l'interazione con Abes fornisce indicazioni precise che descrivono le relazioni spaziali tra gli oggetti e la disposizione complessiva dell'ambiente di destinazione. Vedenti possono generare accurati mappe spaziali cognitive basate su tali informazioni uditivo e interagendo con l'ambiente virtuale immersiva. Inoltre, interage...

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Dichiarazioni

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gli autori dichiarano assenza di conflitto di interessi.

Ringraziamenti

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gli autori desiderano ringraziare Rabih Dow, Padma Rajagopal, Molly Connors e il personale del Centro di Carroll per i Ciechi (Newton MA, USA) per il supporto nella realizzazione di questa ricerca. Questo lavoro è stato supportato dal NIH / NEI sovvenzione: RO1 EY019924.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Materiali

Elenco dei materiali utilizzati in questo articolo
NomeAziendaNumero di catalogoCommenti
Nome di attrezzature Commenti
Computer portatile Computer portatile utilizzato esclusivamente per i partecipanti alla formazione e la raccolta di dati
Cuffie stereo (completamente chiusa disegno circumaurale) Indossato da tutti i partecipanti durante l'allenamento
Benda Indossato da tutti i partecipanti durante l'allenamento e le prove

Riferimenti

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Loomis, J. M., Klatzky, R. L., Golledge, R. G. Navigating without vision: basic and applied research. Optom. Vis. Sci. 78, 282-289 (2001).
  2. Siegel, A. W., White, S. H. The development of spatial representations of large-scale environments. Adv. Child Dev. Behav. 10, 9-55 (1975).
  3. Strelow, E. R. What is needed for a theory of mobility: direct perception and cognitive maps--lessons from the blind. Psychol. Rev. 92, 226-248 (1985).
  4. Giudice, N. A., Bakdash, J. Z., Legge, G. E. Wayfinding with words: spatial learning and navigation using dynamically updated verbal descriptions. Psychol. Res. 71, 347-358 (2007).
  5. Ashmead, D. H., Hill, E. W., Talor, C. R. Obstacle perception by congenitally blind children. Percept. Psychophys. 46, 425-433 (1989).
  6. Dede, C. Immersive interfaces for engagement and learning. Science. 323, 66-69 (2009).
  7. Bavelier, D., et al. Brains on video games. Nat. Rev. Neurosci. 12, 763-768 (2011).
  8. Bavelier, D., Green, C. S., Dye, M. W. Children, wired: for better and for worse. Neuron. 67, 692-701 (2010).
  9. Lange, B., et al. Designing informed game-based rehabilitation tasks leveraging advances in virtual reality. Disabil. Rehabil. , (2012).
  10. Merabet, L., Sánchez, J. Audio-based Navigation Using Virtual Environments: Combining Technology and Neuroscience. AER Journal: Research and Practice in Visual Impairment and Blindness. 2, 128-137 (2009).
  11. Kalia, A. A., Legge, G. E., Roy, R., Ogale, A. Assessment of Indoor Route-finding Technology for People with Visual Impairment. J. Vis. Impair. Blind. 104, 135-147 (2010).
  12. Lahav, O., Schloerb, D. W., Srinivasan, M. A. Newly blind persons using virtual environment system in a traditional orientation and mobility rehabilitation program: a case study. Disabil. Rehabil. Assist Technol. , (2011).
  13. WHO | Global trends in the magnitude of blindness and visual impairment [Internet]. , World Health Organization (WHO). Available from: http://www.who.int/blindness/causes/trends/en/index.html (2012).

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Ristampe e permessi

Richiedi il permesso di riutilizzare il testo o le figure di questo articolo JoVE

Richiedi permesso

Tag

Simulatore di ambiente basato su audioaddestramento alla navigazione virtualemappatura cognitiva spazialeabilit di navigazione per non vedentilocalizzazione di segnali acusticinavigazione in edifici fisiciesplorazione di ambienti virtualiaddestramento all orientamento e alla mobilitvalutazione del compito di rilascioprestazioni di ricerca del percorso

Articoli correlati