Name: Opracowanie wirtualnego środowiska gier opartego na dźwięku, aby pomóc w rozwijaniu umiejętności nawigacji u osób niewidomych (Wideo) | JoVE Journal
Uploaded: 2013-03-27T08:55:00.000+00:00
Duration: 9 min 1 s
Description: Poznaj symulator środowiska oparty na dźwięku AbES do nauki nawigacji przestrzennej przez osoby niewidome. Metoda umożliwia bezpieczne przyswajanie umiejętności w wirtualnym świecie z ich późniejszym przeniesieniem do rzeczywistych budynków.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Autorzy chcieliby podziękować Rabih Dow, Padmie Rajagopal, Molly Connors i personelowi Carroll Center for the Blind (Newton MA, USA) za ich wsparcie w przeprowadzeniu tych badań. Prace te były wspierane przez grant NIH/NEI: RO1 EY019924.

1. Dane demograficzne uczestników
To jest trwające badanie, które rekrutuje niewidomych mężczyzn i kobiety w wieku od 18 do 45 lat. Wszyscy uczestnicy są prawnie niewidomi z powodu wczesnego początku (udokumentowanego przed ukończeniem 3 roku życia) i o różnej etiologii oka. Żaden z uczestników badania nie był wcześniej zaznajomiony z układem przestrzennym docelowego budynku fizycznego.
2. Przygotowanie i zapoznanie się z AbES
<ol>
	<li> Zapewnij uczestnikowi opaskę na oczy i słuchawki, które będzie nosił przez cały proces szkolenia i oceny. Upewnij się, że opaska na oczy jest wygodnie umieszczona na oczach, a słuchawki są odpowiednio zorientowane i umieszczone nad uszami (tj. lewy głośnik nad lewym uchem).</li>
 <li>Przeszkol uczestnika, jak używać przypisanych i informacji reprezentowanych przez sygnały dźwiękowe w AbES. Za pomocą określonych naciśnięć (Rysunek 3) użytkownik porusza się po budynku i eksploruje go wirtualnie (poruszając się do przodu, w prawo lub w lewo). Każdy wirtualny krok przybliża jeden krok w rzeczywistym fizycznym budynku. </li>
 <li>Zapoznaj się z zasadami i założeniami gry.</li>
 <li>Zapoznaj się ze wskazówkami dźwiękowymi charakterystycznymi dla rozgrywki (np. dźwiękiem lokalizacji klejnotów i dźwiękiem potworów w pobliżu). Gdy użytkownik porusza się po budynku, dźwiękowe i kontekstowe informacje przestrzenne są pozyskiwane sekwencyjnie i są dynamicznie aktualizowane. Informacje przestrzenne i sytuacyjne opierają się na ikonicznych i przestrzennych sygnałach dźwiękowych dostarczanych po każdym wykonanym kroku. Orientacja opiera się na głównych nagłówkach kompasu (np. "północ" lub "wschód"), a tekst za pomocą mowy (TTS) służy do dostarczania dalszych informacji dotyczących aktualnej lokalizacji, orientacji i kierunku użytkownika (np. "jesteś w korytarzu na pierwszym piętrze, zwrócony na zachód"), a także tożsamości obiektów i przeszkód na ich drodze (np. "To są drzwi"). Wskazówki odległości są wyświetlane w oparciu o modulację natężenia dźwięku. Lokalizacja przestrzenna dźwięków jest aktualizowana tak, aby pasowała do egocentrycznego kierunku użytkownika. Zasadniczo oprogramowanie jest przeznaczone do odtwarzania odpowiedniego pliku audio w funkcji lokalizacji i egocentrycznego kierunku użytkownika oraz śledzi pozycję użytkownika podczas poruszania się po środowisku. Dla przykładu, jeśli drzwi znajdują się po prawej stronie osoby, dźwięk pukania jest słyszalny w prawym uchu użytkownika (tj. oprogramowanie odtwarza plik audio z dźwiękiem pukania w prawym kanale). Jeśli osoba obróci się teraz o 180 stopni tak, że te same drzwi znajdują się teraz po jej lewej stronie, ten sam dźwięk pukania jest teraz słyszalny w lewym kanale (tj. oprogramowanie odtwarza plik audio z dźwiękiem pukania w lewym kanale). Wreszcie, jeśli użytkownik jest zwrócony twarzą do drzwi, ten sam dźwięk pukania jest słyszalny w obu uszach w równym stopniu. Śledząc egocentryczny kierunek użytkownika, oprogramowanie może odtwarzać odpowiednie przestrzenne zlokalizowane dźwięki, które identyfikują obecność i lokalizację obiektów oraz śledzą te zmiany, gdy użytkownik porusza się po wirtualnym środowisku. Zobacz rysunek 4.</li>
</ol>
3. Trening i gra z AbES (3 sesje trwające 30 minut, łącznie 1,5 godziny)
<ol>
	<li>Pozwól na swobodną grę i zwróć uwagę na wszelkie trudności i wyzwania (np. użycie naciśnięć, wskazówki dźwiękowe, obszary utrudnionej nawigacji). Pozytywne wzmocnienie i wyjaśnienia są udzielane na koniec każdej sesji treningowej.</li>
 <li>Rejestruj wyniki gry (np. liczbę, czas i miejsce, w którym uczestnik znajduje klejnot).</li>
</ol>
4. Oceń wydajność zadania wirtualnej nawigacji
<ol>
	<li>Wyjaśnij uczestnikowi szczegóły testu i podaj instrukcje, jak wykonać zadania wirtualnej nawigacji. Uczestnik wykona 10 wcześniej ustalonych zadań nawigacyjnych prezentowanych kolejno za pomocą oprogramowania AbES (tj. gdy uczestnik pomyślnie wykona pierwsze zadanie, komputer automatycznie przeniesie go do punktu początkowego następnego zadania).</li>
 <li>Poinformuj uczestnika, że będzie miał maksymalnie 6 minut na wykonanie każdego zadania nawigacyjnego.</li>
 <li>10 wirtualnych ścieżek nawigacji o porównywalnym stopniu trudności (tj. przebyty dystans i liczba zakrętów) jest wybieranych na podstawie wcześniej ustalonych par 10 miejsc startu i końca (tj. pomieszczeń). W szczególności zakres kroków potrzebnych do poruszania się po docelowej trasie wahał się od 25 do 35 kroków (w środowisku wirtualnym) i obejmował od 3 do 4 zakrętów o 90 stopni.</li>
 <li>Załaduj 10 par nawigacji do AbES, aby automatycznie prezentować i rejestrować dane dotyczące wydajności.</li>
 <li>Pomiary wyników są automatycznie rejestrowane za pomocą wewnętrznego oprogramowania AbES. Miary wyników obejmują: pomyślne zakończenie zadania nawigacyjnego i czas potrzebny do osiągnięcia celu. Zobacz rysunek 5A.</li>
 <li>Instrukcje opisujące lokalizację początkową i docelową są dostarczane automatycznie przez oprogramowanie AbES na początku każdego zadania. Czas rozpoczyna się natychmiast po tym, jak badany zrobi pierwszy wirtualny krok od miejsca startu i kończy się po dotarciu do miejsca docelowego (chyba że czas trwa dłużej niż 6 minut, dla których bieg jest oceniany jako nieukończony i prezentowana jest następna ścieżka). Przechwycone dane są automatycznie przesyłane do pliku tekstowego, a następnie otwierane w bazie danych/oprogramowaniu statystycznym w celu dalszej analizy. </li>
</ol>
5. Oceń wydajność zadania nawigacji fizycznej
<ol>
	<li>Wyjaśnij uczestnikowi szczegóły testu i podaj instrukcje, jak wykonać zadania związane z nawigacją fizyczną. Uczestnik wykona 10 wcześniej ustalonych zadań nawigacyjnych (przedstawionych w zaszyfrowanej kolejności z poprzedniej wirtualnej oceny wydajności) i pod nadzorem doświadczonego badacza.</li>
 <li>Poinformuj uczestnika, że będzie miał maksymalnie 6 minut na wykonanie każdego zadania nawigacyjnego. Na potrzeby zadania z zakresu nawigacji fizycznej uczestnik może używać swojej białej laski do wspomagania poruszania się.</li>
 <li>10 fizycznych ścieżek nawigacji jest wybieranych na podstawie wcześniej ustalonych par 10 miejsc startu i końca (tj. pomieszczeń) o porównywalnym stopniu trudności (tj. przebyty dystans i liczba zakrętów).</li>
 <li>Badacz przygotowuje stoper i schowek z listą zadań nawigacyjnych do ręcznej oceny wydajności. </li>
 <li>Miary wyników są ręcznie rejestrowane przez badacza. Miary wyników obejmują: pomyślne zakończenie zadania nawigacyjnego i czas potrzebny do osiągnięcia celu.</li>
 <li>"Wyprostuj" uczestnika (tj. ustaw go tak, aby drzwi miejsca startu znajdowały się za nim). Instrukcje opisujące miejsce początkowe i docelowe są dostarczane przez badacza na początku każdego zadania. Czas rozpoczyna się natychmiast po tym, jak badany wykona pierwszy fizyczny krok od miejsca startu i kończy się, gdy uczestnik ustnie zgłosi przybycie do miejsca docelowego (chyba że czas trwa dłużej niż 6 minut, dla których bieg jest oceniany jako niekompletny i prezentowana jest następna ścieżka). Przechwycone dane są rejestrowane ręcznie, a następnie przesyłane do bazy danych/oprogramowania statystycznego w celu dalszej analizy. Zobacz rysunek 5B.</li>
</ol>
6. Oceń wydajność zadania związanego z odpadnięciem fizycznym
<ol>
	<li>Wyjaśnij uczestnikowi szczegóły testu i podaj instrukcje, jak wykonać zadania nawigacyjne związane z fizycznym zrzutem. Uczestnik wykona 5 zadań nawigacyjnych, których celem jest wyjście z budynku jak najkrótszą drogą i pod nadzorem doświadczonego badacza. </li>
 <li>Poinformuj uczestnika, że będzie miał maksymalnie 6 minut na wykonanie każdego zadania nawigacyjnego. Na potrzeby zadania nawigacyjnego polegającego na fizycznym zrzuceniu uczestnik może używać swojej białej laski do wspomagania mobilności.</li>
 <li>Wykorzystywanych jest 5 z góry określonych fizycznych miejsc startowych, dzięki czemu możliwe są 3 ścieżki wyjściowe o różnej długości.</li>
 <li>Badacz przygotowuje stoper i schowek z listą zadań nawigacyjnych do ręcznej oceny wydajności. </li>
 <li>Miary wyników są ręcznie rejestrowane przez badacza. Miary wyników obejmują: pomyślne zakończenie zadania nawigacyjnego i czas potrzebny do osiągnięcia celu. Ponadto ścieżki są punktowane w taki sposób, że najkrótsza przebyta ścieżka otrzymuje maksymalną liczbę punktów (tj. 3 za najkrótszą ścieżkę, 2 za drugą, 1 za najdłuższą i 0 za niemożność wykonania zadania). Zobacz rysunek 5C.</li>
 <li>"Wyrównaj" uczestnika w pierwszym miejscu startowym. Instrukcje opisujące miejsce rozpoczęcia są dostarczane przez badacza na początku każdego zadania. Czas rozpoczyna się natychmiast po tym, jak badany zrobi pierwszy fizyczny krok z miejsca startu i kończy się, gdy uczestnik ustnie zgłosi przybycie do drzwi wyjściowych budynku (chyba że czas trwa dłużej niż 6 minut, dla których bieg jest oceniany jako niekompletny i przedstawiana jest następna lokalizacja startowa). Przechwycone dane są rejestrowane ręcznie, a następnie przesyłane do bazy danych/oprogramowania statystycznego w celu dalszej analizy.</li>
</ol>

<ol><li>Loomis, J. M., Klatzky, R. L., Golledge, R. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Navigating+without+vision%3A+basic+and+applied+research%5BTitle%5D)+AND+%22Optom.+Vis.+Sci%22%5BJournal%5D)">Navigating without vision: basic and applied research.</a> Optom. Vis. Sci. 78, 282-289 (2001).</li>
<li>Siegel, A. W., White, S. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+development+of+spatial+representations+of+large-scale+environments%5BTitle%5D)+AND+%22Adv.+Child+Dev.+Behav%22%5BJournal%5D)">The development of spatial representations of large-scale environments.</a> Adv. Child Dev. Behav. 10, 9-55 (1975).</li>
<li>Strelow, E. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((What+is+needed+for+a+theory+of+mobility%3A+direct+perception+and+cognitive+maps--lessons+from+the+blind%5BTitle%5D)+AND+%22Psychol.+Rev%22%5BJournal%5D)">What is needed for a theory of mobility: direct perception and cognitive maps--lessons from the blind.</a> Psychol. Rev. 92, 226-248 (1985).</li>
<li>Giudice, N. A., Bakdash, J. Z., Legge, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Wayfinding+with+words%3A+spatial+learning+and+navigation+using+dynamically+updated+verbal+descriptions%5BTitle%5D)+AND+%22Psychol.+Res%22%5BJournal%5D)">Wayfinding with words: spatial learning and navigation using dynamically updated verbal descriptions.</a> Psychol. Res. 71, 347-358 (2007).</li>
<li>Ashmead, D. H., Hill, E. W., Talor, C. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Obstacle+perception+by+congenitally+blind+children%5BTitle%5D)+AND+%22Percept.+Psychophys%22%5BJournal%5D)">Obstacle perception by congenitally blind children.</a> Percept. Psychophys. 46, 425-433 (1989).</li>
<li>Dede, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Immersive+interfaces+for+engagement+and+learning%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Immersive interfaces for engagement and learning.</a> Science. 323, 66-69 (2009).</li>
<li>Bavelier, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brains+on+video+games%5BTitle%5D)+AND+%22Nat.+Rev.+Neurosci%22%5BJournal%5D)">Brains on video games.</a> Nat. Rev. Neurosci. 12, 763-768 (2011).</li>
<li>Bavelier, D., Green, C. S., Dye, M. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%2C+wired%3A+for+better+and+for+worse%5BTitle%5D)+AND+%22Neuron%22%5BJournal%5D)">Children, wired: for better and for worse.</a> Neuron. 67, 692-701 (2010).</li>
<li>Lange, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Designing+informed+game-based+rehabilitation+tasks+leveraging+advances+in+virtual+reality%5BTitle%5D)+AND+%22Disabil.+Rehabil%22%5BJournal%5D)">Designing informed game-based rehabilitation tasks leveraging advances in virtual reality.</a> Disabil. Rehabil. , (2012).</li>
<li>Merabet, L., Sánchez, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Audio-based+Navigation+Using+Virtual+Environments%3A+Combining+Technology+and+Neuroscience%5BTitle%5D)+AND+%22AER+Journal%3A+Research+and+Practice+in+Visual+Impairment+and+Blindness%22%5BJournal%5D)">Audio-based Navigation Using Virtual Environments: Combining Technology and Neuroscience.</a> AER Journal: Research and Practice in Visual Impairment and Blindness. 2, 128-137 (2009).</li>
<li>Kalia, A. A., Legge, G. E., Roy, R., Ogale, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Assessment+of+Indoor+Route-finding+Technology+for+People+with+Visual+Impairment%5BTitle%5D)+AND+%22J.+Vis.+Impair.+Blind%22%5BJournal%5D)">Assessment of Indoor Route-finding Technology for People with Visual Impairment.</a> J. Vis. Impair. Blind. 104, 135-147 (2010).</li>
<li>Lahav, O., Schloerb, D. W., Srinivasan, M. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Newly+blind+persons+using+virtual+environment+system+in+a+traditional+orientation+and+mobility+rehabilitation+program%3A+a+case+study%5BTitle%5D)+AND+%22Disabil.+Rehabil.+Assist+Technol%22%5BJournal%5D)">Newly blind persons using virtual environment system in a traditional orientation and mobility rehabilitation program: a case study.</a> Disabil. Rehabil. Assist Technol. , (2011).</li>
<li>WHO | Global trends in the magnitude of blindness and visual impairment [Internet]. , World Health Organization (WHO). Available from:
		
	 <a target="_blank" href="http://www.who.int/blindness/causes/trends/en/index.html">http://www.who.int/blindness/causes/trends/en/index.html</a> (2012).</li>
</ol>

Autorzy deklarują brak konfliktu interesów.

Opisujemy interaktywny symulator środowiska wirtualnego oparty na dźwięku, zaprojektowany w celu poprawy ogólnej świadomości przestrzennej i umiejętności nawigacyjnych u osób niewidomych. Pokazujemy, że interakcja z AbES dostarcza dokładnych wskazówek, które opisują relacje przestrzenne między obiektami i ogólny układ środowiska docelowego. Niewidomi użytkownicy mogą generować dokładne przestrzenne mapy poznawcze na podstawie tych informacji słuchowych i poprzez interakcję z immersyjnym środowiskiem wirtualnym. Co więcej...

Odnalezienie się w nieznanym środowisku stanowi poważne wyzwanie dla niewidomych. Skuteczna nawigacja wymaga zrozumienia relacji przestrzennych, które istnieją między sobą a obiektami w otoczeniu1,2. Reprezentacja mentalna, która opisuje otaczającą przestrzeń, jest określana jako przestrzenna mapa poznawcza3. Osoby niewidome mogą gromadzić istotne informacje przestrzenne dotyczące otaczającego ich środowiska za pośrednictwem innych kanałów sensorycznych (takich jak słuch), co pozwala na wygenerowanie dokładnej przestrzennej mapy poznawczej do celów zadań nawigacji w świecie rzeczywistym4,5. 
Pojawiło się spore zainteresowanie edukacyjnym potencjałem wirtualnych środowisk i gier akcji jako sposobu na naukę i opanowanie umiejętności6-9. Rzeczywiście, w tym celu opracowano wiele strategii i podejść dla niewidomych (zob. 4,10-12). Opracowaliśmy Audio-based Environment Simulator (AbES); Skoncentrowane na użytkowniku środowisko wirtualne oparte na dźwięku, które pozwala na symulowaną nawigację i eksplorację istniejącego fizycznego budynku. Czerpiąc z oryginalnych planów architektonicznych, wirtualny rendering nowoczesnego dwupiętrowego budynku (znajdującego się w Carroll Center for the Blind; Newton, MA) została wygenerowana za pomocą oprogramowania AbES (rysunki 1A i B). AbES łączy metaforę gry akcji z założeniem zaprojektowanym tak, aby promować pełną eksplorację przestrzeni budynku. Za pomocą prostych naciśnięć i przestrzennych wskazówek dźwiękowych użytkownicy poruszają się i eksplorują cały budynek, aby zebrać maksymalną liczbę klejnotów ukrytych w różnych pomieszczeniach. Użytkownicy muszą unikać wędrujących potworów, które mogą ich zabrać i ukryć w innym miejscu budynku (Rysunek 1C).
Pokazujemy, że interakcja z AbES pozwala niewidomemu użytkownikowi na wygenerowanie dokładnej przestrzennej mapy poznawczej docelowego budynku na podstawie informacji słuchowych zdobytych w kontekście metafory gry akcji. Potwierdza to seria poszkoleniowych testów behawioralnych, mających na celu ocenę transferu pozyskanych informacji przestrzennych ze środowiska wirtualnego do rzeczywistego i zakrojonego na szeroką skalę zadania nawigacyjnego w pomieszczeniach (patrz rysunek 2 dla ogólnego projektu badania). Nasze wyniki pokazują, że niewidomi użytkownicy są w stanie skutecznie poruszać się po budynku, z którym wcześniej nie byli zaznajomieni, pomimo faktu, że w żadnym momencie nie zostali poinformowani o ogólnym celu badania, ani nie zostali poinstruowani, aby przypomnieć sobie układ przestrzenny budynku podczas gry.

<table><tbody><tr><td>Laptop</td><td></td><td></td><td>Laptop używany wyłącznie do szkolenia uczestników i zbierania danych</td></tr><tr><td>Stereo Słuchawki (w pełni zamknięta konstrukcja wokółuszna)</td><td></td><td></td><td>Noszone przez wszystkich uczestników podczas treningu</td></tr><tr><td>Opaska</td><td></td><td></td><td>na oczy Noszona przez wszystkich uczestników podczas treningów i testów</td></tr></tbody></table>

opracowanie wirtualnego środowiska gier opartego na dźwięku, aby pomóc w rozwijaniu umiejętności nawigacji u osób niewidomych

Development of an Audio-based Virtual Gaming Environment to Assist with Navigation Skills in the Blind

Audio-based Environment Simulator (AbES) to oprogramowanie do środowiska wirtualnego, zaprojektowane w celu poprawy umiejętności nawigacji w świecie rzeczywistym u osób niewidomych. Korzystając wyłącznie ze wskazówek dźwiękowych i osadzonych w kontekście metafory gry wideo, użytkownicy zbierają istotne informacje przestrzenne dotyczące układu budynku. Dzięki temu użytkownik może opracować dokładną przestrzenną mapę poznawczą wielkoskalowej przestrzeni trójwymiarowej, którą można manipulować na potrzeby prawdziwego zadania nawigacyjnego w pomieszczeniach. Po zakończeniu gry uczestnicy są oceniani pod kątem ich zdolności do poruszania się po docelowym budynku fizycznym reprezentowanym w grze. Wstępne wyniki sugerują, że pierwsi użytkownicy niewidomi byli w stanie uzyskać istotne informacje dotyczące układu przestrzennego wcześniej nieznanego budynku, zindeksowane przez ich wyniki w serii zadań nawigacyjnych. Zadania te obejmowały znajdowanie ścieżki przez wirtualny i fizyczny budynek, a także szereg zadań związanych z dowozem. Odkryliśmy, że wciągająca i wysoce interaktywna natura oprogramowania AbES wydaje się znacznie angażować niewidomego użytkownika do aktywnej eksploracji wirtualnego środowiska. Zastosowania tego podejścia mogą objąć większe populacje osób z dysfunkcją wzroku.

Przedstawiono wyniki trzech uczestników z wczesną ślepotą (w wieku od 19 do 22 lat) (patrz Tabela 1 w celu zapoznania się z charakterystyką uczestników). Podsumowując, wszyscy trzej uczestnicy osiągnęli wysoki poziom sukcesu we wszystkich trzech zadaniach nawigacyjnych po rozgrywce z oprogramowaniem AbES. Potwierdziły to wyniki wydajności (średnia grupowa i indywidualna) we wszystkich trzech zadaniach behawioralnych (patrz Rysunek 6). Procent poprawnych odpowiedzi w zadaniach nawigacji w...

Audio-based Environment Simulator (AbES) to oprogramowanie do środowiska wirtualnego, zaprojektowane w celu poprawy umiejętności nawigacji w świecie rzeczywistym u osób niewidomych.

Opracowanie wirtualnego środowiska gier opartego na dźwięku, aby pomóc w rozwijaniu umiejętności nawigacji u osób niewidomych

Audio-based Environment Simulator (AbES) is virtual environment software designed to improve real world navigation skills in the blind. Using only audio ...

Ogólnym celem następnego eksperymentu jest wykazanie, że interakcja z wirtualnym środowiskiem umożliwia transfer umiejętności nawigacji przestrzennej, które można później ocenić w rzeczywistym środowisku fizycznym. Osiąga się to poprzez naukę kombinacji klawiszy służących do nawigacji w środowisku wirtualnym podczas rozgrywki. Następnie uczestnicy uczą się identyfikować dźwięki, które pozwalają na rozpoznanie obiektów oraz ich względnego położenia.Po zakończeniu rozgrywki prezentowana jest seria wirtualnych i fizycznych zadań nawigacyjnych w celu oceny zrozumienia przestrzennego środowiska. Uzyskane wyniki wykazują, że uczestnicy są w stanie nawigować po rzeczywistym budynku fizycznym, który był reprezentowany przez środowisko wirtualne podczas rozgrywki. Główną zaletą tej techniki nad istniejącymi metodami, takimi jak standardowy trening orientacji i mobilności, jest możliwość poznania układu przestrzennego nieznanego budynku poprzez eksplorację wirtualną w bezpieczny i kontrolowany sposób.Procedurę tę zaprezentują Aaron Connors i Lindsey Aino, którzy są koordynatorami badań w moim laboratorium. Uczestnicy tego badania są osobami niewidomymi i nie posiadają wcześniejszej wiedzy na temat układu przestrzennego budynku docelowego, którego mają się nauczyć, ani nie znają ogólnego celu rozgrywki w kontekście nauki układu przestrzennego tego budynku. Na początku należy przekazać uczestnikowi opaskę na oczy oraz słuchawki.Upewnij się, że słuchawki są prawidłowo ułożone na uszach. Następnie poinstruuj uczestnika, jak korzystać z przypisanych klawiszy oraz informacji przekazywanych przez sygnały dźwiękowe w środowisku audio-based environment.Simulator. Do nawigacji i eksploracji wirtualnego środowiska służą określone kombinacje klawiszy, tak jak pokazano tutaj.Każdy wirtualny krok odpowiada jednemu krokowi w rzeczywistym budynku. Po wyjaśnieniu zasad sterowania należy przedstawić założenia i reguły gry. Poinformuj uczestnika o różnych sygnałach dźwiękowych wykorzystywanych podczas rozgrywki.Na przykład, w przypadku dźwięków lokalizujących klejnoty i potwory znajdujące się w pobliżu, gdy użytkownik porusza się po budynku, informacje słuchowe i przestrzenne są pozyskiwane sekwencyjnie i dynamicznie aktualizowane po każdym kroku wykonanym w środowisku wirtualnym. System syntezy mowy (text-to-speech) jest wykorzystywany do przekazywania dalszych informacji dotyczących aktualnej lokalizacji, orientacji i kierunku poruszania się użytkownika, a także tożsamości obiektów i przeszkód na jego drodze. Przestrzenna lokalizacja dźwięków jest aktualizowana tak, aby odpowiadała egocentrycznemu kierunkowi ruchu użytkownika.Na przykład, jeśli drzwi znajdują się po prawej stronie osoby, dźwięk pukania jest słyszany w prawym uchu użytkownika. Jeśli osoba ta obróci się teraz o 180 stopni tak, aby te same drzwi znajdowały się po jej lewej stronie, ten sam dźwięk pukania będzie słyszany w lewym kanale. Pozwól uczestnikowi grać w grę w trzech 30-minutowych sesjach.Odnotuj wszelkie trudności lub wyzwania pojawiające się podczas rozgrywki; po każdej sesji treningowej zapewnij pozytywne wzmocnienie oraz wszelkie wyjaśnienia lub dalsze instrukcje. Następnie oceń wyniki rozgrywki, podsumowując liczbę, czas i miejsce, w których uczestnik znalazł Juul. Aby przetestować wyniki w zadaniu nawigacji wirtualnej, wyjaśnij uczestnikowi, że wykona 10 określonych zadań nawigacyjnych przedstawianych sekwencyjnie przez oprogramowanie Abes.Ścieżki mają zbliżony poziom trudności i są dobierane na podstawie wcześniej ustalonych par 10 punktów startowych i końcowych. Na początku każdego zadania poinformuj uczestnika, że na jego wykonanie ma maksymalnie sześć minut.Instrukcje opisujące miejsce startu i miejsce docelowe są przekazywane automatycznie. Pomiar czasu rozpoczyna się automatycznie w momencie otrzymania przez uczestnika instrukcji głosowej i kończy się w chwili dotarcia do celu. Po dotarciu do wyznaczonego miejsca docelowego miary efektów są rejestrowane automatycznie i obejmują pomyślne wykonanie zadania nawigacyjnego oraz czas potrzebny na dotarcie do celu.Aby przetestować sprawność uczestnika w lokalizacji fizycznej, należy wyjaśnić, że otrzyma on 10 wcześniej określonych zadań nawigacyjnych, pod nadzorem doświadczonego badacza. Poinformuj uczestnika, że na wykonanie każdego zadania będzie miał maksymalnie sześć minut i że może korzystać z laski w celu wsparcia mobilności.Należy przygotować stoper, listę zadań nawigacyjnych oraz podkładkę z klipsem do ręcznego oceniania. Wyznaczyć obszar dla uczestnika oraz opisać miejsce startu i miejsce docelowe. Pomiar czasu rozpoczyna się w momencie, gdy badany wykonuje pierwszy krok, i kończy w chwili dotarcia do celu.Gdy uczestnik zgłosi ustnie dotarcie do celu, rejestrowane jest pomyślne wykonanie zadania oraz czas dotarcia do celu. Wyjaśnij uczestnikowi, że wykona pięć zadań nawigacyjnych, których celem będzie opuszczenie budynku najkrótszą możliwą drogą. Pod nadzorem doświadczonego badacza poinformuj uczestnika, że na wykonanie każdego zadania nawigacyjnego będzie mieć maksymalnie sześć minut i będzie mógł używać laski w celu wsparcia mobilności.Wykorzystuje się pięć wcześniej określonych lokalizacji startowych w taki sposób, aby możliwe były trzy ścieżki wyjścia o różnej długości i stopniu złożoności. Należy przygotować stoper, listę zadań nawigacyjnych oraz podkładkę z klipsem do ręcznego punktowania. Ustaw uczestnika w pozycji wyjściowej i opisz lokalizację startową.Pomiar czasu rozpoczyna się w momencie wykonania pierwszego kroku i kończy, gdy uczestnik zgłosi ustnie dotarcie do drzwi wyjściowych budynku. Rejestrowane są informacje o pomyślnym wykonaniu zadania dostarczenia przedmiotu, przebytej trasie oraz czasie potrzebnym na opuszczenie budynku. Ponadto trasy są punktowane w taki sposób, że najkrótsza ścieżka otrzymuje więcej punktów niż ścieżki dłuższe.Przedstawiono tutaj średnie wyniki trzech uczestników w zadaniach nawigacyjnych. Procent poprawnych odpowiedzi w zadaniach nawigacji wirtualnej i fizycznej wskazuje na wysoki poziom sukcesu w obu przypadkach. Czas dotarcia do celu był dłuższy w przypadku nawigacji wirtualnej w porównaniu z wynikami w nawigacji fizycznej.W zadaniu zrzutu uczestnicy często wybierali możliwie najkrótszą drogę wyjścia z budynku. Świadczy o tym krótszy średni czas dotarcia do wyjścia i opuszczenia budynku. Przedstawione tutaj wyniki pochodzą od jednego uczestnika w trzech zadaniach nawigacyjnych.Wirtualna nawigacja trwała 79 sekund. Wykonanie zadania na tej samej ścieżce w budynku fizycznym, oznaczonej kolorem żółtym, zajęło 46 sekund. W zadaniu dotyczącym odstawienia.Uczestnik wybrał najkrótszą możliwą drogę, aby opuścić budynek. Należy pamiętać, że praca z osobami niewidomymi przy wykorzystaniu nowych technologii wymaga zachęty. Jesteśmy wdzięczni za ich czas i chęć udziału w tej demonstracji oraz badaniu.

development-an-audio-based-virtual-gaming-environment-to-assist-with

Research

JoVE Journal

Medicine

Medycyna

Opracowanie wirtualnego środowiska gier opartego na dźwięku, aby pomóc w nawigacji ślepczym

Projekt Inteligentnego Wieloczujnikowego Systemu Rzeczywistości Wirtualnej do Leczenia Zaburzeń Lękowych (INTREPID) ma na celu opracowanie wieloczujnikowego systemu rzeczywistości wirtualnej, świadomego kontekstu, przeznaczonego do leczenia zaburzeń związanych z lękiem.

Zastosowanie biofeedbacku w klinicznej rzeczywistości wirtualnej: Projekt INTREPID

Wyzwaniem dla udowodnienia skuteczności leczenia zaburzeń poznawczych w schizofrenii jest znalezienie optymalizującego pomiaru umiejętności związanych z codziennym funkcjonowaniem. Narzędzie do oceny zdolności funkcjonalnej rzeczywistości wirtualnej (VRFCAT) to interaktywny, komputerowy pomiar oparty na grach, mający na celu umiejętności związane z codziennym funkcjonowaniem, w tym upośledzenie wyjściowe i zmiany związane z leczeniem.

Opracowanie oceny umiejętności życia codziennego w wirtualnej rzeczywistości

Dzieci, które mają złożone potrzeby komunikacyjne, mogą skorzystać z urządzenia generującego mowę (SGD). Stwierdzono, że umiejętności poznawcze mają wpływ na zdolność do poruszania się między poziomami SGD. Protokół ten opisuje kroki potrzebne patologom mowy i języka do oceny umiejętności poznawczych i zdolności nawigacyjnych.

Praktyczna metodologia zadań poznawczych w ramach oceny nawigacyjnej

Ten artykuł opisuje metodę przeprowadzania eksperymentów dla wielu użytkowników w zakresie podejmowania decyzji i nawigacji za pomocą sieciowego laboratorium komputerowego.

Sieciowy pulpit wirtualnej rzeczywistości do eksperymentów z nauką o decyzjach i nawigacji z wieloma uczestnikami

Prezentowany tutaj jest protokół poprawiający stereoostrość za pomocą oprogramowania do nauki percepcyjnej opartego na bodźcach losowych kropek. Pacjenci to osoby z niedoborem stereoskopu, bez zeza. Protokół łączy wizyty w centrum optometrii z ćwiczeniami domowymi z wykorzystaniem oprogramowania. Ewolucja zgodności i stereoostrości jest przechowywana w chmurze.

Poprawa ostrości dźwięku przy użyciu gier wideo z losowymi kropkami

Wirtualna rzeczywistość (VR) to potężne, ale niedostatecznie wykorzystywane podejście do rozwoju diagnostyki i leczenia chorób neurologicznych. Platforma zakupowa Cleveland Clinic Virtual Reality łączy najnowocześniejsze treści VR z wielokierunkową bieżnią w celu ilościowego określenia instrumentalnych czynności życia codziennego - proponowanego markera prodromalnego choroby neurologicznej.

Immersyjna platforma zakupowa Cleveland Clinic w wirtualnej rzeczywistości do oceny kluczowych czynności życia codziennego

Ten protokół ma na celu zbadanie podstawowych zmian elektrofizjologicznych związanych z uczeniem się u osób z głęboką głuchotą po krótkim okresie szkolenia w zakresie audio-dotykowej substytucji sensorycznej poprzez zastosowanie techniki potencjału związanego ze zdarzeniem.

Ocena treningu audio-dotykowej substytucji sensorycznej u uczestników z głęboką głuchotą z wykorzystaniem techniki potencjału związanego ze zdarzeniem

Tutaj prezentujemy nowatorskie, krótkie i aktywne zadanie z nawigacji przestrzennej, które ocenia zarówno zdolność nawigacji przestrzennej, jak i pamięci epizodycznej. Co ważne, nawigacja przestrzenna i pamięć epizodyczna były ze sobą powiązane, a to zadanie wykazało wrażliwość na ćwiczenia.

Ocena nawigacji przestrzennej człowieka w przestrzeni wirtualnej i jej wrażliwości na ćwiczenia

Obrazy motoryczne w środowisku wirtualnej rzeczywistości mają szerokie zastosowanie w systemach interfejsu mózg-komputer. Manuskrypt ten przedstawia wykorzystanie spersonalizowanych cyfrowych awatarów, które przypominają uczestników wykonujących ruchy wyobrażone przez uczestnika w środowisku rzeczywistości wirtualnej, aby zwiększyć immersję i poczucie posiadania ciała.

Wydajność obrazowania motorycznego dzięki ucieleśnionym cyfrowym bliźniakom w środowisku interfejsu mózg-komputer z obsługą rzeczywistości wirtualnej

Określenie wszczepienia komórek dawcy stanowi wyzwanie w modelach przeszczepu szpiku kostnego u myszy, które nie mają dobrze zdefiniowanych markerów fenotypowych. Opisaliśmy metodologię ilościowego oznaczania wszczepienia męskich komórek dawcy u samic myszy biorców przeszczepu. Metoda ta może być stosowana u wszystkich szczepów myszy do badania funkcji HSC.

Wykorzystanie ilościowej reakcji PCR w czasie rzeczywistym do określenia wszczepienia komórek dawcy w konkurencyjnym modelu przeszczepu mysiego szpiku kostnego

Poznaj symulator środowiska oparty na dźwięku AbES do nauki nawigacji przestrzennej przez osoby niewidome. Metoda umożliwia bezpieczne przyswajanie umiejętności w wirtualnym świecie z ich późniejszym przeniesieniem do rzeczywistych budynków.

Opracowanie wirtualnego środowiska gier opartego na dźwięku, aby pomóc w rozwijaniu umiejętności nawigacji u osób niewidomych

Przeglądaj więcej filmów