Opracowanie wirtualnego środowiska gier opartego na dźwięku, aby pomóc w rozwijaniu umiejętności nawigacji u osób niewidomych

Podsumowanie

Audio-based Environment Simulator (AbES) to oprogramowanie do środowiska wirtualnego, zaprojektowane w celu poprawy umiejętności nawigacji w świecie rzeczywistym u osób niewidomych.

Streszczenie

Audio-based Environment Simulator (AbES) to oprogramowanie do środowiska wirtualnego, zaprojektowane w celu poprawy umiejętności nawigacji w świecie rzeczywistym u osób niewidomych. Korzystając wyłącznie ze wskazówek dźwiękowych i osadzonych w kontekście metafory gry wideo, użytkownicy zbierają istotne informacje przestrzenne dotyczące układu budynku. Dzięki temu użytkownik może opracować dokładną przestrzenną mapę poznawczą wielkoskalowej przestrzeni trójwymiarowej, którą można manipulować na potrzeby prawdziwego zadania nawigacyjnego w pomieszczeniach. Po zakończeniu gry uczestnicy są oceniani pod kątem ich zdolności do poruszania się po docelowym budynku fizycznym reprezentowanym w grze. Wstępne wyniki sugerują, że pierwsi użytkownicy niewidomi byli w stanie uzyskać istotne informacje dotyczące układu przestrzennego wcześniej nieznanego budynku, zindeksowane przez ich wyniki w serii zadań nawigacyjnych. Zadania te obejmowały znajdowanie ścieżki przez wirtualny i fizyczny budynek, a także szereg zadań związanych z dowozem. Odkryliśmy, że wciągająca i wysoce interaktywna natura oprogramowania AbES wydaje się znacznie angażować niewidomego użytkownika do aktywnej eksploracji wirtualnego środowiska. Zastosowania tego podejścia mogą objąć większe populacje osób z dysfunkcją wzroku.

Wprowadzenie

Odnalezienie się w nieznanym środowisku stanowi poważne wyzwanie dla niewidomych. Skuteczna nawigacja wymaga zrozumienia relacji przestrzennych, które istnieją między sobą a obiektami w otoczeniu^1,2. Reprezentacja mentalna, która opisuje otaczającą przestrzeń, jest określana jako przestrzenna mapa poznawcza³. Osoby niewidome mogą gromadzić istotne informacje przestrzenne dotyczące otaczającego ich środowiska za pośrednictwem innych kanałów sensorycznych (takich jak słuch), co pozwala na wygenerowanie dokładnej przestrzennej mapy poznawczej do celów zadań nawigacji w świecie rzeczywistym^4,5.

Pojawiło się spore zainteresowanie edukacyjnym potencjałem wirtualnych środowisk i gier akcji jako sposobu na naukę i opanowanie umiejętności^6-9. Rzeczywiście, w tym celu opracowano wiele strategii i podejść dla niewidomych (zob. ^4,10-12). Opracowaliśmy Audio-based Environment Simulator (AbES); Skoncentrowane na użytkowniku środowisko wirtualne oparte na dźwięku, które pozwala na symulowaną nawigację i eksplorację istniejącego fizycznego budynku. Czerpiąc z oryginalnych planów architektonicznych, wirtualny rendering nowoczesnego dwupiętrowego budynku (znajdującego się w Carroll Center for the Blind; Newton, MA) została wygenerowana za pomocą oprogramowania AbES (rysunki 1A i B). AbES łączy metaforę gry akcji z założeniem zaprojektowanym tak, aby promować pełną eksplorację przestrzeni budynku. Za pomocą prostych naciśnięć i przestrzennych wskazówek dźwiękowych użytkownicy poruszają się i eksplorują cały budynek, aby zebrać maksymalną liczbę klejnotów ukrytych w różnych pomieszczeniach. Użytkownicy muszą unikać wędrujących potworów, które mogą ich zabrać i ukryć w innym miejscu budynku (Rysunek 1C).

Pokazujemy, że interakcja z AbES pozwala niewidomemu użytkownikowi na wygenerowanie dokładnej przestrzennej mapy poznawczej docelowego budynku na podstawie informacji słuchowych zdobytych w kontekście metafory gry akcji. Potwierdza to seria poszkoleniowych testów behawioralnych, mających na celu ocenę transferu pozyskanych informacji przestrzennych ze środowiska wirtualnego do rzeczywistego i zakrojonego na szeroką skalę zadania nawigacyjnego w pomieszczeniach (patrz rysunek 2 dla ogólnego projektu badania). Nasze wyniki pokazują, że niewidomi użytkownicy są w stanie skutecznie poruszać się po budynku, z którym wcześniej nie byli zaznajomieni, pomimo faktu, że w żadnym momencie nie zostali poinformowani o ogólnym celu badania, ani nie zostali poinstruowani, aby przypomnieć sobie układ przestrzenny budynku podczas gry.

Protokół

1. Dane demograficzne uczestników

To jest trwające badanie, które rekrutuje niewidomych mężczyzn i kobiety w wieku od 18 do 45 lat. Wszyscy uczestnicy są prawnie niewidomi z powodu wczesnego początku (udokumentowanego przed ukończeniem 3 roku życia) i o różnej etiologii oka. Żaden z uczestników badania nie był wcześniej zaznajomiony z układem przestrzennym docelowego budynku fizycznego.

2. Przygotowanie i zapoznanie się z AbES

1. Zapewnij uczestnikowi opaskę na oczy i słuchawki, które będzie nosił przez cały proces szkolenia i oceny. Upewnij się, że opaska na oczy jest wygodnie umieszczona na oczach, a słuchawki są odpowiednio zorientowane i umieszczone nad uszami (tj. lewy głośnik nad lewym uchem).
2. Przeszkol uczestnika, jak używać przypisanych i informacji reprezentowanych przez sygnały dźwiękowe w AbES. Za pomocą określonych naciśnięć (Rysunek 3) użytkownik porusza się po budynku i eksploruje go wirtualnie (poruszając się do przodu, w prawo lub w lewo). Każdy wirtualny krok przybliża jeden krok w rzeczywistym fizycznym budynku.
3. Zapoznaj się z zasadami i założeniami gry.
4. Zapoznaj się ze wskazówkami dźwiękowymi charakterystycznymi dla rozgrywki (np. dźwiękiem lokalizacji klejnotów i dźwiękiem potworów w pobliżu). Gdy użytkownik porusza się po budynku, dźwiękowe i kontekstowe informacje przestrzenne są pozyskiwane sekwencyjnie i są dynamicznie aktualizowane. Informacje przestrzenne i sytuacyjne opierają się na ikonicznych i przestrzennych sygnałach dźwiękowych dostarczanych po każdym wykonanym kroku. Orientacja opiera się na głównych nagłówkach kompasu (np. "północ" lub "wschód"), a tekst za pomocą mowy (TTS) służy do dostarczania dalszych informacji dotyczących aktualnej lokalizacji, orientacji i kierunku użytkownika (np. "jesteś w korytarzu na pierwszym piętrze, zwrócony na zachód"), a także tożsamości obiektów i przeszkód na ich drodze (np. "To są drzwi"). Wskazówki odległości są wyświetlane w oparciu o modulację natężenia dźwięku. Lokalizacja przestrzenna dźwięków jest aktualizowana tak, aby pasowała do egocentrycznego kierunku użytkownika. Zasadniczo oprogramowanie jest przeznaczone do odtwarzania odpowiedniego pliku audio w funkcji lokalizacji i egocentrycznego kierunku użytkownika oraz śledzi pozycję użytkownika podczas poruszania się po środowisku. Dla przykładu, jeśli drzwi znajdują się po prawej stronie osoby, dźwięk pukania jest słyszalny w prawym uchu użytkownika (tj. oprogramowanie odtwarza plik audio z dźwiękiem pukania w prawym kanale). Jeśli osoba obróci się teraz o 180 stopni tak, że te same drzwi znajdują się teraz po jej lewej stronie, ten sam dźwięk pukania jest teraz słyszalny w lewym kanale (tj. oprogramowanie odtwarza plik audio z dźwiękiem pukania w lewym kanale). Wreszcie, jeśli użytkownik jest zwrócony twarzą do drzwi, ten sam dźwięk pukania jest słyszalny w obu uszach w równym stopniu. Śledząc egocentryczny kierunek użytkownika, oprogramowanie może odtwarzać odpowiednie przestrzenne zlokalizowane dźwięki, które identyfikują obecność i lokalizację obiektów oraz śledzą te zmiany, gdy użytkownik porusza się po wirtualnym środowisku. Zobacz rysunek 4.

3. Trening i gra z AbES (3 sesje trwające 30 minut, łącznie 1,5 godziny)

1. Pozwól na swobodną grę i zwróć uwagę na wszelkie trudności i wyzwania (np. użycie naciśnięć, wskazówki dźwiękowe, obszary utrudnionej nawigacji). Pozytywne wzmocnienie i wyjaśnienia są udzielane na koniec każdej sesji treningowej.
2. Rejestruj wyniki gry (np. liczbę, czas i miejsce, w którym uczestnik znajduje klejnot).

4. Oceń wydajność zadania wirtualnej nawigacji

1. Wyjaśnij uczestnikowi szczegóły testu i podaj instrukcje, jak wykonać zadania wirtualnej nawigacji. Uczestnik wykona 10 wcześniej ustalonych zadań nawigacyjnych prezentowanych kolejno za pomocą oprogramowania AbES (tj. gdy uczestnik pomyślnie wykona pierwsze zadanie, komputer automatycznie przeniesie go do punktu początkowego następnego zadania).
2. Poinformuj uczestnika, że będzie miał maksymalnie 6 minut na wykonanie każdego zadania nawigacyjnego.
3. 10 wirtualnych ścieżek nawigacji o porównywalnym stopniu trudności (tj. przebyty dystans i liczba zakrętów) jest wybieranych na podstawie wcześniej ustalonych par 10 miejsc startu i końca (tj. pomieszczeń). W szczególności zakres kroków potrzebnych do poruszania się po docelowej trasie wahał się od 25 do 35 kroków (w środowisku wirtualnym) i obejmował od 3 do 4 zakrętów o 90 stopni.
4. Załaduj 10 par nawigacji do AbES, aby automatycznie prezentować i rejestrować dane dotyczące wydajności.
5. Pomiary wyników są automatycznie rejestrowane za pomocą wewnętrznego oprogramowania AbES. Miary wyników obejmują: pomyślne zakończenie zadania nawigacyjnego i czas potrzebny do osiągnięcia celu. Zobacz rysunek 5A.
6. Instrukcje opisujące lokalizację początkową i docelową są dostarczane automatycznie przez oprogramowanie AbES na początku każdego zadania. Czas rozpoczyna się natychmiast po tym, jak badany zrobi pierwszy wirtualny krok od miejsca startu i kończy się po dotarciu do miejsca docelowego (chyba że czas trwa dłużej niż 6 minut, dla których bieg jest oceniany jako nieukończony i prezentowana jest następna ścieżka). Przechwycone dane są automatycznie przesyłane do pliku tekstowego, a następnie otwierane w bazie danych/oprogramowaniu statystycznym w celu dalszej analizy.

5. Oceń wydajność zadania nawigacji fizycznej

1. Wyjaśnij uczestnikowi szczegóły testu i podaj instrukcje, jak wykonać zadania związane z nawigacją fizyczną. Uczestnik wykona 10 wcześniej ustalonych zadań nawigacyjnych (przedstawionych w zaszyfrowanej kolejności z poprzedniej wirtualnej oceny wydajności) i pod nadzorem doświadczonego badacza.
2. Poinformuj uczestnika, że będzie miał maksymalnie 6 minut na wykonanie każdego zadania nawigacyjnego. Na potrzeby zadania z zakresu nawigacji fizycznej uczestnik może używać swojej białej laski do wspomagania poruszania się.
3. 10 fizycznych ścieżek nawigacji jest wybieranych na podstawie wcześniej ustalonych par 10 miejsc startu i końca (tj. pomieszczeń) o porównywalnym stopniu trudności (tj. przebyty dystans i liczba zakrętów).
4. Badacz przygotowuje stoper i schowek z listą zadań nawigacyjnych do ręcznej oceny wydajności.
5. Miary wyników są ręcznie rejestrowane przez badacza. Miary wyników obejmują: pomyślne zakończenie zadania nawigacyjnego i czas potrzebny do osiągnięcia celu.
6. "Wyprostuj" uczestnika (tj. ustaw go tak, aby drzwi miejsca startu znajdowały się za nim). Instrukcje opisujące miejsce początkowe i docelowe są dostarczane przez badacza na początku każdego zadania. Czas rozpoczyna się natychmiast po tym, jak badany wykona pierwszy fizyczny krok od miejsca startu i kończy się, gdy uczestnik ustnie zgłosi przybycie do miejsca docelowego (chyba że czas trwa dłużej niż 6 minut, dla których bieg jest oceniany jako niekompletny i prezentowana jest następna ścieżka). Przechwycone dane są rejestrowane ręcznie, a następnie przesyłane do bazy danych/oprogramowania statystycznego w celu dalszej analizy. Zobacz rysunek 5B.

6. Oceń wydajność zadania związanego z odpadnięciem fizycznym

1. Wyjaśnij uczestnikowi szczegóły testu i podaj instrukcje, jak wykonać zadania nawigacyjne związane z fizycznym zrzutem. Uczestnik wykona 5 zadań nawigacyjnych, których celem jest wyjście z budynku jak najkrótszą drogą i pod nadzorem doświadczonego badacza.
2. Poinformuj uczestnika, że będzie miał maksymalnie 6 minut na wykonanie każdego zadania nawigacyjnego. Na potrzeby zadania nawigacyjnego polegającego na fizycznym zrzuceniu uczestnik może używać swojej białej laski do wspomagania mobilności.
3. Wykorzystywanych jest 5 z góry określonych fizycznych miejsc startowych, dzięki czemu możliwe są 3 ścieżki wyjściowe o różnej długości.
4. Badacz przygotowuje stoper i schowek z listą zadań nawigacyjnych do ręcznej oceny wydajności.
5. Miary wyników są ręcznie rejestrowane przez badacza. Miary wyników obejmują: pomyślne zakończenie zadania nawigacyjnego i czas potrzebny do osiągnięcia celu. Ponadto ścieżki są punktowane w taki sposób, że najkrótsza przebyta ścieżka otrzymuje maksymalną liczbę punktów (tj. 3 za najkrótszą ścieżkę, 2 za drugą, 1 za najdłuższą i 0 za niemożność wykonania zadania). Zobacz rysunek 5C.
6. "Wyrównaj" uczestnika w pierwszym miejscu startowym. Instrukcje opisujące miejsce rozpoczęcia są dostarczane przez badacza na początku każdego zadania. Czas rozpoczyna się natychmiast po tym, jak badany zrobi pierwszy fizyczny krok z miejsca startu i kończy się, gdy uczestnik ustnie zgłosi przybycie do drzwi wyjściowych budynku (chyba że czas trwa dłużej niż 6 minut, dla których bieg jest oceniany jako niekompletny i przedstawiana jest następna lokalizacja startowa). Przechwycone dane są rejestrowane ręcznie, a następnie przesyłane do bazy danych/oprogramowania statystycznego w celu dalszej analizy.

Wyniki

Wyniki od trzech wczesnych niewidomych uczestników (w wieku od 19 do 22 lat) są pokazane (zobacz Tabelę 1 dla charakterystyki uczestników). Podsumowując, wszyscy trzej uczestnicy wykazali się wysokim poziomem sukcesu we wszystkich trzech zadaniach nawigacyjnych po rozgrywce z oprogramowaniem AbES. Zostało to potwierdzone wynikami wydajności (średnia grupowa i indywidualna) we wszystkich trzech zadaniach behawioralnych (patrz ryc. 6). Odsetek poprawnych wyników dla zadań nawigacji wirtual...

Dyskusja

Opisujemy interaktywny symulator środowiska wirtualnego oparty na dźwięku, zaprojektowany w celu poprawy ogólnej świadomości przestrzennej i umiejętności nawigacyjnych u osób niewidomych. Pokazujemy, że interakcja z AbES dostarcza dokładnych wskazówek, które opisują relacje przestrzenne między obiektami i ogólny układ środowiska docelowego. Niewidomi użytkownicy mogą generować dokładne przestrzenne mapy poznawcze na podstawie tych informacji słuchowych i poprzez interakcję z immersyjnym środowiskiem wirtualnym. Co więcej...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Laptop			Laptop używany wyłącznie do szkolenia uczestników i zbierania danych
Stereo Słuchawki (w pełni zamknięta konstrukcja wokółuszna)			Noszone przez wszystkich uczestników podczas treningu
Opaska			na oczy Noszona przez wszystkich uczestników podczas treningów i testów