Opracowanie wirtualnego środowiska gier opartego na dźwięku, aby pomóc w rozwijaniu umiejętności nawigacji u osób niewidomych

Ogólnym celem poniższego eksperymentu jest wykazanie, że interakcja ze środowiskiem wirtualnym pozwala na transfer umiejętności nawigacji przestrzennej, które można później ocenić w rzeczywistym środowisku fizycznym. Osiąga się to poprzez pierwsze poznanie naciśnięć używanych do poruszania się w wirtualnym środowisku podczas rozgrywki. Następnie uczestnicy uczą się identyfikować dźwięki, które pozwalają na identyfikację obiektów i ich względnego położenia.

Po rozgrywce prezentowana jest seria wirtualnych i fizycznych zadań nawigacyjnych w celu oceny ich przestrzennego zrozumienia otoczenia. Uzyskano wyniki, które pokazują, że uczestnicy są w stanie poruszać się po prawdziwym fizycznym budynku, który był reprezentowany przez wirtualne środowisko podczas rozgrywki. Główną przewagą tej techniki nad istniejącymi metodami, takimi jak standardowa orientacja i trening mobilności, jest to, że układu przestrzennego nieznanego budynku można nauczyć się poprzez wirtualną eksplorację w bezpieczny i kontrolowany sposób.

Tę procedurę zademonstrują Aaron Connors i Lindsey Aino, którzy są koordynatorami badań w moim laboratorium. Uczestnicy tego badania są prawnie niewidomi i nie mają wcześniejszej wiedzy na temat układu przestrzennego budynku docelowego, którego mają się nauczyć, ani nie są świadomi ogólnego celu rozgrywki w odniesieniu do uczenia się układu przestrzennego budynku docelowego. Na początek zapewnij uczestnikowi opaskę na oczy i słuchawki.

Upewnij się, że słuchawki są prawidłowo umieszczone na uszach. Następnie poinstruuj uczestnika, jak używać przypisanych i informacji prezentowanych przez sygnały dźwiękowe w środowisku opartym na dźwięku. Simulator. Określone naciśnięcia, jak pokazano tutaj, służą do nawigacji i eksplorowania środowiska wirtualnego.

Każdy wirtualny krok przybliża jeden krok w rzeczywistym fizycznym budynku. Po wyjaśnieniu elementów sterujących wyjaśnij założenie i zasady gry. Poinformuj uczestnika o różnych sygnałach dźwiękowych używanych podczas gry.

Na przykład odgłosy lokalizowania klejnotów i potworów w pobliżu, gdy użytkownik porusza się po budynku, informacje dźwiękowe i przestrzenne są pozyskiwane sekwencyjnie i są dynamicznie aktualizowane po każdym kroku w środowisku wirtualnym. Zamiana tekstu na mowę służy do dostarczania dalszych informacji dotyczących bieżącej lokalizacji, orientacji i kierunku użytkownika, a także tożsamości obiektów i przeszkód na ich drodze. Lokalizacja przestrzenna dźwięków jest aktualizowana tak, aby pasowała do egocentrycznego kierunku użytkownika.

Na przykład, jeśli drzwi znajdują się po prawej stronie osoby, dźwięk pukania jest słyszalny w prawym uchu użytkownika. Jeśli osoba obróci się teraz o 180 stopni tak, że te same drzwi znajdują się teraz po jej lewej stronie, w lewym kanale słychać teraz ten sam dźwięk pukania. Pozwól uczestnikowi grać w grę przez trzy 30-minutowe sesje.

Zwróć uwagę na wszelkie trudności lub wyzwania pojawiające się podczas gry, po każdej sesji treningowej, zapewnij pozytywne wzmocnienie oraz wszelkie wyjaśnienia lub dalsze instrukcje. Później oceń ich wyniki w rozgrywce, podliczając liczbę, czas i miejsce, w którym uczestnik znajduje Juula. Aby przetestować wydajność zadania wirtualnej nawigacji, wyjaśnij uczestnikowi, że wykona 10 z góry określonych zadań nawigacyjnych prezentowanych sekwencyjnie przez oprogramowanie Abes.

Ścieżki mają porównywalny stopień trudności i są wybierane na podstawie wcześniej ustalonych par 10. Lokalizacje uruchamiania i zatrzymywania. Poinformuj uczestnika, że będzie miał maksymalnie sześć minut na wykonanie każdego zadania na początku każdego zadania.

Instrukcje opisujące lokalizację początkową i docelową są dostarczane automatycznie. Odliczanie czasu rozpoczyna się automatycznie, gdy uczestnik otrzyma instrukcję dźwiękową i kończy się. Po dotarciu do miejsca docelowego miary wyników są automatycznie rejestrowane i obejmują pomyślne zakończenie zadania nawigacyjnego oraz czas potrzebny na dotarcie do celu.

Aby przetestować wyniki uczestnika w fizycznej lokalizacji, wyjaśnij, że zostanie mu przydzielonych 10 wcześniej określonych zadań nawigacyjnych. Pod nadzorem doświadczonego detektywa. Poinformuj uczestnika, że będzie miał maksymalnie sześć minut na wykonanie każdego zadania i że może używać swojej laski do wspomagania mobilności.

Przygotuj się ze stoperem, listą zadań nawigacyjnych i schowkiem do ręcznego oceniania. Ustaw uczestnika w kwadraturze i opisz miejsce początkowe oraz docelowe miejsce docelowe. Czas rozpoczyna się natychmiast po zrobieniu pierwszego kroku i kończy się.

Gdy uczestnik ustnie zgłasza przybycie do miejsca docelowego, rejestrowane jest pomyślne wykonanie zadania i czas potrzebny na dotarcie do celu. Wyjaśnij uczestnikowi, że wykona pięć zadań nawigacyjnych, których celem jest wyjście z budynku najkrótszą możliwą drogą. Pod nadzorem doświadczonego badacza poinformuj uczestnika, że będzie miał maksymalnie sześć minut na wykonanie każdego zadania nawigacyjnego i będzie mógł używać swojej laski do wspomagania mobilności.

Wykorzystuje się pięć, z góry określonych lokalizacji początkowych, tak aby możliwe były trzy ścieżki wyjściowe o różnej długości i złożoności. Przygotuj się ze stoperem, listą zadań nawigacyjnych i schowkiem do ręcznego oceniania. Ustaw uczestnika w kwadraturze i opisz miejsce startu.

Czas rozpoczyna się natychmiast w momencie zrobienia pierwszego kroku i kończy się, gdy uczestnik ustnie zgłasza przybycie do drzwi wyjściowych budynku. Rejestrowane jest pomyślne zakończenie zadania odwożenia, przebyta trasa i czas potrzebny na opuszczenie budynku. Co więcej, ścieżki są punktowane w taki sposób, że najkrótsza ścieżka jest warta więcej punktów niż dłuższe.

Poniżej przedstawiono średnie wyniki trzech uczestników w zadaniach nawigacyjnych. Odsetek poprawności dla zadań nawigacji wirtualnej i fizycznej ilustruje wysoki poziom sukcesu w obu zadaniach. Czas nawigacji do celu był dłuższy w przypadku nawigacji wirtualnej w porównaniu z wydajnością fizyczną.

Na wylocie Zadanie sugeruje, że uczestnicy często wybierali najkrótszą możliwą drogę do wyjścia z budynku. Świadczy o tym krótszy średni czas potrzebny na dotarcie i wyjście. Przedstawione tutaj wyniki pochodzą od jednego uczestnika we wszystkich trzech zadaniach nawigacyjnych.

Podczas wirtualnej nawigacji zajęło to 79 sekund. Zadanie, widziane przez ścieżkę oznaczoną na żółto, występ na tej samej ścieżce w fizycznym budynku, zajęło 46 sekund. W zadaniu drop-off.

Uczestnik wybrał najkrótszą możliwą drogę do wyjścia z budynku. Nie zapominaj, że praca z niewidomymi uczestnikami z wykorzystaniem nowych technologii wymaga zachęty. Jesteśmy wdzięczni za poświęcony czas i chęć wzięcia udziału w tej demonstracji i badaniu.