Artykuł metodologiczny

Ocena osiągów lotu i wzorców ruchów gałek ocznych za pomocą symulatora lotu w rzeczywistości wirtualnej

2K wyświetleń

⸱

DOI:

10.3791/65170

⸱

19 maja 2023

 ,  ,  ,  ,  ,  ,  , 
1Psychology Department, School of Social Sciences, Tsinghua University, 2Faculty of Psychology, Beijing Normal University, 3National Key Laboratory of Human Factors Engineering, the China Astronaut Research and Training Center, 4Department of Military Medical Psychology, Air Force Medical University

W tym artykule

Podsumowanie

Zbudowano nowy symulator lotu w wirtualnej rzeczywistości, który umożliwia efektywną i tanią ocenę wydajności lotu i wzorców ruchów gałek ocznych. Stanowi również narzędzie badawcze o wysokim potencjale dla ergonomii i innych badań.

Streszczenie

Efektywna i ekonomiczna ocena wydajności pilotów stała się kluczowa dla przemysłu lotniczego. Wraz z rozwojem wirtualnej rzeczywistości (VR) i połączeniem technologii śledzenia ruchu gałek ocznych, rozwiązania odpowiadające na te potrzeby stają się rzeczywistością. Wcześniejsze badania dotyczyły symulatorów lotu opartych na VR, koncentrując się głównie na walidacji technologii i szkoleniu w locie. W ramach obecnego badania opracowano nowy symulator lotu VR do oceny wydajności lotu pilotów na podstawie ruchu gałek ocznych i wskaźników lotu w immersyjnej scenie 3D. Podczas eksperymentu zrekrutowano 46 uczestników: 23 zawodowych pilotów i 23 studentów bez doświadczenia lotniczego. Wyniki eksperymentu wykazały znaczące różnice w osiągach lotu między uczestnikami z doświadczeniem w locie i bez niego, przy czym te pierwsze były wyższe niż te drugie. Z kolei osoby z doświadczeniem w locie wykazywały bardziej uporządkowane i efektywne wzorce ruchów gałek ocznych. Te wyniki zróżnicowania osiągów lotu pokazują zasadność obecnego symulatora lotu VR jako metody oceny osiągów lotu. Różne wzorce ruchów gałek ocznych wraz z doświadczeniem w locie stanowią podstawę do przyszłego wyboru lotu. Jednak ten symulator lotu oparty na VR ma wady, takie jak sprzężenie zwrotne ruchu w porównaniu z tradycyjnymi symulatorami lotu. Ta platforma symulatora lotu jest bardzo elastyczna, z wyjątkiem pozornie niskich kosztów. Może zaspokoić różnorodne potrzeby badaczy (np. pomiar świadomości sytuacyjnej, choroby VR i obciążenia pracą poprzez dodanie odpowiednich skal).

Wprowadzenie

Europejska Agencja Bezpieczeństwa Lotniczego (2012) klasyfikuje symulatory lotu jako obiekty szkoleniowe, trenażery lotów i nawigacji, sprzęt do szkolenia lotniczego oraz kompletne symulatory lotu1. Do tej pory dostępnych jest wiele symulatorów lotu do szkolenia, od niskopoziomowych systemów stołowych po bardzo skomplikowane pełne symulatory lotu oparte na ruchu2. Tradycyjny symulator zawiera model dynamiki lotu, symulację systemu, kokpit sprzętowy, wizualizację zewnętrzną i opcjonalną symulację ruchu3.

Te tradycyjne symulatory lotu mają pewne zalety jako skuteczny sprzęt do szkolenia lotniczego. Jednak ich koszt jest wysoki i nieprzyjazny dla środowiska, ponieważ napęd każdego systemu wymaga znacznej ilości energii elektrycznej, zwłaszcza pełny symulator lotu, który wymaga wysokiej temperatury i wysokiego ciśnienia płynu lub ciśnienia powietrza, zużywa dużo energii i generuje dużo hałasu4.

Jednakże, prosty symulator stacjonarny jest elastyczny i tani, z mniejszym zanurzeniem i mniejszą liczbą interakcji niż pełny symulator lotu2. Dlatego niezbędne jest opracowanie nowych symulatorów lotu, które łączą w sobie zalety systemów stacjonarnych i pełnych symulatorów lotu (innymi słowy, elastyczność symulacji stołowej oraz poziom immersji i interakcji zbliżony do pełnego symulatora lotu).

Wraz z rozwojem technologii komputerowej, zwłaszcza technologii wirtualnej rzeczywistości (VR), nowy typ symulatora lotu oparty na rozwijającej się technologii VR staje się rzeczywistością. Symulator lotu oparty na VR jest elastyczny, przenośny, tani i ma mniejsze wymagania przestrzenne niż konwencjonalne symulatory lotu5. W ciągu ostatnich 20 lat naukowcy stworzyli symulatory lotu oparte na technologii VR6,7,8,9,10,11; jednak te symulatory lotu VR służą głównie do szkolenia lotniczego i jest ich niewiele do wyboru pilotów. Mimo to, wraz z redukcją kosztów i ulepszeniem technologii, symulatory oparte na VR zmieniają się i stają się możliwe do indywidualnego wyboru. W niektórych badaniach wykorzystano symulatory oparte na VR do osobistej selekcji w różnych dziedzinach: Schijven i wsp.12 wybranych stażystów chirurgicznych za pomocą symulatora rzeczywistości wirtualnej. Huang et al.13 opracowali narzędzie do selekcji psychologicznej oparte na technologii wirtualnej rzeczywistości do rekrutacji pilotów sił powietrznych. Wojciechowski i Wojtowicz14 oceniali możliwości kandydata jako pilota bezzałogowego statku powietrznego (UAV) w oparciu o technologię VR. Biorąc pod uwagę, że wybór pilota ma kluczowe znaczenie dla branży lotniczej, istnieje pilna potrzeba opracowania nowego symulatora lotu opartego na VR, koncentrującego się na wyborze pilota, ponieważ wybór pilota na dużą skalę jest podatny na koszt symulatora i wymagania systemu symulatora przenośności.

Ruchy gałek ocznych dostarczają wskazówek do działania pilota. Różne badania wykazały, że tryb skanowania wzroku rozróżnia wydajność między doświadczonymi i początkującymi pilotami. Porównując wzorzec skanowania między ekspertami i nowicjuszami, można było odróżnić wydajne i strukturalne zachowanie ekspertów podczas ruchu gałek ocznych od nieodpowiednich metod skanowania początkujących. Kilka badań lotniczych wykazało, że strategia skanowania wzroku pilotów jest silnie związana z poziomem wiedzy specjalistycznej15,16,17,18,19,20,21,22,23,24. Według Bellenkesa i in.25, czas trwania fiksacji ekspertów jest krótszy, a częstotliwość ich fiksacji na instrumentach jest wyższa niż u nowicjuszy. Prawie taki sam wniosek został wyciągnięty przez Kasarskiego i wsp.26, którzy odkryli, że doświadczeni piloci mają więcej fiksacji w połączeniu z krótszym czasem trwania niż nowicjusze, zasugerowali, że doświadczeni piloci mają lepszy tryb wizualny niż nowicjusze. W innym badaniu Lorenz i wsp.27 odkrył, że eksperci spędzają więcej czasu na szukaniu poza kokpitem niż nowicjusze. Wyniki te mają dużą wartość praktyczną w doborze nowicjuszy.

Ocena osiągów lotu to kolejny krytyczny czynnik przy wyborze pilota. W ocenie osiągów pilota w locie występują jednak następujące problemy: sprzeczne opinie ekspertów, więcej norm selekcyjnych i ujednolicona teoria selekcji. W polu jazdy Horrey i in.28 porównali bezwzględną wartość odchylenia pasa ruchu od linii środkowej dla różnych warunków eksperymentalnych, aby ocenić wydajność jazdy. Wracając do domeny lotniczej, rejestrator szybkiego dostępu do lotu (QAR) rejestruje wszelkiego rodzaju parametry manipulacji pilota, parametry samolotu, środowiska i informacje ostrzegawcze podczas lotu29. Dokładniej, podobnie jak wskaźniki QAR, kąt nachylenia to kąt obrotu wokół lewej i prawej osi samolotu30, a linia odniesienia (lub środkowa linia odniesienia) znajduje się dokładnie pośrodku czerwonej i zielonej linii28; Te dwa parametry lotu są wykorzystywane do oceny osiągów w locie uczestników z doświadczeniem lub bez doświadczenia w niniejszym badaniu. Te dane QAR mogą być wykorzystane do oceny osiągów lotu, jednak według naszej najlepszej wiedzy, rzadko były one wykorzystywane do osobistego treningu i selekcji w badaniach naukowych31,32.

Pomiary wzorców ruchów gałek ocznych mogą być używane do oceny i przewidywania wydajności lotu oraz kierowania szkoleniem i wyborem pilotów. Gerathewohl33 stwierdził, że oko jest najważniejszym organem zmysłów pilota, przetwarzającym 80% informacji o locie. Piloci muszą pozyskiwać informacje wizualne z przyrządów w kokpicie i integrować je w spójny obraz, aby zarządzać lotem22. Co więcej, optymalne zachowanie skanowania jest niezbędne do osiągnięcia lepszych osiągów lotu15. Jednak żaden przystępny cenowo symulator lotu nie integruje obecnie urządzenia śledzącego ruch gałek ocznych, aby ułatwić ilościowe badania związku między ruchami gałek ocznych a wydajnością lotu.

Obecne badanie opracowało nowy symulator lotu VR, aby ocenić, czy uczestnicy z doświadczeniem w locie mieli lepsze wyniki w locie niż ci bez doświadczenia w lataniu. Symulator lotu VR integruje śledzenie ruchu gałek ocznych i system dynamiki lotu, umożliwiając analizę wzorców ruchu gałek ocznych i ocenę osiągów lotu. W szczególności warto wspomnieć, że symulator lotu VR wykorzystuje VR eye tracker34, a nie szklany lub stacjonarny eye tracker, do analizy ruchu gałek ocznych na podstawie obszaru zainteresowania (AOI) bez czasochłonnego liczenia klatek.

Na koniec, obecna praca może doprowadzić do kompleksowego pomiaru dla wyboru pilota w przyszłości, od ścieżki skanowania oka do obiektywnych danych o wydajności lotu. Za pomocą wirtualnego symulatora lotu koszt wyboru lotu zostanie znacznie obniżony, a norma pilotów będzie mogła zostać ukształtowana na podstawie obszernego gromadzenia danych. Prace te wypełniają lukę między symulatorami konwencjonalnymi a stacjonarnymi na potrzeby wyboru lotu.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Protokół

Wszystkie opisane tutaj metody zostały zatwierdzone przez Radę Przeglądu Instytucjonalnego (IRB) Uniwersytetu Tsinghua, a od wszystkich uczestników uzyskano świadomą zgodę. Po zakończeniu badania wszyscy uczestnicy otrzymali wynagrodzenie w wysokości 12 $ (lub prezent o równowartości).

1. Wybór uczestników

  1. Zrekrutować uczestników zgodnie z wcześniejszą analizą mocy przeprowadzoną przy użyciu oprogramowania G*Power35 (patrz Tabela materiałów), aby upewnić się, że liczba uczestników odpowiada oczekiwanej wielkości próby określonej przez G*Power, która wynosi 21.
    UWAGA: Oczekiwana wielkość próby określona przez G*Power odnosi się do szacowanej liczby uczestników potrzebnych w badaniu do osiągnięcia pożądanego poziomu mocy statystycznej w oparciu o określoną wielkość efektu, poziom istotności i zastosowany test statystyczny. Oczekiwana wielkość próby jest istotnym elementem planowania badań. Pomaga ona badaczom określić wykonalność i opłacalność projektu badania oraz zapewnia, że badanie posiada wystarczającą moc statystyczną do wykrycia istotnych efektów.
  2. Upewnić się, że żaden z uczestników nie ma w wywiadzie padaczki, chorób serca lub mózgu, nie przyjmował ostatnio leków endokrynologicznych lub psychiatrycznych i nie cierpi na ciężkie alergie skórne.
  3. Użyć tablicy Snellen (system metryczny 6/6)36, aby potwierdzić, że wzrok uczestników jest prawidłowy lub skorygowany do normy oraz że nie występują u nich żadne zaburzenia widzenia, takie jak ślepota barw lub osłabienie rozróżniania kolorów.
  4. Upewnić się, że żaden z uczestników nie spożywał alkoholu ani nie przyjmował środków odurzających w ciągu ostatnich 24 h, które mogłyby wpłynąć na ich zdolność do latania.
  5. Upewnić się, że uczestnicy spali nie mniej niż 6 h i przed eksperymentem znajdują się w dobrym stanie psychicznym.

2. Sprzęt symulatora lotu

  1. Należy sprawdzić, czy cały sprzęt symulatora lotu jest kompletny. W zależności od funkcji, sprzęt ten jest podzielony na trzy moduły (Tabela 1) (patrz Tabela materiałów).
    UWAGA: Aby uniknąć ryzyka związanego z indukcją elektrostatyczną, badacze powinni dotknąć metalowego pręta przed dotknięciem urządzenia.
    1. Sprawdź komponenty zestawu VR, HMD (gogli VR) oraz modułu śledzenia wzroku za pomocą Tabela 2.
    2. Należy upewnić się, że wszystkie komponenty modułu PC symulatora lotu spełniają następujące wymagania minimalne: procesor 3,6 GHz, 4 GB pamięci wewnętrznej, 64-bitowy system operacyjny oraz karta graficzna. System będzie obsługiwał wszystkie kontrolery lotu.
    3. Sprawdź komponenty modułu sterowania lotem i upewnij się, że konfiguracja parametrów urządzenia jest zgodna z Tabela 3.
  2. Zainstaluj sprzęt symulatora lotu zgodnie z układem przedstawionym w Rycina 1. Rysunek 2 przedstawia sposób połączenia sprzętu.
    1. Połącz fizycznie manetkę gazu z panelem sterowania i traktuj je jako jedną jednostkę.
    2. Podłącz manetkę gazu, joystick i pedały do modułu PC symulatora lotu poprzez USB
    3. Podłącz HMD do modułu PC symulatora lotu poprzez pole łącza
    4. Podłącz stacje bazowe oraz kontrolery VR do gogli HMD poprzez oprogramowanie VR na komputerze PC.
Gogle VR (HMD) i moduł śledzenia wzroku1. Stacja bazowa
2. Gogle VR (HMD)
Moduł PC do symulatora lotu3. Komputer PC do symulatora lotu
Moduł sterowania lotem4. Manetka gazu
5. Joystick lotniczy
6. Pedaly sterowe

Tabela 1: Komponenty trzech modułów sprzętu symulatora lotu.

Główny składnikAkcesoria
gogle VRKabel zestawu słuchawkowego (dołączony)
Poduszka do twarzy (dołączona)
Ściereczka do czyszczenia
Zaślepka otworu na słuchawki × 2 
Pole łączące Zasilacz
kabel DisplayPort
kabel USB 3.0
Podkładka montażowa
Kontrolery (2018) × 2Zasilacze × 2 
Smycze × 2 
Kable Micro-USB × 2 
Stacja bazowa 2.0 × 2Zasilacze × 2 
Zestaw montażowy (2 uchwyty, 4 śruby i 4 kołki rozporowe)

Tabela 2: Lista komponentów gogli VR HMD oraz modułu eye-trackingu.

UrządzenieKonfiguracja parametrów
Joystick lotniczyDziewiętnaście przycisków akcji
Jeden 8-kanałowy czep „point of view”
Kilka 3D czujników magnetycznych
Jeden system sprężynowy pięciosprężynowy
Jedna rozdzielczość 16-bitowa (65536 x 65536 wartości).
Panel sterowania lotemPiętnaście przycisków akcji
jedno koło TRIM
Pięć programowalnych diod LED
Manetka gazu samolotuSiedemnaście przycisków akcji
Jeden kapelusz dla myszy z przyciskiem naciskowym
Jeden 8-kanałowy uchwyt do kamery typu „point of view” (POV) na głowę
Kilka trójwymiarowych czujników magnetycznych
Dwie rozdzielczości 14-bitowe
Pedał lotuNapięcie między 2,5 kg a 5 kg
Kąt między 35° i 75°

Tabela 3: Konfiguracja parametrów urządzeń modułu sterowania lotem.

Konfiguracja wirtualnego symulatora lotu z goglami VR, joystickiem, manetką gazu i pedałami do szkolenia pilotów.
Rysunek 1: Układ sprzętowy symulatora lotu VR. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Schemat konfiguracji symulatora lotu z modułem sterowania, komputerem PC i sprzętem VR do szkolenia.
Rysunek 2: Połączenie sprzętowe symulatora lotu. (A) Moduł sterowania lotem. Dźwignia ciągu i panel sterowania są połączone fizycznie i traktowane jako jedna jednostka. Jeśli w niniejszym badaniu użyto terminu „dźwignia ciągu”, odnosi się on zarówno do dźwigni ciągu, jak i do panelu sterowania. (B) Moduł PC symulatora lotu. Komputer spełniający wymagania opisane w punkcie 2.2. (C) Moduł HMD i śledzenia wzroku. Zestawy narzędzi programistycznych (SDK) do śledzenia wzroku oraz silnik 3D są synchronizowane podczas instalacji na tym samym komputerze. W związku z tym funkcje śledzenia wzroku oraz system operacyjny oddziałują na siebie i współpracują. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

3. Oprogramowanie symulatora lotu

  1. Przed rozpoczęciem eksperymentu należy upewnić się, że całe oprogramowanie (patrz Tabela materiałów) zostało zainstalowane. Informacje o całym oprogramowaniu wykorzystanym w eksperymencie znajdują się w Tabeli 4.
NazwaOpis
oprogramowanie VRPowszechnie stosowane narzędzie do odtwarzania treści VR na sprzęcie.
sklep z aplikacjami VRSklep z aplikacjami do rzeczywistości wirtualnej, w którym klienci mogą odkrywać, tworzyć, nawiązywać kontakty i doświadczać treści, które kochają i których potrzebują.
Oprogramowanie do okulografiiOprogramowanie do okulografii opracowane przez zespół badawczy przy użyciu zestawów SDK do okulografii oraz silnika 3D.
SymulatorLotuGłówny program oprogramowania symulatora lotu, opracowany przez zespół badawczy.
Oprogramowanie do nagrywania ekranuBezpłatne oprogramowanie o otwartym kodzie źródłowym do nagrywania wideo i strumieniowania na żywo.

Tabela 4: Informacje o całym oprogramowaniu wykorzystanym w eksperymencie.

4. Przygotowania przed uruchomieniem symulatora lotu

UWAGA: Jeśli jest to pierwsze uruchomienie programu do okulografii, należy wykonać dodatkowe kroki zgodnie z Rysunkiem 3. Program do okulografii będzie aktywował się automatycznie po pierwszym uruchomieniu.

Schemat konfiguracji systemu VR: Podłączenie HMD, uruchomienie oprogramowania, wybór urządzenia, akceptacja warunków.
Rysunek 3: Dodatkowe kroki podczas pierwszego uruchomienia programu do śledzenia wzroku. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

  1. Upewnij się, że gogle HMD są włączone i podłączone do komputera.
  2. Umieść stację bazową ukośnie, aby mieć pewność, że HMD zawsze znajduje się w zasięgu monitorowania stacji bazowej. Stację bazową należy unieruchomić, aby zapewnić stabilne środowisko VR.
  3. Skonfiguruj obszar gry w trybie stacjonarnym zgodnie z komunikatami wyświetlanymi przez oprogramowanie VR na komputerze.
    UWAGA: Komunikat pozwala na wybór obszaru w skali pomieszczenia lub konfigurację obszaru gry w trybie stacjonarnym. Tryb stacjonarny jest zazwyczaj stosowany do doświadczania scen VR, które nie wymagają chodzenia, i może zostać wybrany, gdy użytkownik ma ograniczoną przestrzeń do poruszania się. W związku z tym w niniejszym eksperymencie należy skonfigurować obszar gry w trybie stacjonarnym.
  4. Wykonaj kalibrację śledzenia wzroku. System śledzenia wzroku musi być rekalibrowany przy każdej zmianie uczestnika.
    1. Upewnij się, że uczestnicy nie noszą soczewek kontaktowych, które powodują nieprawidłowe działanie śledzenia wzroku.
    2. Otwórz program kalibracji śledzenia wzroku za pomocą kontrolerów VR (patrz Tabela materiałów).
    3. Dostosuj wysokość urządzenia, rozstaw źrenic (IDP) oraz punkt spojrzenia zgodnie z instrukcjami systemu.
    4. Poproś uczestnika o skupienie wzroku na każdym punkcie przez 2 s w kierunku zgodnym z ruchem wskazówek zegara, aby zweryfikować skuteczność kalibracji śledzenia wzroku.
  5. Podłącz dostrojony moduł sterowania lotem oraz duży ekran (tj. monitor o przekątnej co najmniej 27 cali) do tego samego komputera, do którego podłączono gogle VR HMD. Ekran umożliwia eksperymentatorowi jednoczesny podgląd tego, co dzieje się w goglach VR HMD.

5. Procedura eksperymentalna

UWAGA: Eksperyment jest podzielony na cztery etapy: „zbieranie informacji”, „wprowadzenie do zadania i operacji”, „ćwiczenia przed eksperymentem” oraz „przeprowadzenie formalnego eksperymentu”. Proces eksperymentalny został podsumowany na Rysunku 4.

Schemat eksperymentu symulacji lotu; obejmuje sprzęt, oprogramowanie i proces gromadzenia danych.
Rycina 4: Schemat blokowy eksperymentu. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

  1. Zebranie informacji od uczestników (15 min).
    1. Wypełnienie formularza danych do płatności informacjami dotyczącymi uczestników.
    2. Poinformowanie uczestników o konieczności przeczytania i podpisania dokumentu świadomej zgody.
  2. Przedstawienie zadania oraz obsługi symulatora uczestnikom (5 min).
    1. Wyjaśnienie uczestnikom schematu ruchu drogowego oraz mapy (Rysunek 5).
    2. Instruktaż dla uczestników dotyczący obsługi symulatora lotu VR.
    3. Poinformowanie uczestników, że mogą przerwać udział w eksperymencie, jeśli poczują dyskomfort podczas symulacji lotu.
  3. Poproszenie uczestników o trening z wykorzystaniem symulatora lotu VR (15 min).
    1. Założenie uczestnikom gogli VR HMD i kalibracja ruchów gałek ocznych. Dostosowanie wysokości urządzenia, odległości między źrenicami (IDP) oraz punktu spojrzenia zgodnie z instrukcjami systemu.
    2. Uruchomienie oprogramowania do nagrywania ekranu.
    3. Uruchomienie programu FlySimulator w celu przeprowadzenia szkolenia lotniczego dla uczestników.
    4. Polecenie uczestnikom skoordynowanego używania pedałów sterowania, joysticka i przepustnicy, aby prowadzić statek powietrzny jak najbliżej referencyjnej linii lotu (Rysunek 5).
    5. Zresetowanie przycisków przepustnicy lotu oraz przełącznika silnika po wyjściu z programu FlySimulator i zatrzymanie nagrywania ekranu po zakończeniu treningu przez badanego.
  4. Przeprowadzenie formalnych eksperymentów lotniczych (20 min).
    1. Założenie uczestnikom gogli VR HMD i uruchomienie OBS Studio w celu rozpoczęcia nagrywania ekranu.
    2. Uruchomienie programu FlySimulator, wybranie odpowiedniej perspektywy, uruchomienie silnika, zwolnienie hamulca postojowego i ustawienie przepustnicy lotu na maksimum.
    3. Wyjście z programu FlySimulator, a następnie zresetowanie przycisków przepustnicy lotu i przełącznika silnika. Zatrzymanie nagrywania ekranu.

Schemat wzoru lądowania samolotu z zaznaczonym kierunkiem wiatru oraz zakrętami na podstawie, końcowym, z wiatrem i pod wiatr.
Rysunek 5: Wzór ruchu dla symulatora lotu VR. Kąt pochylenia to kąt obrotu wokół osi lewej i prawej samolotu, a linia odniesienia (lub centralna linia odniesienia) znajduje się dokładnie pomiędzy liniami czerwoną i zieloną. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

6. Analiza danych

  1. Analiza danych dotyczących ruchów gałek ocznych.
    1. Wyznaczenie pięciu stref obszarów zainteresowania (AOI) w niniejszym badaniu; więcej informacji na temat obliczania AOI znajduje się na Rysunku 6, w oparciu o rzeczywisty panel kokpitu lotniczego odpowiadający instrumentom kokpitu (Rysunek 7).
    2. Obliczenie testu różnic AOI z wykorzystaniem procentowego czasu przebywania (dwell time) w strefie AOI37, zgodnie z charakterystyką sprzętu okulomotorycznego VR zastosowanego w tym badaniu.
      UWAGA: Średni procent czasu przebywania to skumulowany procent czasu spędzonego na patrzeniu w obrębie AOI podzielony przez całkowity czas fiksacji i uśredniony dla wszystkich uczestników.
  2. Analiza danych dotyczących wyników lotu za pomocą skryptów programistycznych opracowanych w języku Python 3.10. Główny algorytm dla metryk wydajności został zaadaptowany z metody analizy QAR, inspirowanej danymi QAR z 35 samolotów BAE-146 udostępnionymi przez National Aeronautics and Space Administration (NASA)38.
    UWAGA: Wskaźniki wyników lotu w tym badaniu: całkowity czas lotu (całkowity czas od startu do lądowania dla każdego uczestnika, w sekundach), kąt pochylenia wzdłużnego 1 s przed lądowaniem (kąt pochylenia samolotu 1 s przed lądowaniem, uzyskany z danych surowych, w stopniach), średnia odległość od linii referencyjnej (średni błąd odległości przestrzennej między samolotem a linią referencyjną podczas lotu, w metrach) oraz odchylenie standardowe odległości od linii referencyjnej (odchylenie standardowe odległości przestrzennej między samolotem a linią referencyjną podczas lotu, w metrach).
  3. Przeprowadzenie analiz statystycznych.
    1. Zastosowanie testu Shapiro-Wilka39 w celu potwierdzenia normalności rozkładu danych.
    2. Wykorzystanie oprogramowania statystycznego (patrz: Tabela materiałów) do statystyk opisowych, testu U Manna-Whitneya oraz testu t Studenta.
    3. Wykonanie wykresów skrzypcowych (violin plots), aby lepiej zobrazować kształt rozkładu danych40.
      UWAGA: Interpretacja wielkości efektu mierzonej za pomocą d Cohena jest następująca: 0,1 – bardzo mała, 0,2 – mała, 0,5 – średnia, 0,8 – duża, 1,2 – bardzo duża oraz 2,0 – ogromna41,42. Poziom istotności ustalono na p < 0,05.

Schemat procesu analizy danych krok po kroku dla trajektorii spojrzeń w obszarach AOI oraz analizy statystycznej.
Rycina 6: Wstępne przetwarzanie AOI i schemat obliczeń. Sekcje od 1 do 4 opisują sposób przetwarzania danych dotyczących ruchów gałek ocznych pilotów w niniejszym badaniu, aż do momentu przeprowadzenia testu t dla prób niezależnych. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Schemat panelu instrumentów w kokpicie samolotu, z opisanymi wskaźnikami prędkości powietrznej, położenia i wysokości.
Rysunek 7: Schemat podziału AOI przyrządów lotniczych. Funkcje przyrządów: (A) Wskaznik prędkości powietrznej wskazuje prędkość samolotu względem powietrza. (B) Wskaźnik wysokości (sztuczny horyzont) pokazuje kąt pochylenia i przechylenia samolotu. (C) Wariometr wskazuje prędkość wznoszenia lub opadania samolotu. (D) Wysokościomierz wskazuje wysokość barymetryczną samolotu. (E) Obrotomierz wskazuje prędkość obrotową silnika samolotu. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Wyniki

Do obecnego eksperymentu wybrano 23 ekspertów z doświadczeniem w pilotażu oraz 23 nowicjuszy bez doświadczenia w pilotażu. Wiek uczestników mieścił się w przedziale od 25 do 58 lat (eksperci: M = 32,52 lat, SD = 7,28 lat; nowicjusze: M = 29,57 lat, SD = 5,74 lat). Wszyscy uczestnicy byli mężczyznami. Wszyscy nowicjusze zostali zrekrutowani z Uniwersytetu Tsinghua (studenci lub pracownicy naukowi), a wszyscy eksperci pochodzili z linii lotniczych China Eastern Airlines.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Dyskusja

W obecnym badaniu oceniano, czy uczestnicy z doświadczeniem lotniczym mieli lepsze osiągi w locie niż osoby bez doświadczenia w locie w symulatorze lotu opartym na VR. Co ważniejsze, oceniono, czy u tych uczestników można znaleźć bardziej zoptymalizowany wzorzec ruchu gałek ocznych o lepszych osiągach lotu. Wyniki wskazują na znaczące różnice między uczestnikami z doświadczeniem w locie i bez niego w trzech kluczowych wskaźnikach latania QAR: kącie nachylenia 1 s przed lądowaniem, średniej odległości do linii odniesienia...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Oświadczenia

Autorzy zadeklarowali brak ujawnień finansowych ani konflikt interesów.

Podziękowania

Autorzy są niezmiernie wdzięczni Panu Li Yanowi za pomoc w rekrutacji uczestników pilotażu i dziękują Pani Bu Lingyun za jej pracę nad rysowaniem obrazków. Badania były wspierane przez Narodową Fundację Nauk Przyrodniczych Chin (numer grantu T2192931, 72071185), National Brain Project (numer grantu STI2030-Główne projekty2022ZD0208500), National Key Laboratory Project of Human Factors Engineering (numer grantu SYFD062003), National Key Laboratory Project of Human Factors Engineering (numer grantu 6142222210201) oraz rok 2022 Major Projects of Military Logistic Research Grant i Key Project of Air Force Equipment Kompleksowe badania (numer grantu KJ2022A000415).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
Silnik 3D SDKEpic GamesUnreal Engine 4
GameAnalytics Unreal SDK		Ten pakiet SDK to potężne, ale elastyczne bezpłatne narzędzie analityczne przeznaczone dla gier.
Procesor:IntelIntelCore i9Jeden z najpotężniejszych procesorów na rynku głównym.
Zestaw SDK do śledzenia ruchu gałek ocznychTobiiTobii XR SDKTen pakiet SDK zapewnia niezależny od urządzenia dostęp do danych śledzenia ruchu gałek ocznych, aby umożliwić tworzenie zestawów słuchawkowych od wielu różnych dostawców sprzętu i nie jest ograniczony do urządzeń korzystających ze sprzętu Tobii Eye Tracking.
Oprogramowanie do śledzenia ruchu gałek ocznychOpracowane przez zespółProgram, który śledzi ruch oczu osoby podczas korzystania z gogli wirtualnej rzeczywistości.
Program FlySimulatorOpracowany przez zespółOprogramowanie, które symuluje doświadczenia związane z lataniem w środowisku wirtualnym, przy użyciu gogli VR i ręcznych kontrolerów.
Karta graficznaNVIDIAGeForce RTX 3090
10496 NVIDIA CUDA Rdzenie
1,70 GHz Boost Clock   
24 GB Rozmiar pamięci
GDDR6X Typ pamięci		Jedna z najpotężniejszych kart graficznych na rynku głównego nurtu.
System operacyjny (OS)MicrosoftWindows XPSystem operacyjny (OS) opracowany i dystrybuowany wyłącznie przez Microsoft Corporation
Panel sterowania replikiTHRUSTMASTER2960720 2971004 2962072 2960748 2960769Samolot szturmowy A-10C Sił Powietrznych Stanów Zjednoczonych HOTAS
Replika joystickaTHRUSTMASTER2960720U.S. Air Force A-10C samolot szturmowy HOTAS
Replica pedałWahadłowy ster kierunku THRUSTMASTERTPR
Replika przepustnicyTHRUSTMASTERU.S. Air Force A-10C samolot szturmowy HOTAS
Ekran podłączony do komputeraRedmiRMMNT27NF, 27-calowy, współczynnik rozdzielczości 1920 X 1080Ekran umożliwia eksperymentatorowi jednoczesne oglądanie tego, co dzieje się w VR Oprogramowanie
nagrywania ekranuOBS ProjectOBS Studio w wersji 28.0Darmowe oprogramowanie typu open source do nagrywania wideo i przesyłania strumieniowego na żywo
Oprogramowanie do statystycznej analizy mocyOpen-SourceG*power Wersja 3.1.9.6Bezpłatne i przyjazne dla użytkownika narzędzie do szacowania mocy statystycznej i wielkości próby.
Oprogramowanie statystyczneIBMSPSS Version 24.0Potężna platforma oprogramowania statystycznego
Wszechstronne narzędzie statystyczneOprogramowanie GraphPadGraphPad Prism Version 9.4.0Wszechstronne narzędzie statystyczne stworzone specjalnie dla naukowców, a nie statystyków
Sklep z aplikacjami VRHTC CorporationVIVE Software 2.0.17.6 / 2.1.17.6Sklep z aplikacjami dla rzeczywistości wirtualnej, w którym klienci mogą odkrywać, tworzyć, łączyć się i doświadczać treści, które kochają i potrzebują.
Wyświetlacz VR montowany na głowie (HMD)HTC CorporationVIVE Pro EyeGogle VR z precyzyjnym oprogramowaniem VR do śledzenia wzroku
SteamSteam VR w wersji 1.23Narzędzie do doświadczania treści VR na sprzęcie
badawczy badawczy : do HMD

Bibliografia

  1. Oberhauser, M., Dreyer, D., Braunstingl, R., Koglbauer, I. What's real about virtual reality flight simulation. Aviation Psychology and Applied Human Factors. 8 (1), 22-34 (2018).
  2. Oberhauser, M., Dreyer, D. A virtual reality flight simulator for human factors engineering. Cognition, Technology & Work. 19 (2-3), 263-277 (2017).
  3. Rolfe, J. M., Staples, K. J. Flight Simulation. , Cambridge University Press. Cambridge, New York. (1986).
  4. Robinson, A., Mania, K., Perey, P. Flight simulation: Research challenges and user assessments of fidelity. Proceedings of the 2004 ACM SIGGRAPH International Conference on Virtual Reality Continuum and its Applications in Industry. , 261-268 (2004).
  5. Moroney, W. F., Moreney, B. W. Flight Simulation. Handbook of Aviation Human Factors. , Lawrence Erlbaum Associates. Mahwah, New Jersey. 261-268 (1999).
  6. McCarty, W. D., Sheasby, S., Amburn, P., Stytz, M. R., Switzer, C. A virtual cockpit for a distributed interactive simulation. IEEE Computer Graphics and Applications. 14 (1), 49-54 (1994).
  7. Dorr, K. U., Schiefel, J., Kubbat, I. Virtual cockpit simulation for pilot training. In . The Hague, The Netherlands. What is Essential for Virtual Reality Systems to Meet Military Human Performance Goals? RTO human factors and medicine panel (HEM) workshop. , The Hague. The Netherlands. (2001).
  8. Bauer, M., Klingauf, U. Virtual-reality as a future training medium for civilian flight procedure training. AIAA Modeling and Simulation Technologies Conference and Exhibit. , Honolulu, Hawaii. 18-21 (2008).
  9. Yavrucuk, I., Kubali, E., Tarimci, O. A low cost flight simulator using virtual reality tools. IEEE Aerospace and Electronic Systems Magazine. 26 (4), 10-14 (2011).
  10. Aslandere, T., Dreyer, D., Pankratz, F., Schubotz, R. A generic virtual reality flight simulator. Virtuelle und Erweiterte Realität, 11. Workshop der GI-Fachgruppe VR/AR. , Shaker Verlag. Aachen. 1-13 (2014).
  11. Joyce, R. D., Robinson, S. K. The rapidly reconfigurable research cockpit. AIAA Modeling and Simulation Technologies Conference. , Dallas, Texas. 22-26 (2015).
  12. Schijven, M. P., Jakimowicz, J. J., Carter, F. J. How to select aspirant laparoscopic surgical trainees: Establishing concurrent validity comparing Xitact LS500 index performance scores with standardized psychomotor aptitude test battery scores. The Journal of Surgical Research. 121 (1), 112-119 (2004).
  13. Huang, P., Zhu, X., Liu, X., Xiao, W., Wu, S. Psychology selecting device for air force pilot recruitment based on virtual reality technology, has industrial personal computer connected with memory, where industrial control computer is connected with image display device. , CN111920428-A (2020).
  14. Wojciechowski, P., Wojtowicz, K. Simulator sickness and cybersickness as significant indicators in a primary selection of candidates for FPV drone piloting. 2022 IEEE 9th International Workshop on Metrology for AeroSpace (MetroAeroSpace). , Pisa, Italy. (2022).
  15. Ziv, G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. The International Journal of Aviation Psychology. 26 (3-4), 75-104 (2016).
  16. Lai, M. L., et al. A review of using eye-tracking technology in exploring learning from 2000 to 2012. Educational Research Review. 10, 90-115 (2013).
  17. Robinski, M., Stein, M. Tracking visual scanning techniques in training simulation for helicopter landing. Journal of Eye Movement Research. 6 (2), 1-17 (2013).
  18. Yang, J. H., Kennedy, Q., Sullivan, J., Fricker, R. D. Pilot performance: Assessing how scan patterns & navigational assessments vary by flight expertise. Aviation Space and Environmental Medecine. 84 (2), 116-124 (2013).
  19. Yu, C. S., Wang, E. M. Y., Li, W. C., Braithwaite, G., Greaves, M. Pilots' visual scan patterns and attention distribution during the pursuit of a dynamic target. Aerospace Medicine and Human Performance. 87 (1), 40-47 (2016).
  20. Haslbeck, A., Zhang, B. I spy with my little eye: Analysis of airline pilots' gaze patterns in a manual instrument flight scenario. Applied Ergonomics. 63, 62-71 (2017).
  21. Brams, S., et al. Does effective gaze behavior lead to enhanced performance in a complex error-detection cockpit task. PLoS One. 13 (11), e0207439(2018).
  22. Peißl, S., Wickens, C. D., Baruah, R. Eye-tracking measures in aviation: A selective literature review. The International Journal of Aerospace Psychology. 28 (3-4), 98-112 (2018).
  23. Jin, H., et al. Study on how expert and novice pilots can distribute their visual attention to improve flight performance. IEEE Access. 9, 44757-44769 (2021).
  24. Lounis, C., Peysakhovich, V., Causse, M. Visual scanning strategies in the cockpit are modulated by pilots' expertise: A flight simulator study. PLoS One. 16 (2), e0247061(2021).
  25. Bellenkes, A. H., Wickens, C. D., Kramer, A. F. Visual scanning and pilot expertise: The role of attentional flexibility and mental model development. Aviation Space and Environmental. 68 (7), 569-579 (1997).
  26. Kasarskis, P., Stehwien, J., Hickox, J., Aretz, A., Wickens, C. Comparison of expert and novice scan behaviors during VFR flight. Proceedings of the 11th International Symposium on Aviation Psychology. , Columbus, Ohio. (2001).
  27. Lorenz, B., et al. Performance, situation awareness, and visual scanning of pilots receiving onboard taxi navigation support during simulated airport surface operation. Human Factors and Aerospace Safety. 6 (2), 135-154 (2006).
  28. Horrey, W. J., Alexander, A. L., Wickens, C. D. Does workload modulate the effects of in-vehicle display location on concurrent driving and side task performance. Driving Simulator Conference North America Proceedings. , Dearborn, Michigan. October 8-10 (2013).
  29. Wang, L., Ren, Y., Sun, H., Dong, C. A landing operation performance evaluation method and device based on flight data. In Engineering Psychology and Cognitive Ergonomics: Cognition and Design. , Springer International Publishing. Vancouver, British Columbia, Canada. 297-305 (2017).
  30. Wang, L., Ren, Y., Wu, C. Effects of flare operation on landing safety: A study based on ANOVA of real flight data. Safety Science. 102, 14-25 (2018).
  31. Huang, R., Sun, H., Wu, C., Wang, C., Lu, B. Estimating eddy dissipation rate with QAR flight big data. Applied Sciences. 9 (23), 5192(2019).
  32. Wang, L., Zhang, J., Dong, C., Sun, H., Ren, Y. A method of applying flight data to evaluate landing operation performance. Ergonomics. 62 (2), 171-180 (2019).
  33. Gerathewohl, S. J. Leitfaden der Militärischen Flugpsychologie. Verlag für Wehrwissenschaften. , (1987).
  34. Ugwitz, P., Kvarda, O., Juříková, Z., Šašinka, Č, Tamm, S. Eye-tracking in interactive virtual environments: implementation and evaluation. Applied Sciences. 12 (3), 1027(2022).
  35. Faul, F., Erdfelder, E., Lang, A. -G., Buchner, A. G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods. 39 (2), 175-191 (2007).
  36. Boslaugh, S. E. Snellen Chart. , (2018).
  37. He, J., Becic, E., Lee, Y. -C., McCarley, J. S. Mind wandering behind the wheel. Human Factors: The Journal of the Human Factors and Ergonomics Society. 53 (1), 13-21 (2011).
  38. Tanveer Alam, GitHub - tanvcodes/qar_analytics: Scripts for working with publicly available Quick Access Recorder (QAR) data from a fleet of 35 BAE-146 aircraft. GitHub. , Retrieved on December 20,2022 from https://github.com/tanvcodes/qar_analytics (2022).
  39. Shapiro, S. S., Wilk, M. B. An analysis of variance test for normality (complete samples). Biometrika. 52 (3-4), 591-611 (1965).
  40. Hintze, J. L., Nelson, R. D. Violin plots: A box plot-density trace synergism. The American Statistician. 52 (2), 181-184 (1998).
  41. Cohen, J. Statistical Power Analysis for the Behavioral Sciences (2nd ed.). , Erlbaum, Hillsdale, NJ. (1988).
  42. Sawilowsky, S. S. New effect size rules of thumb. Journal of Modern Applied Statistical Methods. 8 (2), 26(2009).
  43. Bateman, T. S., Crant, J. M. The proactive component of organizational behavior: A measure and correlates. Journal of Organizational Behavior. 14 (2), 103-118 (1993).
  44. Endsley, M. R. Measurement of situation awareness in dynamic systems. Human Factors. 37 (1), 65-84 (1995).
  45. Hunter, D. R. Measuring general aviation pilot judgment using a situational judgment technique. The International Journal of Aviation Psychology. 13 (4), 373-386 (2003).
  46. Kim, H. K., Park, J., Choi, Y., Choe, M. Virtual reality sickness questionnaire (VRSQ): Motion sickness measurement index in a virtual reality environment. Applied Ergonomics. 69, 66-73 (2018).
  47. Hart, S. G. NASA Task Load Index (TLX). , (1986).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Przedruki i uprawnienia

Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE

Poproś o pozwolenie

Tagi

Ocena wynik w lotuocena pilotatechnologia ledzenia wzrokupor wnanie do wiadczenia w pilota uimersyjna symulacja 3Dmodu sterowania lotempomiar wiadomo ci sytuacyjnejocena choroby symulatorowej VR

Powiązane artykuły