Śledzenie ruchu gałek ocznych podczas złożonego zadania lotniczego w celu uzyskania wglądu w przetwarzanie informacji

Podsumowanie

Śledzenie ruchu gałek ocznych to nieinwazyjna metoda badania przetwarzania informacji. W tym artykule opisano, w jaki sposób śledzenie wzroku może być wykorzystane do badania zachowania wzroku podczas zadania awaryjnego symulacji lotu u pilotów o niskim czasie lotu (tj. <350 godzin lotu).

Streszczenie

Śledzenie ruchu gałek ocznych było szeroko wykorzystywane jako wskaźnik do uzyskania wglądu w procesy poznawcze, percepcyjne i sensomotoryczne, które leżą u podstaw wykonywania umiejętności. Wcześniejsze prace wykazały, że tradycyjne i zaawansowane wskaźniki spojrzenia niezawodnie wykazują znaczne różnice w wiedzy pilotażowej, obciążeniu poznawczym, zmęczeniu, a nawet świadomości sytuacyjnej (SA).

To badanie opisuje metodologię korzystania z urządzenia do śledzenia ruchu gałek ocznych i algorytmu mapowania spojrzeń, który rejestruje naturalistyczne ruchy głowy i oczu (tj. spojrzenie) w nieruchomym symulatorze lotu o wysokiej wierności. Metoda opisana w tym artykule opisuje analizy spojrzenia oparte na obszarze zainteresowania (AOI), które zapewniają więcej kontekstu związanego z tym, gdzie patrzą uczestnicy, oraz czas przebywania, który wskazuje, jak efektywnie przetwarzają utrwalone informacje. Protokół ilustruje użyteczność urządzenia do śledzenia ruchu gałek ocznych i algorytmu widzenia komputerowego do oceny zmian w zachowaniu wzroku w odpowiedzi na nieoczekiwaną sytuację awaryjną podczas lotu.

Reprezentatywne wyniki pokazały, że na wzrok znacząco wpłynęło wprowadzenie zdarzenia awaryjnego. W szczególności alokacja uwagi, rozproszenie spojrzenia i złożoność sekwencji spojrzeń znacznie się zmniejszyły i stały się wysoce skoncentrowane na patrzeniu przez przednią szybę i na wskaźnik prędkości podczas scenariusza awaryjnego (wszystkie wartości p < 0,05). Omówiono użyteczność i ograniczenia związane z zastosowaniem urządzenia do śledzenia ruchu gałek ocznych w środowisku symulacji lotu w ruchu o wysokiej wierności w celu zrozumienia czasoprzestrzennych cech zachowania wzroku i jego związku z przetwarzaniem informacji w dziedzinie lotnictwa.

Wprowadzenie

Ludzie głównie wchodzą w interakcję z otaczającym ich światem, najpierw poruszając oczami i głową, aby skupić swoją linię wzroku (tj. spojrzenie) na określonym obiekcie lub miejscu zainteresowania. Jest to szczególnie ważne w złożonych środowiskach, takich jak kokpity samolotów, gdzie piloci mają do czynienia z wieloma konkurencyjnymi bodźcami. Ruchy spojrzenia umożliwiają gromadzenie informacji wizualnych o wysokiej rozdzielczości, które pozwalają ludziom na interakcję z otoczeniem w bezpieczny i elastyczny sposób¹, co ma ogromne znaczenie w lotnictwie. Badania wykazały, że ruchy gałek ocznych i zachowanie wzroku zapewniają wgląd w podstawowe procesy percepcyjne, poznawcze i motoryczne w różnych zadaniach^1,2,3. Co więcej, to, gdzie patrzymy, ma bezpośredni wpływ na planowanie i wykonywanie ruchów kończyn górnych³. W związku z tym analiza zachowań wzrokowych podczas zadań lotniczych stanowi obiektywną i nieinwazyjną metodę, która może ujawnić, w jaki sposób wzorce ruchów gałek ocznych odnoszą się do różnych aspektów przetwarzania informacji i wydajności.

Kilka badań wykazało związek między spojrzeniem a wykonywaniem zadań w różnych paradygmatach laboratoryjnych, jak również w złożonych rzeczywistych zadaniach (np. prowadzenie samolotu). Na przykład, obszary istotne dla zadania mają tendencję do fiksacji częściej i przez dłuższy łączny czas, co sugeruje, że miejsce fiksacji, częstotliwość i czas przebywania są wskaźnikami zastępczymi dla alokacji uwagi w zadaniach neurokognitywnych i lotniczych^4,5,6. Osoby, które odnoszą duże sukcesy i eksperci, wykazują znaczne tendencje do skupiania się na obszarach krytycznych dla zadań w porównaniu z osobami odnoszącymi mniejsze sukcesy lub nowicjuszami^4,7,8. Czasoprzestrzenne aspekty spojrzenia są uchwycone poprzez zmiany we wzorcach czasu przebywania w różnych obszarach zainteresowania (AOI) lub miarach rozkładu fiksacji (tj. Stacjonarna entropia spojrzenia: SGE). W kontekście paradygmatów opartych na laboratoriach, średni czas fiksacji, długość ścieżki skanowania i złożoność sekwencji spojrzenia (tj. entropia przejścia spojrzenia: GTE) mają tendencję do zwiększania się ze względu na zwiększone skanowanie i przetwarzanie wymagane do rozwiązywania problemów i opracowywania trudniejszych celów/rozwiązań zadań^4,7.

Na odwrót, badania lotnicze wykazały, że długość ścieżki skanowania i złożoność sekwencji spojrzeń maleją wraz ze złożonością zadania i obciążeniem poznawczym. Ta rozbieżność podkreśla fakt, że zrozumienie komponentów zadania i wymagań stosowanego paradygmatu ma kluczowe znaczenie dla dokładnej interpretacji wskaźników spojrzenia. Ogólnie rzecz biorąc, dotychczasowe badania potwierdzają, że pomiary spojrzenia zapewniają znaczący, obiektywny wgląd w przetwarzanie informacji specyficznych dla zadania, które leżą u podstaw różnic w trudności zadania, obciążeniu poznawczym i wydajności zadań. Dzięki postępom w technologii śledzenia wzroku (tj. przenośności, kalibracji i kosztach), badanie zachowań wzrokowych w "dziczy" jest nowym obszarem badań z namacalnymi zastosowaniami w kierunku postępu szkolenia zawodowego w dziedzinie medycyny^9,10,11 and aviation^12,13,14.

Obecna praca ma na celu dalsze zbadanie użyteczności korzystania z metryk opartych na spojrzeniu w celu uzyskania wglądu w przetwarzanie informacji poprzez zastosowanie urządzenia do śledzenia oczu podczas symulacji lotu awaryjnego u pilotów o niskim czasie pracy. Badanie to rozszerza wcześniejsze prace, w których wykorzystano stabilizowany przez głowę eye tracker (tj. EyeLink II) do zbadania różnic w metrykach zachowania wzroku w funkcji trudności lotu (tj. zmian warunków pogodowych)⁵. Praca przedstawiona w tym manuskrypcie stanowi również rozszerzenie innych prac, które opisywały metodologiczne i analityczne podejścia do korzystania ze śledzenia ruchu gałek ocznych w systemie rzeczywistości wirtualnej¹⁵. W naszym badaniu wykorzystaliśmy symulator bezruchu o wyższej wierności i donosimy o dodatkowej analizie danych dotyczących ruchu gałek ocznych (tj. entropii). Ten rodzaj analizy został opisany w poprzednich artykułach; Ograniczeniem w obecnej literaturze jest jednak brak standaryzacji w raportowaniu etapów analitycznych. Na przykład raportowanie sposobu definiowania obszarów zainteresowania ma kluczowe znaczenie, ponieważ bezpośrednio wpływa na wynikowe wartości entropii¹⁶.

Podsumowując, obecna praca badała tradycyjne i dynamiczne wskaźniki zachowania wzroku, podczas gdy trudność zadania była manipulowana poprzez wprowadzenie scenariusza awaryjnego podczas lotu (np. nieoczekiwana całkowita awaria silnika). Oczekiwano, że wprowadzenie scenariusza awaryjnego podczas lotu zapewni wgląd w zmiany w zachowaniu wzroku leżące u podstaw przetwarzania informacji w trudniejszych warunkach wykonywania zadań. Opisane tutaj badanie jest częścią większego badania badającego użyteczność śledzenia ruchu gałek ocznych w symulatorze lotu w celu informowania o szkoleniu pilotów opartym na kompetencjach. Przedstawione tu wyniki nie były wcześniej publikowane.

Protokół

Poniższy protokół może być zastosowany do badań z wykorzystaniem urządzenia do śledzenia ruchu gałek ocznych i symulatora lotu. Obecne badanie obejmuje dane eyetrackingowe rejestrowane wraz ze złożonymi zadaniami związanymi z lotnictwem w symulatorze lotu (patrz tabela materiałów). Symulator został skonfigurowany tak, aby był reprezentatywny dla samolotu Cessna 172 i był używany z niezbędną tablicą przyrządów (konfiguracja wskaźnika pary), systemem awioniki/GPS, panelem audio/świetlnym, panelem wyłączników i jednostką kontroli lotu (FCU) (patrz Rysunek 1). Symulator lotu wykorzystany w tym badaniu jest certyfikowany do celów szkoleniowych i używany przez lokalną szkołę lotniczą do szkolenia umiejętności wymaganych do reagowania na różne scenariusze awaryjne, takie jak awaria silnika, w środowisku niskiego ryzyka. Wszyscy uczestnicy tego badania byli licencjonowani; W związku z tym już w trakcie szkolenia zetknęli się ze scenariuszem symulatora awarii silnika. Badanie to zostało zatwierdzone przez Biuro Etyki Badań Naukowych Uniwersytetu Waterloo (43564; Data: 17 listopada 2021 r.). Wszyscy uczestnicy (N = 24; 14 mężczyzn, 10 kobiet; średni wiek = 22 lata; zakres godzin lotu: 51-280 h) wyrazili pisemną świadomą zgodę.

Rysunek 1: Środowisko symulatora lotu. Ilustracja środowiska symulatora lotu. Punkt widzenia uczestnika kokpitu był podobny do punktu widzenia pilota lecącego samolotem Cessna 172, przygotowanym do podejścia z wiatrem do bazy i do lądowania na międzynarodowym lotnisku Waterloo we Wrocławiu, Ontario, Kalifornia. Pomarańczowe pola reprezentują dziesięć głównych obszarów zainteresowania wykorzystywanych w analizach spojrzenia. Należą do nich (1) prędkość lotu, (2) położenie, (3) wysokościomierz, (4) koordynator skrętu, (5) kurs, (6) prędkość pionowa, oraz (7) wskaźniki mocy, a także (8) szyba przednia, (9) lewa, oraz (10) prawa szyba. Ten rysunek został zmodyfikowany na podstawie Ayala et ^al.5. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

1. Selekcja uczestników i świadoma zgoda

1. Przebadaj uczestnika za pomocą kwestionariusza samoopisowego opartego na kryteriach włączenia/wyłączenia^2,5: posiadanie co najmniej Licencji Pilota Turystycznego (PPL), normalne lub skorygowane do normalnego widzenie oraz brak wcześniejszej diagnozy zaburzeń neuropsychiatrycznych/neurologicznych lub trudności w uczeniu się.
2. Poinformuj uczestnika o celach i procedurach badania poprzez szczegółową odprawę prowadzoną przez eksperymentatora i nadzorującego instruktora lotu/technika symulatora. Dokonaj przeglądu ryzyka opisanego w dokumencie zgody zatwierdzonym przez komisję ds. oceny etycznej instytucji. Odpowiedz na wszelkie pytania dotyczące potencjalnych zagrożeń. Uzyskanie pisemnej świadomej zgody przed rozpoczęciem jakichkolwiek procedur badawczych.

2. Wymagania sprzętowe/programowe i uruchomienie

1. Symulator lotu (zazwyczaj wykonywany przez technika symulatora)
   1. Włącz ekrany symulatora i projektora. Jeśli jeden z projektorów nie włączy się w tym samym czasie co pozostałe, uruchom ponownie symulator.
   2. Na ekranie instrukcji naciśnij kartę Ustawienia wstępne i sprawdź, czy wymagane ustawienia wstępne pozycji i/lub pogody są dostępne. W razie potrzeby utwórz nowy typ ustawienia predefiniowanego; Skonsultuj się z technikiem w celu uzyskania pomocy.
2. Laptop z kolekcji
   1. Włącz laptopa i zaloguj się za pomocą danych uwierzytelniających.
   2. Po wyświetleniu monitu wybierz istniejący profil lub utwórz go, jeśli testujesz nowego uczestnika. Możesz też wybrać opcję Gość, aby nadpisać ostatnią kalibrację.
      1. Aby utworzyć nowy profil, przewiń do końca listy profili i kliknij przycisk Dodaj.
   3. Ustaw identyfikator profilu na identyfikator uczestnika. Ten identyfikator profilu będzie używany do oznaczania folderu, w którym znajdują się dane śledzenia ruchu gałek ocznych po zakończeniu nagrywania.
3. Kalibracja okularów
   UWAGA: Okulary muszą pozostać podłączone do laptopa, aby można było nagrywać. Kalibracja za pomocą pudełka musi być zakończona tylko raz na początku zbierania danych.
   1. Otwórz etui na okulary eye tracker i wyjmij okulary.
   2. Podłącz USB do micro-USB z laptopa do okularów. Jeśli pojawi się monit na laptopie, zaktualizuj oprogramowanie układowe.
   3. Znajdź czarne pole kalibracyjne wewnątrz obudowy urządzenia śledzącego ruch gałek ocznych.
   4. Na laptopie z kolekcją danych w centrum śledzenia ruchu gałek ocznych wybierz pozycję Narzędzia | Kalibracja urządzenia.
   5. Umieść okulary w pudełku i naciśnij Start w wyskakującym okienku, aby rozpocząć kalibrację.
   6. Wyjmij okulary z pudełka po zakończeniu kalibracji.
4. Dopasowanie końcówki
   1. Wybierz końcówkę.
   2. Poinstruuj uczestnika, aby usiadł w kokpicie i założył okulary.
   3. W centrum śledzenia ruchu gałek ocznych przejdź do pozycji Plik | Ustawienia | Czarodziej nosa.
   4. Sprawdź dopasowanie w polu okularów po lewej stronie ekranu. Jeśli dopasowanie jest doskonałe, przejdź do następnego kroku. W przeciwnym razie kliknij pole.
   5. Powiedz uczestnikowi, aby postępował zgodnie z instrukcjami dotyczącymi dopasowania wyświetlanymi na ekranie: ustaw końcówkę, dopasuj okulary, aby wygodnie siedzieć i patrz prosto przed siebie na laptopa.
   6. W razie potrzeby wymień końcówkę. Ściśnij końcówkę nosa na środku, wysuń ją z okularów, a następnie wsuń kolejną. Kontynuuj testowanie różnych końcówek nosowych, aż zostanie zidentyfikowana ta, która najlepiej pasuje do uczestnika.
5. Połączenia kontroli ruchu lotniczego (ATC)
   UWAGA: Jeśli badanie wymaga wezwań do ATC, poproś uczestnika o przyniesienie własnego zestawu słuchawkowego lub użycie laboratoryjnego zestawu słuchawkowego. Zakończ kalibrację gałki ocznej dopiero po założeniu zestawu słuchawkowego przez uczestnika, ponieważ zestaw słuchawkowy może przesuwać okulary na głowie, co wpływa na dokładność kalibracji.
   1. Sprawdź, czy zestaw słuchawkowy jest podłączony do gniazda po lewej stronie spodu deski rozdzielczej.
   2. Poinstruuj uczestnika, aby założył zestaw słuchawkowy. Poproś ich, aby go nie dotykali ani nie zdejmowali, dopóki nagrywanie nie zostanie zakończone.
      UWAGA: Ponowna kalibracja jest wymagana za każdym razem, gdy zestaw słuchawkowy (a tym samym okulary) jest przenoszony.
   3. Wykonaj test radia.
6. Kalibracja gałki ocznej
   UWAGA: Za każdym razem, gdy uczestnik przesuwa okulary na głowie, musi powtórzyć kalibrację gałki ocznej. Poproś uczestnika, aby nie dotykał okularów, dopóki jego próby się nie zakończą.
   1. W centrum śledzenia ruchu gałek ocznych przejdź do pola parametrów po lewej stronie ekranu.
      1. Sprawdź tryb kalibracji i wybierz odpowiednio stałe spojrzenie lub stałą głowicę.
      2. Sprawdź, czy punkty kalibracji są siatką 5 x 5, co daje łącznie 25 punktów.
      3. Sprawdź tryb walidacji i upewnij się, że jest on zgodny z trybem kalibracji.
      4. Zbadaj wyniki śledzenia ruchu gałek ocznych i sprawdź, czy wszystko, co musi zostać zarejestrowane na potrzeby badania, jest zaznaczone za pomocą pól wyboru.
   2. Kliknij File | Ustawienia | Zaawansowane i sprawdź, czy częstotliwość próbkowania wynosi 250 Hz.
   3. Zaznacz pole Kalibruj śledzenie ruchu gałek ocznych na ekranie za pomocą myszy. Instrukcje kalibracji będą się różnić w zależności od trybu. Aby postępować zgodnie z bieżącym badaniem, użyj trybu kalibracji stałego spojrzenia: poinstruuj uczestników, aby poruszali głową tak, aby pudełko nachodziło na kwadrat i wyrównały się. Następnie poproś uczestnika, aby skupił wzrok na celowniku w czarnym kwadracie i nacisnął spację.
   4. Naciśnij pole Sprawdź poprawność konfiguracji. Instrukcje będą takie same jak w kroku 2.6.3. Sprawdź, czy wartość walidacji MAE (średni błąd bezwzględny) wynosi <1°. Jeśli nie, powtórz kroki 2.6.3 i 2.6.4.
   5. Naciśnij przycisk Zapisz kalibrację, aby zapisać kalibrację w profilu za każdym razem, gdy kalibracja i walidacja zostaną zakończone.
7. Użycie iPada
   UWAGA: iPad znajduje się po lewej stronie deski rozdzielczej (patrz Rysunek 1). Służy do wypełniania kwestionariuszy zazwyczaj po locie.
   1. Włącz iPada i upewnij się, że jest podłączony do Internetu.
   2. Otwórz okno w Safari i wprowadź link do kwestionariusza badania.

3. Zbieranie danych

UWAGA: Powtórz te kroki dla każdej próby. Zaleca się, aby laptop został umieszczony na ławce na zewnątrz kokpitu.

1. Na komputerze symulatora lotu, na ekranie instrukcji, naciśnij Ustawienia wstępne, a następnie wybierz żądane ustawienie wstępne pozycji, które ma być symulowane. Naciśnij przycisk Zastosuj i obserwuj ekrany otaczające symulator, aby sprawdzić, czy zmiana nastąpiła.
2. Powtórz krok 3.1, aby zastosować ustawienie wstępne Pogoda.
3. Przekaż uczestnikowi wszelkie szczegółowe instrukcje dotyczące próby lub jego toru lotu. Obejmuje to poinstruowanie ich, aby zmienili wszelkie ustawienia na tablicy rozdzielczej przed rozpoczęciem.
4. Na ekranie instrukcji naciśnij pomarańczowy przycisk ZATRZYMANY, aby rozpocząć zbieranie danych. Kolor zmieni się na zielony, a w tekście pojawi się napis LATAJĄCY. Pamiętaj, aby dać uczestnikowi słowną wskazówkę, aby wiedział, że może zacząć latać samolotem. Zalecana wskazówka to "3, 2, 1, masz kontrolki" po naciśnięciu pomarańczowego przycisku stop
.
5. W laptopie do zbierania danych naciśnij przycisk Rozpocznij nagrywanie, aby dane urządzenia do śledzenia ruchu gałek ocznych zostały zsynchronizowane z danymi symulatora lotu.
6. Kiedy uczestnik zakończy swój obwód i wyląduje, poczekaj, aż dron przestanie się poruszać.
   UWAGA: Ważne jest, aby poczekać, ponieważ podczas przetwarzania końcowego; Dane są obcinane, gdy prędkość jazdy ustabilizuje się na poziomie 0. Zapewnia to spójność punktu końcowego wszystkich badań.
7. Na ekranie instrukcji naciśnij zielony przycisk LATANIE. Kolor powróci do pomarańczowego, a w tekście pojawi się napis ZATRZYMANY. Na tym etapie daj słowną wskazówkę, gdy zbieranie danych ma się zakończyć. Zalecana wskazówka to "3, 2, 1, stop".
8. Poinstruuj uczestnika, aby wypełnił kwestionariusz(e) po badaniu na iPadzie. Odśwież stronę dla następnej wersji próbnej.
   UWAGA: W obecnym badaniu wykorzystano kwestionariusz samooceny Situation Awareness Rating Technique (SART) jako jedyny kwestionariusz popróbowy¹⁷.

4. Przetwarzanie i analiza danych

1. Dane symulatora lotu
   UWAGA: Plik .csv skopiowany z symulatora lotu zawiera ponad 1000 parametrów, które można kontrolować w symulatorze. Główne interesujące wskaźniki efektywności są wymienione i opisane w tabeli 1.
   1. Dla każdego uczestnika oblicz wskaźnik sukcesu za pomocą równania (1), biorąc pod uwagę wartość procentową we wszystkich warunkach zadania. Nieudane próby są identyfikowane za pomocą wcześniej ustalonych kryteriów zaprogramowanych w symulatorze, które automatycznie kończą próbę po przyziemieniu ze względu na orientację samolotu i prędkość pionową. Przeprowadź weryfikację popróbną, aby upewnić się, że to kryterium zostało dostosowane do rzeczywistych ograniczeń samolotu (tj. uszkodzenie/zderzenie podwozia Cessna 172 jest widoczne przy prędkościach pionowych > 700 stóp/min [fpm] po przyziemieniu).
      Wskaźnik sukcesu = (1)
      UWAGA: Niższe wartości wskaźnika sukcesu wskazują na gorsze wyniki, ponieważ wiążą się ze zmniejszeniem liczby udanych prób lądowania.
   2. Dla każdej próby należy obliczyć czas ukończenia na podstawie znacznika czasu, który wskazuje, że samolot zatrzymał się na pasie startowym (tj. prędkość względem ziemi = 0 węzłów).
      UWAGA: Krótszy czas realizacji nie zawsze jest równoznaczny z lepszą wydajnością. Należy zachować ostrożność, aby zrozumieć, w jaki sposób warunki zadania (tj. dodatkowe wiatry, scenariusze awaryjne itp.) mogą wpłynąć na czas ukończenia.
   3. Dla każdej próby należy określić twardość lądowania na podstawie prędkości pionowej samolotu (fpm) w momencie, gdy samolot po raz pierwszy ląduje na pasie startowym. Upewnij się, że ta wartość jest pobierana w tym samym sygnatury czasowej skojarzonej z pierwszą zmianą statusu AircraftOnGround z 0 (w powietrzu) na 1 (na ziemi).
      UWAGA: Wartości w zakresie od -700 fpm do 0 fpm są uważane za bezpieczne, przy czym wartości bliższe 0 oznaczają bardziej miękkie lądowania (tj. lepsze). Wartości ujemne reprezentują prędkość pionową w dół; Wartości dodatnie reprezentują prędkość pionową w górę.
   4. Dla każdej próby należy obliczyć błąd lądowania (°) na podstawie różnicy między współrzędnymi przyziemienia a punktem odniesienia na pasie startowym (środek znaczników 500 stóp). Korzystając z punktu odniesienia, oblicz błąd lądowania za pomocą równania (2).
      Różnica = √((Δ Szerokość geograficzna)² + (Δ długość geograficzna)²) (2)
      UWAGA: Wartości poniżej 1° są pokazane jako normalne^5,15. Duże wartości wskazują na większy błąd lądowania związany z punktami przyziemienia samolotu, które znajdują się dalej od strefy lądowania.
   5. Oblicz średnie dla wszystkich uczestników dla każdej zmiennej wynikowej dla każdego warunku zadania. Podaj te wartości.
2. Dane dotyczące orientacji sytuacyjnej
   1. Dla każdej próby oblicz wynik SA na podstawie samodzielnie zgłaszanych wyników SART w 10 wymiarach SA¹⁷.
      1. Użyj kwestionariusza SART ¹⁷, aby określić subiektywne odpowiedzi uczestników dotyczące ogólnego poziomu trudności zadania, a także ich wrażenie na temat tego, ile zasobów uwagi mieli do dyspozycji i poświęcili podczas wykonywania zadania.
      2. Korzystając z 7-punktowej skali Likerta, poproś uczestników, aby ocenili postrzegane przez nich doświadczenia związane z dociekającymi pytaniami, w tym złożoność sytuacji, podział uwagi, wolne zdolności umysłowe oraz ilość i jakość informacji.
      3. Połącz te skale w większe wymiary wymagań uwagi (Popyt), uwagi podaży (Podaż) i zrozumienia sytuacji (Zrozumienie).
      4. Użyj tych ocen, aby obliczyć miarę SA na podstawie równania (3):
         SA = Zrozumienie - (Popyt-Podaż) (3)
         UWAGA: Wyższe wyniki w skalach połączone w celu zapewnienia miary zrozumienia sugerują, że uczestnik dobrze rozumie zadanie. Podobnie, wysokie wyniki w domenie podaży sugerują, że uczestnik ma znaczną ilość zasobów uwagi, które może poświęcić na dane zadanie. Z kolei wysoki wynik popytu sugeruje, że zadanie wymaga znacznej ilości zasobów uwagi do wykonania. Ważne jest, aby wyjaśnić, że wyniki te są najlepiej interpretowane przez porównanie różnych warunków (tj. warunków łatwych i trudnych), a nie używanych jako samodzielne miary.
   2. Po zakończeniu zbierania danych oblicz średnie dla wszystkich uczestników dla każdego warunku zadania (np. podstawowy, awaryjny). Podaj te wartości.
3. Dane śledzenia ruchu gałek ocznych
   1. Użyj skryptu wsadowego śledzenia ruchu gałek ocznych do ręcznego definiowania obszarów zainteresowania do użycia w mapowaniu spojrzenia. Skrypt otworzy nowe okno do wyboru klatek kluczowych, które powinno wyraźnie wyświetlać wszystkie kluczowe AOI, które będą analizowane. Przewiń film i wybierz klatkę, która wyraźnie pokazuje wszystkie obszary zainteresowania.
   2. Postępując zgodnie z instrukcjami wyświetlanymi na ekranie, narysuj prostokąt nad obszarem klatki, który będzie widoczny przez cały film, unikalny i pozostanie stabilny.
      UWAGA: Celem tego kroku jest wygenerowanie ramki współrzędnych "na ekranie", która może być używana w całym nagraniu wideo, ponieważ ruchy głowy powodują zmianę lokalizacji obiektów w otoczeniu w trakcie nagrywania wideo.
   3. Narysuj prostokąt dla każdego obszaru zainteresowania na rysunku, pojedynczo. Nazwij je odpowiednio. Kliknij Dodaj więcej, aby dodać nowy AOI i naciśnij Gotowe na ostatnim. Jeśli współrzędne spojrzenia podczas danej fiksacji znajdują się w przestrzeni obiektu zdefiniowanej w ramce współrzędnych "w ekranie", oznacz tę fiksację odpowiednią etykietą AOI.
      UWAGA: Celem tego kroku jest wygenerowanie biblioteki współrzędnych obiektu, które są następnie używane jako odniesienia podczas porównywania współrzędnych spojrzenia ze współrzędnymi na ekranie.
      Zazwyczaj istnieje 10 obszarów zainteresowania, ale zależy to od konfiguracji symulatora lotu. Tablica rozdzielcza może być inna. Zgodnie z poprzednimi pracami^5,18, obecne badanie wykorzystuje następujące AOI: Prędkość lotu, Postawa, Wysokościomierz, Koordynator skrętu, Kierunek, Prędkość pionowa, Moc, Przednia szyba, Lewe okno i Prawe okno (patrz Rysunek 1).
   4. Pozwól skryptowi rozpocząć przetwarzanie AOI i wygenerować dane fiksacji. Generuje wykres pokazujący sakkady i fiksacje na filmie.
   5. Zostaną utworzone dwa nowe pliki: fixations.csv i aoi_parameters.yaml. Procesor wsadowy zakończy przetwarzanie końcowe danych dotyczących spojrzenia dla każdego badania i każdego uczestnika.
      UWAGA: Główne interesujące nas miary śledzenia ruchu gałek ocznych są wymienione w Tabeli 2 i są obliczane dla każdego AOI dla każdego badania.
   6. Dla każdej próby oblicz tradycyjne metryki spojrzenia^4,5 dla każdego AOI na podstawie danych wygenerowanych w pliku fixation.csv.
      UWAGA: Tutaj skupiamy się na czasie przebywania (%), który oblicza się, dzieląc sumę fiksacji dla danego AOI przez sumę wszystkich fiksacji i mnożąc iloraz przez 100, aby uzyskać procent czasu spędzonego w określonym AOI. Nie ma nieodłącznej negatywnej/pozytywnej interpretacji obliczonych czasów przebywania. Wskazują one, gdzie głównie przydzielana jest uwaga. Dłuższe średnie czasy utrwalania wskazują na zwiększone wymagania w zakresie przetwarzania.
   7. Dla każdej próby oblicz częstotliwość mrugania za pomocą korektora (4):
      Częstotliwość mrugnięć = Całkowita liczba mignięć/czas zakończenia (4)
      UWAGA: Poprzednie prace wykazały, że częstotliwość mrugania jest odwrotnie proporcjonalna do obciążenia poznawczego^2,6,13,19,20.
   8. Dla każdej próby oblicz SGE za pomocą eq (5)²¹:
      (5)
      Gdzie v jest prawdopodobieństwem wyświetlenia i^tego AOI, a V jest liczbą AOI.
      UWAGA: Wyższe wartości SGE są związane z większą dyspersją fiksacji, podczas gdy niższe wartości wskazują na bardziej zogniskowaną alokację fiksacji²².
   9. Dla każdej próby oblicz GTE za pomocą eq (6)²³:
      (6)
      Gdzie V jest prawdopodobieństwem wyświetlenia^i-tego AOI, a M jest prawdopodobieństwem zobaczenia^j-tego AOI, biorąc pod uwagę poprzednie oglądanie^i-tego AOI.
      UWAGA: Wyższe wartości GTE są związane z bardziej nieprzewidywalnymi, złożonymi ścieżkami skanowania wizualnego, podczas gdy niższe wartości GTE wskazują na bardziej przewidywalne, rutynowe ścieżki skanowania wizualnego.
   10. Oblicz średnie dla wszystkich uczestników dla każdej zmiennej wyjściowej śledzenia ruchu gałek ocznych (i AOI, jeśli jest to wskazane) i każdego warunku zadania. Podaj te wartości.

termin	definicja
Sukces (%)	Odsetek udanych prób lądowania
Czas ukończenia (s)	Czas trwania okresu od rozpoczęcia scenariusza lądowania do całkowitego zatrzymania się samolotu na drodze startowej
Twardość lądowania (fpm)	Wskaźnik przyzwoitości w momencie przyłożenia
Błąd lądowania (°)	Różnica między środkiem samolotu a środkiem znacznika drogi startowej o długości 500 stóp w punkcie przyziemienia

Tabela 1: Zmienne wynikowe wydajności symulatora. Zmienne zależne od osiągów statku powietrznego i ich definicje.

Rysunek 2: Tor lotu scenariusza lądowania. Schemat (A) obwodu lądowania wykonanego we wszystkich próbach oraz (B) drogi startowej ze znacznikami o długości 500 stóp, które zostały użyte jako punkt odniesienia dla strefy lądowania (tj. środkowe pomarańczowe kółko). Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 3: Mapowanie obszaru zainteresowania. Ilustracja skryptu wsadowego demonstrująca okno do zaznaczania klatek. Wybór optymalnej klatki polega na wybraniu klatki wideo, która zawiera większość lub wszystkie obszary zainteresowania, które mają zostać zmapowane. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 4: Generowanie współrzędnych "na ekranie" mapowania obszaru zainteresowania. Ilustracja skryptu wsadowego demonstrująca okno wyboru współrzędnych "na ekranie". Ten krok polega na wybraniu kwadratowego/prostokątnego obszaru, który pozostaje widoczny przez cały czas trwania nagrania, jest unikalny dla obrazu i pozostaje statyczny. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 5: Identyfikacja obszaru zainteresowania do zmapowania. Ilustracja okna skryptu wsadowego, które pozwala na wybór i etykietowanie obszarów zainteresowania. Skrót: AOI = obszary zainteresowania. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 6: Przetwarzanie skryptów wsadowych. Ilustracja skryptu wsadowego przetwarzającego wideo i spojrzenie odwzorowującego fiksacje dokonane podczas badania. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

termin	definicja
Czas przebywania (%)	Odsetek sumy wszystkich czasów fiksacji skumulowanych w jednym obszarze zainteresowania w stosunku do sumy czasów trwania fiksacji skumulowanych we wszystkich obszarach zainteresowania
Średni czas fiksacji (ms)	Średni czas trwania fiksacji na jednym AOI od wejścia do wyjścia
Częstotliwość mrugania (mignięcia/s)	Liczba mrugnięć na sekundę
SGE (bity)	Dyspersja fiksacji
GTE (bity)	Złożoność sekwencji skanowania
Liczba walk	Liczba zdarzeń tunelowania poznawczego (>10 s)
Całkowity czas walki (s)	Całkowity czas zdarzeń tunelowania poznawczego

Tabela 2: Zmienne wynikowe śledzenia ruchu gałek ocznych. Przyjrzyj się zmiennym zależnym od zachowania i ich definicjom.

Wyniki

Wpływ wymagań dotyczących zadań na wydajność lotu
Dane zostały przeanalizowane na podstawie udanych prób lądowania w warunkach podstawowych i awaryjnych. Wszystkie pomiary poddano testowi t dla prób sparowanych (czynnik wewnątrzobiektowy: warunek zadania (podstawowy, awaryjny)). Wszystkie testy t zostały przeprowadzone z poziomem alfa ustawionym na 0,05. Czterech uczestników uległo awarii podczas próby scenariusza awaryjnego i nie zostali uwzględnieni w głównych analizach, ponieważ ...

Dyskusja

Opisana tutaj metoda śledzenia ruchu gałek ocznych umożliwia ocenę przetwarzania informacji w środowisku symulatora lotu za pomocą urządzenia śledzącego ruch gałek ocznych do noszenia. Ocena przestrzennych i czasowych cech zachowania wzroku zapewnia wgląd w przetwarzanie informacji przez człowieka, które zostało szeroko zbadane przy użyciu wysoce kontrolowanych paradygmatów laboratoryjnych ^4,7,28. Wykorzystanie najnowszych osiąg...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
symulator lotu	ALSIM	AL-250	naprawił w pełni wciągające urządzenie treningowe do symulacji lotu
laptop	Hp	Lenovo	do zbierania danych śledzenia wzroku; wymagania: Windows 10 i python 3.0
przenośny eye-tracker	AdHawk		Okulary śledzące ruch gałek ocznych MindLink (250 Hz, < 2&stopnie; błąd spojrzenia, kamera przednia); Skrypt wsadowy śledzenia ruchu gałek ocznych jest udostępniany przy zakupie urządzenia AdHawk