Subskrypcja JoVE jest wymagana do oglądania tego materiału. Zaloguj się lub rozpocznij bezpłatny okres próbny.

Artykuł metodologiczny

Śledzenie ruchu gałek ocznych podczas złożonego zadania lotniczego w celu uzyskania wglądu w przetwarzanie informacji

1.9K wyświetleń

⸱

DOI:

10.3791/66886

⸱

4 kwietnia 2025

 ,  ,  ,  , 
1Department of Kinesiology and Health Sciences, University of Waterloo, 2Waterloo Institute for Sustainable Aeronautics, University of Waterloo, 3Department of Geography and Aviation, University of Waterloo, 4School of Optometry and Vision Science, University of Waterloo, 5Department of Systems Design Engineering, University of Waterloo

W tym artykule

Podsumowanie

Śledzenie ruchu gałek ocznych to nieinwazyjna metoda badania przetwarzania informacji. W tym artykule opisano, w jaki sposób śledzenie wzroku może być wykorzystane do badania zachowania wzroku podczas zadania awaryjnego symulacji lotu u pilotów o niskim czasie lotu (tj. <350 godzin lotu).

Streszczenie

Śledzenie ruchu gałek ocznych było szeroko wykorzystywane jako wskaźnik do uzyskania wglądu w procesy poznawcze, percepcyjne i sensomotoryczne, które leżą u podstaw wykonywania umiejętności. Wcześniejsze prace wykazały, że tradycyjne i zaawansowane wskaźniki spojrzenia niezawodnie wykazują znaczne różnice w wiedzy pilotażowej, obciążeniu poznawczym, zmęczeniu, a nawet świadomości sytuacyjnej (SA).

To badanie opisuje metodologię korzystania z urządzenia do śledzenia ruchu gałek ocznych i algorytmu mapowania spojrzeń, który rejestruje naturalistyczne ruchy głowy i oczu (tj. spojrzenie) w nieruchomym symulatorze lotu o wysokiej wierności. Metoda opisana w tym artykule opisuje analizy spojrzenia oparte na obszarze zainteresowania (AOI), które zapewniają więcej kontekstu związanego z tym, gdzie patrzą uczestnicy, oraz czas przebywania, który wskazuje, jak efektywnie przetwarzają utrwalone informacje. Protokół ilustruje użyteczność urządzenia do śledzenia ruchu gałek ocznych i algorytmu widzenia komputerowego do oceny zmian w zachowaniu wzroku w odpowiedzi na nieoczekiwaną sytuację awaryjną podczas lotu.

Reprezentatywne wyniki pokazały, że na wzrok znacząco wpłynęło wprowadzenie zdarzenia awaryjnego. W szczególności alokacja uwagi, rozproszenie spojrzenia i złożoność sekwencji spojrzeń znacznie się zmniejszyły i stały się wysoce skoncentrowane na patrzeniu przez przednią szybę i na wskaźnik prędkości podczas scenariusza awaryjnego (wszystkie wartości p < 0,05). Omówiono użyteczność i ograniczenia związane z zastosowaniem urządzenia do śledzenia ruchu gałek ocznych w środowisku symulacji lotu w ruchu o wysokiej wierności w celu zrozumienia czasoprzestrzennych cech zachowania wzroku i jego związku z przetwarzaniem informacji w dziedzinie lotnictwa.

Wprowadzenie

Ludzie głównie wchodzą w interakcję z otaczającym ich światem, najpierw poruszając oczami i głową, aby skupić swoją linię wzroku (tj. spojrzenie) na określonym obiekcie lub miejscu zainteresowania. Jest to szczególnie ważne w złożonych środowiskach, takich jak kokpity samolotów, gdzie piloci mają do czynienia z wieloma konkurencyjnymi bodźcami. Ruchy spojrzenia umożliwiają gromadzenie informacji wizualnych o wysokiej rozdzielczości, które pozwalają ludziom na interakcję z otoczeniem w bezpieczny i elastyczny sposób1, co ma ogromne znaczenie w lotnictwie. Badania wykazały, że ruchy gałek ocznych i zachowanie wzroku zapewniają wgląd w podstawowe procesy percepcyjne, poznawcze i motoryczne w różnych zadaniach1,2,3. Co więcej, to, gdzie patrzymy, ma bezpośredni wpływ na planowanie i wykonywanie ruchów kończyn górnych3. W związku z tym analiza zachowań wzrokowych podczas zadań lotniczych stanowi obiektywną i nieinwazyjną metodę, która może ujawnić, w jaki sposób wzorce ruchów gałek ocznych odnoszą się do różnych aspektów przetwarzania informacji i wydajności.

Kilka badań wykazało związek między spojrzeniem a wykonywaniem zadań w różnych paradygmatach laboratoryjnych, jak również w złożonych rzeczywistych zadaniach (np. prowadzenie samolotu). Na przykład, obszary istotne dla zadania mają tendencję do fiksacji częściej i przez dłuższy łączny czas, co sugeruje, że miejsce fiksacji, częstotliwość i czas przebywania są wskaźnikami zastępczymi dla alokacji uwagi w zadaniach neurokognitywnych i lotniczych4,5,6. Osoby, które odnoszą duże sukcesy i eksperci, wykazują znaczne tendencje do skupiania się na obszarach krytycznych dla zadań w porównaniu z osobami odnoszącymi mniejsze sukcesy lub nowicjuszami4,7,8. Czasoprzestrzenne aspekty spojrzenia są uchwycone poprzez zmiany we wzorcach czasu przebywania w różnych obszarach zainteresowania (AOI) lub miarach rozkładu fiksacji (tj. Stacjonarna entropia spojrzenia: SGE). W kontekście paradygmatów opartych na laboratoriach, średni czas fiksacji, długość ścieżki skanowania i złożoność sekwencji spojrzenia (tj. entropia przejścia spojrzenia: GTE) mają tendencję do zwiększania się ze względu na zwiększone skanowanie i przetwarzanie wymagane do rozwiązywania problemów i opracowywania trudniejszych celów/rozwiązań zadań4,7.

Na odwrót, badania lotnicze wykazały, że długość ścieżki skanowania i złożoność sekwencji spojrzeń maleją wraz ze złożonością zadania i obciążeniem poznawczym. Ta rozbieżność podkreśla fakt, że zrozumienie komponentów zadania i wymagań stosowanego paradygmatu ma kluczowe znaczenie dla dokładnej interpretacji wskaźników spojrzenia. Ogólnie rzecz biorąc, dotychczasowe badania potwierdzają, że pomiary spojrzenia zapewniają znaczący, obiektywny wgląd w przetwarzanie informacji specyficznych dla zadania, które leżą u podstaw różnic w trudności zadania, obciążeniu poznawczym i wydajności zadań. Dzięki postępom w technologii śledzenia wzroku (tj. przenośności, kalibracji i kosztach), badanie zachowań wzrokowych w "dziczy" jest nowym obszarem badań z namacalnymi zastosowaniami w kierunku postępu szkolenia zawodowego w dziedzinie medycyny9,10,11 and aviation12,13,14.

Obecna praca ma na celu dalsze zbadanie użyteczności korzystania z metryk opartych na spojrzeniu w celu uzyskania wglądu w przetwarzanie informacji poprzez zastosowanie urządzenia do śledzenia oczu podczas symulacji lotu awaryjnego u pilotów o niskim czasie pracy. Badanie to rozszerza wcześniejsze prace, w których wykorzystano stabilizowany przez głowę eye tracker (tj. EyeLink II) do zbadania różnic w metrykach zachowania wzroku w funkcji trudności lotu (tj. zmian warunków pogodowych)5. Praca przedstawiona w tym manuskrypcie stanowi również rozszerzenie innych prac, które opisywały metodologiczne i analityczne podejścia do korzystania ze śledzenia ruchu gałek ocznych w systemie rzeczywistości wirtualnej15. W naszym badaniu wykorzystaliśmy symulator bezruchu o wyższej wierności i donosimy o dodatkowej analizie danych dotyczących ruchu gałek ocznych (tj. entropii). Ten rodzaj analizy został opisany w poprzednich artykułach; Ograniczeniem w obecnej literaturze jest jednak brak standaryzacji w raportowaniu etapów analitycznych. Na przykład raportowanie sposobu definiowania obszarów zainteresowania ma kluczowe znaczenie, ponieważ bezpośrednio wpływa na wynikowe wartości entropii16.

Podsumowując, obecna praca badała tradycyjne i dynamiczne wskaźniki zachowania wzroku, podczas gdy trudność zadania była manipulowana poprzez wprowadzenie scenariusza awaryjnego podczas lotu (np. nieoczekiwana całkowita awaria silnika). Oczekiwano, że wprowadzenie scenariusza awaryjnego podczas lotu zapewni wgląd w zmiany w zachowaniu wzroku leżące u podstaw przetwarzania informacji w trudniejszych warunkach wykonywania zadań. Opisane tutaj badanie jest częścią większego badania badającego użyteczność śledzenia ruchu gałek ocznych w symulatorze lotu w celu informowania o szkoleniu pilotów opartym na kompetencjach. Przedstawione tu wyniki nie były wcześniej publikowane.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Protokół

Poniższy protokół można zastosować w badaniach wykorzystujących przenośny okulograf oraz symulator lotu. Obecne badanie obejmuje dane okulograficzne zarejestrowane podczas wykonywania złożonych zadań lotniczych w symulatorze lotu (patrz Tabela materiałów). Symulator został skonfigurowany tak, aby odpowiadał samolotowi Cessna 172 i był wyposażony w niezbędny panel instrumentów (konfiguracja analogowa), system awioniki/GPS, panel audio/oświetlenia, panel bezpieczników oraz jednostkę sterowania lotem (FCU) (patrz Rycina 1). Urządzenie symulatora lotu użyte w tym badaniu posiada certyfikację do celów szkoleniowych i jest wykorzystywane przez lokalną szkołę lotniczą do kształtowania umiejętności niezbędnych do reagowania na różne scenariusze awaryjne, takie jak awaria silnika, w środowisku o niskim ryzyku. Wszyscy uczestnicy badania posiadali licencję, w związku z czym wcześniej przechodzili scenariusz awarii silnika w symulatorze w ramach swojego szkolenia. Badanie zostało zatwierdzone przez Biuro Etyki Badań Uniwersytetu w Waterloo (43564; Data: 17 listopada 2021 r.). Wszyscy uczestnicy (N = 24; 14 mężczyzn, 10 kobiet; średni wiek = 22 lata; zakres godzin lotu: 51-280 h) wyrazili pisemną zgodę na udział w badaniu.

Schemat interfejsu kokpitu z cyfrowymi przyrządami lotniczymi do treningu symulacji lotu.
Rysunek 1: Środowisko symulatora lotu. Ilustracja środowiska symulatora lotu. Punkt widzenia uczestnika w kokpicie odtwarzał perspektywę pilota latającego samolotem Cessna 172, z ustawionym podejściem z nogi wiatru do podstawy i do końcowego na lotnisko Waterloo International Airport w Breslau, Ontario, CA. Pomarańczowe ramki reprezentują dziesięć głównych obszarów zainteresowania wykorzystanych w analizach wzroku. Obejmują one (1) prędkościomierz, (2) sztuczny horyzont, (3) wysokościomierz, (4) koordynator zakrętów, (5) kompas, (6) wariometr oraz (7) wskaźniki mocy, a także (8) przednie, (9) lewe i (10) prawe okna. Rysunek zmodyfikowano na podstawie pracy Ayala et al.5. Proszę kliknąć tutaj, aby wyświetlić powiększoną wersję tego rysunku.

1. Przesiewy uczestników i świadoma zgoda

  1. Przeprowadź przesiew uczestnika za pomocą kwestionariusza samoopisowego opartego na kryteriach włączenia i wykluczenia2,5: posiadanie co najmniej licencji pilota prywatnego (PPL), wzrok prawidłowy lub korygowany do normy oraz brak wcześniejszej diagnozy zaburzeń neuropsychiatrycznych/neurologicznych lub dysleksji.
  2. Poinformuj uczestnika o celach i procedurach badania podczas szczegółowego wprowadzenia przeprowadzonego przez eksperymentatora oraz nadzorującego instruktora lotu/technika symulatora. Przeanalizuj ryzyka opisane w dokumencie zgody zatwierdzonym przez instytucjonalną komisję etyczną. Odpowiedz na wszelkie pytania dotyczące potencjalnych ryzyk. Uzyskaj pisemną świadomą zgodę przed rozpoczęciem jakichkolwiek procedur badawczych.

2. Wymagania sprzętowe i programowe oraz uruchomienie

  1. Symulator lotu (zazwyczaj wypełniany przez technika symulatora)
    1. Włącz symulator i ekrany projektorów. Jeśli jeden z projektorów nie uruchomi się jednocześnie z pozostałymi, zrestartuj symulator.
    2. Na Ekran instrukcji, naciśnij Ustawienia wstępne sprawdź i zweryfikuj, czy wymagane Położenie i/lub Pogoda Dostępne są ustawienia wstępne. W razie potrzeby utwórz nowy typ ustawień wstępnych; w celu uzyskania pomocy skonsultuj się z technikiem.
  2. Laptop do zbierania danych
    1. Włącz laptop i zaloguj się przy użyciu danych uwierzytelniających.
    2. Po wyświetleniu monitu należy wybrać istniejący profil lub utworzyć nowy, jeśli testowana jest nowa osoba uczestnicząca. Alternatywnie należy wybrać Gość możliwość nadpisania ostatniej kalibracji.
      1. Aby utworzyć nowy profil, przewiń listę profili do końca i kliknij Dodaj.
    3. Ustawić ID profilu do identyfikator uczestnikaTen identyfikator profilu posłuży do oznaczenia folderu, w którym po zakończeniu nagrania będą przechowywane dane z eyetrackingu.
  3. Kalibracja okularów
    UWAGA: Okulary muszą pozostać podłączone do laptopa w celu rejestracji. Kalibracja z użyciem pudełka musi zostać przeprowadzona tylko raz na początku procesu gromadzenia danych.
    1. Otwórz etui eye trackera i wyjmij okulary.
    2. Podłącz kabel USB-micro-USB z laptopa do okularów. Jeśli na laptopie pojawi się odpowiedni komunikat, zaktualizuj oprogramowanie układowe.
    3. Znajdź czarną kostkę kalibracyjną wewnątrz etui trackera oka.
    4. Na laptopie służącym do gromadzenia danych, w Centrum okulografii (eye tracking Hub), wybierz Narzędzia | Kalibracja urządzeń.
    5. Umieść okulary wewnątrz pudełka i naciśnij Start w oknie wyskakującym, aby rozpocząć kalibrację.
    6. Po zakończeniu kalibracji wyjmij okulary z pudełka.
  4. Dopasowanie tubusu obiektywowego
    1. Wybierz odpowiedni obiektyw.
    2. Poleć uczestnikowi, aby usiadł w kokpicie i założył okulary.
    3. W Centrum okulografii (eye tracking Hub)przejdź do Plik | Ustawienia | Kreator Nose.
    4. Sprawdź dopasuj okulary pole po lewej stronie ekranu. Jeśli dopasowanie jest Doskonaleprzejdź do następnego kroku. W przeciwnym razie zaznacz pole.
    5. Poleć uczestnikowi postępowanie zgodnie z instrukcjami dotyczącymi dopasowania wyświetlanymi na ekranie: ustawienie nosków, dopasowanie okularów tak, aby były wygodne, oraz patrzenie prosto przed siebie na laptop.
    6. W razie potrzeby należy wymienić nakładki na nos. Ściśnij nakładkę w środkowej części, wysuń ją z okularów, a następnie wsuń nową. Kontynuuj testowanie różnych nakładek, aż do zidentyfikowania tej, która najlepiej pasuje do uczestnika.
  5. Komunikaty kontroli ruchu lotniczego (ATC)
    UWAGA: Jeśli badanie wymaga połączeń z kontrolą ruchu lotniczego (ATC), należy poprosić uczestnika o przyniesienie własnych słuchawek lub skorzystać ze słuchawek laboratoryjnych. Kalibrację ruchu gałek ocznych należy przeprowadzić dopiero po założeniu przez uczestnika gogli, ponieważ gogle mogą przesunąć okulary na głowie, co wpływa na dokładność kalibracji.
    1. Upewnij się, że słuchawki są podłączone do gniazda znajdującego się po lewej stronie w dolnej części panelu instrumentów.
    2. Poleć uczestnikowi założenie zestawu słuchawkowego. Poproś go, aby nie dotykał urządzenia i nie zdejmował go do momentu zakończenia nagrywania.
      UWAGA: Ponowna kalibracja jest wymagana za każdym razem, gdy zestaw nagłowny (a tym samym okulary) zostanie przesunięty.
    3. Wykonaj próbę radiową.
  6. Kalibracja wizualna
    UWAGA: Ilekroć uczestnik przesunie okulary na głowie, należy powtórzyć kalibrację gałek ocznych. Poproś uczestnika, aby nie dotykał okularów do czasu zakończenia wszystkich prób.
    1. W Centrum okulografiiprzejdź do pole parametrów po lewej stronie ekranu.
      1. Sprawdź tryb kalibracji i wybrać ustałowany wzrok lub głowica stała odpowiednio.
      2. Upewnij się, że punkty kalibracyjne są a siatka 5 x 5, dla łącznie 25 punktów.
      3. Sprawdź tryb walidacji i upewnij się, że jest zgodne z tryb kalibracji.
      4. Należy sprawdzić wyniki śledzenia wzroku i zweryfikować, czy wszystkie dane wymagane do badania zostały zaznaczone w polach wyboru.
    2. Kliknij FPlik | Ustawienia | Zaawansowane i sprawdź, czy częstotliwość próbkowania jest 250 Hz.
    3. Sprawdź Kαλibruj system śledzenia wzroku pole na ekranie za pomocą myszy. Instrukcje kalibracji będą się różnić w zależności od trybu. Aby postępować zgodnie z niniejszym badaniem, należy użyć ustalony wzrok tryb kalibracji: poproś uczestników o ruch głową w taki sposób, aby ramka pokryła się z czarnym kwadratem i oba elementy zostały wyrównane. Następnie poproś uczestnika o skupienie wzroku na celowniku wewnątrz czarnego kwadratu i naciśnięcie spacji.
    4. Naciśnij Zatwierdź konfigurację układu pudełko. Instrukcje będą takie same, jak w kroku 2.6.3. Sprawdzić, czy rycina walidacyjna MAE (średni błąd bezwzględny) to <1°Jeśli nie, powtórz kroki 2.6.3 i 2.6.4.
    5. Prasa Zapisz kalibrację aby zapisywać kalibrację w profilu po każdym ukończeniu kalibracji i walidacji.
  7. użycie iPada
    UWAGA: iPad znajduje się po lewej stronie panelu sterowania (patrz Rycina 1). Jest on wykorzystywany do wypełniania kwestionariuszy, zazwyczaj po locie.
    1. Włącz iPad i upewnij się, że jest on połączony z Internetem.
    2. Otwórz okno w przeglądarce Safari i wprowadź link do kwestionariusza badania.

3. Gromadzenie danych

UWAGA: Powtórz te kroki dla każdej próby. Zaleca się, aby laptop znajdował się na stole roboczym poza kokpitem.

  1. Na komputerze symulatora lotu, w instrukcja ekran, naciśnij Ustawienia wstępne, a następnie wybrać pożądany Położenie ustawienie do symulacji. Naciśnij Zastosuj przycisk i obserwuj ekrany wokół symulatora, aby zweryfikować, czy zmiana nastąpiła.
  2. Powtórz krok 3.1, aby zastosować Pogoda ustawienie wstępne
  3. Przekaż uczestnikowi wszelkie szczegółowe instrukcje dotyczące próby lub trasy lotu. Obejmuje to poinstruowanie go o konieczności zmiany wybranych ustawień na panelu instrumentów przed rozpoczęciem.
  4. Na ekranie instrukcji naciśnij pomarańczowy ZATRZYMANO przycisk do rozpoczęcia zbierania danych. Kolor zmieni się na zielony, a tekst będzie brzmiał LOTNICYNależy przekazać uczestnikowi sygnał słowny, aby wiedział, że może rozpocząć sterowanie samolotem. Zalecanym sygnałem jest: „3, 2, 1, przekazuję sterowaniejako pomarańczowy stop Przycisk zostaje naciśnięty.
  5. W laptopie kolekcjonera naciśnij Rozpocznij nagrywanie aby dane z eyetrackera były zsynchronizowane z danymi z symulatora lotu.
  6. Po zakończeniu przez uczestnika przelotu i wylądowaniu należy odczekać, aż statek powietrzny całkowicie się zatrzyma.
    UWAGA: Ważne jest odczekanie, ponieważ podczas przetwarzania końcowego dane są ucinane w momencie, gdy prędkość względem ziemi ustabilizuje się na poziomie 0. Zapewnia to spójność punktu końcowego dla wszystkich prób.
  7. Na ekranie instrukcji naciśnij zielony LOTY przycisk. Kolor zmieni się z powrotem na pomarańczowy, a tekst będzie brzmiał ZATRZYMANOPodaj sygnał słowny podczas tego etapu, gdy zbieranie danych będzie dobiegać końca. Zalecanym sygnałem jest „3, 2, 1, stop".
  8. Poproś uczestnika o wypełnienie kwestionariusza (lub kwestionariuszy) po badaniu na iPadzie. Odśwież stronę przed rozpoczęciem kolejnej próby.
    UWAGA: W niniejszym badaniu jako jedyny kwestionariusz po badaniu wykorzystano kwestionariusz samooceny Situation Awareness Rating Technique (SART)17.

4. Przetwarzanie i analiza danych

  1. Dane z symulatora lotu
    UWAGA: Plik .csv skopiowany z symulatora lotu zawiera ponad 1000 parametrów, które można kontrolować w symulatorze. Główne mierniki wydajności, które są przedmiotem zainteresowania, zostały wymienione i opisane w Tabela 1.
    1. Dla każdego uczestnika oblicz wskaźnik sukcesu korzystając z równ. (1) poprzez obliczenie wartości procentowej dla poszczególnych warunków zadania. Próby nieudane są identyfikowane na podstawie zdefiniowanych kryteriów zaprogramowanych w symulatorze, który automatycznie przerywa próbę w momencie przyziemienia ze względu na orientację samolotu i prędkość pionową. Należy przeprowadzić weryfikację po próbie, aby upewnić się, że kryterium to było zgodne z rzeczywistymi ograniczeniami samolotu (np. uszkodzenie podwozia/rozbicie samolotu Cessna 172 jest oczywiste przy prędkościach pionowych > 700 stóp/min [fpm] w momencie kontaktu z ziemią).
      Wskaźnik sukcesu = Wzór na współczynnik sukcesu, stosunek udanych lądowań do całkowitej liczby prób, obliczenia matematyczne. (1)
      UWAGA: Niższe wartości wskaźnika sukcesu oznaczają gorsze wyniki, ponieważ wiążą się z redukcją liczby udanych prób lądowania.
    2. Dla każdej próby obliczyć czas ukończenia na podstawie znacznika czasu, który wskazuje, że samolot zatrzymał się na pasie startowym (tj. prędkość nad ziemią [GroundSpeed] = 0 węzłów).
      UWAGA: Krótszy czas wykonania zadania nie zawsze musi oznaczać lepsze wyniki. Należy zachować ostrożność i zrozumieć, w jaki sposób warunki zadania (np. dodatkowe podmuchy wiatru, scenariusze awaryjne itp.) mogą wpłynąć na czas jego realizacji.
    3. Dla każdego powtórzenia należy wyznaczyć twardość wg wgłębienia na podstawie prędkości pionowej statku powietrznego (stopy/min) w momencie, gdy statek powietrzny po raz pierwszy dotyka pasa startowego. Należy upewnić się, że wartość ta została pobrana dla tej samej znacznej czasu, która wiąże się z pierwszą zmianą w Samolot na ziemi status z 0 (w powietrzu) do 1 (na ziemi).
      UWAGA: Wartości w zakresie -700 stóp/min do 0 stóp/min uważa się za bezpieczny, przy czym wartości bliższe 0 oznaczają łagodniejsze lądowania (tj. lepsze). Wartości ujemne reprezentować pionowa prędkość opadania; wartości dodatnie reprezentować pionowa prędkość wznoszenia.
    4. Dla każdej próby obliczyć błąd lądowania (°) na podstawie różnicy między współrzędnymi punktu przyziemienia a punktem odniesienia na pasie startowym (środek znaczników 500 stóp). Przyjmując punkt odniesienia, oblicz błąd lądowania zgodnie z równaniem (2).
      Różnica = √((Δ szerokości geograficznej)2 + (Δ długości geograficznej)2)    (2)
      UWAGA: Wartości poniżej 1° uznaje się za prawidłowe5,15Wysokie wartości wskazują na większy błąd lądowania związany z punktami dotknięcia powierzchni przez samolot, które znajdują się dalej od strefy lądowania.
    5. Oblicz środki u wszystkich uczestników dla każdego zmienna wyniku wydajności dla każdego warunek zadaniaNależy podać te wartości.
  2. Dane dotyczące świadomości sytuacyjnej
    1. Dla każdej próby oblicz wynik SA na podstawie samoopisowych wyników SART w 10 wymiarach SA17.
      1. Należy zastosować kwestionariusz SART17 aby określić subiektywne odpowiedzi uczestników dotyczące ogólnego poziomu trudności zadania, a także ich odczucia w kwestii ilości dostępnych zasobów uwagi oraz zasobów wykorzystanych podczas wykonywania zadania.
      2. Z wykorzystaniem 7-stopniowej skali Likerta poproś uczestników o ocenę ich subiektywnych doświadczeń w odniesieniu do pytań sondujących, uwzględniając złożoność sytuacji, podział uwagi, wolne zasoby poznawcze oraz ilość i jakość informacji.
      3. Połącz te skale w szersze wymiary zapotrzebowania na uwagę (Demand), zasobów uwagi (Supply) oraz rozumienia sytuacji (Understanding).
      4. Wykorzystaj te oceny do obliczenia miary SA na podstawie równania (3):
        SA = Zrozumienie - (Popyt-Podaż)3)
        UWAGA: Wyższe wyniki w skalach połączonych w celu uzyskania miary zrozumienia sugerują, że uczestnik dobrze rozumie wykonywane zadanie. Podobnie, wysokie wyniki w dziedzinie zasobów (supply) sugerują, że uczestnik dysponuje znacznymi zasobami uwagi, które może poświęcić danemu zadaniu. Z kolei wysoki wynik w zakresie obciążenia (demand) sugeruje, że zadanie wymaga znacznych zasobów uwagi w celu jego ukończenia. Należy wyjaśnić, że wyniki te najlepiej interpretować poprzez porównanie różnych warunków (np. warunku łatwego i trudnego), zamiast traktować je jako miary samodzielne.
    2. Po zakończeniu zbierania danych należy obliczyć średnie dla wszystkich uczestników dla każdego z warunków zadania (tzn. podstawowego i awaryjnego). Wartości te należy zaraportować.
  3. Dane z okulografii
    1. Użyj skryptu wsadowego do śledzenia wzroku w celu ręcznego zdefiniowania obszarów zainteresowania (AOI) do mapowania spojrzeń. Skrypt otworzy nowe okno do wyboru klatki kluczowej, które powinno wyraźnie wyświetlać wszystkie kluczowe AOI podlegające analizie. Przewiń film i wybierz klatkę, na której wszystkie AOI są wyraźnie widoczne.
    2. Postępując zgodnie z instrukcjami wyświetlanymi na ekranie, narysuj prostokąt wokół obszaru kadru, który będzie widoczny przez cały czas trwania filmu, będzie unikalny i pozostanie stabilny.
      UWAGA: Celem tego kroku jest wygenerowanie układu współrzędnych „wewnątrz ekranu”, który może być stosowany w całym nagraniu wideo, ponieważ ruchy głowy powodują zmianę położenia obiektów w otoczeniu w trakcie trwania nagrania.
    3. Narysuj prostokąt dla każdego obszaru zainteresowania (AOI) na obrazie, kolejno jeden po drugim. Nazwij je odpowiednio. Kliknij Dodaj więcej Aby dodać nowy obszar zainteresowania (AOI) i nacisnąć Gotowe W przypadku ostatniego pomiaru, jeśli współrzędne spojrzenia podczas danej fiksacji znajdą się w obszarze obiektu zdefiniowanym w układzie współrzędnych „na ekranie” (in-screen), należy oznaczyć tę fiksację odpowiednią etykietą AOI.
      UWAGA: Celem tego kroku jest wygenerowanie biblioteki współrzędnych obiektów, które służą następnie jako punkty odniesienia podczas porównywania współrzędnych spojrzenia ze współrzędnymi na ekranie.
      Zazwyczaj wyróżnia się 10 obszarów zainteresowania (AOI), jednak zależy to od konfiguracji symulatora lotu. Panel instrumentów może być inny. Zgodnie z poprzednimi badaniami5,18w obecnym badaniu zastosowano następujące Obszary zainteresowania (AOI): prędkość powietrzna, położenie samolotu, wysokościomierz, koordynator zakrętów, kurs, prędkość wznoszenia/opadania, moc, okno przednie, okno lewe i Prawe okno (patrz Rysunek 1).
    4. Należy pozwolić skryptowi na przetworzenie obszarów zainteresowania (AOI) i wygenerowanie danych dotyczących fiksacji. Skrypt generuje wykres przedstawiający sakady i fiksacje na osi czasu wideo.
    5. Zostaną utworzone dwa nowe pliki: fixations.csv oraz aoi_parameters.yaml. Procesor wsadowy zakończy postprocesowanie danych dotyczących spojrzeń dla każdej próby i każdego uczestnika.
      UWAGA: Główne analizowane parametry śledzenia wzroku wymieniono w Tabela 2 i są one obliczane dla każdego AOI w każdej próbie.
    6. Dla każdej próby oblicz(cie) tradycyjne wskaźniki spojrzenia4,5 dla każdego AOI na podstawie danych wygenerowanych w pliku fixation.csv.
      UWAGA: W tym miejscu skupiamy się na czas przebywania (%), który oblicza się poprzez podzielenie sumy fiksacji dla konkretnego AOI przez sumę wszystkich fiksacji, a następnie pomnożenie otrzymanego ilorazu przez 100, aby uzyskać procent czasu spędzonego w danym AOI. Obliczone czasy przebywania nie mają wrodzonej interpretacji negatywnej lub pozytywnej. Wskazują one, gdzie uwaga jest alokowana w stopniu przeważającym. Dłuższe średnie czasy trwania fiksacji świadczą o zwiększonych wymaganiach przetwarzania informacji.
    7. Dla każdej próby oblicz częstość mrugania stosując rów. (4):
      Częstość mrugania = Całkowita liczba mrugnięć/czas wykonania (4)
      UWAGA: Poprzednie badania wykazały, że częstotliwość mrugania jest odwrotnie proporcjonalna do obciążenia poznawczego2,6,13,19,20.
    8. Dla każdej próby oblicz SGE, korzystając z równania (5)21:
      Wzór na entropię \(H_{SGE}(V)\) dla wierzchołka grafu, reprezentacja równania matematycznego.     (5)
      Gdzie v prawdopodobieństwo zaobserwowania ith AOI oraz V jest liczbą obszarów zainteresowania (AOI).
      UWAGA: Wyższe wartości SGE wiążą się z większym rozproszeniem fiksacji, natomiast niższe wartości wskazują na bardziej skoncentrowaną alokację fiksacji22.
    9. Dla każdej próby oblicz GTE, korzystając z równania (6)23:
      Wzór na obliczanie entropii, \(H_{GTE}(M)\), sumowanie, logarytm, równanie matematyczne.     (6)
      Gdzie V prawdopodobieństwo zaobserwowania ith AOI oraz M czy prawdopodobieństwo zaobserwowania jth AOI z uwzględnieniem poprzedniego podglądu ith Obszar zainteresowania (AOI).
      UWAGA: Wyższe wartości GTE wiążą się z bardziej nieprzewidywalnymi i złożonymi ścieżkami skanowania wzrokowego, natomiast niższe wartości GTE wskazują na bardziej przewidywalne, rutynowe ścieżki skanowania wzrokowego.
    10. Oblicz środki dla wszystkich uczestników dla każdej zmiennej wyjściowej okulografii (oraz obszaru zainteresowania [AOI], jeśli wskazano) i każdego warunku zadania. Należy zaraportować te wartości.
TerminDefinicja
Sukces (%)Procent udanych prób lądowania
Czas ukończenia (s)Czas trwania od rozpoczęcia scenariusza lądowania do całkowitego zatrzymania samolotu na pasie startowym
Twardość lądowania (fpm)Prędkość opadania w punkcie kontaktu z podłożem
Błąd lądowania (°)Różnica między środkiem samolotu a środkiem markera pasa startowego 500 ft w punkcie kontaktu z podłożem

Tabela 1: Zmienne wynikowe wydajności symulatora. Zmienne zależne od wydajności statku powietrznego i ich definicje.

Schemat kręgu podejścia samolotu z ustawieniami prędkości powietrznej i klap; szczegóły oznakowania pasa startowego.
Rysunek 2Trajektoria lotu w scenariuszu lądowania. Schemat (A) obwód lądowania został ukończony we wszystkich próbach i (B) pas startowy z markerami co 500 stóp, które posłużyły jako punkt odniesienia dla strefy lądowania (tj. pomarańczowego okręgu w centrum). Kliknij tutaj, aby wyświetlić powiększoną wersję tej figury.

Symulacja panelu instrumentów w kokpicie, trening nawigacji lotniczej, interfejs nauki lotnictwa.
Rycina 3: Mapowanie obszarów zainteresowania. Ilustracja skryptu wsadowego pokazująca okno wyboru klatki. Wybór optymalnej klatki polega na wskazaniu klatki wideo, która zawiera większość lub wszystkie obszary zainteresowania przeznaczone do zmapowania. Kliknij tutaj, aby zobaczyć powiększoną wersję tej ryciny.

Interfejs kokpitu samolotu, instrumenty nawigacyjne, symulacja, interfejs graficzny, narzędzie do analizy danych.
Rysunek 4: Generowanie mapowania współrzędnych „na ekranie” obszaru zainteresowania (AOI). Ilustracja skryptu wsadowego przedstawiająca okno wyboru współrzędnych „na ekranie”. Krok ten polega na wyborze kwadratowego lub prostokątnego obszaru, który pozostaje widoczny przez cały czas trwania nagrania, jest unikalny dla obrazu i pozostaje statyczny. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Interfejs narzędzia do wyboru AOI z wyświetlaczem kokpitu samolotu do konfiguracji analizy danych.
Rysunek 5: Identyfikacja obszaru zainteresowania do zmapowania. Ilustracja okna skryptu wsadowego, które umożliwia wybór i etykietowanie obszarów zainteresowania. Skrót: AOIs = obszary zainteresowania. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Wynik skryptu przetwarzania danych; wartości liczbowe, ścieżki plików, analiza zbioru danych, postęp wideo.
Rysunek 6: Przetwarzanie skryptem wsadowym. Ilustracja przetwarzania wideo za pomocą skryptu wsadowego oraz mapowania fiksacji wzroku wykonanych podczas próby. Aby wyświetlić powiększoną wersję tego rysunku, kliknij tutaj.

TermDefinicja
Czas przebywania (%)Procent sumy wszystkich czasów fiksacji w obrębie jednego AOI w stosunku do sumy czasów fiksacji w obrębie wszystkich AOI
Średni czas trwania fiksacji (ms)Średni czas trwania jednej fiksacji w obrębie jednego AOI, od wejścia do wyjścia
Częstość mrugania (blinks/s)Liczba mrugnięć na sekundę
SGE (bits)Dyspersja fiksacji
GTE (bits)Złożoność sekwencji skanowania
Liczba epizodów (Bouts)Liczba zdarzeń tunelowania poznawczego (>10 s)
Całkowity czas epizodów (s)Całkowity czas trwania zdarzeń tunelowania poznawczego

Tabela 2: Zmienne wynikowe okulografii. Zmienne zależne od zachowania wzroku i ich definicje.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Wyniki

Wpływ wymagań zadań na wyniki lotu
Dane analizowano w oparciu o udane próby lądowania w warunkach podstawowych i awaryjnych. Wszystkie pomiary poddano testowi t dla prób zależnych (czynnik wewnątrzgrupowy: warunki zadania (podstawowe, awaryjne)). Wszystkie testy t przeprowadzono przy poziomie istotności alfa ustalonym na 0,05. Czterech uczestników rozbiło maszyny podczas próby w scenariuszu awaryjnym i nie zostało włączonych do głównych analiz, ponieważ niska liczba danych nie pozwa...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Dyskusja

Opisana tutaj metoda śledzenia ruchu gałek ocznych umożliwia ocenę przetwarzania informacji w środowisku symulatora lotu za pomocą urządzenia śledzącego ruch gałek ocznych do noszenia. Ocena przestrzennych i czasowych cech zachowania wzroku zapewnia wgląd w przetwarzanie informacji przez człowieka, które zostało szeroko zbadane przy użyciu wysoce kontrolowanych paradygmatów laboratoryjnych 4,7,28. Wykorzystanie najnowszych osiąg...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Oświadczenia

Nie istnieją konkurencyjne interesy finansowe.

Podziękowania

Ta praca jest częściowo wspierana przez Kanadyjskie Stypendium dla Absolwentów (CGS) od Rady Badań Przyrodniczych i Inżynieryjnych (NSERC) Kanady oraz Grant Eksploracyjny (00753) z New Frontiers in Research Fund. Wszelkie opinie, ustalenia, wnioski lub zalecenia wyrażone w tym materiale są autorstwa autora (autorów) i niekoniecznie odzwierciedlają opinie sponsorów.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
symulator lotuALSIMAL-250naprawił w pełni wciągające urządzenie treningowe do symulacji lotu
laptopHpLenovodo zbierania danych śledzenia wzroku; wymagania: Windows 10 i python 3.0
przenośny eye-trackerAdHawk Okulary śledzące ruch gałek ocznych MindLink (250 Hz, < 2&stopnie; błąd spojrzenia, kamera przednia); Skrypt wsadowy śledzenia ruchu gałek ocznych jest udostępniany przy zakupie urządzenia AdHawk

Bibliografia

  1. de Brouwer, A. J., Flanagan, J. R., Spering, M. Functional use of eye movements for an acting system. Trends Cogn Sci. 25 (3), 252-263 (2021).
  2. Ayala, N., Kearns, S., Cao, S., Irving, E., Niechwiej-Szwedo, E. Investigating the role of flight phase and task difficulty on low-time pilot performance, gaze dynamics and subjective situation awareness during simulated flight. J Eye Mov Res. 17 (1), (2024).
  3. Land, M. F., Hayhoe, M. In what ways do eye movements contribute to everyday activities. Vision Res. 41 (25-26), 3559-3565 (2001).
  4. Ayala, N., Zafar, A., Niechwiej-Szwedo, E. Gaze behavior: a window into distinct cognitive processes revealed by the Tower of London test. Vision Res. 199, 108072(2022).
  5. Ayala, N. The effects of task difficulty on gaze behavior during landing with visual flight rules in low-time pilots. J Eye Mov Res. 16, 10(2023).
  6. Glaholt, M. G. Eye tracking in the cockpit: a review of the relationships between eye movements and the aviators cognitive state. , (2014).
  7. Hodgson, T. L., Bajwa, A., Owen, A. M., Kennard, C. The strategic control of gaze direction in the Tower-of-London task. J Cognitive Neurosci. 12 (5), 894-907 (2000).
  8. van De Merwe, K., Van Dijk, H., Zon, R. Eye movements as an indicator of situation awareness in a flight simulator experiment. Int J Aviat Psychol. 22 (1), 78-95 (2012).
  9. Kok, E. M., Jarodzka, H. Before your very eyes: The value and limitations of eye tracking in medical education. Med Educ. 51 (1), 114-122 (2017).
  10. Di Stasi, L. L., et al. Gaze entropy reflects surgical task load. Surg Endosc. 30, 5034-5043 (2016).
  11. Laubrock, J., Krutz, A., Nübel, J., Spethmann, S. Gaze patterns reflect and predict expertise in dynamic echocardiographic imaging. J Med Imag. 10 (S1), S11906-S11906 (2023).
  12. Brams, S., et al. Does effective gaze behavior lead to enhanced performance in a complex error-detection cockpit task. PloS One. 13 (11), e0207439(2018).
  13. Peißl, S., Wickens, C. D., Baruah, R. Eye-tracking measures in aviation: A selective literature review. Int J Aero Psych. 28 (3-4), 98-112 (2018).
  14. Ziv, G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. Int J Aviat Psychol. 26 (3-4), 75-104 (2016).
  15. Ke, L., et al. Evaluating flight performance and eye movement patterns using virtual reality flight simulator. J. Vis. Exp. (195), e65170(2023).
  16. Krejtz, K., et al. Gaze transition entropy. ACM Transactions on Applied Perception. 13 (1), 1-20 (2015).
  17. Taylor, R. M., Selcon, S. J. Cognitive quality and situational awareness with advanced aircraft attitude displays. Proceedings of the Human Factors Society Annual Meeting. 34 (1), 26-30 (1990).
  18. Ayala, N., et al. Does fiducial marker visibility impact task performance and information processing in novice and low-time pilots. Computers & Graphics. 199, 103889(2024).
  19. Recarte, M. Á, Pérez, E., Conchillo, Á, Nunes, L. M. Mental workload and visual impairment: Differences between pupil, blink, and subjective rating. Spanish J Psych. 11 (2), 374-385 (2008).
  20. Zheng, B., et al. Workload assessment of surgeons: correlation between NASA TLX and blinks. Surg Endosc. 26, 2746-2750 (2012).
  21. Shannon, C. E. A mathematical theory of communication. The Bell System Technical Journal. 27 (3), 379-423 (1948).
  22. Shiferaw, B., Downey, L., Crewther, D. A review of gaze entropy as a measure of visual scanning efficiency. Neurosci Biobehav R. 96, 353-366 (2019).
  23. Ciuperca, G., Girardin, V. Estimation of the entropy rate of a countable Markov chain. Commun Stat-Theory and Methods. 36 (14), 2543-2557 (2007).
  24. Federal aviation administration. Airplane flying handbook. , Federal Aviation Administration. Washington, DC. FAA-H-8083-3C (2021).
  25. Brown, D. L., Vitense, H. S., Wetzel, P. A., Anderson, G. M. Instrument scan strategies of F-117A Pilots. Aviat, Space, Envir Med. 73 (10), 1007-1013 (2002).
  26. Lu, T., Lou, Z., Shao, F., Li, Y., You, X. Attention and entropy in simulated flight with varying cognitive loads. Aerosp Medicine Hum Perf. 91 (6), 489-495 (2020).
  27. "Automation surprise" in aviation: Real-time solutions. Dehais, F., Peysakhovich, V., Scannella, S., Fongue, J., Gateau, T. Proceedings of the 33rd Annual ACM conference on Human Factors in Computing Systems, , 2525-2534 (2015).
  28. Kowler, E. Eye movements: The past 25 years. J Vis Res. 51 (13), 1457-1483 (2011).
  29. Zafar, A., et al. Investigation of camera-free eye-tracking glasses compared to a video-based system. Sensors. 23 (18), 7753(2023).
  30. Leube, A., Rifai, K. Sampling rate influences saccade detection in mobile eye tracking of a reading task. J Eye Mov Res. 10 (3), (2017).
  31. Diaz-Piedra, C., et al. The effects of flight complexity on gaze entropy: An experimental study with fighter pilots. Appl Ergon. 77, 92-99 (2019).
  32. Shiferaw, B. A., et al. Stationary gaze entropy predicts lane departure events in sleep-deprived drivers. Sci Rep. 8 (1), 1-10 (2018).
  33. Parker, A. J., Kirkby, J. A., Slattery, T. J. Undersweep fixations during reading in adults and children. J Exp Child Psychol. 192, 104788(2020).
  34. Ayala, N., Kearns, S., Irving, E., Cao, S., Niechwiej-Szwedo, E. The effects of a dual task on gaze behavior examined during a simulated flight in low-time pilots. Front Psychol. 15, 1439401(2024).
  35. Ayala, N., Heath, M. Executive dysfunction after a sport-related concussion is independent of task-based symptom burden. J Neurotraum. 37 (23), 2558-2568 (2020).
  36. Huddy, V. C., et al. Gaze strategies during planning in first-episode psychosis. J Abnorm Psychol. 116 (3), 589(2007).
  37. Irving, E. L., Steinbach, M. J., Lillakas, L., Babu, R. J., Hutchings, N. Horizontal saccade dynamics across the human life span. Invest Opth Vis Sci. 47 (6), 2478-2484 (2006).
  38. Yep, R., et al. Interleaved pro/anti-saccade behavior across the lifespan. Front Aging Neurosci. 14, 842549(2022).
  39. Manoel, E. D. J., Connolly, K. J. Variability and the development of skilled actions. Int J Psychophys. 19 (2), 129-147 (1995).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Przedruki i uprawnienia

Tagi

Szkolenie lotniczeświadomość sytuacyjnamapowanie spojrzeńsymulator lotuobciążenie poznawczealokacja uwaginoszony okulografzachowanie wzrokuzadanie awaryjne
Śledzenie ruchu gałek ocznych podczas złożonego zadania lotniczego w celu uzyskania wglądu w przetwarzanie informacji
Skontaktuj się z nami
Poleć bibliotece

Prywatność

Warunki korzystania z usługi

Zasady

Prawa autorskie © 2026 MyJoVE Corporation. Wszelkie prawa zastrzeżone.