Śledzenie ruchu gałek ocznych podczas złożonego zadania lotniczego w celu uzyskania wglądu w przetwarzanie informacji
4 kwietnia 2025
Śledzenie ruchu gałek ocznych to nieinwazyjna metoda badania przetwarzania informacji. W tym artykule opisano, w jaki sposób śledzenie wzroku może być wykorzystane do badania zachowania wzroku podczas zadania awaryjnego symulacji lotu u pilotów o niskim czasie lotu (tj. <350 godzin lotu).
W naszych badaniach opracowywane są obiektywne psychofizjologiczne miary świadomości sytuacyjnej pilotów z wykorzystaniem śledzenia ruchu gałek ocznych w celu usprawnienia szkolenia i oceny opartej na danych, opartej na kompetencjach. Postępy w śledzeniu ruchu gałek ocznych usprawniają szkolenie lotnicze poprzez monitorowanie stanów uwagi, takich jak zmęczenie, obciążenie poznawcze i błądzenie myślami, poprawiając wydajność i bezpieczeństwo pilota. Zintegrowane śledzenie ruchu gałek ocznych w symulatorach, VR i AR umożliwia realistyczną ocenę stanu psychicznego pilota i zachowań związanych ze skanowaniem, przenosząc badania poza laboratoria do rzeczywistych kokpitów i symulacji o wysokiej wierności.
Kluczowym wyzwaniem jest segmentacja obszarów zainteresowań i walidacja etykiet, które są pracochłonne, ale kluczowe. W naszym eksperymencie badamy metodę automatyzacji na wczesnym etapie, która wymaga dalszego rozwoju. Moja praca wspiera śledzenie ruchu gałek ocznych w szkoleniu lotniczym w celu oceny przetwarzania informacji przez pilotów, alokacji uwagi, radzenia sobie ze stresem i zachowań wzrokowych, które wskazują na ryzyko wpływające na monitorowanie i bezpieczeństwo samolotów.
Aby rozpocząć, włącz symulator lotu i ekrany projektora. Na ekranie instrukcji naciśnij kartę Ustawienia wstępne i sprawdź, czy wymagane ustawienia wstępne pozycji i/lub pogody są dostępne. Następnie włącz laptopa do zbierania danych i zaloguj się za pomocą danych uwierzytelniających.
Po wyświetleniu monitu wybierz istniejący profil, utwórz nowy dla nowego uczestnika lub wybierz opcję Gość, aby nadpisać jego ostatnią kalibrację. Aby skalibrować okulary, otwórz etui na okulary eye tracker i wyjmij okulary. Następnie wybierz końcówkę.
Podłącz USB do Micro-USB z laptopa do okularów. Następnie zlokalizuj czarne pudełko kalibracyjne wewnątrz obudowy eye trackera. Umieść okulary w pudełku kalibracyjnym.
Na laptopie z gromadką danych w centrum śledzenia ruchu gałek ocznych wybierz Narzędzia, a następnie Kalibracja urządzenia. Naciśnij Start w wyskakującym okienku, aby rozpocząć kalibrację. Po zakończeniu kalibracji wyjmij okulary z pudełka.
Aby zapewnić prawidłowe dopasowanie noska, poinstruuj uczestnika, aby usiadł w kokpicie i założył okulary. Sprawdź pole regulacji dopasowania okularów w prawym dolnym rogu ekranu. Jeśli dopasowanie jest oznaczone jako doskonałe, przejdź do następnego kroku.
W przeciwnym razie kliknij pole. Następnie poinstruuj uczestnika, aby postępował zgodnie z zaleceniami dotyczącymi dopasowania na ekranie, wyregulował końcówkę, upewnił się, że okulary są wygodnie dopasowane i patrzył prosto przed siebie na laptopa. Teraz ściśnij nos na środku, wysuń go z okularów i wsuń kolejny.
Aby postępować zgodnie z trybem kalibracji stałego spojrzenia w badaniu, poinstruuj uczestnika, aby poruszał głową, tak aby pudełko nachodziło na kwadrat i wyrównało się. Następnie poproś uczestnika, aby skupił wzrok na celowniku wewnątrz czarnego kwadratu i nacisnął spację. Następnie sprawdź, czy zestaw słuchawkowy jest podłączony do gniazda znajdującego się po lewej stronie spodu deski rozdzielczej.
Przed kalibracją gałki ocznej przejdź do pola Parametr w Hubie śledzenia ruchu gałek ocznych. Sprawdź tryb kalibracji i wybierz eter Stałe spojrzenie lub Stała głowica, odpowiednio do badania. Upewnij się, że punkty kalibracji są wyświetlane jako siatka trzy na trzy o łącznej sumie dziewięciu punktów.
Sprawdź, czy tryb walidacji jest zgodny z trybem kalibracji. Następnie sprawdź wyniki śledzenia ruchu gałek ocznych i upewnij się, że wszystkie parametry wymagane do badania są zaznaczone za pomocą pól wyboru. W centrum śledzenia ruchu gałek ocznych kliknij pozycję Plik, Ustawienia i Śledzenie ruchu gałek ocznych.
Sprawdź, czy częstotliwość próbkowania jest ustawiona na 250 herców. Naciśnij pole Zatwierdź konfigurację i sprawdź, czy średni błąd bezwzględny jest mniejszy niż jeden stopień, a następnie zapisz kalibrację w profilu. W celu zebrania danych należy przekazać uczestnikowi jasne instrukcje dotyczące próby lub toru lotu, w tym sposobu dostosowania ustawień na tablicy wskaźników przed rozpoczęciem symulacji.
Na ekranie instrukcji naciśnij pomarańczowy przycisk Zatrzymano, aby rozpocząć zbieranie danych. Upewnij się, że kolor zmieni się na zielony, a tekst zostanie zaktualizowany do Latanie. Na laptopie do zbierania danych naciśnij przycisk Rozpocznij nagrywanie, aby zsynchronizować dane z urządzenia śledzącego ruch gałek ocznych z danymi symulatora lotu.
Kiedy uczestnik zakończy swój obwód i wyląduje, poczekaj, aż dron całkowicie się zatrzyma. Na ekranie instrukcji naciśnij zielony przycisk latania, aby zatrzymać zbieranie danych. Upewnij się, że kolor zmieni się z powrotem na pomarańczowy, a tekst zostanie zaktualizowany do Zatrzymany.
Uruchom skrypt wsadowy śledzenia ruchu gałek ocznych, aby ręcznie zdefiniować obszary zainteresowania (AOI) na potrzeby mapowania spojrzenia. Skrypt otworzy nowe okno do wyboru klatek kluczowych. Przewiń film i wybierz klatkę, która wyraźnie pokazuje wszystkie kluczowe obszary zainteresowania do analizy.
Postępuj zgodnie z instrukcjami wyświetlanymi na ekranie, aby narysować prostokąt nad obszarem klatki, który jest widoczny przez cały film, niepowtarzalny i pozostaje stabilny. Następnie narysuj prostokąt dla każdego AOI w ramce, pojedynczo. Nazwij odpowiednio każdy prostokąt.
Użyj przycisku Dodaj więcej, aby dodać nowe AOI i naciśnij Gotowe na ostatnim. Uruchom skrypt, aby przetworzyć AOI i wygenerować dane fiksacji, które wygenerują wykres przedstawiający sakkady i fiksacje na wideo. Awaryjne warunki zadaniowe znacznie zmniejszyły wskaźnik powodzenia lądowań w porównaniu z warunkami podstawowymi.
Czas ukończenia był istotnie krótszy w badaniach awaryjnych w porównaniu z badaniami podstawowymi. Błąd lądowania był również znacznie wyższy w próbach awaryjnych w porównaniu z próbami podstawowymi. Subiektywny wynik świadomości sytuacyjnej był istotnie niższy podczas zadań awaryjnych w porównaniu z zadaniami podstawowymi.
Podaż i popyt na świadomość sytuacyjną wzrosły od prób podstawowych do prób awaryjnych, a zrozumienie świadomości sytuacyjnej zmniejszyło się od badań podstawowych do prób awaryjnych. Pomiary Gaze wykazały znaczne skrócenie czasu przebywania na kluczowych instrumentach, takich jak wysokościomierz i wskaźniki położenia w warunkach awaryjnych. Częstotliwość mrugania znacznie wzrosła w warunkach awaryjnych w porównaniu z warunkami podstawowymi.
Zaawansowane wskaźniki spojrzenia, takie jak SGE i GTE, zostały znacznie zmniejszone w warunkach awaryjnych.
Wyświetl pełny transkrypt i uzyskaj dostęp do tysięcy filmów naukowych
Przegląd
Ten artykuł bada zastosowanie śledzenia wzroku jako nieinwazyjnej metody do badania zachowania poglądów wśród pilotów z niskim doświadczeniem podczas symulacji lotu w zadaniu awaryjnym. Podkreśla znaczenie monitorowania stanów uwagi dla ulepszania szkolenia pilotów i bezpieczeństwa.
Kluczowe elementy badania
Dziedzina nauki
- Neuronauki
- Psychologia lotnicza
- Czynniki ludzkie
Tło
- Śledzenie wzroku zapewnia obiektywne miary świadomości sytuacyjnej pilotów.
- Postępy w technologii pozwalają na monitorowanie stanów poznawczych, takich jak zmęczenie i obciążenie poznawcze.
- Integracja śledzenia wzroku w symulatorach i VR zwiększa realizm szkolenia.
- Wyzwania obejmują pracointensywne segmentowanie obszarów zainteresowania i walidację etykiet.
Cel badania
- Oceniać przetwarzanie informacji i alokację uwagi pilotów.
- Ulepszyć metody szkolenia i oceny w lotnictwie.
- Badać metody automatyzacji analizy śledzenia wzroku.
Zastosowane metody
- Technologia śledzenia wzroku zintegrowana z symulatorami lotniczymi.
- Monitorowanie stanów uwagi podczas zadań awaryjnych.
- Zbieranie danych na temat zachowań poglądów i obciążenia poznawczego.
- Badanie automatyzacji w segmentacji obszarów zainteresowania.
Główne wyniki
- Śledzenie wzroku skutecznie monitoruje stany psychiczne pilotów.
- Zidentyfikowano zachowania poglądów, które wskazują na ryzyko w monitorowaniu samolotów.
- Ulepszone zrozumienie obciążenia poznawczego i alokacji uwagi.
- Wstępne wyniki wspierają dalszy rozwój metod automatyzacji.
Wnioski
- Śledzenie wzroku jest cennym narzędziem do ulepszania szkolenia lotniczego.
- Dostarcza wglądu w procesy poznawcze pilotów i ryzyko.
- Wymagane są dalsze badania w celu udoskonalenia technik automatyzacji.
Często zadawane pytania
Executive Industry Relevance
Objective eye tracking in high-fidelity simulation environments enables quantifiable assessment of information processing, attention allocation, and cognitive load during complex operational tasks. For biopharma R&D, such methodologies inform the design and validation of translational models that require robust measurement of human performance and cognitive state. These capabilities support predictive confidence in early-stage target validation and mechanistic de-risking for neurocognitive and human factors research portfolios.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables objective quantification of cognitive and perceptual responses to defined stimuli.
- Supports mechanistic de-risking by linking gaze metrics to information processing efficiency.
- Facilitates functional validation of neurocognitive targets in translational research settings.
Screening & Assay Development
- Provides validated behavioral endpoints for screening interventions affecting attention or cognitive load.
- Standardizes measurement of gaze allocation and dwell time as reproducible quantitative outputs.
- Enables assay development for compounds or devices targeting cognitive performance.
Translational & Preclinical Research
- Aligns human behavioral metrics with disease-relevant endpoints for translational continuity.
- Supports risk-adjusted advancement of neurocognitive interventions based on objective readouts.
- Facilitates cross-species or cross-model comparison of attention and information processing metrics.
Pipeline & Workflow Integration
Wearable eye tracking and AOI-based gaze analysis integrate into the discovery-to-preclinical continuum for neurocognitive and behavioral research.
- Discovery Biology: Quantifies attention allocation and cognitive load as mechanistic endpoints for hypothesis testing.
- Screening: Delivers reproducible, quantitative gaze metrics for evaluating intervention effects.
- Analytics: Provides statistical outputs such as dwell time, gaze dispersion, and blink rate for condition comparison.
- Translational Research: Bridges human simulation data with preclinical models for biomarker alignment.
- Enterprise Reuse: Establishes a scalable, reusable platform for cognitive and behavioral assessment across programs.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence and reduces ambiguity in neurocognitive target validation.
- Operational Value: Standardizes behavioral measurement and enhances reproducibility across studies.
- Strategic Value: Informs go/no-go decisions and portfolio triage based on objective cognitive endpoints.
- Portfolio Impact: Supports risk-adjusted prioritization of neurocognitive and behavioral intervention programs.
Implementation Considerations
- Requires expertise in psychophysiological measurement and behavioral analytics.
- Demands high-fidelity simulation infrastructure and validated eye tracking instrumentation.
- Necessitates rigorous AOI segmentation and label validation for reproducibility.
- Must address adaptation of gaze mapping algorithms across different simulation or model systems.
- Current automation of AOI labeling is early-stage and may require manual validation.
