Eye Tracking tijdens een complexe luchtvaarttaak voor inzicht in informatieverwerking

Samenvatting

Eye tracking is een niet-invasieve methode om informatieverwerking te onderzoeken. In dit artikel wordt beschreven hoe eye-tracking kan worden gebruikt om het blikgedrag te bestuderen tijdens een noodtaak voor vluchtsimulatie bij piloten met weinig tijd (d.w.z. <350 vlieguren).

Samenvatting

Eye-tracking is op grote schaal gebruikt als proxy om inzicht te krijgen in de cognitieve, perceptuele en sensomotorische processen die ten grondslag liggen aan vaardigheidsprestaties. Eerder werk heeft aangetoond dat traditionele en geavanceerde blikmetrieken op betrouwbare wijze robuuste verschillen aantonen in pilootexpertise, cognitieve belasting, vermoeidheid en zelfs situatiebewustzijn (SA).

Deze studie beschrijft de methodologie voor het gebruik van een draagbare eyetracker en gaze mapping-algoritme dat naturalistische hoofd- en oogbewegingen (d.w.z. blik) vastlegt in een high-fidelity vluchtloze simulator. De methode die in dit document wordt beschreven, beschrijft de op interessegebied (AOI) gebaseerde blikanalyses, die meer context bieden met betrekking tot waar deelnemers naar kijken, en de duur van de verblijftijd, die aangeeft hoe efficiënt ze de gefixeerde informatie verwerken. Het protocol illustreert het nut van een draagbare eyetracker en een computervisie-algoritme om veranderingen in het blikgedrag te beoordelen als reactie op een onverwachte noodsituatie tijdens de vlucht.

Representatieve resultaten toonden aan dat de blik aanzienlijk werd beïnvloed toen de noodsituatie werd geïntroduceerd. Met name de aandachtstoewijzing, de spreiding van de blik en de complexiteit van de bliksequentie namen aanzienlijk af en werden sterk geconcentreerd op het kijken buiten het voorraam en naar de luchtsnelheidsmeter tijdens het noodscenario (alle p-waarden < 0,05). Het nut en de beperkingen van het gebruik van een draagbare eyetracker in een high-fidelity bewegingsloze vluchtsimulatieomgeving om de spatiotemporele kenmerken van blikgedrag en de relatie ervan met informatieverwerking in het luchtvaartdomein te begrijpen, worden besproken.

Inleiding

Mensen hebben voornamelijk interactie met de wereld om hen heen door eerst hun ogen en hoofd te bewegen om hun gezichtslijn (d.w.z. staren) te richten op een specifiek object of een specifieke locatie van belang. Dit geldt met name in complexe omgevingen zoals vliegtuigcockpits waar piloten worden geconfronteerd met meerdere concurrerende stimuli. Blikbewegingen maken het mogelijk om visuele informatie met hoge resolutie te verzamelen die mensen in staat stelt om op een veilige en flexibele manier met hun omgeving om te gaan¹, wat van het grootste belang is in de luchtvaart. Studies hebben aangetoond dat oogbewegingen en blikgedrag inzicht geven in onderliggende perceptuele, cognitieve en motorische processen bij verschillende taken ^1,2,3. Bovendien heeft waar we kijken een directe invloed op de planning en uitvoering van bewegingen van de bovenste ledematen³. Daarom biedt analyse van blikgedrag tijdens luchtvaarttaken een objectieve en niet-invasieve methode, die zou kunnen onthullen hoe oogbewegingspatronen zich verhouden tot verschillende aspecten van informatieverwerking en -prestaties.

Verschillende onderzoeken hebben een verband aangetoond tussen blik en taakuitvoering in verschillende laboratoriumparadigma's, evenals complexe taken in de echte wereld (d.w.z. het besturen van een vliegtuig). Taakrelevante gebieden hebben bijvoorbeeld de neiging om vaker en voor een langere totale duur te worden gefixeerd, wat suggereert dat fixatielocatie, frequentie en verblijftijd proxy's zijn voor de toewijzing van aandacht bij neurocognitieve en luchtvaarttaken ^4,5,6. Zeer succesvolle presteerders en experts vertonen significante fixatiebias op taakkritische gebieden in vergelijking met minder succesvolle presteerders of beginners ^4,7,8. Spatiotemporele aspecten van de blik worden vastgelegd door veranderingen in verblijftijdpatronen in verschillende interessegebieden (AOI's) of metingen van fixatieverdeling (d.w.z. Stationary Gaze Entropy: SGE). In de context van laboratoriumgebaseerde paradigma's hebben de gemiddelde fixatieduur, de lengte van het scanpad en de complexiteit van de bliksequentie (d.w.z. Gaze Transition Entropy: GTE) de neiging toe te nemen als gevolg van het toegenomen scannen en verwerken dat nodig is om problemen op te lossen en meer uitdagende taakdoelen/oplossingen uit te werken ^4,7.

Omgekeerd hebben luchtvaartstudies aangetoond dat de lengte van het scanpad en de complexiteit van de bliksequentie afnemen met de complexiteit van de taak en de cognitieve belasting. Deze discrepantie benadrukt het feit dat het begrijpen van de taakcomponenten en de eisen van het gebruikte paradigma van cruciaal belang is voor de nauwkeurige interpretatie van blikmetrieken. Al met al ondersteunt onderzoek tot nu toe dat blikmetingen een zinvol, objectief inzicht bieden in taakspecifieke informatieverwerking die ten grondslag ligt aan de verschillen in taakmoeilijkheid, cognitieve belasting en taakuitvoering. Met de vooruitgang in eye-trackingtechnologie (d.w.z. draagbaarheid, kalibratie en kosten), is het onderzoeken van blikgedrag in 'het wild' een opkomend onderzoeksgebied met tastbare toepassingen voor het bevorderen van beroepsopleiding op het gebied van geneeskunde ^9,10,11 en luchtvaart 12,13,14.

Het huidige werk is gericht op het verder onderzoeken van het nut van het gebruik van op blik gebaseerde metrieken om inzicht te krijgen in informatieverwerking door specifiek een draagbare eye-tracker in te zetten tijdens een noodvluchtsimulatietaak bij piloten met een lage tijdsduur. Deze studie bouwt voort op eerder werk waarbij een hoofdgestabiliseerde eye-tracker (d.w.z. EyeLink II) werd gebruikt om verschillen in blikgedrag te onderzoeken als functie van de vliegmoeilijkheid (d.w.z. veranderingen in weersomstandigheden)⁵. Het werk dat in dit manuscript wordt gepresenteerd, bouwt ook voort op ander werk dat de methodologische en analytische benaderingen voor het gebruik van eye-tracking in een virtual reality-systeem beschreef¹⁵. Onze studie gebruikte een onbeweeglijke simulator met een hogere getrouwheid en rapporteert aanvullende analyse van oogbewegingsgegevens (d.w.z. entropie). Dit type analyse is in eerdere artikelen gerapporteerd; Een beperking in de huidige literatuur is echter het gebrek aan standaardisatie bij het rapporteren van de analytische stappen. Het is bijvoorbeeld van cruciaal belang om te rapporteren hoe interessegebieden worden gedefinieerd, omdat dit rechtstreeks van invloed is op de resulterende entropiewaarden¹⁶.

Samenvattend: het huidige werk onderzocht traditionele en dynamische blikgedragsmetrieken, terwijl de moeilijkheidsgraad van de taak werd gemanipuleerd via de introductie van een noodscenario tijdens de vlucht (d.w.z. onverwachte totale motorstoring). Verwacht werd dat de introductie van een noodscenario tijdens de vlucht inzicht zou geven in veranderingen in het blikgedrag die ten grondslag liggen aan informatieverwerking tijdens meer uitdagende taakomstandigheden. De hier gerapporteerde studie maakt deel uit van een grotere studie waarin het nut van eye-tracking in een vluchtsimulator wordt onderzocht om competentiegerichte pilotentraining te informeren. De hier gepresenteerde resultaten zijn niet eerder gepubliceerd.

Protocol

Het volgende protocol kan worden toegepast op onderzoeken waarbij een draagbare eyetracker en een vluchtsimulator betrokken zijn. De huidige studie omvat eye-tracking-gegevens die naast complexe luchtvaartgerelateerde taken in een vluchtsimulator worden geregistreerd (zie materiaaltabel). De simulator was geconfigureerd om representatief te zijn voor een Cessna 172 en werd gebruikt met het benodigde instrumentenpaneel (stoommeterconfiguratie), een avionica/GPS-systeem, een audio-/verlichtingspaneel, een stroomonderbrekerpaneel en een Flight Control Unit (FCU) (zie figuur 1). Het vluchtsimulatorapparaat dat in dit onderzoek wordt gebruikt, is certificeerbaar voor trainingsdoeleinden en wordt door de lokale vliegschool gebruikt om de vaardigheden te trainen die nodig zijn om te reageren op verschillende noodscenario's, zoals motorstoring, in een omgeving met een laag risico. Deelnemers aan dit onderzoek hadden allemaal een licentie; Daarom hebben ze het scenario van de motorstoringssimulator eerder in de loop van hun training ervaren. Deze studie werd goedgekeurd door het Office of Research Ethics van de Universiteit van Waterloo (43564; Datum: 17 november 2021). Alle deelnemers (N = 24; 14 mannen, 10 vrouwen; gemiddelde leeftijd = 22 jaar; vliegurenbereik: 51-280 uur) gaven schriftelijke geïnformeerde toestemming.

Figuur 1: Vluchtsimulatoromgeving. Een illustratie van de vluchtsimulatoromgeving. Het gezichtspunt van de deelnemer aan de cockpit repliceerde dat van een piloot die een Cessna 172 bestuurde, vooraf ingesteld voor een downwind-to-base-to-final nadering naar Waterloo International Airport, Breslau, Ontario, CA. De oranje kaders vertegenwoordigen de tien belangrijkste aandachtsgebieden die in de blikanalyses worden gebruikt. Deze omvatten de (1) luchtsnelheid, (2) houding, (3) hoogtemeter, (4) bochtcoördinator, (5) koers, (6) verticale snelheid en (7) vermogensindicatoren, evenals de (8) voor-, (9) linker- en (10) rechterramen. Dit cijfer is gewijzigd ten opzichte van Ayala et ^al.5. Klik hier om een grotere versie van deze figuur te bekijken.

1. Screening van deelnemers en geïnformeerde toestemming

1. Screen de deelnemer via een zelfrapportagevragenlijst op basis van inclusie-/exclusiecriteria ^2,5: bezit van ten minste een Private Pilot License (PPL), normaal of gecorrigeerd naar normaal zicht, en geen eerdere diagnose met een neuropsychiatrische/neurologische aandoening of leerstoornis.
2. Informeer de deelnemer over de studiedoelstellingen en -procedures door middel van een gedetailleerde briefing door de onderzoeker en de toezichthoudende vlieginstructeur/simulatortechnicus. Bekijk de risico's die worden beschreven in het door de ethische toetsingscommissie goedgekeurde toestemmingsdocument van de instelling. Beantwoord alle vragen over de mogelijke risico's. Verkrijg schriftelijke geïnformeerde toestemming voordat u met studieprocedures begint.

2. Hardware-/softwarevereisten en opstarten

1. Vluchtsimulator (meestal voltooid door de simulatortechnicus)
   1. Zet de simulator- en projectorschermen aan. Als een van de projectoren niet tegelijkertijd met de andere wordt ingeschakeld, start u de simulator opnieuw op.
   2. Druk op het instructiescherm op het tabblad Voorinstellingen en controleer of de vereiste voorinstellingen voor positie en/of weer beschikbaar zijn. Maak indien nodig een nieuw type voorinstelling; Raadpleeg de technicus voor hulp.
2. Collectie laptop
   1. Draai de laptop om en log in met inloggegevens.
   2. Wanneer daarom wordt gevraagd, selecteert u een reeds bestaand profiel of maakt u er een aan als u een nieuwe deelnemer test. U kunt ook de optie Gast selecteren om de laatste kalibratie te overschrijven.
      1. Als u een nieuw profiel wilt maken, scrolt u naar het einde van de profiellijst en klikt u op Toevoegen.
   3. Stel de profiel-ID in op de deelnemers-ID. Deze profiel-ID wordt gebruikt om de map te taggen, die eye-trackinggegevens bevat nadat een opname is voltooid.
3. Kalibratie van brillen
   OPMERKING: De bril moet aangesloten blijven op de laptop om op te nemen. De kalibratie met de box hoeft slechts één keer te worden voltooid aan het begin van de gegevensverzameling.
   1. Open de eyetrackerbehuizing en haal de bril eruit.
   2. Sluit de USB-naar-micro-USB-kabel van de laptop aan op de bril. Werk de firmware bij als daarom wordt gevraagd op de laptop.
   3. Zoek de zwarte kalibratiebox in de eyetrackerbehuizing.
   4. Kies op de inzamelingslaptop in de Eye Tracking Hub de optie Extra | Kalibratie van het apparaat.
   5. Plaats de bril in de doos en druk op Start in het pop-upvenster om de kalibratie te starten.
   6. Haal de bril uit de doos zodra de kalibratie is voltooid.
4. Neusstuk pasvorm
   1. Selecteer het neusstuk.
   2. Instrueer de deelnemer om in de cockpit te gaan zitten en de bril op te zetten.
   3. Navigeer in de hub voor eyetracking naar Bestand | Instellingen | Neus tovenaar.
   4. Controleer de pasvorm van uw brildoos aan de linkerkant van het scherm. Als de pasvorm uitstekend is, gaat u verder met de volgende stap. Klik anders op het vakje.
   5. Vertel de deelnemer om de instructies voor het passen op het scherm op te volgen: stel het neusstuk in, stel de bril af zodat deze comfortabel zit en kijk recht vooruit naar de laptop.
   6. Verwissel indien nodig het neusstuk. Knijp in het midden van het neusstuk, schuif het uit de bril en schuif er dan nog een in. Ga door met het testen van de verschillende neusstukken totdat degene is geïdentificeerd die het beste bij de deelnemer past.
5. Oproepen van de luchtverkeersleiding (ATC)
   OPMERKING: Als het onderzoek ATC-oproepen vereist, laat de deelnemer dan zijn eigen headset meenemen of de labheadset gebruiken. Volledige oogbolkalibratie pas nadat de deelnemer de headset heeft opgezet, aangezien de headset de bril op het hoofd kan bewegen, wat de kalibratienauwkeurigheid beïnvloedt.
   1. Controleer of de headset is aangesloten op de aansluiting aan de linker onderkant van het instrumentenpaneel.
   2. Instrueer de deelnemer om de headset op te zetten. Vraag hen om het niet aan te raken of uit te doen totdat de opname is voltooid.
      OPMERKING: Elke keer dat de headset (en dus de bril) wordt verplaatst, moet opnieuw worden gekalibreerd.
   3. Doe een radiocontrole.
6. Oogbol kalibratie
   OPMERKING: Telkens wanneer de deelnemer de bril op zijn hoofd schuift, moet hij de oogbolkalibratie herhalen. Vraag de deelnemer om de bril niet aan te raken totdat de proeven voorbij zijn.
   1. Navigeer in de hub voor eyetracking naar het parametervak aan de linkerkant van het scherm.
      1. Controleer de kalibratiemodus en kies dienovereenkomstig voor een vaste blik of een vaste kop .
      2. Controleer of de kalibratiepunten een raster van 5 x 5 zijn, voor een totaal van 25 punten.
      3. Controleer de validatiemodus en zorg ervoor dat deze overeenkomt met de kalibratiemodus.
      4. Onderzoek de eye-tracking-output en controleer of alles wat voor het onderzoek moet worden vastgelegd, is aangevinkt met behulp van de selectievakjes.
   2. Klik op File | Instellingen | Geavanceerd en controleer of de bemonsteringsfrequentie 250 Hz is.
   3. Schakel het vakje Uw oogtracking kalibreren in op het scherm met de muis. De kalibratie-instructies zijn afhankelijk van de modus. Om het huidige onderzoek te volgen, gebruikt u de kalibratiemodus voor vaste blik : instrueer de deelnemers om hun hoofd te bewegen zodat het vak overlapt met het zwarte vierkant en ze op één lijn liggen. Vraag de deelnemer vervolgens om zijn blik te richten op het dradenkruis in het zwarte vierkant en op de spatiebalk te drukken.
   4. Druk op het vakje Uw instellingen valideren . De instructies zijn hetzelfde als in stap 2.6.3. Controleer of het validatiecijfer MAE (Mean Absolute Error) <1° is. Zo niet, herhaal dan stap 2.6.3 en 2.6.4.
   5. Druk op Kalibratie opslaan om de kalibratie op te slaan in het profiel telkens wanneer de kalibratie en validatie zijn voltooid.
7. iPad-gebruik
   OPMERKING: De iPad bevindt zich links van het instrumentenpaneel (zie afbeelding 1). Het wordt gebruikt voor vragenlijsten, meestal na de vlucht.
   1. Zet de iPad aan en zorg ervoor dat deze is verbonden met internet.
   2. Open een venster in Safari en voer de link voor de onderzoeksvragenlijst in.

3. Verzameling van gegevens

OPMERKING: Herhaal deze stappen voor elke proefversie. Het wordt aanbevolen om de laptop op de bank buiten de cockpit te plaatsen.

1. Druk op de vluchtsimulatorcomputer in het instructiescherm op Voorinstellingen en kies vervolgens de gewenste positievoorinstelling die moet worden gesimuleerd. Druk op de knop Toepassen en bekijk de schermen rond de simulator om te controleren of de wijziging plaatsvindt.
2. Herhaal stap 3.1 om de voorinstelling Weer toe te passen.
3. Geef de deelnemer specifieke instructies over de proef of zijn vliegroute. Dit houdt ook in dat ze worden verteld om eventuele instellingen op het instrumentenpaneel te wijzigen voordat ze beginnen.
4. Druk in het instructiescherm op de oranje STOP-knop om het verzamelen van gegevens te starten. De kleur verandert in groen en de tekst zegt FLYING. Zorg ervoor dat u de deelnemer een verbale aanwijzing geeft, zodat ze weten dat ze met het vliegtuig kunnen gaan vliegen. De aanbevolen cue is "3, 2, 1, je hebt bedieningselementen" als de oranje stopknop wordt ingedrukt.
5. Druk in de collectielaptop op Start Recording zodat de eyetracker-gegevens worden gesynchroniseerd met de vluchtsimulatorgegevens.
6. Wanneer de deelnemer zijn circuit heeft voltooid en is geland, wacht u tot het vliegtuig stopt met bewegen.
   LET OP: Het is belangrijk om te wachten want tijdens de nabewerking; Gegevens worden afgekapt wanneer de grondsnelheid op 0 ligt. Dit geeft consistentie voor het eindpunt van alle onderzoeken.
7. Druk in het instructiescherm op de groene FLYING-knop . De kleur wordt weer oranje en de tekst zegt STOPPED. Geef tijdens deze stap een verbale aanwijzing wanneer het verzamelen van gegevens op het punt staat te eindigen. De aanbevolen cue is "3, 2, 1, stop".
8. Instrueer de deelnemer om de vragenlijst(en) na het onderzoek op de iPad in te vullen. Vernieuw de pagina voor de volgende proefversie.
   OPMERKING: De huidige studie gebruikte de Situation Awareness Rating Technique (SART) zelfbeoordelingsvragenlijst als de enige vragenlijst na het onderzoek¹⁷.

4. Gegevensverwerking en -analyse

1. Gegevens vluchtsimulator
   OPMERKING: Het .csv bestand dat uit de vluchtsimulator is gekopieerd, bevat meer dan 1.000 parameters die in de simulator kunnen worden bestuurd. De belangrijkste prestatiemaatstaven die van belang zijn, worden opgesomd en beschreven in Tabel 1.
   1. Bereken voor elke deelnemer het slagingspercentage met behulp van Eq (1) door het percentage over de taakvoorwaarden te nemen. Mislukte proeven worden geïdentificeerd aan de hand van vooraf bepaalde criteria die in de simulator zijn geprogrammeerd en die de proef automatisch beëindigt bij de landing vanwege de oriëntatie van het vliegtuig en de verticale snelheid. Voer verificatie na het proces uit om er zeker van te zijn dat dit criterium in overeenstemming was met de werkelijke beperkingen van het vliegtuig (dwz schade/crash van het landingsgestel van Cessna 172 is duidelijk bij verticale snelheden > 700 voet/min [fpm] bij de landing).
      Slagingspercentage = (1)
      OPMERKING: Lagere waarden voor het slagingspercentage duiden op slechtere resultaten, omdat ze gepaard gaan met een vermindering van het aantal succesvolle landingspogingen.
   2. Bereken voor elke proef de voltooiingstijd op basis van de tijdstempel, die aangeeft dat het vliegtuig op de landingsbaan is gestopt (d.w.z. grondsnelheid = 0 knopen).
      OPMERKING: Een kortere doorlooptijd staat niet altijd gelijk aan betere prestaties. Voorzichtigheid is geboden om te begrijpen hoe de taakomstandigheden (d.w.z. extra wind, noodscenario's, enz.) naar verwachting de voltooiingstijd zullen beïnvloeden.
   3. Bepaal voor elke proef de landingshardheid op basis van de verticale snelheid van het vliegtuig (fpm) op het moment dat het vliegtuig voor het eerst op de landingsbaan landt. Zorg ervoor dat deze waarde wordt genomen op hetzelfde tijdstempel dat is gekoppeld aan de eerste wijziging in de status AircraftOnGround van 0 (in de lucht) naar 1 (op de grond).
      OPMERKING: Waarden binnen het bereik van -700 fpm tot 0 fpm worden als veilig beschouwd, waarbij waarden dichter bij 0 staan voor zachtere landingen (d.w.z. beter). Negatieve waarden vertegenwoordigen de neerwaartse verticale snelheid; Positieve waarden staan voor een opwaartse verticale snelheid.
   4. Bereken voor elke proef de landingsfout (°) op basis van het verschil tussen de landingcoördinaten en het referentiepunt op de landingsbaan (midden van de 500 ft-markeringen). Bereken aan de hand van het referentiepunt de landingsfout met behulp van Eq (2).
      verschil = √((Δ breedtegraad)² + (δ lengtegraad)²) (2)
      OPMERKING: Waarden onder de 1° worden weergegeven als normaal ^5,15. Grote waarden duiden op een grotere landingsfout die verband houdt met landingspunten van vliegtuigen die verder weg zijn van de landingszone.
   5. Bereken het gemiddelde voor alle deelnemers voor elke prestatie-uitkomstvariabele voor elke taakvoorwaarde. Rapporteer deze waarden.
2. Gegevens over situatiebewustzijn
   1. Bereken voor elk onderzoek de SA-score op basis van de zelfgerapporteerde SART-scores over de 10 dimensies van SA¹⁷.
      1. Gebruik de SART-vragenlijst¹⁷ om de subjectieve antwoorden van de deelnemers met betrekking tot de algehele moeilijkheidsgraad van de taak te bepalen, evenals hun indruk van hoeveel aandachtsbronnen ze beschikbaar hadden en besteedden tijdens het uitvoeren van de taak.
      2. Vraag de deelnemers met behulp van een 7-punts Likertschaal om hun waargenomen ervaring te beoordelen op indringende vragen, waaronder de complexiteit van de situatie, aandachtsverdeling, mentale reservecapaciteit en kwantiteit en kwaliteit van informatie.
      3. Combineer deze schalen in grotere dimensies van aandachtsbehoeften (Vraag), aandachtsaanbod (Aanbod) en situatiebegrip (Begrip).
      4. Gebruik deze classificaties om een maat voor SA te berekenen op basis van Eq (3):
         SA = Begrip - (vraag-aanbod) (3)
         OPMERKING: Hogere scores op schalen gecombineerd om een mate van begrip te bieden, suggereren dat de deelnemer een goed begrip heeft van de taak die voorhanden is. Evenzo suggereren hoge scores in het aanboddomein dat de deelnemer een aanzienlijke hoeveelheid aandachtsbronnen heeft om aan een bepaalde taak te besteden. Daarentegen suggereert een hoge vraagscore dat de taak een aanzienlijke hoeveelheid aandachtsbronnen vereist om te voltooien. Het is belangrijk om te verduidelijken dat deze scores het beste kunnen worden geïnterpreteerd wanneer ze worden vergeleken tussen omstandigheden (d.w.z. gemakkelijke versus moeilijke omstandigheden) in plaats van te worden gebruikt als op zichzelf staande metingen.
   2. Zodra de gegevensverzameling is voltooid, berekent u de middelen voor alle deelnemers voor elke taakvoorwaarde (d.w.z. basis, noodgeval). Rapporteer deze waarden.
3. Gegevens voor het volgen van de ogen
   1. Gebruik een batchscript voor het bijhouden van ogen voor het handmatig definiëren van AOI's voor gebruik bij het in kaart brengen van blikken. Het script opent een nieuw venster voor het selecteren van keyframes dat duidelijk alle belangrijke AOI's moet weergeven die zullen worden geanalyseerd. Scroll door de video en kies een frame dat alle AOI's duidelijk laat zien.
   2. Volg de instructies op het scherm en teken een rechthoek over een deel van het frame dat gedurende de hele video zichtbaar zal zijn, uniek zal zijn en stabiel zal blijven.
      OPMERKING: Het doel van deze stap is het genereren van een "in-screen" coördinatenframe dat kan worden gebruikt voor de video-opname, aangezien hoofdbewegingen ertoe leiden dat de locatie van objecten in de omgeving in de loop van de video-opname verandert.
   3. Teken een rechthoek voor elke AOI in de afbeelding, één voor één. Benoem ze dienovereenkomstig. Klik op Meer toevoegen om een nieuwe AOI toe te voegen en druk op Gereed bij de laatste. Als de blik tijdens een bepaalde fixatie coördineert en landt in de objectruimte zoals gedefinieerd in het coördinatenkader "op het scherm", label die fixatie dan met het respectieve AOI-label.
      OPMERKING: Het doel van deze stap is het genereren van een bibliotheek met objectcoördinaten die vervolgens worden gebruikt als referentie bij het vergelijken van blikcoördinaten met coördinaten op het scherm.
      Er zijn meestal 10 AOI's, maar dit hangt af van hoe de vluchtsimulator is geconfigureerd. Het instrumentenpaneel kan afwijken. In lijn met eerder werk ^5,18 worden in de huidige studie de volgende AOI's gebruikt: Luchtsnelheid, Houding, Hoogtemeter, Draaicoördinator, Koers, Verticale Snelheid, Vermogen, Voorruit, Linkerraam en Rechterraam (zie Figuur 1).
   4. Laat het script beginnen met het verwerken van de AOI's en fixatiegegevens genereren. Het genereert een plot met de saccades en fixaties over de video.
   5. Er worden twee nieuwe bestanden gemaakt: fixations.csv en aoi_parameters.yaml. De batchverwerker voltooit de nabewerking van de blikgegevens voor elke proef en elke deelnemer.
      OPMERKING: De belangrijkste eye-trackingmaatregelen die van belang zijn, worden vermeld in Tabel 2 en worden berekend voor elke AOI voor elke proef.
   6. Bereken voor elke proef de traditionele blikmetriek ^4,5 voor elke AOI op basis van de gegevens die in het fixation.csv bestand zijn gegenereerd.
      OPMERKING: Hier richten we ons op de verblijftijd (%), die wordt berekend door de som van de fixaties voor een bepaalde AOI te delen door de som van alle fixaties en het quotiënt te vermenigvuldigen met 100 om het percentage van de tijd te krijgen dat in een specifieke AOI is doorgebracht. Er is geen inherente negatieve/positieve interpretatie van de berekende verblijftijden. Ze geven een indicatie van waar de aandacht voornamelijk naar uitgaat. Langere gemiddelde fixatieduur is een indicatie van een hogere verwerkingsvraag.
   7. Bereken voor elke proef de knipperfrequentie met behulp van Eq (4):
      Knipperfrequentie = Totaal aantal knipperingen/voltooiingstijd (4)
      OPMERKING: Eerder werk heeft aangetoond dat de knipperfrequentie omgekeerd evenredig is met de cognitieve belasting 2,6,13,19,20.
   8. Bereken voor elke proef de SGE met behulp van eq (5)²¹:
      (5)
      Waarbij v de kans is om de^i-de AOI te bekijken en V het aantal AOI's.
      OPMERKING: Hogere SGE waarden worden geassocieerd met een grotere fixatiedispersie, terwijl lagere waarden duiden op een meer gefocuste toewijzing van fixaties²².
   9. Bereken voor elke proef de GTE met behulp van eq (6)²³:
      (6)
      Waarbij V de kans is om de^i-de AOI te bekijken, en M de kans is om de^j-de AOI te bekijken bij de vorige weergave van de^i-de AOI.
      OPMERKING: Hogere GTE-waarden worden geassocieerd met meer onvoorspelbare, complexe visuele scanpaden, terwijl lagere GTE-waarden duiden op meer voorspelbare, routinematige visuele scanpaden.
   10. Bereken de gemiddelden voor alle deelnemers voor elke outputvariabele voor eye-tracking (en AOI indien aangegeven) en elke taakvoorwaarde. Rapporteer deze waarden.

Term	Definitie
Succes (%)	Percentage succesvolle landingsproeven
Doorlooptijd (en)	Tijdsduur vanaf het begin van het landingsscenario tot het volledig tot stilstand komen van het vliegtuig op de landingsbaan
Landing Hardheid (fpm)	De snelheid van fatsoenlijk op het punt van touchdown
Landing fout (°)	Het verschil tussen het midden van het vliegtuig en het midden van de 500 ft baanmarkering op het punt van landing

Tabel 1: Uitkomstvariabelen voor de prestaties van de simulator. Prestatieafhankelijke variabelen van vliegtuigen en hun definities.

Figuur 2: Landingsscenario vliegroute. Schema van (A) het landingscircuit dat in alle proeven is voltooid en (B) de landingsbaan met de 500 ft-markeringen die werden gebruikt als referentiepunt voor de landingszone (d.w.z. middelste oranje cirkel). Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 3: In kaart brengen van het interessegebied. Een illustratie van het batchscript dat een venster voor frameselectie demonstreert. De selectie van een optimaal frame omvat het kiezen van een videoframe dat de meeste of alle interessegebieden bevat die in kaart moeten worden gebracht. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 4: Genereren van interessegebied door "in-screen" coördinaten in kaart te brengen. Een illustratie van het batchscript dat een venster demonstreert voor het selecteren van coördinaten op het scherm. Deze stap omvat de selectie van een vierkant/rechthoekig gebied dat tijdens de opname zichtbaar blijft, uniek is voor het beeld en statisch blijft. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 5: Identificeren van het in kaart gebrachte interessegebied. Een illustratie van het batchscriptvenster dat het mogelijk maakt om interessegebieden te selecteren en te labelen. Afkorting: AOI's = interessegebieden. Klik hier om een grotere versie van deze figuur te bekijken.

Afbeelding 6: Verwerking van batchscripts. Een illustratie van het batchscript, het verwerken van de video en het in kaart brengen van de fixaties die tijdens de proef zijn gemaakt. Klik hier om een grotere versie van deze figuur te bekijken.

Term	Definitie
Verblijftijd (%)	Percentage van de som van alle fixatieduur geaccumuleerd over één AOI ten opzichte van de som van de fixatieduur geaccumuleerd over alle AOI's
Gemiddelde fixatieduur (ms)	Gemiddelde duur van een fixatie over één AOI van binnenkomst tot uitgang
Knipperfrequentie (knippert/s)	Aantal keer knipperen per seconde
SGE (bitten)	Fixatie dispersie
GTE (bits)	Complexiteit van scanvolgorde
Aantal periodes	Aantal cognitieve tunneling-gebeurtenissen (>10 s)
Totale Bout Tijd (s)	Totale tijd van cognitieve tunneling-gebeurtenissen

Tabel 2: Oogbepalende uitkomstvariabelen. Blik gedragsafhankelijke variabelen en hun definities.

Resultaten

De impact van taakeisen op de vliegprestaties
De gegevens werden geanalyseerd op basis van succesvolle landingsproeven in basis- en noodomstandigheden. Alle maatregelen werden onderworpen aan een t-test van gepaarde monsters (binnen-onderwerpfactor: taakconditie (basis, noodgeval)). Alle t-testen werden uitgevoerd met een alfaniveau ingesteld op 0,05. Vier deelnemers crashten tijdens de noodscenario-studie en werden niet opgenomen in de hoofdanalyses...

Discussie

De hier beschreven eye-trackingmethode maakt het mogelijk om de informatieverwerking in een vluchtsimulatoromgeving te beoordelen via een draagbare eyetracker. Het beoordelen van de ruimtelijke en temporele kenmerken van blikgedrag geeft inzicht in de menselijke informatieverwerking, die uitgebreid is bestudeerd met behulp van sterk gecontroleerde laboratoriumparadigma's ^4,7,28. Door gebruik te ...

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
flight simulator	ALSIM	AL-250	fixed fully immersive flight simulation training device
laptop	Hp	Lenovo	eye tracking data collection laptop; requirements: Windows 10 en python 3.0
portable eye-tracker	AdHawk		MindLink eye tracking glasses (250 Hz, <2° gaze error, front-facing camera); eye tracking batch script is made available with AdHawk device purchase