Er werd een nieuwe virtual reality-vluchtsimulator gebouwd, die een efficiënte en goedkope evaluatie van vliegprestaties en oogbewegingspatronen mogelijk maakt. Het biedt ook een onderzoeksinstrument met een groot potentieel voor ergonomie en ander onderzoek.
Methodenartikel
Evaluatie van vliegprestaties en oogbewegingspatronen met behulp van Virtual Reality Flight Simulator
In dit artikel
Samenvatting
Samenvatting
Efficiënte en economische prestatie-evaluatie van piloten is van cruciaal belang geworden voor de luchtvaartindustrie. Met de ontwikkeling van virtual reality (VR) en de combinatie van eye-tracking technologie worden oplossingen om aan deze behoeften te voldoen werkelijkheid. Eerdere studies hebben op VR gebaseerde vluchtsimulatoren onderzocht, waarbij de nadruk vooral lag op technologievalidatie en vliegtraining. De huidige studie ontwikkelde een nieuwe VR-vluchtsimulator om de vliegprestaties van piloten te evalueren op basis van oogbewegingen en vluchtindicatoren in een meeslepende 3D-scène. Tijdens het experiment werden 46 deelnemers gerekruteerd: 23 professionele piloten en 23 studenten zonder vliegervaring. De resultaten van het experiment toonden significante verschillen in vliegprestaties tussen deelnemers met en zonder vliegervaring, waarbij de eerste hoger was dan de laatste. Daarentegen vertoonden degenen met vliegervaring meer gestructureerde en efficiëntere oogbewegingspatronen. Deze resultaten van de differentiatie van vliegprestaties tonen de validiteit aan van de huidige VR-vluchtsimulator als beoordelingsmethode voor vliegprestaties. De verschillende oogbewegingspatronen met vliegervaring vormen de basis voor toekomstige vluchtkeuze. Deze op VR gebaseerde vluchtsimulator heeft echter tekortkomingen zoals bewegingsfeedback in vergelijking met traditionele vluchtsimulatoren. Dit vluchtsimulatorplatform is zeer flexibel, behalve de ogenschijnlijk lage kosten. Het kan voldoen aan de uiteenlopende behoeften van onderzoekers (bijv. het meten van situatiebewustzijn, VR-ziekte en werkdruk door relevante schalen toe te voegen).
Inleiding
Het Europees Agentschap voor de veiligheid van de luchtvaart (2012) categoriseert vluchtsimulatoren als trainingsfaciliteiten, trainers voor vlieg- en navigatieprogramma's, vliegtrainingsapparatuur en complete vluchtsimulatoren1. Tot op heden is er een reeks vluchtsimulatoren beschikbaar voor training, van tafelbladsystemen op laag niveau tot zeer gecompliceerde, op beweging gebaseerde volledige vluchtsimulatoren2. De traditionele simulator omvat een vluchtdynamiekmodel, een systeemsimulatie, een hardwarecockpit, een externe visualisatie en een optionele bewegingssimulatie3.
Deze traditionele vluchtsimulatoren hebben enkele voordelen als effectieve vliegtrainingsapparatuur. Hun kosten zijn echter hoog en milieuonvriendelijk, aangezien de aandrijving van elk systeem aanzienlijke elektrische energie vereist, met name een volledige vluchtsimulator, die vloeistof of luchtdruk met hoge temperatuur en hoge druk vereist, veel stroom verbruikt en veel geluid genereert4.
Een eenvoudig desktopsimulatorsysteem is echter flexibel en goedkoop, met een lagere onderdompeling en minder interacties dan een volledige vluchtsimulator2. Daarom is het essentieel om nieuwe vluchtsimulatoren te ontwikkelen die de voordelen van desktopsystemen en volledige vluchtsimulatoren combineren (met andere woorden, de flexibiliteit van een tafelmodelsimulatie en het onderdompelings- en interactieniveau dat dicht bij een volledige vluchtsimulator ligt).
Met de ontwikkeling van computertechnologie, met name virtual reality (VR)-technologie, wordt een nieuw type vluchtsimulator op basis van opkomende VR-technologie werkelijkheid. De op VR gebaseerde vluchtsimulator is flexibel, draagbaar, goedkoop en heeft minder ruimte nodig dan conventionele vluchtsimulatoren5. Onderzoekers hebben de afgelopen 20 jaar vluchtsimulatoren gemaakt op basis van VR-technologie 6,7,8,9,10,11; deze VR-vluchtsimulatoren zijn echter voornamelijk voor vliegtraining en er zijn er maar weinig voor de selectie van piloten. Maar met kostenreductie en technologische verbetering veranderen VR-gebaseerde simulatoren en worden ze haalbaar voor persoonlijke selectie. Sommige studies hebben VR-gebaseerde simulatoren gebruikt voor persoonlijke selectie in verschillende domeinen: Schijven et al.12 selecteerden chirurgische stagiairs met behulp van een virtual reality-simulator. Huang et al.13 ontwikkelden een psychologisch selectie-instrument op basis van virtual reality-technologie voor de werving van luchtmachtpiloten. Wojciechowski en Wojtowicz14 beoordeelden de capaciteiten van een kandidaat als piloot van een onbemand luchtvaartuig (UAV) op basis van VR-technologie. Aangezien de selectie van piloten van cruciaal belang is voor de luchtvaartindustrie, is het dringend noodzakelijk om een nieuwe VR-gebaseerde vluchtsimulator te ontwikkelen die zich richt op de selectie van piloten, aangezien grootschalige selectie van piloten gevoelig is voor de kosten van de simulator en de eisen die worden gesteld aan het draagbaarheidssimulatorsysteem.
Oogbewegingen geven aanwijzingen voor de prestaties van een piloot. Verschillende onderzoeken hebben aangetoond dat de oogscanmodus onderscheid maakt tussen de prestaties tussen ervaren en beginnende piloten. Door het scanpatroon tussen experts en beginners te vergelijken, konden het efficiënte en structurele oogbewegingsgedrag van experts en de ontoereikende scanmethoden van beginners worden onderscheiden. Uit verschillende luchtvaartstudies is gebleken dat de oogscanstrategie van piloten sterk samenhangt met het expertiseniveau 15,16,17,18,19,20,21,22,23,24. Volgens Bellenkes et al.25 is de duur van de fixaties van experts korter en is de frequentie van hun fixaties op instrumenten hoger dan die van beginners. Bijna dezelfde conclusie werd getrokken door Kasarskis et al.26, die ontdekten dat ervaren piloten meer fixaties hebben in combinatie met kortere duur dan beginners, suggereerden dat ervaren piloten een betere visuele modus hebben dan beginners. In een andere studie, Lorenz et al.27 ontdekten dat experts meer tijd besteden aan het kijken buiten de cockpit dan beginners. Deze resultaten zijn van grote praktische waarde bij de selectie van nieuwkomers.
De beoordeling van de vliegprestaties is een andere kritische factor bij de selectie van piloten. De volgende problemen doen zich echter voor bij de evaluatie van de vliegprestaties van piloten: tegenstrijdige meningen van experts, meer selectienormen en een uniforme selectietheorie. Op het gebied van rijden vergeleken Horrey et al.28 de absolute waarde van het verlaten van de rijstrook vanaf de middellijn voor verschillende experimentele omstandigheden om de rijprestaties te beoordelen. Terug naar het luchtvaartdomein, de flight quick access recorder (QAR) registreert allerlei parameters voor pilootmanipulatie, vliegtuigparameters, omgevingen en waarschuwingsinformatie tijdens vlucht29. Meer specifiek, zoals de QAR-indicatoren, is de hellingshoek de rotatiehoek rond de linker- en rechteras van het vliegtuig30, en de referentielijn (of de middelste referentielijn) ligt precies in het midden van de rode en groene lijnen28; Deze twee vluchtparameters worden gebruikt om de vliegprestaties van deelnemers met of zonder ervaring in de huidige studie te evalueren. Deze QAR-gegevens kunnen worden gebruikt om vliegprestaties te evalueren, maar voor zover wij weten, zijn ze zelden gebruikt voor persoonlijke training en selectie in wetenschappelijk onderzoek31,32.
Metingen van oogbewegingspatronen kunnen worden gebruikt om vliegprestaties te beoordelen en te voorspellen en om de opleiding en selectie van piloten te begeleiden. Gerathewohl,33 , verklaarde dat het oog het belangrijkste zintuig van de piloot is en 80% van de vluchtinformatie verwerkt. Piloten moeten visuele informatie verkrijgen van instrumenten in de cockpit en deze integreren in een samenhangend beeld om de vluchtte beheren 22. Verder is optimaal scangedrag essentieel om betere vliegprestaties te bereiken15. Er is momenteel echter geen betaalbare vluchtsimulator die een eyetracker integreert om kwantitatieve studies van de relatie tussen oogbewegingen en vliegprestaties te vergemakkelijken.
De huidige studie ontwikkelde een nieuwe VR-vluchtsimulator om te beoordelen of deelnemers met vliegervaring betere vliegprestaties hadden dan deelnemers zonder vliegervaring. De VR-vluchtsimulator integreert eye-tracking en een vluchtdynamieksysteem dat analyse van oogbewegingspatronen en evaluatie van vliegprestaties mogelijk maakt. Het is met name vermeldenswaard dat de VR-vluchtsimulator een VR-eyetracker34 gebruikt, geen glasachtige of desktop-eyetracker, om de op interessegebied (AOI) gebaseerde oogbewegingen te analyseren zonder tijdrovende frametelling.
Ten slotte kan het huidige werk leiden tot een omnibusmeting voor de selectie van piloten in de toekomst, van oogscanpad tot objectieve vliegprestatiegegevens. Met behulp van de virtuele vluchtsimulator zullen de kosten van vluchtselectie aanzienlijk worden verlaagd en kan de norm van piloten worden gevormd op basis van uitgebreide gegevensverzameling. Het werk vult een leemte tussen conventionele en desktopsimulatoren voor vluchtselectiebehoeften.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Protocol
Alle hier beschreven methoden zijn goedgekeurd door de Institutional Review Board (IRB) van de Tsinghua University en er is geïnformeerde toestemming verkregen van alle deelnemers. Na voltooiing kregen alle deelnemers $ 12 (of een geschenk van gelijke waarde).
1. Selectie van deelnemers
- Rekruteer deelnemers op basis van een eerdere studie van vermogensanalyse met behulp van G*Power-software35 (zie materiaaltabel) om ervoor te zorgen dat het aantal deelnemers voldoet aan de verwachte steekproefomvang gegeven door G*Power, die gelijk is aan 21.
OPMERKING: De verwachte steekproefomvang gegeven door G*Power verwijst naar het geschatte aantal deelnemers dat nodig is in een onderzoek om een gewenst niveau van statistische power te bereiken op basis van de gespecificeerde effectgrootte, het significantieniveau en de gebruikte statistische test. De verwachte steekproefomvang is een belangrijke overweging bij de onderzoeksplanning. Het helpt onderzoekers bij het bepalen van de haalbaarheid en kosteneffectiviteit van hun onderzoeksopzet en zorgt ervoor dat de studie voldoende statistische kracht heeft om zinvolle effecten te detecteren. - Zorg ervoor dat geen van de deelnemers een voorgeschiedenis heeft van epilepsie, hart- of hersenaandoeningen, recente endocriene of psychiatrische medicatie of ernstige huidallergieën.
- Gebruik de Snellen-oogkaart (gebruik het metrieke stelsel 6/6)36 om te bevestigen dat het gezichtsvermogen van de deelnemers normaal is of gecorrigeerd naar normaal en dat ze geen visuele beperkingen hebben zoals kleurenblindheid of kleurzwakte.
- Zorg ervoor dat geen van de deelnemers in de afgelopen 24 uur alcohol of drugs heeft gebruikt die hun vermogen om te vliegen kunnen beïnvloeden.
- Zorg ervoor dat de deelnemers niet minder dan 6 uur slaap hebben gehad en in goede mentale conditie zijn vóór het experiment.
2. Hardware voor vluchtsimulatoren
- Controleer of alle hardware van de vluchtsimulator compleet is. Afhankelijk van zijn functie is deze hardware georganiseerd in drie modules (tabel 1) (zie Materiaaltabel).
OPMERKING: Onderzoekers moeten een metalen staaf aanraken voordat ze de apparatuur aanraken om het risico van elektrostatische inductie te voorkomen.- Controleer de componenten van de VR, HMD (head-mounted display) en eye-tracking-module met behulp van Tabel 2.
- Zorg ervoor dat alle componenten van de pc-module van de vluchtsimulator aan de volgende minimumvereisten voldoen: 3.6 G Hz-processor, 4G intern geheugen, 64-bits besturingssysteem en grafische kaart. Het systeem ondersteunt alle vluchtcontrollers.
- Controleer de componenten van de vluchtcontrolemodule en zorg ervoor dat de parameterconfiguratie van het apparaat consistent is met Tabel 3.
- Installeer de hardware van de vluchtsimulator volgens de lay-out in afbeelding 1. Figuur 2 laat zien hoe de hardware is aangesloten.
- Sluit de gashendel en het bedieningspaneel fysiek aan en behandel ze als een eenheid.
- Sluit de gashendel, joystick en pedaal via USB aan op de pc-module van de vluchtsimulator.
- Sluit de HMD aan op de pc-module van de vluchtsimulator via de linkbox.
- Sluit de basisstations en VR-controllers aan op de HMD via de VR-software op de pc.
| VR-head-mounted display (HMD) en eye-trackingmodule | 1. Basisstation |
| 2. VR-HMD | |
| De module van PC van de vluchtsimulator | 3. Vlucht Simulator PC |
| Module voor vluchtcontrole | 4. Vlucht gashendel |
| 5. Vlucht Joystick | |
| 6. Vlucht pedaal |
Tabel 1: Componenten van de drie modules van vluchtsimulatorhardware.
| Hoofdbestanddeel | Accessoires |
| VR HMD | Headsetkabel (aangesloten) |
| Gezichtskussen (bevestigd) | |
| Schoonmaakdoekje | |
| Oortelefoon gat dop × 2 | |
| Koppeling vak | Lichtnetadapter |
| DisplayPort-kabel | |
| USB 3.0-kabel | |
| Montage pad | |
| Verwerkingsverantwoordelijken (2018) × 2 | Stroomadapters × 2 |
| Sleutelkoorden × 2 | |
| Micro-USB-kabels × 2 | |
| Basisstation 2.0 × 2 | Stroomadapters × 2 |
| Montageset (2 bevestigingen, 4 schroeven en 4 muurankers) |
Tabel 2: Lijst van componenten van de VR HMD en eye-tracking module.
| Apparaat | Configuratie van parameters |
| Vlucht Joystick | Negentien actieknoppen |
| Een 8-voudige "point of view" hoed | |
| Verschillende 3D magnetische sensoren | |
| Eén veersysteem met 5 spoelen | |
| Eén 16-bits resolutie (65536 x 65536 waarden). | |
| Vlucht Bedieningspaneel | Vijftien actieknoppen |
| Eén TRIM-wiel | |
| Vijf programmeerbare LED's | |
| Vlucht gashendel | Zeventien actieknoppen |
| Een muishoed met een drukknop | |
| Een 8-voudige "point of view" hoed | |
| Verschillende 3D magnetische sensoren | |
| Twee 14-bits resoluties | |
| Vlucht pedaal | Spanning tussen 2,5 kg en 5 kg |
| Hoek tussen 35° en 75° |
Tabel 3: De parameterconfiguratie van de apparaten van de vluchtcontrolemodule.
Figuur 1: De lay-out van de hardware van de VR-vluchtsimulator. Klik hier om een grotere versie van deze afbeelding te bekijken.
Figuur 2: De aansluiting van de hardware van de vluchtsimulator. (A) Vluchtcontrolemodule. De gashendel en het bedieningspaneel zijn fysiek verbonden en worden als een eenheid behandeld. Als de term "gashendel" in dit onderzoek wordt gebruikt, verwijst dit naar zowel de gashendel als het bedieningspaneel. (B) Vluchtsimulator PC-module. Een computer die voldoet aan de vereisten die worden beschreven in stap 2.2. (C) HMD en eye-tracking module. De software development kits (SDK's) voor eye-tracking en de 3D-engine worden gesynchroniseerd wanneer ze op dezelfde computer zijn geïnstalleerd. Daarom werken de eye-tracking-functies en het besturingssysteem samen en werken ze samen. Klik hier om een grotere versie van deze figuur te bekijken.
3. Software voor vluchtsimulatoren
- Zorg ervoor dat alle software (zie Materiaaltabel) is geïnstalleerd voordat het experiment begint. Informatie over alle software die in het experiment is gebruikt, wordt weergegeven in tabel 4.
| Naam | Beschrijving | |||
| VR-software | Een veelgebruikte tool voor het ervaren van VR-content op de hardware. | |||
| VR-app store | De app store voor virtual reality waar klanten de inhoud kunnen verkennen, creëren, verbinden en ervaren waar ze van houden en die ze nodig hebben. | |||
| Software voor het volgen van ogen | Eye-tracking software ontwikkeld door het onderzoeksteam via Eye-tracking en 3D engine SDK's. | |||
| Vlieg Simulator | Het hoofdprogramma van de vluchtsimulatorsoftware, ontwikkeld door het onderzoeksteam. | |||
| Software voor schermopname | Een gratis en open source software voor het opnemen en live streamen van video's. | |||
Tabel 4: Informatie over alle software die in het experiment is gebruikt.
4. Voorbereiding voor het lanceren van de vluchtsimulator
OPMERKING: Als dit de eerste keer is dat u het eye-tracking-programma uitvoert, voert u de extra stappen uit volgens afbeelding 3. Het eye-tracking-programma wordt automatisch geactiveerd na de eerste run.
Afbeelding 3: De extra stappen bij het voor de eerste keer uitvoeren van het eye-tracking programma. Klik hier om een grotere versie van deze afbeelding te bekijken.
- Zorg ervoor dat de HMD is ingeschakeld en is aangesloten op de computer.
- Plaats het basisstation diagonaal om ervoor te zorgen dat de HMD zich altijd binnen het bewakingsbereik van het basisstation kan bevinden. Houd het basisstation vast om een stabiele VR-omgeving te behouden.
- Zet een speelruimte met alleen staanplaatsen in volgens de aanwijzingen van de VR-software op de computer.
OPMERKING: De prompt staat een gebied op kamerschaal toe of stelt een speelgebied in waar alleen staan kan worden ingesteld. De modus voor alleen staan wordt over het algemeen gebruikt om VR-scènes te ervaren waarvoor niet hoeft te worden gelopen en die kunnen worden geselecteerd wanneer de gebruiker beperkte bewegingsruimte heeft. Zet daarom in dit experiment een speelruimte in waar alleen staanplaatsen zijn. - Stel de kalibratie voor eye-tracking in. Het eye-tracking-systeem moet elke keer dat de deelnemer wordt gewisseld, opnieuw worden gekalibreerd.
- Controleer of de deelnemers geen contactlenzen gebruiken, waardoor de eye-tracking niet goed werkt.
- Open het eye-tracking-kalibratieprogramma met behulp van de VR-controllers (zie Materiaaltabel).
- Pas de hoogte van het apparaat, de oogafstand (IDP) en het kijkpunt aan zoals het systeem aangeeft.
- Laat de ogen van de deelnemer elke plek gedurende 2 s met de klok mee verlichten om de effectiviteit van de eye-tracking-kalibratie te verifiëren.
- Sluit de afgestemde vluchtbesturingsmodule en het grote scherm (d.w.z. minimaal een 27 inch monitor) aan op dezelfde computer als de VR HMD. Op het scherm kan de onderzoeker tegelijkertijd zien wat er in de VR HMD gebeurt.
5. Experimentele procedure
OPMERKING: Het experiment is verdeeld in vier stappen: 'informatie verzamelen', 'de taak en bewerking introduceren', 'oefenen vóór het experiment' en 'een formeel experiment uitvoeren'. Het experimentele proces is samengevat in figuur 4.
Figuur 4: Het stroomschema van het experiment. Klik hier om een grotere versie van deze figuur te bekijken.
- Verzamel informatie van deelnemers (15 min).
- Vul het formulier met betalingsgegevens in met de betalingsgegevens van de deelnemers.
- Informeer de deelnemers om het geïnformeerde toestemmingsdocument te lezen en te ondertekenen.
- Introduceer de taak en de werking van de simulator aan de deelnemers (5 min).
- Leg aan de deelnemers het verkeerspatroon en de kaart uit (Figuur 5).
- Instrueer deelnemers over het gebruik van de VR-vluchtsimulator.
- Informeer de deelnemers dat ze het experiment kunnen verlaten als ze ongemak ervaren tijdens het simuleren van een vlucht.
- Vraag de deelnemers om te oefenen met de VR-vluchtsimulator (15 min).
- Pas de VR HMD aan de deelnemers aan en kalibreer de oogbewegingen. Pas de hoogte van het apparaat, de oogafstand (IDP) en het kijkpunt aan volgens de instructies van het systeem.
- Open de schermopnamesoftware.
- Start het FlySimulator-programma om deelnemers te helpen bij de vliegtraining.
- Instrueer de deelnemers om het vliegpedaal, de joystick en de gashendel samen te gebruiken om het vliegtuig zo dicht mogelijk bij de referentielijn van de vlucht te sturen (Figuur 5).
- Reset de vluchtgashendel en motorschakelaarknoppen na het verlaten van het FlySimulator-programma en stop met het opnemen van het scherm nadat de proefpersoon de oefening heeft voltooid.
- Voer formele vliegexperimenten uit (20 min).
- Zet de VR HMD op voor de deelnemers en voer OBS Studio uit om te beginnen met het opnemen van het scherm.
- Start het FlySimulator-programma, kies een geschikt perspectief, start de motor, laat de parkeerrem los en zet de gashendel volop.
- Verlaat het FlySimulator-programma en reset vervolgens de vluchtgashendel en de motorschakelaarknoppen . Stop met het opnemen van het scherm.
Figuur 5: Het verkeerspatroon voor de VR-vluchtsimulator. De hellingshoek is de rotatiehoek rond de linker- en rechteras van het vliegtuig, en de referentielijn (of de middelste referentielijn) ligt precies in het midden van de rode en groene lijnen. Klik hier om een grotere versie van deze figuur te bekijken.
6. Analyse van de gegevens
- Analyseer oogbewegingsgegevens.
- Verdeel vijf zone van interessegebied (AOI) in deze studie; voor meer informatie over de berekening van AOI's, zie figuur 6, op basis van het werkelijke paneel van de cockpit dat overeenkomt met het instrument van de cockpit (figuur 7).
- Bereken de AOI-verschiltest aan de hand van het percentage van de verblijftijd in de AOI-zone37, gegeven de uitrustingsfunctie van de VR-oculomotor die in dit onderzoek is gebruikt.
OPMERKING: Het gemiddelde percentage van de verblijftijd is het cumulatieve percentage dat wordt besteed aan het kijken binnen een AOI, gedeeld door de totale fixatietijd en gemiddeld over de deelnemers.
- Analyseer vluchtprestatiegegevens met op maat ontwikkelde programmeerscripts met behulp van Python 3.10. Het kernalgoritme voor prestatiestatistieken is aangepast op basis van de QAR-analysemethode, geïnspireerd op de QAR-gegevens van 35 BAE-146-vliegtuigen die zijn verstrekt door de National Aeronautics and Space Administration (NASA)38.
OPMERKING: Vluchtprestatie-indicatoren voor deze studie: de totale vliegtijd (de totale tijdsduur van start tot landing voor elke deelnemer, in seconden), hellingshoek 1 s voor de landing (hellingshoek van het vliegtuig 1 s voor de landing, verkregen uit onbewerkte gegevens, in graden), gemiddelde afstand tot de referentielijn (gemiddelde fout van de ruimtelijke afstand tussen het vliegtuig en de referentielijn tijdens de vlucht, in meters) en standaarddeviatie van de afstand tot de referentielijn (standaarddeviatie van de ruimtelijke afstand tussen het vlak en de referentielijn tijdens de vlucht, in meters). - Voer de statistische analyses uit.
- Gebruik de Shapiro-Wilk-test39 om de normaliteit van de gegevens te bevestigen.
- Gebruik statistische software (zie Materiaaltabel) voor beschrijvende statistieken, de Mann-Whitney U-test en de t-test van de student.
- Geef de vioolplots weer om de vorm van de gegevensverdeling beter aan te geven40.
OPMERKING: De verklaring voor de effectgrootte gemeten met behulp van Cohen's d is als volgt: 0,1 is erg klein, 0,2 is klein, 0,5 is gemiddeld, 0,8 is groot, 1,2 is erg groot en 2,0 is enorm41,42. Het significantieniveau werd vastgesteld op p < 0,05.
Figuur 6: AOI-voorverwerking en berekening van het stroomproces. In de secties 1 tot en met 4 wordt beschreven hoe de huidige studie de oogbewegingsgegevens van de piloten heeft verwerkt tot aan de t-test met onafhankelijke steekproef. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 7: Schematisch diagram van de AOI-verdeling van het vlieginstrument. De functie van de instrumenten: (A) De luchtsnelheidsindicator geeft de snelheid van het vliegtuig ten opzichte van de lucht aan. (B) De hoogte-indicator geeft de hellingshoogte en rolhoogte van het vliegtuig aan. (C) De verticale snelheidsindicator geeft de stijg- of daalsnelheid van het vliegtuig aan. (D) De hoogte-indicator geeft de barometrische hoogte van het vliegtuig aan. (E) De motortoerentalindicator geeft het toerental van de vliegtuigmotor aan. Klik hier om een grotere versie van deze figuur te bekijken.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Resultaten
Voor het huidige experiment werden 23 experts met vliegervaring en 23 nieuwelingen zonder vliegervaring gekozen. De deelnemers waren tussen de 25 en 58 jaar oud (experts: M = 32,52 jaar, SD = 7,28 jaar; nieuwelingen: M = 29,57 jaar, SD = 5,74 jaar). Het geslacht van alle deelnemers was mannelijk. Alle nieuwelingen werden gerekruteerd van de Tsinghua University (studenten of docenten) en alle experts waren van China Eastern Airlines.
Oogbewegingen
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Discussie
De huidige studie beoordeelde of deelnemers met vliegervaring betere vliegprestaties hadden dan degenen zonder vliegervaring in een VR-gebaseerde vluchtsimulator. Wat nog belangrijker is, het evalueerde of een meer geoptimaliseerd oogbewegingspatroon kon worden gevonden bij deze deelnemers met betere vliegprestaties. De resultaten vertonen significante verschillen tussen deelnemers met en zonder vliegervaring in drie belangrijke vliegende QAR-indicatoren: pitchhoek 1 s voor de landing, de gemiddelde afst...
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Openbaarmakingen
De auteurs verklaarden geen financiële openbaarmaking of belangenconflicten.
Dankbetuigingen
De auteurs zijn de heer Li Yan ongelooflijk dankbaar voor zijn hulp bij het werven van pilotdeelnemers en erkennen mevrouw Bu Lingyun voor haar werk aan het tekenen van afbeeldingen. Het onderzoek werd ondersteund door de National Natural Science Foundation of China (subsidienummer T2192931, 72071185), het National Brain Project (subsidienummer STI2030-Major Projects2022ZD0208500), het National Key Laboratory Project of Human Factors Engineering (subsidienummer SYFD062003), het National Key Laboratory Project of Human Factors Engineering (subsidienummer 6142222210201) en jaar 2022 Major Projects of Military Logistic Research Grant en Key Project of Air Force Equipment Comprehensive Onderzoek (subsidienummer KJ2022A000415).
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Materialen
| Naam | Bedrijf | Catalogusnummer | Opmerkingen |
|---|---|---|---|
| 3D engine SDK | Epic Games | Unreal Engine 4 GameAnalytics Unreal SDK | Deze SDK is een krachtige maar flexibele gratis analysetool ontworpen voor games. |
| CPU | Intel | IntelCore i9 | Een van de krachtigste CPU's op de mainstream markt. |
| Eye tracking SDK | Tobii | Tobii XR SDK | Deze SDK biedt apparaatonafhankelijke toegang tot eyetracking-gegevens om ontwikkeling mogelijk te maken voor headsets van veel verschillende hardwareleveranciers en is niet beperkt tot apparaten die Tobii Eye Tracking-hardware gebruiken. |
| Eye tracking software | Ontwikkeld door het onderzoeksteam | Een programma dat de beweging van de ogen van een persoon volgt terwijl ze een virtuele realiteit HMD gebruiken. | |
| FlySimulator programma | Ontwikkeld door het onderzoeksteam | Een software die vliegervaringen in een virtuele omgeving simuleert, met behulp van VR HMD en handbediende controllers. | |
| Grafische kaart | NVIDIA | GeForce RTX 3090 10496 NVIDIA CUDA Cores 1.70 GHz Boost Clock 24 GB Geheugengrootte GDDR6X Geheugentype | Een van de krachtigste grafische kaarten op de mainstream markt. |
| Besturingssysteem (OS) | Microsoft | Windows XP | Een besturingssysteem (OS) ontwikkeld en exclusief gedistribueerd door Microsoft Corporation |
| Replica controlepaneel | THRUSTMASTER | 2960720 2971004 2962072 2960748 2960769 | U.S. Air Force A-10C aanvalsvliegtuig HOTAS |
| Replica joystick | THRUSTMASTER | 2960720 | U.S. Air Force A-10C aanvalsvliegtuig HOTAS |
| Replica pedaal | THRUSTMASTER | TPR pendulaire roer | |
| Replica gashendel | THRUSTMASTER | U.S. Air Force A-10C aanvalsvliegtuig HOTAS | |
| Scherm aangesloten op pc | Redmi | RMMNT27NF, 27-inch, 1920 X 1080 resolutieratio | Scherm stelt de onderzoeker in staat om tegelijkertijd te zien wat er in de VR HMD gebeurt |
| Schermopnamesoftware | OBS Project | OBS Studio Versie 28.0 | Een gratis en open source software voor video-opnames en live streaming |
| Statistische poweranalysesoftware | Open-Source | G*power Versie 3.1.9.6 | Een gratis en gebruiksvriendelijke tool voor het schatten van statistische kracht en steekproefomvang. |
| Statistische software | IBM | SPSS Versie 24.0 | Een krachtige statistische softwareplatform |
| Veelzijdige statistiektool | GraphPad Software | GraphPad Prism Versie 9.4.0 | Een veelzijdige statistiektool speciaal ontworpen voor wetenschappers - niet voor statistici |
| VR app store | HTC Corporation | VIVE Software 2.0.17.6 / 2.1.17.6 | Een app store voor virtuele realiteit waar klanten kunnen verkennen, creëren, verbinden en de content die ze leuk vinden en nodig hebben kunnen ervaren. |
| VR hoofdgedragen display (HMD) | HTC Corporation | VIVE Pro Eye | Een VR-headset met nauwkeurige eyetracking |
| VR software | Steam | Steam VR Versie 1.23 | Een tool voor het ervaren van VR-content op de hardware |
Referenties
- Oberhauser, M., Dreyer, D., Braunstingl, R., Koglbauer, I. What's real about virtual reality flight simulation. Aviation Psychology and Applied Human Factors. 8 (1), 22-34 (2018).
- Oberhauser, M., Dreyer, D. A virtual reality flight simulator for human factors engineering. Cognition, Technology & Work. 19 (2-3), 263-277 (2017).
- Rolfe, J. M., Staples, K. J. Flight Simulation. , Cambridge University Press. Cambridge, New York. (1986).
- Robinson, A., Mania, K., Perey, P. Flight simulation: Research challenges and user assessments of fidelity. Proceedings of the 2004 ACM SIGGRAPH International Conference on Virtual Reality Continuum and its Applications in Industry. , 261-268 (2004).
- Moroney, W. F., Moreney, B. W. Flight Simulation. Handbook of Aviation Human Factors. , Lawrence Erlbaum Associates. Mahwah, New Jersey. 261-268 (1999).
- McCarty, W. D., Sheasby, S., Amburn, P., Stytz, M. R., Switzer, C. A virtual cockpit for a distributed interactive simulation. IEEE Computer Graphics and Applications. 14 (1), 49-54 (1994).
- Dorr, K. U., Schiefel, J., Kubbat, I. Virtual cockpit simulation for pilot training. In . The Hague, The Netherlands. What is Essential for Virtual Reality Systems to Meet Military Human Performance Goals? RTO human factors and medicine panel (HEM) workshop. , The Hague. The Netherlands. (2001).
- Bauer, M., Klingauf, U. Virtual-reality as a future training medium for civilian flight procedure training. AIAA Modeling and Simulation Technologies Conference and Exhibit. , Honolulu, Hawaii. 18-21 (2008).
- Yavrucuk, I., Kubali, E., Tarimci, O. A low cost flight simulator using virtual reality tools. IEEE Aerospace and Electronic Systems Magazine. 26 (4), 10-14 (2011).
- Aslandere, T., Dreyer, D., Pankratz, F., Schubotz, R. A generic virtual reality flight simulator. Virtuelle und Erweiterte Realität, 11. Workshop der GI-Fachgruppe VR/AR. , Shaker Verlag. Aachen. 1-13 (2014).
- Joyce, R. D., Robinson, S. K. The rapidly reconfigurable research cockpit. AIAA Modeling and Simulation Technologies Conference. , Dallas, Texas. 22-26 (2015).
- Schijven, M. P., Jakimowicz, J. J., Carter, F. J. How to select aspirant laparoscopic surgical trainees: Establishing concurrent validity comparing Xitact LS500 index performance scores with standardized psychomotor aptitude test battery scores. The Journal of Surgical Research. 121 (1), 112-119 (2004).
- Huang, P., Zhu, X., Liu, X., Xiao, W., Wu, S. Psychology selecting device for air force pilot recruitment based on virtual reality technology, has industrial personal computer connected with memory, where industrial control computer is connected with image display device. , CN111920428-A (2020).
- Wojciechowski, P., Wojtowicz, K. Simulator sickness and cybersickness as significant indicators in a primary selection of candidates for FPV drone piloting. 2022 IEEE 9th International Workshop on Metrology for AeroSpace (MetroAeroSpace). , Pisa, Italy. (2022).
- Ziv, G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. The International Journal of Aviation Psychology. 26 (3-4), 75-104 (2016).
- Lai, M. L., et al. A review of using eye-tracking technology in exploring learning from 2000 to 2012. Educational Research Review. 10, 90-115 (2013).
- Robinski, M., Stein, M. Tracking visual scanning techniques in training simulation for helicopter landing. Journal of Eye Movement Research. 6 (2), 1-17 (2013).
- Yang, J. H., Kennedy, Q., Sullivan, J., Fricker, R. D. Pilot performance: Assessing how scan patterns & navigational assessments vary by flight expertise. Aviation Space and Environmental Medecine. 84 (2), 116-124 (2013).
- Yu, C. S., Wang, E. M. Y., Li, W. C., Braithwaite, G., Greaves, M. Pilots' visual scan patterns and attention distribution during the pursuit of a dynamic target. Aerospace Medicine and Human Performance. 87 (1), 40-47 (2016).
- Haslbeck, A., Zhang, B. I spy with my little eye: Analysis of airline pilots' gaze patterns in a manual instrument flight scenario. Applied Ergonomics. 63, 62-71 (2017).
- Brams, S., et al. Does effective gaze behavior lead to enhanced performance in a complex error-detection cockpit task. PLoS One. 13 (11), e0207439(2018).
- Peißl, S., Wickens, C. D., Baruah, R. Eye-tracking measures in aviation: A selective literature review. The International Journal of Aerospace Psychology. 28 (3-4), 98-112 (2018).
- Jin, H., et al. Study on how expert and novice pilots can distribute their visual attention to improve flight performance. IEEE Access. 9, 44757-44769 (2021).
- Lounis, C., Peysakhovich, V., Causse, M. Visual scanning strategies in the cockpit are modulated by pilots' expertise: A flight simulator study. PLoS One. 16 (2), e0247061(2021).
- Bellenkes, A. H., Wickens, C. D., Kramer, A. F. Visual scanning and pilot expertise: The role of attentional flexibility and mental model development. Aviation Space and Environmental. 68 (7), 569-579 (1997).
- Kasarskis, P., Stehwien, J., Hickox, J., Aretz, A., Wickens, C. Comparison of expert and novice scan behaviors during VFR flight. Proceedings of the 11th International Symposium on Aviation Psychology. , Columbus, Ohio. (2001).
- Lorenz, B., et al. Performance, situation awareness, and visual scanning of pilots receiving onboard taxi navigation support during simulated airport surface operation. Human Factors and Aerospace Safety. 6 (2), 135-154 (2006).
- Horrey, W. J., Alexander, A. L., Wickens, C. D. Does workload modulate the effects of in-vehicle display location on concurrent driving and side task performance. Driving Simulator Conference North America Proceedings. , Dearborn, Michigan. October 8-10 (2013).
- Wang, L., Ren, Y., Sun, H., Dong, C. A landing operation performance evaluation method and device based on flight data. In Engineering Psychology and Cognitive Ergonomics: Cognition and Design. , Springer International Publishing. Vancouver, British Columbia, Canada. 297-305 (2017).
- Wang, L., Ren, Y., Wu, C. Effects of flare operation on landing safety: A study based on ANOVA of real flight data. Safety Science. 102, 14-25 (2018).
- Huang, R., Sun, H., Wu, C., Wang, C., Lu, B. Estimating eddy dissipation rate with QAR flight big data. Applied Sciences. 9 (23), 5192(2019).
- Wang, L., Zhang, J., Dong, C., Sun, H., Ren, Y. A method of applying flight data to evaluate landing operation performance. Ergonomics. 62 (2), 171-180 (2019).
- Gerathewohl, S. J. Leitfaden der Militärischen Flugpsychologie. Verlag für Wehrwissenschaften. , (1987).
- Ugwitz, P., Kvarda, O., Juříková, Z., Šašinka, Č, Tamm, S. Eye-tracking in interactive virtual environments: implementation and evaluation. Applied Sciences. 12 (3), 1027(2022).
- Faul, F., Erdfelder, E., Lang, A. -G., Buchner, A. G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods. 39 (2), 175-191 (2007).
- Boslaugh, S. E. Snellen Chart. , (2018).
- He, J., Becic, E., Lee, Y. -C., McCarley, J. S. Mind wandering behind the wheel. Human Factors: The Journal of the Human Factors and Ergonomics Society. 53 (1), 13-21 (2011).
- Tanveer Alam, GitHub - tanvcodes/qar_analytics: Scripts for working with publicly available Quick Access Recorder (QAR) data from a fleet of 35 BAE-146 aircraft. GitHub. , Retrieved on December 20,2022 from https://github.com/tanvcodes/qar_analytics (2022).
- Shapiro, S. S., Wilk, M. B. An analysis of variance test for normality (complete samples). Biometrika. 52 (3-4), 591-611 (1965).
- Hintze, J. L., Nelson, R. D. Violin plots: A box plot-density trace synergism. The American Statistician. 52 (2), 181-184 (1998).
- Cohen, J. Statistical Power Analysis for the Behavioral Sciences (2nd ed.). , Erlbaum, Hillsdale, NJ. (1988).
- Sawilowsky, S. S. New effect size rules of thumb. Journal of Modern Applied Statistical Methods. 8 (2), 26(2009).
- Bateman, T. S., Crant, J. M. The proactive component of organizational behavior: A measure and correlates. Journal of Organizational Behavior. 14 (2), 103-118 (1993).
- Endsley, M. R. Measurement of situation awareness in dynamic systems. Human Factors. 37 (1), 65-84 (1995).
- Hunter, D. R. Measuring general aviation pilot judgment using a situational judgment technique. The International Journal of Aviation Psychology. 13 (4), 373-386 (2003).
- Kim, H. K., Park, J., Choi, Y., Choe, M. Virtual reality sickness questionnaire (VRSQ): Motion sickness measurement index in a virtual reality environment. Applied Ergonomics. 69, 66-73 (2018).
- Hart, S. G. NASA Task Load Index (TLX). , (1986).
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Herprints en machtigingen
Toestemming aanvragen om de tekst of afbeeldingen van dit JoVE-artikel te hergebruiken
Toestemming aanvragen