Articolo metodologico

Valutazione delle prestazioni di volo e dei modelli di movimento degli occhi utilizzando il simulatore di volo in realtà virtuale

2K visualizzazioni

⸱

DOI:

10.3791/65170

⸱

19 maggio 2023

 ,  ,  ,  ,  ,  ,  , 
1Psychology Department, School of Social Sciences, Tsinghua University, 2Faculty of Psychology, Beijing Normal University, 3National Key Laboratory of Human Factors Engineering, the China Astronaut Research and Training Center, 4Department of Military Medical Psychology, Air Force Medical University

In questo articolo

Sommario

È stato costruito un nuovo simulatore di volo in realtà virtuale, che consente una valutazione efficiente e a basso costo delle prestazioni di volo e dei modelli di movimento degli occhi. Fornisce inoltre uno strumento di ricerca ad alto potenziale per l'ergonomia e altre ricerche.

Abstract

Una valutazione efficiente ed economica delle prestazioni dei piloti è diventata fondamentale per l'industria aeronautica. Con lo sviluppo della realtà virtuale (VR) e la combinazione della tecnologia di tracciamento oculare, le soluzioni per soddisfare queste esigenze stanno diventando una realtà. Studi precedenti hanno esplorato i simulatori di volo basati sulla realtà virtuale, concentrandosi principalmente sulla convalida della tecnologia e sull'addestramento al volo. L'attuale studio ha sviluppato un nuovo simulatore di volo VR per valutare le prestazioni di volo dei piloti in base al movimento degli occhi e agli indicatori di volo in una scena immersiva 3D. Durante l'esperimento sono stati reclutati 46 partecipanti: 23 piloti professionisti e 23 studenti universitari senza esperienza di volo. I risultati dell'esperimento hanno mostrato differenze significative nelle prestazioni di volo tra i partecipanti con e senza esperienza di volo, i primi sono più alti dei secondi. Al contrario, quelli con esperienza di volo hanno mostrato modelli di movimento oculare più strutturati ed efficienti. Questi risultati della differenziazione delle prestazioni di volo dimostrano la validità dell'attuale simulatore di volo VR come metodo di valutazione delle prestazioni di volo. I diversi modelli di movimento degli occhi con l'esperienza di volo forniscono la base per la futura selezione del volo. Tuttavia, questo simulatore di volo basato su VR presenta difetti come il feedback di movimento rispetto ai simulatori di volo tradizionali. Questa piattaforma di simulazione di volo è altamente flessibile, tranne che per l'apparente basso costo. Può soddisfare le diverse esigenze dei ricercatori (ad esempio, misurare la consapevolezza della situazione, la malattia da VR e il carico di lavoro aggiungendo scale pertinenti).

Introduzione

L'Agenzia europea per la sicurezza aerea (2012) classifica i simulatori di volo come strutture di addestramento, addestratori di programmi di volo e navigazione, attrezzature per l'addestramento al volo e simulatori di volo completi1. Ad oggi, è disponibile una gamma di simulatori di volo per l'addestramento, dai sistemi da tavolo di basso livello ai simulatori di volo completi basati sul movimento altamente complicati2. Il simulatore tradizionale include un modello di dinamica di volo, una simulazione di sistema, una cabina di pilotaggio hardware, una visualizzazione esterna e una simulazione di movimento opzionale3.

Questi simulatori di volo tradizionali hanno alcuni vantaggi come efficaci attrezzature per l'addestramento al volo. Tuttavia, il loro costo è elevato e poco rispettoso dell'ambiente, poiché l'azionamento di ciascun sistema richiede una notevole energia elettrica, in particolare un simulatore di volo completo, che richiede un'alta temperatura e un'alta pressione del fluido o dell'aria, consuma molta energia e genera molto rumore4.

Tuttavia, un semplice sistema di simulazione desktop è flessibile e a basso costo, con un'immersione inferiore e meno interazioni rispetto a un simulatore di volo completo2. Pertanto, è essenziale sviluppare nuovi simulatori di volo che combinino i vantaggi dei sistemi desktop e dei simulatori di volo completi (in altre parole, la flessibilità di una simulazione da tavolo e il livello di immersione e interazione vicino a un simulatore di volo completo).

Con lo sviluppo della tecnologia informatica, in particolare della tecnologia di realtà virtuale (VR), un nuovo tipo di simulatore di volo basato sulla tecnologia VR emergente sta diventando una realtà. Il simulatore di volo basato su VR è flessibile, portatile, a basso costo e ha meno requisiti di spazio rispetto ai simulatori di volo convenzionali5. I ricercatori hanno creato simulatori di volo basati sulla tecnologia VR negli ultimi 20 anni 6,7,8,9,10,11; tuttavia, questi simulatori di volo VR sono principalmente per l'addestramento al volo e ce ne sono pochi per la selezione dei piloti. Tuttavia, con la riduzione dei costi e il miglioramento della tecnologia, i simulatori basati su VR stanno cambiando e stanno diventando fattibili per la selezione personale. Alcuni studi hanno utilizzato simulatori basati su VR per la selezione personale in diversi domini: Schijven et al.12 hanno selezionato tirocinanti chirurgici utilizzando un simulatore di realtà virtuale. Huang et al.13 hanno sviluppato uno strumento di selezione psicologica basato sulla tecnologia della realtà virtuale per il reclutamento di piloti dell'aeronautica. Wojciechowski e Wojtowicz14 hanno valutato le capacità di un candidato come pilota di un veicolo aereo senza pilota (UAV) basato sulla tecnologia VR. Dato che la selezione dei piloti è fondamentale per l'industria aeronautica, si sta pressando per sviluppare un nuovo simulatore di volo basato sulla realtà virtuale incentrato sulla selezione dei piloti, poiché la selezione dei piloti su larga scala è soggetta al costo del simulatore e alle esigenze del sistema di simulazione di portabilità.

I movimenti oculari forniscono spunti per le prestazioni di un pilota. Diversi studi hanno scoperto che la modalità di scansione oculare distingue le prestazioni tra piloti esperti e principianti. Confrontando il modello di scansione tra esperti e principianti, è stato possibile differenziare il comportamento efficiente e strutturale dei movimenti oculari degli esperti e i metodi di scansione inadeguati dei principianti. Diversi studi sull'aviazione hanno rilevato che la strategia di scansione oculare dei piloti è fortemente correlata al livello di competenza 15,16,17,18,19,20,21,22,23,24. Secondo Bellenkes et al.25, la durata delle fissazioni degli esperti è più breve e la frequenza delle loro fissazioni sugli strumenti è superiore a quella dei principianti. Quasi la stessa conclusione è stata tratta da Kasarskis et al.26, che hanno scoperto che i piloti esperti hanno più fissazioni combinate con durate più brevi rispetto ai principianti, suggerendo che i piloti esperti hanno una modalità visiva migliore rispetto ai principianti. In un altro studio, Lorenz et al.27 hanno scoperto che gli esperti trascorrono più tempo a guardare fuori dalla cabina di pilotaggio rispetto ai principianti. Questi risultati hanno un grande valore pratico nella selezione dei nuovi arrivati.

La valutazione delle prestazioni di volo è un altro fattore critico per la selezione del pilota. Tuttavia, esistono i seguenti problemi nella valutazione delle prestazioni di volo dei piloti: opinioni contrastanti degli esperti, più norme di selezione e una teoria di selezione unificata. Nel campo della guida, Horrey et al.28 hanno confrontato il valore assoluto dell'allontanamento dalla corsia dalla linea centrale per diverse condizioni sperimentali per valutare le prestazioni di guida. Tornando al dominio dell'aviazione, il registratore di accesso rapido al volo (QAR) registra tutti i tipi di parametri di manipolazione del pilota, parametri dell'aeromobile, ambienti e informazioni di avviso durante il volo29. Più specificamente, come gli indicatori QAR, l'angolo di beccheggio è l'angolo di rotazione attorno agli assi sinistro e destro dell'aereo30 e la linea di riferimento (o la linea di riferimento centrale) è proprio al centro delle linee rossa e verde28; Questi due parametri di volo vengono utilizzati per valutare le prestazioni di volo dei partecipanti con o senza esperienza nello studio attuale. Questi dati QAR possono essere utilizzati per valutare le prestazioni di volo, ma per quanto ne sappiamo, sono stati raramente utilizzati per l'addestramento personale e la selezione nella ricerca scientifica31,32.

Le misurazioni dei modelli di movimento degli occhi possono essere utilizzate per valutare e prevedere le prestazioni di volo e guidare l'addestramento e la selezione dei piloti. Gerathewohl,33 anni, ha affermato che l'occhio è l'organo sensoriale più importante del pilota, elaborando l'80% delle informazioni di volo. I piloti devono acquisire informazioni visive dagli strumenti nella cabina di pilotaggio e integrarle in un'immagine coerente per gestire il volo22. Inoltre, un comportamento di scansione ottimale è essenziale per ottenere migliori prestazioni di volo15. Tuttavia, nessun simulatore di volo economico integra attualmente un eye tracker per facilitare gli studi quantitativi della relazione tra movimenti oculari e prestazioni di volo.

L'attuale studio ha sviluppato un nuovo simulatore di volo VR per valutare se i partecipanti con esperienza di volo avevano prestazioni di volo migliori rispetto a quelli senza esperienza di volo. Il simulatore di volo VR integra il tracciamento oculare e un sistema di dinamica di volo che consente l'analisi del modello di movimento oculare e la valutazione delle prestazioni di volo. In particolare, vale la pena ricordare che il simulatore di volo VR utilizza un eye trackerVR 34, non un eye tracker simile al vetro o da tavolo, per analizzare il movimento degli occhi basato sull'area di interesse (AOI) senza un lungo conteggio dei fotogrammi.

Infine, il presente lavoro può portare a una misurazione omnibus per la selezione dei piloti in futuro, dal percorso di scansione oculare ai dati oggettivi sulle prestazioni di volo. Con l'aiuto del simulatore di volo virtuale, il costo della selezione del volo sarà notevolmente ridotto e la norma dei piloti può essere formata sulla base di un'ampia raccolta di dati. Il lavoro colma una lacuna tra i simulatori convenzionali e quelli desktop per le esigenze di selezione del volo.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Protocollo

Tutti i metodi qui descritti sono stati approvati dall'Institutional Review Board (IRB) dell'Università Tsinghua ed è stato ottenuto il consenso informato di tutti i partecipanti. Dopo il completamento, tutti i partecipanti sono stati pagati $ 12 (o un regalo di pari valore).

1. Selezione dei partecipanti

  1. Reclutare i partecipanti in base a uno studio precedente sull'analisi della potenza utilizzando il software G*Power35 (vedere la tabella dei materiali) per assicurarsi che il numero di partecipanti soddisfi la dimensione del campione prevista fornita da G*Power, che equivale a 21.
    NOTA: La dimensione del campione prevista fornita da G*Power si riferisce al numero stimato di partecipanti necessari in uno studio per raggiungere un livello desiderato di potenza statistica in base alla dimensione dell'effetto specificata, al livello di significatività e al test statistico utilizzato. La dimensione del campione prevista è una considerazione importante nella pianificazione della ricerca. Aiuta i ricercatori a determinare la fattibilità e l'efficacia in termini di costi del loro disegno di studio e garantisce che lo studio abbia una potenza statistica sufficiente per rilevare effetti significativi.
  2. Assicurati che nessuno dei partecipanti abbia una storia di epilessia, malattie cardiache o cerebrali, farmaci endocrini o psichiatrici recenti o gravi allergie cutanee.
  3. Usa la tabella oculare di Snellen (usa il sistema metrico 6/6)36 per confermare che la vista dei partecipanti è normale o corretta a normale e che non hanno disturbi visivi come daltonismo o debolezza del colore.
  4. Assicurarsi che nessuno dei partecipanti abbia consumato alcol o droghe nelle 24 ore precedenti che potrebbero influire sulla loro capacità di volare.
  5. Assicurati che i partecipanti abbiano dormito non meno di 6 ore e siano in buone condizioni mentali prima dell'esperimento.

2. Hardware del simulatore di volo

  1. Verifica che tutto l'hardware del simulatore di volo sia completo. In base alla sua funzione, questo hardware è organizzato in tre moduli (Tabella 1) (vedi Tabella dei materiali).
    NOTA: I ricercatori devono toccare un'asta di metallo prima di toccare l'apparecchiatura per evitare il rischio rappresentato dall'induzione elettrostatica.
    1. Controllare i componenti del VR, dell'HMD (head-mounted display) e del modulo di tracciamento oculare con l'aiuto della Tabella 2.
    2. Assicurarsi che tutti i componenti del modulo PC del simulatore di volo soddisfino i seguenti requisiti minimi: processore da 3,6 G Hz, memoria interna 4G, sistema operativo a 64 bit e scheda grafica. Il sistema supporterà tutti i controllori di volo.
    3. Controllare i componenti del modulo di controllo di volo e assicurarsi che la configurazione dei parametri del dispositivo sia coerente con la Tabella 3.
  2. Installare l'hardware del simulatore di volo secondo il layout in Figura 1. La Figura 2 mostra come è collegato l'hardware.
    1. Unisci fisicamente l'acceleratore e il pannello di controllo e trattali come un'unità.
    2. Collegare l'acceleratore, il joystick e il pedale al modulo PC del simulatore di volo tramite USB.
    3. Collegare l'HMD al modulo PC del simulatore di volo tramite la scatola di collegamento.
    4. Collega le stazioni base e i controller VR all'HMD tramite il software VR sul PC.
Display VR montato sulla testa (HMD) e modulo di tracciamento oculare1. Stazione base
2. Visore VR
Modulo PC Flight Simulator3. Simulatore di volo per PC
Modulo di controllo del volo4. Acceleratore di volo
5. Joystick di volo
6. Pedale di volo

Tabella 1: Componenti dei tre moduli dell'hardware del simulatore di volo.

Componente principaleAccessoristica
Visore VRCavo dell'auricolare (collegato)
Cuscino per il viso (allegato)
Panno per la pulizia
Tappo foro auricolare × 2
Casella di collegamentoAlimentatore
Cavo DisplayPort
Cavo USB 3.0
Cuscinetto di montaggio
Controllori (2018) × 2Adattatori di alimentazione × 2
Cordini × 2
Cavi micro-USB × 2
Stazione base 2.0 × 2Adattatori di alimentazione × 2
Kit di montaggio (2 supporti, 4 viti e 4 tasselli)

Tabella 2: Elenco dei componenti del visore VR e del modulo di tracciamento oculare.

DispositivoConfigurazione dei parametri
Joystick di voloDiciannove pulsanti di azione
Un cappello "punto di vista" a 8 direzioni
Diversi sensori magnetici 3D
Un sistema di molle a 5 eliche
Una risoluzione a 16 bit (valori 65536 x 65536).
Pannello di controllo del voloQuindici pulsanti azione
Una ruota TRIM
Cinque LED programmabili
Acceleratore di voloDiciassette pulsanti di azione
Un cappello per il mouse con un pulsante
Un cappello "punto di vista" a 8 direzioni
Diversi sensori magnetici 3D
Due risoluzioni a 14 bit
Pedale di voloTensione tra 2,5 kg e 5 kg
Angolo compreso tra 35° e 75°

Tabella 3: La configurazione dei parametri dei dispositivi del modulo di controllo del volo.

figure-protocol-1
Figura 1: Il layout dell'hardware del simulatore di volo VR. Clicca qui per visualizzare una versione più grande di questa figura.

figure-protocol-2
Figura 2: Il collegamento dell'hardware del simulatore di volo. (A) Modulo di controllo del volo. L'acceleratore e il pannello di controllo sono fisicamente uniti e trattati come un'unità. Se il termine "acceleratore" viene utilizzato in questo studio, si riferisce sia all'acceleratore che al pannello di controllo. (B) Modulo PC simulatore di volo. Un computer che soddisfi i requisiti descritti nel passaggio 2.2. (C) HMD e modulo di tracciamento oculare. I kit di sviluppo software (SDK) per il tracciamento oculare e il motore 3D vengono mantenuti sincronizzati quando vengono installati sullo stesso computer. Pertanto, le funzioni di tracciamento oculare e il sistema operativo interagiscono e lavorano insieme. Clicca qui per visualizzare una versione più grande di questa figura.

3. Software di simulazione di volo

  1. Assicurarsi che tutto il software (vedere la Tabella dei materiali) sia stato installato prima dell'inizio dell'esperimento. Le informazioni su tutti i software utilizzati nell'esperimento sono mostrate nella Tabella 4.
NomeDescrizione
Software VRUno strumento ampiamente utilizzato per sperimentare contenuti VR sull'hardware.
Negozio di app VRL'app store per la realtà virtuale in cui i clienti possono esplorare, creare, connettersi e sperimentare i contenuti che amano e di cui hanno bisogno.
Software di tracciamento oculareSoftware di eye-tracking sviluppato dal team di ricerca tramite Eye-tracking e 3D engine SDK.
Simulatore di moscheIl programma principale del software di simulazione di volo, sviluppato dal team di ricerca.
Software di registrazione dello schermoUn software gratuito e open source per la registrazione video e lo streaming live.

Tabella 4: Informazioni su tutti i software utilizzati nell'esperimento.

4. Preparazione prima del lancio del simulatore di volo

NOTA: Se è la prima volta che si esegue il programma di eye-tracking, eseguire i passaggi aggiuntivi come indicato nella Figura 3. Il programma di eye-tracking si attiverà automaticamente dopo la corsa iniziale.

figure-protocol-3
Figura 3: I passaggi aggiuntivi quando si esegue il programma di eye-tracking per la prima volta. Fare clic qui per visualizzare una versione più grande di questa figura.

  1. Assicurarsi che l'HMD sia acceso e collegato al computer.
  2. Posizionare la stazione base in diagonale per garantire che l'HMD possa essere sempre all'interno del raggio di monitoraggio della stazione base. Mantieni fissa la stazione base per mantenere stabile l'ambiente VR.
  3. Imposta un'area di gioco solo in piedi in base alle istruzioni fornite dal software VR sul computer.
    NOTA: Il prompt consente un'area su scala stanza o imposta un'area di gioco solo in piedi. La modalità solo in piedi viene generalmente utilizzata per sperimentare scene VR che non richiedono di camminare e può essere selezionata quando l'utente ha uno spazio limitato per muoversi. Pertanto, in questo esperimento, allestisci un'area di gioco solo in piedi.
  4. Impostare la calibrazione dell'eye-tracking. Il sistema di tracciamento oculare deve essere ricalibrato ogni volta che il partecipante viene cambiato.
    1. Verificare che i partecipanti non stiano utilizzando lenti a contatto, il che causa il malfunzionamento dell'eye tracking.
    2. Aprire il programma di calibrazione dell'eye-tracking utilizzando i controller VR (vedere la tabella dei materiali).
    3. Regola l'altezza del dispositivo, la distanza interpupillare (IDP) e il punto di sguardo come indicato dal sistema.
    4. Fai in modo che gli occhi del partecipante illuminino ogni punto per 2 secondi in senso orario per verificare l'efficacia della calibrazione dell'eye-tracking.
  5. Collegare il modulo di controllo di volo sintonizzato e il display a grande schermo (cioè almeno un monitor da 27 pollici) allo stesso computer dell'HMD VR. Lo schermo consente allo sperimentatore di visualizzare contemporaneamente ciò che sta accadendo nell'HMD VR.

5. Procedura sperimentale

NOTA: L'esperimento è diviso in quattro fasi: "raccogliere informazioni", "introdurre il compito e l'operazione", "esercitarsi prima dell'esperimento" e "condurre un esperimento formale". Il processo sperimentale è riassunto nella Figura 4.

figure-protocol-4
Figura 4: Il diagramma di flusso dell'esperimento. Clicca qui per visualizzare una versione più grande di questa figura.

  1. Raccogliere informazioni dai partecipanti (15 min).
    1. Compila il modulo dei dettagli di pagamento con le informazioni di pagamento dei partecipanti.
    2. Informare i partecipanti di leggere il documento di consenso informato e firmarlo.
  2. Introdurre il compito e il funzionamento del simulatore ai partecipanti (5 min).
    1. Spiegare ai partecipanti il modello di traffico e la mappa (Figura 5).
    2. Istruisci i partecipanti su come utilizzare il simulatore di volo VR.
    3. Informare i partecipanti che possono abbandonare l'esperimento se avvertono disagio durante la simulazione di un volo.
  3. Chiedi ai partecipanti di esercitarsi utilizzando il simulatore di volo VR (15 min).
    1. Adatta il visore VR ai partecipanti e calibra i movimenti oculari. Regolare l'altezza del dispositivo, la distanza interpupillare (IDP) e il punto di sguardo come indicato dal sistema.
    2. Apri il software di registrazione dello schermo.
    3. Avvia il programma FlySimulator per assistere i partecipanti con l'addestramento al volo.
    4. Istruire i partecipanti a utilizzare il pedale di volo, il joystick e l'acceleratore di concerto per guidare l'aereo il più vicino possibile alla linea di riferimento di volo (Figura 5).
    5. Reimpostare i pulsanti dell'acceleratore di volo e dell'interruttore del motore dopo essere usciti dal programma FlySimulator e interrompere la registrazione dello schermo dopo che il soggetto ha completato la pratica.
  4. Condurre esperimenti di volo formali (20 min).
    1. Indossa l'HMD VR per i partecipanti ed esegui OBS Studio per avviare la registrazione dello schermo.
    2. Avvia il programma FlySimulator, scegli una prospettiva adatta, avvia il motore, rilascia il freno di stazionamento e metti l'acceleratore di volo al massimo.
    3. Esci dal programma FlySimulator, quindi ripristina i pulsanti dell'acceleratore di volo e dell'interruttore del motore . Interrompi la registrazione dello schermo.

figure-protocol-5
Figura 5: Il modello di traffico per il simulatore di volo VR. L'angolo di beccheggio è l'angolo di rotazione attorno agli assi sinistro e destro dell'aeromobile e la linea di riferimento (o la linea di riferimento centrale) si trova proprio al centro delle linee rossa e verde. Clicca qui per visualizzare una versione più grande di questa figura.

6. Analisi dei dati

  1. Analizza i dati sui movimenti oculari.
    1. Dividi cinque zone di area di interesse (AOI) in questo studio; per ulteriori informazioni sul calcolo delle AOI, vedere la Figura 6, basata sul pannello effettivo della cabina di pilotaggio corrispondente allo strumento della cabina di pilotaggio (Figura 7).
    2. Calcolare il test della differenza AOI utilizzando la percentuale di tempo di permanenza nella zona AOI37, data la caratteristica dell'apparecchiatura dell'oculomotore VR utilizzato in questo studio.
      NOTA: La percentuale media del tempo di permanenza è la percentuale cumulativa trascorsa a guardare all'interno di un'AOI divisa per il tempo di fissazione totale e la media tra i partecipanti.
  2. Analizza i dati sulle prestazioni di volo con script di programmazione sviluppati su misura utilizzando Python 3.10. L'algoritmo di base per le metriche delle prestazioni è stato adattato dal metodo di analisi QAR, ispirato dai dati QAR di 35 aeromobili BAE-146 forniti dalla National Aeronautics and Space Administration (NASA)38.
    NOTA: Indicatori delle prestazioni di volo per questo studio: il tempo di volo totale (il tempo totale dal decollo all'atterraggio per ciascun partecipante, in secondi), l'angolo di beccheggio 1 s prima dell'atterraggio (angolo di beccheggio dell'aeromobile 1 s prima dell'atterraggio, ottenuto da dati grezzi, in gradi), la distanza media dalla linea di riferimento (errore medio della distanza spaziale tra l'aeromobile e la linea di riferimento durante il volo, in metri) e deviazione standard della distanza dalla linea di riferimento (deviazione standard della distanza spaziale tra l'aereo e la linea di riferimento durante il volo, in metri).
  3. Condurre le analisi statistiche.
    1. Usa il test di Shapiro-Wilk39 per confermare la normalità dei dati.
    2. Utilizzare software statistici (vedi Tabella dei materiali) per statistiche descrittive, test U di Mann-Whitney e test t di Student.
    3. Raffigura i grafici a violino per indicare meglio la forma della distribuzione dei dati40.
      NOTA: La spiegazione per la dimensione dell'effetto misurata utilizzando la d di Cohen è la seguente: 0,1 è molto piccolo, 0,2 è piccolo, 0,5 è medio, 0,8 è grande, 1,2 è molto grande e 2,0 è enorme41,42. Il livello di significatività è stato fissato a p < 0,05.

figure-protocol-6
Figura 6: Pre-elaborazione AOI e processo di calcolo del flusso. Le sezioni da 1 a 4 descrivono come il presente studio ha elaborato i dati sui movimenti oculari dei piloti fino al test t su campione indipendente. Clicca qui per visualizzare una versione più grande di questa figura.

figure-protocol-7
Figura 7: Diagramma schematico della divisione AOI dello strumento di volo. La funzione degli strumenti: (A) L'indicatore della velocità indica la velocità dell'aeromobile rispetto all'aria. (B) L'indicatore di altitudine mostra l'altitudine di beccheggio e rollio dell'aeromobile. (C) L'indicatore di velocità verticale indica la velocità di salita o discesa dell'aeromobile. (D) L'indicatore di altitudine indica l'altitudine barometrica dell'aeromobile. (E) L'indicatore del regime del motore indica la velocità del motore dell'aeromobile. Clicca qui per visualizzare una versione più grande di questa figura.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Risultati

Per l'esperimento in corso sono stati scelti 23 esperti con esperienza di volo e 23 novizi senza esperienza di volo. I partecipanti avevano un'età compresa tra i 25 e i 58 anni (esperti: M = 32,52 anni, SD = 7,28 anni; principianti: M = 29,57 anni, SD = 5,74 anni). Il sesso di tutti i partecipanti era maschile. Tutti i novizi sono stati reclutati dall'Università Tsinghua (studenti o docenti) e tutti gli esperti provenivano dalla China Eastern Airlines.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Discussione

L'attuale studio ha valutato se i partecipanti con esperienza di volo avevano prestazioni di volo migliori rispetto a quelli senza esperienza di volo in un simulatore di volo basato su VR. Ancora più importante, ha valutato se un modello di movimento oculare più ottimizzato potesse essere trovato in questi partecipanti con migliori prestazioni di volo. I risultati presentano differenze significative tra i partecipanti con e senza esperienza di volo in tre indicatori chiave QAR di volo: angolo di beccheggio 1 s prima dell...

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Dichiarazioni

Gli autori hanno dichiarato di non aver divulgato informazioni finanziarie o conflitti di interesse.

Ringraziamenti

Gli autori sono incredibilmente grati al signor Li Yan per il suo aiuto nel reclutare i partecipanti al progetto pilota e ringraziano la signora Bu Lingyun per il suo lavoro sul disegno di immagini. La ricerca è stata sostenuta dalla National Natural Science Foundation of China (numero di sovvenzione T2192931, 72071185), dal National Brain Project (numero di sovvenzione STI2030-Major Projects2022ZD0208500), dal National Key Laboratory Project of Human Factors Engineering (numero di sovvenzione SYFD062003), dal National Key Laboratory Project of Human Factors Engineering (numero di sovvenzione 6142222210201) e dall'anno 2022 Major Projects of Military Logistic Research Grant e Key Project of Air Force Equipment Comprehensive Ricerca (numero di sovvenzione KJ2022A000415).

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Materiali

Elenco dei materiali utilizzati in questo articolo
NomeAziendaNumero di catalogoCommenti
SDK per motori 3DEpic GamesUnreal Engine 4
GameAnalytics Unreal SDK		Questo SDK è uno strumento di analisi gratuito potente ma flessibile progettato per i giochi.
CPUIntelIntelCore i9Una delle CPU più potenti sul mercato mainstream.
SDK per il tracciamento oculareTobiiTobii XR SDKQuesto SDK fornisce un accesso indipendente dal dispositivo ai dati di tracciamento oculare per consentire lo sviluppo di cuffie di molti fornitori di hardware diversi e non è limitato ai dispositivi che utilizzano l'hardware Tobii Eye Tracking.
Software di tracciamento oculareSviluppato dal teamdi ricerca Un programma che traccia il movimento degli occhi di una persona mentre utilizza un HMD per realtà virtuale.
Programma FlySimulatorSviluppato dal teamUn software che simula esperienze di volo in un ambiente virtuale, utilizzando VR HMD e controller portatili.
Scheda graficaNVIDIAGeForce RTX 3090
10496 NVIDIA CUDA Cores
1.70 GHz Boost Clock   
24 GB di memoria
Tipo di memoria GDDR6X		Una delle schede grafiche più potenti sul mercato mainstream.
Sistema operativo (OS)MicrosoftWindows XPUn sistema operativo (OS) sviluppato e distribuito esclusivamente da Microsoft Corporation
Pannello di controlloTHRUSTMASTER2960720 2971004 2962072 2960748 2960769U.S. Air Force A-10C aereo d'attacco HOTAS
Replica joystickTHRUSTMASTER2960720U.S. Air Force A-10C attacco
pedaleHOTASTimonependolare
Replica dell'acceleratoreTHRUSTMASTERU.S. Air Force A-10C attacco aereo HOTAS
Schermo collegato al PCRedmiRMMNT27NF, 27 pollici, rapporto di risoluzione 1920 X 1080Lo schermo consente allo sperimentatore di visualizzare contemporaneamente ciò che sta accadendo nel VR HMD
Software di registrazione dello schermoOBS ProjectOBS Studio Versione 28.0Un software gratuito e open source per la registrazione video e lo streaming live
Software di analisi statistica della potenzaOpen-SourceG*power Versione 3.1.9.6Uno strumento gratuito e facile da usare per stimare la potenza statistica e la dimensione del campione.
Software statisticoIBMSPSS Versione 24.0Una potente piattaforma software statistica
Strumento statistico versatileSoftware GraphPadPrism Versione 9.4.0Uno strumento statistico versatile creato appositamente per gli scienziati, non per gli statistici,
App store VRHTC CorporationVIVE Software 2.0.17.6 / 2.1.17.6Un app store per la realtà virtuale in cui i clienti possono esplorare, creare, connettersi e sperimentare i contenuti che amano e di cui hanno bisogno.
HTC CorporationVIVE Pro EyeUn visore VR con tracciamento oculare di precisione
Software VRSteamSteam VR Versione 1.23Uno strumento per sperimentare i contenuti VR sull'hardware
di ricerca THRUSTMASTER TPR

Riferimenti

  1. Oberhauser, M., Dreyer, D., Braunstingl, R., Koglbauer, I. What's real about virtual reality flight simulation. Aviation Psychology and Applied Human Factors. 8 (1), 22-34 (2018).
  2. Oberhauser, M., Dreyer, D. A virtual reality flight simulator for human factors engineering. Cognition, Technology & Work. 19 (2-3), 263-277 (2017).
  3. Rolfe, J. M., Staples, K. J. Flight Simulation. , Cambridge University Press. Cambridge, New York. (1986).
  4. Robinson, A., Mania, K., Perey, P. Flight simulation: Research challenges and user assessments of fidelity. Proceedings of the 2004 ACM SIGGRAPH International Conference on Virtual Reality Continuum and its Applications in Industry. , 261-268 (2004).
  5. Moroney, W. F., Moreney, B. W. Flight Simulation. Handbook of Aviation Human Factors. , Lawrence Erlbaum Associates. Mahwah, New Jersey. 261-268 (1999).
  6. McCarty, W. D., Sheasby, S., Amburn, P., Stytz, M. R., Switzer, C. A virtual cockpit for a distributed interactive simulation. IEEE Computer Graphics and Applications. 14 (1), 49-54 (1994).
  7. Dorr, K. U., Schiefel, J., Kubbat, I. Virtual cockpit simulation for pilot training. In . The Hague, The Netherlands. What is Essential for Virtual Reality Systems to Meet Military Human Performance Goals? RTO human factors and medicine panel (HEM) workshop. , The Hague. The Netherlands. (2001).
  8. Bauer, M., Klingauf, U. Virtual-reality as a future training medium for civilian flight procedure training. AIAA Modeling and Simulation Technologies Conference and Exhibit. , Honolulu, Hawaii. 18-21 (2008).
  9. Yavrucuk, I., Kubali, E., Tarimci, O. A low cost flight simulator using virtual reality tools. IEEE Aerospace and Electronic Systems Magazine. 26 (4), 10-14 (2011).
  10. Aslandere, T., Dreyer, D., Pankratz, F., Schubotz, R. A generic virtual reality flight simulator. Virtuelle und Erweiterte Realität, 11. Workshop der GI-Fachgruppe VR/AR. , Shaker Verlag. Aachen. 1-13 (2014).
  11. Joyce, R. D., Robinson, S. K. The rapidly reconfigurable research cockpit. AIAA Modeling and Simulation Technologies Conference. , Dallas, Texas. 22-26 (2015).
  12. Schijven, M. P., Jakimowicz, J. J., Carter, F. J. How to select aspirant laparoscopic surgical trainees: Establishing concurrent validity comparing Xitact LS500 index performance scores with standardized psychomotor aptitude test battery scores. The Journal of Surgical Research. 121 (1), 112-119 (2004).
  13. Huang, P., Zhu, X., Liu, X., Xiao, W., Wu, S. Psychology selecting device for air force pilot recruitment based on virtual reality technology, has industrial personal computer connected with memory, where industrial control computer is connected with image display device. , CN111920428-A (2020).
  14. Wojciechowski, P., Wojtowicz, K. Simulator sickness and cybersickness as significant indicators in a primary selection of candidates for FPV drone piloting. 2022 IEEE 9th International Workshop on Metrology for AeroSpace (MetroAeroSpace). , Pisa, Italy. (2022).
  15. Ziv, G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. The International Journal of Aviation Psychology. 26 (3-4), 75-104 (2016).
  16. Lai, M. L., et al. A review of using eye-tracking technology in exploring learning from 2000 to 2012. Educational Research Review. 10, 90-115 (2013).
  17. Robinski, M., Stein, M. Tracking visual scanning techniques in training simulation for helicopter landing. Journal of Eye Movement Research. 6 (2), 1-17 (2013).
  18. Yang, J. H., Kennedy, Q., Sullivan, J., Fricker, R. D. Pilot performance: Assessing how scan patterns & navigational assessments vary by flight expertise. Aviation Space and Environmental Medecine. 84 (2), 116-124 (2013).
  19. Yu, C. S., Wang, E. M. Y., Li, W. C., Braithwaite, G., Greaves, M. Pilots' visual scan patterns and attention distribution during the pursuit of a dynamic target. Aerospace Medicine and Human Performance. 87 (1), 40-47 (2016).
  20. Haslbeck, A., Zhang, B. I spy with my little eye: Analysis of airline pilots' gaze patterns in a manual instrument flight scenario. Applied Ergonomics. 63, 62-71 (2017).
  21. Brams, S., et al. Does effective gaze behavior lead to enhanced performance in a complex error-detection cockpit task. PLoS One. 13 (11), e0207439(2018).
  22. Peißl, S., Wickens, C. D., Baruah, R. Eye-tracking measures in aviation: A selective literature review. The International Journal of Aerospace Psychology. 28 (3-4), 98-112 (2018).
  23. Jin, H., et al. Study on how expert and novice pilots can distribute their visual attention to improve flight performance. IEEE Access. 9, 44757-44769 (2021).
  24. Lounis, C., Peysakhovich, V., Causse, M. Visual scanning strategies in the cockpit are modulated by pilots' expertise: A flight simulator study. PLoS One. 16 (2), e0247061(2021).
  25. Bellenkes, A. H., Wickens, C. D., Kramer, A. F. Visual scanning and pilot expertise: The role of attentional flexibility and mental model development. Aviation Space and Environmental. 68 (7), 569-579 (1997).
  26. Kasarskis, P., Stehwien, J., Hickox, J., Aretz, A., Wickens, C. Comparison of expert and novice scan behaviors during VFR flight. Proceedings of the 11th International Symposium on Aviation Psychology. , Columbus, Ohio. (2001).
  27. Lorenz, B., et al. Performance, situation awareness, and visual scanning of pilots receiving onboard taxi navigation support during simulated airport surface operation. Human Factors and Aerospace Safety. 6 (2), 135-154 (2006).
  28. Horrey, W. J., Alexander, A. L., Wickens, C. D. Does workload modulate the effects of in-vehicle display location on concurrent driving and side task performance. Driving Simulator Conference North America Proceedings. , Dearborn, Michigan. October 8-10 (2013).
  29. Wang, L., Ren, Y., Sun, H., Dong, C. A landing operation performance evaluation method and device based on flight data. In Engineering Psychology and Cognitive Ergonomics: Cognition and Design. , Springer International Publishing. Vancouver, British Columbia, Canada. 297-305 (2017).
  30. Wang, L., Ren, Y., Wu, C. Effects of flare operation on landing safety: A study based on ANOVA of real flight data. Safety Science. 102, 14-25 (2018).
  31. Huang, R., Sun, H., Wu, C., Wang, C., Lu, B. Estimating eddy dissipation rate with QAR flight big data. Applied Sciences. 9 (23), 5192(2019).
  32. Wang, L., Zhang, J., Dong, C., Sun, H., Ren, Y. A method of applying flight data to evaluate landing operation performance. Ergonomics. 62 (2), 171-180 (2019).
  33. Gerathewohl, S. J. Leitfaden der Militärischen Flugpsychologie. Verlag für Wehrwissenschaften. , (1987).
  34. Ugwitz, P., Kvarda, O., Juříková, Z., Šašinka, Č, Tamm, S. Eye-tracking in interactive virtual environments: implementation and evaluation. Applied Sciences. 12 (3), 1027(2022).
  35. Faul, F., Erdfelder, E., Lang, A. -G., Buchner, A. G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods. 39 (2), 175-191 (2007).
  36. Boslaugh, S. E. Snellen Chart. , (2018).
  37. He, J., Becic, E., Lee, Y. -C., McCarley, J. S. Mind wandering behind the wheel. Human Factors: The Journal of the Human Factors and Ergonomics Society. 53 (1), 13-21 (2011).
  38. Tanveer Alam, GitHub - tanvcodes/qar_analytics: Scripts for working with publicly available Quick Access Recorder (QAR) data from a fleet of 35 BAE-146 aircraft. GitHub. , Retrieved on December 20,2022 from https://github.com/tanvcodes/qar_analytics (2022).
  39. Shapiro, S. S., Wilk, M. B. An analysis of variance test for normality (complete samples). Biometrika. 52 (3-4), 591-611 (1965).
  40. Hintze, J. L., Nelson, R. D. Violin plots: A box plot-density trace synergism. The American Statistician. 52 (2), 181-184 (1998).
  41. Cohen, J. Statistical Power Analysis for the Behavioral Sciences (2nd ed.). , Erlbaum, Hillsdale, NJ. (1988).
  42. Sawilowsky, S. S. New effect size rules of thumb. Journal of Modern Applied Statistical Methods. 8 (2), 26(2009).
  43. Bateman, T. S., Crant, J. M. The proactive component of organizational behavior: A measure and correlates. Journal of Organizational Behavior. 14 (2), 103-118 (1993).
  44. Endsley, M. R. Measurement of situation awareness in dynamic systems. Human Factors. 37 (1), 65-84 (1995).
  45. Hunter, D. R. Measuring general aviation pilot judgment using a situational judgment technique. The International Journal of Aviation Psychology. 13 (4), 373-386 (2003).
  46. Kim, H. K., Park, J., Choi, Y., Choe, M. Virtual reality sickness questionnaire (VRSQ): Motion sickness measurement index in a virtual reality environment. Applied Ergonomics. 69, 66-73 (2018).
  47. Hart, S. G. NASA Task Load Index (TLX). , (1986).

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Ristampe e permessi

Richiedi il permesso di riutilizzare il testo o le figure di questo articolo JoVE

Richiedi permesso

Tag

Valutazione delle prestazioni di voloValutazione del pilotaTecnologia di eye trackingConfronto dell esperienza di voloSimulazione immersiva 3DModulo di controllo del voloMisurazione della consapevolezza situazionaleValutazione della VR sickness

Articoli correlati