Artículo de método

Evaluación del rendimiento de vuelo y los patrones de movimiento ocular mediante un simulador de vuelo de realidad virtual

2K vistas

⸱

DOI:

10.3791/65170

⸱

19 de mayo de 2023

 ,  ,  ,  ,  ,  ,  , 
1Psychology Department, School of Social Sciences, Tsinghua University, 2Faculty of Psychology, Beijing Normal University, 3National Key Laboratory of Human Factors Engineering, the China Astronaut Research and Training Center, 4Department of Military Medical Psychology, Air Force Medical University

En este artículo

Resumen

Se construyó un nuevo simulador de vuelo de realidad virtual, que permite una evaluación eficiente y de bajo costo del rendimiento de vuelo y los patrones de movimiento ocular. También proporciona una herramienta de investigación de alto potencial para la ergonomía y otras investigaciones.

Resumen

La evaluación eficiente y económica del rendimiento de los pilotos se ha vuelto fundamental para la industria de la aviación. Con el desarrollo de la realidad virtual (RV) y la combinación de la tecnología de seguimiento ocular, las soluciones para satisfacer estas necesidades se están convirtiendo en una realidad. Estudios anteriores han explorado simuladores de vuelo basados en realidad virtual, centrándose principalmente en la validación de tecnología y el entrenamiento de vuelo. El estudio actual desarrolló un nuevo simulador de vuelo de realidad virtual para evaluar el rendimiento de vuelo de los pilotos en función del movimiento ocular y los indicadores de vuelo en una escena inmersiva en 3D. Durante el experimento, se reclutaron 46 participantes: 23 pilotos profesionales y 23 estudiantes universitarios sin experiencia de vuelo. Los resultados del experimento mostraron diferencias significativas en el rendimiento de vuelo entre participantes con y sin experiencia de vuelo, siendo el primero mayor que el segundo. Por el contrario, aquellos con experiencia de vuelo mostraron patrones de movimiento ocular más estructurados y eficientes. Estos resultados de la diferenciación del rendimiento de vuelo demuestran la validez del simulador de vuelo VR actual como método de evaluación del rendimiento de vuelo. Los diferentes patrones de movimiento ocular con la experiencia de vuelo proporcionan la base para la selección de vuelo futuro. Sin embargo, este simulador de vuelo basado en realidad virtual tiene deficiencias como la retroalimentación de movimiento en comparación con los simuladores de vuelo tradicionales. Esta plataforma de simulador de vuelo es muy flexible, excepto por el aparente bajo costo. Puede satisfacer las diversas necesidades de los investigadores (por ejemplo, medir la conciencia de la situación, la enfermedad por RV y la carga de trabajo mediante la adición de escalas relevantes).

Introducción

La Agencia Europea de Seguridad Aérea (2012) clasifica los simuladores de vuelo como instalaciones de entrenamiento, entrenadores de programas de vuelo y navegación, equipos de entrenamiento de vuelo y simuladores de vuelo completos1. Hasta la fecha, hay una gama de simuladores de vuelo disponibles para el entrenamiento, desde sistemas de mesa de bajo nivel hasta simuladores de vuelo completo basados en movimiento altamente complicados2. El simulador tradicional incluye un modelo de dinámica de vuelo, una simulación de sistema, una cabina de hardware, una visualización externa y una simulación de movimiento opcional3.

Estos simuladores de vuelo tradicionales tienen algunas ventajas como equipo de entrenamiento de vuelo efectivo. Sin embargo, su costo es alto y poco amigable con el medio ambiente, ya que el accionamiento de cada sistema requiere una energía eléctrica sustancial, especialmente un simulador de vuelo completo, que requiere fluido o presión de aire a alta temperatura y alta presión, consume mucha energía y genera mucho ruido4.

Sin embargo, un sistema de simulador de escritorio simple es flexible y de bajo costo, con menor inmersión y menos interacciones que un simulador de vuelo completo2. Por lo tanto, es esencial desarrollar nuevos simuladores de vuelo que combinen las ventajas de los sistemas de escritorio y los simuladores de vuelo completos (en otras palabras, la flexibilidad de una simulación de mesa y el nivel de inmersión e interacción cercano a un simulador de vuelo completo).

Con el desarrollo de la tecnología informática, especialmente la tecnología de realidad virtual (RV), un nuevo tipo de simulador de vuelo basado en la tecnología emergente de RV se está convirtiendo en una realidad. El simulador de vuelo basado en realidad virtual es flexible, portátil, de bajo costo y tiene menos requisitos de espacio que los simuladores de vuelo convencionales5. Los investigadores han creado simuladores de vuelo basados en tecnología de realidad virtual en los últimos 20 años 6,7,8,9,10,11; sin embargo, estos simuladores de vuelo VR son principalmente para el entrenamiento de vuelo, y hay pocos para la selección de pilotos. Sin embargo, con la reducción de costos y la mejora de la tecnología, los simuladores basados en realidad virtual están cambiando y se están volviendo factibles para la selección personal. Algunos estudios han utilizado simuladores basados en RV para la selección personal en diferentes dominios: Schijven et al.12 seleccionaron a cirujanos en formación utilizando un simulador de realidad virtual. Huang et al.13 desarrollaron un instrumento de selección psicológica basado en tecnología de realidad virtual para el reclutamiento de pilotos de la Fuerza Aérea. Wojciechowski y Wojtowicz14 evaluaron las capacidades de un candidato como piloto de vehículos aéreos no tripulados (UAV) basados en tecnología de realidad virtual. Dado que la selección de pilotos es fundamental para la industria de la aviación, es urgente desarrollar un nuevo simulador de vuelo basado en realidad virtual que se centre en la selección de pilotos, ya que la selección de pilotos a gran escala es susceptible al costo del simulador y a las demandas del sistema de simulador de portabilidad.

Los movimientos oculares proporcionan pistas para el rendimiento de un piloto. Diferentes estudios han encontrado que el modo de escaneo ocular distingue el rendimiento entre pilotos expertos y novatos. Al comparar el patrón de escaneo entre expertos y novatos, se pudo diferenciar el comportamiento eficiente y estructural del movimiento ocular de los expertos y los métodos de escaneo inadecuados de los principiantes. Varios estudios de aviación han encontrado que la estrategia de escaneo ocular de los pilotos se relaciona en gran medida con el nivel de experiencia 15,16,17,18,19,20,21,22,23,24. De acuerdo con Bellenkes et al.25, la duración de las fijaciones de los expertos es más corta y la frecuencia de sus fijaciones en los instrumentos es mayor que la de los novatos. Casi a la misma conclusión llegaron Kasarskis et al.26, quienes descubrieron que los pilotos expertos tienen más fijaciones combinadas con duraciones más cortas que los novatos, sugiriendo que los pilotos expertos tienen un mejor modo visual que los novatos. En otro estudio, Lorenz et al.27 encontraron que los expertos pasan más tiempo mirando fuera de la cabina que los novatos. Estos resultados tienen un gran valor práctico en la selección de los recién llegados.

La evaluación del rendimiento de vuelo es otro factor crítico para la selección de pilotos. Sin embargo, existen los siguientes problemas en la evaluación del rendimiento de vuelo de los pilotos: opiniones contradictorias de los expertos, más normas de selección y una teoría de selección unificada. En el campo de la conducción, Horrey et al.28 compararon el valor absoluto de la desviación del carril desde la línea central para diferentes condiciones experimentales con el fin de evaluar el rendimiento en la conducción. Volviendo al dominio de la aviación, el registrador de acceso rápido de vuelo (QAR) registra todo tipo de parámetros de manipulación del piloto, parámetros de la aeronave, entornos e información de advertencia durante el vuelo29. Más específicamente, como los indicadores QAR, el ángulo de cabeceo es el ángulo de rotación alrededor de los ejes izquierdo y derecho de la aeronave30, y la línea de referencia (o la línea de referencia central) está justo en el medio de las líneas roja y verde28; Estos dos parámetros de vuelo se utilizan para evaluar el rendimiento de vuelo de los participantes con o sin experiencia en el estudio actual. Estos datos QAR se pueden utilizar para evaluar el rendimiento del vuelo, sin embargo, hasta donde sabemos, rara vez se han utilizado para el entrenamiento personal y la selección en la investigación científica31,32.

Las mediciones de los patrones de movimiento ocular se pueden utilizar para evaluar y predecir el rendimiento del vuelo y guiar el entrenamiento y la selección de los pilotos. Gerathewohl33 afirmó que el ojo es el órgano sensorial más importante del piloto, procesando el 80% de la información de vuelo. Los pilotos deben adquirir información visual de los instrumentos de la cabina e integrarla en una imagen coherente para gestionar el vuelo22. Además, el comportamiento óptimo de escaneo es esencial para lograr un mejor rendimiento de vuelo15. Sin embargo, actualmente no hay un simulador de vuelo asequible que integre un rastreador ocular para facilitar los estudios cuantitativos de la relación entre los movimientos oculares y el rendimiento del vuelo.

El estudio actual desarrolló un nuevo simulador de vuelo de realidad virtual para evaluar si los participantes con experiencia de vuelo tenían un mejor rendimiento de vuelo que aquellos sin experiencia de vuelo. El simulador de vuelo VR integra el seguimiento ocular y un sistema de dinámica de vuelo que permite el análisis de patrones de movimiento ocular y la evaluación del rendimiento del vuelo. En particular, vale la pena mencionar que el simulador de vuelo VR utiliza un rastreador ocularVR 34, no un rastreador ocular similar al vidrio o de escritorio, para analizar el movimiento ocular basado en el área de interés (AOI) sin contar fotogramas que requiere mucho tiempo.

Finalmente, el presente trabajo puede conducir a una medición ómnibus para la selección de pilotos en el futuro, desde la trayectoria de escaneo ocular hasta los datos objetivos de rendimiento de vuelo. Con la ayuda del simulador de vuelo virtual, el costo de la selección de vuelo se reducirá significativamente y la norma de los pilotos se puede formar en función de una amplia recopilación de datos. El trabajo llena un vacío entre los simuladores convencionales y los de escritorio para las necesidades de selección de vuelos.

Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.

Protocolo

Todos los métodos descritos aquí han sido aprobados por la Junta de Revisión Institucional (IRB) de la Universidad de Tsinghua, y se obtuvo el consentimiento informado de todos los participantes. Después de la finalización, a todos los participantes se les pagó $ 12 (o un regalo de igual valor).

1. Selección de participantes

  1. Reclute participantes de acuerdo con un estudio previo de análisis de potencia utilizando el software G*Power35 (consulte la Tabla de materiales) para garantizar que el número de participantes cumpla con el tamaño de muestra esperado dado por G*Power, que es igual a 21.
    NOTA: El tamaño de muestra esperado dado por G*Power se refiere al número estimado de participantes necesarios en un estudio para lograr un nivel deseado de potencia estadística basado en el tamaño del efecto, el nivel de significación y la prueba estadística utilizados. El tamaño esperado de la muestra es una consideración importante en la planificación de la investigación. Ayuda a los investigadores a determinar la viabilidad y la rentabilidad del diseño de su estudio y garantiza que el estudio tenga suficiente potencia estadística para detectar efectos significativos.
  2. Asegúrese de que ninguno de los participantes tenga antecedentes de epilepsia, enfermedades cardíacas o cerebrales, medicamentos endocrinos o psiquiátricos recientes o alergias cutáneas graves.
  3. Utilice la tabla optométrica de Snellen (utilice el sistema métrico 6/6)36 para confirmar que la visión de los participantes es normal o corregida a normal y que no tienen ninguna discapacidad visual como daltonismo o debilidad del color.
  4. Asegúrese de que ninguno de los participantes haya consumido alcohol o drogas en las últimas 24 horas que puedan afectar a su capacidad para volar.
  5. Asegúrese de que los participantes hayan dormido no menos de 6 horas y estén en buenas condiciones mentales antes del experimento.

2. Hardware del simulador de vuelo

  1. Comprueba que todo el hardware del simulador de vuelo esté completo. De acuerdo con su función, este hardware se organiza en tres módulos (Tabla 1) (ver Tabla de Materiales).
    NOTA: Los investigadores deben tocar una varilla de metal antes de tocar el equipo para evitar el riesgo que representa la inducción electrostática.
    1. Verifique los componentes del módulo VR, HMD (pantalla montada en la cabeza) y seguimiento ocular con la ayuda de la Tabla 2.
    2. Asegúrese de que todos los componentes del módulo de PC del simulador de vuelo cumplan con los siguientes requisitos mínimos: procesador de 3,6 G Hz, memoria interna 4G, sistema operativo de 64 bits y tarjeta gráfica. El sistema será compatible con todos los controladores de vuelo.
    3. Verifique los componentes del módulo de control de vuelo y asegúrese de que la configuración de parámetros del dispositivo sea consistente con la Tabla 3.
  2. Instale el hardware del simulador de vuelo de acuerdo con el diseño de la Figura 1. La figura 2 muestra cómo se conecta el hardware.
    1. Únase físicamente al acelerador y al panel de control y trátelos como una unidad.
    2. Conecte el acelerador, el joystick y el pedal al módulo de PC del simulador de vuelo a través de USB.
    3. Conecte el HMD al módulo PC del simulador de vuelo a través de la caja de enlace.
    4. Conecte las estaciones base y los controladores VR al HMD a través del software VR en la PC.
Pantalla VR montada en la cabeza (HMD) y módulo de seguimiento ocular1. Estación base
2. VR HMD
Módulo PC de Flight Simulator3. Simulador de vuelo PC
Módulo de control de vuelo4. Acelerador de vuelo
5. Joystick de vuelo
6. Pedal de vuelo

Tabla 1: Componentes de los tres módulos del hardware del simulador de vuelo.

Componente principalAccesorios
VR HMDCable de auricular (conectado)
Cojín facial (adjunto)
Paño de limpieza
Tapa del orificio del auricular × 2
Cuadro de enlaceAdaptador de corriente
Cable DisplayPort
Cable USB 3.0
Almohadilla de montaje
Controladores (2018) × 2Adaptadores de corriente × 2
Cordones × 2
Cables micro-USB × 2
Estación base 2.0 × 2Adaptadores de corriente × 2
Kit de montaje (2 soportes, 4 tornillos y 4 anclajes de pared)

Tabla 2: Lista de componentes del módulo VR HMD y de seguimiento ocular.

DispositivoConfiguración de parámetros
Joystick de vueloDiecinueve botones de acción
Un sombrero de "punto de vista" de 8 vías
Varios sensores magnéticos 3D
Un sistema de 5 resortes helicoidales
Una resolución de 16 bits (valores de 65536 x 65536).
Panel de control de vueloQuince botones de acción
Una rueda TRIM
Cinco LEDs programables
Acelerador de vueloDiecisiete botones de acción
Un sombrero de ratón con un pulsador
Un sombrero de "punto de vista" de 8 vías
Varios sensores magnéticos 3D
Dos de resolución de 14 bits
Pedal de vueloTensión entre 2,5 kg y 5 kg
Ángulo entre 35° y 75°

Tabla 3: Configuración de parámetros de los dispositivos del módulo de control de vuelo.

figure-protocol-1
Figura 1: El diseño del hardware del simulador de vuelo VR. Haga clic aquí para ver una versión más grande de esta figura.

figure-protocol-2
Figura 2: Conexión del hardware del simulador de vuelo. (A) Módulo de control de vuelo. El acelerador y el panel de control están unidos físicamente y se tratan como una unidad. Si el término "acelerador" se utiliza en este estudio, se refiere tanto al acelerador como al panel de control. (B) Módulo PC del simulador de vuelo. Un equipo que cumple los requisitos descritos en el paso 2.2. (C) HMD y módulo de seguimiento ocular. Los kits de desarrollo de software (SDK) para el seguimiento ocular y el motor 3D se mantienen sincronizados cuando se instalan en el mismo equipo. Por lo tanto, las funciones de seguimiento ocular y el sistema operativo interactúan y trabajan juntos. Haga clic aquí para ver una versión más grande de esta figura.

3. Software de simulador de vuelo

  1. Asegúrese de que todo el software (consulte la Tabla de materiales) se haya instalado antes de que comience el experimento. La información sobre todo el software utilizado en el experimento se muestra en la Tabla 4.
NombreDescripción
Software de realidad virtualUna herramienta ampliamente utilizada para experimentar contenido de realidad virtual en el hardware.
Tienda de aplicaciones de realidad virtualLa tienda de aplicaciones de realidad virtual donde los clientes pueden explorar, crear, conectarse y experimentar el contenido que aman y necesitan.
Software de seguimiento ocularSoftware de seguimiento ocular desarrollado por el equipo de investigación a través de los SDK de seguimiento ocular y motor 3D.
FlySimulatorEl programa principal del software del simulador de vuelo, desarrollado por el equipo de investigación.
Software de grabación de pantallaUn software gratuito y de código abierto para la grabación de video y la transmisión en vivo.

Tabla 4: Información sobre todo el software utilizado en el experimento.

4. Preparación antes de lanzar el simulador de vuelo

NOTA: Si es la primera vez que ejecuta el programa de seguimiento ocular, realice los pasos adicionales de acuerdo con la Figura 3. El programa de seguimiento ocular se activará automáticamente después de la ejecución inicial.

figure-protocol-3
Figura 3: Los pasos adicionales al ejecutar el programa de seguimiento ocular por primera vez. Haga clic aquí para ver una versión más grande de esta figura.

  1. Asegúrese de que el HMD esté encendido y conectado a la computadora.
  2. Coloque la estación base en diagonal para asegurarse de que el HMD siempre pueda estar dentro del rango de monitoreo de la estación base. Mantenga la estación base fija para mantener un entorno de realidad virtual estable.
  3. Configure un área de juego solo para estar de pie de acuerdo con las indicaciones dadas por el software de realidad virtual en la computadora.
    NOTA: El mensaje permite un área a escala de habitación o configura un área de juego solo para pie. El modo de solo pie se usa generalmente para experimentar escenas de realidad virtual que no requieren caminar y se puede seleccionar cuando el usuario tiene espacio limitado para moverse. Por lo tanto, en este experimento, configure un área de juego solo para pie.
  4. Establezca la calibración del seguimiento ocular. El sistema de seguimiento ocular debe recalibrarse cada vez que se cambia de participante.
    1. Confirme que los participantes no están usando lentes de contacto, lo que hace que el seguimiento ocular no funcione correctamente.
    2. Abra el programa de calibración de seguimiento ocular utilizando los controladores VR (consulte la tabla de materiales).
    3. Ajuste la altura del dispositivo, la distancia interpupilar (IDP) y el punto de mirada según las indicaciones del sistema.
    4. Haga que los ojos del participante iluminen cada punto durante 2 segundos en el sentido de las agujas del reloj para verificar la eficacia de la calibración del seguimiento ocular.
  5. Conecte el módulo de control de vuelo sintonizado y la pantalla grande (es decir, al menos un monitor de 27 pulgadas) a la misma computadora que el VR HMD. La pantalla permite al experimentador ver lo que está sucediendo en el VR HMD simultáneamente.

5. Procedimiento experimental

NOTA: El experimento se divide en cuatro pasos: "recopilar información", "presentar la tarea y la operación", "practicar antes del experimento" y "realizar un experimento formal". El proceso experimental se resume en la Figura 4.

figure-protocol-4
Figura 4: El diagrama de flujo del experimento. Haga clic aquí para ver una versión más grande de esta figura.

  1. Recopilar información de los participantes (15 min).
    1. Rellena el formulario de datos de pago con la información de pago de los participantes.
    2. Informar a los participantes que lean el documento de consentimiento informado y lo firmen.
  2. Presentar la tarea y el funcionamiento del simulador a los participantes (5 min).
    1. Explique a los participantes el patrón de tráfico y el mapa (Figura 5).
    2. Instruya a los participantes sobre cómo usar el simulador de vuelo de realidad virtual.
    3. Informe a los participantes que pueden abandonar el experimento si experimentan molestias mientras simulan un vuelo.
  3. Pida a los participantes que practiquen el uso del simulador de vuelo VR (15 min).
    1. Ajuste el VR HMD a los participantes y calibre los movimientos oculares. Ajuste la altura del dispositivo, la distancia interpupilar (IDP) y el punto de mirada según las instrucciones del sistema.
    2. Abre el software de grabación de pantalla.
    3. Lanzar el programa FlySimulator para ayudar a los participantes con el entrenamiento de vuelo.
    4. Indique a los participantes que usen el pedal de vuelo, la palanca universal y el acelerador en conjunto para dirigir la aeronave lo más cerca posible de la línea de vuelo de referencia (Figura 5).
    5. Restablezca el acelerador de vuelo y los botones del interruptor del motor después de salir del programa FlySimulator y detenga la grabación de la pantalla después de que el sujeto haya completado la práctica.
  4. Realizar experimentos formales de vuelo (20 min).
    1. Coloque el VR HMD para los participantes y ejecute OBS Studio para comenzar a grabar la pantalla.
    2. Inicie el programa FlySimulator, elija una perspectiva de ajuste, encienda el motor, suelte el freno de estacionamiento y acelere al máximo.
    3. Salga del programa FlySimulator, luego reinicie los botones del acelerador de vuelo y del interruptor del motor . Deja de grabar la pantalla.

figure-protocol-5
Figura 5: El patrón de tráfico para el simulador de vuelo de realidad virtual. El ángulo de cabeceo es el ángulo de rotación alrededor de los ejes izquierdo y derecho de la aeronave, y la línea de referencia (o la línea de referencia central) está justo en el centro de las líneas roja y verde. Haga clic aquí para ver una versión más grande de esta figura.

6. Análisis de datos

  1. Analice los datos de movimiento ocular.
    1. Divida cinco zonas de área de interés (AOI) en este estudio; para obtener más información sobre el cálculo de AOI, consulte la Figura 6, basada en el panel real de la cabina de vuelo correspondiente al instrumento de la cabina de vuelo (Figura 7).
    2. Calcule la prueba de diferencia de AOI utilizando el porcentaje de tiempo de permanencia en la zona AOI37, dada la característica del equipo del oculomotor VR utilizado en este estudio.
      NOTA: El porcentaje promedio de tiempo de permanencia es el porcentaje acumulado dedicado a mirar dentro de un AOI dividido por el tiempo total de fijación y promediado entre los participantes.
  2. Analice los datos de rendimiento de vuelo con scripts de programación desarrollados a medida con Python 3.10. El algoritmo central para las métricas de rendimiento se adaptó del método de análisis QAR, inspirado en los datos QAR de 35 aviones BAE-146 proporcionados por la Administración Nacional de Aeronáutica y del Espacio (NASA)38.
    NOTA: Indicadores de rendimiento de vuelo para este estudio: el tiempo total de vuelo (el tiempo total desde el despegue hasta el aterrizaje para cada participante, en segundos), ángulo de cabeceo 1 s antes del aterrizaje (ángulo de cabeceo de la aeronave 1 s antes del aterrizaje, obtenido a partir de datos brutos, en grados), distancia media a la línea de referencia (error medio de la distancia espacial entre la aeronave y la línea de referencia durante el vuelo, en metros), y desviación estándar de la distancia a la línea de referencia (desviación estándar de la distancia espacial entre el plano y la línea de referencia durante el vuelo, en metros).
  3. Realizar los análisis estadísticos.
    1. Utilice la prueba de Shapiro-Wilk39 para confirmar la normalidad de los datos.
    2. Utilice software estadístico (consulte la Tabla de materiales) para la estadística descriptiva, la prueba U de Mann-Whitney y la prueba t de Student.
    3. Representar los gráficos de violín para indicar mejor la forma de la distribución de datos40.
      NOTA: La explicación del tamaño del efecto medido usando la d de Cohen es la siguiente: 0.1 es muy pequeño, 0.2 es pequeño, 0.5 es mediano, 0.8 es grande, 1.2 es muy grande y 2.0 es enorme41,42. El nivel de significancia se estableció en p < 0,05.

figure-protocol-6
Figura 6: Preprocesamiento de AOI y proceso de cálculo de flujo. Las secciones 1 a 4 describen cómo el presente estudio procesó los datos de movimiento ocular de los pilotos hasta la prueba t de muestra independiente. Haga clic aquí para ver una versión más grande de esta figura.

figure-protocol-7
Figura 7: Diagrama esquemático de la división AOI del instrumento de vuelo. La función de los instrumentos: (A) El indicador de velocidad aerodinámica indica la velocidad de la aeronave en relación con el aire. (B) El indicador de altitud muestra la altitud de cabeceo y balanceo de la aeronave. (C) El indicador de velocidad vertical indica la velocidad de ascenso o descenso de la aeronave. (D) El indicador de altitud indica la altitud barométrica de la aeronave. (E) El indicador de velocidad del motor indica la velocidad del motor de la aeronave. Haga clic aquí para ver una versión más grande de esta figura.

Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.

Resultados

Para el experimento actual, se eligieron 23 expertos con experiencia de vuelo y 23 novatos sin experiencia de vuelo. Los participantes tenían entre 25 y 58 años de edad (expertos: M = 32,52 años, DE = 7,28 años; novatos: M = 29,57 años, DE = 5,74 años). El sexo de todos los participantes fue masculino. Todos los novatos fueron reclutados de la Universidad de Tsinghua (estudiantes o profesores), y todos los expertos eran de China Eastern Airlines.

Mov...

Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.

Discusión

El estudio actual evaluó si los participantes con experiencia de vuelo tenían un mejor rendimiento de vuelo que aquellos sin experiencia de vuelo en un simulador de vuelo basado en realidad virtual. Más importante aún, evaluó si se podía encontrar un patrón de movimiento ocular más optimizado en estos participantes con un mejor rendimiento de vuelo. Los resultados muestran diferencias significativas entre los participantes con y sin experiencia de vuelo en tres indicadores QAR clave de vuelo: el ángulo de cabeceo 1 s ant...

Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.

Divulgaciones

Los autores declararon no haber divulgado información financiera ni tener conflictos de intereses.

Agradecimientos

Los autores están increíblemente agradecidos al Sr. Li Yan por su ayuda en el reclutamiento de participantes piloto y reconocen a la Sra. Bu Lingyun por su trabajo en el dibujo de imágenes. La investigación fue apoyada por la Fundación Nacional de Ciencias Naturales de China (subvención número T2192931, 72071185), el Proyecto Nacional del Cerebro (subvención número STI2030-Proyectos Principales2022ZD0208500), el Proyecto de Laboratorio Clave Nacional de Ingeniería de Factores Humanos (subvención número SYFD062003), el Proyecto de Laboratorio Clave Nacional de Ingeniería de Factores Humanos (subvención número 6142222210201), y los Proyectos Principales del año 2022 de Subvención de Investigación Logística Militar y Proyecto Clave de Equipo de la Fuerza Aérea Integral Investigación (beca número KJ2022A000415).

Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.

Materiales

Lista de materiales utilizados en este artículo
NombreEmpresaNúmero de catálogoComentarios
SDK del motor 3DEpic GamesUnreal Engine 4
GameAnalytics Unreal SDK		Este SDK es una herramienta de análisis gratuita potente pero flexible diseñada para juegos.
CPUIntelIntelCore i9Una de las CPU más potentes del mercado principal.
SDK de seguimiento ocularTobiiTobii XR SDKEste SDK proporciona acceso independiente del dispositivo a los datos de seguimiento ocular para permitir el desarrollo de auriculares de muchos proveedores de hardware diferentes y no se limita a los dispositivos que utilizan hardware de seguimiento ocular Tobii.
Software de seguimiento ocularDesarrollado por el equipode investigación Un programa que rastrea el movimiento de los ojos de una persona mientras utiliza un HMD de realidad virtual.
Programa FlySimulatorDesarrollado por el equipode investigación Un software que simula experiencias de vuelo en un entorno virtual, utilizando VR HMD y controladores de mano.
Tarjeta gráficaNVIDIAGeForce RTX 3090
10496 NVIDIA CUDA Cores
1.70 GHz Boost Clock   
24 GB Tamaño de memoria
GDDR6X Tipo		de memoria Una de las tarjetas gráficas más potentes del mercado principal.
Sistema operativo (SO)MicrosoftWindows XPUn sistema operativo (SO) desarrollado y distribuido exclusivamente por Microsoft
Corporation Réplica del panel de controlTHRUSTMASTER2960720 2971004 2962072 2960748 2960769Avión de ataque A-10C de la Fuerza Aérea de EE. UU. Joystick HOTAS
ReplicaTHRUSTMASTER2960720Avión de ataque A-10C de la Fuerza Aérea de EE. UU. Pedal réplica de
Timónpendular
Réplica del aceleradorTHRUSTMASTERU.S. Air Force A-10C avión de ataque HOTAS
Pantalla conectada al PCRedmiRMMNT27NF, 27 pulgadas, relación de resolución de 1920 X 1080La pantalla permite al experimentador ver simultáneamente lo que está sucediendo en el software de grabación de pantalla VR HMD
Proyecto OBSEstudio OBS Versión 28.0Un software gratuito y de código abierto para la grabación de video y la transmisión en vivo
Software de análisis de potencia estadísticaabiertoG*power Versión 3.1.9.6Una herramienta gratuita y fácil de usar para estimar la potencia estadística y el tamaño de la muestra.
Software estadísticoIBMSPSS versión 24.0Una potente plataforma de software estadístico
Herramienta estadística versátilSoftware GraphPadPrism versión 9.4.0Una herramienta estadística versátil diseñada específicamente para científicos, no estadísticos
Tienda de aplicacionesVR HTC CorporationSoftware VIVE 2.0.17.6 / 2.1.17.6Una tienda de aplicaciones para realidad virtual donde los clientes pueden explorar, crear, conectarse y experimentar el contenido que aman y necesitan.
Pantalla montada en la cabeza de realidad virtual (HMD)HTC CorporationVIVE Pro EyeUn auricular de realidad virtual con seguimiento ocular de precisión
Software de realidad virtualSteamSteam VR versión 1.23Una herramienta para experimentar contenido de realidad virtual en el hardware
HOTASTHRUSTMASTER TPR Código

Referencias

  1. Oberhauser, M., Dreyer, D., Braunstingl, R., Koglbauer, I. What's real about virtual reality flight simulation. Aviation Psychology and Applied Human Factors. 8 (1), 22-34 (2018).
  2. Oberhauser, M., Dreyer, D. A virtual reality flight simulator for human factors engineering. Cognition, Technology & Work. 19 (2-3), 263-277 (2017).
  3. Rolfe, J. M., Staples, K. J. Flight Simulation. , Cambridge University Press. Cambridge, New York. (1986).
  4. Robinson, A., Mania, K., Perey, P. Flight simulation: Research challenges and user assessments of fidelity. Proceedings of the 2004 ACM SIGGRAPH International Conference on Virtual Reality Continuum and its Applications in Industry. , 261-268 (2004).
  5. Moroney, W. F., Moreney, B. W. Flight Simulation. Handbook of Aviation Human Factors. , Lawrence Erlbaum Associates. Mahwah, New Jersey. 261-268 (1999).
  6. McCarty, W. D., Sheasby, S., Amburn, P., Stytz, M. R., Switzer, C. A virtual cockpit for a distributed interactive simulation. IEEE Computer Graphics and Applications. 14 (1), 49-54 (1994).
  7. Dorr, K. U., Schiefel, J., Kubbat, I. Virtual cockpit simulation for pilot training. In . The Hague, The Netherlands. What is Essential for Virtual Reality Systems to Meet Military Human Performance Goals? RTO human factors and medicine panel (HEM) workshop. , The Hague. The Netherlands. (2001).
  8. Bauer, M., Klingauf, U. Virtual-reality as a future training medium for civilian flight procedure training. AIAA Modeling and Simulation Technologies Conference and Exhibit. , Honolulu, Hawaii. 18-21 (2008).
  9. Yavrucuk, I., Kubali, E., Tarimci, O. A low cost flight simulator using virtual reality tools. IEEE Aerospace and Electronic Systems Magazine. 26 (4), 10-14 (2011).
  10. Aslandere, T., Dreyer, D., Pankratz, F., Schubotz, R. A generic virtual reality flight simulator. Virtuelle und Erweiterte Realität, 11. Workshop der GI-Fachgruppe VR/AR. , Shaker Verlag. Aachen. 1-13 (2014).
  11. Joyce, R. D., Robinson, S. K. The rapidly reconfigurable research cockpit. AIAA Modeling and Simulation Technologies Conference. , Dallas, Texas. 22-26 (2015).
  12. Schijven, M. P., Jakimowicz, J. J., Carter, F. J. How to select aspirant laparoscopic surgical trainees: Establishing concurrent validity comparing Xitact LS500 index performance scores with standardized psychomotor aptitude test battery scores. The Journal of Surgical Research. 121 (1), 112-119 (2004).
  13. Huang, P., Zhu, X., Liu, X., Xiao, W., Wu, S. Psychology selecting device for air force pilot recruitment based on virtual reality technology, has industrial personal computer connected with memory, where industrial control computer is connected with image display device. , CN111920428-A (2020).
  14. Wojciechowski, P., Wojtowicz, K. Simulator sickness and cybersickness as significant indicators in a primary selection of candidates for FPV drone piloting. 2022 IEEE 9th International Workshop on Metrology for AeroSpace (MetroAeroSpace). , Pisa, Italy. (2022).
  15. Ziv, G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. The International Journal of Aviation Psychology. 26 (3-4), 75-104 (2016).
  16. Lai, M. L., et al. A review of using eye-tracking technology in exploring learning from 2000 to 2012. Educational Research Review. 10, 90-115 (2013).
  17. Robinski, M., Stein, M. Tracking visual scanning techniques in training simulation for helicopter landing. Journal of Eye Movement Research. 6 (2), 1-17 (2013).
  18. Yang, J. H., Kennedy, Q., Sullivan, J., Fricker, R. D. Pilot performance: Assessing how scan patterns & navigational assessments vary by flight expertise. Aviation Space and Environmental Medecine. 84 (2), 116-124 (2013).
  19. Yu, C. S., Wang, E. M. Y., Li, W. C., Braithwaite, G., Greaves, M. Pilots' visual scan patterns and attention distribution during the pursuit of a dynamic target. Aerospace Medicine and Human Performance. 87 (1), 40-47 (2016).
  20. Haslbeck, A., Zhang, B. I spy with my little eye: Analysis of airline pilots' gaze patterns in a manual instrument flight scenario. Applied Ergonomics. 63, 62-71 (2017).
  21. Brams, S., et al. Does effective gaze behavior lead to enhanced performance in a complex error-detection cockpit task. PLoS One. 13 (11), e0207439(2018).
  22. Peißl, S., Wickens, C. D., Baruah, R. Eye-tracking measures in aviation: A selective literature review. The International Journal of Aerospace Psychology. 28 (3-4), 98-112 (2018).
  23. Jin, H., et al. Study on how expert and novice pilots can distribute their visual attention to improve flight performance. IEEE Access. 9, 44757-44769 (2021).
  24. Lounis, C., Peysakhovich, V., Causse, M. Visual scanning strategies in the cockpit are modulated by pilots' expertise: A flight simulator study. PLoS One. 16 (2), e0247061(2021).
  25. Bellenkes, A. H., Wickens, C. D., Kramer, A. F. Visual scanning and pilot expertise: The role of attentional flexibility and mental model development. Aviation Space and Environmental. 68 (7), 569-579 (1997).
  26. Kasarskis, P., Stehwien, J., Hickox, J., Aretz, A., Wickens, C. Comparison of expert and novice scan behaviors during VFR flight. Proceedings of the 11th International Symposium on Aviation Psychology. , Columbus, Ohio. (2001).
  27. Lorenz, B., et al. Performance, situation awareness, and visual scanning of pilots receiving onboard taxi navigation support during simulated airport surface operation. Human Factors and Aerospace Safety. 6 (2), 135-154 (2006).
  28. Horrey, W. J., Alexander, A. L., Wickens, C. D. Does workload modulate the effects of in-vehicle display location on concurrent driving and side task performance. Driving Simulator Conference North America Proceedings. , Dearborn, Michigan. October 8-10 (2013).
  29. Wang, L., Ren, Y., Sun, H., Dong, C. A landing operation performance evaluation method and device based on flight data. In Engineering Psychology and Cognitive Ergonomics: Cognition and Design. , Springer International Publishing. Vancouver, British Columbia, Canada. 297-305 (2017).
  30. Wang, L., Ren, Y., Wu, C. Effects of flare operation on landing safety: A study based on ANOVA of real flight data. Safety Science. 102, 14-25 (2018).
  31. Huang, R., Sun, H., Wu, C., Wang, C., Lu, B. Estimating eddy dissipation rate with QAR flight big data. Applied Sciences. 9 (23), 5192(2019).
  32. Wang, L., Zhang, J., Dong, C., Sun, H., Ren, Y. A method of applying flight data to evaluate landing operation performance. Ergonomics. 62 (2), 171-180 (2019).
  33. Gerathewohl, S. J. Leitfaden der Militärischen Flugpsychologie. Verlag für Wehrwissenschaften. , (1987).
  34. Ugwitz, P., Kvarda, O., Juříková, Z., Šašinka, Č, Tamm, S. Eye-tracking in interactive virtual environments: implementation and evaluation. Applied Sciences. 12 (3), 1027(2022).
  35. Faul, F., Erdfelder, E., Lang, A. -G., Buchner, A. G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods. 39 (2), 175-191 (2007).
  36. Boslaugh, S. E. Snellen Chart. , (2018).
  37. He, J., Becic, E., Lee, Y. -C., McCarley, J. S. Mind wandering behind the wheel. Human Factors: The Journal of the Human Factors and Ergonomics Society. 53 (1), 13-21 (2011).
  38. Tanveer Alam, GitHub - tanvcodes/qar_analytics: Scripts for working with publicly available Quick Access Recorder (QAR) data from a fleet of 35 BAE-146 aircraft. GitHub. , Retrieved on December 20,2022 from https://github.com/tanvcodes/qar_analytics (2022).
  39. Shapiro, S. S., Wilk, M. B. An analysis of variance test for normality (complete samples). Biometrika. 52 (3-4), 591-611 (1965).
  40. Hintze, J. L., Nelson, R. D. Violin plots: A box plot-density trace synergism. The American Statistician. 52 (2), 181-184 (1998).
  41. Cohen, J. Statistical Power Analysis for the Behavioral Sciences (2nd ed.). , Erlbaum, Hillsdale, NJ. (1988).
  42. Sawilowsky, S. S. New effect size rules of thumb. Journal of Modern Applied Statistical Methods. 8 (2), 26(2009).
  43. Bateman, T. S., Crant, J. M. The proactive component of organizational behavior: A measure and correlates. Journal of Organizational Behavior. 14 (2), 103-118 (1993).
  44. Endsley, M. R. Measurement of situation awareness in dynamic systems. Human Factors. 37 (1), 65-84 (1995).
  45. Hunter, D. R. Measuring general aviation pilot judgment using a situational judgment technique. The International Journal of Aviation Psychology. 13 (4), 373-386 (2003).
  46. Kim, H. K., Park, J., Choi, Y., Choe, M. Virtual reality sickness questionnaire (VRSQ): Motion sickness measurement index in a virtual reality environment. Applied Ergonomics. 69, 66-73 (2018).
  47. Hart, S. G. NASA Task Load Index (TLX). , (1986).

Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.

Reimpresiones y permisos

Solicitar permiso para reutilizar el texto o las figuras de este artículo de JoVE

Solicitar permiso

Etiquetas

Evaluaci n del rendimiento de vueloEvaluaci n del pilotoTecnolog a de seguimiento ocularComparaci n de la experiencia de vueloSimulaci n inmersiva 3DM dulo de control de vueloMedici n de la conciencia situacionalEvaluaci n del malestar por realidad virtual

Artículos relacionados