Name: Evaluación del rendimiento de vuelo y los patrones de movimiento ocular mediante un simulador de vuelo de realidad virtual (Video) | JoVE Journal
Uploaded: 2023-05-19T13:50:00.000+00:00
Duration: 3 min 49 s
Description: Aprende a evaluar el rendimiento de pilotos mediante un simulador de vuelo de realidad virtual con seguimiento ocular en entornos 3D inmersivos. Esta herramienta económica y flexible permite analizar patrones de movimiento ocular.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Los autores están increíblemente agradecidos al Sr. Li Yan por su ayuda en el reclutamiento de participantes piloto y reconocen a la Sra. Bu Lingyun por su trabajo en el dibujo de imágenes. La investigación fue apoyada por la Fundación Nacional de Ciencias Naturales de China (subvención número T2192931, 72071185), el Proyecto Nacional del Cerebro (subvención número STI2030-Proyectos Principales2022ZD0208500), el Proyecto de Laboratorio Clave Nacional de Ingeniería de Factores Humanos (subvención número SYFD062003), el Proyecto de Laboratorio Clave Nacional de Ingeniería de Factores Humanos (subvención número 6142222210201), y los Proyectos Principales del año 2022 de Subvención de Investigación Logística Militar y Proyecto Clave de Equipo de la Fuerza Aérea Integral Investigación (beca número KJ2022A000415).

Los autores declararon no haber divulgado información financiera ni tener conflictos de intereses.

El estudio actual evaluó si los participantes con experiencia de vuelo tenían un mejor rendimiento de vuelo que aquellos sin experiencia de vuelo en un simulador de vuelo basado en realidad virtual. Más importante aún, evaluó si se podía encontrar un patrón de movimiento ocular más optimizado en estos participantes con un mejor rendimiento de vuelo. Los resultados muestran diferencias significativas entre los participantes con y sin experiencia de vuelo en tres indicadores QAR clave de vuelo: el ángulo de cabeceo 1 s ant...

La Agencia Europea de Seguridad Aérea (2012) clasifica los simuladores de vuelo como instalaciones de entrenamiento, entrenadores de programas de vuelo y navegación, equipos de entrenamiento de vuelo y simuladores de vuelo completos1. Hasta la fecha, hay una gama de simuladores de vuelo disponibles para el entrenamiento, desde sistemas de mesa de bajo nivel hasta simuladores de vuelo completo basados en movimiento altamente complicados2. El simulador tradicional incluye un modelo de dinámica de vuelo, una simulación de sistema, una cabina de hardware, una visualización externa y una simulación de movimiento opcional3.
Estos simuladores de vuelo tradicionales tienen algunas ventajas como equipo de entrenamiento de vuelo efectivo. Sin embargo, su costo es alto y poco amigable con el medio ambiente, ya que el accionamiento de cada sistema requiere una energía eléctrica sustancial, especialmente un simulador de vuelo completo, que requiere fluido o presión de aire a alta temperatura y alta presión, consume mucha energía y genera mucho ruido4.
Sin embargo, un sistema de simulador de escritorio simple es flexible y de bajo costo, con menor inmersión y menos interacciones que un simulador de vuelo completo2. Por lo tanto, es esencial desarrollar nuevos simuladores de vuelo que combinen las ventajas de los sistemas de escritorio y los simuladores de vuelo completos (en otras palabras, la flexibilidad de una simulación de mesa y el nivel de inmersión e interacción cercano a un simulador de vuelo completo).
Con el desarrollo de la tecnología informática, especialmente la tecnología de realidad virtual (RV), un nuevo tipo de simulador de vuelo basado en la tecnología emergente de RV se está convirtiendo en una realidad. El simulador de vuelo basado en realidad virtual es flexible, portátil, de bajo costo y tiene menos requisitos de espacio que los simuladores de vuelo convencionales5. Los investigadores han creado simuladores de vuelo basados en tecnología de realidad virtual en los últimos 20 años 6,7,8,9,10,11; sin embargo, estos simuladores de vuelo VR son principalmente para el entrenamiento de vuelo, y hay pocos para la selección de pilotos. Sin embargo, con la reducción de costos y la mejora de la tecnología, los simuladores basados en realidad virtual están cambiando y se están volviendo factibles para la selección personal. Algunos estudios han utilizado simuladores basados en RV para la selección personal en diferentes dominios: Schijven et al.12 seleccionaron a cirujanos en formación utilizando un simulador de realidad virtual. Huang et al.13 desarrollaron un instrumento de selección psicológica basado en tecnología de realidad virtual para el reclutamiento de pilotos de la Fuerza Aérea. Wojciechowski y Wojtowicz14 evaluaron las capacidades de un candidato como piloto de vehículos aéreos no tripulados (UAV) basados en tecnología de realidad virtual. Dado que la selección de pilotos es fundamental para la industria de la aviación, es urgente desarrollar un nuevo simulador de vuelo basado en realidad virtual que se centre en la selección de pilotos, ya que la selección de pilotos a gran escala es susceptible al costo del simulador y a las demandas del sistema de simulador de portabilidad.
Los movimientos oculares proporcionan pistas para el rendimiento de un piloto. Diferentes estudios han encontrado que el modo de escaneo ocular distingue el rendimiento entre pilotos expertos y novatos. Al comparar el patrón de escaneo entre expertos y novatos, se pudo diferenciar el comportamiento eficiente y estructural del movimiento ocular de los expertos y los métodos de escaneo inadecuados de los principiantes. Varios estudios de aviación han encontrado que la estrategia de escaneo ocular de los pilotos se relaciona en gran medida con el nivel de experiencia 15,16,17,18,19,20,21,22,23,24. De acuerdo con Bellenkes et al.25, la duración de las fijaciones de los expertos es más corta y la frecuencia de sus fijaciones en los instrumentos es mayor que la de los novatos. Casi a la misma conclusión llegaron Kasarskis et al.26, quienes descubrieron que los pilotos expertos tienen más fijaciones combinadas con duraciones más cortas que los novatos, sugiriendo que los pilotos expertos tienen un mejor modo visual que los novatos. En otro estudio, Lorenz et al.27 encontraron que los expertos pasan más tiempo mirando fuera de la cabina que los novatos. Estos resultados tienen un gran valor práctico en la selección de los recién llegados.
La evaluación del rendimiento de vuelo es otro factor crítico para la selección de pilotos. Sin embargo, existen los siguientes problemas en la evaluación del rendimiento de vuelo de los pilotos: opiniones contradictorias de los expertos, más normas de selección y una teoría de selección unificada. En el campo de la conducción, Horrey et al.28 compararon el valor absoluto de la desviación del carril desde la línea central para diferentes condiciones experimentales con el fin de evaluar el rendimiento en la conducción. Volviendo al dominio de la aviación, el registrador de acceso rápido de vuelo (QAR) registra todo tipo de parámetros de manipulación del piloto, parámetros de la aeronave, entornos e información de advertencia durante el vuelo29. Más específicamente, como los indicadores QAR, el ángulo de cabeceo es el ángulo de rotación alrededor de los ejes izquierdo y derecho de la aeronave30, y la línea de referencia (o la línea de referencia central) está justo en el medio de las líneas roja y verde28; Estos dos parámetros de vuelo se utilizan para evaluar el rendimiento de vuelo de los participantes con o sin experiencia en el estudio actual. Estos datos QAR se pueden utilizar para evaluar el rendimiento del vuelo, sin embargo, hasta donde sabemos, rara vez se han utilizado para el entrenamiento personal y la selección en la investigación científica31,32.
Las mediciones de los patrones de movimiento ocular se pueden utilizar para evaluar y predecir el rendimiento del vuelo y guiar el entrenamiento y la selección de los pilotos. Gerathewohl33 afirmó que el ojo es el órgano sensorial más importante del piloto, procesando el 80% de la información de vuelo. Los pilotos deben adquirir información visual de los instrumentos de la cabina e integrarla en una imagen coherente para gestionar el vuelo22. Además, el comportamiento óptimo de escaneo es esencial para lograr un mejor rendimiento de vuelo15. Sin embargo, actualmente no hay un simulador de vuelo asequible que integre un rastreador ocular para facilitar los estudios cuantitativos de la relación entre los movimientos oculares y el rendimiento del vuelo.
El estudio actual desarrolló un nuevo simulador de vuelo de realidad virtual para evaluar si los participantes con experiencia de vuelo tenían un mejor rendimiento de vuelo que aquellos sin experiencia de vuelo. El simulador de vuelo VR integra el seguimiento ocular y un sistema de dinámica de vuelo que permite el análisis de patrones de movimiento ocular y la evaluación del rendimiento del vuelo. En particular, vale la pena mencionar que el simulador de vuelo VR utiliza un rastreador ocularVR 34, no un rastreador ocular similar al vidrio o de escritorio, para analizar el movimiento ocular basado en el área de interés (AOI) sin contar fotogramas que requiere mucho tiempo.
Finalmente, el presente trabajo puede conducir a una medición ómnibus para la selección de pilotos en el futuro, desde la trayectoria de escaneo ocular hasta los datos objetivos de rendimiento de vuelo. Con la ayuda del simulador de vuelo virtual, el costo de la selección de vuelo se reducirá significativamente y la norma de los pilotos se puede formar en función de una amplia recopilación de datos. El trabajo llena un vacío entre los simuladores convencionales y los de escritorio para las necesidades de selección de vuelos.

<table><tbody><tr><td>SDK del motor 3D</td><td>Epic Games</td><td>Unreal Engine 4 GameAnalytics Unreal SDK</td><td>Este SDK es una herramienta de análisis gratuita potente pero flexible diseñada para juegos.</td></tr><tr><td>CPU</td><td>Intel</td><td>IntelCore i9</td><td>Una de las CPU más potentes del mercado principal.</td></tr><tr><td>SDK de seguimiento ocular</td><td>Tobii</td><td>Tobii XR SDK</td><td>Este SDK proporciona acceso independiente del dispositivo a los datos de seguimiento ocular para permitir el desarrollo de auriculares de muchos proveedores de hardware diferentes y no se limita a los dispositivos que utilizan hardware de seguimiento ocular Tobii.</td></tr><tr><td>Software de seguimiento ocular</td><td>Desarrollado por el equipo</td><td></td><td>de investigación Un programa que rastrea el movimiento de los ojos de una persona mientras utiliza un HMD de realidad virtual.</td></tr><tr><td>Programa FlySimulator</td><td>Desarrollado por el equipo</td><td></td><td>de investigación Un software que simula experiencias de vuelo en un entorno virtual, utilizando VR HMD y controladores de mano.</td></tr><tr><td>Tarjeta gráfica</td><td>NVIDIA</td><td>GeForce RTX 3090 10496 NVIDIA CUDA Cores 1.70 GHz Boost Clock&nbsp; &nbsp; 24 GB Tamaño de memoria GDDR6X Tipo</td><td>de memoria Una de las tarjetas gráficas más potentes del mercado principal.</td></tr><tr><td>Sistema operativo (SO)</td><td>Microsoft</td><td>Windows XP</td><td>Un sistema operativo (SO) desarrollado y distribuido exclusivamente por Microsoft</td></tr><tr><td>Corporation Réplica del panel de control</td><td>THRUSTMASTER</td><td>2960720 2971004 2962072 2960748 2960769</td><td>Avión de ataque A-10C de la Fuerza Aérea de EE. UU. Joystick HOTAS</td></tr><tr><td>Replica</td><td>THRUSTMASTER</td><td>2960720</td><td>Avión de ataque A-10C de la Fuerza Aérea de EE. UU. Pedal réplica de</td>HOTAS</tr><tr><td></td><td>Timón</td><td>pendular</td>THRUSTMASTER <td></td> TPR</tr><tr><td>Réplica del acelerador</td><td>THRUSTMASTER</td><td></td><td>U.S. Air Force A-10C avión de ataque HOTAS</td></tr><tr><td>Pantalla conectada al PC</td><td>Redmi</td><td>RMMNT27NF, 27 pulgadas, relación de resolución de 1920 X 1080</td><td>La pantalla permite al experimentador ver simultáneamente lo que está sucediendo en el software de grabación de pantalla VR HMD</td></tr><tr><td></td><td>Proyecto OBS</td><td>Estudio OBS Versión 28.0</td><td>Un software gratuito y de código abierto para la grabación de video y la transmisión en vivo</td></tr><tr><td>Software de análisis de potencia estadística</td> Código <td>abierto</td><td>G*power Versión 3.1.9.6</td><td>Una herramienta gratuita y fácil de usar para estimar la potencia estadística y el tamaño de la muestra.</td></tr><tr><td>Software estadístico</td><td>IBM</td><td>SPSS versión 24.0</td><td>Una potente plataforma de software estadístico</td></tr><tr><td>Herramienta estadística versátil</td><td>Software GraphPad</td><td>Prism versión 9.4.0</td><td>Una herramienta estadística versátil diseñada específicamente para científicos, no estadísticos</td></tr><tr><td>Tienda de aplicaciones</td><td>VR HTC Corporation</td><td>Software VIVE 2.0.17.6 / 2.1.17.6</td><td>Una tienda de aplicaciones para realidad virtual donde los clientes pueden explorar, crear, conectarse y experimentar el contenido que aman y necesitan.</td></tr><tr><td>Pantalla montada en la cabeza de realidad virtual (HMD)</td><td>HTC Corporation</td><td>VIVE Pro Eye</td><td>Un auricular de realidad virtual con seguimiento ocular de precisión</td></tr><tr><td>Software de realidad virtual</td><td>Steam</td><td>Steam VR versión 1.23</td><td>Una herramienta para experimentar contenido de realidad virtual en el hardware</td></tr></tbody></table>

evaluación del rendimiento de vuelo y los patrones de movimiento ocular mediante un simulador de vuelo de realidad virtual

Evaluating Flight Performance and Eye Movement Patterns Using Virtual Reality Flight Simulator

La evaluación eficiente y económica del rendimiento de los pilotos se ha vuelto fundamental para la industria de la aviación. Con el desarrollo de la realidad virtual (RV) y la combinación de la tecnología de seguimiento ocular, las soluciones para satisfacer estas necesidades se están convirtiendo en una realidad. Estudios anteriores han explorado simuladores de vuelo basados en realidad virtual, centrándose principalmente en la validación de tecnología y el entrenamiento de vuelo. El estudio actual desarrolló un nuevo simulador de vuelo de realidad virtual para evaluar el rendimiento de vuelo de los pilotos en función del movimiento ocular y los indicadores de vuelo en una escena inmersiva en 3D. Durante el experimento, se reclutaron 46 participantes: 23 pilotos profesionales y 23 estudiantes universitarios sin experiencia de vuelo. Los resultados del experimento mostraron diferencias significativas en el rendimiento de vuelo entre participantes con y sin experiencia de vuelo, siendo el primero mayor que el segundo. Por el contrario, aquellos con experiencia de vuelo mostraron patrones de movimiento ocular más estructurados y eficientes. Estos resultados de la diferenciación del rendimiento de vuelo demuestran la validez del simulador de vuelo VR actual como método de evaluación del rendimiento de vuelo. Los diferentes patrones de movimiento ocular con la experiencia de vuelo proporcionan la base para la selección de vuelo futuro. Sin embargo, este simulador de vuelo basado en realidad virtual tiene deficiencias como la retroalimentación de movimiento en comparación con los simuladores de vuelo tradicionales. Esta plataforma de simulador de vuelo es muy flexible, excepto por el aparente bajo costo. Puede satisfacer las diversas necesidades de los investigadores (por ejemplo, medir la conciencia de la situación, la enfermedad por RV y la carga de trabajo mediante la adición de escalas relevantes).

Para el experimento actual, se eligieron 23 expertos con experiencia de vuelo y 23 novatos sin experiencia de vuelo. Los participantes tenían entre 25 y 58 años de edad (expertos: M = 32,52 años, DE = 7,28 años; novatos: M = 29,57 años, DE = 5,74 años). El sexo de todos los participantes fue masculino. Todos los novatos fueron reclutados de la Universidad de Tsinghua (estudiantes o profesores), y todos los expertos eran de China Eastern Airlines.
Mov...

Se construyó un nuevo simulador de vuelo de realidad virtual, que permite una evaluación eficiente y de bajo costo del rendimiento de vuelo y los patrones de movimiento ocular. También proporciona una herramienta de investigación de alto potencial para la ergonomía y otras investigaciones.

Evaluación del rendimiento de vuelo y los patrones de movimiento ocular mediante un simulador de vuelo de realidad virtual

Efficient and economical performance evaluation of pilots has become critical to the aviation industry. With the development of virtual reality (VR) and ...

El estudio actual desarrolló un nuevo simulador de vuelo de realidad virtual para evaluar a los pilotos en función del movimiento ocular y los indicadores de los artistas de vuelo en un escenario inmersivo en 3D. La plataforma del simulador de vuelo es altamente flexible, además de de bajo costo. Puede satisfacer las diversas necesidades de los investigadores.El método también se puede aplicar a astronautas seleccionados, además de pilotos. Comience instalando el simulador de vuelo. Únase el panel de control de estrangulamiento, tratándolos como una unidad.Conecte el acelerador, el joystick y el pedal al módulo de PC del simulador de vuelo a través de USB. A continuación, conecte la pantalla montada en la cabeza o HMD al módulo PC del simulador de vuelo a través de una caja de enlace. Conecte las estaciones base y los controladores de realidad virtual o realidad virtual VR al HMD a través del software VR en el PC.To configure el área de juego de pie solo para VR, asegúrese de que el HMD esté encendido y conectado a la computadora.Coloque la estación base en diagonal para que el HMD siempre pueda estar dentro del rango de monitoreo de la estación base mientras lo mantiene fijo, para mantener un entorno de realidad virtual estable. Luego, configure un área de juego solo para estar de pie de acuerdo con las indicaciones proporcionadas por el software de realidad virtual en la computadora. Conecte el módulo de control de vuelo sintonizado y la pantalla grande a la misma computadora que el VR HMD.Presente la tarea y la operación del simulador a los participantes explicando el patrón de tráfico y el mapa e instruyendo a los participantes sobre cómo usar el simulador de vuelo de realidad virtual. Coloque a cada participante un HMD VR, calibre sus movimientos oculares y ajuste la altura del dispositivo, la distancia interpupilar y el punto de mirada. A continuación, abra el software de grabación de pantalla e inicie el simulador de vuelo para el entrenamiento de vuelo.Instruya a los participantes sobre cómo usar el pedal de vuelo, el joystick y el acelerador para dirigirse lo más cerca posible de la línea de vuelo de referencia. Una vez completado, reinicie el acelerador de vuelo y los botones del interruptor del motor. A continuación, detenga la grabación.Para llevar a cabo experimentos de vuelo formales, coloque el VR HMD para los participantes e inicie el estudio OBS para comenzar a grabar la pantalla. Los datos de movimiento ocular de los AOI del instrumento, la velocidad aerodinámica, la velocidad vertical, la altitud y los indicadores de velocidad del motor mostraron que los expertos tenían una distribución más uniforme de los datos de movimiento ocular en torno al valor medio en el indicador de velocidad aerodinámica, el indicador de altitud, el indicador de velocidad vertical y el indicador de actitud en comparación con los novatos. Los datos de rendimiento de vuelo de los expertos se centraron principalmente en el valor promedio en términos de tiempo total de vuelo, distancia media desde la línea de referencia, ángulo de cabeceo un segundo antes del aterrizaje y la desviación estándar de la distancia desde la línea de referencia en comparación con los novatos.Calibra los momentos oculares de cada participante y ajusta la altura del dispositivo, la distancia interpupilar y el punto de mirada en consecuencia.

evaluating-flight-performance-eye-movement-patterns-using-virtual

Research

Investigación

JoVE Journal

Behavior

Comportamiento

Los pacientes con déficit visual después del informe de golpe sobre diferentes limitaciones en la vida diaria muy probablemente debido a las distintas estrategias de compensación, que son difíciles de diferenciar en la práctica clínica. Se presenta una clínica de configuración que permite la medición de la cabeza y diferentes compensatorio movimiento ocular-estrategias y evaluar sus efectos en la conducción.

Simulación de conducción en la clínica: Pruebas de Comportamiento Visual exploratoria en las Actividades de la vida diaria en pacientes con defectos del campo visual

Este artículo describe un método para llevar a cabo experimentos de varios usuarios en la toma de decisiones y navegación mediante un laboratorio de cómputo en red.

Una instalación de realidad Virtual Desktop en red para la decisión de la ciencia y experimentos de navegación con múltiples participantes

Experimentos de realidad virtual (VR) pueden ser difíciles de implementar y requieren una planificación meticulosa. Este protocolo describe un método para el diseño y puesta en práctica de la experimentos VR que recopila datos fisiológicos de los participantes humanos. Los experimentos en el marco de entornos virtuales (EVA) se emplea para acelerar este proceso.

Experimentos de realidad virtual con medidas fisiológicas

Este protocolo experimental demuestra el uso de la terapia de adaptación de prisma virtual (VPAT) en adultos sanos y la asociación entre VPAT y espectroscopia funcional de infrarrojo cercano para determinar el efecto de VPAT en la activación cortical. Los resultados sugieren que el VPAT puede ser factible y podría inducir una adaptación conductual similar a la terapia convencional de adaptación del prisma.

Terapia de Adaptación de Prismas Virtuales: Protocolo para la Validación en Adultos Saludables

Este protocolo describe el uso de un simulador de caminar que sirve como un método seguro y ecológicamente válido para estudiar el comportamiento de los peatones en presencia de tráfico en movimiento.

Uso de un simulador de caminata de realidad virtual para investigar el comportamiento de los peatones

El objetivo fue diseñar, construir y pilotar una novedosa tarea de realidad virtual para detectar y caracterizar la negligencia espacial unilateral, un síndrome que afecta al 23-46% de los sobrevivientes de accidentes cerebrovasculares agudos, ampliando el papel de la realidad virtual en el estudio y manejo de la enfermedad neurológica.

Herramientas de realidad virtual para evaluar la negligencia espacial unilateral: una nueva oportunidad para la recopilación de datos

La rotación física controlada de un observador humano es deseable para ciertas aplicaciones experimentales, recreativas y educativas. Este documento describe un método para convertir una silla giratoria de oficina en un medio para la rotación física controlada en un entorno de realidad virtual.

Rotación controlada de observadores humanos en un entorno de realidad virtual

Las imágenes motoras en un entorno de realidad virtual tienen amplias aplicaciones en los sistemas de interfaz cerebro-computadora. Este manuscrito describe el uso de avatares digitales personalizados que se asemejan a los participantes realizando movimientos imaginados por el participante en un entorno de realidad virtual para mejorar la inmersión y el sentido de propiedad del cuerpo.

Rendimiento de imágenes motoras a través de gemelos digitales incorporados en un entorno de interfaz cerebro-computadora habilitado para realidad virtual

El seguimiento ocular es un método no invasivo para sondear el procesamiento de la información. Este artículo describe cómo se puede utilizar el seguimiento ocular para estudiar el comportamiento de la mirada durante una tarea de emergencia de simulación de vuelo en pilotos de tiempo bajo (es decir, &lt;350 horas de vuelo).

Seguimiento ocular durante una tarea compleja de aviación para obtener información sobre el procesamiento de la información

Aquí se describen los procedimientos experimentales que participan en dos fotones de imágenes de la corteza del ratón durante comportamiento en un entorno de realidad virtual.

Dos fotones de imágenes de calcio en ratones Recorriendo un entorno de realidad virtual

Aprende a evaluar el rendimiento de pilotos mediante un simulador de vuelo de realidad virtual con seguimiento ocular en entornos 3D inmersivos. Esta herramienta económica y flexible permite analizar patrones de movimiento ocular.

Evaluación del rendimiento de vuelo y los patrones de movimiento ocular mediante un simulador de vuelo de realidad virtual

Explorar más videos