Artigo de método

Avaliando o desempenho de voo e os padrões de movimento dos olhos usando o simulador de voo de realidade virtual

2K vistas

⸱

DOI:

10.3791/65170

⸱

19 de maio de 2023

 ,  ,  ,  ,  ,  ,  , 
1Psychology Department, School of Social Sciences, Tsinghua University, 2Faculty of Psychology, Beijing Normal University, 3National Key Laboratory of Human Factors Engineering, the China Astronaut Research and Training Center, 4Department of Military Medical Psychology, Air Force Medical University

Neste artigo

Resumo

Um novo simulador de voo de realidade virtual foi construído, o que permite uma avaliação eficiente e de baixo custo do desempenho de voo e dos padrões de movimento ocular. Ele também fornece uma ferramenta de pesquisa de alto potencial para ergonomia e outras pesquisas.

Resumo

A avaliação eficiente e econômica do desempenho dos pilotos tornou-se crítica para a indústria da aviação. Com o desenvolvimento da realidade virtual (VR) e a combinação da tecnologia de rastreamento ocular, as soluções para atender a essas necessidades estão se tornando realidade. Estudos anteriores exploraram simuladores de voo baseados em VR, com foco principalmente na validação de tecnologia e treinamento de voo. O estudo atual desenvolveu um novo simulador de voo VR para avaliar o desempenho de voo dos pilotos com base no movimento dos olhos e indicadores de voo em uma cena imersiva 3D. Durante o experimento, 46 participantes foram recrutados: 23 pilotos profissionais e 23 estudantes universitários sem experiência de voo. Os resultados do experimento mostraram diferenças significativas no desempenho de voo entre os participantes com e sem experiência de voo, sendo o primeiro maior que o segundo. Em contraste, aqueles com experiência de voo mostraram padrões de movimento ocular mais estruturados e eficientes. Esses resultados da diferenciação do desempenho de voo demonstram a validade do atual simulador de voo VR como método de avaliação de desempenho de voo. Os diferentes padrões de movimento ocular com a experiência de voo fornecem a base para a seleção de voo futuro. No entanto, este simulador de voo baseado em VR tem deficiências como feedback de movimento em comparação com os simuladores de voo tradicionais. Esta plataforma de simulador de vôo é altamente flexível, exceto pelo aparente baixo custo. Ele pode atender às diversas necessidades dos pesquisadores (por exemplo, medir a consciência da situação, a doença da RV e a carga de trabalho adicionando escalas relevantes).

Introdução

A Agência Europeia para a Segurança da Aviação (2012) categoriza os simuladores de voo como instalações de treinamento, instrutores de programas de voo e navegação, equipamentos de treinamento de voo e simuladores de voo completos1. Até o momento, uma variedade de simuladores de vôo está disponível para treinamento, desde sistemas de mesa de baixo nível até simuladores de vôo completos baseados em movimento altamente complicados2. O simulador tradicional inclui um modelo de dinâmica de voo, uma simulação de sistema, um cockpit de hardware, uma visualização externa e uma simulação de movimento opcional3.

Esses simuladores de vôo tradicionais têm algumas vantagens como equipamentos eficazes de treinamento de vôo. No entanto, seu custo é alto e hostil ao meio ambiente, pois o acionamento de cada sistema requer energia elétrica substancial, especialmente um simulador de vôo completo, que requer alta temperatura e alta pressão de fluido ou pressão de ar, consome muita energia e gera muito ruído4.

No entanto, um sistema de simulador de desktop simples é flexível e de baixo custo, com menor imersão e menos interações do que um simulador de vôo completo2. Portanto, é essencial desenvolver novos simuladores de voo que combinem as vantagens dos sistemas desktop e simuladores de voo completos (em outras palavras, a flexibilidade de uma simulação de mesa e o nível de imersão e interação próximo a um simulador de voo completo).

Com o desenvolvimento da tecnologia de computador, especialmente a tecnologia de realidade virtual (VR), um novo tipo de simulador de vôo baseado na tecnologia emergente de VR está se tornando realidade. O simulador de vôo baseado em RV é flexível, portátil, de baixo custo e tem menos requisitos de espaço do que os simuladores de vôo convencionais5. Os pesquisadores criaram simuladores de vôo baseados na tecnologia VR nos últimos 20 anos 6,7,8,9,10,11; no entanto, esses simuladores de vôo VR são principalmente para treinamento de vôo e há poucos para seleção de pilotos. Ainda assim, com a redução de custos e o aprimoramento da tecnologia, os simuladores baseados em RV estão mudando e se tornando viáveis para a seleção pessoal. Alguns estudos utilizaram simuladores baseados em RV para seleção pessoal em diferentes domínios: Schijven et al.12 selecionaram estagiários cirúrgicos usando um simulador de realidade virtual. Huang et al.13 desenvolveram um instrumento de seleção de psicologia baseado na tecnologia de realidade virtual para recrutamento de pilotos da Força Aérea. Wojciechowski e Wojtowicz14 avaliaram as capacidades de um candidato como piloto de veículo aéreo não tripulado (UAV) com base na tecnologia VR. Dado que a seleção de pilotos é crítica para a indústria da aviação, é urgente desenvolver um novo simulador de voo baseado em VR com foco na seleção de pilotos, já que a seleção de pilotos em larga escala é suscetível ao custo do simulador e às demandas do sistema de simulador de portabilidade.

Os movimentos dos olhos fornecem pistas para o desempenho de um piloto. Diferentes estudos descobriram que o modo de varredura ocular distingue o desempenho entre pilotos experientes e novatos. Ao comparar o padrão de varredura entre especialistas e novatos, o comportamento eficiente e estrutural do movimento ocular dos especialistas e os métodos inadequados de varredura de iniciantes podem ser diferenciados. Vários estudos de aviação descobriram que a estratégia de varredura ocular dos pilotos está altamente relacionada ao nível de especialização 15,16,17,18,19,20,21,22,23,24. Segundo Bellenkes et al.25, a duração das fixações dos especialistas é menor e a frequência de suas fixações nos instrumentos é maior do que a dos novatos. Quase a mesma conclusão foi tirada por Kasarskis et al.26, que descobriram que os pilotos experientes têm mais fixações combinadas com durações mais curtas do que os novatos, sugeriram que os pilotos experientes têm um modo visual melhor do que os novatos. Em outro estudo, Lorenz et al.27 descobriram que os especialistas passam mais tempo olhando para fora do cockpit do que os novatos. Esses resultados têm grande valor prático na seleção de recém-chegados.

A avaliação do desempenho de voo é outro fator crítico para a seleção do piloto. No entanto, existem os seguintes problemas na avaliação do desempenho de voo do piloto: opiniões conflitantes de especialistas, mais normas de seleção e uma teoria de seleção unificada. No campo da direção, Horrey et al.28 compararam o valor absoluto da saída da faixa da linha central para diferentes condições experimentais para avaliar o desempenho de direção. De volta ao domínio da aviação, o gravador de acesso rápido de voo (QAR) registra todos os tipos de parâmetros de manipulação do piloto, parâmetros da aeronave, ambientes e informações de alerta durante o voo29. Mais especificamente, como os indicadores QAR, o ângulo de inclinação é o ângulo de rotação em torno dos eixos esquerdo e direito da aeronave30, e a linha de referência (ou a linha de referência central) está bem no meio das linhas vermelha e verde28; Esses dois parâmetros de voo são usados para avaliar o desempenho de voo de participantes com ou sem experiência no estudo atual. Esses dados QAR podem ser usados para avaliar o desempenho de voo, mas, até onde sabemos, raramente foram usados para treinamento pessoal e seleção em pesquisas científicas31,32.

As medições dos padrões de movimento dos olhos podem ser usadas para avaliar e prever o desempenho de voo e orientar o treinamento e a seleção do piloto. Gerathewohl33 afirmou que o olho é o órgão sensorial mais importante do piloto, processando 80% das informações de voo. Os pilotos devem adquirir informações visuais dos instrumentos na cabine e integrá-las em uma imagem coerente para gerenciar o voo22. Além disso, o comportamento de varredura ideal é essencial para obter um melhor desempenho de vôo15. No entanto, nenhum simulador de voo acessível atualmente integra um rastreador ocular para facilitar estudos quantitativos da relação entre os movimentos oculares e o desempenho de voo.

O estudo atual desenvolveu um novo simulador de voo VR para avaliar se os participantes com experiência de voo tiveram melhor desempenho de voo do que aqueles sem experiência de voo. O simulador de vôo VR integra rastreamento ocular e um sistema de dinâmica de vôo que permite a análise do padrão de movimento ocular e a avaliação do desempenho de vôo. Em particular, vale a pena mencionar que o simulador de vôo VR usa um rastreador ocular VR34, não um rastreador ocular semelhante a vidro ou desktop, para analisar o movimento ocular baseado na área de interesse (AOI) sem contagem de quadros demorada.

Finalmente, o presente trabalho pode levar a uma medição geral para seleção de pilotos no futuro, desde o caminho de varredura ocular até os dados objetivos de desempenho de voo. Com a ajuda do simulador de vôo virtual, o custo da seleção de vôo será significativamente reduzido e a norma dos pilotos pode ser formada com base na extensa coleta de dados. O trabalho preenche uma lacuna entre os simuladores convencionais e de mesa para as necessidades de seleção de voo.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Protocolo

Todos os métodos descritos aqui foram aprovados pelo Conselho de Revisão Institucional (IRB) da Universidade de Tsinghua, e o consentimento informado foi obtido de todos os participantes. Após a conclusão, todos os participantes receberam $ 12 (ou um presente de igual valor).

1. Seleção dos participantes

  1. Recrute participantes de acordo com um estudo prévio de análise de poder usando o software G*Power35 (consulte a Tabela de Materiais) para garantir que o número de participantes atenda ao tamanho amostral esperado dado pelo G*Power, que é igual a 21.
    NOTA: O tamanho amostral esperado dado por G*Power refere-se ao número estimado de participantes necessários em um estudo para atingir um nível desejado de poder estatístico com base no tamanho do efeito especificado, nível de significância e teste estatístico usado. O tamanho esperado da amostra é uma consideração importante no planejamento da pesquisa. Ele ajuda os pesquisadores a determinar a viabilidade e a relação custo-benefício de seu desenho de estudo e garante que o estudo tenha poder estatístico suficiente para detectar efeitos significativos.
  2. Certifique-se de que nenhum participante tenha histórico de epilepsia, doença cardíaca ou cerebral, medicação endócrina ou psiquiátrica recente ou alergias graves de pele.
  3. Use o gráfico de olho de Snellen (use o sistema métrico 6/6)36 para confirmar se a visão dos participantes está normal ou corrigida para normal e que eles não têm nenhuma deficiência visual, como daltonismo ou fraqueza de cor.
  4. Certifique-se de que nenhum dos participantes tenha consumido álcool ou drogas nas 24 horas anteriores que possam afetar sua capacidade de voar.
  5. Certifique-se de que os participantes tenham dormido pelo menos 6 h e estejam em boas condições mentais antes do experimento.

2. Hardware do simulador de vôo

  1. Verifique se todo o hardware do simulador de vôo está completo. De acordo com sua função, esse hardware é organizado em três módulos (Tabela 1) (ver Tabela de Materiais).
    NOTA: Os pesquisadores precisam tocar em uma haste de metal antes de tocar no equipamento para evitar o risco representado pela indução eletrostática.
    1. Verifique os componentes do VR, HMD (head-mounted display) e módulo de rastreamento ocular com a ajuda da Tabela 2.
    2. Certifique-se de que todos os componentes do módulo do PC do simulador de vôo atendam aos seguintes requisitos mínimos: processador de 3.6 G Hz, memória interna 4G, sistema operacional de 64 bits e placa gráfica. O sistema suportará todos os controladores de vôo.
    3. Verifique os componentes do módulo de controle de voo e certifique-se de que a configuração dos parâmetros do dispositivo seja consistente com a Tabela 3.
  2. Instale o hardware do simulador de vôo de acordo com o layout da Figura 1. A Figura 2 mostra como o hardware está conectado.
    1. Junte o acelerador e o painel de controle fisicamente e trate-os como uma unidade.
    2. Conecte o acelerador, o joystick e o pedal ao módulo do PC do simulador de vôo via USB.
    3. Conecte o HMD ao módulo do PC do simulador de vôo através da caixa de link.
    4. Conecte as estações base e os controladores VR ao HMD por meio do software VR no PC.
Módulo head-mounted display (HMD) e de seguimento do olho de VR1. Estação base
2. VR HMD
Módulo de PC Flight Simulator3. Simulador de vôo PC
Módulo de controle de voo4. Acelerador de vôo
5. Joystick de vôo
6. Pedal de vôo

Tabela 1: Componentes dos três módulos do hardware do simulador de vôo.

Componente principalAcessórios
VR HMDCabo do fone de ouvido (conectado)
Almofada de rosto (anexada)
Pano de limpeza
Tampa do orifício do fone de ouvido × 2
Caixa de linkAdaptador de energia
Cabo DisplayPort
Cabo USB 3.0
Almofada de montagem
Controladores (2018) × 2Adaptadores de energia × 2
Cordões × 2
Cabos micro-USB × 2
Estação Base 2.0 × 2Adaptadores de energia × 2
Kit de montagem (2 suportes, 4 parafusos e 4 buchas de parede)

Tabela 2: Lista de componentes do HMD VR e do módulo de rastreamento ocular.

DispositivoConfiguração de parâmetros
Joystick de vôoDezenove botões de ação
Um chapéu de "ponto de vista" de 8 vias
Vários sensores magnéticos 3D
Um sistema de 5 molas helicoidais
Uma resolução de 16 bits (65536 x 65536 valores).
Painel de controle de vôoQuinze botões de ação
Uma roda TRIM
Cinco LEDs programáveis
Acelerador de vôoDezessete botões de ação
Um chapéu de mouse com um botão de pressão
Um chapéu de "ponto de vista" de 8 vias
Vários sensores magnéticos 3D
Duas resoluções de 14 bits
Pedal de vôoTensão entre 2,5 kg e 5 kg
Ângulo entre 35° e 75°

Tabela 3: A configuração dos parâmetros dos dispositivos do módulo de controle de vôo.

figure-protocol-1
Figura 1: O layout do hardware do simulador de vôo VR. Clique aqui para ver uma versão maior desta figura.

figure-protocol-2
Figura 2: A conexão do hardware do simulador de vôo. (A) Módulo de controle de vôo. O acelerador e o painel de controle são fisicamente unidos e tratados como uma unidade. Se o termo "acelerador" for usado neste estudo, ele se refere ao acelerador e ao painel de controle. (B) Módulo de PC do simulador de vôo. Um computador que atenda aos requisitos descritos na etapa 2.2. (C) HMD e módulo de rastreamento ocular. Os kits de desenvolvimento de software (SDKs) para rastreamento ocular e o mecanismo 3D são mantidos em sincronia quando instalados no mesmo computador. Portanto, as funções de rastreamento ocular e o sistema operacional interagem e trabalham juntos. Clique aqui para ver uma versão maior desta figura.

3. Software de simulador de vôo

  1. Certifique-se de que todo o software (consulte a Tabela de Materiais) tenha sido instalado antes do início do experimento. As informações sobre todos os softwares utilizados no experimento são apresentadas na Tabela 4.
NomeDescrição
Software de RVUma ferramenta amplamente utilizada para experimentar conteúdo de RV no hardware.
Loja de aplicativos VRA loja de aplicativos para realidade virtual onde os clientes podem explorar, criar, conectar e experimentar o conteúdo que amam e precisam.
Software de rastreamento ocularSoftware de rastreamento ocular desenvolvido pela equipe de pesquisa por meio de SDKs de rastreamento ocular e mecanismo 3D.
Simulador de moscaO programa principal do software simulador de vôo, desenvolvido pela equipe de pesquisa.
Software de gravação de telaUm software gratuito e de código aberto para gravação de vídeo e transmissão ao vivo.

Tabela 4: Informações sobre todos os softwares utilizados no experimento.

4. Preparação antes de iniciar o simulador de voo

NOTA: Se esta for a primeira vez que se executa o programa de acompanhamento ocular, execute as etapas adicionais de acordo com a Figura 3. O programa de rastreamento ocular será ativado automaticamente após a execução inicial.

figure-protocol-3
Figura 3: As etapas adicionais ao executar o programa de rastreamento ocular pela primeira vez. Clique aqui para ver uma versão maior desta figura.

  1. Certifique-se de que o HMD esteja ligado e conectado ao computador.
  2. Coloque a estação base na diagonal para garantir que o HMD possa estar sempre dentro do alcance de monitoramento da estação base. Mantenha a estação base fixa para manter um ambiente VR estável.
  3. Configure uma área de jogo somente em pé de acordo com as instruções fornecidas pelo software VR no computador.
    NOTA: O prompt permite uma área de escala de sala ou configura uma área de jogo somente em pé. O modo somente em pé geralmente é usado para experimentar cenas de RV que não exigem caminhada e podem ser selecionadas quando o usuário tem espaço limitado para se movimentar. Portanto, neste experimento, configure uma área de recreação apenas em pé.
  4. Defina a calibração de rastreamento ocular. O sistema de rastreamento ocular deve ser recalibrado toda vez que o participante for trocado.
    1. Confirme se os participantes não estão usando lentes de contato, o que causa mau funcionamento do rastreamento ocular.
    2. Abra o programa de calibração de rastreamento ocular usando os controladores VR (consulte a Tabela de Materiais).
    3. Ajuste a altura do dispositivo, a distância interpupilar (IDP) e o ponto de olhar conforme o sistema direciona.
    4. Faça com que os olhos do participante iluminem cada ponto por 2 s no sentido horário para verificar a eficácia da calibração de rastreamento ocular.
  5. Conecte o módulo de controle de vôo ajustado e a tela grande (ou seja, pelo menos um monitor de 27 polegadas) ao mesmo computador que o VR HMD. A tela permite que o experimentador visualize o que está acontecendo no HMD VR simultaneamente.

5. Procedimento experimental

NOTA: O experimento é dividido em quatro etapas: "coletar informações", "apresentar a tarefa e a operação", "praticar antes do experimento" e "conduzir um experimento formal". O processo experimental está resumido na Figura 4.

figure-protocol-4
Figura 4: O fluxograma do experimento. Clique aqui para ver uma versão maior desta figura.

  1. Colete informações dos participantes (15 min).
    1. Preencha o formulário de dados de pagamento com as informações de pagamento dos participantes.
    2. Instrua os participantes a lerem o termo de consentimento livre e esclarecido e a assinarem.
  2. Apresente a tarefa e a operação do simulador aos participantes (5 min).
    1. Explique aos participantes o padrão de tráfego e o mapa (Figura 5).
    2. Instrua os participantes sobre como usar o simulador de vôo VR.
    3. Informe aos participantes que eles podem sair do experimento se sentirem desconforto ao simular um voo.
  3. Peça aos participantes que pratiquem usando o simulador de vôo VR (15 min).
    1. Ajuste o HMD VR aos participantes e calibre os movimentos oculares. Ajuste a altura do dispositivo, a distância interpupilar (IDP) e o ponto de olhar conforme as instruções do sistema.
    2. Abra o software de gravação de tela.
    3. Inicie o programa FlySimulator para ajudar os participantes no treinamento de voo.
    4. Instrua os participantes a usar o pedal de vôo, joystick e acelerador em conjunto para dirigir a aeronave o mais próximo possível da linha de referência de vôo (Figura 5).
    5. Redefina os botões do acelerador de vôo e do interruptor do motor após sair do programa FlySimulator e pare de gravar a tela depois que o assunto concluir a prática.
  4. Realizar experimentos formais de voo (20 min).
    1. Coloque o HMD VR para os participantes e execute o OBS Studio para começar a gravar a tela.
    2. Inicie o programa FlySimulator, escolha uma perspectiva adequada, ligue o motor, solte o freio de estacionamento e coloque o acelerador de vôo no máximo.
    3. Saia do programa FlySimulator e reinicie os botões do acelerador de vôo e do interruptor do motor . Pare de gravar a tela.

figure-protocol-5
Figura 5: O padrão de tráfego para o simulador de vôo VR. O ângulo de inclinação é o ângulo de rotação em torno dos eixos esquerdo e direito da aeronave, e a linha de referência (ou a linha de referência central) está bem no meio das linhas vermelha e verde. Clique aqui para ver uma versão maior desta figura.

6. Análise dos dados

  1. Analise os dados de movimento dos olhos.
    1. Divida cinco zonas de área de interesse (AOI) neste estudo; para obter mais informações sobre o cálculo de AOIs, consulte a Figura 6, com base no painel real da cabine de pilotagem correspondente ao instrumento da cabine de pilotagem (Figura 7).
    2. Calcule o teste de diferença AOI usando a porcentagem de tempo de permanência na zonaAOI 37, dada a característica do equipamento do oculomotor VR usado neste estudo.
      NOTA: A porcentagem média de tempo de permanência é a porcentagem cumulativa gasta olhando dentro de um AOI dividida pelo tempo total de fixação e média entre os participantes.
  2. Analise dados de desempenho de voo com scripts de programação personalizados usando Python 3.10. O algoritmo principal para métricas de desempenho foi adaptado do método de análise QAR, inspirado nos dados QAR de 35 aeronaves BAE-146 fornecidos pela National Aeronautics and Space Administration (NASA)38.
    NOTA: Indicadores de desempenho de voo para este estudo: o tempo total de voo (o tempo total desde a decolagem até o pouso para cada participante, em segundos), ângulo de inclinação 1 s antes do pouso (ângulo de inclinação da aeronave 1 s antes do pouso, obtido a partir de dados brutos, em graus), distância média até a linha de referência (erro médio da distância espacial entre a aeronave e a linha de referência durante o voo, em metros) e desvio padrão da distância até a linha de referência (desvio padrão da distância espacial entre o plano e a linha de referência durante o voo, em metros).
  3. Realizar as análises estatísticas.
    1. Utilizar o teste de Shapiro-Wilk39 para confirmar a normalidade dos dados.
    2. Use software estatístico (consulte Tabela de materiais) para estatística descritiva, teste U de Mann-Whitney e teste t de Student.
    3. Descreva os gráficos de violino para indicar melhor a forma da distribuição de dados40.
      NOTA: A explicação para o tamanho do efeito medido usando o d de Cohen é a seguinte: 0,1 é muito pequeno, 0,2 é pequeno, 0,5 é médio, 0,8 é grande, 1,2 é muito grande e 2,0 é enorme41,42. O nível de significância adotado foi de p < 0,05.

figure-protocol-6
Figura 6: Pré-processamento AOI e processo de cálculo de fluxo. As seções 1 a 4 descrevem como o presente estudo processou os dados de movimento ocular dos pilotos até o teste t de amostra independente. Clique aqui para ver uma versão maior desta figura.

figure-protocol-7
Figura 7: Diagrama esquemático da divisão AOI do instrumento de voo. A função dos instrumentos: (A) O indicador de velocidade no ar indica a velocidade da aeronave em relação ao ar. (B) O indicador de altitude mostra a altitude de inclinação e rotação da aeronave. (C) O indicador de velocidade vertical indica a velocidade de subida ou descida da aeronave. (D) O indicador de altitude indica a altitude barométrica da aeronave. (E) O indicador de velocidade do motor indica a velocidade do motor da aeronave. Clique aqui para ver uma versão maior desta figura.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Resultados

Para o experimento atual, foram escolhidos 23 especialistas com experiência de voo e 23 novatos sem experiência de voo. Os participantes tinham entre 25 e 58 anos de idade (especialistas: M = 32,52 anos, DP = 7,28 anos; novatos: M = 29,57 anos, DP = 5,74 anos). O sexo de todos os participantes era masculino. Todos os novatos foram recrutados da Universidade de Tsinghua (alunos ou professores) e todos os especialistas eram da China Eastern Airlines.

M...

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Discussão

O estudo atual avaliou se os participantes com experiência de voo tiveram melhor desempenho de voo do que aqueles sem experiência de voo em um simulador de voo baseado em VR. Mais importante, avaliou se um padrão de movimento ocular mais otimizado poderia ser encontrado nesses participantes com melhor desempenho de voo. Os resultados têm diferenças significativas entre os participantes com e sem experiência de voo em três indicadores-chave de QAR de voo: ângulo de inclinação 1 s antes do pouso, a distância média até a li...

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Divulgações

Os autores declararam não haver divulgação financeira ou conflitos de interesse.

Agradecimentos

Os autores são incrivelmente gratos ao Sr. Li Yan por sua ajuda no recrutamento de participantes do piloto e reconhecem a Sra. Bu Lingyun por seu trabalho em desenhar imagens. A pesquisa foi apoiada pela Fundação Nacional de Ciências Naturais da China (número de concessão T2192931, 72071185), pelo Projeto Nacional do Cérebro (número de concessão STI2030-Projetos Principais 2022ZD0208500), pelo Projeto de Laboratório Nacional de Engenharia de Fatores Humanos (número de concessão SYFD062003), pelo Projeto de Laboratório Nacional de Engenharia de Fatores Humanos (número de concessão 6142222210201) e pelo ano de 2022 Principais Projetos de Bolsa de Pesquisa Logística Militar e Projeto-Chave de Equipamento da Força Aérea Abrangente Pesquisa (processo número KJ2022A000415).

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Materiais

Lista de materiais utilizados neste artigo
NomeEmpresaNúmero de catálogoComentários
SDK do mecanismo 3DEpic GamesUnreal Engine 4
GameAnalytics SDK do Unreal		Este SDK é uma ferramenta de análise gratuita poderosa e flexível projetada para jogos.
CPUIntelIntelCore i9Uma das CPUs mais poderosas do mercado mainstream.
SDK de rastreamento ocularTobiiTobii XR SDKEste SDK fornece acesso independente de dispositivo a dados de rastreamento ocular para permitir o desenvolvimento de fones de ouvido de muitos fornecedores de hardware diferentes e não se limita a dispositivos que usam hardware Tobii Eye Tracking.
Software de rastreamento ocularDesenvolvido pela equipede pesquisa Um programa que rastreia o movimento dos olhos de uma pessoa enquanto ela usa um HMD de realidade virtual.
Programa FlySimulatorDesenvolvido pela equipeUm software que simula experiências de voo em um ambiente virtual, usando VR HMD e controladores portáteis.
Placa de vídeoNVIDIAGeForce RTX 3090
10496 NVIDIA CUDA Cores
1.70 GHz Boost Clock   
24 GB Tamanho da Memória
Tipo de Memória GDDR6X		Uma das placas gráficas mais poderosas do mercado mainstream.
Sistema operacional (SO)MicrosoftWindows XPUm sistema operacional (SO) desenvolvido e distribuído exclusivamente pela Microsoft
Corporation Replica painel de controleTHRUSTMASTER2960720 2971004 2962072 2960748 2960769aeronave de ataque A-10C da Força Aérea dos EUA HOTAS
Joystick de réplicaTHRUSTMASTER2960720aeronave de ataque A-10C da Força Aérea dos EUA HOTAS
Replica pedalLemependular
Réplica do aceleradorTHRUSTMASTERU.S. Air Force A-10C aeronave de ataque HOTAS
Tela conectada ao PCRedmiRMMNT27NF, 27 polegadas, proporção de resolução 1920 X 1080A tela permite que o experimentador visualize simultaneamente o que está acontecendo no software de gravação de tela VR HMD
OBS ProjectOBS Studio Versão 28.0Um software gratuito e de código aberto para gravação de vídeo e transmissão ao vivo
Software de análise de poder estatísticoG*power de código abertoVersão 3.1.9.6Uma ferramenta gratuita e fácil de usar para estimar o poder estatístico e o tamanho da amostra.
Software estatísticoIBMSPSS Versão 24.0Uma poderosa plataforma de software estatístico
Ferramenta estatística versátilSoftware GraphPadPrism Versão 9.4.0Uma ferramenta estatística versátil desenvolvida especificamente para cientistas - não estatísticos
Loja de aplicativos VRHTC CorporationSoftware VIVE 2.0.17.6 / 2.1.17.6Uma loja de aplicativos para realidade virtual onde os clientes podem explorar, criar, conectar e experimentar o conteúdo que amam e precisam.
VR head-mounted display (HMD)HTC CorporationVIVE Pro EyeUm fone de ouvido VR com rastreamento ocular de precisão
Software VRSteamSteam VR Versão 1.23Uma ferramenta para experimentar conteúdo VR no hardware
de pesquisa THRUSTMASTER TPR

Referências

  1. Oberhauser, M., Dreyer, D., Braunstingl, R., Koglbauer, I. What's real about virtual reality flight simulation. Aviation Psychology and Applied Human Factors. 8 (1), 22-34 (2018).
  2. Oberhauser, M., Dreyer, D. A virtual reality flight simulator for human factors engineering. Cognition, Technology & Work. 19 (2-3), 263-277 (2017).
  3. Rolfe, J. M., Staples, K. J. Flight Simulation. , Cambridge University Press. Cambridge, New York. (1986).
  4. Robinson, A., Mania, K., Perey, P. Flight simulation: Research challenges and user assessments of fidelity. Proceedings of the 2004 ACM SIGGRAPH International Conference on Virtual Reality Continuum and its Applications in Industry. , 261-268 (2004).
  5. Moroney, W. F., Moreney, B. W. Flight Simulation. Handbook of Aviation Human Factors. , Lawrence Erlbaum Associates. Mahwah, New Jersey. 261-268 (1999).
  6. McCarty, W. D., Sheasby, S., Amburn, P., Stytz, M. R., Switzer, C. A virtual cockpit for a distributed interactive simulation. IEEE Computer Graphics and Applications. 14 (1), 49-54 (1994).
  7. Dorr, K. U., Schiefel, J., Kubbat, I. Virtual cockpit simulation for pilot training. In . The Hague, The Netherlands. What is Essential for Virtual Reality Systems to Meet Military Human Performance Goals? RTO human factors and medicine panel (HEM) workshop. , The Hague. The Netherlands. (2001).
  8. Bauer, M., Klingauf, U. Virtual-reality as a future training medium for civilian flight procedure training. AIAA Modeling and Simulation Technologies Conference and Exhibit. , Honolulu, Hawaii. 18-21 (2008).
  9. Yavrucuk, I., Kubali, E., Tarimci, O. A low cost flight simulator using virtual reality tools. IEEE Aerospace and Electronic Systems Magazine. 26 (4), 10-14 (2011).
  10. Aslandere, T., Dreyer, D., Pankratz, F., Schubotz, R. A generic virtual reality flight simulator. Virtuelle und Erweiterte Realität, 11. Workshop der GI-Fachgruppe VR/AR. , Shaker Verlag. Aachen. 1-13 (2014).
  11. Joyce, R. D., Robinson, S. K. The rapidly reconfigurable research cockpit. AIAA Modeling and Simulation Technologies Conference. , Dallas, Texas. 22-26 (2015).
  12. Schijven, M. P., Jakimowicz, J. J., Carter, F. J. How to select aspirant laparoscopic surgical trainees: Establishing concurrent validity comparing Xitact LS500 index performance scores with standardized psychomotor aptitude test battery scores. The Journal of Surgical Research. 121 (1), 112-119 (2004).
  13. Huang, P., Zhu, X., Liu, X., Xiao, W., Wu, S. Psychology selecting device for air force pilot recruitment based on virtual reality technology, has industrial personal computer connected with memory, where industrial control computer is connected with image display device. , CN111920428-A (2020).
  14. Wojciechowski, P., Wojtowicz, K. Simulator sickness and cybersickness as significant indicators in a primary selection of candidates for FPV drone piloting. 2022 IEEE 9th International Workshop on Metrology for AeroSpace (MetroAeroSpace). , Pisa, Italy. (2022).
  15. Ziv, G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. The International Journal of Aviation Psychology. 26 (3-4), 75-104 (2016).
  16. Lai, M. L., et al. A review of using eye-tracking technology in exploring learning from 2000 to 2012. Educational Research Review. 10, 90-115 (2013).
  17. Robinski, M., Stein, M. Tracking visual scanning techniques in training simulation for helicopter landing. Journal of Eye Movement Research. 6 (2), 1-17 (2013).
  18. Yang, J. H., Kennedy, Q., Sullivan, J., Fricker, R. D. Pilot performance: Assessing how scan patterns & navigational assessments vary by flight expertise. Aviation Space and Environmental Medecine. 84 (2), 116-124 (2013).
  19. Yu, C. S., Wang, E. M. Y., Li, W. C., Braithwaite, G., Greaves, M. Pilots' visual scan patterns and attention distribution during the pursuit of a dynamic target. Aerospace Medicine and Human Performance. 87 (1), 40-47 (2016).
  20. Haslbeck, A., Zhang, B. I spy with my little eye: Analysis of airline pilots' gaze patterns in a manual instrument flight scenario. Applied Ergonomics. 63, 62-71 (2017).
  21. Brams, S., et al. Does effective gaze behavior lead to enhanced performance in a complex error-detection cockpit task. PLoS One. 13 (11), e0207439(2018).
  22. Peißl, S., Wickens, C. D., Baruah, R. Eye-tracking measures in aviation: A selective literature review. The International Journal of Aerospace Psychology. 28 (3-4), 98-112 (2018).
  23. Jin, H., et al. Study on how expert and novice pilots can distribute their visual attention to improve flight performance. IEEE Access. 9, 44757-44769 (2021).
  24. Lounis, C., Peysakhovich, V., Causse, M. Visual scanning strategies in the cockpit are modulated by pilots' expertise: A flight simulator study. PLoS One. 16 (2), e0247061(2021).
  25. Bellenkes, A. H., Wickens, C. D., Kramer, A. F. Visual scanning and pilot expertise: The role of attentional flexibility and mental model development. Aviation Space and Environmental. 68 (7), 569-579 (1997).
  26. Kasarskis, P., Stehwien, J., Hickox, J., Aretz, A., Wickens, C. Comparison of expert and novice scan behaviors during VFR flight. Proceedings of the 11th International Symposium on Aviation Psychology. , Columbus, Ohio. (2001).
  27. Lorenz, B., et al. Performance, situation awareness, and visual scanning of pilots receiving onboard taxi navigation support during simulated airport surface operation. Human Factors and Aerospace Safety. 6 (2), 135-154 (2006).
  28. Horrey, W. J., Alexander, A. L., Wickens, C. D. Does workload modulate the effects of in-vehicle display location on concurrent driving and side task performance. Driving Simulator Conference North America Proceedings. , Dearborn, Michigan. October 8-10 (2013).
  29. Wang, L., Ren, Y., Sun, H., Dong, C. A landing operation performance evaluation method and device based on flight data. In Engineering Psychology and Cognitive Ergonomics: Cognition and Design. , Springer International Publishing. Vancouver, British Columbia, Canada. 297-305 (2017).
  30. Wang, L., Ren, Y., Wu, C. Effects of flare operation on landing safety: A study based on ANOVA of real flight data. Safety Science. 102, 14-25 (2018).
  31. Huang, R., Sun, H., Wu, C., Wang, C., Lu, B. Estimating eddy dissipation rate with QAR flight big data. Applied Sciences. 9 (23), 5192(2019).
  32. Wang, L., Zhang, J., Dong, C., Sun, H., Ren, Y. A method of applying flight data to evaluate landing operation performance. Ergonomics. 62 (2), 171-180 (2019).
  33. Gerathewohl, S. J. Leitfaden der Militärischen Flugpsychologie. Verlag für Wehrwissenschaften. , (1987).
  34. Ugwitz, P., Kvarda, O., Juříková, Z., Šašinka, Č, Tamm, S. Eye-tracking in interactive virtual environments: implementation and evaluation. Applied Sciences. 12 (3), 1027(2022).
  35. Faul, F., Erdfelder, E., Lang, A. -G., Buchner, A. G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods. 39 (2), 175-191 (2007).
  36. Boslaugh, S. E. Snellen Chart. , (2018).
  37. He, J., Becic, E., Lee, Y. -C., McCarley, J. S. Mind wandering behind the wheel. Human Factors: The Journal of the Human Factors and Ergonomics Society. 53 (1), 13-21 (2011).
  38. Tanveer Alam, GitHub - tanvcodes/qar_analytics: Scripts for working with publicly available Quick Access Recorder (QAR) data from a fleet of 35 BAE-146 aircraft. GitHub. , Retrieved on December 20,2022 from https://github.com/tanvcodes/qar_analytics (2022).
  39. Shapiro, S. S., Wilk, M. B. An analysis of variance test for normality (complete samples). Biometrika. 52 (3-4), 591-611 (1965).
  40. Hintze, J. L., Nelson, R. D. Violin plots: A box plot-density trace synergism. The American Statistician. 52 (2), 181-184 (1998).
  41. Cohen, J. Statistical Power Analysis for the Behavioral Sciences (2nd ed.). , Erlbaum, Hillsdale, NJ. (1988).
  42. Sawilowsky, S. S. New effect size rules of thumb. Journal of Modern Applied Statistical Methods. 8 (2), 26(2009).
  43. Bateman, T. S., Crant, J. M. The proactive component of organizational behavior: A measure and correlates. Journal of Organizational Behavior. 14 (2), 103-118 (1993).
  44. Endsley, M. R. Measurement of situation awareness in dynamic systems. Human Factors. 37 (1), 65-84 (1995).
  45. Hunter, D. R. Measuring general aviation pilot judgment using a situational judgment technique. The International Journal of Aviation Psychology. 13 (4), 373-386 (2003).
  46. Kim, H. K., Park, J., Choi, Y., Choe, M. Virtual reality sickness questionnaire (VRSQ): Motion sickness measurement index in a virtual reality environment. Applied Ergonomics. 69, 66-73 (2018).
  47. Hart, S. G. NASA Task Load Index (TLX). , (1986).

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Reimpressões e permissões

Solicitar permissão para reutilizar o texto ou as figuras deste artigo JoVE

Solicitar permissão

Etiquetas

Avalia o de Desempenho de VooAvalia o de PilotosTecnologia de Rastreamento OcularCompara o de Experi ncia de VooSimula o Imersiva 3DM dulo de Controle de VooMedi o da Consci ncia SituacionalAvalia o de Cinetose por VR

Artigos relacionados