Artigo de método

Rastreamento ocular durante uma tarefa complexa de aviação para obter informações sobre o processamento de informações

DOI:

10.3791/66886

⸱

4 de abril de 2025

 ,  ,  ,  , 
1Department of Kinesiology and Health Sciences, University of Waterloo, 2Waterloo Institute for Sustainable Aeronautics, University of Waterloo, 3Department of Geography and Aviation, University of Waterloo, 4School of Optometry and Vision Science, University of Waterloo, 5Department of Systems Design Engineering, University of Waterloo

Neste artigo

Resumo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O rastreamento ocular é um método não invasivo para investigar o processamento de informações. Este artigo descreve como o rastreamento ocular pode ser usado para estudar o comportamento do olhar durante uma tarefa de emergência de simulação de voo em pilotos de baixo tempo (ou seja, <350 horas de voo).

Resumo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O rastreamento ocular tem sido usado extensivamente como um proxy para obter informações sobre os processos cognitivos, perceptivos e sensório-motores subjacentes ao desempenho das habilidades. Trabalhos anteriores mostraram que as métricas tradicionais e avançadas do olhar demonstram de forma confiável diferenças robustas na experiência do piloto, carga cognitiva, fadiga e até consciência da situação (SA).

Este estudo descreve a metodologia para usar um rastreador ocular vestível e um algoritmo de mapeamento do olhar que captura movimentos naturalistas da cabeça e dos olhos (ou seja, olhar) em um simulador de voo imóvel de alta fidelidade. O método descrito neste artigo descreve as análises do olhar baseadas na área de interesse (AOI), que fornece mais contexto relacionado ao local para onde os participantes estão olhando, e a duração do tempo de permanência, que indica a eficiência com que eles estão processando as informações fixadas. O protocolo ilustra a utilidade de um rastreador ocular vestível e algoritmo de visão computacional para avaliar mudanças no comportamento do olhar em resposta a uma emergência inesperada durante o voo.

Os resultados representativos demonstraram que o olhar foi significativamente impactado quando o evento de emergência foi introduzido. Especificamente, a alocação de atenção, a dispersão do olhar e a complexidade da sequência do olhar diminuíram significativamente e tornaram-se altamente concentradas em olhar para fora da janela frontal e para o medidor de velocidade durante o cenário de emergência (todos os valores de p < 0,05). A utilidade e as limitações de empregar um rastreador ocular vestível em um ambiente de simulação de voo imóvel de alta fidelidade para entender as características espaço-temporais do comportamento do olhar e sua relação com o processamento de informações no domínio da aviação são discutidas.

Introdução

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os humanos interagem predominantemente com o mundo ao seu redor, primeiro movendo os olhos e a cabeça para focar sua linha de visão (ou seja, olhar) em direção a um objeto específico ou local de interesse. Isso é particularmente verdadeiro em ambientes complexos, como cockpits de aeronaves, onde os pilotos se deparam com vários estímulos concorrentes. Os movimentos do olhar permitem a coleta de informações visuais de alta resolução que permitem que os humanos interajam com seu ambiente de maneira segura e flexível1, o que é de suma importância na aviação. Estudos mostraram que os movimentos oculares e o comportamento do olhar fornecem informações sobre os processos perceptivos, cognitivos e motores subjacentes em várias tarefas 1,2,3. Além disso, o local para onde olhamos tem influência direta no planejamento e execução dos movimentos dos membros superiores3. Portanto, a análise do comportamento do olhar durante as tarefas de aviação fornece um método objetivo e não invasivo, que pode revelar como os padrões de movimento ocular se relacionam com vários aspectos do processamento e desempenho da informação.

Vários estudos demonstraram uma associação entre o olhar e o desempenho de tarefas em vários paradigmas de laboratório, bem como tarefas complexas do mundo real (ou seja, operar uma aeronave). Por exemplo, áreas relevantes para a tarefa tendem a ser fixadas com mais frequência e por durações totais mais longas, sugerindo que o local de fixação, a frequência e o tempo de permanência são proxies para a alocação de atenção em tarefas neurocognitivas e de aviação 4,5,6. Artistas e especialistas altamente bem-sucedidos mostram vieses de fixação significativos em relação a áreas críticas de tarefas em comparação com artistas menos bem-sucedidos ou novatos 4,7,8. Os aspectos espaço-temporais do olhar são capturados por meio de mudanças nos padrões de tempo de permanência em várias áreas de interesse (AOIs) ou medidas de distribuição de fixação (ou seja, Entropia do Olhar Estacionário: SGE). No contexto de paradigmas baseados em laboratório, a duração média da fixação, o comprimento do caminho de varredura e a complexidade da sequência do olhar (ou seja, Entropia de Transição do Olhar: GTE) tendem a aumentar devido ao aumento da varredura e processamento necessários para resolver problemas e elaborar objetivos/soluções de tarefas mais desafiadoras 4,7.

Por outro lado, estudos de aviação demonstraram que o comprimento do caminho de varredura e a complexidade da sequência do olhar diminuem com a complexidade da tarefa e a carga cognitiva. Essa discrepância destaca o fato de que a compreensão dos componentes da tarefa e das demandas do paradigma que está sendo empregado é fundamental para a interpretação precisa das métricas do olhar. Ao todo, a pesquisa até o momento apóia que as medidas do olhar fornecem uma visão significativa e objetiva do processamento de informações específicas da tarefa que estão por trás das diferenças na dificuldade da tarefa, carga cognitiva e desempenho da tarefa. Com os avanços na tecnologia de rastreamento ocular (ou seja, portabilidade, calibração e custo), examinar o comportamento do olhar na "natureza" é uma área emergente de pesquisa com aplicações tangíveis para o avanço do treinamento ocupacional nas áreas da medicina 9,10,11 e aviação 12,13,14.

O trabalho atual visa examinar ainda mais a utilidade do uso de métricas baseadas no olhar para obter informações sobre o processamento de informações, empregando especificamente um rastreador ocular vestível durante uma tarefa de simulação de voo de emergência em pilotos de baixo tempo. Este estudo expande trabalhos anteriores que usaram um rastreador ocular estabilizado na cabeça (ou seja, EyeLink II) para examinar as diferenças nas métricas de comportamento do olhar em função da dificuldade de voo (ou seja, mudanças nas condições climáticas)5. O trabalho apresentado neste manuscrito também se estende a outro trabalho que descreveu as abordagens metodológicas e analíticas para o uso do rastreamento ocular em um sistema de realidade virtual15. Nosso estudo usou um simulador imóvel de alta fidelidade e relata análises adicionais de dados de movimento ocular (ou seja, entropia). Esse tipo de análise foi relatado em artigos anteriores; No entanto, uma limitação da literatura atual é a falta de padronização no relato das etapas analíticas. Por exemplo, relatar como as áreas de interesse são definidas é de importância crítica porque influencia diretamente os valores de entropia resultantes16.

Para resumir, o trabalho atual examinou as métricas tradicionais e dinâmicas do comportamento do olhar, enquanto a dificuldade da tarefa foi manipulada por meio da introdução de um cenário de emergência em voo (ou seja, falha total inesperada do motor). Esperava-se que a introdução de um cenário de emergência em voo fornecesse informações sobre as mudanças no comportamento do olhar subjacentes ao processamento de informações durante condições de tarefas mais desafiadoras. O estudo relatado aqui faz parte de um estudo maior que examina a utilidade do rastreamento ocular em um simulador de vôo para informar o treinamento de pilotos baseado em competências. Os resultados aqui apresentados não foram publicados anteriormente.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Protocolo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O protocolo a seguir pode ser aplicado a estudos envolvendo um rastreador ocular vestível e um simulador de voo. O estudo atual envolve dados de rastreamento ocular registrados ao lado de tarefas complexas relacionadas à aviação em um simulador de vôo (ver Tabela de Materiais). O simulador foi configurado para ser representativo de um Cessna 172 e foi usado com o painel de instrumentos necessário (configuração do medidor de vapor), um sistema aviônico / GPS, um painel de áudio / luzes, um painel de disjuntores e uma Unidade de Controle de Vôo (FCU) (ver Figura 1). O dispositivo de simulador de voo usado neste estudo é certificável para fins de treinamento e usado pela escola de voo local para treinar as habilidades necessárias para responder a vários cenários de emergência, como falha de motor, em um ambiente de baixo risco. Os participantes deste estudo eram todos licenciados; portanto, eles experimentaram o cenário do simulador de falha do motor anteriormente no decorrer de seu treinamento. Este estudo foi aprovado pelo Escritório de Ética em Pesquisa da Universidade de Waterloo (43564; Data: 17 de novembro de 2021). Todos os participantes (N = 24; 14 homens, 10 mulheres; idade média = 22 anos; intervalo de horas de voo: 51-280 h) forneceram consentimento informado por escrito.

figure-protocol-1
Figura 1: Ambiente do simulador de voo. Uma ilustração do ambiente do simulador de vôo. O ponto de vista do participante sobre a cabine replicou o de um piloto pilotando um Cessna 172, predefinido para uma abordagem do vento à base para a final do Aeroporto Internacional de Waterloo, Breslau, Ontário, CA. As caixas laranja representam as dez principais áreas de interesse usadas nas análises do olhar. Isso inclui a (1) velocidade do ar, (2) atitude, (3) altímetro, (4) coordenador de curva, (5) rumo, (6) velocidade vertical e (7) indicadores de energia, bem como as (8) janelas dianteiras, (9) esquerda e (10) direita. Essa figura foi modificada a partir de Ayala et al.5. Clique aqui para ver uma versão maior desta figura.

1. Triagem do participante e consentimento informado

  1. Faça a triagem do participante por meio de um questionário de autorrelato com base nos critérios de inclusão/exclusão 2,5: posse de pelo menos uma Licença de Piloto Privado (PPL), visão normal ou corrigida para normal e nenhum diagnóstico prévio com distúrbio neuropsiquiátrico/neurológico ou dificuldade de aprendizagem.
  2. Informe o participante sobre os objetivos e procedimentos do estudo por meio de um briefing detalhado tratado pelo experimentador e pelo instrutor de voo supervisor / técnico do simulador. Revise os riscos descritos no documento de consentimento aprovado pelo conselho de ética da instituição. Responda a quaisquer perguntas sobre os riscos potenciais. Obtenha consentimento informado por escrito antes de iniciar qualquer procedimento do estudo.

2. Requisitos de hardware/software e inicialização

  1. Simulador de voo (normalmente concluído pelo técnico do simulador)
    1. Ligue as telas do simulador e do projetor. Se um dos projetores não ligar ao mesmo tempo que os outros, reinicie o simulador.
    2. Na tela de instruções, pressione a guia Predefinições e verifique se as predefinições de posição e/ou clima necessárias estão disponíveis. Se necessário, crie um novo tipo de predefinição; Consulte o técnico para obter ajuda.
  2. Laptop de coleção
    1. Ligue o laptop e faça login com as credenciais.
    2. Quando solicitado, selecione um perfil preexistente ou crie um se estiver testando um novo participante. Como alternativa, selecione a opção Convidado para substituir sua última calibração.
      1. Para criar um novo perfil, role até o final da lista de perfis e clique em Adicionar.
    3. Defina a ID do perfil como a ID do participante. Essa ID de perfil será usada para marcar a pasta, que contém dados de rastreamento ocular após a conclusão de uma gravação.
  3. Calibração de óculos
    NOTA: Os óculos devem permanecer conectados ao laptop para gravar. A calibração com a caixa só precisa ser concluída uma vez no início da coleta de dados.
    1. Abra o estojo do rastreador ocular e retire os óculos.
    2. Conecte o cabo USB para micro-USB do laptop aos óculos. Se solicitado no laptop, atualize o firmware.
    3. Localize a caixa de calibração preta dentro do estojo do rastreador ocular.
    4. No laptop de coleção, no Hub de rastreamento ocular, escolha Ferramentas | Calibração de dispositivos.
    5. Coloque os óculos dentro da caixa e pressione Iniciar na janela pop-up para iniciar a calibração.
    6. Remova os óculos da caixa assim que a calibração estiver concluída.
  4. Ajuste do revólver
    1. Selecione o revólver.
    2. Instrua o participante a sentar-se no cockpit e colocar os óculos.
    3. No Hub de rastreamento ocular, navegue até Arquivo | Configurações | Mago do nariz.
    4. Verifique o ajuste da caixa de óculos no lado esquerdo da tela. Se o ajuste for Excelente, prossiga para a próxima etapa. Caso contrário, clique na caixa.
    5. Diga ao participante para seguir as instruções de recomendação de ajuste mostradas na tela: ajuste o revólver, ajuste os óculos para se sentarem confortavelmente e olhe diretamente para o laptop.
    6. Se necessário, troque o revólver. Aperte o revólver no meio, deslize-o para fora dos óculos e, em seguida, deslize outro para dentro. Continue testando os diferentes porta-objetivas até que seja identificado aquele que melhor se adapta ao participante.
  5. Chamadas do Controle de Tráfego Aéreo (ATC)
    NOTA: Se o estudo exigir chamadas ATC, peça ao participante que traga seu próprio fone de ouvido ou use o fone de ouvido do laboratório. Conclua a calibração do globo ocular somente depois que o participante colocar o fone de ouvido, pois o fone de ouvido pode mover os óculos na cabeça, o que afeta a precisão da calibração.
    1. Verifique se o fone de ouvido está conectado ao conector na parte inferior esquerda do painel de instrumentos.
    2. Instrua o participante a colocar o fone de ouvido. Peça-lhes para não tocá-lo ou retirá-lo até que a gravação seja concluída.
      NOTA: A recalibração é necessária sempre que o fone de ouvido (e, portanto, os óculos) é movido.
    3. Faça uma verificação de rádio.
  6. Calibração do globo ocular
    NOTA: Sempre que o participante mudar os óculos na cabeça, ele deve repetir a calibração do globo ocular. Peça ao participante para não tocar nos óculos até que seus testes terminem.
    1. No Hub de rastreamento ocular, navegue até a caixa de parâmetro à esquerda da tela.
      1. Verifique o modo de calibração e escolha o olhar fixo ou a cabeça fixa de acordo.
      2. Verifique se os pontos de calibração são uma grade 5 x 5, para um total de 25 pontos.
      3. Verifique o modo de validação e certifique-se de que corresponde ao modo de calibração.
      4. Examine as saídas de rastreamento ocular e verifique se tudo o que precisa ser registrado para o estudo está verificado usando as caixas de seleção.
    2. Clique em File | Configurações | Avançado e verifique se a taxa de amostragem é de 250 Hz.
    3. Marque a caixa Calibrar o rastreamento ocular na tela usando o mouse. As instruções de calibração variam de acordo com o modo. Para acompanhar o estudo atual, use o modo de calibração do olhar fixo : instrua os participantes a mover a cabeça para que a caixa se sobreponha ao quadrado preto e eles se alinhem. Em seguida, peça ao participante que concentre o olhar na mira no quadrado preto e pressione a barra de espaço.
    4. Pressione a caixa Validar sua configuração . As instruções serão as mesmas da etapa 2.6.3. Verifique se o valor de validação MAE (Erro Médio Absoluto) é <1°. Caso contrário, repita as etapas 2.6.3 e 2.6.4.
    5. Pressione Salvar calibração para salvar a calibração no perfil sempre que a calibração e a validação forem concluídas.
  7. Uso do iPad
    NOTA: O iPad está localizado à esquerda do painel de instrumentos (consulte a Figura 1). É usado para questionários normalmente após o voo.
    1. Ligue o iPad e verifique se ele está conectado à Internet.
    2. Abra uma janela no Safari e insira o link para o questionário do estudo.

3. Coleta de dados

NOTA: Repita essas etapas para cada teste. Recomenda-se que o laptop seja colocado na bancada fora do cockpit.

  1. No computador do simulador de vôo, na tela de instruções , pressione Predefinições e escolha a predefinição de posição desejada a ser simulada. Pressione o botão Aplicar e observe as telas ao redor do simulador para verificar se a alteração ocorre.
  2. Repita a etapa 3.1 para aplicar a predefinição Clima .
  3. Dê ao participante instruções específicas sobre o teste ou sua trajetória de voo. Isso inclui dizer a eles para alterar quaisquer configurações no painel de instrumentos antes de começar.
  4. Na tela de instruções, pressione o botão laranja STOPPED para iniciar a coleta de dados. A cor mudará para verde e o texto dirá FLYING. Certifique-se de dar uma dica verbal ao participante para que ele saiba que pode começar a pilotar a aeronave. A sugestão recomendada é "3, 2, 1, você tem controles" quando o botão laranja de parada é pressionado.
  5. No laptop de coleção, pressione Iniciar gravação para que os dados do rastreador ocular sejam sincronizados com os dados do simulador de voo.
  6. Quando o participante tiver completado seu circuito e pousado, espere que a aeronave pare de se mover.
    NOTA: É importante esperar porque durante o pós-processamento; os dados são truncados quando a velocidade de deslocamento se estabiliza em 0. Isso dá consistência para o ponto final de todos os ensaios.
  7. Na tela de instruções, pressione o botão verde VOAR . A cor voltará a ficar laranja e o texto dirá STOPPED. Dê uma dica verbal durante esta etapa quando a coleta de dados estiver prestes a terminar. A sugestão recomendada é "3, 2, 1, stop".
  8. Instrua o participante a preencher o(s) questionário(s) pós-teste no iPad. Atualize a página para a próxima avaliação.
    NOTA: O presente estudo utilizou o questionário de autoavaliação da Situation Awareness Rating Technique (SART) como o único questionário pós-julgamento17.

4. Tratamento e análise dos dados

  1. Dados do simulador de vôo
    NOTA: O arquivo .csv copiado do simulador de vôo contém mais de 1.000 parâmetros que podem ser controlados no simulador. As principais medidas de desempenho de interesse estão listadas e descritas na Tabela 1.
    1. Para cada participante, calcule a taxa de sucesso usando a Eq (1) tomando a porcentagem entre as condições da tarefa. Os testes com falha são identificados por critérios predeterminados programados no simulador que encerram o teste automaticamente no pouso devido à orientação do plano e à velocidade vertical. Realize a verificação pós-teste para garantir que este critério esteja alinhado com as limitações reais da aeronave (ou seja, o dano/colisão do trem de pouso do Cessna 172 é evidente em velocidades verticais > 700 pés/min [fpm] após o pouso).
      Taxa de sucesso = figure-protocol-2 (1)
      NOTA: Valores mais baixos de taxa de sucesso indicam piores resultados, pois estão associados a uma redução nas tentativas de pouso bem-sucedidas.
    2. Para cada teste, calcule o tempo de conclusão com base no carimbo de data/hora, que indica que o avião parou na pista (ou seja, Velocidade de Solo = 0 nós).
      NOTA: Um tempo de conclusão mais curto nem sempre equivale a um melhor desempenho. Deve-se ter cuidado para entender como as condições da tarefa (ou seja, ventos adicionais, cenários de emergência, etc.) devem afetar o tempo de conclusão.
    3. Para cada teste, determine a dureza de pouso com base na velocidade vertical da aeronave (fpm) no momento em que a aeronave toca inicialmente na pista. Certifique-se de que esse valor seja obtido no mesmo carimbo de data/hora associado à primeira alteração no status AircraftOnGround de 0 (no ar) para 1 (no solo).
      NOTA: Valores dentro do intervalo de -700 fpm a 0 fpm são considerados seguros, com valores mais próximos de 0 representando aterrissagens mais suaves (ou seja, melhores). Valores negativos representam velocidade vertical descendente; valores positivos representam velocidade vertical ascendente.
    4. Para cada tentativa, calcule o erro de pouso (°) com base na diferença entre as coordenadas de pouso e o ponto de referência na pista (centro dos marcadores de 500 pés). Usando o ponto de referência, calcule o erro de pouso usando a Eq (2).
      Diferença = √((Δ Latitude)2 + (Δ Longitude)2) (2)
      NOTA: Valores abaixo de 1° são mostrados como normais 5,15. Valores grandes indicam um erro de pouso maior associado a pontos de pouso de aeronaves que estão mais distantes da zona de pouso.
    5. Calcule as médias de todos os participantes para cada variável de resultado de desempenho para cada condição de tarefa. Relate esses valores.
  2. Dados de consciência da situação
    1. Para cada ensaio, calcule a pontuação SA com base nas pontuações SART auto-relatadas nas 10 dimensões da SA17.
      1. Use o questionário SART17 para determinar as respostas subjetivas dos participantes em relação à dificuldade geral da tarefa, bem como sua impressão de quantos recursos de atenção eles tinham disponíveis e gastaram durante a execução da tarefa.
      2. Usando uma escala Likert de 7 pontos, peça aos participantes que avaliem sua experiência percebida em questões de sondagem, incluindo a complexidade da situação, divisão de atenção, capacidade mental sobressalente e quantidade e qualidade da informação.
      3. Combine essas escalas em dimensões maiores de demandas de atenção (Demanda), oferta de atenção (Oferta) e compreensão da situação (Compreensão).
      4. Use estas classificações para calcular uma medida de SA com base na Eq (3):
        SA = Entendimento - (Demanda-Oferta) (3)
        NOTA: Pontuações mais altas em escalas combinadas para fornecer uma medida de compreensão sugerem que o participante tem uma boa compreensão da tarefa em questão. Da mesma forma, pontuações altas no domínio de oferta sugerem que o participante tem uma quantidade significativa de recursos de atenção para dedicar a uma determinada tarefa. Em contraste, uma pontuação de alta demanda sugere que a tarefa requer uma quantidade significativa de recursos de atenção para ser concluída. É importante esclarecer que essas pontuações são melhor interpretadas quando comparadas entre condições (ou seja, condições fáceis versus difíceis) em vez de usadas como medidas isoladas.
    2. Assim que a coleta de dados for concluída, calcule as médias de todos os participantes para cada condição de tarefa (ou seja, básica, emergência). Relate esses valores.
  3. Dados de rastreamento ocular
    1. Use um script em lote de rastreamento ocular para definir manualmente AOIs para uso no mapeamento de foco. O script abrirá uma nova janela para seleção de quadros-chave que deve exibir claramente todas as AOIs principais que serão analisadas. Percorra o vídeo e escolha um quadro que mostre todos os AOIs claramente.
    2. Seguindo as instruções na tela, desenhe um retângulo sobre uma região do quadro que ficará visível em todo o vídeo, única e permanecerá estável.
      NOTA: O objetivo desta etapa é gerar um quadro de coordenadas "na tela" que pode ser usado na gravação de vídeo, pois os movimentos da cabeça resultam na mudança da localização dos objetos no ambiente ao longo da gravação de vídeo.
    3. Desenhe um retângulo para cada AOI na imagem, um de cada vez. Nomeie-os de acordo. Clique em Adicionar mais para adicionar um novo AOI e pressione Concluído no último. Se as coordenadas do olhar durante uma determinada fixação aterrissarem dentro do espaço do objeto, conforme definido no quadro de coordenadas "na tela", rotule essa fixação com o respectivo rótulo AOI.
      NOTA: O objetivo desta etapa é gerar uma biblioteca de coordenadas de objeto que são usadas como referências ao comparar as coordenadas do olhar com as coordenadas na tela.
      Normalmente, existem 10 AOIs, mas isso depende de como o simulador de vôo está configurado. O painel de instrumentos pode ser diferente. Em consonância com o trabalho anterior 5,18, o presente estudo usa os seguintes AOIs: Velocidade do Ar, Atitude, Altímetro, Coordenador de Curva, Rumo, Velocidade Vertical, Potência, Janela Frontal, Janela Esquerda e Janela Direita (ver Figura 1).
    4. Deixe o script começar a processar os AOIs e gerar dados de fixação. Ele gera um gráfico mostrando as sacadas e fixações sobre o vídeo.
    5. Dois novos arquivos serão criados: fixations.csv e aoi_parameters.yaml. O processador de lotes concluirá o pós-processamento dos dados de olhar para cada teste e cada participante.
      NOTA: As principais medidas de rastreamento ocular de interesse estão listadas na Tabela 2 e são calculadas para cada AOI para cada ensaio.
    6. Para cada teste, calcule as métricas tradicionais de olhar 4,5 para cada AOI com base nos dados gerados no arquivo fixation.csv.
      NOTA: Aqui, nos concentramos no tempo de permanência (%), que é calculado dividindo a soma das fixações de um determinado AOI pela soma de todas as fixações e multiplicando o quociente por 100 para obter a porcentagem de tempo gasto em um AOI específico. Não há interpretação negativa/positiva inerente dos tempos de permanência calculados. Eles dão uma indicação de onde a atenção está sendo predominantemente alocada. Durações médias de fixação mais longas são indicativas de aumento das demandas de processamento.
    7. Para cada tentativa, calcule a taxa de intermitência usando a Eq (4):
      Taxa de intermitência = Total de piscadas/tempo de conclusão (4)
      NOTA: Trabalhos anteriores mostraram que a taxa de piscar está inversamente relacionada à carga cognitiva 2,6,13,19,20.
    8. Para cada ensaio, calcular o SGE utilizando a eq (5)21:
      figure-protocol-3Acessórios (5)
      Onde v é a probabilidade de visualizar o iésimo AOI e V é o número de AOIs.
      NOTA: Valores mais altos de EGS estão associados a uma maior dispersão de fixação, enquanto valores mais baixos são indicativos de uma alocação mais focalizada de fixações22.
    9. Para cada ensaio, calcular o GTE utilizando a eq (6)23:
      figure-protocol-4Eletrônicos (6)
      Onde V é a probabilidade de visualizar o iésimo AOI, e M é a probabilidade de visualizar o jésimo AOI dada a visualização anterior do iésimo AOI.
      NOTA: Valores mais altos de GTE estão associados a caminhos de varredura visual mais imprevisíveis e complexos, enquanto valores mais baixos de GTE são indicativos de caminhos de varredura visual mais previsíveis e rotineiros.
    10. Calcule as médias de todos os participantes para cada variável de saída de rastreamento ocular (e AOI quando indicado) e cada condição de tarefa. Relate esses valores.
PrazoDefinição
Sucesso (%)Porcentagem de testes de pouso bem-sucedidos
Tempo (s) de conclusãoDuração do tempo desde o início do cenário de pouso até o avião parar completamente na pista
Dureza de pouso (fpm)A taxa de descida no ponto de aterragem
Erro de pouso (°)A diferença entre o centro do avião e o centro do marcador de pista de 500 pés no ponto de pouso

Tabela 1: Variáveis de resultado de desempenho do simulador. Variáveis dependentes do desempenho da aeronave e suas definições.

figure-protocol-5
Figura 2: Trajetória de voo do cenário de pouso. Esquema de (A) o circuito de pouso concluído em todos os testes e (B) a pista com os marcadores de 500 pés que foram usados como ponto de referência para a zona de pouso (ou seja, círculo laranja central). Clique aqui para ver uma versão maior desta figura.

figure-protocol-6
Figura 3: Mapeamento da área de interesse. Uma ilustração do script em lote demonstrando uma janela para seleção de quadros. A seleção de um quadro ideal envolve a escolha de um quadro de vídeo que inclua a maioria ou todas as áreas de interesse a serem mapeadas. Clique aqui para ver uma versão maior desta figura.

figure-protocol-7
Figura 4: Gerando coordenadas de mapeamento de área de interesse "na tela". Uma ilustração do script em lote demonstrando uma janela para seleção de coordenadas "na tela". Esta etapa envolve a seleção de uma região quadrada/retangular que permanece visível durante toda a gravação, é exclusiva da imagem e permanece estática. Clique aqui para ver uma versão maior desta figura.

figure-protocol-8
Figura 5: Identificando a área de interesse a ser mapeada. Uma ilustração da janela de script em lote que permite a seleção e rotulagem de áreas de interesse. Abreviatura: AOIs = áreas de interesse. Clique aqui para ver uma versão maior desta figura.

figure-protocol-9
Figura 6: Processamento de script em lote. Uma ilustração do script em lote que processa o vídeo e mapeia o olhar das fixações feitas ao longo do julgamento. Clique aqui para ver uma versão maior desta figura.

PrazoDefinição
Tempo de permanência (%)Porcentagem da soma de todas as durações de fixação acumuladas em um AOI em relação à soma das durações de fixação acumuladas em todos os AOIs
Duração média da fixação (ms)Duração média de uma fixação sobre um OI desde a entrada até à saída
Taxa de intermitência (piscar/s)Número de piscadas por segundo
SGE (bits)Dispersão de fixação
GTE (bits)Complexidade da sequência de varredura
Número de lutasNúmero de eventos de tunelamento cognitivo (>10 s)
Tempo total de luta (s)Tempo total de eventos de tunelamento cognitivo

Tabela 2: Variáveis de desfecho do rastreamento ocular. Analise as variáveis dependentes do comportamento e suas definições.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Resultados

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O impacto das demandas de tarefas no desempenho de voo
Os dados foram analisados com base em testes de pouso bem-sucedidos em condições básicas e de emergência. Todas as medidas foram submetidas a um teste t de amostras pareadas (fator dentro do sujeito: condição da tarefa (básica, emergência)). Todos os testes t foram realizados com um nível alfa definido em 0,05. Quatro participantes caíram durante o teste de cenário de emergência e não foram incluídos nas análises principais porqu...

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Discussão

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O método de rastreamento ocular descrito aqui permite a avaliação do processamento de informações em um ambiente de simulador de vôo por meio de um rastreador ocular vestível. A avaliação das características espaciais e temporais do comportamento do olhar fornece informações sobre o processamento de informações humanas, que tem sido estudado extensivamente usando paradigmas de laboratório altamente controlados 4,7,28

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Divulgações

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Não existem interesses financeiros concorrentes.

Agradecimentos

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este trabalho é apoiado em parte pela Canadian Graduate Scholarship (CGS) do Natural Sciences and Engineering Research Council (NSERC) do Canadá, e pela Exploration Grant (00753) do New Frontiers in Research Fund. Quaisquer opiniões, descobertas, conclusões ou recomendações expressas neste material são do(s) autor(es) e não refletem necessariamente as dos patrocinadores.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Materiais

Lista de materiais utilizados neste artigo
NomeEmpresaNúmero de catálogoComentários
simulador de vooALSIMAL-250dispositivo de treinamento de simulação de voo totalmente imersivo fixo
laptopHpLenovorastreamento ocular coleta de dados laptop; requisitos: Windows 10 e python 3.0
rastreador ocular portátilAdHawk Óculos de rastreamento ocular MindLink (250 Hz, < 2° erro de olhar, câmera frontal); O script de lote de rastreamento ocular é disponibilizado com a compra do dispositivo AdHawk

Referências

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. de Brouwer, A. J., Flanagan, J. R., Spering, M. Functional use of eye movements for an acting system. Trends Cogn Sci. 25 (3), 252-263 (2021).
  2. Ayala, N., Kearns, S., Cao, S., Irving, E., Niechwiej-Szwedo, E. Investigating the role of flight phase and task difficulty on low-time pilot performance, gaze dynamics and subjective situation awareness during simulated flight. J Eye Mov Res. 17 (1), (2024).
  3. Land, M. F., Hayhoe, M. In what ways do eye movements contribute to everyday activities. Vision Res. 41 (25-26), 3559-3565 (2001).
  4. Ayala, N., Zafar, A., Niechwiej-Szwedo, E. Gaze behavior: a window into distinct cognitive processes revealed by the Tower of London test. Vision Res. 199, 108072(2022).
  5. Ayala, N. The effects of task difficulty on gaze behavior during landing with visual flight rules in low-time pilots. J Eye Mov Res. 16, 10(2023).
  6. Glaholt, M. G. Eye tracking in the cockpit: a review of the relationships between eye movements and the aviators cognitive state. , (2014).
  7. Hodgson, T. L., Bajwa, A., Owen, A. M., Kennard, C. The strategic control of gaze direction in the Tower-of-London task. J Cognitive Neurosci. 12 (5), 894-907 (2000).
  8. van De Merwe, K., Van Dijk, H., Zon, R. Eye movements as an indicator of situation awareness in a flight simulator experiment. Int J Aviat Psychol. 22 (1), 78-95 (2012).
  9. Kok, E. M., Jarodzka, H. Before your very eyes: The value and limitations of eye tracking in medical education. Med Educ. 51 (1), 114-122 (2017).
  10. Di Stasi, L. L., et al. Gaze entropy reflects surgical task load. Surg Endosc. 30, 5034-5043 (2016).
  11. Laubrock, J., Krutz, A., Nübel, J., Spethmann, S. Gaze patterns reflect and predict expertise in dynamic echocardiographic imaging. J Med Imag. 10 (S1), S11906-S11906 (2023).
  12. Brams, S., et al. Does effective gaze behavior lead to enhanced performance in a complex error-detection cockpit task. PloS One. 13 (11), e0207439(2018).
  13. Peißl, S., Wickens, C. D., Baruah, R. Eye-tracking measures in aviation: A selective literature review. Int J Aero Psych. 28 (3-4), 98-112 (2018).
  14. Ziv, G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. Int J Aviat Psychol. 26 (3-4), 75-104 (2016).
  15. Ke, L., et al. Evaluating flight performance and eye movement patterns using virtual reality flight simulator. J. Vis. Exp. (195), e65170(2023).
  16. Krejtz, K., et al. Gaze transition entropy. ACM Transactions on Applied Perception. 13 (1), 1-20 (2015).
  17. Taylor, R. M., Selcon, S. J. Cognitive quality and situational awareness with advanced aircraft attitude displays. Proceedings of the Human Factors Society Annual Meeting. 34 (1), 26-30 (1990).
  18. Ayala, N., et al. Does fiducial marker visibility impact task performance and information processing in novice and low-time pilots. Computers & Graphics. 199, 103889(2024).
  19. Recarte, M. Á, Pérez, E., Conchillo, Á, Nunes, L. M. Mental workload and visual impairment: Differences between pupil, blink, and subjective rating. Spanish J Psych. 11 (2), 374-385 (2008).
  20. Zheng, B., et al. Workload assessment of surgeons: correlation between NASA TLX and blinks. Surg Endosc. 26, 2746-2750 (2012).
  21. Shannon, C. E. A mathematical theory of communication. The Bell System Technical Journal. 27 (3), 379-423 (1948).
  22. Shiferaw, B., Downey, L., Crewther, D. A review of gaze entropy as a measure of visual scanning efficiency. Neurosci Biobehav R. 96, 353-366 (2019).
  23. Ciuperca, G., Girardin, V. Estimation of the entropy rate of a countable Markov chain. Commun Stat-Theory and Methods. 36 (14), 2543-2557 (2007).
  24. Federal aviation administration. Airplane flying handbook. , Federal Aviation Administration. Washington, DC. FAA-H-8083-3C (2021).
  25. Brown, D. L., Vitense, H. S., Wetzel, P. A., Anderson, G. M. Instrument scan strategies of F-117A Pilots. Aviat, Space, Envir Med. 73 (10), 1007-1013 (2002).
  26. Lu, T., Lou, Z., Shao, F., Li, Y., You, X. Attention and entropy in simulated flight with varying cognitive loads. Aerosp Medicine Hum Perf. 91 (6), 489-495 (2020).
  27. "Automation surprise" in aviation: Real-time solutions. Dehais, F., Peysakhovich, V., Scannella, S., Fongue, J., Gateau, T. Proceedings of the 33rd Annual ACM conference on Human Factors in Computing Systems, , 2525-2534 (2015).
  28. Kowler, E. Eye movements: The past 25 years. J Vis Res. 51 (13), 1457-1483 (2011).
  29. Zafar, A., et al. Investigation of camera-free eye-tracking glasses compared to a video-based system. Sensors. 23 (18), 7753(2023).
  30. Leube, A., Rifai, K. Sampling rate influences saccade detection in mobile eye tracking of a reading task. J Eye Mov Res. 10 (3), (2017).
  31. Diaz-Piedra, C., et al. The effects of flight complexity on gaze entropy: An experimental study with fighter pilots. Appl Ergon. 77, 92-99 (2019).
  32. Shiferaw, B. A., et al. Stationary gaze entropy predicts lane departure events in sleep-deprived drivers. Sci Rep. 8 (1), 1-10 (2018).
  33. Parker, A. J., Kirkby, J. A., Slattery, T. J. Undersweep fixations during reading in adults and children. J Exp Child Psychol. 192, 104788(2020).
  34. Ayala, N., Kearns, S., Irving, E., Cao, S., Niechwiej-Szwedo, E. The effects of a dual task on gaze behavior examined during a simulated flight in low-time pilots. Front Psychol. 15, 1439401(2024).
  35. Ayala, N., Heath, M. Executive dysfunction after a sport-related concussion is independent of task-based symptom burden. J Neurotraum. 37 (23), 2558-2568 (2020).
  36. Huddy, V. C., et al. Gaze strategies during planning in first-episode psychosis. J Abnorm Psychol. 116 (3), 589(2007).
  37. Irving, E. L., Steinbach, M. J., Lillakas, L., Babu, R. J., Hutchings, N. Horizontal saccade dynamics across the human life span. Invest Opth Vis Sci. 47 (6), 2478-2484 (2006).
  38. Yep, R., et al. Interleaved pro/anti-saccade behavior across the lifespan. Front Aging Neurosci. 14, 842549(2022).
  39. Manoel, E. D. J., Connolly, K. J. Variability and the development of skilled actions. Int J Psychophys. 19 (2), 129-147 (1995).

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Reimpressões e permissões

Solicitar permissão para reutilizar o texto ou as figuras deste artigo JoVE

Solicitar permissão

Etiquetas

Aviation TrainingSituation AwarenessGaze MappingFlight SimulatorCognitive LoadAttention AllocationWearable Eye TrackerGaze BehaviorEmergency Task

Artigos relacionados