Методическая статья

Eye tracking во время сложной авиационной задачи для понимания обработки информации

DOI:

10.3791/66886

⸱

4 апреля 2025 г.

 ,  ,  ,  , 
1Department of Kinesiology and Health Sciences, University of Waterloo, 2Waterloo Institute for Sustainable Aeronautics, University of Waterloo, 3Department of Geography and Aviation, University of Waterloo, 4School of Optometry and Vision Science, University of Waterloo, 5Department of Systems Design Engineering, University of Waterloo

В этой статье

Краткое содержание

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Айтрекинг — это неинвазивный метод зондирования обработки информации. В этой статье описывается, как отслеживание движения глаз может быть использовано для изучения поведения взгляда во время выполнения аварийной задачи по моделированию полета у пилотов с малым рабочим временем (т.е. <350 летных часов).

Аннотация

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Отслеживание движения глаз широко используется в качестве прокси для получения представления о когнитивных, перцептивных и сенсомоторных процессах, лежащих в основе выполнения навыков. Предыдущая работа показала, что традиционные и продвинутые метрики взгляда надежно демонстрируют устойчивые различия в опыте пилота, когнитивной нагрузке, усталости и даже осведомленности о ситуации (SA).

В этом исследовании описывается методология использования носимого айтрекера и алгоритма картирования взгляда, который фиксирует естественные движения головы и глаз (т.е. взгляда) в высокоточном симуляторе полета без движения. Метод, описанный в этой статье, описывает анализ взгляда на основе области интереса (AOI), который предоставляет больше контекста, связанного с тем, куда смотрят участники, и продолжительность времени, которая показывает, насколько эффективно они обрабатывают зафиксированную информацию. Протокол иллюстрирует полезность носимого айтрекера и алгоритма компьютерного зрения для оценки изменений в поведении взгляда в ответ на неожиданную чрезвычайную ситуацию в полете.

Репрезентативные результаты показали, что взгляд значительно пострадал при возникновении экстренного события. В частности, распределение внимания, дисперсия взгляда и сложность последовательности взглядов значительно снизились и стали в значительной степени сконцентрированными на взгляде за переднее окно и на указатель воздушной скорости во время сценария чрезвычайной ситуации (все значения p < 0,05). Обсуждаются полезность и ограничения использования носимого айтрекера в высокоточной среде неподвижного моделирования полета для понимания пространственно-временных характеристик поведения взгляда и его связи с обработкой информации в авиационной сфере.

Введение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Люди преимущественно взаимодействуют с окружающим миром, сначала двигая глазами и головой, чтобы сфокусировать свою линию взгляда (т.е. взгляд) на определенном объекте или месте, представляющем интерес. Это особенно верно в сложных условиях, таких как кабины самолетов, где пилоты сталкиваются с несколькими конкурирующими стимулами. Движения взгляда позволяют собирать визуальную информацию с высоким разрешением, которая позволяет людям взаимодействовать с окружающей средой безопасным игибким образом, что имеет первостепенное значение в авиации. Исследования показали, что движения глаз и поведение взгляда позволяют получить представление о перцептивных, когнитивных и моторных процессах, лежащих в основе различных задач 1,2,3. Более того, то, куда мы смотрим, оказывает непосредственное влияние на планирование и выполнение движений верхних конечностей3. Таким образом, анализ поведения взгляда во время выполнения авиационных задач является объективным и неинвазивным методом, который может выявить, как паттерны движения глаз связаны с различными аспектами обработки информации и производительности.

Несколько исследований продемонстрировали связь между взглядом и выполнением задач в различных лабораторных парадигмах, а также в сложных реальных задачах (например, управление самолетом). Например, области, относящиеся к задаче, имеют тенденцию фиксироваться чаще и в течение более длительной общей продолжительности, что позволяет предположить, что место фиксации, частота и время пребывания являются прокси для распределения внимания в нейрокогнитивных и авиационных задачах 4,5,6. Высокоуспешные исполнители и эксперты демонстрируют значительные смещения фиксации в сторону критически важных областей по сравнению с менее успешными исполнителями или новичками 4,7,8. Пространственно-временные аспекты взгляда фиксируются через изменения в моделях времени пребывания в различных областях интереса (AOI) или мерах распределения фиксации (т.е. энтропия стационарного взгляда: SGE). В контексте лабораторных парадигм средняя продолжительность фиксации, длина траектории сканирования и сложность последовательности взгляда (т.е. энтропия перехода взгляда: GTE) имеют тенденцию к увеличению из-за увеличения сканирования и обработки, необходимых для решения проблем и разработки более сложных задач.

И наоборот, авиационные исследования показали, что длина траектории сканирования и сложность последовательности взгляда уменьшаются с усложнением задачи и когнитивной нагрузкой. Это расхождение подчеркивает тот факт, что понимание компонентов задачи и требований используемой парадигмы имеет решающее значение для точной интерпретации метрик взгляда. В целом, проведенные на сегодняшний день исследования подтверждают, что измерения взгляда обеспечивают значимое, объективное понимание обработки информации, специфичной для конкретной задачи, которая лежит в основе различий в сложности задач, когнитивной нагрузке и выполнении задач. С развитием технологий отслеживания взгляда (т.е. портативностью, калибровкой и стоимостью), изучение поведения взгляда в «дикой природе» является новой областью исследований с ощутимым применением для продвижения профессиональной подготовки в области медицины 9,10,11 и авиации 12,13,14.

Текущая работа направлена на дальнейшее изучение полезности использования метрик, основанных на взгляде, для получения представления об обработке информации путем использования носимого айтрекера во время задачи по моделированию аварийного полета у пилотов с малым рабочим временем. Это исследование является продолжением предыдущей работы, в которой использовался стабилизированный по голове айтрекер (т.е. EyeLink II) для изучения различий в показателях поведения взгляда в зависимости от сложности полета (т.е. изменений погодных условий)5. Работа, представленная в данной рукописи, также является продолжением другой работы, в которой описываются методологические и аналитические подходы к использованию отслеживания движения глаз в системе виртуальной реальности15. В нашем исследовании использовался неподвижный симулятор с более высокой точностью, и в нашем исследовании был проведен дополнительный анализ данных о движении глаз (т.е. энтропии). Об этом типе анализа сообщалось в предыдущих работах; Тем не менее, ограничением в текущей литературе является отсутствие стандартизации в отчетности по аналитическим шагам. Например, отчетность о том, как определяются области интереса, имеет решающее значение, поскольку она напрямую влияет на результирующие значения энтропии16.

Подводя итог, можно сказать, что в данной работе рассматривались традиционные и динамические метрики поведения взгляда, в то время как сложность задачи манипулировалась путем введения сценария чрезвычайной ситуации в полете (т.е. неожиданного полного отказа двигателя). Ожидалось, что введение сценария чрезвычайной ситуации в полете позволит получить представление об изменениях в поведении взгляда, лежащих в основе обработки информации в более сложных условиях задачи. Исследование, представленное здесь, является частью более крупного исследования, изучающего полезность отслеживания взгляда в авиасимуляторе для обучения пилотов на основе компетенций. Представленные здесь результаты ранее не публиковались.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Протокол

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Следующий протокол может быть применен к исследованиям с использованием носимого айтрекера и авиасимулятора. Настоящее исследование включает в себя данные отслеживания движения глаз, записанные вместе со сложными задачами, связанными с авиацией, в авиасимуляторе (см. Таблицу материалов). Тренажер был сконфигурирован так, чтобы быть типичным для Cessna 172, и использовался с необходимой приборной панелью (конфигурация пародатчика), системой авионики/GPS, панелью аудио/освещения, панелью выключателя и блоком управления полетом (FCU) (см. Рисунок 1). Устройство-симулятор полета, использованное в этом исследовании, сертифицировано для учебных целей и используется местной летной школой для отработки навыков, необходимых для реагирования на различные чрезвычайные ситуации, такие как отказ двигателя, в условиях низкого риска. Все участники этого исследования имели лицензию; Таким образом, они испытали сценарий симулятора отказа двигателя ранее в ходе обучения. Это исследование было одобрено Управлением исследовательской этики Университета Ватерлоо (43564; Дата: 17 ноября 2021 г.). Все участники (N = 24; 14 мужчин, 10 женщин; средний возраст = 22 года; диапазон летных часов: 51-280 часов) дали письменное информированное согласие.

figure-protocol-1
Рисунок 1: Среда авиасимулятора. Иллюстрация среды авиасимулятора. Точка зрения участника на кабину пилота повторяла точку зрения пилота, управляющего самолетом Cessna 172, предварительно настроенным на заход на посадку по ветру до базы и до конечного захода на посадку в международный аэропорт Ватерлоо, Бреслау, Онтарио, Калифорния. Оранжевые прямоугольники представляют десять основных областей интереса, используемых в анализе взгляда. К ним относятся (1) воздушная скорость, (2) ориентация, (3) высотомер, (4) координатор поворота, (5) курс, (6) вертикальная скорость и (7) индикаторы мощности, а также (8) переднее, (9) левое и (10) правое окна. Эта цифра была изменена по Ayala et al.5. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

1. Отбор участников и информированное согласие

  1. Проведите скрининг участника с помощью анкеты самоотчета на основе критериев включения/исключения 2,5: наличие как минимум лицензии частного пилота (PPL), нормальное или скорректированное до нормального зрение и отсутствие ранее диагностированного нейропсихиатрического/неврологического расстройства или неспособности к обучению.
  2. Проинформируйте участника о целях и процедурах исследования с помощью подробного инструктажа, проводимого экспериментатором и наблюдающим за полетом инструктором/техником тренажера. Ознакомьтесь с рисками, изложенными в документе о согласии, утвержденном Советом по этике учреждения. Ответьте на любые вопросы о потенциальных рисках. Получите письменное информированное согласие перед началом любых процедур исследования.

2. Требования к аппаратному/программному обеспечению и ввод в эксплуатацию

  1. Авиационный симулятор (обычно выполняется техником тренажера)
    1. Включите экраны симулятора и проектора. Если один из проекторов не включается одновременно с другими, перезапустите симулятор.
    2. На экране инструкций нажмите вкладку « Пресеты » и убедитесь, что доступны необходимые предустановки «Положение » и/или «Погода ». При необходимости создайте новый тип пресета; Обратитесь за помощью к техническому специалисту.
  2. Коллекция ноутбуков
    1. Поверните ноутбук и войдите в систему с учетными данными.
    2. При появлении запроса выберите уже существующий профиль или создайте его при тестировании нового участника. Вы также можете выбрать параметр «Гостевая », чтобы перезаписать его последнюю калибровку.
      1. Чтобы создать новый профиль, прокрутите список профилей до конца и нажмите кнопку Добавить.
    3. Установите идентификатор профиля на идентификатор участника. Этот идентификатор профиля будет использоваться для маркировки папки, в которой хранятся данные отслеживания движения глаз после завершения записи.
  3. Калибровка очков
    ПРИМЕЧАНИЕ: Для записи очки должны оставаться подключенными к ноутбуку. Калибровка с помощью коробки должна быть завершена только один раз в начале сбора данных.
    1. Откройте чехол для айтрекера и достаньте очки.
    2. Подключите кабель USB-micro-USB от ноутбука к очкам. Если на ноутбуке появится запрос, обновите прошивку.
    3. Найдите черную калибровочную коробку внутри чехла для отслеживания взгляда.
    4. На ноутбуке для сбора данных в центре отслеживания движения глаз выберите Инструменты | Калибровка устройства.
    5. Поместите очки внутрь коробки и нажмите кнопку «Пуск » во всплывающем окне, чтобы начать калибровку.
    6. После завершения калибровки извлеките очки из коробки.
  4. Посадка револьвера
    1. Выберите наконечник.
    2. Попросите участника сесть в кабину и наденьте очки.
    3. В центре отслеживания движения глаз перейдите в раздел Файл | Настройки | Мастер носа.
    4. Проверьте посадку очков в левой части экрана. Если посадка отличная, переходите к следующему шагу. В противном случае нажмите на поле.
    5. Скажите участнику, чтобы он следовал инструкциям с рекомендациями по посадке, показанным на экране: установите рекупер, отрегулируйте очки, чтобы удобно сидеть, и смотрите прямо перед собой на ноутбук.
    6. При необходимости замените револьвер. Зажмите наконечник посередине, выдвиньте его из очков, а затем вставьте еще один. Продолжайте тестировать различные наконечники до тех пор, пока не будет определен тот, который подходит участнику лучше всего.
  5. Вызовы в авиадиспетчерскую службу (УВД)
    ПРИМЕЧАНИЕ: Если для исследования требуются звонки УВД, попросите участника принести свою собственную гарнитуру или использовать лабораторную гарнитуру. Завершайте калибровку глазного яблока только после того, как участник наденет гарнитуру, так как гарнитура может перемещать очки на голове, что влияет на точность калибровки.
    1. Убедитесь, что гарнитура подключена к разъему на левой нижней стороне панели приборов.
    2. Попросите участника надеть гарнитуру. Попросите их не прикасаться к нему и не снимать его до тех пор, пока запись не будет завершена.
      ПРИМЕЧАНИЕ: Повторная калибровка требуется каждый раз при перемещении гарнитуры (и, следовательно, очков).
    3. Проведите проверку по радиосвязи.
  6. Калибровка глазного яблока
    ПРИМЕЧАНИЕ: Всякий раз, когда участник надевает очки на голову, он должен повторить калибровку глазного яблока. Попросите участника не прикасаться к очкам, пока не закончатся испытания.
    1. В Центре отслеживания движения глаз перейдите к полю параметров в левой части экрана.
      1. Проверьте режим калибровки и выберите неподвижный взгляд или неподвижную голову соответственно.
      2. Убедитесь, что точки калибровки представляют собой сетку 5 x 5, всего 25 точек.
      3. Проверьте режим валидации и убедитесь, что он совпадает с режимом калибровки.
      4. Изучите результаты отслеживания движения глаз и убедитесь, что все, что необходимо записать для исследования, отмечено с помощью галочек.
    2. Нажмите File | Настройки | Advanced и убедитесь, что частота дискретизации составляет 250 Гц.
    3. Установите флажок Калибровка отслеживания движения глаз на экране с помощью мыши. Инструкции по калибровке зависят от режима. Чтобы следить за текущим исследованием, используйте режим калибровки фиксированного взгляда : попросите участников повернуть голову так, чтобы коробка перекрывалась с черным квадратом и они выровнялись. Затем попросите участника сфокусировать свой взгляд на перекрестии в черном квадрате и нажмите пробел.
    4. Нажмите на поле Подтвердить настройку . Инструкция будет такой же, как и в шаге 2.6.3. Убедитесь, что проверочный показатель MAE (средняя абсолютная погрешность) составляет <1°. Если нет, то повторите шаги 2.6.3 и 2.6.4.
    5. Нажмите кнопку «Сохранить калибровку», чтобы сохранять калибровку в профиле каждый раз после завершения калибровки и проверки.
  7. Использование iPad
    ПРИМЕЧАНИЕ: iPad расположен слева от панели приборов (см. Рисунок 1). Он используется для анкетирования, как правило, после полета.
    1. Включите iPad и убедитесь, что он подключен к Интернету.
    2. Откройте окно в Safari и введите ссылку на анкету для исследования.

3. Сбор данных

ПРИМЕЧАНИЕ: Повторяйте эти шаги для каждой пробной версии. Рекомендуется разместить ноутбук на скамейке за пределами кокпита.

  1. На компьютере авиасимулятора на экране инструкций нажмите «Предустановки», а затем выберите нужную предустановку положения для моделирования. Нажмите кнопку «Применить » и понаблюдайте за экранами вокруг симулятора, чтобы убедиться, что изменение произошло.
  2. Повторите шаг 3.1, чтобы применить пресет «Погода ».
  3. Дайте участнику какие-либо конкретные инструкции относительно испытания или траектории полета. Это включает в себя указание им изменить любые настройки на приборной панели перед началом работы.
  4. На экране инструкций нажмите оранжевую кнопку STOP, чтобы начать сбор данных. Цвет изменится на зеленый, а на тексте будет написано ЛЕТЯЩИЙ. Обязательно дайте устный сигнал участнику, чтобы он знал, что может начать управлять самолетом. Рекомендуемый сигнал - "3, 2, 1, у вас есть управление" при нажатии оранжевой кнопки стоп .
  5. На ноутбуке для сбора данных нажмите «Начать запись », чтобы данные айтрекера синхронизировались с данными симулятора полета.
  6. Когда участник завершит свой круг и приземлится, подождите, пока самолет прекратит движение.
    ПРИМЕЧАНИЕ: Важно подождать, потому что во время постобработки; Данные усекаются, когда скорость движения устанавливается на уровне 0. Это обеспечивает согласованность конечной точки всех испытаний.
  7. На экране инструкции нажмите зеленую кнопку FLYING . Цвет вернется к оранжевому, а в тексте будет написано ОСТАНОВЛЕНО. Подайте словесный сигнал на этом этапе, когда сбор данных подходит к концу. Рекомендуемый кий – «3, 2, 1, стоп».
  8. Проинструктируйте участника заполнить анкету (анкеты) после судебного разбирательства на iPad. Обновите страницу, чтобы получить следующую пробную версию.
    ПРИМЕЧАНИЕ: В настоящем исследовании в качестве единственного опросника после испытания использовался опросник для оценки ситуации Situation Awareness Rating Technique (SART).

4. Обработка и анализ данных

  1. Данные авиасимулятора
    ПРИМЕЧАНИЕ: Файл .csv, скопированный с авиасимулятора, содержит более 1000 параметров, которыми можно управлять в симуляторе. Основные показатели эффективности, представляющие интерес, перечислены и описаны в таблице 1.
    1. Для каждого участника рассчитайте коэффициент успешности с помощью уравнения (1), взяв процент по условиям задачи. Неудачные испытания идентифицируются по заранее определенным критериям, запрограммированным в симуляторе, который автоматически прекращает испытание при приземлении из-за ориентации плоскости и вертикальной скорости. Проведите послеиспытательную проверку, чтобы убедиться, что этот критерий соответствует фактическим ограничениям самолета (т.е. повреждение/авария шасси Cessna 172 очевидна при вертикальных скоростях > 700 футов/мин [футов в минуту] при приземлении).
      Вероятность успеха = figure-protocol-2 (1)
      ПРИМЕЧАНИЕ: Более низкие значения коэффициента успеха указывают на худшие результаты, поскольку они связаны с уменьшением числа успешных попыток приземления.
    2. Для каждого испытания рассчитывайте время завершения на основе временной метки, которая указывает на то, что самолет остановился на взлетно-посадочной полосе (т. е. GroundSpeed = 0 узлов).
      ПРИМЕЧАНИЕ: Более короткое время выполнения не всегда может означать более высокую производительность. Необходимо проявлять осторожность, чтобы понять, как условия задачи (т. е. дополнительные ветры, аварийные сценарии и т. д.) могут повлиять на время выполнения.
    3. Для каждого испытания определяйте посадочную жесткость на основе вертикальной скорости самолета (fpm) в момент первоначального приземления самолета на взлетно-посадочную полосу. Убедитесь, что это значение принимается в той же метке времени, связанной с первым изменением статуса AircraftOnGround с 0 (в воздухе) на 1 (на земле).
      ПРИМЕЧАНИЕ: Значения в диапазоне от -700 футов в минуту до 0 футов в минуту считаются безопасными, а значения ближе к 0 представляют более мягкие посадки (т.е. лучшие). Отрицательные значения представляют вертикальную скорость вниз; Положительные значения представляют вертикальную скорость вверх.
    4. Для каждого испытания рассчитайте ошибку приземления (°) на основе разницы между координатами приземления и опорной точкой на взлетно-посадочной полосе (центр отметки 500 футов). Используя точку отсчета, рассчитайте ошибку посадки с помощью уравнения (2).
      Разница = √((Δ Широта)2 + (Δ Долгота)2) (2)
      ПРИМЕЧАНИЕ: Значения ниже 1° показаны как нормальные 5,15. Большие значения указывают на большую ошибку посадки, связанную с точками приземления самолета, которые находятся дальше от зоны посадки.
    5. Рассчитайте средние значения по всем участникам для каждой переменной результата производительности для каждого условия задачи. Сообщите об этих значениях.
  2. Данные о ситуационной осведомленности
    1. Для каждого испытания рассчитайте балл SA на основе баллов SART, о которых сообщили сами по 10 параметрам SA17.
      1. Используйте опросник SART17 для определения субъективных ответов участников относительно общей сложности задания, а также их впечатления о том, сколько ресурсов внимания они имели и тратили во время выполнения задания.
      2. Используя 7-балльную шкалу Лайкерта, попросите участников оценить свой воспринимаемый опыт по наводящим вопросам, включая сложность ситуации, распределение внимания, запасные умственные способности, а также количество и качество информации.
      3. Объедините эти шкалы в более крупные измерения потребности во внимании (Demand), предложения внимания (Supply) и понимания ситуации (Understanding).
      4. Используйте эти рейтинги для вычисления меры SA на основе уравнения (3):
        SA = Понимание - (Спрос-Предложение) (3)
        ПРИМЕЧАНИЕ: Более высокие баллы по шкалам в сочетании с мерой понимания предполагают, что участник хорошо понимает поставленную задачу. Аналогичным образом, высокие баллы в области предложения предполагают, что у участника есть значительное количество ресурсов внимания, которые он может посвятить данной задаче. Напротив, высокий показатель спроса предполагает, что для выполнения задачи требуется значительное количество ресурсов внимания. Важно уточнить, что эти оценки лучше всего интерпретировать при сравнении между различными условиями (т.е. легкими и сложными условиями), а не использовать их в качестве отдельных показателей.
    2. После завершения сбора данных рассчитайте средние значения по всем участникам для каждого условия задачи (т. е. базового, аварийного). Сообщите об этих значениях.
  3. Данные отслеживания движения глаз
    1. Используйте пакетный скрипт отслеживания взгляда для ручного определения AOI для использования в картографировании взгляда. Скрипт откроет новое окно для выбора ключевого кадра, в котором должны быть четко отображены все ключевые АОИ, которые будут анализироваться. Прокрутите видео и выберите кадр, на котором четко видны все АОИ.
    2. Следуя инструкциям на экране, нарисуйте прямоугольник над областью кадра, которая будет видна на протяжении всего видео, уникальна и останется стабильной.
      ПРИМЕЧАНИЕ: Целью этого шага является создание «экранного» координатного кадра, который может быть использован во время видеозаписи, поскольку движения головы приводят к изменению местоположения объектов в окружающей среде в ходе видеозаписи.
    3. Нарисуйте прямоугольник для каждой АОИ на рисунке, по одному. Назовите их соответственно. Нажмите Добавить еще , чтобы добавить новую АОИ, и нажмите Готово на последнем из них. Если координаты взгляда во время данной фиксации попадают в пространство объекта, как определено в системе координат «на экране», пометьте эту фиксацию соответствующей меткой AOI.
      ПРИМЕЧАНИЕ: Целью этого шага является создание библиотеки координат объекта, которые затем используются в качестве ссылок при сравнении координат взгляда с координатами на экране.
      Обычно существует 10 АОИ, но это зависит от того, как настроен авиасимулятор. Панель приборов может отличаться. В соответствии с предыдущими работами 5,18, в настоящем исследовании используются следующие АОИ: Воздушная скорость, Ориентация, Высотомер, Координатор поворота, Курс, Вертикальная скорость, Мощность, Переднее окно, Левое окно и Правое окно (см. Рисунок 1).
    4. Пусть скрипт начнет обработку АОИ и сгенерирует данные фиксации. Он генерирует сюжет, показывающий саккады и фиксации на видео.
    5. Будут созданы два новых файла: fixations.csv и aoi_parameters.yaml. Пакетный процессор завершит постобработку данных взгляда для каждого испытания и каждого участника.
      ПРИМЕЧАНИЕ: Основные интересующие нас меры отслеживания движения глаз перечислены в таблице 2 и рассчитаны для каждого АОИ для каждого исследования.
    6. Для каждого испытания рассчитайте традиционные метрики взгляда 4,5 для каждого AOI на основе данных, сгенерированных в файле fixation.csv.
      ПРИМЕЧАНИЕ: Здесь мы сосредоточимся на времени задержки (%), которое рассчитывается путем деления суммы фиксаций для конкретной АОИ на сумму всех фиксаций и умножения частного на 100, чтобы получить процент времени, проведенного в конкретной АОИ. Не существует внутренней отрицательной/положительной интерпретации, вытекающей из рассчитанного времени задержки. Они дают представление о том, на что в первую очередь распределяется внимание. Более длительная средняя продолжительность фиксации свидетельствует о повышенных требованиях к обработке.
    7. Для каждой попытки рассчитайте частоту мигания с помощью уравнения (4):
      Частота мигания = Общее мигание/время завершения (4)
      ПРИМЕЧАНИЕ: Предыдущая работа показала, что частота моргания обратно пропорциональна когнитивной нагрузке 2,6,13,19,20.
    8. Для каждого испытания рассчитайте SGE с помощью уравнения (5)21:
      figure-protocol-3(5)
      Где v — вероятность просмотраi-й АОИ, а V — количество АОИ.
      Примечание: Более высокие значения SGE связаны с большей дисперсией фиксации, в то время как более низкие значения указывают на более локализированное распределение фиксаций22.
    9. Для каждой попытки рассчитайте GTE с помощью уравнения (6)23:
      figure-protocol-4(6)
      Где V — вероятность увидетьi-ю АОИ, а M — вероятность увидетьj-ю АОИ при предыдущем наблюденииi-й АОИ.
      ПРИМЕЧАНИЕ: Более высокие значения GTE связаны с более непредсказуемыми, сложными траекториями визуального сканирования, в то время как более низкие значения GTE указывают на более предсказуемые, рутинные траектории визуального сканирования.
    10. Рассчитайте средние значения по всем участникам для каждой выходной переменной отслеживания движения глаз (и AOI, если указано) и каждого условия задачи. Сообщите об этих значениях.
СрокОпределение
Успех (%)Процент успешных посадочных испытаний
Время выполнения(ов)Продолжительность времени от начала сценария посадки до полной остановки самолета на взлетно-посадочной полосе
Твердость при посадке (fpm)Приличный показатель в точке приземления
Ошибка при посадке (°)Разница между центром самолета и центром маркера взлетно-посадочной полосы длиной 500 футов в точке приземления

Таблица 1: Переменные результатов работы симулятора. Переменные, зависящие от летно-технических характеристик самолета, и их определения.

figure-protocol-5
Рисунок 2: Траектория полета по сценарию посадки. Схема (А) контура посадки, пройденного во всех испытаниях, и (В) взлетно-посадочной полосы с отметками 500 футов, которые использовались в качестве ориентира для зоны посадки (т.е. центральный оранжевый круг). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-protocol-6
Рисунок 3: Картографирование области интереса. Иллюстрация пакетного скрипта, демонстрирующая окно для выбора кадра. Выбор оптимального кадра включает в себя выбор видеокадра, который включает в себя большинство или все области интереса для картографирования. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-protocol-7
Рисунок 4: Генерация картографирования области интереса «на экране» координат. Иллюстрация пакетного скрипта, демонстрирующая окно для выбора координат «на экране». Этот шаг включает в себя выбор квадратной/прямоугольной области, которая остается видимой на протяжении всей записи, уникальна для изображения и остается статичной. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-protocol-8
Рисунок 5: Определение области интереса для картографирования. Иллюстрация окна пакетного скрипта, в котором можно выбрать и пометить области интереса. Аббревиатура: AOI = области интересов. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-protocol-9
Рисунок 6: Пакетная обработка скриптов. Иллюстрация пакетного сценария, обработка видео и карта взгляда, фиксации, сделанные на протяжении всего судебного разбирательства. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

СрокОпределение
Время выдержки (%)Процент от суммы всех длительностей фиксации, накопленных по одному АОИ, по отношению к сумме длительностей фиксации, накопленных по всем АОИ
Средняя продолжительность фиксации (мс)Средняя продолжительность фиксации над одной АОИ от входа до выхода
Частота моргания (моргание/с)Количество миганий в секунду
SGE (биты)Дисперсия фиксации
ГТД (биты)Сложность последовательности сканирования
Количество боевКоличество событий когнитивного туннелирования (>10 с)
Общее время боя (с)Общее время событий когнитивного туннелирования

Таблица 2: Переменные результата отслеживания взгляда. Посмотрите на переменные, зависящие от поведения, и их определения.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Результаты

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Влияние требований к задачам на летно-технические характеристики
Данные были проанализированы на основе успешных посадочных испытаний в базовых и аварийных условиях. Все меры были подвергнуты t-критерию парных выборок (внутрисубъектный фактор: условие задачи (базовое, аварийное)). Все t-тесты проводились с альфа-уровнем, установленным на уровне 0,05. Четыре участника разбились во время испытания сценария чрезвычайной ситуации и не были включены в основной анализ, поскольку скудные да...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Обсуждение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Описанный здесь метод отслеживания движения глаз позволяет оценивать обработку информации в среде симулятора полета с помощью носимого трекера для глаз. Оценка пространственных и временных характеристик поведения взгляда дает представление об обработке информации человеком, которая была широко изучена с использованием высококонтролируемых лабораторных парадигм 4,7,28. Использование последних дос...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Раскрытие информации

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Никаких конкурирующих финансовых интересов не существует.

Благодарности

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Эта работа частично поддерживается Канадской стипендией для выпускников (CGS) от Совета по естественным наукам и инженерным исследованиям (NSERC) Канады и грантом на исследования (00753) от Фонда «Новые рубежи в исследованиях». Любые мнения, выводы, выводы или рекомендации, выраженные в этом материале, принадлежат автору (авторам) и не обязательно отражают точку зрения спонсоров.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
авиасимуляторALSIMAL-250фиксированный полностью иммерсивный симулятор полета обучающее устройство
ноутбукHpLenovoEye tracking сбор данных ноутбука; требования: Windows 10 и python 3.0
портативный айтрекерAdHawk Очки для слежения за движением глаз MindLink (250 Гц, < 2° ошибка взгляда, фронтальная камера); Пакетный скрипт отслеживания движения глаз стал доступен при покупке устройства AdHawk

Ссылки

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. de Brouwer, A. J., Flanagan, J. R., Spering, M. Functional use of eye movements for an acting system. Trends Cogn Sci. 25 (3), 252-263 (2021).
  2. Ayala, N., Kearns, S., Cao, S., Irving, E., Niechwiej-Szwedo, E. Investigating the role of flight phase and task difficulty on low-time pilot performance, gaze dynamics and subjective situation awareness during simulated flight. J Eye Mov Res. 17 (1), (2024).
  3. Land, M. F., Hayhoe, M. In what ways do eye movements contribute to everyday activities. Vision Res. 41 (25-26), 3559-3565 (2001).
  4. Ayala, N., Zafar, A., Niechwiej-Szwedo, E. Gaze behavior: a window into distinct cognitive processes revealed by the Tower of London test. Vision Res. 199, 108072(2022).
  5. Ayala, N. The effects of task difficulty on gaze behavior during landing with visual flight rules in low-time pilots. J Eye Mov Res. 16, 10(2023).
  6. Glaholt, M. G. Eye tracking in the cockpit: a review of the relationships between eye movements and the aviators cognitive state. , (2014).
  7. Hodgson, T. L., Bajwa, A., Owen, A. M., Kennard, C. The strategic control of gaze direction in the Tower-of-London task. J Cognitive Neurosci. 12 (5), 894-907 (2000).
  8. van De Merwe, K., Van Dijk, H., Zon, R. Eye movements as an indicator of situation awareness in a flight simulator experiment. Int J Aviat Psychol. 22 (1), 78-95 (2012).
  9. Kok, E. M., Jarodzka, H. Before your very eyes: The value and limitations of eye tracking in medical education. Med Educ. 51 (1), 114-122 (2017).
  10. Di Stasi, L. L., et al. Gaze entropy reflects surgical task load. Surg Endosc. 30, 5034-5043 (2016).
  11. Laubrock, J., Krutz, A., Nübel, J., Spethmann, S. Gaze patterns reflect and predict expertise in dynamic echocardiographic imaging. J Med Imag. 10 (S1), S11906-S11906 (2023).
  12. Brams, S., et al. Does effective gaze behavior lead to enhanced performance in a complex error-detection cockpit task. PloS One. 13 (11), e0207439(2018).
  13. Peißl, S., Wickens, C. D., Baruah, R. Eye-tracking measures in aviation: A selective literature review. Int J Aero Psych. 28 (3-4), 98-112 (2018).
  14. Ziv, G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. Int J Aviat Psychol. 26 (3-4), 75-104 (2016).
  15. Ke, L., et al. Evaluating flight performance and eye movement patterns using virtual reality flight simulator. J. Vis. Exp. (195), e65170(2023).
  16. Krejtz, K., et al. Gaze transition entropy. ACM Transactions on Applied Perception. 13 (1), 1-20 (2015).
  17. Taylor, R. M., Selcon, S. J. Cognitive quality and situational awareness with advanced aircraft attitude displays. Proceedings of the Human Factors Society Annual Meeting. 34 (1), 26-30 (1990).
  18. Ayala, N., et al. Does fiducial marker visibility impact task performance and information processing in novice and low-time pilots. Computers & Graphics. 199, 103889(2024).
  19. Recarte, M. Á, Pérez, E., Conchillo, Á, Nunes, L. M. Mental workload and visual impairment: Differences between pupil, blink, and subjective rating. Spanish J Psych. 11 (2), 374-385 (2008).
  20. Zheng, B., et al. Workload assessment of surgeons: correlation between NASA TLX and blinks. Surg Endosc. 26, 2746-2750 (2012).
  21. Shannon, C. E. A mathematical theory of communication. The Bell System Technical Journal. 27 (3), 379-423 (1948).
  22. Shiferaw, B., Downey, L., Crewther, D. A review of gaze entropy as a measure of visual scanning efficiency. Neurosci Biobehav R. 96, 353-366 (2019).
  23. Ciuperca, G., Girardin, V. Estimation of the entropy rate of a countable Markov chain. Commun Stat-Theory and Methods. 36 (14), 2543-2557 (2007).
  24. Federal aviation administration. Airplane flying handbook. , Federal Aviation Administration. Washington, DC. FAA-H-8083-3C (2021).
  25. Brown, D. L., Vitense, H. S., Wetzel, P. A., Anderson, G. M. Instrument scan strategies of F-117A Pilots. Aviat, Space, Envir Med. 73 (10), 1007-1013 (2002).
  26. Lu, T., Lou, Z., Shao, F., Li, Y., You, X. Attention and entropy in simulated flight with varying cognitive loads. Aerosp Medicine Hum Perf. 91 (6), 489-495 (2020).
  27. "Automation surprise" in aviation: Real-time solutions. Dehais, F., Peysakhovich, V., Scannella, S., Fongue, J., Gateau, T. Proceedings of the 33rd Annual ACM conference on Human Factors in Computing Systems, , 2525-2534 (2015).
  28. Kowler, E. Eye movements: The past 25 years. J Vis Res. 51 (13), 1457-1483 (2011).
  29. Zafar, A., et al. Investigation of camera-free eye-tracking glasses compared to a video-based system. Sensors. 23 (18), 7753(2023).
  30. Leube, A., Rifai, K. Sampling rate influences saccade detection in mobile eye tracking of a reading task. J Eye Mov Res. 10 (3), (2017).
  31. Diaz-Piedra, C., et al. The effects of flight complexity on gaze entropy: An experimental study with fighter pilots. Appl Ergon. 77, 92-99 (2019).
  32. Shiferaw, B. A., et al. Stationary gaze entropy predicts lane departure events in sleep-deprived drivers. Sci Rep. 8 (1), 1-10 (2018).
  33. Parker, A. J., Kirkby, J. A., Slattery, T. J. Undersweep fixations during reading in adults and children. J Exp Child Psychol. 192, 104788(2020).
  34. Ayala, N., Kearns, S., Irving, E., Cao, S., Niechwiej-Szwedo, E. The effects of a dual task on gaze behavior examined during a simulated flight in low-time pilots. Front Psychol. 15, 1439401(2024).
  35. Ayala, N., Heath, M. Executive dysfunction after a sport-related concussion is independent of task-based symptom burden. J Neurotraum. 37 (23), 2558-2568 (2020).
  36. Huddy, V. C., et al. Gaze strategies during planning in first-episode psychosis. J Abnorm Psychol. 116 (3), 589(2007).
  37. Irving, E. L., Steinbach, M. J., Lillakas, L., Babu, R. J., Hutchings, N. Horizontal saccade dynamics across the human life span. Invest Opth Vis Sci. 47 (6), 2478-2484 (2006).
  38. Yep, R., et al. Interleaved pro/anti-saccade behavior across the lifespan. Front Aging Neurosci. 14, 842549(2022).
  39. Manoel, E. D. J., Connolly, K. J. Variability and the development of skilled actions. Int J Psychophys. 19 (2), 129-147 (1995).

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Перепечатки и разрешения

Запросить разрешение на повторное использование текста или иллюстраций этой статьи JoVE

Запросить разрешение

Теги

Aviation TrainingSituation AwarenessGaze MappingFlight SimulatorCognitive LoadAttention AllocationWearable Eye TrackerGaze BehaviorEmergency Task

Похожие статьи