Методическая статья

Оценка летных характеристик и движений глаз с помощью авиасимулятора виртуальной реальности

2K просмотров

⸱

DOI:

10.3791/65170

⸱

19 мая 2023 г.

 ,  ,  ,  ,  ,  ,  , 
1Psychology Department, School of Social Sciences, Tsinghua University, 2Faculty of Psychology, Beijing Normal University, 3National Key Laboratory of Human Factors Engineering, the China Astronaut Research and Training Center, 4Department of Military Medical Psychology, Air Force Medical University

В этой статье

Краткое содержание

Был создан новый авиасимулятор виртуальной реальности, который позволяет эффективно и недорого оценивать летные характеристики и паттерны движений глаз. Он также предоставляет высокопотенциальный исследовательский инструмент для эргономики и других исследований.

Аннотация

Эффективная и экономичная оценка эффективности пилотов стала критически важной для авиационной отрасли. С развитием виртуальной реальности (VR) и сочетанием технологии отслеживания движения глаз решения для удовлетворения этих потребностей становятся реальностью. В предыдущих исследованиях изучались авиасимуляторы на основе виртуальной реальности, уделяя основное внимание проверке технологий и обучению полетам. В текущем исследовании был разработан новый VR-симулятор полета для оценки летных характеристик пилотов на основе движения глаз и показателей полета в 3D-иммерсивной сцене. В ходе эксперимента было набрано 46 участников: 23 профессиональных пилота и 23 студента колледжа без опыта полетов. Результаты эксперимента показали существенные различия в летных характеристиках между участниками с опытом полетов и без него, причем первые были выше, чем вторые. Напротив, те, у кого был опыт полетов, показали более структурированные и эффективные модели движений глаз. Данные результаты дифференциации летно-технических характеристик демонстрируют валидность современного VR-тренажера полета в качестве метода оценки летно-технических характеристик. Различные модели движения глаз в зависимости от опыта полета служат основой для выбора полета в будущем. Тем не менее, этот авиасимулятор на основе виртуальной реальности имеет такие недостатки, как обратная связь по движению по сравнению с традиционными авиасимуляторами. Эта платформа авиасимулятора отличается высокой гибкостью, за исключением очевидной низкой стоимости. Он может удовлетворить различные потребности исследователей (например, измерять осведомленность о ситуации, болезнь виртуальной реальности и рабочую нагрузку путем добавления соответствующих шкал).

Введение

Европейское агентство по авиационной безопасности (2012 г.) классифицирует авиационные тренажеры как учебные центры, тренажеры летных и навигационных программ, летное учебное оборудование и полные авиационные тренажеры1. На сегодняшний день для обучения доступен целый ряд авиационных тренажеров, от низкоуровневых настольных систем до очень сложных полнопилотажных тренажеровна основе движения2. Традиционный симулятор включает в себя модель динамики полета, симуляцию системы, аппаратную кабину, внешнюю визуализацию и опциональную симуляцию движения3.

Эти традиционные авиационные тренажеры имеют некоторые преимущества в качестве эффективного оборудования для летной подготовки. Однако их стоимость высока и экологически небезопасна, так как привод каждой системы требует существенной электрической энергии, особенно для полноценного тренажера, который требует высокой температуры и высокого давления жидкости или давления воздуха, потребляет много энергии и генерируетмного шума4.

Тем не менее, простая настольная система симулятора является гибкой и недорогой, с меньшим погружением и меньшим количеством взаимодействий, чем полнопилотажный симулятор2. Поэтому крайне важно разрабатывать новые авиасимуляторы, сочетающие в себе преимущества настольных систем и полнопилотажных тренажеров (иными словами, гибкость настольного симулятора и уровень погружения и взаимодействия, близкий к полнопилотажному симулятору).

С развитием компьютерных технологий, особенно технологии виртуальной реальности (VR), новый тип авиасимулятора, основанный на новой технологии VR, становится реальностью. Авиасимулятор на основе виртуальной реальности является гибким, портативным, недорогим и требует меньше места, чем обычные авиасимуляторы5. За последние 20 лет исследователи создали авиасимуляторы на основе технологии VR 6,7,8,9,10,11; однако эти VR-симуляторы полетов в основном предназначены для летной подготовки, и их мало для отбора пилотов. Тем не менее, со снижением стоимости и совершенствованием технологий, симуляторы на основе виртуальной реальности меняются и становятся возможными для индивидуального выбора. В некоторых исследованиях использовались симуляторы на основе виртуальной реальности для персонального отбора в различных областях: Schijven et al.12 отбирали хирургов-стажеров с помощью симулятора виртуальной реальности. Huang et al.13 разработали психологический инструмент отбора на основе технологии виртуальной реальности для набора пилотов ВВС. Войцеховский и Войтович14 оценивали возможности кандидата в качестве пилота беспилотного летательного аппарата (БПЛА) на основе технологии виртуальной реальности. Учитывая, что отбор пилотов имеет решающее значение для авиационной отрасли, необходимо разработать новый авиасимулятор на основе виртуальной реальности, ориентированный на выбор пилотов, поскольку широкомасштабный отбор пилотов зависит от стоимости тренажера и требований к портативной системе тренажера.

Движения глаз служат сигналами для пилота. Различные исследования показали, что режим сканирования глаз различает производительность между опытными и начинающими пилотами. Сравнивая схему сканирования у экспертов и новичков, можно дифференцировать эффективное и структурное поведение глаз экспертов и неадекватные методы сканирования у новичков. Несколько авиационных исследований показали, что стратегия сканирования глаз пилотов в значительной степени связана с уровнем квалификации 15,16,17,18,19,20,21,22,23,24. Согласно Bellenkes et al.25, продолжительность фиксаций специалистов короче, а частота их фиксации на инструментах выше, чем у новичков. Почти такой же вывод был сделан Касарскисом и соавторами, которые обнаружили, что опытные пилоты имеют больше фиксаций в сочетании с более короткой продолжительностью, чем новички, предположили, что опытные пилоты имеют лучший визуальный режим, чем новички. В другом исследовании, Lorenz et al.27 выяснил, что специалисты проводят больше времени, глядя за пределы кабины, чем новички. Эти результаты имеют большое практическое значение при отборе новичков.

Оценка летных характеристик является еще одним важным фактором при выборе пилота. Тем не менее, в оценке летных характеристик пилотов существуют следующие проблемы: противоречивые мнения экспертов, большее количество норм отбора и единая теория отбора. В области вождения Horrey et al.28 сравнили абсолютное значение отклонения полосы движения от центральной линии для различных экспериментальных условий для оценки эффективности вождения. Возвращаясь к авиационной сфере, регистратор быстрого доступа к полету (QAR) записывает все виды параметров управления пилотом, параметры самолета, окружающую среду и предупреждающую информацию во время полета29. Более конкретно, как показывают индикаторы QA, угол тангажа – это угол поворота вокруг левой и правой осей летательного аппарата30, а контрольная линия (или центральная контрольная линия) находится прямо посередине красной и зеленой линий28; Эти два параметра полета используются для оценки летных характеристик участников с опытом или без него в текущем исследовании. Эти данные QAR могут быть использованы для оценки летных характеристик, но, насколько нам известно, они редко используются для личных тренировок и отбора внаучных исследованиях.

Измерения движений глаз могут быть использованы для оценки и прогнозирования летных характеристик, а также для обучения и отбора пилотов. 33-летний Гератевол заявил, что глаз является важнейшим органом чувств пилота, обрабатывающим 80% полетной информации. Пилоты должны получать визуальную информацию от приборов в кабине и интегрировать ее в целостное изображение для управления полетом22. Кроме того, оптимальное поведение сканирования имеет важное значение для достижения лучших летных характеристик15. Тем не менее, ни один доступный авиасимулятор в настоящее время не включает в себя айтрекер для облегчения количественных исследований взаимосвязи между движениями глаз и летными характеристиками.

В текущем исследовании был разработан новый авиасимулятор виртуальной реальности, чтобы оценить, были ли участники с опытом полетов иметь лучшие летные характеристики, чем те, у кого не было опыта полетов. Авиасимулятор виртуальной реальности объединяет в себе отслеживание глаз и систему динамики полета, позволяющую анализировать характер движений глаз и оценивать летные характеристики. В частности, стоит упомянуть, что в авиасимуляторе VR используется VR-трекер34, а не стеклянный или настольный айтрекер, для анализа движения глаз на основе области интереса (AOI) без трудоемкого подсчета кадров.

Наконец, настоящая работа может привести к комплексным измерениям для выбора пилотов в будущем, начиная с траектории сканирования глаза и заканчивая объективными данными о летных характеристиках. С помощью виртуального авиасимулятора затраты на подбор рейса будут значительно снижены, а норма пилотов может быть сформирована на основе обширного сбора данных. Работа заполняет пробел между обычными и настольными тренажерами для нужд выбора полетов.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Протокол

Все описанные здесь методы были одобрены Институциональным наблюдательным советом (IRB) Университета Цинхуа, и было получено информированное согласие всех участников. После завершения всем участникам было выплачено 12 долларов США (или подарок равной стоимости).

1. Отбор участников

  1. Наберите участников в соответствии с предварительным исследованием анализа мощности с использованием программного обеспечения G*Power35 (см. Таблицу материалов), чтобы убедиться, что количество участников соответствует ожидаемому размеру выборки, предоставленному G*Power, который равен 21.
    ПРИМЕЧАНИЕ: Ожидаемый размер выборки, указанный G*Power, относится к предполагаемому количеству участников, необходимому в исследовании для достижения желаемого уровня статистической мощности на основе указанного размера эффекта, уровня значимости и используемого статистического теста. Ожидаемый размер выборки является важным фактором при планировании исследований. Это помогает исследователям определить осуществимость и экономическую эффективность дизайна их исследования и гарантирует, что исследование обладает достаточной статистической мощностью для обнаружения значимых эффектов.
  2. Убедитесь, что ни у одного из участников в анамнезе нет эпилепсии, заболеваний сердца или мозга, недавних эндокринных или психиатрических препаратов или тяжелой кожной аллергии.
  3. Используйте таблицу Снеллена (используйте метрическую систему 6/6)36 , чтобы подтвердить, что зрение участников нормальное или скорректированное до нормы и что у них нет никаких нарушений зрения, таких как дальтонизм или слабость цвета.
  4. Убедитесь, что ни один из участников не употреблял алкоголь или наркотики в течение предыдущих 24 часов, которые могут повлиять на их способность летать.
  5. Убедитесь, что участники спали не менее 6 часов и находятся в хорошем психическом состоянии перед экспериментом.

2. Оборудование для авиасимулятора

  1. Убедитесь, что все аппаратное обеспечение авиасимулятора исправно. В соответствии со своей функцией, это оборудование организовано в три модуля (Таблица 1) (см. Таблицу материалов).
    ПРИМЕЧАНИЕ: Исследователям необходимо прикоснуться к металлическому стержню перед прикосновением к оборудованию, чтобы избежать риска, связанного с электростатической индукцией.
    1. Проверьте компоненты VR, шлема виртуальной реальности (шлем виртуальной реальности) и модуля отслеживания движения глаз с помощью таблицы 2.
    2. Убедитесь, что все компоненты модуля ПК авиасимулятора соответствуют следующим минимальным требованиям: процессор с частотой 3,6 ГЦ, встроенная память 4G, 64-разрядная операционная система и видеокарта. Система будет поддерживать все полетные контроллеры.
    3. Проверьте компоненты модуля управления полетом и убедитесь, что конфигурация параметров устройства соответствует таблице 3.
  2. Установите аппаратное обеспечение авиасимулятора в соответствии с схемой на рисунке 1. На рисунке 2 показано, как подключено оборудование.
    1. Физически присоедините дроссельную заслонку и панель управления и обращайтесь с ними как с единым целым.
    2. Подключите дроссельную заслонку, джойстик и педаль к модулю ПК авиасимулятора через USB.
    3. Подключите шлем к модулю ПК авиасимулятора через соединительную коробку.
    4. Подключите базовые станции и контроллеры VR к шлему виртуальной реальности с помощью программного обеспечения VR на ПК.
Шлем виртуальной реальности (HMD) и модуль слежения за движением глаз1. Базовая станция
2. VR HMD
Модуль для ПК авиасимулятора3. Авиасимулятор для ПК
Модуль управления полетом4. Дроссельная заслонка
5. Джойстик полета
6. Педаль полета

Таблица 1: Компоненты трех модулей аппаратуры авиасимулятора.

Основной компонентПринадлежности
VR HMDКабель гарнитуры (прилагается)
Лицевая подушка (прилагается)
Чистящая салфетка
Заглушка отверстия для наушников × 2
Блок ссылокАдаптер питания
Кабель DisplayPort
Кабель USB 3.0
Монтажная площадка
Контроллеры (2018) × 2Адаптеры питания × 2
Шнурки × 2
Кабели Micro-USB × 2
Базовая станция 2.0 × 2Адаптеры питания × 2
Монтажный комплект (2 крепления, 4 винта и 4 настенных анкера)

Таблица 2: Список компонентов VR HMD и модуля слежения за движением глаз.

УстройствоНастройка параметров
Джойстик полетаДевятнадцать кнопок действий
Одна шляпа с 8-позиционной «точкой зрения»
Несколько 3D магнитных датчиков
Одна 5-витковая пружинная система
Одно 16-битное разрешение (значения 65536 x 65536).
Панель управления полетомПятнадцать кнопок действий
Одно колесо TRIM
Пять программируемых светодиодов
Дроссельная заслонкаСемнадцать кнопок действий
Одна шляпа для мыши с кнопкой
Одна шляпа с 8-позиционной «точкой зрения»
Несколько 3D магнитных датчиков
Два 14-битных разрешения
Педаль полетаНатяжение от 2,5 кг до 5 кг
Угол от 35° до 75°

Таблица 3: Конфигурация параметров приборов модуля управления полетом.

figure-protocol-1
Рисунок 1: Схема расположения аппаратного обеспечения авиасимулятора виртуальной реальности. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

figure-protocol-2
Рисунок 2: Подключение аппаратного обеспечения авиасимулятора. (A) Модуль управления полетом. Дроссельная заслонка и панель управления физически соединены и рассматриваются как единое целое. Если термин «дроссельная заслонка» используется в данном исследовании, то он относится как к дроссельной заслонке, так и к панели управления. (В) Модуль ПК авиасимулятора. Компьютер, отвечающий требованиям, изложенным в шаге 2.2. (C) Шлем виртуальной реальности и модуль слежения за движением глаз. Комплекты средств разработки программного обеспечения (SDK) для отслеживания движения глаз и 3D-движок синхронизируются при установке на одном компьютере. Таким образом, функции отслеживания движения глаз и операционная система взаимодействуют и работают вместе. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

3. Программное обеспечение для авиасимулятора

  1. Перед началом эксперимента убедитесь, что все программное обеспечение (см. Таблицу материалов) установлено. Информация обо всем программном обеспечении, использованном в эксперименте, приведена в таблице 4.
ИмяОписание
Программное обеспечение для виртуальной реальностиШироко используемый инструмент для просмотра VR-контента на оборудовании.
Магазин приложений VRМагазин приложений для виртуальной реальности, где клиенты могут изучать, создавать, подключаться и испытывать контент, который им нравится и в котором они нуждаются.
Программное обеспечение для отслеживания движения глазПрограммное обеспечение для отслеживания взгляда, разработанное исследовательской группой с помощью SDK для отслеживания взгляда и 3D-движка.
ФлайИмитаторОсновная программа программного обеспечения авиасимулятора, разработанная исследовательской группой.
Программное обеспечение для записи экранаБесплатное программное обеспечение с открытым исходным кодом для записи видео и прямых трансляций.

Таблица 4: Информация обо всем программном обеспечении, использованном в эксперименте.

4. Подготовка перед запуском авиасимулятора

ПРИМЕЧАНИЕ: Если вы впервые запускаете программу отслеживания взгляда, выполните дополнительные шаги, как показано на рисунке 3. Программа отслеживания движения глаз будет активирована автоматически после первого запуска.

figure-protocol-3
Рисунок 3: Дополнительные шаги при первом запуске программы отслеживания взгляда. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

  1. Убедитесь, что шлем виртуальной реальности включен и подключен к компьютеру.
  2. Расположите базовую станцию по диагонали, чтобы шлем всегда мог находиться в зоне действия базовой станции. Держите базовую станцию неподвижной, чтобы поддерживать стабильную среду виртуальной реальности.
  3. Настройте игровую зону только для стоя в соответствии с подсказками, предоставленными программным обеспечением виртуальной реальности на компьютере.
    ПРИМЕЧАНИЕ: Подсказка позволяет создать зону в масштабе комнаты или создать игровую зону только для стоя. Режим «только стоя» обычно используется для просмотра сцен виртуальной реальности, которые не требуют ходьбы и могут быть выбраны, когда у пользователя ограниченное пространство для передвижения. Поэтому в этом эксперименте создайте игровую площадку только для стоя.
  4. Настройте калибровку отслеживания взгляда. Система отслеживания движения глаз должна быть повторно настроена каждый раз, когда участник переключается.
    1. Убедитесь, что участники не используют контактные линзы, что приводит к сбоям в отслеживании взгляда.
    2. Откройте программу калибровки отслеживания движения глаз с помощью контроллеров VR (см. Таблицу материалов).
    3. Отрегулируйте высоту устройства, межзрачковое расстояние (IDP) и точку взгляда в соответствии с указаниями системы.
    4. Попросите глаза участника подсвечивать каждую точку в течение 2 секунд по часовой стрелке, чтобы проверить эффективность калибровки с отслеживанием взгляда.
  5. Подключите настроенный модуль управления полетом и большой экран (т.е. монитор не менее 27 дюймов) к тому же компьютеру, что и VR HMD. Экран позволяет экспериментатору одновременно наблюдать за тем, что происходит в VR HMD.

5. Методика проведения эксперимента

Примечание: Эксперимент разделен на четыре этапа: «сбор информации», «введение задачи и операции», «практика перед экспериментом» и «проведение формального эксперимента». Экспериментальный процесс кратко представлен на рисунке 4.

figure-protocol-4
Рисунок 4: Блок-схема эксперимента. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

  1. Соберите информацию от участников (15 минут).
    1. Заполните форму с платежными реквизитами с платежными данными участников.
    2. Сообщите участникам, чтобы они прочитали документ об информированном согласии и подписали его.
  2. Познакомьте участников с задачей и работой симулятора (5 мин).
    1. Объясните участникам схему движения и карту движения (рисунок 5).
    2. Проинструктируйте участников о том, как пользоваться авиасимулятором VR.
    3. Сообщите участникам, что они могут покинуть эксперимент, если испытывают дискомфорт во время моделирования полета.
  3. Попросите участников попрактиковаться в использовании авиасимулятора VR (15 минут).
    1. Подогните VR HMD к участникам и откалибруйте движения глаз. Отрегулируйте высоту устройства, межзрачковое расстояние (IDP) и точку взгляда в соответствии с инструкциями системы.
    2. Откройте программу для записи экрана.
    3. Запустите программу FlySimulator , чтобы помочь участникам в летной подготовке.
    4. Проинструктируйте участников использовать педаль полета, джойстик и дроссельную заслонку согласованно, чтобы направлять самолет как можно ближе к исходной линии полета (рисунок 5).
    5. Сбросьте кнопки переключения дроссельной заслонки и двигателя после выхода из программы FlySimulator и остановите запись экрана после того, как испытуемый завершит тренировку.
  4. Проведите формальные летные эксперименты (20 минут).
    1. Наденьте VR HMD для участников и запустите OBS Studio , чтобы начать запись экрана.
    2. Запустите программу FlySimulator, выберите подходящую перспективу, запустите двигатель, отпустите стояночный тормоз и выведите дроссельную заслонку на полную мощность.
    3. Выйдите из программы FlySimulator, затем сбросьте кнопки переключения дроссельной заслонки и двигателя . Остановите запись экрана.

figure-protocol-5
Рисунок 5: Схема движения для авиасимулятора VR. Угол тангажа — это угол поворота вокруг левой и правой осей самолета, а линия отсчета (или центральная линия отсчета) находится прямо посередине красной и зеленой линий. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

6. Анализ данных

  1. Анализируйте данные о движениях глаз.
    1. Разделите пять зон интереса (AOI) в этом исследовании; для получения дополнительной информации о расчете АОИ см. Рисунок 6, основанный на фактической панели кабины пилота, соответствующей прибору кабины пилота (Рисунок 7).
    2. Рассчитайте тест на разницу АОК, используя процент времени пребывания в зонеАОК 37, учитывая особенности оборудования окуломотора VR, используемого в этом исследовании.
      ПРИМЕЧАНИЕ: Средний процент времени задержки — это совокупный процент, затраченный на просмотр в пределах АОИ, разделенный на общее время фиксации и усредненный по участникам.
  2. Анализируйте данные о летно-технических характеристиках с помощью специально разработанных скриптов программирования с использованием Python 3.10. Основной алгоритм для измерения показателей производительности был адаптирован на основе метода анализа качества данных, полученных на основе данных QAR 35 самолетов BAE-146, предоставленных Национальным управлением по аэронавтике и исследованию космического пространства (NASA)38.
    ПРИМЕЧАНИЕ: Показатели летно-технических характеристик для данного исследования: общее время полета (общая продолжительность времени от взлета до посадки для каждого участника, в секундах), угол тангажа за 1 с до посадки (угол тангажа самолета за 1 с до посадки, полученный по исходным данным, в градусах), среднее расстояние до исходной линии (средняя ошибка пространственного расстояния между воздушным судном и исходной линией во время полета, в метрах) и стандартное отклонение расстояния до опорной линии (стандартное отклонение пространственного расстояния между самолетом и опорной линией во время полета, в метрах).
  3. Проведение статистического анализа.
    1. Используйте тест Шапиро-Уилка39 для подтверждения нормальности данных.
    2. Используйте статистическое программное обеспечение (см. Таблицу материалов) для описательной статистики, U-критерия Манна-Уитни и t-критерия Стьюдента.
    3. Изобразите графики скрипки, чтобы лучше обозначить форму распределения данных40.
      Примечание: Объяснение величины эффекта, измеренной с помощью уравнения Коэна, заключается в следующем: 0,1 — очень мало, 0,2 — мало, 0,5 — средне, 0,8 — много, 1,2 — очень много, а 2,0 — это41,42. Уровень значимости был установлен на уровне p < 0,05.

figure-protocol-6
Рисунок 6: Предварительная обработка AOI и расчет потока. В разделах с 1 по 4 описывается, как в настоящем исследовании обрабатывались данные о движении глаз пилотов вплоть до t-критерия независимой выборки. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-protocol-7
Рисунок 7: Принципиальная схема деления АОК пилотажного прибора. Функции приборов: (A) Индикатор воздушной скорости показывает скорость самолета относительно воздуха. (B) Индикатор высоты показывает тангаж и высоту крена самолета. (C) Индикатор вертикальной скорости показывает скорость подъема или снижения воздушного судна. (D) Индикатор высоты показывает барометрическую высоту полета воздушного судна. (E) Индикатор частоты вращения двигателя показывает частоту вращения двигателя самолета. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Результаты

Для текущего эксперимента были отобраны 23 специалиста с опытом полетов и 23 новичка без опыта полетов. Участники были в возрасте от 25 до 58 лет (эксперты: M = 32,52 года, SD = 7,28 года; новички: M = 29,57 года, SD = 5,74 года). Пол всех участников был мужским. Все новички были набраны из Университета Цинхуа (студенты или преподаватели), а все эксперты были из China Eastern Airlines.

Движение глаз
Данные о движении глаз приборных АОИ, и...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Обсуждение

В текущем исследовании оценивалось, имели ли участники с опытом полетов лучшие летные характеристики, чем те, кто не имел опыта полетов на симуляторе полета на основе виртуальной реальности. Что еще более важно, было оценено, можно ли найти более оптимизированный паттерн движения глаз у этих участников с лучшими летными характеристиками. Результаты имеют существенные различия между участниками с опытом полетов и без него по трем ключевым показателям QAR: угол тангажа за 1 с до посадки, среднее расстояние до исходной лини...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Раскрытие информации

Авторы заявили о неразглашении финансовой информации или конфликте интересов.

Благодарности

Авторы выражают неимоверную благодарность господину Ли Яню за помощь в наборе участников пилотного проекта и выражают признательность госпоже Бу Линъюнь за ее работу по рисованию картинок. Исследование было поддержано Национальным фондом естественных наук Китая (грант No T2192931, 72071185), Национальным проектом «Мозг» (грант No STI2030-Major Projects 2022ZD0208500), Национальным ключевым лабораторным проектом инженерии человеческого фактора (грант No SYFD062003), Национальным ключевым лабораторным проектом инженерии человеческого фактора (грант No 6142222210201), а также грантом на крупные проекты военно-логистических исследований 2022 года и ключевым проектом комплексного оборудования ВВС Научно-исследовательская работа (грант No KJ2022A000415).

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
SDK 3D-движкаEpic GamesUnreal Engine 4
GameAnalytics Unreal SDK		Этот SDK — это мощный, но гибкий бесплатный инструмент аналитики, предназначенный для игр.
ПроцессорIntelIntelCore i9Один из самых мощных процессоров на массовом рынке.
SDK для отслеживания движения глазTobiiTobii XR SDKЭтот SDK обеспечивает независимый от устройства доступ к данным отслеживания взгляда, что позволяет разрабатывать гарнитуры от многих различных поставщиков оборудования и не ограничивается устройствами, использующими оборудование Tobii Eye Tracking.
Программное обеспечение для отслеживания движения глазРазработано исследовательской группойПрограмма, которая отслеживает движение глаз человека во время использования шлема виртуальной реальности.
Программа FlySimulatorРазработано исследовательской группойПрограммное обеспечение, которое моделирует полеты в виртуальной среде с использованием виртуальной реальности HMD и ручных контроллеров.
ВидеокартаNVIDIAGeForce RTX 3090
10496 ядер NVIDIA CUDA
1.70 GHz Boost Clock   
24 ГБ памяти Размер
Тип памяти GDDR6X Одна		из самых мощных видеокарт на массовом рынке.
Операционная система (ОС)MicrosoftWindows XPОперационная система (ОС), разработанная и эксклюзивно распространяемая корпорацией Microsoft
Реплика панели управленияTHRUSTMASTER2960720 2971004 2962072 2960748 2960769штурмовиках A-10C ВВС США HOTAS
Реплика джойстикаTHRUSTMASTER2960720штурмовика A-10C ВВС США HOTAS
ПедальрепликиTHRUSTMASTERTPR маятниковый руль направления
Реплика дроссельной заслонкиTHRUSTMASTERU.S. ВВС США A-10C Штурмовик HOTAS
Экран, подключенный к ПКRedmiRMMNT27NF, 27-дюймовый, разрешение 1920 X 1080Экран позволяет экспериментатору одновременно просматривать происходящее в VR HMD
Программное обеспечение для записи экранаOBS ProjectOBS Studio версии 28.0Бесплатное программное обеспечение с открытым исходным кодом для записи видео и прямых трансляций
Программное обеспечение для анализа статистической мощностиоткрытым исходным кодомG*power Версия 3.1.9.6Бесплатный и удобный инструмент для оценки статистической мощности и размера выборки.
Статистическое программное обеспечениеIBMSPSS Version 24.0Мощная платформа статистического программного обеспечения
Универсальный статистический инструментПрограммное обеспечение GraphPad GraphPadPrism Version 9.4.0Универсальный статистический инструмент, специально разработанный для ученых, а не статистиков
Магазин приложений виртуальной реальностиHTC CorporationVIVE Software 2.0.17.6 / 2.1.17.6Магазин приложений для виртуальной реальности, где клиенты могут изучать, создавать, подключаться и испытывать контент, который им нравится и в котором они нуждаются.
Шлем виртуальной реальности (HMD)HTC CorporationVIVE Pro EyeГарнитура виртуальной реальности с точным отслеживанием взгляда
Программное обеспечение VRSteamSteam VR Version 1.23Инструмент для восприятия VR-контента на оборудовании
с

Ссылки

  1. Oberhauser, M., Dreyer, D., Braunstingl, R., Koglbauer, I. What's real about virtual reality flight simulation. Aviation Psychology and Applied Human Factors. 8 (1), 22-34 (2018).
  2. Oberhauser, M., Dreyer, D. A virtual reality flight simulator for human factors engineering. Cognition, Technology & Work. 19 (2-3), 263-277 (2017).
  3. Rolfe, J. M., Staples, K. J. Flight Simulation. , Cambridge University Press. Cambridge, New York. (1986).
  4. Robinson, A., Mania, K., Perey, P. Flight simulation: Research challenges and user assessments of fidelity. Proceedings of the 2004 ACM SIGGRAPH International Conference on Virtual Reality Continuum and its Applications in Industry. , 261-268 (2004).
  5. Moroney, W. F., Moreney, B. W. Flight Simulation. Handbook of Aviation Human Factors. , Lawrence Erlbaum Associates. Mahwah, New Jersey. 261-268 (1999).
  6. McCarty, W. D., Sheasby, S., Amburn, P., Stytz, M. R., Switzer, C. A virtual cockpit for a distributed interactive simulation. IEEE Computer Graphics and Applications. 14 (1), 49-54 (1994).
  7. Dorr, K. U., Schiefel, J., Kubbat, I. Virtual cockpit simulation for pilot training. In . The Hague, The Netherlands. What is Essential for Virtual Reality Systems to Meet Military Human Performance Goals? RTO human factors and medicine panel (HEM) workshop. , The Hague. The Netherlands. (2001).
  8. Bauer, M., Klingauf, U. Virtual-reality as a future training medium for civilian flight procedure training. AIAA Modeling and Simulation Technologies Conference and Exhibit. , Honolulu, Hawaii. 18-21 (2008).
  9. Yavrucuk, I., Kubali, E., Tarimci, O. A low cost flight simulator using virtual reality tools. IEEE Aerospace and Electronic Systems Magazine. 26 (4), 10-14 (2011).
  10. Aslandere, T., Dreyer, D., Pankratz, F., Schubotz, R. A generic virtual reality flight simulator. Virtuelle und Erweiterte Realität, 11. Workshop der GI-Fachgruppe VR/AR. , Shaker Verlag. Aachen. 1-13 (2014).
  11. Joyce, R. D., Robinson, S. K. The rapidly reconfigurable research cockpit. AIAA Modeling and Simulation Technologies Conference. , Dallas, Texas. 22-26 (2015).
  12. Schijven, M. P., Jakimowicz, J. J., Carter, F. J. How to select aspirant laparoscopic surgical trainees: Establishing concurrent validity comparing Xitact LS500 index performance scores with standardized psychomotor aptitude test battery scores. The Journal of Surgical Research. 121 (1), 112-119 (2004).
  13. Huang, P., Zhu, X., Liu, X., Xiao, W., Wu, S. Psychology selecting device for air force pilot recruitment based on virtual reality technology, has industrial personal computer connected with memory, where industrial control computer is connected with image display device. , CN111920428-A (2020).
  14. Wojciechowski, P., Wojtowicz, K. Simulator sickness and cybersickness as significant indicators in a primary selection of candidates for FPV drone piloting. 2022 IEEE 9th International Workshop on Metrology for AeroSpace (MetroAeroSpace). , Pisa, Italy. (2022).
  15. Ziv, G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. The International Journal of Aviation Psychology. 26 (3-4), 75-104 (2016).
  16. Lai, M. L., et al. A review of using eye-tracking technology in exploring learning from 2000 to 2012. Educational Research Review. 10, 90-115 (2013).
  17. Robinski, M., Stein, M. Tracking visual scanning techniques in training simulation for helicopter landing. Journal of Eye Movement Research. 6 (2), 1-17 (2013).
  18. Yang, J. H., Kennedy, Q., Sullivan, J., Fricker, R. D. Pilot performance: Assessing how scan patterns & navigational assessments vary by flight expertise. Aviation Space and Environmental Medecine. 84 (2), 116-124 (2013).
  19. Yu, C. S., Wang, E. M. Y., Li, W. C., Braithwaite, G., Greaves, M. Pilots' visual scan patterns and attention distribution during the pursuit of a dynamic target. Aerospace Medicine and Human Performance. 87 (1), 40-47 (2016).
  20. Haslbeck, A., Zhang, B. I spy with my little eye: Analysis of airline pilots' gaze patterns in a manual instrument flight scenario. Applied Ergonomics. 63, 62-71 (2017).
  21. Brams, S., et al. Does effective gaze behavior lead to enhanced performance in a complex error-detection cockpit task. PLoS One. 13 (11), e0207439(2018).
  22. Peißl, S., Wickens, C. D., Baruah, R. Eye-tracking measures in aviation: A selective literature review. The International Journal of Aerospace Psychology. 28 (3-4), 98-112 (2018).
  23. Jin, H., et al. Study on how expert and novice pilots can distribute their visual attention to improve flight performance. IEEE Access. 9, 44757-44769 (2021).
  24. Lounis, C., Peysakhovich, V., Causse, M. Visual scanning strategies in the cockpit are modulated by pilots' expertise: A flight simulator study. PLoS One. 16 (2), e0247061(2021).
  25. Bellenkes, A. H., Wickens, C. D., Kramer, A. F. Visual scanning and pilot expertise: The role of attentional flexibility and mental model development. Aviation Space and Environmental. 68 (7), 569-579 (1997).
  26. Kasarskis, P., Stehwien, J., Hickox, J., Aretz, A., Wickens, C. Comparison of expert and novice scan behaviors during VFR flight. Proceedings of the 11th International Symposium on Aviation Psychology. , Columbus, Ohio. (2001).
  27. Lorenz, B., et al. Performance, situation awareness, and visual scanning of pilots receiving onboard taxi navigation support during simulated airport surface operation. Human Factors and Aerospace Safety. 6 (2), 135-154 (2006).
  28. Horrey, W. J., Alexander, A. L., Wickens, C. D. Does workload modulate the effects of in-vehicle display location on concurrent driving and side task performance. Driving Simulator Conference North America Proceedings. , Dearborn, Michigan. October 8-10 (2013).
  29. Wang, L., Ren, Y., Sun, H., Dong, C. A landing operation performance evaluation method and device based on flight data. In Engineering Psychology and Cognitive Ergonomics: Cognition and Design. , Springer International Publishing. Vancouver, British Columbia, Canada. 297-305 (2017).
  30. Wang, L., Ren, Y., Wu, C. Effects of flare operation on landing safety: A study based on ANOVA of real flight data. Safety Science. 102, 14-25 (2018).
  31. Huang, R., Sun, H., Wu, C., Wang, C., Lu, B. Estimating eddy dissipation rate with QAR flight big data. Applied Sciences. 9 (23), 5192(2019).
  32. Wang, L., Zhang, J., Dong, C., Sun, H., Ren, Y. A method of applying flight data to evaluate landing operation performance. Ergonomics. 62 (2), 171-180 (2019).
  33. Gerathewohl, S. J. Leitfaden der Militärischen Flugpsychologie. Verlag für Wehrwissenschaften. , (1987).
  34. Ugwitz, P., Kvarda, O., Juříková, Z., Šašinka, Č, Tamm, S. Eye-tracking in interactive virtual environments: implementation and evaluation. Applied Sciences. 12 (3), 1027(2022).
  35. Faul, F., Erdfelder, E., Lang, A. -G., Buchner, A. G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods. 39 (2), 175-191 (2007).
  36. Boslaugh, S. E. Snellen Chart. , (2018).
  37. He, J., Becic, E., Lee, Y. -C., McCarley, J. S. Mind wandering behind the wheel. Human Factors: The Journal of the Human Factors and Ergonomics Society. 53 (1), 13-21 (2011).
  38. Tanveer Alam, GitHub - tanvcodes/qar_analytics: Scripts for working with publicly available Quick Access Recorder (QAR) data from a fleet of 35 BAE-146 aircraft. GitHub. , Retrieved on December 20,2022 from https://github.com/tanvcodes/qar_analytics (2022).
  39. Shapiro, S. S., Wilk, M. B. An analysis of variance test for normality (complete samples). Biometrika. 52 (3-4), 591-611 (1965).
  40. Hintze, J. L., Nelson, R. D. Violin plots: A box plot-density trace synergism. The American Statistician. 52 (2), 181-184 (1998).
  41. Cohen, J. Statistical Power Analysis for the Behavioral Sciences (2nd ed.). , Erlbaum, Hillsdale, NJ. (1988).
  42. Sawilowsky, S. S. New effect size rules of thumb. Journal of Modern Applied Statistical Methods. 8 (2), 26(2009).
  43. Bateman, T. S., Crant, J. M. The proactive component of organizational behavior: A measure and correlates. Journal of Organizational Behavior. 14 (2), 103-118 (1993).
  44. Endsley, M. R. Measurement of situation awareness in dynamic systems. Human Factors. 37 (1), 65-84 (1995).
  45. Hunter, D. R. Measuring general aviation pilot judgment using a situational judgment technique. The International Journal of Aviation Psychology. 13 (4), 373-386 (2003).
  46. Kim, H. K., Park, J., Choi, Y., Choe, M. Virtual reality sickness questionnaire (VRSQ): Motion sickness measurement index in a virtual reality environment. Applied Ergonomics. 69, 66-73 (2018).
  47. Hart, S. G. NASA Task Load Index (TLX). , (1986).

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Перепечатки и разрешения

Запросить разрешение на повторное использование текста или иллюстраций этой статьи JoVE

Запросить разрешение

Теги

3DVR

Похожие статьи