Трехмерное отображение вращения интерактивных виртуальных объектов с данными отслеживания движения глаз

Summary

Мы разработали простой, настраиваемый и эффективный метод записи количественных процессуальных данных из интерактивных пространственных задач и сопоставления этих данных вращения с данными отслеживания взгляда.

Abstract

Представлен метод записи взаимодействия человека с трехмерными (3D) виртуальными объектами в режиме реального времени. Этот подход заключается в связывании данных о вращении объекта, которым манипулируют, с поведенческими показателями, такими как отслеживание взгляда, чтобы сделать более точные выводы о лежащих в основе когнитивных процессах.

Задача состоит в отображении на экране компьютера двух идентичных моделей одного и того же 3D-объекта (молекулы): вращающегося интерактивного объекта (iObj) и статичного целевого объекта (tObj). Участники должны вращать iObj с помощью мыши до тех пор, пока не сочтут, что ее ориентация идентична ориентации tObj. Компьютер отслеживает все данные о взаимодействии в режиме реального времени. Данные о взгляде участника также записываются с помощью айтрекера. Частота измерения составляет 10 Гц на компьютере и 60 Гц на айтрекере.

Данные ориентации iObj относительно tObj записываются в кватернионах вращения. Данные о взгляде синхронизируются с ориентацией iObj и сопоставляются с использованием той же системы. Этот метод позволяет нам получить следующие визуализации процесса взаимодействия человека с iObj и tObj: (1) угловое несоответствие, синхронизированное с другими данными, зависящими от времени; (2) 3D-траектория вращения внутри того, что мы решили назвать «шаром вращений»; (3) Тепловая карта 3D-фиксации. На всех этапах протокола использовалось свободное программное обеспечение, такое как GNU Octave и Jmol, и все скрипты доступны в качестве дополнительного материала.

При таком подходе мы можем проводить детальные количественные исследования процесса решения задач, включающего умственные или физические вращения, а не только достигнутый результат. Можно точно измерить, насколько важна каждая часть 3D-моделей для участника в решении задач, и, таким образом, связать модели с соответствующими переменными, такими как характеристики объектов, когнитивные способности индивидуумов и характеристики человеко-машинного интерфейса.

Introduction

Мысленное вращение (МРТ) — это когнитивная способность, которая позволяет людям мысленно манипулировать объектами и вращать их, способствуя лучшему пониманию их особенностей и пространственных отношений. Это одна из зрительно-пространственных способностей, фундаментальная когнитивная группа, которая изучалась еще в 1890^году1. Зрительно-пространственные способности являются важным компонентом когнитивного репертуара человека, на который влияют как наследственные факторы, так и факторы окружающей среды 2,3,4,5. Интерес к зрительно-пространственным способностям рос на протяжении всего двадцатого века в связи с растущим количеством доказательств их важности в ключевых предметах^{, таких как старение} и развитие7, успеваемость в науке, технике, инженерии и математике (STEM)^8,9, креативность10 и эволюционные черты¹¹.

Современная идея МР проистекает из новаторской работы, опубликованной Шепардом и Метцлером (SM) в 1971^году. Они разработали хронометрический метод, используя серию «одинаковых или разных» задач, представляя две проекции абстрактных 3D-объектов, отображаемых бок о бок. Участники должны были мысленно повернуть объекты вокруг какой-либо оси и решить, изображают ли эти проекции один и тот же объект, вращающийся по-разному или разные объекты. В ходе исследования выявлена положительная линейная корреляция между временем отклика (RT) и угловым несоответствием (AD) между представлениями одного и того же объекта. Эта корреляция известна как эффект углового несоответствия (ADE). АДЭ рассматривается как поведенческое проявление МР и стала повсеместной в нескольких влиятельных последующих исследованиях в этой области 13,14,15,16,17,18,19,20,21,22,23,24,25. 3D-объекты, использованные в исследовании SM, состояли из 10 непрерывных кубов, созданных пионером компьютерных графов Майклом Ноллом в Bell Laboratories²⁶. Они называются цифрами СМ и широко используются в исследованиях МРТ.

Два достижения имели большое значение в плодотворной работе Шепарда и Метцлера; во-первых, с учетом вклада в области оценки МР. В 1978 году Вандерберг и^Кузе разработали психометрический тест из 20 пунктов на основе «одинаковых или разных» цифр SM, который стал известен как тест ментального вращения (VKMRT). Каждый тестовый элемент представляет собой целевой стимул. VKMRT был использован для исследования корреляции между способностями к МРТ и различными другими факторами, такими как гендерные различия 6,21,24,28,29,30, старение и развитие ^6,31,32, академическая успеваемость^8,33, и навыки в музыке и спорте³⁴. В 1995 году Петерс и др. опубликовали исследование с перерисованными цифрами для VKMRT^35,36. Аналогичным образом, следуя схеме задачи «тот же или другой», для исследования процессов МР и оценки способностей МРТ было использовано множество других библиотек сгенерированных компьютером стимулов (3D-версии оригинальных стимулов СМ 19,22,23,37,38^; человеческое тело, имитирующее фигуры СМ 25,39,40; плоские многоугольники для двумерного вращения ^{41); 42}, анатомия и органы⁴³, органические формы⁴⁴, молекулы^45,46 и др.²¹). Тест пространственной визуализации Пердью (PSVT), предложенный Гуэем в 1976⁴⁷ году, также актуален. Он включает в себя целый ряд тестов, в том числе MR (PSVT:R). Используя стимулы, отличные от стимулов в VKMRT, PSVT:R требует от участников определить операцию вращения в модельном стимуле и мысленно применить ее к другому. PSVT:R также широко используется, особенно в исследованиях, изучающих роль МР в достижениях STEM 48,49,50.

Второе достижение, имеющее большое значение в плодотворной работе Шепарда и Метцлера, заключается в вкладе в понимание процесса МРТ, в частности, с использованием устройств слежения за движением глаз. В 1976 году Джаст и Карпентер¹⁴ использовали аналоговое видеооборудование для отслеживания глаз для проведения исследования, основанного на эксперименте Шепарда и Метцлера ADE. На основе полученных результатов по саккадическим движениям глаз и РТ они предложили модель МР-процессов, состоящую из трех фаз: 1) фаза поиска, в которой распознаются похожие части фигур; 2) фаза преобразования и сравнения, в которой происходит мысленное вращение одной из выявленных частей; 3) этап утверждения, на котором решается, совпадают цифры или нет. Фазы повторяются рекурсивно до тех пор, пока не будет принято решение. Каждый шаг соответствует определенным саккадическим и фиксирующим паттернам движения глаз в тесной связи с наблюдаемыми ADE. Таким образом, соотнося активность глаз с хронометрическими данными, Джаст и Карпентер обеспечили когнитивную сигнатуру для изучения процессов МРТ. На сегодняшний день эта модель, хоть и с адаптациями, была принята в нескольких исследованиях 15,42,46,51,52,53.

Вслед за этим последовало несколько исследований, отслеживающих поведенческие 18,19,22,23,25,34,40,54,55 и активность мозга 20,22,56,57 Выполнялись функции при вращении стимулов. Их результаты указывают на совместную роль между МРТ и двигательными процессами. Кроме того, растет интерес к исследованию стратегий решения проблем, связанных с МРТ в связи с индивидуальными различиями 15,41,46,51,58.

В целом, можно считать, что дизайн исследований, направленных на понимание процессов МРТ, основан на постановке задачи с визуальными стимулами, которая требует от участников выполнения МРТ-операции, которая, в свою очередь, влечет за собой двигательную реакцию. Если эта реакция позволяет вращать стимулы, ее часто называют физическим вращением (PR). В зависимости от конкретных целей каждого исследования для сбора и анализа данных МРТ и ПР использовались различные стратегии и устройства. На этапе презентации стимула задачи можно изменить типы стимулов (т.е. ранее приведенные примеры); проекция (компьютерные изображения в традиционных дисплеях 22,23,25,29,40,41,59, а также в стереоскопах¹⁹ и виртуальной⁶⁰ и смешанной реальности ⁴³); и интерактивность стимулов (статические изображения 12,27,36, анимация⁶¹ и интерактивные виртуальные объекты 19,22,23,43,53,59).

МР обычно выводится из измерений ОТ (ADE), а также глазной и мозговой активности 25,46,62. Глазная активность измеряется с помощью данных айтрекинга, состоящих из саккадических движений и фиксаций 14,15,42,51,52,54,58,60, а также пупиллометрии 40. Данные RT обычно формируются из данных о реакции двигателя, записанных при работе с различными устройствами, такими как рычаги¹³, кнопки и переключатели^14,53, педали⁵³, поворотные ручки¹⁹, джойстики³⁷, клавиатура⁶¹ и мышь 29,58,60, ведущие колеса⁵³, инерциальные датчики^22,23, сенсорные экраны^52,59и микрофоны²². Для измерения PR, в дополнение к RT, дизайн исследования также будет включать запись ручных вращений интерактивных стимулов во время выполнения участниками задачи^MR 22,23,52,53.

В 1998 году Вольшлегер и Вольшлегер^{использовали} «те же или разные» задачи с интерактивными виртуальными SM-стимулами, управляемыми ручкой, с вращением, ограниченным одной осью на задачу. Они измерили RT и совокупную запись физических вращений, выполненных во время выполнения задач. Сравнивая ситуации с фактическим вращением интерактивных стимулов и без него, они пришли к выводу, что MR и PR имеют общий процесс как для воображаемых, так и для фактически выполняемых вращений.

В 2014 году были проведены два исследования с использованием одного и того же типа заданий с виртуальными интерактивными стимулами^22,23. Тем не менее, объектами манипулировали с помощью инерциальных датчиков, которые фиксировали движение в 3D-пространстве. В обоих случаях, помимо РТ, регистрировались траектории вращения – эволюция разницы во вращении между референсными и интерактивными стимулами во время выполнения заданий. Из этих траекторий можно было извлечь как кумулятивную информацию (т.е. общее количество оборотов, в кватернионных единицах), так и подробную информацию о стратегиях решения. Adams et ^al.23 изучали кооперативный эффект между MR и PR. Помимо РТ, в качестве параметра точности и объективности разрешения использовался интеграл траекторий вращения. Профили кривых интерпретировались в соответствии с трехступенчатой моделью⁶³ (планирование, большое вращение, тонкая корректировка). Результаты показывают, что МР и ПР не обязательно имеют один общий фактор. Gardony et ^al.22 собрали данные о RT, точности и вращении в реальном времени. В дополнение к подтверждению взаимосвязи между МР и ПР, анализ траекторий вращения показал, что участники манипулировали цифрами до тех пор, пока не смогли определить, отличаются они или нет. Если бы они были одинаковыми, участники вращали бы их до тех пор, пока они не стали бы выглядеть одинаково.

Продолжая эту стратегию, в 2018 году Wetzel и Bertel⁵² также использовали интерактивные фигурки SM в «тех же или разных» задачах, используя планшеты с сенсорным экраном в качестве интерфейса. Кроме того, они использовали устройство слежения за движением глаз для получения кумулятивных данных о времени фиксации и саккадической амплитуде как параметрах когнитивной нагрузки, участвующей в решении МР-задач. Авторы подтвердили ранее рассмотренные выше исследования о взаимосвязи между МР и PR и процессами решения задач. Однако в этом исследовании они не использовали фиксационное картирование и данные саккад для стимулов.

Методологические подходы к отображению данных отслеживания движения глаз на виртуальных 3D-объектах были предложены и постоянно совершенствуются, как правило, исследователями, заинтересованными в изучении факторов, связанных со зрительным вниманием в виртуальных^{средах.} Несмотря на доступность и использование аналогичных устройств слежения за движением глаз, эти методы, по-видимому, не были эффективно интегрированы в экспериментальный репертуар, используемый в исследованиях мысленного вращения с интерактивными 3D-объектами, подобными упомянутым ранее. С другой стороны, мы не нашли в литературе исследований, в которых сообщалось бы о картографировании данных фиксации и саккадного движения в реальном времени на интерактивных 3D-объектах. Похоже, что не существует удобного метода для простой интеграции данных об активности глаз с траекториями вращения. В этом исследовании мы стремимся внести свой вклад в восполнение этого пробела. Подробно описана процедура, начиная с сбора данных и заканчивая генерацией графического вывода.

В данной работе мы подробно описываем метод исследования процессов мысленного вращения с виртуальными интерактивными 3D-объектами. Особо выделяются следующие достижения. Во-первых, он объединяет количественный поведенческий мотор (вращение объекта с помощью компьютерного интерфейса) и глаз (отслеживание взгляда) данные во время сеансов взаимодействия с виртуальными 3D-моделями. Во-вторых, для этого требуется только обычное компьютерное оборудование и устройства слежения за движением глаз для визуального проектирования задач, сбора, записи и обработки данных. В-третьих, он легко генерирует графические выходные данные для облегчения анализа данных - углового несоответствия, физического вращения, кватернионных траекторий вращения и отображения данных отслеживания взгляда на 3D-виртуальные объекты. Наконец, для этого метода требуется только свободное программное обеспечение. Весь разработанный код и скрипты доступны бесплатно (https://github.com/rodrigocnstest/rodrigocnstest.github.io).

Protocol

1. Подготовка инструментов сбора данных

1. Настройте онлайн-сбор данных (опционально).
   ПРИМЕЧАНИЕ: На этом шаге описывается, как настроить настраиваемый клон кода проекта и рабочей веб-страницы (см. Дополнительный файл 1). Этот шаг был адаптирован из учебных пособий, доступных на https://pages.github.com/ и https://github.com/jamiewilson/form-to-google-sheets. Если пользователей интересует только способ обработки данных, а не их регистрация, они могут использовать веб-страницу https://rodrigocnstest.github.io/iRT_JoVE.html вместе сДополнительная таблица S1 и файлы репозитория в https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave, и пропустите шаги 1.1, 1.2 и его подшаги.
   1. Войдите на GitHub (https://github.com/).
   2. Создайте публичный клон оригинального репозитория страниц GitHub.
      1. Нажмите « Импортировать репозиторий из https://github.com», войдя в учетную запись.
      2. В поле TURL-адрес клонирования старого репозитория вставьте https://github.com/rodrigocns/rodrigocns_JoVE URL-адреса в поле Имя репозитория , введите username.github.io, где username — это имя пользователя, используемое в учетной записи, и убедитесь, что включен параметр Общедоступный . Затем нажмите на зеленую кнопку «Начать импорт».
         ПРИМЕЧАНИЕ: Репозиторий теперь содержит большую часть файлов, необходимых для оставшейся части этой настройки, и любые изменения, внесенные в репозиторий, будут обновлены на веб-сайте через пару минут. Например, пользователь с именем rodrigocnstest получит доступ к своей странице по адресу https://rodrigocnstest.github.io и к репозиторию GitHub по адресу https://github.com/rodrigocnstest/rodrigocnstest.github.io.
   3. Настройте облачную таблицу для хранения данных эксперимента в Интернете.
      1. Зарегистрируйтесь или войдите в аккаунт Google.
      2. Войдя в учетную запись, перейдите к чистому файлу электронных таблиц iRT , доступному по адресу https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
         Ops1wZrXI/edit?usp=sharing.
      3. В этой таблице нажмите на Файл | Сделайте копию. Появится небольшое окно подтверждения.
      4. В небольшом окне присвойте файлу имя и нажмите на кнопку «Сделать копию ».
   4. Настройте скрипт Google Apps Script, чтобы автоматизировать хранение данных в созданной вами электронной таблице.
      1. Находясь внутри файла таблицы, нажмите на опцию Расширение | Скрипт приложений.
         ПРИМЕЧАНИЕ: Этот сценарий должен быть создан или доступен из электронной таблицы, чтобы он был связан с ней. Попытка создать сценарий извне может не сработать.
      2. Нажмите на кнопку «Выполнить », чтобы запустить скрипт в первый раз.
      3. Нажмите кнопку « Просмотреть разрешения». Появится новое окно. Нажмите на ту же учетную запись, которая использовалась при создании таблицы.
         ПРИМЕЧАНИЕ: Если этот шаг выполняется впервые, может появиться предупреждение о том, что приложение запрашивает доступ к информации из учетной записи. Это безопасно, так как приложение пытается получить доступ к содержимому таблицы и запрашивает разрешение на заполнение ее данными. Если предупреждения не появляются, шаг 1.1.4.4 можно пропустить.
      4. Нажмите на «Дополнительно» | Перейти к разделу Из iRT в таблицы (небезопасно) | Кнопка Разрешить .
         ПРИМЕЧАНИЕ: После выполнения в журнале должно появиться уведомление о том, что выполнение завершено.
      5. На левой скользящей панели нажмите на кнопку «Триггеры » (четвертый значок сверху вниз) | + кнопка «Добавить триггер ».
      6. В разделе Выберите функцию для запуска выберите doPost; в разделе Выбрать источник события выберите Из таблицы; в разделе Выбрать тип события выберите При отправке формы. Затем нажмите «Сохранить». Если появляются всплывающие окна с разрешениями, выполните шаги 1.1.4.3-1.1.4.4. Если браузер в конечном итоге блокирует всплывающее окно, разблокируйте его.
      7. Нажмите на кнопку «Развернуть » в раскрывающемся списке | Новое развертывание.
      8. Наведите указатель мыши на значок шестеренки и убедитесь, что выбран параметр Веб-приложение .
      9. Напишите описание в поле Новое описание , например Развертывание 1; в поле У кого есть доступ выберите Кто угодно и нажмите кнопку Развернуть .
         ПРИМЕЧАНИЕ: Целью поля Новое описание является организация развертывания скриптов. Оно может быть названо по желанию читателя, например, First deployment. Поле «Выполнить как » уже должно отображаться как «Я(email)», где email — это адрес электронной почты, используемый до сих пор.
      10. В новом всплывающем окне скопируйте URL-адрес веб-приложения развертывания скрипта.
          ПРИМЕЧАНИЕ: Если по какой-либо причине вы потеряли скопированный URL-адрес веб-приложения, восстановите его, нажав на выпадающее меню «Развернуть » | Управляйте развертываниями. URL-адрес веб-приложения должен быть там.
      11. Перейдите на страницу по адресу https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js, где rodrigocnstest — это имя пользователя, используемое на GitHub. Замените существующий URL-адрес в строке 5 на скопированный URL-адрес веб-приложения на шаге 1.1.4.10 и нажмите зеленую кнопку Зафиксировать изменения....
          ПРИМЕЧАНИЕ: Скопированное значение URL должно оставаться между одинарными ' ' или двойными " "' кавычками. Убедитесь, что скопирован правильный URL-адрес из веб-приложения.
      12. Наконец, нажмите кнопку подтверждения Commit changes в центре экрана.
   5. Убедитесь, что процесс был завершен правильно и страница работает.
      1. Перейдите в репозиторий по адресу https://github.com/username/username.github.io/, где username — это имя пользователя, используемое на GitHub, и проверьте, было ли развертывание обновлено после изменений, внесенных на шаге 1.4.14.
      2. Перейдите на веб-страницу в https://username.github.io/iRT_JoVE, измените имя пользователя на имя пользователя, используемое в GitHub, а затем нажмите кнопку Далее.
      3. Нажмите «Перейти», выполните любое взаимодействие, щелкнув и перетащив объект справа с помощью мыши, затем нажмите кнопку «ГОТОВО! ».
      4. Вернитесь к файлу таблицы, настроенному на шагах 1.1.3 и 1.1.4, и проверьте наличие новой строки данных при каждом нажатии кнопки ГОТОВО .
2. Настройте автономный сбор данных (необязательно).
   ПРИМЕЧАНИЕ: Метод, предназначенный для запуска и получения данных задачи интерактивного вращения (iRT), выполняется в режиме онлайн через облачные сервисы, настроенные в соответствии с описанными выше шагами. При желании (поскольку подключение к Интернету может быть проблемой, или для альтернативного способа его выполнения) также можно запустить тест локально с подключением к Интернету или без него в месте, где будет выполняться тест. Следующие шаги являются необязательной альтернативой и описывают, как этого достичь. В противном случае перейдите к шагу 1.3.
   1. Доступ к репозиторию GitHub можно получить по ссылке: https://github.com/rodrigocnstest/rodrigocnstest.github.io. Нажмите на зеленую кнопку < > Код | Загрузите ZIP, а затем распакуйте загруженные файлы.
      ПРИМЕЧАНИЕ: Изменения, внесенные в файлы, хранящиеся локально, не изменят файлы в репозитории, и наоборот. Любые изменения, предназначенные для обеих версий, должны быть применены к обоим расположениям, либо вручную скопировав обновленные файлы, либо с помощью git/GitHub desktop.
   2. Получить последнюю версию Mozilla Firefox можно по ссылке: https://www.mozilla.org/en-US/firefox/new/.
   3. Откройте браузер Mozilla Firefox, введите "about:config" в поле URL, введите "security.fileuri.strict_origin_policy" в поле поиска и измените его значение на false. ПРИМЕЧАНИЕ: Теперь Mozilla Firefox в операционной системе Windows должен иметь возможность локального доступа к загруженным файлам веб-страниц на вашем компьютере. Другие браузеры и операционные системы могут быть настроены на локальную работу, каждый из которых со своей настройкой описан по ссылке http://wiki.jmol.org/index.php/Troubleshooting/Local_Files.
3. Настройте инструмент обработки данных.
   1. Загрузите и установите последнюю версию GNU Octave на https://octave.org/download.
4. Настройте устройство слежения за движением глаз.
   1. Убедитесь, что на ноутбуке установлено программное обеспечение системы записи.
   2. Убедитесь, что исследовательская комната чистая и хорошо организована, чтобы не отвлекать внимание.
   3. Используйте искусственное освещение в комнате, чтобы поддерживать равномерное освещение в течение всего дня.
   4. Установите компьютер на стол и убедитесь, что участник может удобно перемещать мышь.
   5. Предоставьте участнику удобный стул, желательно стационарный, чтобы свести к минимуму движения во время испытания.
   6. Подключите один USB-кабель для питания инфракрасной подсветки и другой USB-кабель между ноутбуком/компьютером и устройством отслеживания движения глаз камеры.
   7. Поместите айтрекер под экраном.

2. Сбор данных

1. Инициализируйте программное обеспечение для сбора данных.
   1. Запустите программное обеспечение для отслеживания движения глаз на компьютере, чтобы получить данные от трекера.
   2. Выберите опцию «Захват экрана » в главном окне программы для захвата взгляда во время эксперимента (также можно использовать эту программу для визуализации тепловой карты и экспорта сырых данных).
   3. Нажмите « Новый проект », чтобы создать новый проект и папку проекта, в которой должны быть сохранены данные.
   4. Откройте тестовую страницу по https://rodrigocnstest.github.io/iRT_JoVE.html если используете предложенную в качестве примера или страницу, созданную на шаге 1.1. Либо откройте файл iRT_JoVE.html локально из ранее настроенного браузера на шаге 1.2.
   5. При необходимости заполните поля имени и электронной почты, чтобы помочь с идентификацией данных, и установите флажок, чтобы загрузить резервную копию созданных данных.
      ПРИМЕЧАНИЕ: При использовании автономного метода (шаг 1.2) рекомендуется загрузить резервные копии.
   6. Попробуйте провести эксперимент один раз, чтобы убедиться, что браузер загрузит элементы корректно и не возникнет проблем с представленными задачами или получением данных.
2. Запустите эксперимент.
   1. Объясните участнику цель эксперимента, используемую технологию и критерии включения/исключения. Убедитесь, что участник все понял. Попросите участника заполнить форму согласия.
   2. Попросите участника сесть перед системой отслеживания движения глаз и устроиться как можно удобнее.
   3. Перемещайте кресло так, чтобы обеспечить оптимальное расстояние между участником и камерой (идеальная длина — 65 см от айтрекера до глаз участника).
   4. Попросите участника оставаться как можно более неподвижным во время эксперимента. Отрегулируйте высоту камеры, чтобы правильно запечатлеть зрачки участника (некоторые программы выделяют зрачок, чтобы показать отражение роговицы).
   5. Нажмите « Включить автоматическое усиление », чтобы оптимизировать отслеживание зрачков, изменяя усиление камеры до тех пор, пока зрачки не будут найдены (некоторые программы не имеют этой опции).
   6. Попросите участника посмотреть на ряд точек на экране и следить за движением точки, не двигая головой.
   7. Нажмите « Калибровать», чтобы начать калибровку (это гарантирует, что айтрекер сможет отслеживать, куда участник смотрит на экран).
      ПРИМЕЧАНИЕ: Экран погаснет, а калибровочный маркер (точка) будет перемещаться по пяти позициям на экране.
   8. После калибровки на экране будет выведена визуальная оценка точки взгляда для проверки точности калибровки. Попросите участника посмотреть на определенную точку на дисплее, чтобы увидеть, правильно ли будет отображаться взгляд.
   9. Если калибровка неудовлетворительна, отрегулируйте камеру и повторите попытку калибровки, пока система не будет отслеживать взгляд должным образом.
   10. Нажмите кнопку «Собрать данные » в правой части программного обеспечения для отслеживания движения глаз (главное меню), чтобы активировать режим сбора данных. Отображение захваченного экрана в режиме реального времени будет представлено с данными о взгляде, отображаемыми в окне основного дисплея.
   11. Нажмите на кнопку «Смотреть на видео » в главном меню, чтобы отобразить лицо пользователя, снятое айтрекером. Затем нажмите « Начать запись », чтобы начать эксперимент.
       ПРИМЕЧАНИЕ: Во время эксперимента зрачок участника подсвечивается, а его глаз отображается в виде точки, движущейся по экрану ноутбука. Убедитесь, что айтрекер отслеживает зрачок и глаз по всему экрану.
   12. Если точка исчезает или часто мерцает, остановите эксперимент и повторите попытку калибровки.
   13. Откройте ранее открытое окно iRT и скажите участнику, чтобы он нажал кнопку «Далее».
   14. Дайте участнику следующие инструкции: «В этом разделе вы будете выполнять три задания по вращению. Когда вы нажимаете на кнопку GO! , на противоположных сторонах экрана появятся два объекта. Ваша цель состоит в том, чтобы поворачивать объект вправо до тех пор, пока он как можно лучше совпадет с объектом слева. Чтобы повернуть объект, щелкните и перетащите на него мышь. Когда вы закончите выполнение каждого из трех заданий, нажмите на кнопку ГОТОВО! кнопка для завершения».
       ПРИМЕЧАНИЕ: Для каждой задачи любые данные iRT за пределами отметки 5 минут (ровно^327-й секунды) могут быть потеряны. По мере дальнейшего развития метода этот предел должен быть расширен.
   15. В конце эксперимента убедитесь, что трекер движения глаз выключен от удлинительного кабеля, и снова наденьте крышку объектива на камеру.
3. Извлеките данные.
   1. После завершения сбора данных с помощью айтрекера нажмите « Анализировать данные », чтобы получить доступ к собранным данным.
   2. Экспортируйте файл .csv со всеми данными, записанными для пользователя.
      ПРИМЕЧАНИЕ: Первый столбец данных айтрекера должен быть эпохой данных в UNIX, так как это единственный способ правильно сопоставить различные наборы данных во времени. Если файл его не содержит, его следует конвертировать из любого другого используемого стандарта времени. Файл может быть в формате ".csv" или ".xlsx".
   3. Если вы используете онлайн-версию страницы с интерактивной ротацией заданий (шаг 1.1), откройте файл Google Sheets, используемый для получения онлайн-данных (созданный на шаге 1.1.3) и скачайте его, нажав на кнопку Файл | Скачать | Microsoft Excel (.xlsx).
      ПРИМЕЧАНИЕ: Эти данные упакованы для облегчения передачи данных (каждой задаче соответствует одна строка, заполненная данными). Чтобы обработать данные внутри, каждая строка упакованных данных должна быть сначала «распакована».

3. Обработка и анализ данных

1. Распаковывайте, объединяйте и обрабатывайте данные.
   ПРИМЕЧАНИЕ: Следующие шаги описывают, как обрабатывать данные с помощью предоставленных скриптов (см. Дополнительный файл 2). Сценарии GNU Octave будут запрашивать у пользователя вводимые данные о своих файлах. Если входные данные отправлены как пустые, вместо них будут использоваться значения по умолчанию, ссылающиеся на предоставленные образцы данных, если ни один из пользовательских данных не перезаписал их. После того, как скрипт завершит работу, его можно закрыть.
   1. Загрузите и распакуйте используемый репозиторий (собственный или исходный на https://github.com/rodrigocns/rodrigocns_JoVE), если он еще не был загружен.
   2. Убедитесь, что сценарии 1.unpacking_sheets.m, 2.data_merge_and_process.m, 3.3D rotational trajectory.m, а папка models находятся внутри загруженного репозитория в папке Octave, и переместите файлы данных, загруженные из шагов 2.3.2 и 2.3.3, в ту же папку, где находятся сценарии октавы.
      ПРИМЕЧАНИЕ: Любые существующие файлы, уже находящиеся в папке с теми же именами, что и вновь записанные файлы, могут быть перезаписаны. Соответственно переименуйте или переместите файлы в другую папку.
   3. Откройте скрипт 1.unpacking_sheets.m с помощью GNU Octave Launcher. Во вкладке «Редактор » запустите скрипт, нажав на зеленую кнопку «Сохранить файл и выполнить », чтобы распаковать данные в более удобочитаемую структуру.
      ПРИМЕЧАНИЕ: Если какой-либо из запрошенных файлов данных открыт локально, не забудьте закрыть их перед запуском скрипта. Все файлы скриптов .m были выполнены с помощью GNU Octave Launcher.
   4. Появятся две подсказки, одна за другой. Введите имя загруженного файла в первом запросе и имя распакованного файла во второе поле. В качестве альтернативы оставьте оба поля приглашения пустыми, чтобы использовать имена по умолчанию, предназначенные для включенных образцов файлов. Подождите несколько минут (в зависимости от объема данных), пока появится всплывающее окно, информирующее пользователя о том, что процесс завершен и новый файл записан.
   5. Откройте и запустите скрипт 2.data_merge_and_process.m , чтобы объединить данные из трекера движения глаз и iRT.
      ПРИМЕЧАНИЕ: Несмотря на то, что этот скрипт сложный, охватывающий сотни строк кода, он разделен на три основных раздела: настройки, функции и скрипты. Все они подробно комментируются и объясняются, что облегчает будущие модификации, если это необходимо.
   6. Появятся четыре подсказки. Введите значение sessionID, значение taskID (оба из таблицы данных iRT), неупакованное имя файла данных iRT (описано на шаге 3.1.5) и имя файла данных айтрекера (экспортировано на шаге 2.3.2) или оставьте их все пустыми, чтобы использовать значения по умолчанию.
      ПРИМЕЧАНИЕ: Через несколько минут появится всплывающее окно справки, указывающее, что скрипт завершил вычисления, а также имена используемых и созданных файлов. В процессе написания сценария появятся три примера графиков углового несоответствия: простой график, график с цветными данными взгляда и график с данными о диаметре зрачка. Два созданных файла - это вывод слияния X Y.xlsx и вывод консоли jmol X Y.xlsx, где X - это значение sessionID , а Y - значение taskID , оба они были записаны в начале шага 3.1.6.
2. Рендеринг 3D-изображений траектории вращения.
   1. Откройте и запустите скрипт 3.3D rotation trajectory.m.
   2. Появятся три подсказки. Введите значение sessionID, значение taskID и имя файла неупакованных данных iRT или оставьте их пустыми, чтобы использовать значения по умолчанию.
      ПРИМЕЧАНИЕ: Появится 3D-график. Визуализируемый график представляет собой траекторию 3D-вращения заданного сеанса и задачи.
3. Воспроизведите анимацию.
   1. Чтобы воспроизвести взаимодействие участника с заданием, сначала перейдите на веб-страницу интерактивного задания, запустите тест (показывая обе 3D-модели), переместите указатель мыши в правом верхнем углу экрана до тех пор, пока значок мыши не изменится на текст, как показано в Дополнительном файле 2, а затем нажмите на невидимый текст отладки , включив режим отладки.
   2. Из кнопок, которые появляются между моделями, нажмите на кнопку timerStop , чтобы прервать задачу, и нажмите на кнопку консоли , чтобы открыть консоль JSmol модели справа. Если задача из интересующего взаимодействия не была первой, нажмите на пронумерованные кнопки внутри верхней области отладки, чтобы изменить задачу, которая отображается на экране.
      ПРИМЕЧАНИЕ: JSmol - это программное обеспечение для молекулярного моделирования, используемое на веб-странице.
   3. Откройте файл вывода jmol console.xlsx и скопируйте всю страницу команд Jmol.
      ПРИМЕЧАНИЕ: Каждая страница содержит команды для отдельной сцены или анимации.
   4. В консоль JSmol вставьте список скопированных команд и нажмите кнопку Run или нажмите Enter на клавиатуре для его выполнения.
   5. При желании сгенерируйте .gif анимацию. Запишите команду capture "filename" SCRIPT "output" в консоль JSmol, где filename - это имя файла .gif, который нужно создать, а output - весь список команд, скопированных на шаге 3.3.3, сохраняя обе команды в двойных кавычках.
      ПРИМЕЧАНИЕ: Чем сложнее становятся команды, с большими моделями или большим количеством изменений во времени, и чем менее мощными становятся характеристики используемого компьютера, тем медленнее будет становиться анимация. Jmol ориентирован на визуализацию химических соединений и реакций, и анимация, созданная с помощью наших исследований, раздвигает границы возможностей рендеринга Jmol. Эти моменты следует учитывать и учитывать при проведении любых количественных измерений с помощью этой анимации.

4. Кастомизация задач

ПРИМЕЧАНИЕ: Весь этот раздел необязателен и рекомендуется только для тех, кто любит экспериментировать или понимает, как программировать. Ниже вы найдете некоторые из множества доступных настраиваемых опций, и по мере дальнейшего развития методов будут доступны дополнительные опции.

1. Настройка новых или существующих задач.
   1. Определите, сколько интерактивных заданий будет выполнять участник, и назовите каждое из них в файле object_configs.js внутри массива task_list заменив существующие названия элементов или добавив новые. Убедитесь, что каждое имя уникально, так как оно будет использоваться в дальнейшем в качестве идентификаторов.
   2. Выберите JSmol-совместимые файлы 3D-координат для выполнения интерактивных задач (http://wiki.jmol.org/index.php/File_formats). Скопируйте эти файлы в папку models.
      ПРИМЕЧАНИЕ: Скрипты, включенные в эту статью, оптимизированы для асимметричных моделей с использованием формата файлов .xyz. При выборе файлов координат избегайте симметрий поворота, так как они имеют неоднозначные решения⁶⁵.
   3. Определите параметры рендеринга для 3D-объектов в функции prepMolecule(num).
      ПРИМЕЧАНИЕ: Все изменения от одной задачи к другой, выполняемые JSmol, идут сюда: изменение цветового шаблона, изменение размера или способа рендеринга графических элементов, ориентация, перевод, скрытие частей объекта, загрузка новых 3D-моделей и т.д. (больше примеров смотрите в https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm). Каждая задача, названная в task_list , соответствует обращению. Каждая команда для выполнения JSmol имеет следующую структуру: Jmol.script( jsmol_obj , " jsmol_command1; jsmol_command2 "); где jsmol_obj относится к изменяемому объекту (jsmol_ref и jsmol_obj по умолчанию для целевого и интерактивного объектов), за которыми следует одна или несколько команд, разделенных знаком ";".
2. Создавайте новые модели.
   1. Используйте любую модель .xyz, загруженную в Интернет или созданную молекулярными редакторами, такими как Avogadro (https://avogadro.cc/).

Results

Эволюция углового несоответствия и других переменных
Как показано на шаге 3.3.1 в Дополнительном файле 2, на экране видеомонитора участнику представляются два полотна, отображающие копии одного и того же виртуального 3D-объекта в разных ориентациях. На левом холсте целевой объект (tObj) остается статичным и служит целевой позицией или позицией tObj. На правом холсте интерактивный объект (iObj) отображается в другом положении и позволяет участнику перемещать его с течением времени вокруг фиксированного центра вращения с помощью мыши (только вращения; переводы отключены). Поставленная задача включает в себя настройку iObj таким образом, чтобы она точно соответствовала tObj на основе суждения участника. Три используемых 3D-объекта можно увидеть на рисунке 1. Процесс решения, хотя и сложный, может быть тщательно записан для последующего анализа. Эта запись выходит за рамки простого видеоматериала, поскольку каждое положение с фиксированным интервалом 0,1 с захватывается в виде кватерниона, образуя временной ряд, который позволяет полностью реконструировать весь процесс. В любом положении существует уникальное вращение вокруг определенной оси в диапазоне от 0° до 180°, которое непосредственно преобразует положение tObj в положение iObj. Хотя это вращение является абстрактным и не связано с PR участника во время выполнения задания, оно точно указывает на точное положение iObj относительно tObj. AD — это угол этого поворота, который может быть вычислен из соответствующего кватерниона. По мере приближения позиции iObj к позиции tObj это значение стремится к нулю.

После шага 3.1.6 раздела Обработка и анализ данных были созданы два файла: вывод merge X Y.xlsx и вывод jmol console X Y.xlsx, где X — значение sessionID , а Y — значение taskID . Если использовать значения по умолчанию, оставляя поля ввода пустыми, файлы должны называться output merge 1682707472090 bolaBastao_c.xlsx и выводить 1682707472090 bolaBastao_c.xlsx консоли jmol. Выходные файлы слияния X Y.xlsx содержат выбранные данные отслеживания взгляда, объединенные с данными iRT, выровненные по времени эпохи UNIX, аналогично рисунку 2A , если все прошло правильно, или рисунку 2B , если произошла какая-либо проблема.

Выходные файлы X Y.xlsx консоли jmol содержат до пяти вкладок, заполненных командами консоли Jmol, которые при вставке в консоль Jmol будут воспроизводить движения участника при решении задачи: реплей вращений воспроизводит вращения iObj, сделанные участником; gaze replay int воспроизводит вращения iObj с добавлением тепловой карты фиксации на объекте во времени с использованием прозрачной/непрозрачной шкалы; повтор взгляда tgt показывает только тепловую карту 3D фиксации tObj во время выполнения задания; Рамка взгляда int и рамка взгляда tgt показывают общую карту фиксации всего процесса как для iObj, так и для tObj. Все они проиллюстрированы на рисунке 3A-F. Jmol и JSmol по сути идентичны, Jmol — это плагин, основанный на языке программирования Java, а JSmol — на языке программирования JavaScript, оба имеют одинаковые функциональные возможности и используются взаимозаменяемо.

На рисунке 4 показана эволюция углового несоответствия в зависимости от времени для шести различных сценариев с участием двух участников и трех объектов. Продолжительность процесса может существенно варьироваться в зависимости от того, как участник справляется с объектом интерактивного задания. В любой задаче, правильно выполненной участником, AD стремится к нулю в конце. Если тот же график не демонстрирует такого поведения, либо участник не смог выполнить задачу, потому что сдался или достиг лимита времени на задачу (примерно 5 минут), либо произошла ошибка при обработке данных.

Объединенные результаты записей PR iObj и данные, полученные в результате измерений с помощью отслеживания движения глаз, показаны на рисунке 5. Изменение углового несоответствия между мишенью и инерциальными объектами в зависимости от времени указывает на три различных этапа в процессе решения поставленной задачи: первоначальное наблюдение за моделями; баллистическое вращение интерактивной модели; тонкая настройка вращения интерактивной модели. На рисунке 5А показано чередование взгляда между моделями на начальной фазе и, в частности, на этапе тонкой настройки. На рисунке 5B показано, что зрачок остается более расширенным на начальной стадии и фазе тонкой настройки. В фазе тонкой настройки длительный период фиксации на интерактивной модели (40-47 секунд на рисунке 5А) соответствует плато в диаметре зрачка (40-47 секунд, рисунок 5В).

Эти результаты позволяют предположить, что данные, полученные с помощью предложенного здесь метода, согласуются с моделью решения задач мысленного вращения, предложенной на основе данных фиксации взгляда для статических моделей^14,66 и для интерактивных моделей²³. Такая модель будет включать в себя три этапа: поиск, преобразование и сравнение, а также подтверждение совпадения или несоответствия между моделями. Кроме того, чередование фиксаций между целевой и интерактивной моделями на этапах сравнения, наблюдаемых на рисунке 5А, согласуется с результатами, полученными в тестах типа Шеппарда и Метцлера, использующих статические изображения^42,66. Однако в случае интерактивных моделей вполне вероятно, что эти этапы поиска, преобразования, сравнения и подтверждения происходят последовательно посредством взаимодействия и перепозиционирования интерактивной модели.

3D траектории вращения
Каждый оборот в трехмерном пространстве от 0° до 180° может быть переведен в точку внутри шара (под которой понимается объем внутри сферы) с радиусом, равным 180°. На рисунке 6 показано это соответствие на примере трех примеров вращений. Расстояние от точки до центра шара — это несоответствие угла iObj от положения tObj, а вектор, указывающий от центра шара к точке, — это направление вращения, причем вращение осуществляется по часовой стрелке при наблюдении из центра. Такое преобразование вращений в точки в шаре позволяет непосредственно визуализировать в одном 3D-чертеже всю траекторию вращений, сделанных участником задачи. Мы называем этот рисунок траекторией 3D-вращения.

По аналогии с мерой AD, для любых заданий, правильно выполненных участником, траектория должна приближаться, в конечном итоге, к центру шара. Если траектория достигает границы сферы с поворотом на 180°, она будет огибаться до антиподальной точки на сфере. На рисунке 7 показана траектория вращения двух ранее упомянутых участников, выполняющих третью задачу (С1 и С2 на рисунке 4), рассматриваемая как в перспективе, так и в проекциях на трех координатных плоскостях. Из рисунка видно, что, несмотря на относительно небольшую начальную AD около 45°, участник 1 сначала отклонился от целевого положения, прежде чем найти окончательный путь к решению, в отличие от участника 2, который выполнил задачу быстрее.

Тепловая карта 3D фиксации
В процессе решения задачи участник попеременно переводит взгляд с tObj и iObj во время взаимодействия с iObj. С помощью данных отслеживания движения глаз мы можем извлечь положение взгляда участника и создать тепловую карту областей экрана, которые привлекли наибольшее и наименьшее внимание участника в любой заданный интервал. Более того, с помощью данных отслеживания движения глаз и данных кватернионов iRT мы можем одновременно отображать в трехмерном пространстве и во времени, сколько внимания уделяется каждой из вершин объекта, даже для объектов, вращающихся во времени.

На рисунке 3 внимание, уделяемое объекту, представлено уровнем непрозрачности каждой вершины. Чем ближе он к взгляду участника и чем дольше он остается в непосредственной близости, тем больше внимания он получает, что приводит к более высокой непрозрачности в этой области объекта. Пространственное снижение внимания моделируется с помощью двумерной однородной гауссовой функции для положения взгляда и простой однородной гауссовской функции, применяемой к прошедшему времени. Стандартное отклонение этих гауссов было выбрано исходя из угла зрения 2 градуса⁶⁷ и кратковременной зрительной памяти 10 с⁶⁸ секунд. Чтобы предотвратить появление визуальных артефактов с помощью этого метода, данные о приближении взгляда обнуляются, когда взгляд находится за пределами холста объекта (iObj не получает остаточного внимания, когда взгляд находится внутри холста tObj или за его пределами). На рисунке 3 показан один кадр от каждого объекта всей анимации воспроизведения и те же кадры с тепловой картой 3D-фиксации. Возможное сравнение tObj и iObj участником в процессе решения можно увидеть (рис. 3C, D) по мере того, как задача приближается к своему завершению (время = 6,3 с). Весь процесс можно увидеть в виде видео в дополнительном видео S1. Мы сообщаем о результатах компьютерного вращения 3D-моделей, представленных участникам в виде задачи, взятой в обычных условиях.

Рисунок 1: Используемые целевые объекты. Изображение 3D моделей, используемых в заданиях на веб-странице. (А) Молекула с изображением шара и палочки; (В) Та же молекула с закрашенными многоугольниками, без водорода, представленная только палочками; (C) поликуб, похожий на одну из фигур¹³ Шепарда и Метцлера, полученный из библиотеки стимулов Петерса и Баттисты³⁶. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 2: Сравнение листов. (A,B) Изображения взяты из 1682707472090 bolaBastao_c.xlsx объединения выводов электронных таблиц. Столбцы от A до G содержат значения данных iRT, а столбцы от H до N содержат значения данных айтрекера. В (А) все верно, в то время как в (В) в столбцах айтрекера все значения постоянны и не совпадают со значениями системного времени iRT. Если в процессе синхронизации данных возникнут какие-либо проблемы, скорее всего, произойдет эта ошибка. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 3: Тепловая карта 3D фиксации. Фиксация тепловой карты над 3D-объектом с использованием шкалы непрозрачности, где большая непрозрачность коррелирует с большим количеством времени, проведенного рядом с взглядом участника. (A,B) tObj и iObj изображения решаемой участником задачи на отметке 6,3 с. (К,Г) Те же изображения, что и (A,B) в тот же момент, с добавленной шкалой непрозрачности тепловой карты. (Э,Ж) Фиксация тепловых карт изображений с учетом всего периода, за который участник мог видеть объекты. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 4: Сетка AD. График сетки углового несоответствия между двумя участниками и тремя задачами. Столбцы представляют участников 1 и 2, а строки представляют задачи, решенные участниками с использованием трех объектов, показанных на рисунке 3. Обратите внимание, что в то время как AD варьируется от 0° до 180°, временной диапазон не фиксирован и меняется в зависимости от результатов участника и его собственного решения остановить процесс. По мере того, как участник поворачивает iObj, AD между tObj и iObj меняется с течением времени, и в конечном итоге участник выбирает текущую ориентацию iObj как наиболее близкую к tObj. В^1-м и^2-м заданиях оба участника, казалось, продвигались одинаково, но участнику 1 потребовалось вдвое меньше времени, чем участнику 2. И в^3-м задании, хотя участнику 2 потребовалось меньше времени для выполнения задания, участник 1 уже решил задачу до отметки 20 с и продолжал вносить небольшие корректировки, чтобы лучше сопоставить iObj с tObj. Сокращение: AD = угловое несоответствие. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 5: AD с данными отслеживания взгляда. Эволюция углового несоответствия в сочетании с данными айтрекера. (A) Угловое несоответствие и положение взгляда, эволюция углового несоответствия между tObj и iObj в сочетании с данными региональной фиксации для каждой модели. График показывает, в какой области находится взгляд участника: красный, когда находится внутри холста iObj, синий, когда находится внутри холста tObj, и серый, когда находится за их пределами, когда они смотрят на другой элемент на экране или отворачиваются от него. (B) Угловое несоответствие и диаметр зрачка. Угловое несоответствие, выделено синим цветом, в сочетании с данными о диаметре зрачка, оранжевым. Диаметр зрачка — это среднее значение левого и правого зрачков в каждый момент времени. Сокращение: AD = угловое несоответствие. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 6: Шар вращений. На этом рисунке показано, как каждое возможное положение вращения объекта из исходного положения может быть представлено в виде точки на шаре радиусом 180°, что позволяет получить полное представление о положении вращения объекта по всем трем осям. Здесь под шаром понимается объем, ограниченный сферой. (А) Объект, используемый в качестве примера, представляет собой асимметричное объединение семи кубов, изображенных вверху, слева. К этому объекту применяются три простых вращения под номерами I, II и III, как показано справа. Они равны, соответственно, +90° по оси x, -60° по оси z и 180° по оси между +x и -y, под углом 45° от обеих осей. (B) Шар вращения показан с точками, соответствующими вращениям I, II и III. Расстояние до центра мяча — это неравенство углов. Поскольку III достигает максимального угла поворота (180°), он также представлен в своей антиподальной точке, так как они по сути одинаковы. Вращение II, находясь против часовой стрелки по отношению к положительному направлению оси z, оказывается на отрицательной стороне. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 7: 3D-траектория вращения. Траектория вращения внутри шара вращений, сделанных двумя участниками третьего задания, рассматривается как в перспективе (А), так и в проекциях на координатные плоскости (В-D). Толщина линии со временем уменьшается. Каждый столбец соответствует участнику (v1 и v2). По мере приближения траекторий к центру шара участники приближаются к решению поставленной задачи. «0» указывает на начальное положение задачи. Последующие цифры обозначают точки, где траектория доходит до края шара и продолжается через антиподальную точку на противоположной стороне (1 к 2, 2 к 3, 3 к 4 и т. д.). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Дополнительная таблица S1: Заголовки листов. Список заголовков в клонированном файле листа. Каждый заголовок соответствует имени переменной и будет получать данные из этой переменной, образуя столбец значений, используемых при обработке и анализе наших данных. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный файл 1: Руководство по протоколу шага 1. Список скриншотов, направляющих по шагам протокола метода "1. Подготовка средств сбора данных». Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный файл 2: Руководство по протоколу шага 3. Список скриншотов, направляющих по шагам протокола метода "3. Обработка и анализ данных». Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительное видео 1: Повтор фиксационного картирования. Пример анимированных повторов отображения временного отображения внимания в 3D от iObj и tObj одновременно. Записано с помощью OBS Studios и обработано с помощью видеоредактора OpenShot. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Discussion

Как уже говорилось ранее, в этой статье представлена подробная процедура отображения данных фиксации и саккадного движения в реальном времени на интерактивных 3D-объектах, которая легко настраивается и использует только бесплатное программное обеспечение, предоставляя пошаговые инструкции для того, чтобы все работало.

Несмотря на то, что эта экспериментальная настройка включала в себя очень интерактивную задачу, такую как перемещение 3D-объекта в соответствии с ориентацией другого объекта с PR по двум из трех возможных осей, мы обеспечили тщательное документирование наших скриптов с помощью надлежащих комментариев, чтобы облегчить любую настройку. Могут быть разработаны различные другие типы экспериментов, причем устройство слежения за движением глаз является лишь одним из многих других возможных устройств, используемых для сбора временных данных.

Заголовки в скопированном файле из шага 1.1.3.3 определяют содержимое и место сбора данных в Интернете. В дополнительной таблице S1 перечислены имена переменных (все с учетом регистра) и их значение. Эти переменные отражают переменные, найденные в файлах JavaScript в репозитории GitHub. Тип и разнообразие имен данных и переменных, как из этой таблицы, так и из файлов JavaScript, должны быть изменены в соответствии с объемом и требованиями исследования.

Запись данных о вращении в кватернионы позволяет исследователю воспроизвести те же движения, которые совершали участники во время выполнения заданий, облегчая анализ процесса и используя пространство для хранения гораздо эффективнее по сравнению с захватом экрана. Более детальный анализ, такой как трехмерная траектория вращения, показанная на рисунке 7 с использованием шара вращений, возможен только с помощью данных внутренних кватернионов интерактивных объектов. Развивая график AD с течением времени Гардони²² и Адамса²³, этот новый тип графика предоставляет более подробную информацию с фактическими 3D-координатами вращения во времени.

Еще одно преимущество заключается в использовании стандартного измерения времени для синхронизации всех источников данных. Объединение различных слоев информации, зависящей от времени, с этим становится намного проще, например, наложение графиков с несколькими источниками данных, как на рисунке 5B с измерением расширения зрачка, или на рисунке 5A с цветными вертикальными полосами, обозначающими возможные закономерности в процессе решения участников, даже когда в iObj почти не происходило вращения. Тепловая карта 3D-фиксации, показанная на рисунке 3 , возможна только из данных кватернионов и синхронизации данных.

Крайне важно использовать синхронизацию с помощью стандартного измерения времени, чтобы обеспечить любую интеграцию временных данных. Стандартом времени для нашего проекта была выбрана эпоха UNIX, которая используется в JavaScript и большинстве других языков программирования. Для каждого набора данных должен использоваться какой-либо известный стандарт времени, даже если другой стандарт, который впоследствии может быть преобразован в эпоху UNIX. Временные данные, которые не используют никаких стандартов, наверняка не смогут синхронизироваться и потеряют свою полезность.

Еще одним ограничением является относительно низкая частота 10 Гц, используемая в тестах iRT, по отношению к частоте айтрекера 60 Гц. Отчасти это происходит из-за ограничений на обработку и передачу данных в браузере, так как любая более высокая частота использования пропорционально уменьшит максимальный лимит времени каждой задачи, который в настоящее время составляет 327 с. Кроме того, плавный рендеринг сложных анимаций в Jmol с такой частотой кадров уже представлял проблемы. Дополнительное видео S1 представляет собой видеозапись рендеринга повтора Jmol с изменением непрозрачности во времени, отображая количество фокуса, полученного каждой вершиной. В то время как продолжительность видео составляет почти 2 минуты, фактическая задача была выполнена за 63 секунды. Будущие разработки программного обеспечения, ориентированные именно на такие функции, а не на адаптацию существующих, могли бы устранить эти ограничения и расширить возможности сбора и анализа данных.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (Open Source)		Любой обновленный современный браузер, совместимый с WebGL (https://caniuse.com/webgl), и в свою очередь с Jmol, может быть использован
GNU Octave	Open Source		https://octave.org/
Google Apps Script	Google LLC		script.google.com
Google Sheets	Google LLC		https://www.google.com/sheets/about/
Ноутбук			Любой компьютер, на котором может быть запущено программное обеспечение системы отслеживания взгляда.
Программный комплекс	Mangold Mangold		Программный интерфейс, используемый для устройства слежения за движением глаз. Можно использовать любое программное обеспечение, которое выводит данные со значениями системного времени.
Мышь			Любая мышь, способная щелкать и перетаскивать простыми движениями, должна быть совместима. Человеческие интерфейсы, аналогичные мыши с теми же возможностями, такими как сенсорный экран или указатель, должны быть совместимы, но могут вести себя по-разному.
Vt3mini	EyeTech Цифровые системы		60 Гц. Любое работающее устройство слежения за движением глаз должно быть совместимо.