Натуралистическая установка для представления реальных людей и живых действий в исследованиях экспериментальной психологии и когнитивной нейробиологии

Summary

Это исследование представляет собой натуралистическую экспериментальную установку, которая позволяет исследователям представлять стимулы действия в реальном времени, получать данные о времени отклика и отслеживании мыши, в то время как участники реагируют после каждого дисплея стимула, а также менять участников между экспериментальными условиями с помощью уникальной системы, включая специальный прозрачный экран с органическим светодиодом (OLED) и манипулирование светом.

Abstract

Восприятие действий других имеет решающее значение для выживания, взаимодействия и общения. Несмотря на десятилетия исследований когнитивной нейробиологии, посвященных пониманию восприятия действий, мы все еще далеки от разработки системы компьютерного зрения, вдохновленной нейронами, которая приближается к восприятию действий человека. Основная проблема заключается в том, что действия в реальном мире состоят из разворачивающихся во времени событий в пространстве, которые происходят «здесь и сейчас» и могут быть реализованы. Напротив, визуальное восприятие и исследования когнитивной нейробиологии на сегодняшний день в значительной степени изучали восприятие действий с помощью 2D-дисплеев (например, изображений или видео), в которых отсутствует присутствие актеров в пространстве и времени, поэтому эти дисплеи ограничены в обеспечении действенности. Несмотря на растущий объем знаний в этой области, эти проблемы должны быть преодолены для лучшего понимания фундаментальных механизмов восприятия действий других людей в реальном мире. Цель этого исследования - представить новую установку для проведения натуралистических лабораторных экспериментов с живыми актерами в сценариях, которые приближаются к реальным условиям. Основным элементом установки, используемой в этом исследовании, является прозрачный экран с органическими светодиодами (OLED), через который участники могут наблюдать за живыми действиями физически присутствующего актера, в то время как время их презентации точно контролируется. В данной работе эта установка была проверена в поведенческом эксперименте. Мы считаем, что установка поможет исследователям выявить фундаментальные и ранее недоступные когнитивные и нейронные механизмы восприятия действия и станет основой для будущих исследований, изучающих социальное восприятие и познание в натуралистических условиях.

Introduction

Фундаментальным навыком выживания и социального взаимодействия является способность воспринимать и осмысливать действия других людей и взаимодействовать с ними в окружающей среде. Предыдущие исследования, проведенные за последние несколько десятилетий, внесли значительный вклад в понимание фундаментальных принципов того, как люди воспринимают и понимают действия других 1,2,3,4,5,6,7,8,9,10,11 . Тем не менее, учитывая сложность взаимодействий и обстоятельства, в которых они происходят, существует очевидная необходимость в дальнейшем развитии совокупности знаний в натуралистических условиях, чтобы достичь более полного понимания этого сложного навыка в условиях повседневной жизни.

В естественной среде, такой как наша повседневная жизнь, восприятие и познание проявляют воплощенные, встроенные, расширенные и активные характеристики¹². В отличие от интерналистских описаний функций мозга, которые, как правило, недооценивают роль тела и окружающей среды, современные подходы к воплощенному познанию сосредоточены на динамической связи мозга, тела и окружающей среды. С другой стороны, большинство исследований в области социальной психологии, когнитивной психологии и нейробиологии восприятия действий склонны предполагать, что использование хорошо контролируемых и упрощенных планов экспериментов в лабораторных условиях (например, изображений или видео в компьютеризированных задачах) дает результаты, которые могут быть обобщены для более сложных сценариев, таких как взаимодействия в реальном мире 1,2,3,4,5,6,7 ^,8,9,10,11. Это предположение гарантирует, что надежные и надежные данные могут быть получены при многих обстоятельствах. Тем не менее, хорошо известная проблема заключается в том, что достоверность моделей, полученных в результате тщательно контролируемых экспериментов, ограничена при проверке в реальном контексте¹³. Следовательно, были проведены дальнейшие исследования 13,14,15,16,17,18,19,20,21,22 для рассмотрения экологической и внешней валидности стимулов и экспериментальных проектов в различных областях исследований.

В этом исследовании предлагается новый метод изучения того, как люди воспринимают и оценивают действия других людей, используя живые действия, выполняемые реальным, физически присутствующим актером. Используются сценарии, похожие на реальные контексты, в то время как экспериментаторы контролируют возможные мешающие факторы. Это исследование представляет собой форму «натуралистического лабораторного исследования» в рамках Matusz et al.14, которое можно рассматривать как промежуточный этап между «классическим лабораторным исследованием», в котором используется максимальный контроль над стимулами и окружающей средой, часто за счет естественности, и «полностью натуралистическим исследованием реального мира», целью которого является максимизация естественности за счет контроля над стимуляцией и окружающей средой ¹⁴. Исследование направлено на удовлетворение потребности в эмпирических исследованиях на этом уровне в исследованиях восприятия действий, чтобы преодолеть разрыв между результатами, полученными в традиционных лабораторных экспериментах с высокой степенью экспериментального контроля, и результатами, полученными в исследованиях, проведенных в совершенно неограниченных, естественных условиях.

Контролируемые и неограниченные эксперименты
Экспериментальный контроль является эффективной стратегией разработки экспериментов для проверки конкретной гипотезы, поскольку он позволяет исследователям изолировать целевые переменные от вероятных смешивающих факторов. Это также позволяет пересмотреть одну и ту же гипотезу с определенными уровнями поправок, таких как использование слегка или полностью разных стимулов в одном и том же дизайне или тестирование одних и тех же стимулов в альтернативных экспериментальных установках. Систематическое исследование с помощью контролируемых экспериментов является традиционной формой методологии в исследованиях в когнитивной науке и соответствующих областях. Контролируемые эксперименты по-прежнему помогают установить совокупность знаний о фундаментальных принципах когнитивных процессов в различных областях исследований, таких как внимание, память и восприятие. Тем не менее, недавние исследования также признали ограниченность традиционных лабораторных экспериментов с точки зрения обобщения результатов в реальных условиях, и исследователям было рекомендовано проводить исследования в улучшенных экологических условиях 13,14,15,16,17,18,19,20,21 . Этот сдвиг направлен на решение двух важных вопросов, касающихся несоответствия между традиционными лабораторными экспериментами и реальными условиями. Во-первых, мир за пределами лаборатории менее детерминирован, чем в экспериментах, что ограничивает репрезентативную силу систематических экспериментальных манипуляций. Во-вторых, человеческий мозг обладает высокой адаптивностью, и это часто недооценивается из-за практических ограничений разработки и проведения экспериментальных исследований²². Понятие «экологическая обоснованность»^23,24 было использовано для рассмотрения методов решения этого вопроса. Этот термин обычно используется для обозначения предпосылки для обобщения экспериментальных результатов в реальный мир за пределами лабораторного контекста. Экологическая валидность также интерпретируется как относящаяся к проверке практически натуралистических экспериментальных установок с неограниченными стимулами, чтобы гарантировать, что дизайн исследования аналогичен реальным сценариям²⁵. Из-за высокой степени вариативности в трактовке этого термина требуется понимание преимуществ и ограничений альтернативных методологий и выбора стимулов.

Уровни натурализма в стимулах и дизайне экспериментов
Предыдущие работы в области экспериментальной психологии и когнитивной нейробиологии использовали широкий спектр стимулов с различными уровнями натурализма²⁶. Большинство исследователей предпочитают использовать статические изображения или короткие динамические видеоролики, потому что эти стимулы легче подготовить, чем те, которые могут имитировать реальное действие или событие. Несмотря на свои преимущества, эти стимулы не позволяют исследователям измерять условное поведение среди социальных агентов. Иными словами, они не поддаются действию и не имеют социальной доступности²⁷. В последние годы была разработана альтернатива этим неинтерактивным стимулам: анимация виртуальных аватаров в реальном времени. Эти аватары позволяют исследовать взаимодействие между аватарами и их пользователями. Тем не менее, использование виртуальных аватаров подвержено меньшим опасениям пользователей, особенно когда они не кажутся особенно привлекательными с точки зрения их реалистичного и условного поведения²⁶. Поэтому в настоящее время наблюдается больший интерес к использованию реальных социальных стимулов в экспериментальных исследованиях. Хотя для их проектирования, записи и анализа данных может потребоваться современное оборудование и сложный анализ данных, они являются лучшими кандидатами для понимания натуралистического поведения и познания человека.

В настоящем исследовании предложена методология использования реальных социальных стимулов в лабораторных условиях. Это исследование направлено на изучение того, как люди воспринимают и оценивают действия других людей в условиях с повышенной экологической обоснованностью по сравнению с традиционными лабораторными экспериментами. Мы разработали и описали новую установку, в которой участники подвергаются воздействию реальных актеров, которые физически присутствуют и находятся с ними в одной среде. В этом протоколе измеряется время реакции участников и траектории мышей, что требует точного определения времени предъявления стимулов и строгого контроля за экспериментальными условиями в этой улучшенной экологической среде. Таким образом, экспериментальная парадигма выделяется среди структур, присутствующих в литературе, поскольку естественность стимулов максимизируется без ущерба для контроля над окружающей средой. Ниже в протоколе представлены шаги по созданию такой системы, а затем приводятся репрезентативные результаты для выборочных данных. Наконец, представлено обсуждение значения парадигмы, ограничений и планов модификаций.

Экспериментальный дизайн
Прежде чем перейти к разделу протокола, мы опишем параметры, используемые в настоящем исследовании, и представим детали стимулов вместе с дизайном эксперимента.

Параметры в исследовании
Это исследование направлено на то, чтобы измерить, как тип актера и класс действий, которые они выполняют, влияют на процессы восприятия разума участников. В протоколе процесс восприятия разума измеряется в двух основных измерениях, а именно в агентности и опыте, как предлагалось в предыдущих исследованиях²⁸. Верхние и нижние границы этих двух измерений также включены, как недавно было представлено Li et ^al.29.

Структура исследования была вдохновлена однокатегорической версией³⁰ широко используемой неявной ассоциативной задачи (IAT)³¹. В этой задаче время отклика участников, когда они сопоставляют концепцию атрибута с целевой концепцией, используется в качестве показателя силы их неявных ассоциаций для этих двух понятий. В адаптации этой неявной задачи участникам представляются живые действия, выполняемые реальными актерами, и требуется сопоставить их с целевыми концепциями. Целевыми концепциями являются верхний и нижний уровни агентства или измерения опыта, в зависимости от блока эксперимента.

Подводя итог, можно сказать, что независимыми переменными являются Actor Type и Action Class. Тип актера имеет два уровня (т.е. два разных актера, Актер1 и Актер2, выступающие в исследовании). Класс действия имеет два уровня: класс действия1 и класс действия2, и каждый класс содержит четыре действия. Участники оценивают двух акторов отдельно в четырех блоках (по одному актору в каждом блоке), и в каждом блоке акторы выполняют все действия в уравновешенном порядке. Участники проводят оценки по двум заранее определенным и вынужденным измерениям: агентству и опыту. Четыре блока в эксперименте: (1) Actor1 в блоке агентства, (2) Actor2 в блоке агентства, (3) Actor1 в блоке опыта и (4) Actor2 в блоке опыта. Порядок блоков также уравновешен между участниками, так что блоки с одним и тем же агентом никогда не следуют друг за другом.

Помимо ответов участников, записывается время отклика и координаты x-y беспроводной мыши, которую они используют, когда они движутся к одному из двух вариантов ответа. Таким образом, зависимыми переменными являются реакция и время отклика (RT) участников, а также измерения максимального отклонения (MD) и площади под кривой (AUC), полученные с помощью компьютерного отслеживания мышью. Переменная реакция категориальна; он может быть высоким или низким, и, поскольку оценки проводятся в одном из заданных блоков, ответы также могут быть помечены как «Высокая агентность», «Низкая агентность», «Высокий опыт» или «Низкий опыт». Время отклика является непрерывной переменной; Его единицей измерения являются секунды, и это относится к времени, прошедшему между началом представления действия и возникновением щелчка мыши по одному из вариантов ответа. MD траектории является непрерывной переменной и относится к наибольшему перпендикулярному отклонению между траекторией участника (участников) и идеализированной траекторией (прямой). AUC траектории также является непрерывной переменной и относится к геометрической области между траекторией участника (участников) и идеализированной траекторией³².

Стимулы и дизайн эксперимента
В настоящем исследовании используется трехэтапный эксперимент. Для анализа используются измерения из третьей части; Первые две части служат подготовкой к заключительной части. Ниже мы опишем каждую часть эксперимента вместе с экспериментальными стимулами и гипотезами.

В части 1 эксперимента (часть лексического обучения) участники завершают учебную сессию, чтобы понять концепции свободы воли и опыта, а также уровни способностей, представленные словами «высокий» и «низкий». Для выбора понятий (n = 12), которые будут использоваться в данном учебном занятии, некоторые из авторов настоящей работы провели нормативное исследование³³. Поскольку настоящее исследование планировалось проводить на родных языках участников, концепции также были переведены на турецкий язык перед нормализацией. Понятия были отобраны из числа тех, которые были тесно связаны с Высоким (n = 3) и Низким (n = 3) концами двух измерений (по шесть понятий для каждого). Эта часть имеет решающее значение, поскольку ожидается, что понимание участниками концепций будет направлять их процессы оценки.

В части эксперимента 2 (часть идентификации действия) участники наблюдают за теми же восемью действиями, выполняемыми Актером1 и Актером2 одно за другим, и сообщают экспериментатору о том, что это за действие. Этот раздел служит проверкой манипуляций; Представляя все действия, когда оба актера их выполняют, можно убедиться, что участники понимают действия и знакомы с актерами, прежде чем они начнут неявный тест, где им нужно быстро оценить. Действия, выбранные для класса действия 1 и класса действия 2, - это действия, которые имели самые высокие баллы H и уровни достоверности (четыре разных примера действий в каждом классе действий) в соответствии с результатами двух нормативных исследований (N = 219) для каждого состояния актора, проведенных некоторыми авторами (рукопись находится в стадии подготовки). Все действия выполняются в течение равного промежутка времени в 6 с.

Это продолжающееся исследование, и оно имеет некоторые другие компоненты; Однако гипотезы для описанных выше разделов заключаются в следующем: (i) тип субъекта будет влиять на зависимые переменные; Actor2 будет давать более длинные RT, более высокие MD и большие AUC по сравнению с Actor1; (ii) тип действия повлияет на зависимые измерения; Класс действия 1 даст более длинные RT, более высокие MD и большие AUC по сравнению с классом действия 2; (iii) зависимые измерения для высоких и низких ответов для одного и того же актора и класса действий будут различаться в зависимости от измерений блока: агентность и опыт.

Protocol

Протоколы экспериментов в этом исследовании были одобрены Комитетом по этике исследований с участием людей Билькентского университета. Все участники, включенные в исследование, были старше 18 лет, и они прочитали и подписали форму информированного согласия перед началом исследования.

1. Общие этапы проектирования

ПРИМЕЧАНИЕ: Рисунок 1A (вид сверху) и рисунок 1B и рисунок 1C (вид спереди и сзади) демонстрируют планировку лаборатории; Эти цифры были созданы с учетом исходной лабораторной установки и конфигурации, разработанной для этого конкретного исследования. На рисунке 1A показана компоновка лаборатории сверху. На этом рисунке можно увидеть светодиодные светильники на потолке и кабинете актера. Система плотных штор делит комнату пополам и помогает манипулировать светом, предотвращая утечку света в переднюю часть комнаты (зону участника). На рисунке 1В представлен вид лаборатории с точки зрения экспериментатора. Участник сидит прямо перед OLED-экраном, и с помощью прозрачного дисплея он может наблюдать за живыми действиями, выполняемыми актерами. Они дают свои ответы, используя ответное устройство (беспроводную мышь) перед ними. Экспериментатор может одновременно наблюдать за актером через дисплей участника (OLED-экран) и кадры, поступающие с камеры видеонаблюдения. На рисунке 1С показано закулисье исследования (Actor Area) с камерой видеонаблюдения и персональным компьютером (PC) Actor, которые не видны участнику. Кадры с камеры видеонаблюдения отправляются на компьютер с камерой, чтобы установить связь между актерами и экспериментатором. Актерский компьютер отображает актеру порядок блоков и информацию о следующем действии, чтобы эксперимент протекал без перерыва. Актеры могут быстро проверить следующее действие, в то время как участники реагируют на действие в предыдущем испытании.

Рисунок 1: Натуралистическая лабораторная установка . (A) Вид сверху вниз на натуралистическую лабораторную установку. (B) Задняя и лицевая стороны натуралистической экспериментальной установки с точки зрения участника. (C) Задняя и лицевая стороны натуралистической экспериментальной установки с точки зрения актера. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

1. Спроектируйте установку, которая включает в себя три компьютера, в том числе (1) основной рабочий стол управления (ПК Experimenter), (2) ноутбук актера (ПК Actor) и (3) ПК с камерой, одно беспроводное устройство ответа (мышь участника), два дисплея, схему освещения и камеру видеонаблюдения (см. Рисунок 2A для системной схемы установки этого исследования).
   ПРИМЕЧАНИЕ: ПК экспериментатора будет использоваться экспериментатором для запуска сценариев эксперимента, ПК актера будет использоваться актером для отслеживания блоков эксперимента и порядка действий в блоках, а третье устройство, ПК с камерой, будет подключено к камере видеонаблюдения, расположенной в зоне актера и используемой экспериментатором для наблюдения за кулисами.
2. Подключите отдельные дисплеи (один для демонстрации стимулов [Дисплей участника], который является OLED-экраном) и экран для наблюдения за экспериментом, ответным устройством и цепью освещения (через провода или беспроводные соединения) к компьютеру экспериментатора (см. рис. 2A).
3. Подключите компьютер экспериментатора и компьютер актера по беспроводной сети, чтобы передать актерам информацию, связанную со статусом эксперимента (например, «идентификатор следующего действия — приветствие»).
4. Спроектируйте и создайте схему освещения, которая (см. Рисунок 2B для печатной платы) может управляться микроконтроллером для включения и выключения светодиодов.
   ПРИМЕЧАНИЕ: На рисунке 3A показано непрозрачное использование OLED-экрана, используемого в исследовании, с точки зрения экспериментатора. Для обеспечения непрозрачности фон экрана настраивается на белый (RGB: 255, 255, 255), а весь свет в комнате (как в Зоне участника, так и в Зоне актера) выключен. Участник видит фиксацию перед стимулами. На рисунке 3B показано прозрачное использование цифрового экрана в исследовании с точки зрения экспериментатора. Чтобы обеспечить прозрачность, фон экрана настраивается на черный (RGB: 0, 0, 0), а светодиодная подсветка на потолке включается. Участник наблюдает за актером. На рисунке 3C показано непрозрачное использование цифрового экрана в исследовании. Для обеспечения непрозрачности фон экрана настраивается на белый (RGB: 255, 255, 255), а весь свет в комнате выключен. Участнику предоставляется экран оценки, чтобы дать ответ. Им нужно перетащить курсор в левый верхний или правый верхний угол экрана (один из двух вариантов ответа, высокий или низкий) с помощью беспроводной мыши. Записывается их траектория мыши и время отклика.
5. Подключите микроконтроллер к ПК Experimenter.
6. Храните скрипты, выполняющие эксперимент, на компьютере экспериментатора.
   ПРИМЕЧАНИЕ: На рисунке 4A показано закулисье (зона актера) во время эксперимента. Переднее освещение комнаты (зона участника) выключено, и на ПК актера отображается название действия, которое будет выполнено актером. На рисунке 4B показан актерский кабинет, в котором актеры могут дождаться своей очереди и переодеться. Кабинет актера не виден с точки зрения участника, и, поскольку используется система занавесов, актеры могут использовать любой вход, который они хотят. Во время эксперимента флуоресцентные лампы, отображаемые на рисунке, выключены.

Рисунок 2: Системная и электрическая схема . (А) Системная схема натуралистической экспериментальной установки. (B) Электрическая схема световой цепи, поддерживающей OLED-экран во время эксперимента. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 3: OLED-экран с точки зрения экспериментатора. (A) Непрозрачное использование цифрового OLED-экрана с точки зрения экспериментатора. (B) Прозрачное использование цифрового OLED-экрана с точки зрения экспериментатора. (C) Непрозрачное использование цифрового OLED-экрана с точки зрения экспериментатора в течение периода отклика. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 4: Закулисье эксперимента. (A) За кулисами во время эксперимента. (B) Кабинет актера находится в задней части OLED-экрана, в котором актеры могут ждать своей очереди, чтобы быть видимыми во время эксперимента. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

2. Проектирование и реализация схемы освещения

1. Шаги, которые необходимо выполнить перед питанием устройств/компонентов схемы
   1. Чтобы изменить состояние светодиодов, установленных за кулисами (Actor Area), предоставьте компьютеру Experimenter возможность переключать светодиоды в положение ВКЛ или ВЫКЛ.
   2. Для передачи цифровых команд, которые будут отправляться с ПК Experimenter по USB-кабелю, выберите микроконтроллерное устройство, которое может принимать цифровые входы и генерировать цифровой выход (см. Таблицу материалов для микроконтроллера, используемого в этом исследовании).
   3. Выберите конкретный USB-порт ПК Experimenter для подключения к USB-входу микроконтроллера с помощью USB-кабеля. Не включайте компьютер, пока не убедитесь, что все соединения успешно установлены.
   4. Включите коммутационный модуль для увеличения амплитуды выходного сигнала (около 3,3 В), генерируемого микроконтроллером.
   5. Подключите назначенный контакт цифрового выхода (для этого эксперимента назначенный вывод — D9) и контакты заземления микроконтроллера к модулю коммутации.
   6. Для запуска нагрузки (светодиодов) включите мощный модуль полевого транзистора металл-оксид-полупроводник (МОП-транзистор) (или модуль МОП-транзисторов), который управляется сигналом, генерируемым коммутационным модулем, и подключите сигнальные контакты модуля МОП-транзистора к соответствующей паре сигнал-земля на коммутационном модуле.
   7. Подсоедините контакты парника модуля MOSFET к нагрузке.
   8. Для подачи регулируемого постоянного напряжения на модули (и косвенно, на светодиоды) включите светодиодный источник питания, который принимает вход сети переменного тока (AC) и генерирует постоянное постоянное напряжение в цепи.
   9. Подключите выходы светодиодного источника питания к входам питания как модуля MOSFET, так и модуля коммутации.
2. Шаги, которые необходимо выполнить после подключения компонентов схемы
   1. Подключите USB-кабель к выбранному USB-порту компьютера Experimenter.
   2. Создайте последовательный канал связи между микроконтроллером и программной средой, работающей на ПК Experimenter (см. подраздел Подключение микроконтроллера к ПК Experimenter).
   3. Подключите блок питания светодиода к сетевому входу переменного тока.

3. Программирование эксперимента

ПРИМЕЧАНИЕ: Создайте три основных экспериментальных сценария (ExperimentScript1.m [Файл дополнительного кодирования 1], ExperimentScript2.m [Файл дополнительного кодирования 2] и ExperimentScript3.m [Файл дополнительного кодирования 3]), а также несколько функций (RecordMouse.m [Файл дополнительного кодирования 4], InsideROI.m [Файл дополнительного кодирования 5], RandomizeTrials.m [Файл дополнительного кодирования 6], RandomizeBlocks.m [Файл дополнительного кодирования 7], GenerateResponsePage.m [файл дополнительного кодирования 8], GenerateTextures.m [файл дополнительного кодирования 9], ActorMachine.m [файл дополнительного кодирования 10], MatchIDtoClass.m [файл дополнительного кодирования 11] и RandomizeWordOrder.m [файл дополнительного кодирования 12]) для проведения эксперимента.

ПРИМЕЧАНИЕ: Пожалуйста, обратитесь к соответствующим скриптам для получения подробных объяснений.

1. Рандомизация пробных и блочных ордеров
   1. Определите и создайте две функции для рандомизации пробных ордеров (RandomizeTrials.m) и блоковых ордеров (RandomizeBlocks.m), которые принимают параметры рандомизации (например, идентификатор участника) в качестве входных данных и возвращают массив псевдорандомизированных последовательностей.
   2. Подробные сведения о том, как генерируются рандомизированные последовательности, см. в скриптах RandomizeBlocks.m (строки 2-24) и RandomizeTrials.m (строки 3-26).
2. Отслеживание ответа (RecordMouse, InsideRoi)
   1. Создайте функцию, которая отслеживает и записывает траекторию мыши участников и время, прошедшее во время эксперимента (см. RecordMouse.m).
   2. Создайте вспомогательную функцию, чтобы проверить, лежат ли выбранные координаты внутри допустимых областей или нет (см. скрипт InsideRoi.m).
3. Генерация текстур для инструкций и отзывов (GenerateTextures.m, GenerateResponsePage.m)
   1. Подготовьте инструкции, связанные с экспериментом, и отзывы, связанные с испытаниями, в виде изображений.
   2. Сохраните содержимое этих изображений в файл .mat (см. файл ExperimentImages.mat [Файл дополнительного кодирования 13]).
   3. Загрузите файл .mat в рабочую область (см. строку 25 GenerateTextures.m) после создания экранного окна.
   4. Создайте отдельную текстуру и ее идентификатор для каждого изображения (см. строки 27-165 GenerateTextures.m).
   5. Определите функцию для рисования связанных текстур страницы ответа для каждого сценария эксперимента (см. раздел GenerateResponsePage.m).
4. Подключение компьютера актера к компьютеру экспериментатора по протоколу TCP/IP
   1. Создайте сокет TCP-сервера в скрипте (см. строку 174 ExperimentScript2.m), работающем на компьютере Experimenter.
   2. Создайте соответствующий сокет TCP-клиента в скрипте (см. строку 16 ActorMachine.m), запущенном на компьютере Actor.
   3. Отправьте сведения о предстоящем блоке или пробной версии актерам из сценария (см. строки 207, 229 и 278 в ExperimentScript2.m или строки 136, 141, 153, 159 и 297 в ExperimentScript3.m), запущенного на компьютере Experimenter.
   4. Отобразите полученную информацию от ПК «Экспериментатор» в экранном окне ПК «Актер» (см. строки 31-47 в ActorMachine.m).
5. Подключение микроконтроллера к ПК Experimenter
   1. Подключите микроконтроллер к определенному USB-порту (например, PORT 9) для управления состоянием (ВКЛ или ВЫКЛ) установленных светодиодов за кулисами.
   2. Установите последовательную связь между микроконтроллером и компьютером Experimenter (см. строку 185 сценария ExperimentScript2.m).
   3. Отправьте логический высокий сигнал (1) на микроконтроллер из сценария, запущенного на компьютере Experimenter (см. строку 290 в ExperimentScript2.m или строку 311 в сценариях ExperimentScript3.m), чтобы включить светодиоды при отображении действий через USB-кабель.
   4. Отправьте логический сигнал низкого уровня (0) на микроконтроллер из сценария, запущенного на ПК Experimenter (см. строку 292 в ExperimentScript2.m или строку 314 в сценариях ExperimentScript3.m), чтобы выключить светодиоды, когда участник должен дать ответ.

4. Ход выборочного эксперимента

1. Этапы перед экспериментом
   1. Убедитесь, что все устройства в лаборатории (ПК экспериментатора, ПК с камерой, ПК актера и дисплей участника) питаются от ИБП.
   2. Подключите микроконтроллер Lightning к компьютеру Experimenter с помощью кабеля USB, чтобы он автоматически включался при включении компьютера Experimenter.)
   3. Включите компьютер Experimenter и проверьте, подключен ли он к сети Wi-Fi 5 ГГц.
   4. Выберите звуковое устройство (динамики в таблице материалов) в качестве устройства вывода звука ПК Experimenter.
   5. Включите дисплей участника и установите настройки громкости на 80%.
   6. Установите параметры экрана компьютера Experimenter для нескольких мониторов. Расширьте дисплей экспериментального компьютера на дисплей участника. Дисплей ПК экспериментатора будет равен 1, а дисплей участника — 2.
   7. Включите компьютер Actor и проверьте, подключен ли он к сети Wi-Fi 5 ГГц.
   8. Подключите камеру видеонаблюдения к компьютеру Actor с помощью USB-кабеля, чтобы она автоматически включалась при включении компьютера Actor.
   9. Включите компьютер с камерой и откройте приложение камеры на рабочем столе. Убедитесь, что каждый актер, его движения, а также его вход и выход в кабинет видны с камеры.
   10. Убедитесь, что все компьютеры, дисплеи и устройства (устройство отклика [беспроводная мышь участника], динамики, клавиатура и мышь компьютеров Experimenter PC и Actor PC, а также микроконтроллер Lightning) работают правильно.
   11. Пригласите участника в другую комнату; Предоставив краткую информацию об исследовании, предоставьте форму согласия и дайте участнику подписать ее.
   12. Попросите участника вытащить число из сумки и скажите ему, что это число будет его идентификатором участника на протяжении всего исследования.
   13. Позвольте участнику заполнить онлайн-демографическую форму, указав свой анонимный идентификатор участника.
       ПРИМЕЧАНИЕ: Очень важно, чтобы участники не видели актеров перед экспериментом. Таким образом, эти документы заполняются в другой комнате, а не в основной экспериментальной комнате, чтобы актеры могли делать перерывы между участниками.
2. Этапы эксперимента
   1. Откройте программное обеспечение эксперимента на компьютере Experimenter, откройте сценарий ExperimentScript1.m и запустите его.
   2. Заполните ID участника и возраст; затем сценарий запустит первую часть эксперимента (первым видимым стимулом будет крест в центре дисплея участника).
   3. Откройте программное обеспечение эксперимента на компьютере с актером и откройте сценарий ActorMachine.m.
   4. Поместите компьютер с камерой рядом с компьютером экспериментатора и убедитесь, что кадры, поступающие с камеры видеонаблюдения, не видны участнику.
   5. Поприветствуйте участника в главной комнате эксперимента и позвольте ему занять место перед дисплеем участника.
   6. Скажите участнику, чтобы он расположился так, чтобы крест находился посередине и прямо перед собой.
   7. Кратко расскажите о частях эксперимента, обратившись к пояснениям и продолжительности, написанным на доске.
   8. Выключите весь свет в экспериментальной комнате.
3. Эксперимент часть 1:
   1. Скажите участнику, что он завершит лексическое/концептуальное обучение в первой части эксперимента. Предупредите их о том, чтобы они были осторожны и следовали инструкциям, чтобы они могли пройти обучение.
   2. Скажите участнику, что эксперимент можно начинать, когда он будет готов.
   3. Нажмите кнопку ESC , когда участник скажет, что готов к первой части.
      ПРИМЕЧАНИЕ: С этого момента участник будет продвигаться по эксперименту, читая инструкции на дисплее участника и выбирая один из вариантов. Они получат обратную связь относительно своих правильных и неправильных ответов, чтобы они могли хорошо прогрессировать в обучении. Сопоставление будет продолжаться до тех пор, пока участники не достигнут минимального порога (80%) в течение 10 повторений блоков.
   4. Когда участник завершит обучающую часть, нажмите кнопку ESC и скажите участнику, что экспериментатор берет на себя управление мышью, чтобы начать вторую часть эксперимента.
4. Эксперимент часть 2:
   1. Откройте сценарий ExperimentScript2.m и дождитесь приглашения Ожидание компьютера актера.
   2. Позвоните в колокольчик при появлении запроса, чтобы один из актеров мог запустить сценарий на компьютере актера, чтобы включить соединение с компьютером экспериментатора.
   3. Дождитесь подсказки Эксперимент Часть 2 будет готова.
   4. Скажите участнику, что теперь экран будет прозрачным, пока он наблюдает за некоторыми короткими действиями через него.
   5. Предупредите их, чтобы они внимательно следили за каждым действием, и сообщите им, что они должны сказать вслух, что это за действие.
   6. Скажите участнику, что эксперимент можно начинать, когда он будет готов.
   7. Нажмите кнопку ESC , когда участник скажет, что готов к первой части.
      ПРИМЕЧАНИЕ: Участник проходит инструкцию и наблюдает за первым действием. Actor1 выполняет действия при включении светодиодных индикаторов и проверяет следующее действие из командной строки на компьютере Actor при выключении света. Когда каждое действие завершится, на экране компьютера Experimenter появится диалоговое окно.
   8. Введите то, что участник говорит о действии в диалоговом окне, и введите 1 или 0 во втором диалоговом окне в зависимости от правильной или неправильной идентификации действия соответственно.
      ПРИМЕЧАНИЕ: Эти шаги будут повторены восемь раз для первого актера, и фоновая музыка начнет играть, когда актерам придет время поменяться местами.
   9. Посмотрите закулисье с камеры видеонаблюдения на ПК с камерой.
   10. Нажмите кнопку ESC, чтобы начать идентификацию Actor2, когда актер машет руками в сторону камеры видеонаблюдения жестом «Я готов».
   11. Повторяйте шаги 4.4.7 и 4.4.8 вместе с участником до тех пор, пока те же восемь действий не будут идентифицированы во время их выполнения Actor2.
   12. Когда участник увидит предупреждение « Идентификация завершена » и выйдет из части, щелкнув стрелку, нажмите кнопку ESC и сообщите участнику, что экспериментатор берет на себя управление мышью, чтобы начать третью часть эксперимента.
5. Эксперимент часть 3:
   1. Откройте сценарий ExperimentScript3.m.
   2. Скажите участнику, что он будет наблюдать за действиями обоих актеров, а затем он нажмет на вариант, который он считает подходящим.
      ПРИМЕЧАНИЕ: Участники будут оценивать действия актеров в четырех блоках. В двух блоках Actor1 будет выполнять действия, а в двух других Actor2 будет выполнять те же действия. В двух блоках участники будут оценивать действия, приписывая высокие или низкие возможности агентства, а в двух других они будут приписывать высокие или низкие возможности опыта.
   3. Нажмите кнопку ESC , когда участник скажет, что готов к третьей части.
      ПРИМЕЧАНИЕ: Участник проходит инструкцию, и они начинают с первого блока. Актеры выполняют действия при свете, и пока участники дают свои ответы, экран становится непрозрачным, и свет выключается, чтобы актеры могли видеть, какое действие будет следующим. Когда каждый блок закончится, актеры поменяются местами в соответствии с подсказками на ПК актера.
   4. Проверьте, все ли идет хорошо за кулисами и правильный ли актер проводит правильные действия во время блоков.
   5. Нажмите кнопку ESC , чтобы начать следующий блок, когда правый актер машет руками жестом «Я готов» после замены актеров.
   6. Повторяйте шаги 4.5.4 и 4.5.5 в сотрудничестве с участником и актером, пока не будут завершены четыре блока.
   7. Когда участник увидит, что эксперимент окончен, подскажите спасибо, нажмите кнопку ESC .
   8. Поблагодарите участника и, подведя итоги и собрав подписи, отправьте участника.

На рисунке 5 показана выборка испытания с точки зрения участника. На рисунке 5A показан участник, смотрящий на курсор в центре экрана в его непрозрачном использовании. На рисунке 5B показан участник, наблюдающий за стимулами живого действия через экран. На рисунке 5C показан экран оценки, представленный участнику после стимулов, в котором ему нужно перетащить мышь на одну из двух альтернатив в каждом верхнем углу экрана.

Рисунок 5: OLED-экран с точки зрения участника. (A) Непрозрачное использование цифрового OLED-экрана с точки зрения участника во время фиксации экрана. (B) Прозрачное использование цифрового OLED-экрана с точки зрения участника во время презентации живого выступления. (C) Непрозрачное использование цифрового OLED-экрана с точки зрения участника в течение периода ответа. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

5. Предварительная обработка и анализ данных

1. Сегментация данных по условиям
   1. Считайте все файлы данных участников в рабочую область программной среды.
   2. Определите условия для группировки данных (два класса действий [Action Class1 и Action Class2] x два актора [Actor1 и Actor2] x два измерения [Агент и Опыт] x два уровня [Высокий и Низкий]).
   3. Разделите данные на четыре основные группы: «Высокий уровень агентства», «Низкий уровень агентства», «Высокий опыт» и «Низкий уровень опыта».
   4. Разделите эти основные группы на четыре подгруппы (два актера x два класса действий).
   5. Прокрутите каждый файл данных, чтобы сгруппировать испытания, принадлежащие к одной из четырех ранее определенных подгрупп.
   6. Храните соответствующую информацию об испытании (время отклика, перемещение курсора и моменты времени, в которые осуществляется выборка положения курсора) в отдельных структурах данных для каждой подгруппы.
   7. Выйдите из цикла, когда все испытания будут сгруппированы.
2. Визуализация траекторий
   1. После сегментации данных выполните следующие действия, чтобы визуализировать траектории мыши.
   2. Чтобы применить временную интерполяцию к траекториям отклика, для каждого испытания выберите 101 пару (x,y) из массива траекторий, чтобы каждая подгруппа данных имела испытания с равным числом временных шагов.
      ПРИМЕЧАНИЕ: Привязывая количество пар к 101, обязательно следуйте соглашению³², чтобы провести правильную нормализацию времени. Следовательно, добейтесь нормализации времени, используя следующее уравнение, где n — количество выборок в массиве траекторий:
      
   3. Вычислите сумму пар (x,y) в каждом из 101 момента времени, а затем разделите полученный результат на общее количество испытаний этой подгруппы, чтобы получить средние значения для каждой подгруппы (например, Experience Low Actor1 или Experience Low Actor2).
   4. Примените операцию масштабирования к значениям строк, чтобы визуализировать средние траектории.
      ПРИМЕЧАНИЕ: 2D-координатная плоскость предполагает, что обе оси увеличиваются от нулевой точки, расположенной в левом нижнем углу окна (при условии, что координаты являются положительными целыми числами), тогда как формат пикселей принимает верхний левый угол окна в качестве эталона (например, нулевая точка). Таким образом, примените операцию масштабирования для y-координат (соответствующих значениям строк в пиксельном формате) выборочных местоположений путем извлечения выборочной y-координаты каждого испытания из значения общего числа строк.
   5. Нанесите соответствующие подгруппы на один и тот же рисунок для сравнения.
      ПРИМЕЧАНИЕ: Каждая траектория начинается в центре прямоугольника, расположенного внизу по центру, обозначенного как START, и заканчивается внутри прямоугольников, расположенных в верхнем левом или верхнем правом углах.

6. Условия, которые могут привести к сбою системы, и меры предосторожности

ПРИМЕЧАНИЕ: В случае сбоя системы крайне важно иметь физический знак (звонок в колокольчик), чтобы сообщить актеру о сбое и предупредить его, чтобы он оставался в месте, невидимом для участника.

1. Сбои из-за сетевого подключения
   1. Если один из компьютеров подключен к другой сети, запрос на подключение TCP/IP завершится ошибкой, и система покажет ошибку. Чтобы избежать этого, убедитесь, что компьютеры Experimenter и Actor находятся в одном диапазоне одной и той же беспроводной сети.
   2. Чтобы убедиться, что оба компьютера остаются в одной сети, сотрите ранее подключенные беспроводные сети с обоих компьютеров.
   3. Установите статические IP-адреса для устройств в выбранной сети, так как IP-адреса в сети могут изменяться без предварительного уведомления.
   4. Любое кратковременное отключение (например, из-за отключения электроэнергии, интернета и т. д.) к сети может привести к сбою сценария. В этих обстоятельствах систему необходимо перезагрузить с самого начала, чтобы восстановить соединение TCP/IP.
      ПРИМЕЧАНИЕ: Требование статических IP-адресов для устройств может быть выполнено интернет-провайдером. Некоторые порты могут быть отключены операционной системой или оборудованием на данном устройстве; Следовательно, порты, которые будут использоваться в эксперименте, должны быть открыты и не должны иметь активного подключения до тех пор, пока не будет запущен сценарий эксперимента.
2. Сбои из-за сбоев программного обеспечения
   1. Программная среда может аварийно завершить работу из-за неудачных подключений (например, подключение к последовательному порту, соединение TCP/IP, подключение дисплея и т. д.), что может привести к потере данных. Чтобы преодолеть это, разделите основной сценарий эксперимента на несколько сценариев. Например, если есть блок, который нужно выполнить до того, как актеры начнут выполнять действия, нет необходимости создавать сервер на ПК Экспериментатора во время этого блока. Сервер может быть создан, когда блок, который включает в себя действия и, таким образом, требует связи между Experimenter PC и Actor PC, вот-вот запустится.

Representative Results

Сравнение времени отклика (RT)
Настоящее исследование является продолжающимся проектом, поэтому в качестве репрезентативных результатов представлены данные основной части эксперимента (Experiment Part 3). Эти данные получены от 40 участников, в том числе 23 женщин и 17 мужчин, в возрасте от 18 до 28 лет (M = 22,75, SD = 3,12).

Изучение степени нормальности распределения зависимых переменных было необходимо для того, чтобы выбрать соответствующий статистический метод для анализа. Таким образом, был проведен тест Шапиро-Уилка, чтобы понять, были ли нормально распределены три зависимые переменные, а именно время отклика (RT), максимальное отклонение (MD) и площадь под кривой (AUC). Оценки показали, что данные о времени отклика W = 0,56, p < 0,001, максимальном отклонении W = 0,56, p < 0,001 и площади под кривой W = 0,71, p < 0,001 были значительно ненормальными.

Однородность дисперсий зависимых переменных также проверялась с помощью теста Левена для уровней независимых переменных, а именно Actor Type (Actor1 и Actor2) и Action Class (Action Class1 и Action Class2). Что касается оценок по времени отклика, дисперсия была одинаковой для Actor1 и Actor2, F(1, 1260) = 0,32, p = 0,571, но дисперсии для Action Class1 и Action Class2 были значительно различны, F(1, 1260) = 8,82, p = 0,003. Для баллов по максимальному отклонению дисперсии были одинаковыми для Actor1 и Actor2, F(1, 1260) = 3,71, p = 0,542, но дисперсии для Action Class1 и Action Class 2 были значительно различны, F(1, 1260) = 7,51, p = 0,006. Для оценок по площади под кривой дисперсии были одинаковыми для Action Class1 и Action Class2, F(1, 1260) = 3,40, p = 0,065, но дисперсии для Actor1 и Actor2 были значительно различны, F(1, 1260) = 4,32, p = 0,037.

Поскольку данные в этом исследовании не соответствовали нормальному распределению и однородности дисперсионных предположений обычного ANOVA (дисперсионного анализа) и у нас было четыре независимые группы по непрерывному исходу, был применен непараметрический эквивалент ANOVA, критерий Крускала-Уоллиса. Четыре независимые группы были получены из двух категориальных переменных ответа (высокий или низкий) в двух измерениях предварительного принудительного блока (агентность и опыт). Поскольку нас интересовало, как зависимые переменные различались между ответами участников по всем измерениям, данные были разделены на четыре подгруппы в соответствии с ответами в измерении агентства, включая уровень агентства и низкий уровень агентства, а также в измерении опыта, включая высокий опыт и низкий уровень опыта. Ниже представлены результаты тестов Крускала-Уоллиса для трех независимых переменных. Во всех случаях порог значимости был установлен на уровне p < 0,05.

Результаты времени отклика
На рисунке 6 представлено время отклика участников в соответствии с их ответами «Высокий» или «Низкий» в четырех измерениях блока. Время отклика участников представлено для каждого уровня двух независимых переменных: Тип актора и Класс действия. A1 и A2 представляют Актора 1 и Актора 2 соответственно, в то время как AC1 и AC2 представляют класс действий 1 и класс действий 2 соответственно.

Рисунок 6: Время отклика участников в задаче по типу актора и классу действий. Каждая панель показывает время, которое участники потратили на реагирование на один из уровней (высокий или низкий) конкретного измерения (агентство и опыт). Звездочки показывают значимые различия между уровнями типа актора или класса действия (p < 0,05). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

На время отклика существенно не повлиял тип актора для ответов Agency-High, H(1) = 1,03, p = 0,308, Agency-Low, H(1) = 2,84, p = 0,091 и Experience-High, H(1) = 0,001, p = 0,968, но на них существенно повлиял тип актора для ответов Experience-Low, H(1) = 8,54, p = 0,003. Был рассчитан тест Уилкоксона для изучения влияния типа актера на ответы Experience-Low. Медианное время отклика для Actor1 (Mdn = 1,14) было значительно короче, чем медианное время отклика для Actor2 (Mdn = 1,31), W = 8727, p = 0,001.

На время отклика существенно не повлиял класс действий для ответов Agency-Low, H(1) = 1,99, p = 0,158, и Experience-High, H(1) = 0,17, p = 0,675, но на них существенно повлиял класс действий для Agency-High, H(1) = 10,56, p = 0,001, и Experience-Low, H(1) = 5,13, p = 0,023, ответов. Результаты теста знакового ранга Уилкоксона показали, что для ответов с высоким уровнем Агентства среднее время отклика для класса действия 1 (Mdn = 1,30) было значительно больше, чем среднее время отклика для класса действия 2 (Mdn = 1,17), W = 17433, p = 0,0005; кроме того, для ответов с низким уровнем опыта медианное время отклика для класса действия 1 (Mdn = 1,44) было значительно больше, чем среднее время отклика для класса действия 2 (Mdn = 1,21), W = 10002, p = 0,011.

Результаты отслеживания мыши
Также были записаны движения мышей участников, когда они решали свой окончательный ответ. Информация о времени и месте была собрана для расчета средних моторных траекторий участников. Запись начиналась, когда участники видели словесные стимулы на экране, и заканчивалась, когда они давали ответ, нажимая на одну из опций (Высокий или Низкий) в правом верхнем или левом верхнем углу экрана.

На рисунке 7 представлены максимальные отклонения движений мыши участников в соответствии с их ответами «Высокий» или «Низкий» в четырех измерениях блока. Максимальные отклонения участников от идеализированной прямой выбранного ответа в сторону невыбранного альтернативного ответа представлены для каждого уровня двух независимых переменных, типа актора и класса действия. A1 и A2 представляют Актора 1 и Актора 2 соответственно, в то время как AC1 и AC2 представляют класс действия 1 и класс действия 2, соответственно.

Рисунок 7: Максимальное отклонение мышиных траекторий участников по типу актора и классу действия. Каждая панель показывает максимальное отклонение участников от идеализированной прямой линии выбранного ответа к невыбранному альтернативному ответу при ответе на один из уровней (высокий или низкий) для конкретного измерения (Агентность и Опыт). Звездочки показывают значимые различия между уровнями типа актора или класса действия (p < 0,05). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

На максимальные отклонения существенно не повлиял тип актора для ответов Agency-High, H(1) = 1,42, p = 0,232, Agency-Low, H(1) = 0,19, p = 0,655 и Experience-High, H(1) = 0,12, p = 0,720 , но на них существенно повлиял тип актора для ответов Experience-Low, H(1) = 7,07, p = 0,007. Был проведен тест Уилкоксона для изучения влияния типа актера на ответы Experience-Low. Медианное максимальное отклонение для Actor1 (Mdn = 0,03) было значительно короче, чем медианное максимальное отклонение для Actor2 (Mdn = 0,05), W = 8922, p = 0,003.

На максимальные отклонения существенно не повлиял класс действий для ответов Agency-High, H(1) = 0,37, p = 0,539, и Experience-High, H(1) = 1,84, p = 0,174, но на них существенно повлиял класс действий для Agency-Low, H(1) = 8,34, p = 0,003, и Experience-Low, H(1) = 11,53, p = 0,0006, ответов. Результаты теста знакового ранга Уилкоксона показали, что для ответов Agency-Low медианное максимальное отклонение для класса действия 1 (Mdn = 0,06) было значительно больше, чем медианное максимальное отклонение для класса действия 2 (Mdn = 0,02), W = 12516, p = 0,0019. Кроме того, для ответов с низким уровнем опыта медианное максимальное отклонение для класса действия 1 (Mdn = 0,09) было значительно больше, чем среднее максимальное отклонение для класса действия 2 (Mdn = 0,03), W = 10733, p = 0,0003.

На рисунке 8 представлены области под кривой траекторий мышей участников в соответствии с их ответами «Высокий» или «Низкий» в четырех измерениях блока. Области под кривой ответов участников по отношению к идеализированной прямой выбранной линии выбранного ответа представлены для каждого уровня двух независимых переменных, типа актора и класса действия. A1 и A2 представляют Актора 1 и Актора 2 соответственно, в то время как AC1 и AC2 представляют класс действий 1 и класс действий 2. соответственно.

Рисунок 8: Области под кривой по отношению к идеализированной траектории движений мыши участников. Каждая панель показывает область под кривой, в то время как участники реагируют на один из уровней (высокий или низкий) в определенном измерении (агентство или опыт). Звездочки показывают значимые различия между уровнями типа актора или класса действия (p < 0,05). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Области под кривыми не были существенно затронуты типом актора для ответов Agency-High, H(1) = 0,001, p = 0,968, Agency-Low, H(1) = 0,047, p = 0,827 и Experience-High, H(1) = 0,96, p = 0,324, но на них существенно повлиял тип актора для ответов Experience-Low, H(1) = 8,51, p = 0,003. Был рассчитан тест Уилкоксона для изучения влияния типа актера на ответы Experience-Low. Медианная площадь под кривой для Actor1 (Mdn = −0,03) была значительно меньше, чем медианная площадь под кривой для Actor2 (Mdn = 0,02), W = 8731, p = 0,0017.

На области под кривыми существенно не повлиял класс действий для ответов с высоким уровнем агентства, H(1) = 0,01, p = 0,913, но на них существенно повлиял класс действий для Agency-Low, H(1) = 7,54, p = 0,006 , Experience-High, H(1)= 5,87, p = 0,015 и Experience-Low, H(1) = 15,05, p = 0,0001, ответов. Результаты теста знакового ранга Уилкоксона показали, что для ответов Agency-Low медианная площадь под кривой для класса действия 1 (Mdn = 0,03) была значительно больше, чем медианная площадь под кривой для класса действия 2 (Mdn = −0,03), W = 12419, p = 0,003, а для ответов с высоким опытом медиана площади под кривой для класса действий 1 (Mdn = −0,06) было значительно меньше медианного максимального отклонения для класса действия 2 (Mdn = −0,02), W = 9827, p = 0,007. Для ответов с низким уровнем опыта медианная площадь под кривой для класса действия 1 (Mdn = 0,05) была значительно больше, чем медианная площадь под кривой для класса действия 2 (Mdn = −0,03), W = 11049, p < 0,0001.

Резюме и оценка репрезентативных результатов
Поскольку это продолжающееся исследование, была представлена репрезентативная часть данных, которые мы получим в конце крупномасштабного сбора данных. Однако даже эти выборочные данные подтверждают эффективность метода, предложенного в настоящем исследовании. Мы могли получить время отклика участников и траектории мыши, когда они давали свои ответы после просмотра действий в реальном времени. Мы могли бы выполнить все эти шаги через один и тот же экран, чтобы участники не меняли модальность между наблюдением за реальными актерами и ответами мыши, что позволило нам расширить процедуры в экспериментах до реальных сценариев.

В таблице 1 обобщены результаты того, как на зависимые показатели, включая время отклика, MD и AUC траекторий мышей, влияли тип актора и класс действия, которые были основными независимыми переменными исследования.

	Время отклика (RT)		Максимальное отклонение (MD)		Площадь под кривой (AUC)
	Тип актера	Класс действия	Тип актера	Класс действия	Тип актера	Класс действия
Агентство Высокий	нс	AC1 > AC2***	нс	нс	нс	нс
Агентство Лоу	нс	нс	нс	AC1 > AC2**	нс	AC1 > AC2**
Опыт Высокий	нс	нс	нс	нс	нс	AC1 > AC2**
Опыт Низкий	А2 > А1***	AC1 > AC2*	А2 > А1**	AC1 > AC2***	А2 > А1**	AC1 > AC2****

Таблица 1: Краткое изложение результатов. В таблице показано, как на зависимые показатели (время отклика, MD и AUC траекторий мыши) повлияли основные независимые переменные (тип актора и класс действия) исследования. *, ** и *** обозначают уровни значимости p ≤ 0,05, p ≤ 0,01 и p ≤ 0,001 соответственно.

Тип актера оказал значительное влияние на время отклика участников; в то время как они назначали низкую емкость в измерении Experience, они потратили больше времени на это для Actor2 по сравнению с Actor1 в том же состоянии (см. рис. 6D). Мы также наблюдали это более длительное время отклика при измерениях движений мыши на основе MD и AUC (см. Рисунок 9 для траекторий). MD траекторий мышей к низким ответам (см. рис. 7D) были значительно выше, а AUC траекторий мышей (см. рис. 8D) были значительно больше, когда участники оценивали Actor2 по сравнению с Actor 1 (сравнение синих линий на рисунке 9A, B).

Рисунок 9: Средние мышиные траектории участников при оценке действий, выполняемых Actor1 и Actor2 в измерении Experience. Оранжевые линии показывают средние траектории мыши к высоким ответам; синими линиями показаны средние траектории мыши к низким ответам. Черные пунктирные прямые линии представляют собой идеализированные траектории отклика, а серые заштрихованные области представляют среднеквадратичные стандартные отклонения. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Время отклика участников, в то время как они высоко реагировали на действия, принадлежащие к классу действий 1 в измерении Агентства (см. Рисунок 6A), было значительно выше, чем для действий, относящихся к классу действий 2; однако эти более длительные времена отклика не наблюдались в измерениях MD (см. рис. 7A) и AUC (см. рис. 8A). При низком ответе на класс действия 1 в измерении опыта участники потратили значительно больше времени, чем они потратили на класс действия 2 (см. рис. 6D), и это также было очевидно в оценках MD (см. рис. 7D) и AUC (см. рис. 8D). На рисунке 10 показано, что MD траекторий мышей к низким ответам (см. рис. 7D) были значительно выше, а AUC траекторий мышей (см. рис. 8D) были значительно больше, когда участники оценивали действия, принадлежащие к классу действий 1, по сравнению с классом действий 2 (сравнение синих линий на рисунке 10A, B).

Рисунок 10: Средние мышиные траектории участников при оценке акторов, выполняющих действия, принадлежащие к классу действий 1 и классу действий 2 в измерении опыта. Оранжевые линии показывают средние траектории мыши к высоким ответам; синими линиями показаны средние траектории мыши к низким ответам. Черные пунктирные прямые линии представляют собой идеализированные траектории отклика, а серые заштрихованные области представляют среднеквадратичные стандартные отклонения. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Хотя не наблюдалось существенного влияния класса действий на измерения времени отклика для других комбинаций блок-ответ, значительное влияние класса действий наблюдалось в оценках MD (см. рис. 7B) и AUC (см. рис. 8B) низких ответов в измерении агентства. На рисунке 11 показано, что участники колебались в сторону альтернативы «Высокий» и больше двигались к ответу «Низкий», когда они оценивали действия из класса действий 1 по сравнению с действиями из класса действий 2 (сравнение синих линий на рисунках 11A, B). Наконец, несмотря на то, что не было значительного влияния класса действия на оценки RT и MD для высоких ответов по измерению опыта, значительный эффект наблюдался для AUC (см. рис. 8C) траекторий (см. рис. 10); в частности, участники больше колебались при оценке класса действия 2 по сравнению с классом действия 1 (сравнение оранжевых линий на рисунке 10A, B).

Рисунок 11: Средние мышиные траектории участников при оценке акторов, выполняющих действия, относящиеся к классу действий 1 и классу действий 2 в измерении агентства. Оранжевые линии показывают средние траектории мыши к высоким ответам; синими линиями показаны средние траектории мыши к низким ответам. Черные пунктирные прямые линии представляют собой идеализированные траектории отклика, а серые заштрихованные области представляют среднеквадратичные стандартные отклонения. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Полученные на данный момент результаты подтверждают наши гипотезы, которые предполагали, что будет иметь место влияние типа актора и класса действия и что зависимые измерения для высоких и низких ответов для одного и того же актора и класса действий будут различаться в разных измерениях блока агентности и опыта. Поскольку это продолжающееся исследование, обсуждение возможных причин полученных результатов выходит за рамки данной статьи. Тем не менее, в качестве раннего замечания мы могли бы подчеркнуть, что, хотя некоторые результаты по времени отклика и измерениям, полученным в результате компьютерного отслеживания мыши, дополняли друг друга, в некоторых условиях блочного отклика мы наблюдали, что участники колебались в отношении другой альтернативы, даже когда они были быстры в своих оценках.

Если бы специальный OLED-экран не был включен в установку, время отклика участников все равно можно было бы собирать с помощью некоторых других инструментов, таких как кнопки для нажатия. Тем не менее, движения мыши участников не могли быть отслежены без предоставления дополнительного экрана и того, чтобы участники смотрели на этот экран и реальных актеров взад и вперед, что, в свою очередь, задерживало их ответы. Таким образом, хотя время отклика является полезным индикатором сложности процесса принятия решений, мышиные траектории участников показывают больше о динамике их процессов принятия решений в реальном времени до их окончательных ответов^32,34.

Дополнительный файл кодирования 1: ExperimentScript1.m Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный файл кодирования 2: ExperimentScript2.m Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный файл кодирования 3: ExperimentScript3.m Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный файл кодирования 4: RecordMouse.m Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный файл кодирования 5: InsideROI.m Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный файл кодирования 6: RandomizeTrials.m Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный файл кодирования 7: RandomizeBlocks.m Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный файл кодирования 8: GenerateResponsePage.m Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный файл кодирования 9: GenerateTextures.m Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный файл кодирования 10: ActorMachine.m Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный файл кодирования 11: MatchIDtoClass.m Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный файл кодирования 12: RandomizeWordOrder.m Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный файл кодирования 13: Файл ExperimentImages.mat Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Discussion

Всеобъемлющая цель настоящего исследования состоит в том, чтобы внести свой вклад в наше понимание того, как человеческое высокоуровневое визуальное восприятие и познание работают в реальных жизненных ситуациях. Это исследование было сосредоточено на восприятии действий и предложило натуралистическую, но контролируемую экспериментальную парадигму, которая позволяет исследователям проверять, как люди воспринимают и оценивают действия других, представляя реальных актеров в лабораторных условиях.

По сравнению с существующими методологиями эта предлагаемая методология имеет тройное значение. (1) Естественность стимулов максимизируется за счет представления участникам живых действий. (2) Стимулы реального мира (т.е. актеры), другие словесные стимулы (например, слова или инструкции) и экран реакции актеров и действий представлены с использованием одной и той же модальности (т.е. цифрового OLED-экрана), так что участники не потеряют фокус при изменении модальности, как в случаях использования стекла затвора, например,³⁵. (3) Чувствительные ко времени данные, такие как данные о продолжительности отклика и траекториях мыши, которые нуждаются в строгом контроле времени, записываются с использованием естественной задачи современного мира - использования мыши.

Определенные критические шаги в протоколе важны для того, чтобы эта парадигма работала без сбоев и позволяла исследователям достигать своих целей, обеспечивая при этом достойный опыт для участников. Эти шаги одинаково важны для создания такой системы, поэтому мы представляем их по отдельности, не упорядочивая их по уровням критичности.

Первый важный шаг касается манипулирования освещением комнаты и изменения цвета фона, используемого для экрана дисплея участника. Этот шаг обеспечивает плавный переход между выполнением действий в реальном времени и экраном ответа после каждой пробной версии действия. Когда весь свет в комнате выключен, а фон экрана настроен на белый, достигается 100% непрозрачность, так что учебные инструкции и словесные стимулы могут отображаться без каких-либо отвлекающих факторов, которые могут исходить от движений на заднем плане. Чтобы сделать дисплей прозрачным и отображать словесные стимулы сразу после стимулов действия, светодиодные фонари на потолках включаются, а передние фонари остаются выключенными, чтобы иметь прозрачный дисплей. Схема освещения необходима для правильного управления светом в помещении. Когда флуоресцентные лампы спереди (зона участника) и сзади (зона актера) лаборатории горят, кадры актера кажутся немного наклоненными, и участник видит отражение себя и комнаты. Когда переднее освещение в зоне участника выключено, а светодиодные фонари в зоне актера горят, участник может четко наблюдать за актерами, не отвлекаясь. На рисунках 1 и 3 показано, как работают световые манипуляции в эксперименте.

Вторым важным шагом в протоколе является контроль времени. Действия длятся 6 секунд, и подсветка на задней панели экрана автоматизирована в соответствии с продолжительностью действий, так что у нас нет никаких задержек или ускорений в испытаниях. Однако продолжительность между блоками контролируется вручную (т.е. когда нам нужна смена актера), поэтому мы можем начать следующий блок после проверки того, все ли идет по плану за кулисами. Этот период также подходит для запросов участников или актеров, таких как потребность в воде или изменение температуры в помещении.

Третий важный шаг касается использования камеры видеонаблюдения и звонка. Камера видеонаблюдения позволяет общаться между дирижером эксперимента и актерами. Экспериментатор постоянно проверяет, что происходит за кулисами, например, готов ли актер или на сцене находится нужный актер. Актеры машут руками, когда готовы выполнить действия, и делают крестик, когда возникает проблема. Экспериментатор может даже заметить, есть ли проблема с внешностью актера, например, забыл серьгу на одном ухе. Колокольчик позволяет экспериментатору предупредить актеров о вероятной проблеме. Когда они слышат звонок, актеры сначала проверяют, не что-то ли с ними не так, и, если это так, они исправляют проблему и говорят экспериментатору, что они готовы. Если на стороне экспериментатора есть проблема, актеры слушают, как экспериментатор объясняет проблему участнику. Они молча ждут, пока экспериментатор не прибудет за кулисы, чтобы решить проблему, например, восстановить подключение после потери подключения к Интернету.

Четвертый шаг касается использования тяжелой плотной шторы для разделения комнаты, так как такой материал предотвращает проникновение света в переднюю часть комнаты. Этот занавес также в некоторой степени предотвращает звук, так что участники не слышат небольших движений актеров и тихих разговоров между экспериментатором и актерами в случае возникновения проблемы.

Пятым шагом является включение Actor PC и установка TCP/IP в качестве сетевого протокола, поскольку это гарантирует, что сообщения будут доставлены на другой конец, в отличие от UDP. Таким образом, актеры могут быть проинформированы о следующем действии, которое они будут выполнять, и участники не осознают этого со своей точки зрения. Более того, поскольку все устройства находятся в одной сети, любая возможная дополнительная задержка, вызванная TCP/IP, становится незначительной.

Шестым важным шагом в протоколе является включение фоновой музыки между блоками. Мы расположили музыку и блоки так, чтобы, когда участник отвечает на последнее испытание в блоке, музыка начинала играть громко (на максимальной громкости 80%), чтобы актеры знали, что пришло время перемен, а участники знали, что они могут пить воду или отдыхать глазами. Воспроизведение музыки обеспечивает плавный переход между актерами, не слыша их движений или других звуков, создавая ощущение, похожее на просмотр спектакля в театре.

Мы считаем, что натуралистическая установка, представленная в этой статье, является отличным инструментом для исследования того, приближаются ли механизмы, лежащие в основе визуального восприятия действий других, которые были обнаружены традиционными лабораторными экспериментами, к естественному поведению в реальном мире. Наблюдение за реальными актерами и их живыми действиями, очевидно, обеспечит богатый источник 3D-визуальной и мультисенсорной информации и обеспечит возможность действовать благодаря физическому и социальному присутствию актера. Таким образом, мы предполагаем, что восприятие живых действий может вызывать более быстрые и усиленные поведенческие и нейронные реакции в хорошо известной сети восприятия действий, ранее выявленной традиционными лабораторными экспериментами с использованием статических изображений и видео. Кроме того, восприятие живых действий может приводить в действие дополнительные нейронные цепи, которые обрабатывают 3D-сигналы^{глубины 36} и вестибулярную информацию для координации тела в пространстве во время подготовки к действию в мире³⁷. Одним из ограничений настоящего исследования является то, что ответы реальных действующих лиц в натуралистической обстановке не сравнивались с ответами, которые можно было бы получить для упрощенных стимулов, таких как статические изображения или видео. В будущих исследованиях мы будем работать над достижением этой цели, систематически сравнивая поведенческие и нейронные реакции во время восприятия действий в традиционных лабораторных условиях с таковыми в натуралистической среде.

Мы также отмечаем некоторые ограничения парадигмы, предложенной в настоящем исследовании, по нескольким направлениям. Во-первых, как и большинство натуралистических исследований, этот метод требует финансовых и временных ресурсов. Такое исследование будет выше с точки зрения бюджета, чем исследования с использованием предварительно записанных динамических стимулов, представленных на обычном дисплее, поскольку настоящее исследование включает в себя специальное оборудование для отображения реальных действий, и реальные актеры принимают участие в исследовании для каждого сеанса сбора данных. Кроме того, процесс сбора данных для настоящего исследования может занять больше времени, поскольку реальные субъекты выполняют действия неоднократно; Для них существует физический предел, в отличие от исследований с использованием изображений или видео, представленных на экранах компьютеров. Еще одним связанным с этим ограничением может быть трудность обеспечения того, чтобы акторы выполняли каждое действие одинаково в разных блоках и участниках; Однако при достаточной подготовке актеры могут стать уверенными в каждом действии, так как они длятся 6 с. Будущая работа может записывать живые действия, а затем использовать компьютерное зрение для количественной оценки вариабельности различных испытаний экспериментов.

Во-вторых, уровень яркости экрана при непрозрачном использовании и быстрые изменения освещения между непрозрачным и прозрачным дисплеями могут вызвать проблемы у участников с проблемами зрения или расстройствами, такими как эпилепсия. Это потенциальное ограничение было устранено путем опроса участников, есть ли у них такое расстройство или беспокойство по поводу такого сценария, и привлечения тех, кто сообщил, что их не будет беспокоить такой сценарий. Кроме того, никто из участников не жаловался на музыку, которую мы играли на заднем плане во время смены актера и блока, но некоторых участников такой шум мог беспокоить. Средством от этого может быть использование наушников с шумоподавлением. Однако они также могут препятствовать любому вмешательству экспериментатора во время исследования или влиять на естественность экспериментальной установки.

К нынешней парадигме можно было бы применить и другие возможные изменения; Например, если дизайн эксперимента требует, чтобы участники взаимодействовали с актерами устно, обе стороны могут использовать петличные микрофоны. Все сетевые подключения могут быть проводными или беспроводными, если могут быть установлены соединения TCP/IP. Можно было бы исследовать и применять способы представления действий в определенном контексте, чтобы увидеть, поможет ли это повысить естественность парадигмы.

Нынешняя установка может стать идеальной платформой для исследований когнитивной нейробиологии и когнитивной психологии, которые требуют точного времени и строго контролируемых стимулов в заранее определенных условиях. Это включает в себя исследования, в которых используются такие методы, как отслеживание взгляда, ЭЭГ кожи головы или внутричерепной области, fNIRS и даже МЭГ, либо с традиционными установками, либо в более мобильных установках, которые сегодня более осуществимы³⁸. Исследователи из этих областей могут настроить внешние свойства установки, такие как освещение комнаты или количество действующих лиц, а также объекты, которые будут представлены. Другая возможность заключается в том, что исследователи могут манипулировать свойствами отображения цифрового экрана, чтобы обеспечить более непрозрачный или прозрачный дисплей в соответствии с потребностями их исследования. Другими возможными областями исследований, в которых предлагаемая методология может быть использована, могут быть исследования взаимодействия человека и робота, где взаимодействия в реальном времени между людьми и роботами необходимы в реалистичных сценариях.

В заключение, учитывая необходимость перехода к более натуралистическим исследованиям, которые больше похожи на реальные ситуации в когнитивной нейробиологии 13,14,15,16,17,18,19,20,21,38 , значительные технологические разработки в натуралистической визуализации мозга и тела (например, одновременное использование ЭЭГ, захвата движения, ЭМГ и отслеживания взгляда) и использование глубокого обучения в качестве фундаментальной основы для обработки информации человеком^39,40, мы считаем, что настало время начать изучать восприятие живых действий^, а также его нейронные основы.

Materials

Name	Company	Catalog Number	Comments
Adjustable Height Table	Custom-made	N/A	Width: 60 cm, Height: 62 cm, Depth: 40 cm
Ardunio UNO	Smart Projects	A000066	Microcontroller used for switching the state of the LEDs from the script running on the operator PC
Black Pants	No brand	N/A	Relaxed-fit pants of actors with no apparent brand name or logo.
Case	Xigmatek	EN43224	XIGMATEK HELIOS RAINBOW LED USB 3.0 MidT ATX GAMING CASE
CPU	AMD	YD1600BBAFBOX	AMD Ryzen 5 1600 Soket AM4 3.2 GHz - 3.6 GHz 16 MB 65 W 12 nm Processor
Curtains	Custom-made	N/A	Width: Part 1: 110 cm width from the wall (left) side, Part 2: 123 cm width above OLED display, Part 3: 170 cm from OLED display to right side, Cabin depth: 100 cm, Inside cabin depth: 100 cm, all heights 230 cm except for Part 2 (75 cm height)
Experimenter Adjustable/Swivel Chair	No brand	N/A	Any brand
Experimenter Table	Custom	N/A	Width: 160 cm, Height: 75 cm, Depth: 80 cm
GPU	MSI	GT 1030 2GHD4 LP OC	MSI GEFORCE GT 1030 2GHD4 LP OC 2GB DDR4 64bit NVIDIA GPU
Grey-color blackout curtain	Custom-made	N/A	Width: 330 cm, Height: 230 cm, used for covering the background
Hard Disk	Kioxia	LTC10Z240GG8	Kioxia 240 GB Exceria Sata 3.0 SSD (555 MB Read/540 MB Write)
Hard Disk	Toshiba	HDWK105UZSVA	Toshiba 2,5'' 500 GB L200 SATA 3.0 8 MB Cache 5400 Rpm 7 mm Harddisk
High-Power MOSFET Module	N/A	N/A	Heating Controller MKS MOSFET Module
Laptop	Apple	S/N: C02P916ZG3QT	MacBook Pro 11.1 Intel Core i7 (Used as the actor PC)
Laptop	Asus	UX410U	Used for monitoring the security camera in real-time.
LED lights	No brand	N/A
LED Strip Power Supply	No brand	N/A	AC to DC voltage converter used for supplying DC voltage to the lighting circuit
MATLAB	The MathWorks Inc., Natick, MA, USA	Version: R2022a	Used for programming the experiment. Required Toolboxes: MATLAB Support Package for Arduino Hardware (version 22.1.2) Instrument Control Toolbox (version 4.6) Psychtoolbox (version 3)
Monitor	Philips	UHB2051005145	Model ID: 242V8A/00, PHILIPS 23.8" 242V8A 4ms 75 Hz Freesync DP-HDMI+VGA IPS Gaming Monitor
Motherboard	MSI	B450M-A PRO MAX	MSI B450M-A PRO MAX Amd B450 Socket AM4 DDR4 3466(OC) M.2 Motherboard
Mouse Pad for participant	Monster	78185721101502042 / 8699266781857	Pusat Gaming Mouse Pad XL
Night lamp	Aukes	ES620-0.5W 6500K-IP 20	Used for helping the actors see around when the lights are off in the backstage.
Participant Adjustable/Swivel Chair	No brand	N/A
Participant Table	IKEA	Sandsberg 294.203.93	Width: 110 cm, Height: 75 cm, Depth: 67 cm
Power Extension Cable	Viko	9011760Y	250 V (6 inlets) Black
Power Extension Cable	Viko	9011730Y	250 V (3 inlets) Black
Power Extension Cable	Viko	9011330Y	250 V (3 inlets) White
Power Extension Cable	s-link	Model No: SPG3-J-10	AC - 250 V 3 meter (5 inlets)
Power Supply	THERMALTAKE	PS-LTP-0550NHSANE-1	THERMALTAKE LITEPOWER RGB 550W APFC 12 cm FAN PSU
Professional Gaming Mouse	Rampage	8680096	Model No: SMX-R50
RAM	GSKILL	F4-3000C16S-8GVRB	GSKILL 8GB (1x8GB) RipjawsV Red DDR4 3000 MHz CL16 1.35 V Single Ram
Reception bell	No brand	N/A	Used for helping the communication between the experimenter and the actors.
Security Camera	Brion Vega	2-20204210	Model:BV6000
Speakers	Logitech	P/N: 880-000-405 PID: WD528XM	Used for playing the background music.
Survey Software	Qualtrics	N/A
Switching Module	No brand	N/A	F5305S PMOS Switch Module
Table under the OLED display	Custom-made	N/A	Width: 123 cm, Height: 75 cm, Depth: 50 cm
Transparent OLED Display	Planar	PN: 998-1483-01 S/N:195210075	A 55-inch transparent display that showcases dynamic information, enabled the opaque and transparent usage during the experiment.
UPS	EAG	K200610100087	EAG 110
UPS	EAG	210312030507	EAG 103
USB 2.0 Cable Type A/B for Arduino UNO (Blue)	Smart Projects	M000006	Used to connect the microcontroller to the experimenter PC.
USB to RS232 Converter	s-link	8680096082559	Model: SW-U610
White Long-Sleeved Blouse (2)	H&M (cotton)	N/A	Relaxed-fit blouses with a round neckline and without ant apparent brand name or logo.
Wireless Keyboard	Logitech	P/N: 820-003488 S/N: 1719CE0856D8	Model: K360
Wireless Mouse	Logitech	S/N: 2147LZ96BGQ9	Model: M190 (Used as the response device)