Для просмотра этого контента требуется подписка на JoVE. Войдите или начните свой бесплатный пробный период.

Методическая статья

Натуралистическая установка для представления реальных людей и живых действий в исследованиях экспериментальной психологии и когнитивной нейробиологии

3K просмотров

DOI:

10.3791/65436

4 августа 2023 г.

В этой статье

Краткое содержание

Это исследование представляет собой натуралистическую экспериментальную установку, которая позволяет исследователям представлять стимулы действия в реальном времени, получать данные о времени отклика и отслеживании мыши, в то время как участники реагируют после каждого дисплея стимула, а также менять участников между экспериментальными условиями с помощью уникальной системы, включая специальный прозрачный экран с органическим светодиодом (OLED) и манипулирование светом.

Аннотация

Восприятие действий других имеет решающее значение для выживания, взаимодействия и общения. Несмотря на десятилетия исследований когнитивной нейробиологии, посвященных пониманию восприятия действий, мы все еще далеки от разработки системы компьютерного зрения, вдохновленной нейронами, которая приближается к восприятию действий человека. Основная проблема заключается в том, что действия в реальном мире состоят из разворачивающихся во времени событий в пространстве, которые происходят «здесь и сейчас» и могут быть реализованы. Напротив, визуальное восприятие и исследования когнитивной нейробиологии на сегодняшний день в значительной степени изучали восприятие действий с помощью 2D-дисплеев (например, изображений или видео), в которых отсутствует присутствие актеров в пространстве и времени, поэтому эти дисплеи ограничены в обеспечении действенности. Несмотря на растущий объем знаний в этой области, эти проблемы должны быть преодолены для лучшего понимания фундаментальных механизмов восприятия действий других людей в реальном мире. Цель этого исследования - представить новую установку для проведения натуралистических лабораторных экспериментов с живыми актерами в сценариях, которые приближаются к реальным условиям. Основным элементом установки, используемой в этом исследовании, является прозрачный экран с органическими светодиодами (OLED), через который участники могут наблюдать за живыми действиями физически присутствующего актера, в то время как время их презентации точно контролируется. В данной работе эта установка была проверена в поведенческом эксперименте. Мы считаем, что установка поможет исследователям выявить фундаментальные и ранее недоступные когнитивные и нейронные механизмы восприятия действия и станет основой для будущих исследований, изучающих социальное восприятие и познание в натуралистических условиях.

Введение

Фундаментальным навыком выживания и социального взаимодействия является способность воспринимать и осмысливать действия других людей и взаимодействовать с ними в окружающей среде. Предыдущие исследования, проведенные за последние несколько десятилетий, внесли значительный вклад в понимание фундаментальных принципов того, как люди воспринимают и понимают действия других 1,2,3,4,5,6,7,8,9,10,11 . Тем не менее, учитывая сложность взаимодействий и обстоятельства, в которых они происходят, существует очевидная необходимость в дальнейшем развитии совокупности знаний в натуралистических условиях, чтобы достичь более полного понимания этого сложного навыка в условиях повседневной жизни.

В естественной среде, такой как наша повседневная жизнь, восприятие и познание проявляют воплощенные, встроенные, расширенные и активные характеристики12. В отличие от интерналистских описаний функций мозга, которые, как правило, недооценивают роль тела и окружающей среды, современные подходы к воплощенному познанию сосредоточены на динамической связи мозга, тела и окружающей среды. С другой стороны, большинство исследований в области социальной психологии, когнитивной психологии и нейробиологии восприятия действий склонны предполагать, что использование хорошо контролируемых и упрощенных планов экспериментов в лабораторных условиях (например, изображений или видео в компьютеризированных задачах) дает результаты, которые могут быть обобщены для более сложных сценариев, таких как взаимодействия в реальном мире 1,2,3,4,5,6,7 ,8,9,10,11. Это предположение гарантирует, что надежные и надежные данные могут быть получены при многих обстоятельствах. Тем не менее, хорошо известная проблема заключается в том, что достоверность моделей, полученных в результате тщательно контролируемых экспериментов, ограничена при проверке в реальном контексте13. Следовательно, были проведены дальнейшие исследования 13,14,15,16,17,18,19,20,21,22 для рассмотрения экологической и внешней валидности стимулов и экспериментальных проектов в различных областях исследований.

В этом исследовании предлагается новый метод изучения того, как люди воспринимают и оценивают действия других людей, используя живые действия, выполняемые реальным, физически присутствующим актером. Используются сценарии, похожие на реальные контексты, в то время как экспериментаторы контролируют возможные мешающие факторы. Это исследование представляет собой форму «натуралистического лабораторного исследования» в рамках Matusz et al.14, которое можно рассматривать как промежуточный этап между «классическим лабораторным исследованием», в котором используется максимальный контроль над стимулами и окружающей средой, часто за счет естественности, и «полностью натуралистическим исследованием реального мира», целью которого является максимизация естественности за счет контроля над стимуляцией и окружающей средой 14. Исследование направлено на удовлетворение потребности в эмпирических исследованиях на этом уровне в исследованиях восприятия действий, чтобы преодолеть разрыв между результатами, полученными в традиционных лабораторных экспериментах с высокой степенью экспериментального контроля, и результатами, полученными в исследованиях, проведенных в совершенно неограниченных, естественных условиях.

Контролируемые и неограниченные эксперименты
Экспериментальный контроль является эффективной стратегией разработки экспериментов для проверки конкретной гипотезы, поскольку он позволяет исследователям изолировать целевые переменные от вероятных смешивающих факторов. Это также позволяет пересмотреть одну и ту же гипотезу с определенными уровнями поправок, таких как использование слегка или полностью разных стимулов в одном и том же дизайне или тестирование одних и тех же стимулов в альтернативных экспериментальных установках. Систематическое исследование с помощью контролируемых экспериментов является традиционной формой методологии в исследованиях в когнитивной науке и соответствующих областях. Контролируемые эксперименты по-прежнему помогают установить совокупность знаний о фундаментальных принципах когнитивных процессов в различных областях исследований, таких как внимание, память и восприятие. Тем не менее, недавние исследования также признали ограниченность традиционных лабораторных экспериментов с точки зрения обобщения результатов в реальных условиях, и исследователям было рекомендовано проводить исследования в улучшенных экологических условиях 13,14,15,16,17,18,19,20,21 . Этот сдвиг направлен на решение двух важных вопросов, касающихся несоответствия между традиционными лабораторными экспериментами и реальными условиями. Во-первых, мир за пределами лаборатории менее детерминирован, чем в экспериментах, что ограничивает репрезентативную силу систематических экспериментальных манипуляций. Во-вторых, человеческий мозг обладает высокой адаптивностью, и это часто недооценивается из-за практических ограничений разработки и проведения экспериментальных исследований22. Понятие «экологическая обоснованность»23,24 было использовано для рассмотрения методов решения этого вопроса. Этот термин обычно используется для обозначения предпосылки для обобщения экспериментальных результатов в реальный мир за пределами лабораторного контекста. Экологическая валидность также интерпретируется как относящаяся к проверке практически натуралистических экспериментальных установок с неограниченными стимулами, чтобы гарантировать, что дизайн исследования аналогичен реальным сценариям25. Из-за высокой степени вариативности в трактовке этого термина требуется понимание преимуществ и ограничений альтернативных методологий и выбора стимулов.

Уровни натурализма в стимулах и дизайне экспериментов
Предыдущие работы в области экспериментальной психологии и когнитивной нейробиологии использовали широкий спектр стимулов с различными уровнями натурализма26. Большинство исследователей предпочитают использовать статические изображения или короткие динамические видеоролики, потому что эти стимулы легче подготовить, чем те, которые могут имитировать реальное действие или событие. Несмотря на свои преимущества, эти стимулы не позволяют исследователям измерять условное поведение среди социальных агентов. Иными словами, они не поддаются действию и не имеют социальной доступности27. В последние годы была разработана альтернатива этим неинтерактивным стимулам: анимация виртуальных аватаров в реальном времени. Эти аватары позволяют исследовать взаимодействие между аватарами и их пользователями. Тем не менее, использование виртуальных аватаров подвержено меньшим опасениям пользователей, особенно когда они не кажутся особенно привлекательными с точки зрения их реалистичного и условного поведения26. Поэтому в настоящее время наблюдается больший интерес к использованию реальных социальных стимулов в экспериментальных исследованиях. Хотя для их проектирования, записи и анализа данных может потребоваться современное оборудование и сложный анализ данных, они являются лучшими кандидатами для понимания натуралистического поведения и познания человека.

В настоящем исследовании предложена методология использования реальных социальных стимулов в лабораторных условиях. Это исследование направлено на изучение того, как люди воспринимают и оценивают действия других людей в условиях с повышенной экологической обоснованностью по сравнению с традиционными лабораторными экспериментами. Мы разработали и описали новую установку, в которой участники подвергаются воздействию реальных актеров, которые физически присутствуют и находятся с ними в одной среде. В этом протоколе измеряется время реакции участников и траектории мышей, что требует точного определения времени предъявления стимулов и строгого контроля за экспериментальными условиями в этой улучшенной экологической среде. Таким образом, экспериментальная парадигма выделяется среди структур, присутствующих в литературе, поскольку естественность стимулов максимизируется без ущерба для контроля над окружающей средой. Ниже в протоколе представлены шаги по созданию такой системы, а затем приводятся репрезентативные результаты для выборочных данных. Наконец, представлено обсуждение значения парадигмы, ограничений и планов модификаций.

Экспериментальный дизайн
Прежде чем перейти к разделу протокола, мы опишем параметры, используемые в настоящем исследовании, и представим детали стимулов вместе с дизайном эксперимента.

Параметры в исследовании
Это исследование направлено на то, чтобы измерить, как тип актера и класс действий, которые они выполняют, влияют на процессы восприятия разума участников. В протоколе процесс восприятия разума измеряется в двух основных измерениях, а именно в агентности и опыте, как предлагалось в предыдущих исследованиях28. Верхние и нижние границы этих двух измерений также включены, как недавно было представлено Li et al.29.

Структура исследования была вдохновлена однокатегорической версией30 широко используемой неявной ассоциативной задачи (IAT)31. В этой задаче время отклика участников, когда они сопоставляют концепцию атрибута с целевой концепцией, используется в качестве показателя силы их неявных ассоциаций для этих двух понятий. В адаптации этой неявной задачи участникам представляются живые действия, выполняемые реальными актерами, и требуется сопоставить их с целевыми концепциями. Целевыми концепциями являются верхний и нижний уровни агентства или измерения опыта, в зависимости от блока эксперимента.

Подводя итог, можно сказать, что независимыми переменными являются Actor Type и Action Class. Тип актера имеет два уровня (т.е. два разных актера, Актер1 и Актер2, выступающие в исследовании). Класс действия имеет два уровня: класс действия1 и класс действия2, и каждый класс содержит четыре действия. Участники оценивают двух акторов отдельно в четырех блоках (по одному актору в каждом блоке), и в каждом блоке акторы выполняют все действия в уравновешенном порядке. Участники проводят оценки по двум заранее определенным и вынужденным измерениям: агентству и опыту. Четыре блока в эксперименте: (1) Actor1 в блоке агентства, (2) Actor2 в блоке агентства, (3) Actor1 в блоке опыта и (4) Actor2 в блоке опыта. Порядок блоков также уравновешен между участниками, так что блоки с одним и тем же агентом никогда не следуют друг за другом.

Помимо ответов участников, записывается время отклика и координаты x-y беспроводной мыши, которую они используют, когда они движутся к одному из двух вариантов ответа. Таким образом, зависимыми переменными являются реакция и время отклика (RT) участников, а также измерения максимального отклонения (MD) и площади под кривой (AUC), полученные с помощью компьютерного отслеживания мышью. Переменная реакция категориальна; он может быть высоким или низким, и, поскольку оценки проводятся в одном из заданных блоков, ответы также могут быть помечены как «Высокая агентность», «Низкая агентность», «Высокий опыт» или «Низкий опыт». Время отклика является непрерывной переменной; Его единицей измерения являются секунды, и это относится к времени, прошедшему между началом представления действия и возникновением щелчка мыши по одному из вариантов ответа. MD траектории является непрерывной переменной и относится к наибольшему перпендикулярному отклонению между траекторией участника (участников) и идеализированной траекторией (прямой). AUC траектории также является непрерывной переменной и относится к геометрической области между траекторией участника (участников) и идеализированной траекторией32.

Стимулы и дизайн эксперимента
В настоящем исследовании используется трехэтапный эксперимент. Для анализа используются измерения из третьей части; Первые две части служат подготовкой к заключительной части. Ниже мы опишем каждую часть эксперимента вместе с экспериментальными стимулами и гипотезами.

В части 1 эксперимента (часть лексического обучения) участники завершают учебную сессию, чтобы понять концепции свободы воли и опыта, а также уровни способностей, представленные словами «высокий» и «низкий». Для выбора понятий (n = 12), которые будут использоваться в данном учебном занятии, некоторые из авторов настоящей работы провели нормативное исследование33. Поскольку настоящее исследование планировалось проводить на родных языках участников, концепции также были переведены на турецкий язык перед нормализацией. Понятия были отобраны из числа тех, которые были тесно связаны с Высоким (n = 3) и Низким (n = 3) концами двух измерений (по шесть понятий для каждого). Эта часть имеет решающее значение, поскольку ожидается, что понимание участниками концепций будет направлять их процессы оценки.

В части эксперимента 2 (часть идентификации действия) участники наблюдают за теми же восемью действиями, выполняемыми Актером1 и Актером2 одно за другим, и сообщают экспериментатору о том, что это за действие. Этот раздел служит проверкой манипуляций; Представляя все действия, когда оба актера их выполняют, можно убедиться, что участники понимают действия и знакомы с актерами, прежде чем они начнут неявный тест, где им нужно быстро оценить. Действия, выбранные для класса действия 1 и класса действия 2, - это действия, которые имели самые высокие баллы H и уровни достоверности (четыре разных примера действий в каждом классе действий) в соответствии с результатами двух нормативных исследований (N = 219) для каждого состояния актора, проведенных некоторыми авторами (рукопись находится в стадии подготовки). Все действия выполняются в течение равного промежутка времени в 6 с.

Это продолжающееся исследование, и оно имеет некоторые другие компоненты; Однако гипотезы для описанных выше разделов заключаются в следующем: (i) тип субъекта будет влиять на зависимые переменные; Actor2 будет давать более длинные RT, более высокие MD и большие AUC по сравнению с Actor1; (ii) тип действия повлияет на зависимые измерения; Класс действия 1 даст более длинные RT, более высокие MD и большие AUC по сравнению с классом действия 2; (iii) зависимые измерения для высоких и низких ответов для одного и того же актора и класса действий будут различаться в зависимости от измерений блока: агентность и опыт.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Протокол

Протоколы экспериментов в этом исследовании были одобрены Комитетом по этике исследований с участием людей Билькентского университета. Все участники, включенные в исследование, были старше 18 лет, и они прочитали и подписали форму информированного согласия перед началом исследования.

1. Общие этапы проектирования

ПРИМЕЧАНИЕ: Рисунок 1A (вид сверху) и рисунок 1B и рисунок 1C (вид спереди и сзади) демонстрируют планировку лаборатории; Эти цифры были созданы с учетом исходной лабораторной установки и конфигурации, разработанной для этого конкретного исследования. На рисунке 1A показана компоновка лаборатории сверху. На этом рисунке можно увидеть светодиодные светильники на потолке и кабинете актера. Система плотных штор делит комнату пополам и помогает манипулировать светом, предотвращая утечку света в переднюю часть комнаты (зону участника). На рисунке 1В представлен вид лаборатории с точки зрения экспериментатора. Участник сидит прямо перед OLED-экраном, и с помощью прозрачного дисплея он может наблюдать за живыми действиями, выполняемыми актерами. Они дают свои ответы, используя ответное устройство (беспроводную мышь) перед ними. Экспериментатор может одновременно наблюдать за актером через дисплей участника (OLED-экран) и кадры, поступающие с камеры видеонаблюдения. На рисунке 1С показано закулисье исследования (Actor Area) с камерой видеонаблюдения и персональным компьютером (PC) Actor, которые не видны участнику. Кадры с камеры видеонаблюдения отправляются на компьютер с камерой, чтобы установить связь между актерами и экспериментатором. Актерский компьютер отображает актеру порядок блоков и информацию о следующем действии, чтобы эксперимент протекал без перерыва. Актеры могут быстро проверить следующее действие, в то время как участники реагируют на действие в предыдущем испытании.

figure-protocol-1
Рисунок 1: Натуралистическая лабораторная установка . (A) Вид сверху вниз на натуралистическую лабораторную установку. (B) Задняя и лицевая стороны натуралистической экспериментальной установки с точки зрения участника. (C) Задняя и лицевая стороны натуралистической экспериментальной установки с точки зрения актера. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

  1. Спроектируйте установку, которая включает в себя три компьютера, в том числе (1) основной рабочий стол управления (ПК Experimenter), (2) ноутбук актера (ПК Actor) и (3) ПК с камерой, одно беспроводное устройство ответа (мышь участника), два дисплея, схему освещения и камеру видеонаблюдения (см. Рисунок 2A для системной схемы установки этого исследования).
    ПРИМЕЧАНИЕ: ПК экспериментатора будет использоваться экспериментатором для запуска сценариев эксперимента, ПК актера будет использоваться актером для отслеживания блоков эксперимента и порядка действий в блоках, а третье устройство, ПК с камерой, будет подключено к камере видеонаблюдения, расположенной в зоне актера и используемой экспериментатором для наблюдения за кулисами.
  2. Подключите отдельные дисплеи (один для демонстрации стимулов [Дисплей участника], который является OLED-экраном) и экран для наблюдения за экспериментом, ответным устройством и цепью освещения (через провода или беспроводные соединения) к компьютеру экспериментатора (см. рис. 2A).
  3. Подключите компьютер экспериментатора и компьютер актера по беспроводной сети, чтобы передать актерам информацию, связанную со статусом эксперимента (например, «идентификатор следующего действия — приветствие»).
  4. Спроектируйте и создайте схему освещения, которая (см. Рисунок 2B для печатной платы) может управляться микроконтроллером для включения и выключения светодиодов.
    ПРИМЕЧАНИЕ: На рисунке 3A показано непрозрачное использование OLED-экрана, используемого в исследовании, с точки зрения экспериментатора. Для обеспечения непрозрачности фон экрана настраивается на белый (RGB: 255, 255, 255), а весь свет в комнате (как в Зоне участника, так и в Зоне актера) выключен. Участник видит фиксацию перед стимулами. На рисунке 3B показано прозрачное использование цифрового экрана в исследовании с точки зрения экспериментатора. Чтобы обеспечить прозрачность, фон экрана настраивается на черный (RGB: 0, 0, 0), а светодиодная подсветка на потолке включается. Участник наблюдает за актером. На рисунке 3C показано непрозрачное использование цифрового экрана в исследовании. Для обеспечения непрозрачности фон экрана настраивается на белый (RGB: 255, 255, 255), а весь свет в комнате выключен. Участнику предоставляется экран оценки, чтобы дать ответ. Им нужно перетащить курсор в левый верхний или правый верхний угол экрана (один из двух вариантов ответа, высокий или низкий) с помощью беспроводной мыши. Записывается их траектория мыши и время отклика.
  5. Подключите микроконтроллер к ПК Experimenter.
  6. Храните скрипты, выполняющие эксперимент, на компьютере экспериментатора.
    ПРИМЕЧАНИЕ: На рисунке 4A показано закулисье (зона актера) во время эксперимента. Переднее освещение комнаты (зона участника) выключено, и на ПК актера отображается название действия, которое будет выполнено актером. На рисунке 4B показан актерский кабинет, в котором актеры могут дождаться своей очереди и переодеться. Кабинет актера не виден с точки зрения участника, и, поскольку используется система занавесов, актеры могут использовать любой вход, который они хотят. Во время эксперимента флуоресцентные лампы, отображаемые на рисунке, выключены.

figure-protocol-2
Рисунок 2: Системная и электрическая схема . (А) Системная схема натуралистической экспериментальной установки. (B) Электрическая схема световой цепи, поддерживающей OLED-экран во время эксперимента. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

figure-protocol-3
Рисунок 3: OLED-экран с точки зрения экспериментатора. (A) Непрозрачное использование цифрового OLED-экрана с точки зрения экспериментатора. (B) Прозрачное использование цифрового OLED-экрана с точки зрения экспериментатора. (C) Непрозрачное использование цифрового OLED-экрана с точки зрения экспериментатора в течение периода отклика. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

figure-protocol-4
Рисунок 4: Закулисье эксперимента. (A) За кулисами во время эксперимента. (B) Кабинет актера находится в задней части OLED-экрана, в котором актеры могут ждать своей очереди, чтобы быть видимыми во время эксперимента. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

2. Проектирование и реализация схемы освещения

  1. Шаги, которые необходимо выполнить перед питанием устройств/компонентов схемы
    1. Чтобы изменить состояние светодиодов, установленных за кулисами (Actor Area), предоставьте компьютеру Experimenter возможность переключать светодиоды в положение ВКЛ или ВЫКЛ.
    2. Для передачи цифровых команд, которые будут отправляться с ПК Experimenter по USB-кабелю, выберите микроконтроллерное устройство, которое может принимать цифровые входы и генерировать цифровой выход (см. Таблицу материалов для микроконтроллера, используемого в этом исследовании).
    3. Выберите конкретный USB-порт ПК Experimenter для подключения к USB-входу микроконтроллера с помощью USB-кабеля. Не включайте компьютер, пока не убедитесь, что все соединения успешно установлены.
    4. Включите коммутационный модуль для увеличения амплитуды выходного сигнала (около 3,3 В), генерируемого микроконтроллером.
    5. Подключите назначенный контакт цифрового выхода (для этого эксперимента назначенный вывод — D9) и контакты заземления микроконтроллера к модулю коммутации.
    6. Для запуска нагрузки (светодиодов) включите мощный модуль полевого транзистора металл-оксид-полупроводник (МОП-транзистор) (или модуль МОП-транзисторов), который управляется сигналом, генерируемым коммутационным модулем, и подключите сигнальные контакты модуля МОП-транзистора к соответствующей паре сигнал-земля на коммутационном модуле.
    7. Подсоедините контакты парника модуля MOSFET к нагрузке.
    8. Для подачи регулируемого постоянного напряжения на модули (и косвенно, на светодиоды) включите светодиодный источник питания, который принимает вход сети переменного тока (AC) и генерирует постоянное постоянное напряжение в цепи.
    9. Подключите выходы светодиодного источника питания к входам питания как модуля MOSFET, так и модуля коммутации.
  2. Шаги, которые необходимо выполнить после подключения компонентов схемы
    1. Подключите USB-кабель к выбранному USB-порту компьютера Experimenter.
    2. Создайте последовательный канал связи между микроконтроллером и программной средой, работающей на ПК Experimenter (см. подраздел Подключение микроконтроллера к ПК Experimenter).
    3. Подключите блок питания светодиода к сетевому входу переменного тока.

3. Программирование эксперимента

ПРИМЕЧАНИЕ: Создайте три основных экспериментальных сценария (ExperimentScript1.m [Файл дополнительного кодирования 1], ExperimentScript2.m [Файл дополнительного кодирования 2] и ExperimentScript3.m [Файл дополнительного кодирования 3]), а также несколько функций (RecordMouse.m [Файл дополнительного кодирования 4], InsideROI.m [Файл дополнительного кодирования 5], RandomizeTrials.m [Файл дополнительного кодирования 6], RandomizeBlocks.m [Файл дополнительного кодирования 7], GenerateResponsePage.m [файл дополнительного кодирования 8], GenerateTextures.m [файл дополнительного кодирования 9], ActorMachine.m [файл дополнительного кодирования 10], MatchIDtoClass.m [файл дополнительного кодирования 11] и RandomizeWordOrder.m [файл дополнительного кодирования 12]) для проведения эксперимента.

ПРИМЕЧАНИЕ: Пожалуйста, обратитесь к соответствующим скриптам для получения подробных объяснений.

  1. Рандомизация пробных и блочных ордеров
    1. Определите и создайте две функции для рандомизации пробных ордеров (RandomizeTrials.m) и блоковых ордеров (RandomizeBlocks.m), которые принимают параметры рандомизации (например, идентификатор участника) в качестве входных данных и возвращают массив псевдорандомизированных последовательностей.
    2. Подробные сведения о том, как генерируются рандомизированные последовательности, см. в скриптах RandomizeBlocks.m (строки 2-24) и RandomizeTrials.m (строки 3-26).
  2. Отслеживание ответа (RecordMouse, InsideRoi)
    1. Создайте функцию, которая отслеживает и записывает траекторию мыши участников и время, прошедшее во время эксперимента (см. RecordMouse.m).
    2. Создайте вспомогательную функцию, чтобы проверить, лежат ли выбранные координаты внутри допустимых областей или нет (см. скрипт InsideRoi.m).
  3. Генерация текстур для инструкций и отзывов (GenerateTextures.m, GenerateResponsePage.m)
    1. Подготовьте инструкции, связанные с экспериментом, и отзывы, связанные с испытаниями, в виде изображений.
    2. Сохраните содержимое этих изображений в файл .mat (см. файл ExperimentImages.mat [Файл дополнительного кодирования 13]).
    3. Загрузите файл .mat в рабочую область (см. строку 25 GenerateTextures.m) после создания экранного окна.
    4. Создайте отдельную текстуру и ее идентификатор для каждого изображения (см. строки 27-165 GenerateTextures.m).
    5. Определите функцию для рисования связанных текстур страницы ответа для каждого сценария эксперимента (см. раздел GenerateResponsePage.m).
  4. Подключение компьютера актера к компьютеру экспериментатора по протоколу TCP/IP
    1. Создайте сокет TCP-сервера в скрипте (см. строку 174 ExperimentScript2.m), работающем на компьютере Experimenter.
    2. Создайте соответствующий сокет TCP-клиента в скрипте (см. строку 16 ActorMachine.m), запущенном на компьютере Actor.
    3. Отправьте сведения о предстоящем блоке или пробной версии актерам из сценария (см. строки 207, 229 и 278 в ExperimentScript2.m или строки 136, 141, 153, 159 и 297 в ExperimentScript3.m), запущенного на компьютере Experimenter.
    4. Отобразите полученную информацию от ПК «Экспериментатор» в экранном окне ПК «Актер» (см. строки 31-47 в ActorMachine.m).
  5. Подключение микроконтроллера к ПК Experimenter
    1. Подключите микроконтроллер к определенному USB-порту (например, PORT 9) для управления состоянием (ВКЛ или ВЫКЛ) установленных светодиодов за кулисами.
    2. Установите последовательную связь между микроконтроллером и компьютером Experimenter (см. строку 185 сценария ExperimentScript2.m).
    3. Отправьте логический высокий сигнал (1) на микроконтроллер из сценария, запущенного на компьютере Experimenter (см. строку 290 в ExperimentScript2.m или строку 311 в сценариях ExperimentScript3.m), чтобы включить светодиоды при отображении действий через USB-кабель.
    4. Отправьте логический сигнал низкого уровня (0) на микроконтроллер из сценария, запущенного на ПК Experimenter (см. строку 292 в ExperimentScript2.m или строку 314 в сценариях ExperimentScript3.m), чтобы выключить светодиоды, когда участник должен дать ответ.

4. Ход выборочного эксперимента

  1. Этапы перед экспериментом
    1. Убедитесь, что все устройства в лаборатории (ПК экспериментатора, ПК с камерой, ПК актера и дисплей участника) питаются от ИБП.
    2. Подключите микроконтроллер Lightning к компьютеру Experimenter с помощью кабеля USB, чтобы он автоматически включался при включении компьютера Experimenter.)
    3. Включите компьютер Experimenter и проверьте, подключен ли он к сети Wi-Fi 5 ГГц.
    4. Выберите звуковое устройство (динамики в таблице материалов) в качестве устройства вывода звука ПК Experimenter.
    5. Включите дисплей участника и установите настройки громкости на 80%.
    6. Установите параметры экрана компьютера Experimenter для нескольких мониторов. Расширьте дисплей экспериментального компьютера на дисплей участника. Дисплей ПК экспериментатора будет равен 1, а дисплей участника — 2.
    7. Включите компьютер Actor и проверьте, подключен ли он к сети Wi-Fi 5 ГГц.
    8. Подключите камеру видеонаблюдения к компьютеру Actor с помощью USB-кабеля, чтобы она автоматически включалась при включении компьютера Actor.
    9. Включите компьютер с камерой и откройте приложение камеры на рабочем столе. Убедитесь, что каждый актер, его движения, а также его вход и выход в кабинет видны с камеры.
    10. Убедитесь, что все компьютеры, дисплеи и устройства (устройство отклика [беспроводная мышь участника], динамики, клавиатура и мышь компьютеров Experimenter PC и Actor PC, а также микроконтроллер Lightning) работают правильно.
    11. Пригласите участника в другую комнату; Предоставив краткую информацию об исследовании, предоставьте форму согласия и дайте участнику подписать ее.
    12. Попросите участника вытащить число из сумки и скажите ему, что это число будет его идентификатором участника на протяжении всего исследования.
    13. Позвольте участнику заполнить онлайн-демографическую форму, указав свой анонимный идентификатор участника.
      ПРИМЕЧАНИЕ: Очень важно, чтобы участники не видели актеров перед экспериментом. Таким образом, эти документы заполняются в другой комнате, а не в основной экспериментальной комнате, чтобы актеры могли делать перерывы между участниками.
  2. Этапы эксперимента
    1. Откройте программное обеспечение эксперимента на компьютере Experimenter, откройте сценарий ExperimentScript1.m и запустите его.
    2. Заполните ID участника и возраст; затем сценарий запустит первую часть эксперимента (первым видимым стимулом будет крест в центре дисплея участника).
    3. Откройте программное обеспечение эксперимента на компьютере с актером и откройте сценарий ActorMachine.m.
    4. Поместите компьютер с камерой рядом с компьютером экспериментатора и убедитесь, что кадры, поступающие с камеры видеонаблюдения, не видны участнику.
    5. Поприветствуйте участника в главной комнате эксперимента и позвольте ему занять место перед дисплеем участника.
    6. Скажите участнику, чтобы он расположился так, чтобы крест находился посередине и прямо перед собой.
    7. Кратко расскажите о частях эксперимента, обратившись к пояснениям и продолжительности, написанным на доске.
    8. Выключите весь свет в экспериментальной комнате.
  3. Эксперимент часть 1:
    1. Скажите участнику, что он завершит лексическое/концептуальное обучение в первой части эксперимента. Предупредите их о том, чтобы они были осторожны и следовали инструкциям, чтобы они могли пройти обучение.
    2. Скажите участнику, что эксперимент можно начинать, когда он будет готов.
    3. Нажмите кнопку ESC , когда участник скажет, что готов к первой части.
      ПРИМЕЧАНИЕ: С этого момента участник будет продвигаться по эксперименту, читая инструкции на дисплее участника и выбирая один из вариантов. Они получат обратную связь относительно своих правильных и неправильных ответов, чтобы они могли хорошо прогрессировать в обучении. Сопоставление будет продолжаться до тех пор, пока участники не достигнут минимального порога (80%) в течение 10 повторений блоков.
    4. Когда участник завершит обучающую часть, нажмите кнопку ESC и скажите участнику, что экспериментатор берет на себя управление мышью, чтобы начать вторую часть эксперимента.
  4. Эксперимент часть 2:
    1. Откройте сценарий ExperimentScript2.m и дождитесь приглашения Ожидание компьютера актера.
    2. Позвоните в колокольчик при появлении запроса, чтобы один из актеров мог запустить сценарий на компьютере актера, чтобы включить соединение с компьютером экспериментатора.
    3. Дождитесь подсказки Эксперимент Часть 2 будет готова.
    4. Скажите участнику, что теперь экран будет прозрачным, пока он наблюдает за некоторыми короткими действиями через него.
    5. Предупредите их, чтобы они внимательно следили за каждым действием, и сообщите им, что они должны сказать вслух, что это за действие.
    6. Скажите участнику, что эксперимент можно начинать, когда он будет готов.
    7. Нажмите кнопку ESC , когда участник скажет, что готов к первой части.
      ПРИМЕЧАНИЕ: Участник проходит инструкцию и наблюдает за первым действием. Actor1 выполняет действия при включении светодиодных индикаторов и проверяет следующее действие из командной строки на компьютере Actor при выключении света. Когда каждое действие завершится, на экране компьютера Experimenter появится диалоговое окно.
    8. Введите то, что участник говорит о действии в диалоговом окне, и введите 1 или 0 во втором диалоговом окне в зависимости от правильной или неправильной идентификации действия соответственно.
      ПРИМЕЧАНИЕ: Эти шаги будут повторены восемь раз для первого актера, и фоновая музыка начнет играть, когда актерам придет время поменяться местами.
    9. Посмотрите закулисье с камеры видеонаблюдения на ПК с камерой.
    10. Нажмите кнопку ESC, чтобы начать идентификацию Actor2, когда актер машет руками в сторону камеры видеонаблюдения жестом «Я готов».
    11. Повторяйте шаги 4.4.7 и 4.4.8 вместе с участником до тех пор, пока те же восемь действий не будут идентифицированы во время их выполнения Actor2.
    12. Когда участник увидит предупреждение « Идентификация завершена » и выйдет из части, щелкнув стрелку, нажмите кнопку ESC и сообщите участнику, что экспериментатор берет на себя управление мышью, чтобы начать третью часть эксперимента.
  5. Эксперимент часть 3:
    1. Откройте сценарий ExperimentScript3.m.
    2. Скажите участнику, что он будет наблюдать за действиями обоих актеров, а затем он нажмет на вариант, который он считает подходящим.
      ПРИМЕЧАНИЕ: Участники будут оценивать действия актеров в четырех блоках. В двух блоках Actor1 будет выполнять действия, а в двух других Actor2 будет выполнять те же действия. В двух блоках участники будут оценивать действия, приписывая высокие или низкие возможности агентства, а в двух других они будут приписывать высокие или низкие возможности опыта.
    3. Нажмите кнопку ESC , когда участник скажет, что готов к третьей части.
      ПРИМЕЧАНИЕ: Участник проходит инструкцию, и они начинают с первого блока. Актеры выполняют действия при свете, и пока участники дают свои ответы, экран становится непрозрачным, и свет выключается, чтобы актеры могли видеть, какое действие будет следующим. Когда каждый блок закончится, актеры поменяются местами в соответствии с подсказками на ПК актера.
    4. Проверьте, все ли идет хорошо за кулисами и правильный ли актер проводит правильные действия во время блоков.
    5. Нажмите кнопку ESC , чтобы начать следующий блок, когда правый актер машет руками жестом «Я готов» после замены актеров.
    6. Повторяйте шаги 4.5.4 и 4.5.5 в сотрудничестве с участником и актером, пока не будут завершены четыре блока.
    7. Когда участник увидит, что эксперимент окончен, подскажите спасибо, нажмите кнопку ESC .
    8. Поблагодарите участника и, подведя итоги и собрав подписи, отправьте участника.

На рисунке 5 показана выборка испытания с точки зрения участника. На рисунке 5A показан участник, смотрящий на курсор в центре экрана в его непрозрачном использовании. На рисунке 5B показан участник, наблюдающий за стимулами живого действия через экран. На рисунке 5C показан экран оценки, представленный участнику после стимулов, в котором ему нужно перетащить мышь на одну из двух альтернатив в каждом верхнем углу экрана.

figure-protocol-5
Рисунок 5: OLED-экран с точки зрения участника. (A) Непрозрачное использование цифрового OLED-экрана с точки зрения участника во время фиксации экрана. (B) Прозрачное использование цифрового OLED-экрана с точки зрения участника во время презентации живого выступления. (C) Непрозрачное использование цифрового OLED-экрана с точки зрения участника в течение периода ответа. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

5. Предварительная обработка и анализ данных

  1. Сегментация данных по условиям
    1. Считайте все файлы данных участников в рабочую область программной среды.
    2. Определите условия для группировки данных (два класса действий [Action Class1 и Action Class2] x два актора [Actor1 и Actor2] x два измерения [Агент и Опыт] x два уровня [Высокий и Низкий]).
    3. Разделите данные на четыре основные группы: «Высокий уровень агентства», «Низкий уровень агентства», «Высокий опыт» и «Низкий уровень опыта».
    4. Разделите эти основные группы на четыре подгруппы (два актера x два класса действий).
    5. Прокрутите каждый файл данных, чтобы сгруппировать испытания, принадлежащие к одной из четырех ранее определенных подгрупп.
    6. Храните соответствующую информацию об испытании (время отклика, перемещение курсора и моменты времени, в которые осуществляется выборка положения курсора) в отдельных структурах данных для каждой подгруппы.
    7. Выйдите из цикла, когда все испытания будут сгруппированы.
  2. Визуализация траекторий
    1. После сегментации данных выполните следующие действия, чтобы визуализировать траектории мыши.
    2. Чтобы применить временную интерполяцию к траекториям отклика, для каждого испытания выберите 101 пару (x,y) из массива траекторий, чтобы каждая подгруппа данных имела испытания с равным числом временных шагов.
      ПРИМЕЧАНИЕ: Привязывая количество пар к 101, обязательно следуйте соглашению32, чтобы провести правильную нормализацию времени. Следовательно, добейтесь нормализации времени, используя следующее уравнение, где n — количество выборок в массиве траекторий:
      figure-protocol-6
    3. Вычислите сумму пар (x,y) в каждом из 101 момента времени, а затем разделите полученный результат на общее количество испытаний этой подгруппы, чтобы получить средние значения для каждой подгруппы (например, Experience Low Actor1 или Experience Low Actor2).
    4. Примените операцию масштабирования к значениям строк, чтобы визуализировать средние траектории.
      ПРИМЕЧАНИЕ: 2D-координатная плоскость предполагает, что обе оси увеличиваются от нулевой точки, расположенной в левом нижнем углу окна (при условии, что координаты являются положительными целыми числами), тогда как формат пикселей принимает верхний левый угол окна в качестве эталона (например, нулевая точка). Таким образом, примените операцию масштабирования для y-координат (соответствующих значениям строк в пиксельном формате) выборочных местоположений путем извлечения выборочной y-координаты каждого испытания из значения общего числа строк.
    5. Нанесите соответствующие подгруппы на один и тот же рисунок для сравнения.
      ПРИМЕЧАНИЕ: Каждая траектория начинается в центре прямоугольника, расположенного внизу по центру, обозначенного как START, и заканчивается внутри прямоугольников, расположенных в верхнем левом или верхнем правом углах.

6. Условия, которые могут привести к сбою системы, и меры предосторожности

ПРИМЕЧАНИЕ: В случае сбоя системы крайне важно иметь физический знак (звонок в колокольчик), чтобы сообщить актеру о сбое и предупредить его, чтобы он оставался в месте, невидимом для участника.

  1. Сбои из-за сетевого подключения
    1. Если один из компьютеров подключен к другой сети, запрос на подключение TCP/IP завершится ошибкой, и система покажет ошибку. Чтобы избежать этого, убедитесь, что компьютеры Experimenter и Actor находятся в одном диапазоне одной и той же беспроводной сети.
    2. Чтобы убедиться, что оба компьютера остаются в одной сети, сотрите ранее подключенные беспроводные сети с обоих компьютеров.
    3. Установите статические IP-адреса для устройств в выбранной сети, так как IP-адреса в сети могут изменяться без предварительного уведомления.
    4. Любое кратковременное отключение (например, из-за отключения электроэнергии, интернета и т. д.) к сети может привести к сбою сценария. В этих обстоятельствах систему необходимо перезагрузить с самого начала, чтобы восстановить соединение TCP/IP.
      ПРИМЕЧАНИЕ: Требование статических IP-адресов для устройств может быть выполнено интернет-провайдером. Некоторые порты могут быть отключены операционной системой или оборудованием на данном устройстве; Следовательно, порты, которые будут использоваться в эксперименте, должны быть открыты и не должны иметь активного подключения до тех пор, пока не будет запущен сценарий эксперимента.
  2. Сбои из-за сбоев программного обеспечения
    1. Программная среда может аварийно завершить работу из-за неудачных подключений (например, подключение к последовательному порту, соединение TCP/IP, подключение дисплея и т. д.), что может привести к потере данных. Чтобы преодолеть это, разделите основной сценарий эксперимента на несколько сценариев. Например, если есть блок, который нужно выполнить до того, как актеры начнут выполнять действия, нет необходимости создавать сервер на ПК Экспериментатора во время этого блока. Сервер может быть создан, когда блок, который включает в себя действия и, таким образом, требует связи между Experimenter PC и Actor PC, вот-вот запустится.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Результаты

Сравнение времени отклика (RT)
Настоящее исследование является продолжающимся проектом, поэтому в качестве репрезентативных результатов представлены данные основной части эксперимента (Experiment Part 3). Эти данные получены от 40 участников, в том числе 23 женщин и 17 мужчин, в возрасте от 18 до 28 лет (M = 22,75, SD = 3,12).

Изучение степени нормальности распределения зависимых переменных было необходимо для того, чтобы выбрать соответствующий статистиче...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Обсуждение

Всеобъемлющая цель настоящего исследования состоит в том, чтобы внести свой вклад в наше понимание того, как человеческое высокоуровневое визуальное восприятие и познание работают в реальных жизненных ситуациях. Это исследование было сосредоточено на восприятии действий и предложило натуралистическую, но контролируемую экспериментальную парадигму, которая позволяет исследователям проверять, как люди воспринимают и оценивают действия других, представляя реальных актеров в лабораторных условиях.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Раскрытие информации

Авторы заявляют, что у них нет соответствующих или существенных финансовых интересов, связанных с исследованием, описанным в этой статье.

Благодарности

Эта работа была поддержана грантами Бурджу А. Ургену от Совета по научным и технологическим исследованиям Турции (номер проекта: 120K913) и Билькентского университета. Мы благодарим нашего пилотного участника Сену Эр Эльмас за то, что она привнесла идею добавления фонового шума между сменами актеров, Сулеймана Аки за настройку световой цепи и Тувану Карадуман за идею использования камеры видеонаблюдения за кулисами и ее вклад в качестве одного из актеров в исследовании.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
Регулируемый по высоте столиндивидуальному заказуШирина: 60 см, Высота: 62 см, Глубина: 40 см
Ardunio UNO Смарт-проектыA000066Микроконтроллер, используемый для переключения состояния светодиодов из сценария, запущенного на операторе
ПК Черные штаныНет брендаН/ДБрюки свободного кроя актеров без явного названия бренда или логотипа.
ЧехолXigmatekEN43224XIGMATEK HELIOS RAINBOW LED USB 3.0 MidT ATX ИГРОВОЙ КОРПУС
ПРОЦЕССОРAMDAMD Ryzen 5 1600 Soket AM4 3,2 ГГц - 3,6 ГГц 16 МБ 65 Вт 12 нм
Шторки процессора ИзготовленныезаказН/ДШирина: Часть 1: ширина 110 см от стены (слева) стороны, Часть 2: ширина 123 см над OLED-дисплеем, Часть 3: 170 см от OLED-дисплея вправо, Глубина кабины: 100 см, Глубина внутренней кабины: 100 см, вся высота 230 см, кроме Части 2 (высота 75 см)
Регулируемый/вращающийся стул ExperimenterНет брендаН/Д
Стол экспериментатораПользовательскийН/ДШирина: 160 см, Высота: 75 см, Глубина: 80 см
Графический процессорMSIGT 1030 2GHD4 LP OCMSI GEFORCE GT 1030 2GHD4 LP OC 2 ГБ DDR4 64bit NVIDIA GPU
Затемняющая штора серого цветаИзготовленная на заказН/ДШирина: 330 см, Высота: 230 см, используется для прикрытия фона
Жесткий дискKioxiaLTC10Z240GG8Kioxia 240 GB Exceria Sata 3.0 SSD (555 МБ чтения/540 МБ записи)
Жесткий дискToshibaHDWK105UZSVAToshiba 2,5'' 500 ГБ L200 SATA 3.0 8 МБ кэш-памяти 5400 об/мин 7 мм Жесткий диск
Мощный модуль MOSFET НН/ДКонтроллер нагрева MKS MOSFET модуль
НоутбукAppleS/N: C02P916ZG3QTMacBook Pro 11.1 Intel Core i7 (используется как актерский ПК)
НоутбукAsus UX410UИспользуется для наблюдения за камерой видеонаблюдения в режиме реального времени.
Светодиодные светильникиНетмарки Н/Д
Светодиодная лента Блок питанияНет маркиН/ДПреобразователь напряжения переменного тока в постоянный, используемый для подачи постоянного напряжения в цепь освещения
MATLAB The MathWorks Inc., Натик, МассачусетсСША Версия: R2022aИспользовано для программирования эксперимента.

Необходимые наборы инструментов:
Пакет поддержки MATLAB для аппаратного обеспечения Arduino (версия 22.1.2)
Набор инструментов для управления приборами (версия 4.6)
Psychtoolbox (версия 3)
МониторPhilipsUHB2051005145 ID модели: 242V8A/00, PHILIPS 23.8" 242V8A 4ms 75 Гц Freesync DP-HDMI+VGA IPS Игровой монитор 
Материнская платаMSIB450M-A PRO MAXMSI B450M-A PRO MAX AMD B450 Socket AM4 DDR4 3466(OC) M.2 Материнская плата M.2
Mouse Pad для участникаMonster  78185721101502042 / 8699266781857Pusat Gaming Mouse Pad XL
Ночная лампаAukesES620-0.5W 6500K-IP 20Используется для помощи актерам видеть вокруг, когда свет выключен за кулисами.
Регулируемый/вращающийся стулдля участников Нет маркиН/Д
Стол для участниковIKEASandsberg 294.203.93Ширина: 110 см, Высота: 75 см, Глубина: 67 см
Удлинитель питанияViko9011760Y250 В (6 входов) Черный
удлинительный кабель Viko9011730Y250 В (3 входа) Черный
удлинительный кабель Viko9011330Y250 В (3 входа) Белый
удлинительный кабель питанияs-link Модель: SPG3-J-10AC - 250 В 3 метра (5 входов)
Блок питанияTHERMALTAKEPS-LTP-0550NHSANE-1THERMALTAKE LITEPOWER RGB 550 Вт APFC 12 см вентилятор PSU
Профессиональная игровая мышьRampage 8680096Модель: SMX-R50 
Оперативная памятьGSKILLF4-3000C16S-8GVRBGSKILL 8 ГБ (1x8 ГБ) RipjawsV Red DDR4 3000 МГц CL16 1,35 В Single Ram
Прием звонкаНет брендаН/ДИспользуется для помощи в общении между экспериментатором и актерами.
Охранная камераBrion Vega2-20204210Модель: BV6000
ДинамикиLogitechНомер по каталогу: 880-000-405 PID: WD528XMИспользуется для воспроизведения фоновой музыки.
Программное обеспечениедля опросов Qualtrics Н/Д
Коммутационный модульНет маркиН/ДF5305S PMOS Коммутационный модуль
Стол под OLED-дисплеемИзготовлен на заказН/ДШирина: 123 см, Высота: 75 см, Глубина: 50 см
Прозрачный OLED-дисплейПланарныйPN: 998-1483-01 S/N:19521007555-дюймовый прозрачный дисплей, демонстрирующий динамическую информацию, обеспечил непрозрачное и прозрачное использование во время эксперимента.
ИБПEAGK200610100087EAG 110
ИБПEAG210312030507EAG 103
USB 2.0 кабель типа A/B для Arduino UNO (Blue)Smart ProjectsM000006 Используется для подключения микроконтроллера к ПК экспериментатора.
Конвертер USB в RS232 s-link8680096082559Модель: SW-U610
Белая блузка с длинными рукавами (2)H& M (хлопок)N/AБлузки свободного кроя с круглым вырезом и без заметного названия бренда или логотипа.
Беспроводная клавиатураLogitechНомер по каталогу: 820-003488 Номер по каталогу: 1719CE0856D8Модель: K360
Беспроводная мышьLogitechНомер по каталогу: 2147LZ96BGQ9Номер по каталогу: M190 (используется в качестве устройства реагирования)
Н по YD1600BBAFBOX на любой марки ,

Ссылки

  1. Grossman, E. D., Blake, R. Brain areas active during visual perception of biological motion. Neuron. 35 (6), 1167-1175 (2002).
  2. Saygin, A. P. Superior temporal and premotor brain areas necessary for biological motion perception. Brain. 130 (9), 2452-2461 (2007).
  3. Peelen, M. V., Downing, P. E. The neural basis of visual body perception. Nature Reviews Neuroscience. 8 (8), 636-648 (2007).
  4. Caspers, S., Zilles, K., Laird, A. R., Eickhoff, S. B. ALE meta-analysis of action observation and imitation in the human brain. Neuroimage. 50 (3), 1148-1167 (2010).
  5. Nelissen, K., et al. Action observation circuits in the macaque monkey cortex. Journal of Neuroscience. 31 (10), 3743-3756 (2011).
  6. Oosterhof, N. N., Tipper, S. P., Downing, P. E. Crossmodal and action-specific: Neuroimaging the human mirror neuron system. Trends in Cognitive Sciences. 17 (7), 311-318 (2013).
  7. Lingnau, A., Downing, P. E. The lateral occipitotemporal cortex in action. Trends in Cognitive Sciences. 19 (5), 268-277 (2015).
  8. Giese, M. A., Rizzolatti, G. Neural and computational mechanisms of action processing: Interaction between visual and motor representations. Neuron. 88 (1), 167-180 (2015).
  9. Tucciarelli, R., Wurm, M., Baccolo, E., Lingnau, A. The representational space of observed actions. eLife. 8, e47686(2019).
  10. Tarhan, L., Konkle, T. Sociality and interaction envelope organize visual action representations. Nature Communications. 11 (1), 3002(2020).
  11. Urgen, B. A., Saygin, A. P. Predictive processing account of action perception: Evidence from effective connectivity in the action observation network. Cortex. 128, 132-142 (2020).
  12. Newen, A., De Bruin, L., Gallagher, S. The Oxford Handbook of 4E Cognition. , Oxford University Press. Oxford, UK. (2018).
  13. Snow, J. C., Culham, J. C. The treachery of images: How realism influences brain and behavior. Trends in Cognitive Sciences. 25 (6), 506-519 (2021).
  14. Matusz, P. J., Dikker, S., Huth, A. G., Perrodin, C. Are we ready for real-world neuroscience. Journal of Cognitive Neuroscience. 31 (3), 327-338 (2019).
  15. Zaki, J., Ochsner, K. The need for a cognitive neuroscience of naturalistic social cognition. Annals of the New York Academy of Sciences. 1167 (1), 16-30 (2009).
  16. Hasson, U., Honey, C. J. Future trends in Neuroimaging: Neural processes as expressed within real-life contexts. NeuroImage. 62 (2), 1272-1278 (2012).
  17. Risko, E. F., Laidlaw, K. E., Freeth, M., Foulsham, T., Kingstone, A. Social attention with real versus reel stimuli: toward an empirical approach to concerns about ecological validity. Frontiers in Human Neuroscience. 6, 143(2012).
  18. Parsons, T. D. Virtual reality for enhanced ecological validity and experimental control in the clinical, affective and social neurosciences. Frontiers in Human Neuroscience. 9, 660(2015).
  19. Deuse, L., et al. Neural correlates of naturalistic social cognition: brain-behavior relationships in healthy adults. Social Cognitive and Affective Neuroscience. 11 (11), 1741-1751 (2016).
  20. Camerer, C., Mobbs, D. Differences in behavior and brain activity during hypothetical and real choices. Trends in Cognitive Sciences. 21 (1), 46-56 (2017).
  21. Nastase, S. A., Goldstein, A., Hasson, U. Keep it real: Rethinking the primacy of experimental control in cognitive neuroscience. NeuroImage. 222, 117254(2020).
  22. Kihlstrom, J. F. Ecological validity and "ecological validity". Perspectives on Psychological Science. 16 (2), 466-471 (2021).
  23. Brunswik, E. Perception and the Representative Design of Psychological Experiments. , University of California Press. Oakland, California. (1956).
  24. Aronson, E., Carlsmith, J. M. Experimentation in social psychology. The Handbook of Social Psychology. Gilbert, D. T., Fiske, S. T., Lindzay, G. , McGraw-Hill. New York, NY. 1-79 (1968).
  25. Hammond, K. Ecological validity: Then and now. University of Colorado. , Available from: https://www.albany.edu/cpr/brunswik/notes/essay1.html (1998).
  26. Fan, S., Dal Monte, O., Chang, S. W. Levels of naturalism in social neuroscience research. IScience. 24 (7), 102702(2021).
  27. Orban, G. A., Lanzilotto, M., Bonini, L. From observed action identity to social affordances. Trends in Cognitive Sciences. 25 (6), 493-505 (2021).
  28. Gray, H. M., Gray, K., Wegner, D. M. Dimensions of mind perception. Science. 315 (5812), 619(2007).
  29. Li, Z., Terfurth, L., Woller, J. P., Wiese, E. Mind the machines: Applying implicit measures of mind perception to social robotics. 2022 17th ACM/IEEE International Conference on Human-Robot Interaction (HRI. , 236-245 (2022).
  30. Karpinski, A., Steinman, R. B. The single category implicit association test as a measure of implicit social cognition. Journal of Personality and Social Psychology. 91 (1), 16(2006).
  31. Greenwald, A. G., McGhee, D. E., Schwartz, J. L. Measuring individual differences in implicit cognition: the implicit association test. Journal of Personality and Social Psychology. 74 (6), 1464(1998).
  32. Freeman, J. B., Ambady, N. MouseTracker: Software for studying real-time mental processing using a computer mouse-tracking method. Behavior Research Methods. 42 (1), 226-241 (2010).
  33. Pekçetin, T. N., Barinal, B., Tunç, J., Acarturk, C., Urgen, B. A. Studying mind perception in social robotics implicitly: The need for validation and norming. Proceedings of the 2023 ACM/IEEE International Conference on Human-Robot Interaction. , 202-210 (2023).
  34. Yu, Z., Wang, F., Wang, D., Bastin, M. Beyond reaction times: Incorporating mouse-tracking measures into the implicit association test to examine its underlying process. Social Cognition. 30 (3), 289-306 (2012).
  35. Romero, C. A., Snow, J. C. Methods for presenting real-world objects under controlled laboratory conditions. Journal of Visualized Experiments. (148), e59762(2019).
  36. Jastorff, J., Abdollahi, R. O., Fasano, F., Orban, G. A. Seeing biological actions in 3 D: An f MRI study. Human Brain Mapping. 37 (1), 203-219 (2016).
  37. Ferri, S., Pauwels, K., Rizzolatti, G., Orban, G. A. Stereoscopically observing manipulative actions. Cerebral Cortex. 26 (8), 3591-3610 (2016).
  38. Stangl, M., Maoz, S. L., Suthana, N. Mobile cognition: Imaging the human brain in the 'real world. Nature Reviews Neuroscience. 24 (6), 347-362 (2023).
  39. Kriegeskorte, N. Deep neural networks: a new framework for modeling biological vision and brain information processing. Annual Review of Vision Science. 1, 417-446 (2015).
  40. Marblestone, A. H., Wayne, G., Kording, K. P. Toward an integration of deep learning and neuroscience. Frontiers in Computational Neuroscience. 10, 94(2016).

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Перепечатки и разрешения

Теги

OLED