需要JoVE订阅才能观看此内容。 请登录或开始免费试用

方法文章

一种用于实验心理学与认知神经科学研究中呈现真实人物与实时行为的自然情境实验装置

3K 次观看

⸱

DOI：

10.3791/65436

⸱

2023年8月4日

 ,  ,  ,  , 
1Department of Cognitive Science, Middle East Technical University, 2Interdisciplinary Neuroscience Graduate Program, Bilkent University, 3Department of Computer Engineering, Middle East Technical University, 4Department of Cognitive Science, Jagiellonian University, 5Department of Psychology, Interdisciplinary Neuroscience Graduate Program, National Magnetic Resonance Research Center (UMRAM), Aysel Sabuncu Brain Research Center, Bilkent University

本文内容

摘要

本研究展示了一种自然情境下的实验设置，该设置可使研究人员实时呈现动作刺激，在参与者每次刺激呈现后收集其反应时间和鼠标轨迹数据，并通过一套包含特殊透明有机发光二极管（OLED）屏幕和光线调控装置的独特系统，在不同实验条件下更换动作执行者。

摘要

感知他人的行为对于生存、互动和交流至关重要。尽管认知神经科学领域已投入数十年时间研究行为感知，但我们距离开发出接近人类行为感知能力的、受神经机制启发的计算机视觉系统仍有很大差距。一个主要挑战在于，现实世界中的行为是由在时空上动态展开的事件构成的，这些事件发生在"此时此地"，并具有可作用性（actability）。相比之下，迄今为止的视觉感知与认知神经科学研究大多通过二维显示设备（如图像或视频）来研究行为感知，而这类设备缺乏行为者在时空中的真实存在，因此在提供可作用性方面存在局限。尽管该领域已积累了越来越多的知识，但要更深入理解现实世界中他人行为感知的基本机制，仍必须克服上述挑战。本研究旨在介绍一种新颖的实验装置，用于在贴近真实世界情境的条件下开展包含真实行为者的自然化实验室实验。本研究所用装置的核心部件是一块透明的有机发光二极管（OLED）屏幕，参与者可通过该屏幕观察一位真实在场的行为者所执行的实时动作，同时其呈现时间可被精确控制。在本研究中，该装置已在一项行为实验中进行了测试。我们相信，该装置将有助于研究人员揭示行为感知中一些基本但此前难以触及的认知与神经机制，并为未来在自然化情境下开展社会感知与认知研究奠定基础。

引言

感知并理解他人的行为，以及在周围环境中与他人互动，是生存和社会交往的基本能力。过去几十年的研究在揭示个体如何感知和理解他人行为的基本原理方面做出了重要贡献1,2,3,4,5,6,7,8,9,10,11。然而，鉴于互动的复杂性及其发生的各种情境，显然有必要在更接近真实生活的自然情境中进一步拓展相关知识体系，以更全面地理解日常生活中这一复杂技能。

在日常生活等自然环境中，感知与认知表现出具身性、嵌入性、延展性和生成性特征12。与倾向于弱化身体和环境作用的内源性脑功能理论不同，当代具身认知研究关注大脑、身体与环境之间的动态耦合。另一方面，大多数关于动作知觉的社会心理学、认知心理学和神经科学研究通常假设，在实验室条件下采用高度受控且简化的实验设计（例如计算机任务中的图像或视频）所得出的结果，可推广至现实互动等更复杂的场景1,2,3,4,5,6,7,8,9,10,11。这一假设确保了在多种情况下能够获得稳健且可靠的数据。然而，一个众所周知的挑战是，从严格控制的实验中得出的模型在真实世界情境中进行检验时，其有效性受到限制13。因此，已有大量研究13,14,15,16,17,18,19,20,21,22致力于解决各类研究领域中刺激材料与实验设计的生态效度和外部效度问题。

本研究提出了一种新方法，通过使用由真实且实际在场的演员所执行的实时行为，来探究个体如何感知和评估他人的行为。该方法采用类似于真实生活情境的场景，同时使实验者能够控制可能的混杂因素。本研究属于一种 "自然情境下的实验室研究"，在Matusz等人提出的框架内14 可被视为介于两者之间的中间阶段 "经典实验室研究"，这种方法能够最大程度地控制刺激和环境，但通常以牺牲自然性为代价，以及 "完全自然情境下的真实世界研究"，旨在最大限度地提高自然性，但牺牲了对刺激和环境的控制14该研究旨在通过在动作感知领域开展这一层面的实证调查，弥合传统实验室实验（具有高度实验控制）所获得的结果与完全无约束的自然情境研究所得结果之间的差距。

受控实验与非受限实验
实验控制是一种高效的设计实验策略，可用于检验特定假设，因为它使研究人员能够将目标变量与可能的混杂因素分离开来。此外，该方法还允许以一定程度的修改重新检验同一假设，例如在相同设计中使用略有不同或完全不同的刺激，或在不同的实验设置中测试相同的刺激。通过受控实验进行系统性探究，是认知科学及相关研究领域中传统的研究方法形式。受控实验仍有助于建立关于注意力、记忆和知觉等不同研究领域中认知过程基本原理的知识体系。然而，近期研究也认识到传统实验室实验在将研究结果推广到现实环境方面的局限性，因此鼓励研究人员在生态性更强的环境中开展研究13,14,15,16,17,18,19,20,21。这一转变旨在解决传统实验室实验与现实环境之间存在的两个重要差异问题。首先，实验室外的世界比实验环境更少具有确定性，这限制了系统性实验操控的代表性。其次，人脑具有高度适应性，但由于设计和实施实验研究的实际限制，这一点常常被低估22。为解决这一问题，研究中引入了"生态效度"23,24这一概念。该术语通常用于指代将实验发现推广到实验室以外现实世界所需的前提条件。生态效度也被解释为指通过使用非受限刺激来验证接近自然状态的实验设置，以确保研究设计与现实生活情境相似25。由于对该术语的解释存在较大差异，因此有必要理解不同研究方法及刺激选择的优缺点。

刺激材料与实验设计中的自然化程度
实验心理学与认知神经科学的前期研究使用了多种具有不同自然化水平的刺激材料26。大多数研究者倾向于使用静态图像或短时动态视频，因为相较于能够模拟真实行为或事件的刺激，这些材料更易于准备。尽管具备上述优势，但这类刺激无法让研究者测量社会主体之间的依存行为。换句话说，它们不具备可操作性，也缺乏社会可供性27。近年来，一种替代非交互式刺激的方法逐渐发展起来：虚拟化身的实时动画。这些化身可被用于研究化身与其使用者之间的互动。然而，虚拟化身的使用常受到用户理解程度的限制，尤其是当其在真实性和依存行为方面表现不够吸引人时26。因此，目前越来越多的研究关注在实验中使用真实的社会性刺激。尽管这类刺激的设计、数据记录与分析可能需要先进的设备和复杂的数据处理方法，但它们仍是理解自然状态下人类行为与认知的最佳选择。

本研究提出了一种在实验室环境中使用真实社交刺激的方法。该研究旨在考察人们在比传统实验室实验具有更高生态效度的环境下，如何感知和评价他人的行为。我们开发并描述了一种新颖的实验设置，其中参与者会面对真实演员，这些演员在物理上真实存在，并与参与者共享同一环境。在此实验方案中，测量参与者的反应时间和鼠标运动轨迹，这要求在增强的生态情境下对刺激呈现的时间进行精确控制，并严格把控实验条件。因此，该实验范式在现有文献中的各种框架中脱颖而出，因其在最大化刺激自然性的同时，仍保持了对实验环境的充分控制。下文将详细介绍建立该系统的具体步骤，并展示样本数据的代表性结果。最后，对本范式的科学意义、局限性以及未来改进计划进行了讨论。

实验设计
在进入实验步骤部分之前，我们先介绍本研究中使用的参数，并详细说明刺激材料以及实验设计。

研究中的参数
本研究旨在测量行为者类型及其执行的行为类别如何影响参与者的心理感知过程。在该方案中，心理感知过程被分为两个主要维度进行测量，即能动性（agency）和体验性（experience），这两个维度由先前的研究提出28。这两个维度的高分端和低分端也被纳入考量，如Li等人最近所提出的那样29。

本研究的设计借鉴了常用内隐联想任务（IAT）31 的单类别版本30。在该任务中，通过测量参与者将属性概念与目标概念进行匹配时的反应时间，来反映他们对这两个概念之间内隐联想的强度。在本任务的改编版本中，参与者会观看由真实演员实时表演的动作，并需将其与 目标概念进行匹配。目标概念根据实验区组的不同，分别为能动性或感受性维度的高、低两端。

综上所述，自变量为Actor Type和Action Class。Actor Type包含两个水平（即研究中由两位不同演员Actor1和Actor2出演）。Action Class也包含两个水平：Action Class1和Action Class2，每个类别包含四个动作。参与者在四个实验区块中分别对两位演员进行评估（每个区块评估一位演员），在每个区块中，演员以交叉平衡的顺序执行全部动作。参与者需根据两个预先设定且强制的维度进行评估：Agency和Experience。实验中的四个区块分别为：（1）Actor1在Agency Block中，（2）Actor2在Agency Block中，（3）Actor1在Experience Block中，以及（4）Actor2在Experience Block中。各区块的顺序在参与者之间也进行了交叉平衡，以确保相同主体的区块不会连续出现。

除了参与者的回答外，系统还会记录他们在选择两个应答选项之一时所用无线鼠标移动的反应时间以及x-y坐标。因此，因变量包括参与者的选择、反应时间（RT），以及通过计算机鼠标轨迹追踪获得的最大偏离度（MD）和曲线下面积（AUC）的测量值。其中，“选择”这一变量为分类变量，其取值可以是高或低；由于评估是在给定的某个区块中进行的，因此回答也可标记为高能动性、低能动性、高体验性或低体验性。反应时间为连续变量，单位为秒，指从动作呈现开始到参与者在其中一个应答选项上点击鼠标之间所经过的时间。轨迹的MD也是一个连续变量，表示参与者轨迹与理想化轨迹（即直线）之间的最大垂直偏离距离。轨迹的AUC同样为连续变量，表示参与者轨迹与理想化轨迹之间的几何面积32。

实验刺激与实验设计
本研究采用三阶段实验设计。分析所用数据来自第三阶段；前两个阶段为最后阶段的准备。下文将分别描述实验的每一部分，以及相应的实验刺激和假设。

在实验第一部分（词汇训练部分），参与者需完成一个训练环节，以理解能动性和体验性的概念，以及用词语高和低所表示的能力水平。为了选择本训练环节中使用的概念（n = 12），本研究的部分作者开展了一项标准化研究33。由于本研究计划以参与者的母语进行，因此在标准化之前，这些概念已被翻译为土耳其语。概念的选取范围来自在两个维度的高端（n = 3）和低端（n = 3）均具有较强关联性的项目（每个维度各六个概念）。该部分至关重要，因为参与者对这些概念的理解将影响其后续的评估过程。

在实验第二部分（动作识别部分），参与者依次观看Actor1和Actor2各自完成相同的八个动作，并向实验者报告每个动作的内容。该部分作为操控检验；通过在两位演员均执行动作的情况下呈现所有动作，可确保参与者在开始需要快速做出评价的内隐测试之前，已理解这些动作并熟悉演员。为动作类别1和动作类别2所选择的动作，是根据部分作者开展的两项标准化研究（N = 219）结果中具有最高H分数和置信水平的动作（每个动作类别包含四个不同的动作实例）。所有动作的执行时长均为6秒。

这是一项正在进行的研究，包含其他一些组成部分；然而，上述部分的假设如下：（i）行为者类型将影响因变量；与Actor1相比，Actor2将产生更长的反应时间（RTs）、更高的MD值和更大的AUC值；（ii）行为类型将影响因变量测量结果；与行为类别2（Action Class2）相比，行为类别1（Action Class1）将产生更长的反应时间、更高的MD值和更大的AUC值；（iii）对于相同的行为者和行为类别，高反应与低反应的因变量测量结果将在“能动性”（Agency）和“体验性”（Experience）这两个区块维度上存在差异。

访问受限。请登录或开始试用以查看此内容。

方案

本研究的实验方案已获得比尔肯特大学人类受试者研究伦理委员会的批准。所有参与本研究的受试者均年满18岁，在研究开始前阅读并签署了知情同意书。

1. 通用设计步骤

注意：图1A（俯视图）以及图1B和图1C（前视图和后视图）展示了实验室的布局；这些图是根据本研究设计的原始实验室设置和构型绘制的。图1A显示了实验室的俯视布局。在该图中，可以看到天花板上的LED灯和演员柜。遮光帘系统将房间分为两部分，并通过防止光线泄漏到房间前部（参与者区域）来辅助光线控制。图1B展示了从实验者视角看到的实验室情况。参与者正坐在OLED屏幕前方，通过透明显示器观看演员执行的实时动作。他们使用面前的反应装置（无线鼠标）进行响应。实验者可同时通过参与者的显示器（OLED屏幕）以及监控摄像头传来的画面观察演员。图1C展示了研究的后台区域（演员区域），包括监控摄像头和演员个人计算机（PC），这些设备对参与者不可见。监控摄像头的画面传输至摄像头PC，以实现演员与实验者之间的通信。演员PC向演员显示实验区块顺序及下一个动作信息，确保实验流程无中断。当参与者对上一轮动作做出响应时，演员可快速查看下一个动作内容。

心理实验的房间布置示意图；参与者区域、OLED 屏幕、反应装置。
图 1：贴近自然的实验室布置。（A）贴近自然的实验室布置的俯视图。（B）从参与者的视角看到的贴近自然的实验装置的背面和正面。（C）从演员的视角看到的贴近自然的实验装置的背面和正面。请点击此处查看此图的放大版本。

  1. 设计一个包含三台计算机的装置，其中包括：（1）一台主控台式机（Experimenter PC）、（2）一台演员用笔记本电脑（Actor PC）和（3）一台摄像机控制电脑（Camera PC），另配一个无线反应装置（Participant Mouse）、两个显示器、一个照明电路和一个安防摄像头（参见 图2A （用于本研究实验装置的系统示意图）。
    注意：实验者计算机（Experimenter PC）由实验者用于运行实验脚本，演员计算机（Actor PC）由演员用于跟踪实验的区块及各区块内动作的顺序，第三台设备即摄像机计算机（Camera PC）将连接位于演员区域的监控摄像头，供实验者监控后台情况。
  2. 连接独立的显示器（一个用于呈现刺激[参与者显示器]，即OLED屏幕），以及用于监控实验、反应装置和照明电路的屏幕通过 线缆或无线连接）连接到实验者计算机（参见 图 2A).
  3. 通过无线网络连接实验者计算机（Experimenter PC）和演员计算机（Actor PC），以向演员传递与实验状态相关的信息（例如，“下一个动作ID为‘greeting’”）。
  4. 设计并搭建一个照明电路，以（见 图2B 电路板上的LED可以通过微控制器进行控制，以实现开关功能。
    注意： 图3A 从实验者的视角展示了本研究中所用OLED屏幕的不透明使用情况。为确保屏幕不透明，将屏幕背景调整为白色（RGB：255, 255, 255），并关闭房间内所有灯光（包括参与者区域和演员区域的灯光）。参与者在刺激呈现前会看到注视点。 图3B 从实验者的视角展示了研究中数字屏幕的透明使用。为实现透明效果，将屏幕背景调整为黑色（RGB: 0, 0, 0），并打开天花板上的LED灯。参与者观察演员。 图3C 展示了研究中数字屏幕的不透明使用方式。为确保屏幕不透明，将屏幕背景调整为白色（RGB：255, 255, 255），并关闭房间内所有灯光。向参与者呈现评估屏幕以进行反应。他们需使用无线鼠标将光标拖动至屏幕的左上角或右上角（两个反应选项之一，分别为“高”或“低”）。记录其鼠标移动轨迹和反应时间。
  5. 将微控制器连接到实验用计算机。
  6. 将运行实验的脚本存储在实验者计算机（Experimenter PC）中。
    注意： 图 4A 显示实验过程中后台（演员区）的情况。房间前方的灯光（参与者区）已关闭，演员电脑上显示着演员将要执行的动作名称。 图4B 展示了演员等候区，演员可在此等待出场并更换服装。该等候区位于受试者视线之外，且由于使用了帘幕系统，演员可选择任意入口进入。实验过程中，图中所示的荧光灯处于关闭状态。

实验装置示意图、电路板和PC系统，通过HDMI、USB、无线连接控制LED。
图2：系统与线路连接图。（A）自然化实验装置的系统示意图。（B）实验过程中为OLED屏幕供电的照明电路接线图。请点击此处查看该图的放大版本。

虚拟界面与用户输入；人机交互实验设置示意图
图3：实验者视角下的OLED屏幕。 （A）实验者视角下OLED数字屏幕的不透明使用状态。（B）实验者视角下OLED数字屏幕的透明使用状态。（C）响应阶段中实验者视角下OLED数字屏幕的不透明使用状态。 请点击此处查看该图的放大版本。

两名参与者在照明控制实验室中；视觉感知实验的研究设置。
图 4：实验后台示意图。 （A）实验试次进行中的后台场景。（B）演员柜位于OLED屏幕后方，演员可在其中等待，以便在实验过程中按顺序出现。 请点击此处查看此图的放大版本。

2. 照明电路的设计与实现

  1. 在为电路中的设备/组件供电前需遵循的步骤
    1. 为了改变安装在后台（演员区域）的LED灯的状态，需为实验者计算机提供将LED灯切换为开启或关闭状态的功能。
    2. 为了通过 USB 电缆传输将从实验者计算机发送的数字指令，选择一种能够接收数字输入并生成数字输出的微控制器设备（参见 材料清单 （用于本研究中的微控制器）。
    3. 选择实验者计算机上的一个特定 USB 端口，连接至微控制器的 USB 输入端口 通过 USB线缆。在确保所有连接均已成功建立之前，请勿开启电脑。
    4. 添加一个切换模块，以增大微控制器产生的输出信号（约 3.3 V）的幅度。
    5. 将微控制器上指定的数字输出引脚（本实验中为 D9）和接地引脚连接至开关模块。
    6. 为了驱动负载（LED），需使用一个由开关模块产生的信号控制的大功率金属氧化物半导体场效应晶体管（MOSFET）模块（或MOSFET模块），并将MOSFET模块的信号引脚连接至开关模块上对应的信号-接地引脚对。
    7. 将MOSFET模块的热床引脚连接至负载。
    8. 为了向模块（并间接向LED）提供受控的恒定电压，需在电路中加入一个LED电源，该电源接入交流市电，并输出恒定的直流电压。
    9. 将LED电源的输出端连接至MOSFET模块和开关模块的电源输入端。
  2. 连接电路组件后的操作步骤
    1. 将USB线连接到实验者计算机上选定的USB端口。
    2. 在微控制器与运行于实验者计算机上的软件环境之间建立串行通信连接（参见下文小节） 将微控制器连接到实验者计算机).
    3. 将LED电源连接至交流电源输入端。

3. 实验程序设计

注意：创建三个主要的实验脚本（ExperimentScript1.m [补充代码文件 1]、ExperimentScript2.m [补充代码文件 2] 和 ExperimentScript3.m [补充代码文件 3]），以及多个函数（RecordMouse.m [补充代码文件 4]、InsideROI.m [补充代码文件 5]、RandomizeTrials.m [补充代码文件 6]、RandomizeBlocks.m [补充代码文件 7]、GenerateResponsePage.m [补充代码文件 8]、GenerateTextures.m [补充代码文件 9]、ActorMachine.m [补充代码文件 10]、MatchIDtoClass.m [补充代码文件 11] 和 RandomizeWordOrder.m [补充代码文件 12]），以执行该实验。

注意：请参阅相关脚本以获取详细说明。

  1. 试验及区组顺序的随机化
    1. 定义并创建两个函数，用于随机化试次顺序（RandomizeTrials.m）和区组顺序（RandomizeBlocks.m），这两个函数以随机化参数（如被试编号）作为输入，返回伪随机化序列的数组。
    2. 参见脚本 RandomizeBlocks.m（第 2-24 行）和 RandomizeTrials.m（第 3-26 行），了解随机序列生成的具体方法。
  2. 追踪反应（RecordMouse，InsideRoi）
    1. 创建一个函数，用于追踪并记录参与者在实验过程中的鼠标轨迹及经过的时间（参见 RecordMouse.m）。
    2. 创建一个辅助函数，用于检查所点击的坐标是否位于可接受区域内（参见脚本 InsideRoi.m）。
  3. 生成用于指导和反馈的纹理（GenerateTextures.m，GenerateResponsePage.m）
    1. 将与实验相关的指导说明以及与试验相关的反馈制作为图片。
    2. 将这些图像的内容保存到 .mat 文件中（参见 ExperimentImages.mat 文件 [补充编码文件 13]).
    3. 创建屏幕窗口后，将 .mat 文件加载到工作区（参见 GenerateTextures.m 第 25 行）。
    4. 为每张图像创建独立的纹理及其标识符（参见 GenerateTextures.m 文件第 27–165 行）。
    5. 定义一个函数，用于绘制每个实验脚本对应的反应页面纹理（参见 GenerateResponsePage.m）。
  4. 通过 TCP/IP 将被试计算机连接到实验者计算机
    1. 在实验者计算机上运行的脚本中创建一个 TCP 服务器套接字（参见 ExperimentScript2.m 第 174 行）。
    2. 在运行于 Actor PC 上的脚本中创建相应的 TCP 客户端套接字（参见 ActorMachine.m 第 16 行）。
    3. 将有关即将开始的实验区组/试次的信息发送给在实验者计算机上运行的脚本（参见 ExperimentScript2.m 中的第 207、229 和 278 行，或 ExperimentScript3.m 中的第 136、141、153、159 和 297 行）中的受试者。
    4. 在 Actor PC 的屏幕窗口中显示从 Experimenter PC 接收到的信息（参见 ActorMachine.m 文件中的第 31–47 行）。
  5. 将微控制器连接到实验平台计算机
    1. 将微控制器连接至特定的USB端口（例如，PORT 9），以控制后台安装的LED灯的状态（开启或关闭）。
    2. 在微控制器设备与实验者计算机之间建立串行通信（参见 ExperimentScript2.m 脚本中的第 185 行）。
    3. 从实验者计算机上运行的脚本向微控制器发送高电平逻辑信号（1），以在显示动作时开启LED（参见 ExperimentScript2.m 的第290行或 ExperimentScript3.m 的第311行） 通过 USB线缆。
    4. 从实验者计算机上运行的脚本中向微控制器发送低电平逻辑信号（0），以关闭LED，此时参与者应作出反应（参见 ExperimentScript2.m 脚本的第 292 行或 ExperimentScript3.m 脚本的第 314 行）。

4. 一个示例实验的流程

  1. 实验前步骤
    1. 确保实验室中的所有设备（实验者电脑、相机电脑、演员电脑和参与者显示屏）均由不间断电源（UPS）供电。
    2. 通过USB线将闪电微控制器连接到实验者电脑，这样当实验者电脑开机时，微控制器将自动开启。
    3. 打开实验者电脑，并检查其是否已连接到5 GHz Wi-Fi。
    4. 选择声音设备（扬声器） 材料表) 作为实验者电脑的声音输出设备。
    5. 打开参与者显示设备，并将音量设置为80%。
    6. 将实验者电脑的屏幕设置为多显示器模式。将实验者电脑的显示画面扩展至参与者显示屏。实验者电脑的显示屏编号为1，参与者显示屏编号为2。
    7. 打开演员端电脑，并检查其是否已连接到5 GHz Wi-Fi。
    8. 通过USB线缆将安全摄像头连接至演员端电脑，当演员端电脑开机时，摄像头将自动通电启动。
    9. 打开相机电脑，然后在桌面上启动相机应用程序。确保每个操作人员、其动作以及进出柜子的过程均能被相机清晰捕捉。
    10. 确保所有计算机、显示器和设备（被试反应设备[无线鼠标]、扬声器、实验员计算机和演员计算机的键盘与鼠标，以及闪电微控制器）均正常工作。
    11. 欢迎受试者进入另一房间；简要介绍研究内容后，提供知情同意书，并让受试者签署。
    12. 请参与者从袋子中抽取一个号码，并告知该号码将作为他们在整个研究过程中的参与者编号。
    13. 让参与者使用其匿名参与者ID填写在线人口统计信息表。
      注意：参与者在实验前不得看到演员，因此该文书工作在另一个房间完成，而非主实验室内，以便演员在不同参与者之间可以休息。
  2. 实验步骤
    1. 在实验员电脑上打开实验软件，打开 ExperimentScript1.m 脚本并运行。
    2. 填写参与者编号和年龄；然后，程序将开始实验的第一部分（参与者显示屏上首先出现的可见刺激为屏幕中央的一个十字）。
    3. 在 Actor PC 上打开实验软件，并打开 ActorMachine.m 脚本。
    4. 将摄像机电脑放置在实验者电脑附近，并确保参与者无法看到安防摄像头的视频画面。
    5. 欢迎参与者进入主实验房间，并让他们在参与者显示屏前就座。
    6. 指导受试者调整自身位置，使十字位于正前方中央。
    7. 根据白板上写明的说明和持续时间，简要说明实验各部分的操作步骤。
    8. 关闭实验室内所有灯光。
  3. 实验部分1：
    1. 告诉参与者，他们将在实验的第一部分完成词汇/概念训练。提醒他们务必仔细遵循指示，以便能够通过训练。
    2. 告诉参与者，当他们准备就绪后即可开始实验。
    3. 按下 ESC 当参与者表示已准备好进行第一部分时，按下按钮。
      注意：从现在开始，参与者将通过阅读参与者显示屏上的说明并选择其中一个选项来推进实验。他们将获得关于答案正确或错误的反馈，以便更好地完成训练。匹配过程将持续进行，直到参与者在10个区组重复内达到最低阈值（80%）。
    4. 当参与者完成训练部分后，按下 ESC 键，并告知参与者实验者将接管鼠标以开始实验的第二部分。
  4. 实验部分2：
    1. 打开 ExperimentScript2.m 脚本，等待提示 等待演员 PC.
    2. 看到提示后按铃，以便其中一名实验人员在实验者电脑上运行脚本，从而建立与主试电脑的连接。
    3. 请等待提示 实验第二部分已准备就绪.
    4. 告诉参与者，现在屏幕将变为透明，他们可以通过屏幕观看一些简短的动作。
    5. 提醒他们仔细观察每个动作，并告知他们应大声说出该动作的名称。
    6. 告诉参与者，当他们准备就绪后即可开始实验。
    7. 按下 ESC 当参与者表示已准备好进行第一部分时，按下按钮。
      注意：参与者根据提示进行操作并观看第一个动作。当LED灯亮起时，Actor1执行相应动作；当LED灯关闭时，Actor1通过实验者电脑（Actor PC）上的提示查看下一个动作。每个动作结束后，实验者电脑（Experimenter PC）屏幕上将弹出一个对话框。
    8. 在对话框中输入参与者对动作的描述，并根据动作识别的正确或错误，在第二个对话框中分别输入1或0。
      注意：第一位演员需重复这些步骤八次，当演员需要交换位置时，背景音乐将开始播放。
    9. 在摄像机电脑上观看来自监控摄像头录像的后台画面。
    10. 按压 ESC 当演员向安防摄像头挥手时，按下按钮以启动对 Actor2 的识别 我已准备就绪 手势
    11. 重复步骤4.4.7和步骤4.4.8，与参与者一起练习，直至参与者在Actor2执行相同动作时也能识别出同样的八个动作。
    12. 当参与者看到 鉴定完成 警告并点击箭头退出该部分，按下 ESC 按钮，并告知参与者实验者将接管鼠标以开始实验的第三部分。
  5. 实验部分3：
    1. 打开 ExperimentScript3.m 脚本。
    2. 告诉参与者，他们将观看两名演员的动作，然后点击他们认为合适的选项。
      注意：参与者将分四个组块对演员的行为进行评估。在其中两个组块中，由Actor1执行行为，另外两个组块中，由Actor2执行相同的行为。在两个组块中，参与者将通过判断高或低主动性（Agency）能力来评估行为；在另外两个组块中，参与者将通过判断高或低体验性（Experience）能力来评估行为。
    3. 按压 ESC 当参与者表示已准备好进行第三部分时，按下按钮。
      注意：参与者按照指示进行，并从第一个区块开始。演员在灯光下执行动作，当参与者给出反应时，屏幕变为不透明，灯光关闭，以便演员能够看到下一个动作。每个区块结束后，演员将根据演员电脑上的提示更换位置。
    4. 检查排练期间后台是否一切顺利，以及正确的演员是否在进行正确的动作。
    5. 按压 ESC 当正确的演员挥手时，按下按钮以开始下一个区块 我已准备就绪 演员更换后的手势
    6. 与参与者和演员合作，重复步骤 4.5.4 和步骤 4.5.5，直至完成四个区块。
    7. 当参与者看到 实验结束，谢谢 提示，按下 ESC 按钮
    8. 感谢参与者，在完成事后说明并获取签名后，让参与者离开。

图5展示了从参与者视角看到的一个示例试验。图5A显示了参与者在不透明使用模式下注视屏幕中央光标的场景。图5B显示了参与者通过屏幕观看实时动作刺激的画面。图5C显示了在刺激呈现后向参与者展示的评估界面，参与者需要将鼠标拖动至屏幕顶部两个角落中的任意一个选项。

视觉感知研究的实验装置，参与者观看屏幕上呈现的不同刺激。
图 5：从参与者的视角观察OLED屏幕。 （A）在注视屏幕期间，从参与者的视角观察OLED数字屏幕的不透明使用状态。（B）在呈现实时动作期间，从参与者的视角观察OLED数字屏幕的透明使用状态。（C）在反应阶段期间，从参与者的视角观察OLED数字屏幕的不透明使用状态。 请点击此处查看该图的放大版本。

5. 数据预处理与分析

  1. 将数据按条件分段
    1. 将所有参与者的数据文件读取到软件环境的工作区中。
    2. 定义用于分组数据的条件（两个动作类别 [Action Class1 和 Action Class2] × 两个执行者 [Actor1 和 Actor2] × 两个维度 [Agency 和 Experience] × 两个水平 [High 和 Low]）。
    3. 将数据划分为四个主要组别：Agency High、Agency Low、Experience High 和 Experience Low。
    4. 将这些主要组别进一步划分为四个子组（两个执行者 × 两个动作类别）。
    5. 遍历每个数据文件，将属于前述四个子组之一的试验进行归类。
    6. 将每个子组中相关试验的信息（反应时间、光标移动轨迹以及光标位置采样的时间点）存储在独立的数据结构中。
    7. 当所有试验均完成归类后，退出循环。
  2. 轨迹可视化
    1. 完成数据分段后，执行以下步骤以可视化鼠标运动轨迹。
    2. 对反应轨迹进行时间插值处理：对每次试验，从轨迹数组中选取 101 组 (x,y) 坐标对，使每个数据子组的试验具有相等的时间步数。
      注意：在将坐标对数量固定为 101 的同时，需遵循相关惯例32以实现正确的时间归一化。因此，使用以下公式完成时间归一化，其中 n 表示轨迹数组中的采样点数量：
      数学函数 max(min(floor(n/101),n)) 公式，方程分析。
    3. 计算在每个 101 个时间点上的 (x,y) 坐标对的总和，然后将结果除以该子组的试验总数，以获得每个子组的均值（例如 Experience Low Actor1 或 Experience Low Actor2）。
    4. 对行值进行缩放操作以可视化平均轨迹。
      注意：二维坐标平面假设两个坐标轴均从位于窗口左下角的原点开始递增（假设坐标为正整数），而像素格式则以窗口左上角为参考点（例如原点）。因此，需对采样位置的 y 坐标（对应像素格式中的行值）进行缩放操作，方法是用总行数减去每次试验的采样 y 坐标值。
    5. 在同一图表中绘制相关子组以便比较。
      注意：每条轨迹起始于位于底部中央标有 START 的矩形中心，并终止于左上角或右上角的矩形内部。

6. 可能导致系统故障的条件及预防措施

注意：如果系统发生故障，必须有一个物理信号（如敲铃）来告知实验操作者故障的发生，并提醒他们停留在参与者看不见的位置。

  1. 由于网络连接导致的故障
    1. 如果其中一台计算机连接到不同的网络，TCP/IP 连接请求将失败，系统会显示错误。为防止此情况，请确保实验者计算机和执行者计算机连接在同一无线网络的相同频段上。
    2. 为确保两台计算机始终处于同一网络，请从两台计算机中删除先前已连接的无线网络记录。
    3. 为所选网络中的设备设置静态 IP 地址，因为网络中的 IP 地址可能会在无通知的情况下发生变化。
    4. 任何短暂的网络中断（例如由于断电、网络中断等）都可能导致脚本失败。在此类情况下，必须从头重新启动系统，以重新建立 TCP/IP 连接。
      ​注意：设备所需的静态 IP 可由互联网服务提供商提供。特定端口可能被设备的操作系统或硬件禁用；因此，实验中将要使用的端口必须提前打开，并且在实验脚本启动前不得存在活动连接。
  2. 由于软件崩溃导致的故障
    1. 软件环境可能因连接失败（例如串口连接、TCP/IP 连接、显示连接等）而崩溃，从而导致数据丢失。为解决此问题，可将主实验脚本拆分为多个脚本。例如，如果存在一个需要在执行者开始操作前完成的实验模块，则在该模块期间无需在实验者计算机上创建服务器。服务器可在即将进入涉及操作、因而需要实验者计算机与执行者计算机之间通信的模块时再行创建。

访问受限。请登录或开始试用以查看此内容。

结果

反应时间（RT）比较
本研究是一项正在进行的项目，因此作为代表性结果，展示了实验主要部分（实验部分3）的数据。这些数据来自40名参与者，包括23名女性和17名男性，年龄范围为18至28岁（M = 22.75，SD = 3.12）。

为了选择适用于分析的适当统计方法，有必要考察因变量分布的正态性程度。因此，进行了Shapiro-Wilk检验，以判断三个因变量——即反应时间（RT）、最大偏移量（MD）和曲线下面积（AUC）——是否呈正态分布。检验结果表明，反应时间的数据（W = 0.56，p < 0.001）、最大偏移量（W = 0.56，p < 0.001）以及曲线下面积（W = 0.71，p < 0.001）均显著偏离正态分布。

通过Levene检验对自变量的各个水平（即演员类型（Actor1和Actor2）以及动作类别（Ac...

访问受限。请登录或开始试用以查看此内容。

讨论

本研究的总体目标是增进我们对人类高级视觉感知和认知在现实生活情境中如何运作的理解。本研究聚焦于动作感知，提出了一种既贴近自然又可控制的实验范式，使研究人员能够在实验室环境中通过呈现真实人物的行为，来检验个体如何感知和评估他人的行为。

与现有方法相比，本研究所提出方法的意义体现在以下三个方面。（1）通过向参与者呈现真实发生的动作，最大限度地提高了刺激材料的自然性。（2）所有真实世界中的刺激（即演员）、其他语言类刺激（如词语或指令）以及演员与动作的反应界面均通过同一呈现方式（即数字OLED屏幕）展示，从而避免了参与者在切换呈现方式时注意力分散的问题，例如使用快门眼镜时可能出现的情况35。（3）通过使用当今常见的自然任务——鼠标操作，记录需要严格时间控制的时间敏感型数据，例如反应持续时间与鼠标移动轨迹数据。

该实验方案中某些关键步骤对于范式的顺利实施至关重要，既能帮助研究人员实现研究目标，又能为参与者提供良好的体验。这些步骤在构建此类系统时同样重要，因此我们逐一列出，而不按其重要性程度...

访问受限。请登录或开始试用以查看此内容。

披露

作者声明，他们对本文所述研究不存在任何相关或重大的经济利益关系。

致谢

本研究得到了土耳其科学技术研究理事会（项目编号：120K913）和比尔肯特大学对 Burcu A. Urgen 的资助。我们感谢试用阶段的参与者 Sena Er Elmas 提出在演员更换期间添加背景噪音的想法，Süleyman Akı 搭建灯光电路，以及 Tuvana Karaduman 提出使用后台安防摄像头的建议，并感谢她作为本研究的演员之一所做出的贡献。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
可调节高度的桌子定制N/A宽度：60 cm，高度：62 cm，深度：40 cm
Ardunio UNO Smart ProjectsA000066用于通过操作员计算机上运行的脚本切换LED灯状态的微控制器
黑色长裤无品牌N/A演员穿着的宽松长裤，无明显品牌名称或标志
机箱XigmatekEN43224XIGMATEK HELIOS RAINBOW LED USB 3.0 MidT ATX 游戏机箱
CPUAMDYD1600BBAFBOXAMD Ryzen 5 1600 插槽 AM4 3.2 GHz - 3.6 GHz 16 MB 65 W 12 nm 处理器
窗帘定制N/A宽度：第一部分：从墙（左侧）起110 cm，第二部分：OLED显示屏上方123 cm，第三部分：从OLED显示屏到右侧170 cm；舱体深度：100 cm，舱内深度：100 cm；所有部分高度均为230 cm，第二部分除外（高度75 cm）
实验人员可调节/旋转椅无品牌N/A任意品牌
实验人员桌定制N/A宽度：160 cm，高度：75 cm，深度：80 cm
GPUMSIGT 1030 2GHD4 LP OCMSI GEFORCE GT 1030 2GHD4 LP OC 2GB DDR4 64位 NVIDIA GPU
灰色遮光帘定制N/A宽度：330 cm，高度：230 cm，用于覆盖背景
固态硬盘KioxiaLTC10Z240GG8Kioxia 240 GB Exceria SATA 3.0 SSD（读取速度555 MB，写入速度540 MB）
硬盘ToshibaHDWK105UZSVAToshiba 2.5'' 500 GB L200 SATA 3.0 8 MB 缓存 5400 转/分钟 7 mm 硬盘
高功率MOSFET模块N/AN/A加热控制器 MKS MOSFET模块
笔记本电脑AppleS/N: C02P916ZG3QTMacBook Pro 11.1 Intel Core i7（用作演员计算机）
笔记本电脑Asus UX410U用于实时监控安防摄像头
LED灯无品牌N/A
LED灯条电源无品牌N/A交流转直流电压转换器，用于为照明电路提供直流电压
MATLAB The MathWorks Inc., Natick, MA, USA版本：R2022a用于实验编程。

所需工具箱：
MATLAB对Arduino硬件的支持包（版本22.1.2）
仪器控制工具箱（版本4.6）
Psychtoolbox（版本3）
显示器PhilipsUHB2051005145 型号ID：242V8A/00，PHILIPS 23.8" 242V8A 4ms 75 Hz Freesync DP-HDMI+VGA IPS 游戏显示器 
主板MSIB450M-A PRO MAXMSI B450M-A PRO MAX AMD B450 插槽 AM4 DDR4 3466(OC) M.2 主板
被试用鼠标垫Monster 78185721101502042 / 8699266781857Pusat Gaming 鼠标垫 XL
夜灯AukesES620-0.5W 6500K-IP 20用于演员在后台灯光关闭时看清周围环境
被试可调节/旋转椅无品牌N/A
被试桌IKEASandsberg 294.203.93宽度：110 cm，高度：75 cm，深度：67 cm
电源延长线Viko9011760Y250 V（6个插口）黑色
电源延长线Viko9011730Y250 V（3个插口）黑色
电源延长线Viko9011330Y250 V（3个插口）白色
电源延长线s-link 型号：SPG3-J-10交流电 - 250 V 3米（5个插口）
电源THERMALTAKEPS-LTP-0550NHSANE-1THERMALTAKE LITEPOWER RGB 550W 主动式功率因数校正 12 cm 风扇电源
专业游戏鼠标Rampage8680096型号：SMX-R50 
内存GSKILLF4-3000C16S-8GVRBGSKILL 8GB（1x8GB）RipjawsV 红色 DDR4 3000 MHz CL16 1.35 V 单条内存
接待铃无品牌N/A用于协助实验人员与演员之间的沟通
安防摄像头Brion Vega2-20204210型号：BV6000
扬声器LogitechP/N: 880-000-405 PID: WD528XM用于播放背景音乐
问卷调查软件Qualtrics N/A
切换模块无品牌N/AF5305S PMOS 切换模块
OLED显示屏下方的桌子定制N/A宽度：123 cm，高度：75 cm，深度：50 cm
透明OLED显示屏PlanarPN: 998-1483-01 S/N:19521007555英寸透明显示屏，可展示动态信息，在实验中实现不透明与透明状态的切换使用
不间断电源（UPS）EAGK200610100087EAG 110
不间断电源（UPS）EAG210312030507EAG 103
用于Arduino UNO的USB 2.0 A型/B型线缆（蓝色）Smart ProjectsM000006 用于将微控制器连接至实验人员计算机
USB转RS232转换器 s-link8680096082559型号：SW-U610
白色长袖上衣（2件）H&M（棉质）N/A圆领宽松上衣，无明显品牌名称或标志
无线键盘LogitechP/N: 820-003488 S/N: 1719CE0856D8型号：K360
无线鼠标LogitechS/N: 2147LZ96BGQ9型号：M190（用作反应装置）

参考文献

  1. Grossman, E. D., Blake, R. Brain areas active during visual perception of biological motion. Neuron. 35 (6), 1167-1175 (2002).
  2. Saygin, A. P. Superior temporal and premotor brain areas necessary for biological motion perception. Brain. 130 (9), 2452-2461 (2007).
  3. Peelen, M. V., Downing, P. E. The neural basis of visual body perception. Nature Reviews Neuroscience. 8 (8), 636-648 (2007).
  4. Caspers, S., Zilles, K., Laird, A. R., Eickhoff, S. B. ALE meta-analysis of action observation and imitation in the human brain. Neuroimage. 50 (3), 1148-1167 (2010).
  5. Nelissen, K., et al. Action observation circuits in the macaque monkey cortex. Journal of Neuroscience. 31 (10), 3743-3756 (2011).
  6. Oosterhof, N. N., Tipper, S. P., Downing, P. E. Crossmodal and action-specific: Neuroimaging the human mirror neuron system. Trends in Cognitive Sciences. 17 (7), 311-318 (2013).
  7. Lingnau, A., Downing, P. E. The lateral occipitotemporal cortex in action. Trends in Cognitive Sciences. 19 (5), 268-277 (2015).
  8. Giese, M. A., Rizzolatti, G. Neural and computational mechanisms of action processing: Interaction between visual and motor representations. Neuron. 88 (1), 167-180 (2015).
  9. Tucciarelli, R., Wurm, M., Baccolo, E., Lingnau, A. The representational space of observed actions. eLife. 8, e47686(2019).
  10. Tarhan, L., Konkle, T. Sociality and interaction envelope organize visual action representations. Nature Communications. 11 (1), 3002(2020).
  11. Urgen, B. A., Saygin, A. P. Predictive processing account of action perception: Evidence from effective connectivity in the action observation network. Cortex. 128, 132-142 (2020).
  12. Newen, A., De Bruin, L., Gallagher, S. The Oxford Handbook of 4E Cognition. , Oxford University Press. Oxford, UK. (2018).
  13. Snow, J. C., Culham, J. C. The treachery of images: How realism influences brain and behavior. Trends in Cognitive Sciences. 25 (6), 506-519 (2021).
  14. Matusz, P. J., Dikker, S., Huth, A. G., Perrodin, C. Are we ready for real-world neuroscience. Journal of Cognitive Neuroscience. 31 (3), 327-338 (2019).
  15. Zaki, J., Ochsner, K. The need for a cognitive neuroscience of naturalistic social cognition. Annals of the New York Academy of Sciences. 1167 (1), 16-30 (2009).
  16. Hasson, U., Honey, C. J. Future trends in Neuroimaging: Neural processes as expressed within real-life contexts. NeuroImage. 62 (2), 1272-1278 (2012).
  17. Risko, E. F., Laidlaw, K. E., Freeth, M., Foulsham, T., Kingstone, A. Social attention with real versus reel stimuli: toward an empirical approach to concerns about ecological validity. Frontiers in Human Neuroscience. 6, 143(2012).
  18. Parsons, T. D. Virtual reality for enhanced ecological validity and experimental control in the clinical, affective and social neurosciences. Frontiers in Human Neuroscience. 9, 660(2015).
  19. Deuse, L., et al. Neural correlates of naturalistic social cognition: brain-behavior relationships in healthy adults. Social Cognitive and Affective Neuroscience. 11 (11), 1741-1751 (2016).
  20. Camerer, C., Mobbs, D. Differences in behavior and brain activity during hypothetical and real choices. Trends in Cognitive Sciences. 21 (1), 46-56 (2017).
  21. Nastase, S. A., Goldstein, A., Hasson, U. Keep it real: Rethinking the primacy of experimental control in cognitive neuroscience. NeuroImage. 222, 117254(2020).
  22. Kihlstrom, J. F. Ecological validity and "ecological validity". Perspectives on Psychological Science. 16 (2), 466-471 (2021).
  23. Brunswik, E. Perception and the Representative Design of Psychological Experiments. , University of California Press. Oakland, California. (1956).
  24. Aronson, E., Carlsmith, J. M. Experimentation in social psychology. The Handbook of Social Psychology. Gilbert, D. T., Fiske, S. T., Lindzay, G. , McGraw-Hill. New York, NY. 1-79 (1968).
  25. Hammond, K. Ecological validity: Then and now. University of Colorado. , Available from: https://www.albany.edu/cpr/brunswik/notes/essay1.html (1998).
  26. Fan, S., Dal Monte, O., Chang, S. W. Levels of naturalism in social neuroscience research. IScience. 24 (7), 102702(2021).
  27. Orban, G. A., Lanzilotto, M., Bonini, L. From observed action identity to social affordances. Trends in Cognitive Sciences. 25 (6), 493-505 (2021).
  28. Gray, H. M., Gray, K., Wegner, D. M. Dimensions of mind perception. Science. 315 (5812), 619(2007).
  29. Li, Z., Terfurth, L., Woller, J. P., Wiese, E. Mind the machines: Applying implicit measures of mind perception to social robotics. 2022 17th ACM/IEEE International Conference on Human-Robot Interaction (HRI. , 236-245 (2022).
  30. Karpinski, A., Steinman, R. B. The single category implicit association test as a measure of implicit social cognition. Journal of Personality and Social Psychology. 91 (1), 16(2006).
  31. Greenwald, A. G., McGhee, D. E., Schwartz, J. L. Measuring individual differences in implicit cognition: the implicit association test. Journal of Personality and Social Psychology. 74 (6), 1464(1998).
  32. Freeman, J. B., Ambady, N. MouseTracker: Software for studying real-time mental processing using a computer mouse-tracking method. Behavior Research Methods. 42 (1), 226-241 (2010).
  33. Pekçetin, T. N., Barinal, B., Tunç, J., Acarturk, C., Urgen, B. A. Studying mind perception in social robotics implicitly: The need for validation and norming. Proceedings of the 2023 ACM/IEEE International Conference on Human-Robot Interaction. , 202-210 (2023).
  34. Yu, Z., Wang, F., Wang, D., Bastin, M. Beyond reaction times: Incorporating mouse-tracking measures into the implicit association test to examine its underlying process. Social Cognition. 30 (3), 289-306 (2012).
  35. Romero, C. A., Snow, J. C. Methods for presenting real-world objects under controlled laboratory conditions. Journal of Visualized Experiments. (148), e59762(2019).
  36. Jastorff, J., Abdollahi, R. O., Fasano, F., Orban, G. A. Seeing biological actions in 3 D: An f MRI study. Human Brain Mapping. 37 (1), 203-219 (2016).
  37. Ferri, S., Pauwels, K., Rizzolatti, G., Orban, G. A. Stereoscopically observing manipulative actions. Cerebral Cortex. 26 (8), 3591-3610 (2016).
  38. Stangl, M., Maoz, S. L., Suthana, N. Mobile cognition: Imaging the human brain in the 'real world. Nature Reviews Neuroscience. 24 (6), 347-362 (2023).
  39. Kriegeskorte, N. Deep neural networks: a new framework for modeling biological vision and brain information processing. Annual Review of Vision Science. 1, 417-446 (2015).
  40. Marblestone, A. H., Wayne, G., Kording, K. P. Toward an integration of deep learning and neuroscience. Frontiers in Computational Neuroscience. 10, 94(2016).

访问受限。请登录或开始试用以查看此内容。

重印与许可

标签

OLED
一种用于实验心理学与认知神经科学研究中呈现真实人物与实时行为的自然情境实验装置
联系我们
向图书馆推荐

隐私

使用条款

政策

版权所有 © 2026 MyJoVE Corporation。保留所有权利。