Name: 观察虚拟社会交往中的神经关联的脑成像研究 (视频) | JoVE Journal
Uploaded: 2011-07-06T12:00:00.000+00:00
Duration: 10 min 45 s
Description: 了解利用功能性磁共振成像技术观察虚拟社会交往的神经关联。本研究使用全身动画角色模拟真实社交场景，识别与社会认知相关的脑区，包括颞上沟、前额叶皮层和杏仁核，为理解自闭症和社交恐惧症等社会行为缺陷提供新见解。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

playerTrialDesktop

本研究得到了对 FD 的启动资金支持。KS 得到了阿尔伯塔医学研究遗产基金会暑期学生项目的资助。FD 得到了国家精神分裂症与抑郁症研究联盟青年研究者奖以及加拿大精神病学研究基金会 CPRF 奖项的资助。作者感谢 Peter Seres 在数据收集方面的协助，以及 Kristina Suen 在数据分析方面的协助。

1. 刺激材料、任务设计与实验方案
我们的刺激材料使用 Poser 7.0（<a href="http://poser.smithmicro.com/poser.html">http://poser.smithmicro.com/poser.html</a>）创建，并通过 CIGAL（<a href="http://www.nitrc.org/projects/cigal/">http://www.nitrc.org/projects/cigal/</a>）呈现。
<ol>
<li>该任务包含一系列持续十秒的动画视频，展示商务场景中非语言的主客互动。受试者观看客人被主人迎接的情景（社会互动条件）或被主人的纸板模型迎接的情景（无社会互动/对照条件）。</li>
<li>主人可能表现出鼓励进一步社交的行为（接近条件），或表现出对进一步互动缺乏兴趣的行为（回避条件）。</li>
<li>除了对主人所展示行为类型的基本操控外，还可引入其他操控因素。例如，在部分试验中（通常占一半），人物之间可能会握手作为问候程序的一部分，而在其他试验中则不进行任何动作。这种操控可用于研究正式身体接触对行为的影响4，且该影响可能因观看者的文化背景（如西方与东亚）而具有不同意义。</li>
<li>其他操控可能涉及观看者视角从个人化（我）转变为非个人化（他人）。此操控旨在探查与自我参照加工相关的神经网络5，并识别受个人参与程度调节的神经反应6,7（例如，若回避行为被主观感知，则其影响可能加剧）。这两种视角之间的切换可在每次试验开始时通过提示进行引导。</li>
<li>视频播放后会出现评分界面，要求受试者在五点李克特量表上对主人的能力感、可信度和开展商业合作的兴趣进行评分（0 = 完全不，4 = 非常）；这些评分项目应在各次试验中进行顺序平衡，以避免顺序效应。</li>
<li>视频中的人物在所展示的行为（接近 vs. 回避）、种族背景（高加索人种 vs. 非高加索人种）、衬衫颜色和发型等方面均进行了平衡设计。可能影响社会互动的基本因素（如吸引力）也应加以控制（例如，通过离线方式对主人进行吸引力评分），以确保不同试验类别之间不存在系统性差异，从而避免潜在的混淆因素（例如，若表现出回避行为的主人整体吸引力评分较低）。最后，鉴于已有证据表明与女性主人的互动在影响决策（如财务决策）方面更为有效4，在本研究中所有主人均为女性，但主人性别也可在试验间进行平衡——例如，50%为女性，50%为男性。</li>
<li>实验被划分为若干试验轮次/区块，以便参与者有休息时间，并在设备故障时避免大量数据丢失。此外，为避免数据丢失产生偏差，理想情况下每个区块中应均衡包含各类条件/试验，涵盖每种操控因素（如社会互动、性别、握手/无握手）。不同参与者之间的轮次顺序也应进行平衡。每轮开始前有六秒的注视点呈现，以使MR信号趋于稳定。每次视频试验后及每个轮次/区块结束前，均设有8秒的试验间间隔。</li>
<li>需要注意的是，尽管与使用静态刺激的实验设计相比，当前设计在识别社会认知神经相关性方面具有更高的生态效度，但这种方法也存在局限性和挑战。其中一个挑战在于：在操控目标行为变量（如区分特定社会互动的手势）的同时，需尽可能保持“背景”因素（如社会互动发生的环境或行为中非相关方面）恒定，而在使用动态刺激的条件下，这一点可能较难实现。尽管如此，我们认为当前方法在提升社会神经科学研究中刺激材料的生态效度，与脑成像工具所要求的对实验操控进行合理控制以支持对目标行为神经相关性的有效推断之间，达到了较为合理的权衡。</li>
</ol>
2. 扫描前受试者的准备
受试者通常根据其年龄、健康状况、母语以及磁共振成像（MRI）扫描的个体风险因素（如金属关节置换）进行招募。然而，根据研究目的的不同，也可能考虑其他因素，包括种族/民族背景、社会经济地位以及药物使用史。所有受试者在实施实验方案前均需签署书面知情同意书，该实验方案已获得伦理委员会批准。
进入扫描室之前
<ol>
<li>扫描当天，要求参与者填写评估其当前心理状态的问卷，以确保他们在实验开始前不过度焦虑或抑郁8, 9。这些评估还可与功能性磁共振成像（fMRI）数据结合使用，以研究扫描时的情绪状态如何影响参与者的反应。此外，结合扫描后的评估，这些初始评价还可用于确认参与者整体情绪状态在参与实验过程中未发生显著变化。最后，还可进行其他行为/人格评估，以进一步探讨人格特征中某些方面（如社交焦虑、可信度）的个体差异如何影响参与者在研究期间的反应10, 11。</li>
<li>扫描前，研究人员会向参与者详细说明扫描流程，并提供行为任务的具体指导（如下所述）。为避免不适并减少对任务的过度熟悉，参与者还将接受一次简化的任务练习。</li>
</ol>
进入扫描室
<ol start="3">
<li>受试者应仰卧于扫描床上，并在头部下方增加适当的垫衬，以确保扫描过程中舒适并尽量减少移动。为进一步减少头部运动，可用一段胶带的非黏性面轻轻缠绕在受试者前额。如有需要，也可在受试者抬高的膝盖下方放置垫衬，以减轻下背部肌肉紧张。</li>
<li>为保护听力，应向受试者提供耳塞，并配备隔音耳机，以便在磁共振成像扫描期间与实验人员进行沟通。</li>
<li>将受试者右手舒适地放置在反应盒上，以便左手可用于支撑身体或其他测量（例如皮肤电导反应）。还应在附近放置一个紧急停止按钮，以便受试者在需要立即停止扫描时使用。</li>
<li>在开始数据采集之前，必须确保受试者能够清晰看到屏幕投影，以呈现刺激材料，同时确认反应按钮工作正常。</li>
</ol>
3. 数据记录与处理
扫描参数
我们使用1.5特斯拉西门子Sonata扫描仪采集MRI数据。我们的解剖图像为3D MPRAGE解剖序列（重复时间，TR = 1600 ms；回波时间TE = 3.82 ms；切片数量 = 112；体素大小 = 1 x 1 x 1 mm），功能图像由28个功能切片序列组成（体素大小 = 4 x 4 x 4 mm），采用轴向回波平面序列采集（TR = 2000 ms；TE = 40 ms；视野FOV = 256 x 256 mm），从而实现全脑覆盖。
数据分析
我们结合使用统计参数映射（SPM2/SPM5）和基于Matlab的自主开发工具。预处理包括常规步骤：质量保证、TR对齐、运动校正、配准、标准化和平滑（8 mm³核）12。
<ol>
<li>数据分析结合体素水平和感兴趣区域（ROI）方法，以比较与特定条件相关的脑活动（例如，社会互动与非社会互动）。</li>
<li>全脑体素水平分析生成统计图谱，识别与社会互动评估相关的大范围脑区网络；而ROI分析则针对特定脑区的反应进行有针对性的考察，这些脑区事先被认定为属于社会认知网络（图1A）。此外，ROI分析还用于提取fMRI信号以进行图示说明（图1B）。我们采用的强度阈值为p=0.001，空间扩展阈值为10个连续体素。除了这些典型的数据分析方法外，其他分析方法也可作为补充手段，用于研究社会认知的神经关联13, 14。</li>
<li>最后，还可以进行脑成像数据与行为数据（例如，可信度评分）和/或人格测量指标（例如，特质焦虑）得分之间的相关性分析，以探讨脑活动如何随个体在行为和人格上的差异而变化。</li>
</ol>
4. 代表性结果
<img src="/files/ftp_upload/2379/2379fig1.jpg" alt="功能性磁共振脑成像；社会互动效应、信号变化、激活分析、图表" data-altupdatedat="1788235205000" data-alt="图1"> 
图1. 观察社会互动时社会认知网络活动增强。 社会互动任务与无互动/对照任务的比较显示，在典型的社会认知脑区存在激活，包括颞上沟（STS，a）、外侧和内侧前额叶皮层（mPFC，分别为b和d）以及杏仁核（AMY，c）。这些“激活图”叠加在高分辨率脑图像上，分别以侧面（左、右侧面板）和冠状面（中间面板）显示；颜色条表示激活图的t值梯度（基于15名受试者的数据），反映与趋近/回避行为起始时间锁定的脑活动。线图展示了从每种试验类型和TR（1 TR = 2秒）的功能感兴趣区（ROI）提取的fMRI信号时间进程。L = 左侧；R = 右侧。

<ol><li>Adolphs, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+social+brain%3A+neural+basis+of+social+knowledge%5BTitle%5D)+AND+%22Annu+Rev+Psychol%22%5BJournal%5D)">The social brain: neural basis of social knowledge.</a> Annu Rev Psychol. 60, 693-716 (2009).</li>
<li>Todorov, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evaluating+faces+on+trustworthiness%3A+an+extension+of+systems+for+recognition+of+emotions+signaling+approach%2Favoidance+behaviors%5BTitle%5D)+AND+%22Ann+N+Y+Acad+Sci%22%5BJournal%5D)">Evaluating faces on trustworthiness: an extension of systems for recognition of emotions signaling approach/avoidance behaviors.</a> Ann N Y Acad Sci. 1124, 208-224 (2008).</li>
<li>Pelphrey, K. A., Morris, J. P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain+Mechanisms+for+Interpreting+the+Actions+of+Others+From+Biological-Motion+Cues%5BTitle%5D)+AND+%22Curr+Dir+Psychol+Sci%22%5BJournal%5D)">Brain Mechanisms for Interpreting the Actions of Others From Biological-Motion Cues.</a> Curr Dir Psychol Sci. 15, 136-140 (2006).</li>
<li>Levav, J., Argo, J. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Physical+Contact+and+Financial+Risk+Taking%5BTitle%5D)+AND+%22Psychological+Science%22%5BJournal%5D)">Physical Contact and Financial Risk Taking.</a> Psychological Science. 21, 804-810 (2010).</li>
<li>Northoff, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Self-referential+processing+in+our+brain--a+meta-analysis+of+imaging+studies+on+the+self%5BTitle%5D)+AND+%22Neuroimage%22%5BJournal%5D)">Self-referential processing in our brain--a meta-analysis of imaging studies on the self.</a> Neuroimage. 31, 440-457 (2006).</li>
<li>Eddington, K. M., Dolcos, F., Cabeza, R., R Krishnan, K. R., Strauman, T. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Neural+correlates+of+promotion+and+prevention+goal+activation%3A+an+fMRI+study+using+an+idiographic+approach%5BTitle%5D)+AND+%22J+Cogn+Neurosci%22%5BJournal%5D)">Neural correlates of promotion and prevention goal activation: an fMRI study using an idiographic approach.</a> J Cogn Neurosci. 19, 1152-1162 (2007).</li>
<li>Eddington, K. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Neural+correlates+of+idiographic+goal+priming+in+depression%3A+goal-specific+dysfunctions+in+the+orbitofrontal+cortex%5BTitle%5D)+AND+%22Soc+Cogn+Affect+Neurosci%22%5BJournal%5D)">Neural correlates of idiographic goal priming in depression: goal-specific dysfunctions in the orbitofrontal cortex.</a> Soc Cogn Affect Neurosci. 4, 238-246 (2009).</li>
<li>Watson, D., Clark, L. A., Tellegen, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Development+and+validation+of+brief+measures+of+positive+and+negative+affect%3A+the+PANAS+Scales%5BTitle%5D)+AND+%22J+Pers+Soc+Psychol%22%5BJournal%5D)">Development and validation of brief measures of positive and negative affect: the PANAS Scales.</a> J Pers Soc Psychol. 54, 1063-1070 (1988).</li>
<li>Spielberger, C. D., Gorsuch, R. L., Lushene, R. E. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aSpielberger%2C+CD+%22Manual+for+the+State-Trait+Anxiety+Inventory%22">Manual for the State-Trait Anxiety Inventory</a>. , Consulting Psychologists Press. Palo Alto, California. (1970).</li>
<li>Heimberg, R. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Psychometric+properties+of+the+Liebowitz+Social+Anxiety+Scale%5BTitle%5D)+AND+%22Psychological+Medicine%22%5BJournal%5D)">Psychometric properties of the Liebowitz Social Anxiety Scale.</a> Psychological Medicine. 29, 199-212 (1999).</li>
<li>Costa, P. T., McCrae, R. R. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aCosta%2C+PT+%22Revised+NEO+personality+inventory+and+NEO+five+factor+inventory%3A+Professional+manual%22">Revised NEO personality inventory and NEO five factor inventory: Professional manual</a>. , Psychological Assessment. Odessa, FL. (1992).</li>
<li>Friston, K. J., Ashburner, J. T., Kiebel, S. J., Penny, W. D. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aFriston%2C+KJ+%22Statistical+Parametric+Mapping%3A+The+Analysis+of+Functional+Brain+Images%22">Statistical Parametric Mapping: The Analysis of Functional Brain Images</a>. , Elsevier. London. (2006).</li>
<li>Hanke, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((PyMVPA%3A+A+python+toolbox+for+multivariate+pattern+analysis+of+fMRI+data%5BTitle%5D)+AND+%22Neuroinformatics%22%5BJournal%5D)">PyMVPA: A python toolbox for multivariate pattern analysis of fMRI data.</a> Neuroinformatics. 7, 37-53 (2009).</li>
<li>Said, C. P., Moore, C. D., Norman, K. A., Haxby, J. V., Todorov, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Graded+representations+of+emotional+expressions+in+the+left+superior+temporal+sulcus%5BTitle%5D)+AND+%22Front+Syst+Neurosci%22%5BJournal%5D)">Graded representations of emotional expressions in the left superior temporal sulcus.</a> Front Syst Neurosci. 4, 1-8 (2011).</li>
</ol>

未声明任何利益冲突。

本文介绍的实验设计可用于研究观察和解读肢体语言时的神经相关机制。该设计有望增进我们对社会互动中大脑机制的理解，并扩展理论模型，以阐明在互动社交环境中，人们如何整合不同类型肢体语言或社会概念（如可信度）的感知来做出决策3。此类知识可应用于多种个人和商业场景，并有助于加深对社交互动临床障碍的理解。该设计的成功依赖于恰当的任务操控、生态效度高的刺激材料以及严谨的数据采集。

观察虚拟社会互动的神经相关性的脑成像研究

Brain Imaging Investigation of the Neural Correlates of Observing Virtual Social Interactions

评估他人意图时，衡量社交互动的能力至关重要。面部表情和肢体语言等因素会影响我们在个人生活和职业生活中的决策 1。这些“朋友或敌人判断往往基于第一印象，而这种第一印象又可能影响我们的决策接近或回避. 以往研究社会认知神经相关性的研究多采用静态面部刺激 2在此，我们展示了一种实验设计，该设计结合使用全身动画角色与功能性磁共振成像（fMRI）记录。在实验中，向15名参与者呈现一系列发生在商务场景中的宾客与主持人互动的短视频片段，同时记录其fMRI数据；每个视频播放结束后，参与者还需对主持人的行为进行评分。该设计更贴近现实生活情境，因此可能有助于深入理解健康个体社会互动的神经机制，并为探究社交焦虑症和自闭症等临床状况中社交行为缺陷的潜在成因提供见解。 3.

本文展示了一种实验设计，该设计结合使用全身动画角色和功能磁共振成像（fMRI）来研究观察虚拟社交互动时的神经相关机制。

评估他人意图时，判断社交互动的能力至关重要。面部表情和肢体语言等因素……

本实验的总体目标是通过使用在社交情境中互动的虚拟角色，并结合功能性磁共振成像（fMRI）记录，来研究观察社会互动时的神经关联。该目标通过创建全身动画角色实现，这些角色在类似商务的场景中以主人和客人身份相互互动，同时设置无生命特征的角色作为对照条件。随后，在参与者观察虚拟社会互动过程中记录脑成像数据，并对数据进行分析，以识别参与所谓社会认知网络的脑区。通常对观察和评估社会互动敏感的脑区包括颞上沟、外侧和内侧额叶皮层以及杏仁核，因为该方法能够探究社会认知的神经关联。这一研究可能有助于理解社交行为缺陷的潜在原因，此类缺陷可见于社交恐惧症和自闭症等临床状况中。该技术相较于现有方法（如使用面部刺激材料的方法）的主要优势在于，通过使用全身动画角色，能够引入更接近真实生活社交互动的操作，例如正式的身体接触和握手，而仅使用面部刺激材料则无法实现这一点。该任务包含一系列持续十秒的动画视频，展示非语言的宾客与主持人互动场景。在商务情境中，受试者会看到宾客由一位主持人迎接，此为社会互动条件；或由主持人的纸板模型迎接，此为无社会互动或对照条件。主持人可能表现出鼓励进一步社交的行为，称为接近条件；或表现出对进一步互动缺乏兴趣的行为，称为回避条件。除了观察受试者表现出的基本行为类型外，还可纳入对正式身体接触行为影响的研究。例如，在一半的试验中，角色可在问候流程中握手，而在另一半试验中则不做任何身体接触。这种操作可能因观众的文化背景不同而具有不同的意义。其他操作可能涉及将观察者的视角从个人化转变为非个人化。通过呈现“我”或“其他”等词语，该操作能够识别出受个人参与度调节的反应。这两种视角之间的切换可在每次试验开始时进行提示。视频播放后可跟随多种评分界面。例如，要求受试者在五点量表上对主持人的能力、可信度以及开展业务的兴趣进行评分，其中0表示完全不，5表示非常。这些评分应在各次试验中进行平衡，以避免顺序效应。此外，视频中人物所表现出的行为、种族背景、衬衫、颜色和发型等特征应进行平衡设计。可能影响社会互动的基本因素（如吸引力）也应加以控制，以确保不同试验类别之间不存在系统性差异。每次实验开始时应先呈现6秒的注视点，以使MR信号达到稳定状态；或者，试次顺序应在每个区组内随机化，并在被试间进行平衡，以避免刺激材料、可预测性及顺序效应。每次影片试验以及每次运行结束之后，均有一个八秒的试次间间隔。此外，为避免产生偏差性数据丢失，理想情况下，每种操控条件应在每个区组中均等呈现。当受试者到达时，务必获取其书面知情同意书，并进行磁共振成像安全筛查。同时让受试者完成评估人格特征和当前心理状态的问卷，这些因素可能影响扫描前研究期间的受试者反应。向受试者详细说明扫描流程，并针对行为任务提供具体指导，以避免不适感并提高对任务的熟悉程度。此外，让受试者进行一次简化的练习流程。现在将受试者带入扫描室，并指导其仰卧于扫

brain-imaging-investigation-neural-correlates-observing-virtual

Research

科研

JoVE Journal

Neuroscience

神经科学

观察虚拟社会交往中的神经关联的脑成像研究

来源： Reindl, V., 等. 使用功能性近红外光谱进行超扫描实验。J. Vis. Exp. (2019)...

功能性近红外光谱技术用于记录社交互动过程中的大脑活动

近年来，关于社会排斥的研究迅速增长。随着该领域的扩展，迫切需要开发出复杂的方法，以在社会排斥过程中同时测量神经和行为结果。本方案利用事件相关脑电位，在计算机化社交互动期间记录持续的神经活动。...

在持续进行的计算机化社会互动中测量神经与行为活动：事件相关脑电位的研究

本方案介绍了一种在婴儿与演员进行无预设社交互动时，从自由活动的婴儿中解码其意图的新型神经解码方法。采用非侵入性高密度主动式头皮脑电图（EEG）记录神经活动，同时使用惯性测量单元采集运动学数据，并辅以同步视频记录进行补充。...

一种用于自由活动的人类婴儿在社交互动中多模态神经解码意图的新型实验与分析方法

本方案描述了利用电影在功能性磁共振成像期间研究隐性社会偏见相关脑机制的方法。当在电影结束后短暂地亚阈值呈现主角的面部图像时，会引发基于观影过程中所获得的主角信息而产生的内隐反应。...

用于研究内隐社会偏见的电影后阈下测量（PMSM）

本文概述了在自然学习环境中对协作学习对组进行功能性近红外光谱（fNIRS）超扫描实验的操作方案，并提出了一种用于分析氧合血红蛋白（Oxy-Hb）信号的脑间同步性（IBS）的数据处理流程。...

开放性协作学习中的脑间同步性：一项基于fNIRS超扫描的研究

本方案描述了使用部分小波变换相干性（pWTC）来计算人际神经同步（INS）的时间滞后模式，以推断社交互动过程中信息传递的方向和时间模式。两项实验验证了pWTC在消除信号自相关对INS干扰方面的有效性。...

利用部分小波变换相干性方法测量fNIRS超扫描数据中的定向信息流

本实验方案结合功能性近红外光谱成像（fNIRS）与基于视频的观察，用于测量四人小组在协作绘图任务中的人际同步性。...

使用功能性近红外光谱技术研究协作绘画过程中的群体同步性

小波变换相干性（WTC）是功能近红外光谱（fNIRS）超扫描研究中用于评估信号间耦合的常用方法。本文介绍了一种用于评估信号相互作用方向性的工具箱。...

功能近红外光谱（fNIRS）超扫描研究中跨脑相干性理解的新框架

在虚拟现实环境中，运动想象在脑机接口系统中具有广泛的应用。本文阐述了使用个性化的数字化身，这些化身在虚拟现实环境中模拟参与者所想象执行的动作，以增强沉浸感和身体所有权感知。...

基于虚拟现实脑机接口环境中具身化数字孪生的运动想象表现

本文展示了一种视频分析流程，可克服在磁共振成像（MRI）环境中进行行为监测所面临的挑战，从而实现对外部刺激引发的非指令性行为反应的检测。该分析方法将有助于更全面地理解诱发的内在状态变化及全脑范围的活动模式。...

全脑成像期间母性行为反应的表征

本方案旨在详细描述在心理咨询中开展fNIRS超扫描研究的方法学，包括实验准备、数据采集过程以及后续的数据分析流程。...

功能性近红外光谱超扫描在心理咨询中的研究

了解利用功能性磁共振成像技术观察虚拟社会交往的神经关联。本研究使用全身动画角色模拟真实社交场景，识别与社会认知相关的脑区，包括颞上沟、前额叶皮层和杏仁核，为理解自闭症和社交恐惧症等社会行为缺陷提供新见解。

观察虚拟社会互动的神经相关性的脑成像研究

探索更多视频