Name: 跨模态的多元格局分析 (视频) | JoVE Journal
Uploaded: 2011-11-09T13:00:00.000+00:00
Duration: 13 min 51 s
Description: 学习跨模态多元格局分析方法，利用功能性磁共振成像数据解码人脑多感官处理机制。该技术通过分析神经活动模式预测感知刺激，揭示视觉刺激如何激活听觉与体感皮层，为神经科学多模态整合研究提供新工具。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本工作由 Mathers 基金会和美国国立卫生研究院（资助号 5P50NS019632-27）向 Antonio 和 Hanna Damasio 提供资助。

1. 引言
多变量模式分析（MVPA）是一种日益流行的分析功能磁共振成像（fMRI）数据的方法1-4。通常，该方法用于从大脑特定区域的神经活动识别受试者的感知体验。例如，已有研究利用该方法根据早期视觉皮层的活动来预测受试者所感知的视觉光栅朝向5，或类似地，根据早期听觉皮层的活动来预测语音内容6。在本视频文章中，我们描述了一种MVPA的新应用，该应用为这种基本的模态内范式增添了新的变化。在此方法中，感知刺激的预测并非在单一感觉系统内部进行，而是在不同感觉系统之间跨模态进行。
2. 多变量模式分析
尽管多体素模式分析（MVPA）方法目前在神经影像学领域已得到广泛应用，我们仍首先指出MVPA与传统的单变量fMRI分析之间的关键区别。为此，请考虑以下示例，说明这两种方法在简单视觉任务期间如何检测视觉皮层中的神经活动（<a href="https://www.jove.com/files/ftp_upload/3307/3307_Meyer-Kaplan_Video_1.mov">视频片段1</a>）：
<ol>
<li>向受试者呈现两种不同的视觉刺激，例如一张橙子的图像和一张苹果的图像。</li>
<li>这两种刺激均会在初级视觉皮层中引发特定的神经活动模式，此处以六个假设体素的激活水平来表示。（当然，现实中单次呈现橙子或苹果图像所诱发的活动模式会非常嘈杂；此处所示的模式可视为大量试验后的平均结果。）</li>
<li>在传统的功能性磁共振成像（fMRI）分析中，本质上可通过两种方式来分析这些模式。第一种方法是关注整个感兴趣区域内的平均激活水平。</li>
<li>在本示例中，平均激活水平的差异并不显著，因此从这一角度来看，无法区分对应于两种刺激的活动模式。</li>
<li>分析这两种模式的另一种方法是建立它们之间的减法对比：对每个体素，用“橙子”条件下的激活水平减去“苹果”条件下的激活水平。然后可在全脑对比图上可视化每个体素的差异结果。</li>
<li>然而，这些差异可能很小，仅在极少数体素上达到所需的统计学标准。</li>
<li>此时多体素模式分析（MVPA）的关键优势便显现出来：其更高的检测效能源于这样一个事实，即与单变量分析方法不同，MVPA 同时考虑所有体素的激活水平，因而能够检测其中存在的模式。尽管如前所述，单独考察时仅有少数激活差异具有显著性，但当整体考虑时，这两种模式在统计学上确实可能存在差异。</li>
</ol>
传统fMRI分析与MVPA之间存在第二个主要差异（<a href="https://www.jove.com/files/ftp_upload/3307/3307_Meyer-Kaplan_Video_2.mov">视频片段2</a>）。前一种方法通常试图以“正向方式”证明特定感觉刺激与特定脑活动模式之间的统计依赖性；换句话说，它提出的问题类型是：“两种不同的视觉刺激，例如人脸图像和房屋图像，是否会在特定感兴趣区域（如梭状回面孔区）引起不同的活动水平？” 相比之下，MVPA的成功通常以“逆向推断”或“解码”的形式表达；其典型问题是：“基于特定感兴趣区域（如初级视觉皮层）的神经活动模式，能否预测受试者所感知的是刺激A（例如橙子）还是刺激B（例如苹果）？” 然而需要注意的是，从统计学角度来看，感知刺激与脑活动之间相关性的映射方向并不重要：断言两种刺激在某一特定脑区产生不同的活动模式，与断言该脑区的活动模式可用于预测诱发刺激，两者在统计上是等价的11。换句话说，MVPA的敏感性优于单变量分析，是因为它同时考虑了多个体素，而不是因为它采用了逆向的分析方向。
以下步骤说明了典型的多体素模式分析（MVPA）范式如何解决这样一个问题：观察苹果是否比观察橙子在初级视觉皮层中引发不同的神经活动模式（<a href="https://www.jove.com/files/ftp_upload/3307/3307_Meyer-Kaplan_Video_3.mov">视频片段 3</a>）：
<ol>
<li>在受试者观看大量苹果和橙子刺激材料的同时，采集其功能性磁共振成像（fMRI）数据。</li>
<li>采集到的数据被划分为训练数据集和测试数据集。与本示例不同的是，通常训练数据集的规模会大于测试数据集，因为可以预期分类器的性能会随着训练试验次数的增加而提高。</li>
<li>将训练集的数据输入模式分类器。分类器通过若干可能的数学算法之一，尝试检测神经活动模式中能够区分两种刺激类型的特征。一种常用的分类器（也在我们之前的研究中使用过）是所谓的支持向量机（support vector machines）；更多细节请参见引言中提到的综述文献。</li>
<li>在利用训练试验数据完成分类器训练后，将其应用于测试数据。测试数据集中的各个试验均为无标签状态；换句话说，分类器并不“知道”某个神经活动模式来自“苹果”还是“橙子”试验。</li>
<li>基于在训练数据集中检测到的规律性，分类器为每个测试试验分配最可能的标签。</li>
<li>对于每个神经活动模式，可将分类器的“预测结果”与正确的刺激标签进行比较。</li>
<li>如果分类器未能检测到两种刺激所诱发神经活动模式之间的任何一致差异，则其分类正确率应处于随机水平；在本示例的二分类任务中，即为50%的正确率。若预测准确率显著高于该水平，则表明两种刺激类型之间确实存在一致性的神经活动差异。</li>
</ol>
需要注意的是，训练数据集和测试数据集必须相互独立。只有在满足这一条件的情况下，才能对从训练集中得出的模式的可推广性做出任何结论。多变量模式分析（MVPA）研究通常采用交叉验证范式来评估分类器的性能（<a href="https://www.jove.com/files/ftp_upload/3307/3307_Meyer-Kaplan_Video_4.mov">视频片段 4</a>）。假设一项MVPA实验包含8个功能扫描轮次。在第一次交叉验证步骤中，分类器使用第1至第7轮的数据进行训练，并在第8轮的数据上进行测试。在第二步中，分类器则使用第1至第6轮以及第8轮的数据进行训练，随后在第7轮数据上进行测试。按照此方案，共进行八次交叉验证步骤，每一轮数据恰好被用作一次测试数据。分类器的整体性能通过各次交叉验证步骤性能的平均值来计算。尽管该方法确保了每一步中的训练数据和测试数据相互独立，同时也最大化了总的测试试验次数，这在评估分类器性能的统计显著性时具有优势。
互联网上有一些可免费获取的软件包可用于执行多变量模式分析（MVPA）；两个示例是 PyMVPA12（基于 Python；<a href="http://www.pymvpa.org">http://www.pymvpa.org</a>）和普林斯顿神经科学研究所提供的工具箱（基于 Matlab；<a href="http://code.google.com/p/princeton-mvpa-toolbox/">http://code.google.com/p/princeton-mvpa-toolbox/</a>）。 
3. 跨模态多体素模式分析与汇聚-发散区框架
如引言中所述，类似上述的实验范式已成功用于根据相应感觉皮层中的神经活动来预测感知刺激，换句话说，即基于视觉皮层活动预测视觉刺激，以及基于听觉皮层活动预测听觉刺激。在此，我们提出对这一基本概念的拓展。具体而言，我们假设不仅可以在同一感觉模态内，而且可以在不同模态之间预测感知刺激。感觉感知与记忆的回忆密切相关；例如，一个具有强烈听觉暗示的视觉刺激，比如看到一个玻璃花瓶摔碎在地的情景，会自动在我们的“内心听觉”中触发与先前经历玻璃破碎声音时相似的听觉表象。根据达马西奥（Damasio）二十多年前提出的一个理论框架9,10，花瓶的视觉与相应声音表象之间的记忆关联存储在所谓的汇聚-发散区（convergence-divergence zones, CDZs；<a href="https://www.jove.com/files/ftp_upload/3307/3307_Meyer-Kaplan_Video_5.mov">视频片段 5</a>）中。CDZs 是联合皮层中的神经元集合，它们通过多个层级接收来自各个初级皮层区域的自下而上的汇聚投射，并反过来向相同的皮层位点发出自上而下的发散投射。由于存在自下而上的汇聚投射，CDZs 可被多种模态的感知表征所激活——例如，既可以由破碎花瓶的视觉也可以由其声音所激活；又由于存在自上而下的发散投射，它们随后可通过向其他模态的初级皮层回传信号，促进相关表象的重建。达马西奥特别强调了后一点：仅激活联合皮层中的 CDZs 并不足以实现对记忆中表象的有意识回忆；只有当 CDZs 在初级感觉皮层中重建出明确的神经表征时，该表象才会被有意识地体验到。因此，该理论框架预测了在面对一个暗示声音的（纯粹）视觉刺激时，神经加工将遵循特定的时序过程（<a href="https://www.jove.com/files/ftp_upload/3307/3307_Meyer-Kaplan_Video_6.mov">视频片段 6</a>）：
<ol>
<li>刺激首先在早期视觉皮层中诱导出特定模式的神经活动（红色矩形）。</li>
<li>通过汇聚性的自下而上投射，早期视觉皮层的神经元向前投射到第一级皮层分化区（CDZ1）。这种汇聚性的连接模式使得 CDZ1 能够检测早期视觉皮层中的某些活动模式。根据具体的活动模式，某个 CDZ 可能被激活，也可能不被激活。因此，CDZ 起到特征提取器的作用。在此示例中，两个 CDZ1 被激活（以红色表示），而第三个则未被对应早期视觉皮层区域的特定活动模式所触发。</li>
<li>CDZ1 向 CDZ2 发出汇聚性的自下而上投射；因此，正如 CDZ1 能够检测早期视觉皮层中的特定活动模式一样，CDZ2 也能够检测 CDZ1 之间的活动模式。若干 CDZ2 可能因被激活的 CDZ1 的特定构型而被激活；为简化起见，此处仅描绘了一个 CDZ2。在本例中，CDZ1 间的活动模式足以激活该 CDZ2。</li>
<li>值得注意的是，CDZ1 不仅向前投射至 CDZ2，还反向投射至早期皮层（蓝色箭头）。这些自上而下的信号可能补全最初由刺激诱导的（可能带有噪声的）活动模式（蓝色矩形）。通常，红色表示自下而上的激活，而蓝色表示自上而下的激活。</li>
<li>通过多个额外的 CDZ 层级，CDZ2 经由虚线箭头向前投射至高级联合皮层中的 CDZn。一个或多个 CDZn 可能对该特定视觉刺激产生响应（此处仅描绘一个）。</li>
<li>同样需要注意的是，CDZ2 也会向 CDZ1 发出反向信号，进而可能进一步修饰最初在早期视觉皮层中诱导的活动模式。</li>
<li>CDZn 向所有感觉模态的 CDZ2 发出反向信号。在视觉皮层中，这可能导致低层级 CDZ 中活动模式的补全。在听觉皮层中，将构建出一种神经活动模式——首先出现在 CDZ2 和 CDZ1 层级，最终延伸至早期听觉皮层——从而使人产生与视觉呈现刺激相关联的听觉意象。需注意，也存在向体感模态的自上而下信号，但其强度弱于听觉模态。这反映出几乎所有视觉刺激都具有某种程度的触觉关联。然而，在当前示例中，由于所假设的视觉刺激明确暗示声音，因此向听觉皮层的自上而下信号更为广泛。</li>
</ol>
根据所提出的神经处理序列，该框架做出了一个具体预测：包含强烈暗示声音的物体和事件的视觉刺激应能在早期听觉皮层中引发神经活动。此外，这种听觉活动模式应具有刺激特异性；换句话说，一个花瓶破碎的视频片段所诱发的神经活动模式应不同于一只狗嚎叫的视频片段。如果这一预测成立，那么我们确实应能够进行跨模态的多体素模式分析（MVPA）：例如，仅基于早期听觉皮层中的神经活动特征，就能判断一个人正在观看的是花瓶破碎的视频还是狗在嚎叫的视频（<a href="https://www.jove.com/files/ftp_upload/3307/3307_Meyer-Kaplan_Video_7.mov">视频片段 7</a>）。同理，涉及其他感觉模态之间信息传递的类似实验范式也应取得成功。例如，如果呈现给受试者的视频片段暗示的是触觉而非声音，那么我们应能够根据这些视频在早期躯体感觉皮层中引发的活动模式来预测其所对应的刺激内容。 
4. 刺激材料
多体素模式分析（MVPA）研究的一般范式已在第2节中描述。我们的方法与以往研究不同，它试图在不同感觉系统之间进行MVPA，因此使用了特别设计的刺激材料，这些材料在其呈现的感觉模态之外的其他感觉模态中具有特定含义。例如，在之前的一项研究中，我们记录了受试者观看由人手操作日常物体的5秒视频片段时初级体感皮层的神经活动8（<a href="https://www.jove.com/files/ftp_upload/3307/3307_Meyer-Kaplan_Video_8.mov">视频片段8</a> 和 <a href="https://www.jove.com/files/ftp_upload/3307/3307_Meyer-Kaplan_Video_9.mov">视频片段9</a>）。在另一项研究中，我们让受试者观看描绘强烈暗示声音的物体和事件的视频片段，同时研究早期听觉皮层中的神经活动7（<a href="https://www.jove.com/files/ftp_upload/3307/3307_Meyer-Kaplan_Video_10.mov">视频片段10</a> 和 <a href="https://www.jove.com/files/ftp_upload/3307/3307_Meyer-Kaplan_Video_11.mov">视频片段11</a>）。然而，根据CDZ框架，只要某种感觉模态的刺激在其他模态中具有潜在含义，那么所有感觉模态的刺激都有可能被应用于这一通用范式中。
5. 感兴趣区域
通常，神经影像学研究中的感兴趣区域可以通过功能或解剖方式来确定。我们认为，在本文所描述的实验范式中，解剖定位更适合，原因有二。首先，对某一特定感觉模态的初级或早期皮层进行功能定义并非易事（初级视觉皮层可能除外），因为呈现给受试者的感知刺激在该模态下的加工通常不仅局限于这些区域。例如，通过触碰受试者的手部来定义初级躯体感觉皮层将十分困难，因为该操作所诱发的脑活动极有可能同时扩散至躯体感觉联合皮层。其次，功能定位可能无法标记出所有可能对分类器性能有贡献的体素：已有研究表明，那些在经典意义上对感觉刺激未表现出净激活的脑区（即在对比图像[刺激 vs. 休息]中不显著的区域）仍可能包含有关刺激的信息13,14。基于以上两点，我们建议在宏观解剖标志允许的情况下，优先使用解剖学定义的感兴趣区域；例如，中央后回的大体解剖结构可作为初级躯体感觉皮层的合理近似，我们在躯体感觉研究中即采用此方法定义感兴趣区域8（图1）。
6. 受试者
在MVPA研究中，受试者样本量通常比传统的fMRI研究更小，因为此类分析可以在单个受试者水平上进行。当然，这并不妨碍实验者随后在组水平上对个体受试者的结果进行进一步分析。例如，在前述的两项研究中，我们对各个受试者的结果进行了t检验，以评估其在组水平上的显著性。每项研究均包含八名受试者；尽管对于参数检验而言，这一样本量必须被视为非常小，但我们仍发现所评估的许多判别结果具有显著性（见下文）。
7. 代表性结果：
如前所述，在之前的两项研究中，我们尝试基于早期听觉皮层的神经活动来预测暗示声音的视频片段7（本研究所用掩模见图2），以及基于初级躯体感觉皮层的活动来预测暗示触觉的视频片段8。这一尝试取得了成功：在这两项研究中，多体素模式分析（MVPA）分类器在所有可能的刺激对两两区分任务中，其表现均超过50%的随机水平（听觉研究中有9种不同刺激，因此n = 36；躯体感觉研究中有5种不同刺激，因此n = 10）。在听觉研究中，36种区分中有26种达到了统计学显著性；在躯体感觉研究中，10种区分中有8种达到显著性（双尾t检验，两项研究的n均为8；见图3）。
<img src="/files/ftp_upload/3307/3307fig1.jpg" alt="脑成像显示绿色激活区域，视觉皮层分析，MRI扫描结果示意图。" data-altupdatedat="1788235205000" data-alt="图1"> 
图1. 初级躯体感觉皮层的解剖学定义掩模范围，如Meyer所用 等，2011年。一种分类算法能够根据局限于划定区域的大脑活动模式预测暗示触觉的视频片段。经牛津大学出版社许可转载。
<img src="/files/ftp_upload/3307/3307fig2.jpg" alt="MRI脑部扫描突出显示颞叶；诊断成像；脑部分析。" data-altupdatedat="1788235205000" data-alt="图2"> 
图2. 早期听觉皮层的解剖学定义掩模范围，如Meyer所用 等，2010年。一种分类算法能够根据限定区域内脑活动模式预测（无声的）暗示声音的视频片段。经自然出版集团许可转载。
<img src="/files/ftp_upload/3307/3307fig3.jpg" alt="分类器性能柱状图；听觉与体感显著性热图；p值结果。" data-altupdatedat="1788235205000" data-alt="图3"> 
图3. 我们此前跨模态多体素模式分析（MVPA）研究结果的汇总。分别使用分类器根据早期听觉皮层或初级体感皮层的神经活动，预测暗示声音或触觉的视觉刺激。上图：在两项研究中，所有刺激对之间的两两区分预测性能均高于0.5的机遇水平。下图：在听觉研究中，36种区分中有26种的分类器性能达到统计学显著性；在体感研究中，10种区分中有8种达到统计学显著性。经Nature出版集团和牛津大学出版社许可转载。

<ol><li>Haynes, J. -D., Rees, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Decoding+mental+states+from+brain+activity+in+humans%5BTitle%5D)+AND+%22Nat.+Rev.+Neurosci%22%5BJournal%5D)">Decoding mental states from brain activity in humans.</a> Nat. Rev. Neurosci. 7, 523-534 (2006).</li>
<li>Norman, K. A., Polyn, S. M., Detre, G. J., Haxby, J. V. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Beyond+mind-reading%3A+multi-voxel+pattern+analysis+of+fMRI+data%5BTitle%5D)+AND+%22Trends.+Cogn.+Sci%22%5BJournal%5D)">Beyond mind-reading: multi-voxel pattern analysis of fMRI data.</a> Trends. Cogn. Sci. 10, 424-430 (2006).</li>
<li>Kriegeskorte, N., Bandettini, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Analyzing+for+information%2C+not+activation%2C+to+exploit+high-resolution+fMRI%5BTitle%5D)+AND+%22NeuroImage%22%5BJournal%5D)">Analyzing for information, not activation, to exploit high-resolution fMRI.</a> NeuroImage. 38, 649-662 (2007).</li>
<li>Mur, M., Bandettini, P. A., Kriegeskorte, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Revealing+representational+content+with+pattern-information+fMRI+-+an+introductory+guide%5BTitle%5D)+AND+%22Soc.+Cogn.+Affect.+Neurosci%22%5BJournal%5D)">Revealing representational content with pattern-information fMRI - an introductory guide.</a> Soc. Cogn. Affect. Neurosci. 4, 101-109 (2009).</li>
<li>Kamitani, Y., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Decoding+the+visual+and+subjective+contents+of+the+human+brain%5BTitle%5D)+AND+%22Nat.+Neurosci%22%5BJournal%5D)">Decoding the visual and subjective contents of the human brain.</a> Nat. Neurosci. 8, 679-685 (2005).</li>
<li>Formisano, E., De Martino, F., Bonte, M., Goebel, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((%22Who%22+is+saying+%22what%22%3F+Brain-based+decoding+of+human+voice+and+speech%3F%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">"Who" is saying "what"? Brain-based decoding of human voice and speech?</a> Science. 322, 970-973 (2008).</li>
<li>Meyer, K., Kaplan, J. T., Essex, R., Webber, C., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Predicting+visual+stimuli+on+the+basis+of+activity+in+auditory+cortices%5BTitle%5D)+AND+%22Nat.+Neurosci%22%5BJournal%5D)">Predicting visual stimuli on the basis of activity in auditory cortices.</a> Nat. Neurosci. 13, 667-668 (2010).</li>
<li>Meyer, K., Kaplan, J. T., Essex, R., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Seeing+touch+is+correlated+with+content-specific+activity+in+primary+somatosensory+cortex%5BTitle%5D)+AND+%22Cereb.+Cortex%22%5BJournal%5D)">Seeing touch is correlated with content-specific activity in primary somatosensory cortex.</a> Cereb. Cortex. 21, 2113-2121 (2011).</li>
<li>Damasio, A. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Time-locked+multiregional+retroactivation%3A+a+systems-level+proposal+for+the+neural+substrates+of+recall+and+recognition%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Time-locked multiregional retroactivation: a systems-level proposal for the neural substrates of recall and recognition.</a> Cognition. 33, 25-62 (1989).</li>
<li>Meyer, K., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Convergence+and+divergence+in+a+neural+architecture+for+recognition+and+memory%5BTitle%5D)+AND+%22Trends.+Neurosci%22%5BJournal%5D)">Convergence and divergence in a neural architecture for recognition and memory.</a> Trends. Neurosci. 32, 376-382 (2009).</li>
<li>Friston, K. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modalities%2C+modes%2C+and+models+in+functional+neuroimaging%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Modalities, modes, and models in functional neuroimaging.</a> Science. 326, 399-403 (2009).</li>
<li>Hanke, M., Halchenko, Y. O., Sederberg, P. B., Hanson, S. J., Haxby, J. V., Pollmann, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((PyMVPA%3A+a+Python+toolbox+for+multivariate+pattern+analysis+of+fMRI+data%5BTitle%5D)+AND+%22Neuroinformatics%22%5BJournal%5D)">PyMVPA: a Python toolbox for multivariate pattern analysis of fMRI data.</a> Neuroinformatics. 7, 37-53 (2009).</li>
<li>Harrison, S. A., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Decoding+reveals+the+contents+of+visual+working+memory+in+early+visual+areas%5BTitle%5D)+AND+%22Nature%22%5BJournal%5D)">Decoding reveals the contents of visual working memory in early visual areas.</a> Nature. 458, 632-635 (2009).</li>
<li>Serences, J. T., Ester, E. F., Vogel, E. K., Awh, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Stimulus-specific+delay+activity+in+human+primary+visual+cortex%5BTitle%5D)+AND+%22Psych+Sci%22%5BJournal%5D)">Stimulus-specific delay activity in human primary visual cortex.</a> Psych Sci. 20, 207-214 (2009).</li>
</ol>

未声明任何利益冲突。

我们先前研究的结果表明，跨模态多体素模式分析（MVPA）是研究“心耳”和“心触”中所体验到的心像神经关联的有效工具。具体而言，结果表明，此类心像的内容分别与早期听觉皮层和躯体感觉皮层中的神经活动相关，从而为达马西奥的汇聚-发散区理论框架提供了直接的实证支持。
我们所描述的基本范式可以通过多种方式进行扩展。最明显的是，可以采用不同感觉模态的组合来开展类似研究。在这方面，实验前建立某些跨模态关联可能会提高成功的可能性。例如，为了研究嗅觉皮层中的跨模态表征，可以通过同时让受试者看到并闻到多种食物的视觉和气味刺激对其进行启动。随后，在进入fMRI扫描仪后，可通过视觉线索触发受试者对这些气味的嗅觉记忆，并尝试仅基于嗅觉皮层的神经活动，利用多体素模式分析（MVPA）将各个试验归类到正确的食物项目中。 
另一个值得关注的问题是，跨模态诱发的早期感觉皮层活动模式是否与实际体验声音或触觉时诱发的活动模式具有相似性；换句话说，看到玻璃花瓶破碎是否会在早期听觉皮层中引发与实际听到该事件相似的神经活动模式？这一问题同样可以通过多变量模式分析（MVPA）来探讨：一个在受试者听到特定声音时记录的数据上进行训练的分类器，是否能够准确区分受试者观看相应视频片段时记录的数据？在我们的听觉研究中，我们曾尝试进行此类分类，但结果仅处于边缘显著水平（见参考文献7中的图3）。然而，在该研究中，我们并未以任何方式控制参与者的听觉关联；也就是说，我们并不清楚每位受试者在观看视频时所产生的听觉意象与用于训练分类器的音频片段之间的相似程度。同样，若如上文所述先对受试者进行特定的跨模态关联启动（例如视-嗅关联），再探讨这一问题，可能会更有意义。这种方法可以更可靠地控制受试者在观看视频时的心理体验，从而可能提高分类器的预测性能。
综上所述，我们通过证明刺激物不仅可以在同一感觉模式内，还可以在不同感觉模式之间进行预测，从而拓展了经典的多体素模式分析（MVPA）范式。因此，我们表明，MVPA的应用并不局限于研究由外部感觉刺激直接诱发的感知表征的神经相关性。相反，MVPA还能够评估由内部触发的心理意象的神经基础：根据达马西奥的汇聚-发散区框架，我们的研究结果提示，基于记忆重建的心理意象的意识体验与早期感觉皮层中的内容特异性神经表征相关。

跨模态多变量模式分析

Cross-Modal Multivariate Pattern Analysis

多变量模式分析（MVPA）是一种日益流行的分析功能磁共振成像（fMRI）数据的方法1-4。通常，该方法用于根据大脑特定区域的神经活动来识别受试者的感知体验。例如，已有研究利用早期视觉皮层的活动来预测受试者所感知的视觉光栅朝向5，或类似地，利用早期听觉皮层的活动来预测语音内容6。
本文提出了一种经典多体素模式分析（MVPA）范式的扩展，该范式不再局限于在单一感觉系统内部预测感知刺激，而是跨感觉系统进行预测。具体而言，本文所描述的方法旨在探讨这样一个问题：当刺激通过某一感觉通道呈现时，若其在其他感觉模态中引发记忆联想，是否会在这些其他模态的感觉皮层中诱发内容特异性的神经活动模式？例如，观看一段静音的玻璃花瓶摔落在地的视频片段时，大多数观察者会自动在脑海中浮现出与之相关的破碎声的听觉意象；这种“心耳”中的听觉体验是否与早期听觉皮层中的特定神经活动模式相关？此外，如果受试者观看的是一段狼嚎的视频片段，其所对应的神经活动模式是否与前述花瓶破碎所诱发的模式存在差异？
在之前两项研究中7,8，我们能够分别基于早期听觉皮层和体感皮层的神经活动，预测暗示声音和触觉的视频片段。我们的结果与达马西奥提出的神经架构框架一致9,10，该框架认为，基于记忆的心理意象体验——例如在看到相应视频片段时在“心灵之耳”中听到花瓶破碎的声音——依赖于在早期感觉皮层中重建与特定内容相关的神经活动模式。

经典的多变量模式分析能够根据相应皮层中的神经活动来预测受试者所感知的感觉刺激（例如，根据视觉皮层的活动预测视觉刺激）。在此，我们采用跨模态的模式分析方法，分别从听觉皮层和体感皮层的活动来预测暗示声音和触觉的视觉刺激。

多变量模式分析（MVPA）是一种日益流行的分析功能磁共振成像（fMRI）数据的方法1-4。通常，该方法……

以下实验的目标是利用功能磁共振成像数据的多变量模式分析，研究人脑中的多模态信息处理。该目标通过首先创建一种特定类型的感官刺激来实现，这些刺激通过单一感官通道呈现给受试者。例如，刺激可能属于视觉模态，但却在另一种不同的模态中引发强烈的关联。例如，当受试者感知此类刺激时，与关联模态相关的脑区会产生神经活动，本例中使用功能性磁共振成像（fMRI）记录听觉皮层的活动。通过多变量模式分析方法对记录到的神经活动进行分析，旨在预测受试者在原始感知模态下所识别的是哪一种刺激。结果表明，包含多个感觉通道相关信息的单模态刺激能够诱发非刺激呈现通道的早期感觉皮层中与内容特异性相关的神经活动。我们今天介绍的技术，即跨模态多变量模式分析（Crossmodal multivariate pattern analysis），是对传统多变量模式分析的自然延伸，其区别在于感觉刺激（STEMI）的分类是在不同感觉通道之间而非同一通道内部进行的。我们最初产生这一方法的构想，是在试图为 Demio 二十多年前提出的一种神经架构框架提供实验证据时。在本视频中，我们不仅将向您介绍多变量模式分析（简称 MVPA）的技术细节，还将介绍其理论框架。我们首先会指出 MVPA 与传统的单变量 fMRI 分析之间的一些关键差异。请考虑以下内容。例如，当向受试者呈现两种不同的视觉刺激（如一个苹果和一个橙子）时，在多次试验的平均结果中，这两种刺激会引发特定的神经活动模式，该模式位于初级视觉皮层，此处用六个假设体素的激活水平来表示。在传统的功能性磁共振成像（fMRI）分析中，分析这些模式的方法基本上有两种。第一种方法是比较高亮区域整体中刺激所诱导的平均活动水平。然而，这些平均值之间的差异可能并不显著。第二种方法是对每个体素建立减法对比。将橙子条件下的激活水平减去苹果条件下的激活水平，每个体素所得的差值可以在全脑对比图像上进行可视化。然而，这些差异可能较小，仅在少数体素中达到所需的统计学标准。但与单变量分析方法不同，MVPA 能够通过同时考虑所有体素的激活水平来检测体素间的激活模式。尽管单独来看，仅有少数激活差异可能具有显著性，但当综合考虑两种模式的整体情况时，它们在统计学上可能确实存在差异。传统fMRI分析与MVPA之间的另一主要区别在于，后者采用了一种称为逆向推断的方法。在传统的fMRI分析中，研究者通常提出的问题类型是：两种不同的视觉刺激是否会引发不同的脑活动。例如，面孔图像和房屋图像在特定感兴趣区域（如梭状回面孔区）会引发不同的活动水平。相比之下，多体素模式分析（MVPA）通常以逆向推断或解码的形式表达，其核心问题是：根据某一特定脑区的神经活动模式，我们是否能够预测受试者所感知的是两个视觉刺激中的哪一个。然而需要注意的是，从统计学角度来看，断言两种刺激在某一给定脑区引起不同的活动模式，与断言该脑区的活动模式可用于预测诱发刺激，这两种说法是等价的。换句话说，MVPA 的敏感性优于单变量分析，是因为它同时考虑了多个体素，而不是因为它采用了反向分析的方向。回到之前的例子，让我们考虑一个典型的 MVPA 范式，用于评估观察一个苹果是否比观察一个橙子在初级视觉皮层中引发不同的神经活动模式。第一步，在受试者观看大量需要区分的刺激时，记录其功能性磁共振成像（fMRI）数据。然后将获取的数据分为训练数据集和测试数据集。训练集中的数据被输入到一个模式分类器中，该分类器试图检测神经活动模式中能够区分两种试验类型的特征。接着，将测试集中的未标记数据提供给该分类器，分类器依据在训练数据集中检测到的模式，为每个刺激对应的测试试验分配最可能的标签。然后将分类器的预测结果与正确的刺激标签进行比较，并以正确预测的百分比来计算分类器的性能。如我们所见，示例中的分类器在12次中有9次成功匹配了正确的刺激标签，即准确率为75%，而随机水平为50%。这表明橙子和苹果两种刺激在V1区诱发的神经活动模式确实存在一致性的差异。当然，这一结果的显著性需要通过统计方法加以验证。在进行此类分类实验时，一个需要特别注意的重要问题是：训练数据集和测试数据集必须完全相互独立，因为只有在这一条件下，才能对训练阶段所学习到的模式的可推广性得出有效结论。为此，多变量模式分析（MVPA）范式通常采用所谓的交叉验证范式。尽管该流程旨在最大限度地利用给定数据集获得更多的训练和测试试验次数，但同时也确保了在各个分类步骤中训练集与测试集之间不会出现重叠。以一个包含八次功能扫描运行的多变量模式分析（MVPA）实验为例：在第一次交叉验证步骤中，分类器使用第一至第七次运行的数据进行训练，并在第八次运行的数据上进行测试。在第二步中，分类器将在第一至第六次运行以及第八次运行的数据上进行训练，随后在第七次运行的数据上进行测试。按照此方案，共进行八次交叉验证步骤，每次运行均恰好作为一次测试运行。在获得每次交叉验证步骤的分类器性能后，对这些结果取平均值得到整体性能。互联网上提供了一些可免费使用的软件包用于执行多体素模式分析（MVPA），例如 pi MVPA 以及普林斯顿神经科学研究所提供的工具箱。诸如上述的实验范式已成功用于根据大脑皮层相应区域的神经活动来预测感知刺激，例如，基于视觉皮层的活动来预测视觉刺激，或基于听觉皮层的活动来预测听觉刺激。接下来，我们希望介绍这一基本思想的扩展应用，即不仅在单一感觉模态内，而且在不同感觉模态之间预测感知刺激。我们的设想基于知觉与记忆回忆之间存在复杂关联这一事实。例如，一个具有强烈听觉暗示的视觉刺激，比如玻璃杯底摔落在地的场景，会自动在我们的脑海中触发一种听觉意象，这种听觉意象与我们此前经历玻璃破碎时所体验过的听觉印象具有相似性。根据Theo在20世纪80年代末提出的一个框架，破碎基底位置与其相应声音之间的记忆关联被储存在所谓的汇聚-发散区（convergence divergence zones），简称CD区。发散区被概念化为位于感觉系统各个层次上的神经元集合，其名称已表明了这一特性。各级联合区（CDs）接收来自低级皮层的汇聚性自下而上的投射，同时又向这些相同的低级皮层发出发散性的自上而下投射。由于存在汇聚性的自下而上传入，联合区可被多种感觉模态的知觉表征所激活，例如，既能被破碎玻璃的视觉图像，也能被其声音所激活；而由于发散性的自上而下投射，联合区可调控这些低级皮层的加工过程。然后，它们可以通过向其他感觉模式的早期感觉皮层发出反馈信号，促进相关图像的重建。根据此框架，考虑一个纯粹视觉但暗示声音的刺激所引发的激活序列。该刺激首先通过汇聚的自下而上投射，在早期视觉皮层中诱导出特定的神经活动模式。初级视皮层激活第一级 CDs，即 CDZ 级。根据相应初级皮层区域活动的具体模式，CDZ 可能被激活，也可能保持静息状态。CDZ 级向上投射至 cdz 二级，正如 cdz 一级所检测到的那样。早期视觉皮层中的活动模式，cdz twos 能够在 cdz ones 中检测活动模式，多个 cdz twos 可能被激活，但为简化起见，此处仅通过自上而下的投射示意其中一个。cdz ones 可能同时通过多个额外层级的 c DZs CDZ twos，完成早期视觉皮层中的活动模式。twos 向前投射至多模态联合皮层中的 CDZ ends。同样，可能会有多个 CDZ 末端被激活，但为简化起见仅展示其中一个。同样地，CDZ 二级也会向 CDZ 一级发出反向信号，从而可能进一步调整最初在早期视觉皮层中形成的模式。CDZ 末端会向所有感觉模态的 CZ 二级区域发出反馈信号。在听觉皮层中，将构建一种神经模式，使个体能够在脑海中感知到与视觉呈现刺激相关的听觉图像。图中所示向躯体感觉模态的自上而下信号传递，反映了几乎任何视觉刺激同时也暗示着某些触觉关联的事实。因此，该框架预测，暗示视觉刺激的声音将引发特定内容的神经活动模式。在初级听觉皮层中。利用多体素模式分析（MVPA）来分析这种神经活动模式，应有可能预测受试者所看到的是哪一种暗示声音的视觉刺激。在第一个实验中，记录了受试者观看九种不同物体和事件的视频片段（这些视频暗示声音）时初级听觉皮层的神经活动。本实验中的感兴趣区域是Semal平面上的一个局限区域，包括初级听觉皮层以及早期听觉联合皮层。在另一项实验中，当受试者观看暗示触觉的五段不同视频片段时，记录其初级躯体感觉皮层的神经活动。该实验中的感兴趣区域包括位于中央后回的初级躯体感觉皮层。两项研究在听觉研究中均涉及八名受试者。在所有可能的刺激对之间进行的两两区分中，多变量模式分析（MVPA）分类器的表现均超过50%的随机水平。在36种区分中的26种中，分类器的表现显著不同于0.5的随机水平。同样，在体感研究中，分类器在所有两两区分任务中的表现均优于随机水平，且10项区分任务中有8项达到了统计学显著性。如您所见，通过跨模态多变量模式分析，我们已能够证明：暗示声音或触觉的视觉刺激的感知，会在早期听觉和体感皮层中产生内容特异性的神经表征，这与前文介绍的理论框架相一致。显然，我们所提出的实验范式并不局限于本研究中涉及的感官模态，还可拓展至其他感觉模态。因此，我们希望其他研究团队能够加入我们，共同拓展此类研究，以增进对如何从环境中引入多模态刺激过程的理解。

cross-modal-multivariate-pattern-analysis

Research

科研

JoVE Journal

Neuroscience

神经科学

跨模态的多元格局分析

本文介绍了多变量分析的基本原理，并将其与更常用的基于体素的单变量分析进行对比。这两种分析方法均应用于一个临床神经科学数据集。补充的半分模拟结果显示，多变量分析结果在独立数据集中的可重复性更优。...

神经影像数据中多变量分析的基础

包括主成分分析（PCA）在内的多变量技术已被用于识别功能脑成像中区域变化的特征模式。我们开发了一种算法，用于识别神经退行性疾病诊断、疾病进展评估以及患者群体治疗效果客观评价中的可重复性网络生物标志物。...

利用神经影像数据识别与疾病相关的空间协变模式

我们展示了在早期乳腺X线摄影中检测结构扭曲的方法。通过使用Gabor滤波器和相位图分析有方向性的结构，以检测放射状组织模式的病灶。对每个病灶通过表征放射状结构的度量指标进行特征提取和分类。这些方法有助于乳腺癌的检测。...

在既往乳腺X线摄影中检测结构扭曲 通过 定向模式分析

信息连接性用于衡量不同脑区之间多体素信息时间序列的对应关系。通过提取各脑区的多体素模式可分辨性时间序列并进行比较，揭示出在典型功能连接分析方法中无法识别的脑网络。...

利用信息连接性测量fMRI多体素信息随时间的同步出现

该方案介绍了一种实验心理物理学范式，用于获取大量相似性判断数据，并提供了相应的分析流程。该范式可探究情境效应，并能够将相似性数据建模为至少五维的欧几里得空间。...

一种用于收集与分析相似性判断的心理物理学范式

我们介绍一种灵活的化学和多模式刺激方法，可同时对多条秀丽隐杆线虫（Caenorhabditis...

自动化多模态刺激与同步记录多种小型生物的神经元活动

在此，我们采用高密度微电极阵列（HD-MEA）深入研究大规模神经元群集的计算动力学，特别是在海马体、嗅球环路以及人类神经元网络中的应用。通过捕捉时空电活动并结合计算工具，可深入了解神经元群集的复杂性。该方法有助于增进对脑功能的理解，并有望为神经系统疾病发现生物标志物和治疗方法。...

在CMOS集成高密度微电极阵列上记录与分析多模态大规模神经元集群动态

我们提出了一种灵活且可扩展的基于 Jupyter-lab...

应用无监督多组学因子分析揭示与心血管疾病相关的变异模式及分子过程

本文介绍了一种从大鼠原代神经元培养物中分离单细胞并利用aRNA扩增技术进行后续转录组分析的简单方法。该方法可推广应用于任何细胞类型。...

单细胞转录组分析

本文介绍了使用改良的自动化装置进行小鼠T迷宫测试以评估其学习和记忆功能的实验方案。...

小鼠工作记忆与参考记忆评估的T型迷宫强制交替与左右辨别任务

学习跨模态多元格局分析方法，利用功能性磁共振成像数据解码人脑多感官处理机制。该技术通过分析神经活动模式预测感知刺激，揭示视觉刺激如何激活听觉与体感皮层，为神经科学多模态整合研究提供新工具。

跨模态多变量模式分析

探索更多视频