跨模态的多元格局分析

Summary

古典的多元格局分析预测，认为在相应的皮层（如视觉刺激在视觉皮层的活动）神经活动主题的感官刺激。在这里，我们应用模式分析跨模态显示，声音和触摸，这意味着视觉刺激，可以预见，从听觉和体感皮层的活动，分别。

Abstract

多元模式分析^{（MVPA）1-4}功能磁共振成像（fMRI）数据分析的方法越来越流行。通常情况下，该方法是用来确定一个主题的感性经验在大脑的某些区域的神经活动。例如，它已被用来预测一个主题从早期视觉皮层⁵的活动或类似的是，从^年初的听觉皮层6活动的讲话内容感知的视觉光栅方向。

在这里，我们目前MVPA古典范式的延伸，根据感性刺激不预测范围内，但是在感官系统。具体来说，我们所描述的方法，地址是否唤起其他方式比通过它们出现的的内存协会的刺激诱导的感觉皮层的其他方式的具体内容的活动模式的问题。例如，看到一个一个玻璃在地上打碎花瓶的静音视频剪辑自动触发一个相关联的声音的听觉形象;在大多数观察家这个图片的“心灵的耳朵”的经验与一个特定的早期神经活动模式相关性听觉皮层？此外，这一活动模式，可观察到的模式不同，如果这个问题，而是一个嚎叫的狗观看视频剪辑？

在两个^7,8以前的研究中，我们能够预测的声音和触摸这意味着在早期听觉和体感皮层的神经活动的基础上，分 ​​别视频剪辑。我们的结果是达马西奥^9,10提出一个neuroarchitectural框架，根据这一精神图像的经验基础上的记忆-比如听证会的花瓶在“心灵的耳朵”惊天动地的声音，后看到相应的视频片段 - 支持的内容重新建设具体年初感觉皮层的神经活动模式。

Protocol

1。简介

多元模式分析^{（MVPA）1-4}功能磁共振成像（fMRI）数据分析的方法越来越流行。通常情况下，该方法是用来确定一个主题的感性经验在大脑的某些区域的神经活动。例如，它已被用来预测一个主题从早期视觉皮层⁵的活动或类似的是，从^年初的听觉皮层6活动的讲话内容感知的视觉光栅方向。在这个视频文章中，我们描述了一个MVPA新颖的应用程序，它增加了一个额外的扭曲这一基本的，内部模式的范式。在这种方法中，感性的刺激，预计内没有，但整个感觉系统。

2。多元格局分析

虽然现在MVPA方法以及建立的神经影像学领域内，我们将开始由pointi吴出MVPA和传统，单因素的fMRI分析之间的主要区别。为此，可以考虑以下两种方法如何去研究在视觉皮层的神经活动在一个简单的视觉任务（例如视频剪辑1）：

1. 一个主题是两个不同的视觉刺激，例如，一个橘子和苹果的形象的形象。
2. 这两种刺激诱发初级视觉皮层的神经活动的具体模式，标志着由6个假想的体素激活水平。 （当然，活动模式由单一的橙色或在现实中的苹果图像演示诱导，将是非常嘈杂;考虑从大量的试验造成的平均图文并茂的模式。）
3. 在传统的功能磁共振成像分析，可以分析这些模式基本上有两种方式。首先，我们可以专注于平均LEVEL的跨整个地区的利益的活动。
4. 在给定的例子中，平均活动水平的差异不显著，使对应的两个刺激的模式，不能从这个角度来看区分。
5. 分析这两种模式的另一种方法是在它们之间建立的加减对比：每个体素，激活水平在“苹果”的条件是从激活水平减去在“橙色”的条件。由此产生的差额，然后可以为每个体素在全脑造影图像的可视化。
6. 然而，这些差异可能小，可达到所需的统计标准，只对极少数体素。
7. 这是决定性的优势，MVPA发挥其优越的权力派生的事实，单因素分析方法不同，它认为所有体素的同时激活水平，从而能够检测模式。同时，作为mentioneD，只有少数可激活差异显著，当孤立地考虑，这两种模式，在他们的整体考虑，可能确实统计学差异。

之间的第二个主要区别传统的功能磁共振成像分析和MVPA（ 片段二 ）。前一种方法通常试图证明之间有一定的感官刺激和某些大脑活动模式，在一个“转发方式”的统计依赖，换句话说，它要求的类型的问题：“将两种不同的视觉刺激，如面临的图片和一所房子的图片，感兴趣的特定区域的不同活动水平，如梭形面面积？“相比之下，MVPA的成功通常是表示“反向推论”或“解码”;类型的典型问题是：“基于神经活动在一个特定的章的模式利益（如初级视觉皮层）的离子，可以预测是否受感知刺激，如橙色，或刺激乙，如一个苹果吗？“注意，但是，在哪个方向和感性的刺激之间的相关性大脑活动的映射并不重要，从统计的角度看：它相当于说，两个刺激导致不同的活动模式，在一个特定的大脑区域，并说，在大脑区域的活动模式^允许预测的诱导刺激11换句话说，MVPA灵敏度优于单因素分析，因为它认为体素同时，并没有因为它是一个反方向的收益。

以下的步骤说明如何MVPA一个典型的范式解决问题，是否看到一个苹果诱导比看到一个橙色的初级视觉皮层的神经活动的不同模式（_upload/3307/3307_Meyer-Kaplan_Video_3.mov“>视频短片3）：

1. fMRI数据采集而受看到大量的苹果和橙刺激。
2. 采集到的数据被分成一个训练数据集和测试数据集。在目前的例子不同，训练数据集往往是选择大于测试数据集，作为分类的性能可与培训试验的数量预计将增加。
3. 从训练集的数据输入到一个模式分类。使用几种可能的数学算法，分类尝试检测在神经模式的特点，区分不同的两个类型的刺激。一个常用（也是我们在自己以前的研究）类型的分类，所谓支持向量机;进一步的细节，读者可以参考在介绍中提到的审查。
4. 分类后的培训，已培训试验是provid版与测试数据。从测试数据集的单个试验未标记;换言之，分类并不“知道”是否从“苹果”或“橙色”审判模式。
5. 分类属性的一致性，它能够探测到在训练数据集的基础上，最有可能的标签每个测试试验。
6. 对于每个模式，“猜”的分类，可以比较正确的刺激标签。
7. 如果分类是无法检测到由两种刺激引起的任何模式之间一致的差异，其性能应在机会水平;在例子中给出的双向歧视，这将对应于50％正确的标签。一个显著高于此值的预测性能表明，确实有两类刺激之间的差异。

请注意，它是至关重要的anoth从一个独立的训练和测试数据集呃。只有在这种情况下，可以得出任何结论作为训练集所得的模式的普遍性。 MVPA研究通常使用交叉验证的范式（视频剪辑4 ）评估分类器的性能。假设MVPA实验包括八个功能运行。在第一个交叉验证一步，从运行1到7和8从运行的数据测试数据分类培训。在第二个步骤，分类，然后训练贯穿6以及运行8 1，随后7上运行测试。这个模式之后，8个交叉验证的步骤进行，每运行一次试运行服务。总体分类器的性能是作为对个体的交叉验证步骤的表演平均计算。虽然此过程中保证独立的培训和测试数据集上的每一步，同时也最大限度地提高总体数量测试试验，它可以是优势时，评估的统计分类的表现意义。

有执行MVPA在互联网上自由可用的软件包;两个例子^PyMVPA 12（基于Python ; http://www.pymvpa.org）和普林斯顿大学神经科学研究所（基于Matlab提供的工具箱 ;呻/ code.google.com / P /普林斯顿MVPA工具箱/ ）。

3。跨通道MVPA和收敛 - 发散区的框架

在介绍中提到，像刚才所描述的实验范式已成功地用于预测相应的感觉皮层的神经活动的感性刺激，换句话说，在视觉皮层和听觉刺激的活动为基础的视觉刺激的基础上在听觉皮层的活动。在这里，我们目前这一基本概念的延伸。具体来说，我们推测，它应该是可以预测的感性刺激，不仅在，但跨越的方式。感官知觉是错综复杂地联系在一起召回的回忆;例如，一个视觉刺激有一个强烈的听觉的含义，如看到一个玻璃在地上打碎花瓶，，将自动触发我们的“心灵的耳朵”图像共享相似之处与听觉形象，我们经历了以前遇到玻璃破碎。据达马西奥两个以上十年前^9,10引入一个框架中，看到的花瓶和相应的声音图像之间的内存协会是存储在所谓的收敛发散区（ CDZs;视频剪辑5 ）。 CDZs在收到趋同自下而上从各种早期皮层一个预测协会皮层的神经元合奏reas（通过几个层次）和，反过来，发回分歧的自上而下的预测相同皮质网站。由于收敛自下而上的预测，CDZs可以被激活感性陈述，以多种方式的视线和一个惊天动地的花瓶声音 - 例如，由于分歧的自上而下的预测，他们就可以促进重建相关的其他方式的早期皮层信号的图像。达马西奥强调后者点：协会皮层激活CDZs将不会有足够的图像从内存中的自觉召回，只有一次CDZs年初感觉皮层重建明确的神经表征的形象自觉经历。因此，框架预测（纯粹）的视觉刺激，这意味着声音的神经处理的具体顺序（视频剪辑6）：

1. 首先刺激诱导早期视皮层的神经活动在特定的模式（红色矩形）。
2. 通过收敛自下而上的预测，在早期的视觉皮层的神经元，项目推进到一个_CDZs（CDZ 1）第一级。收敛的连接模式，允许_{CDZ 1}秒检测一定的活动方式，在早期视皮层。根据确切的模式，CDZ可能或可能不会成为激活。 CDZs从而作为功能榨汁。在这个例子中，两个CDZ _1秒被激活（如红色表示），而第三个是没有在早期视皮层的相应部门的特定活动模式触发。
3. CDZ _1秒发送收敛自下而上的预测CDZ _2秒 ;因此，正如CDZ _1秒检测到一定的活动模式，在早期的视觉皮层_{，CDZ 2} S能够探测到的活动模式之间_CDZ 1 2 S可能成为激活激活CDZ _1秒的具体配置;简单的原因，只有_一个 CDZ 2描绘这里。在这个例子中，CDZ _1秒之间的活动模式是足够的，以激活_此 CDZ 2。
4. 值得注意的是，CDZ _1秒不唯一项目CDZ _{2 S}也回的早期皮层（蓝色箭头）。这些自上而下的信号就可以完成（可能是噪音）最初由诱导刺激（蓝色矩形）的活动模式。一般来说，红色表示自下而上的激活，而蓝色代表自上而下的激活。
5. 通过几个额外的CDZs水平，CDZ _{2 S}项目提出高阶协会皮层CDZ _{N S（}虚线箭头）。 CDZ _{N S}的一种或几种可能应对具体问题的视觉刺激（只有一个单一的一个描述） 。
6. 再次，应该指出的是，CDZ _{2 S} ALS O信号落后CDZ ₁小号，这反过来，可能会进一步修改原本在早期视皮层诱发模式。
7. CDZ _{N S}信号CDZ ₂所有方式的小号。在视觉皮层，这可能导致在较低水平CDZs完成的活动模式。在听觉皮层，神经模式将构建- CDZ _{2 S}和CDZ _1秒的水平，最终在早期的听觉皮层-允许听觉形象与视觉刺激相关的意识经验。请注意，也有自上而下信号，以体感方式虽然比听觉方式，以较小的程度，。这反映了一个事实，几乎任何视觉刺激有一定的触觉协会。然而，由于视觉刺激在当前的例子是假设意味着声音，自上而下的信号听觉皮层更加广泛。

ove_content“>基于神经处理的建议序列，该框架使得一个具体的预测。包含的对象和事件，强烈暗示声音的视觉刺激唤起早期听觉皮层的神经活动，此外，听觉的活动模式应该是刺激特定的;换句话说，一个惊天动地的花瓶的视频剪辑应该是诱发，一个比一个嚎叫的狗剪辑不同的模式，如果这一预测是正确的，那么我们的确应该能够执行MVPA跨模态：举例来说，我们应该能够预测的基础上在早期听觉皮层的神经活动的指纹，一个人是否看到一个打碎的花瓶或一个嚎叫狗（视频剪辑7），当然，类似的范例，调用其他感官方式之间的信息传输也应该成功。例如，如果视频剪辑显示主题的隐含联系，而不是健全的，我们应引起早期体感皮层的活动模式，他们能够预测这些剪辑。

4。刺激

MVPA研究的一般范式是在第2节中描述。我们的做法是不同于以往的研究，它试图执行跨感觉系统的MVPA，因此使用，是专门在感觉比它们出现的其他方式的影响刺激。例如，在以前的研究中，我们记录从初级躯体感觉皮层的神经活动，而科目看着每天^被人的手8（操纵的对象5秒的视频短片，视频剪辑和视频剪辑9）。在另一项研究中，我们研究在早期听觉皮层WHI的神经活动乐科目观看视频片段，描绘的对象和事件，强烈暗示^声音 7 （10视频剪辑和视频剪辑 11） 。然而，根据CDZ框架，所有方式的感官刺激可能受聘于这个一般范式，只要他们的其他方式的影响。

5。地区景点

一般来说，一个神经影像学研究感兴趣的地区可确定功能或解剖学。我们相信，我们在这里描述的实验范式，解剖本地化更适合的原因有两个。首先，这是不平凡的功能定义一个给定的感官模式（初级视觉皮层的可能是个例外）的小学或早期皮层的，作为PE的加工提交在该模式的主体rceptual的刺激，通常不会被限制到这些领域。举例来说，这将是难以界定申请主体的双手触摸到，此过程诱导活动，在所有的可能性，会蔓延到躯体协会皮层以及初级躯体感觉皮层。其次，一个功能航向未必所有的体素，可能有潜在贡献的分类的性能标签：它已被证明的地方，做不显示在传统意义上的感官刺激（即，地区，做到不出现上净激活对比度图像刺激与休息]）可以包含有关刺激尽管如此^13,14的信息。对于这两个原因，我们主张在解剖学上定义的地区利益，宏观地标时，这允许使用;例如，中央后回的大体解剖代表一个合理的初级躯体感觉皮层近似，我们用这种方法来定义感兴趣的区域，在我们的体感^研究 8（图1） 。

6。主题

MVPA研究课题的样品往往比在传统的fMRI研究小，可以在单一学科的水平进行分析。当然，这并不能阻止随后在组级别的个别科目的分析结果以及实验者。在两项研究中提到，例如，以前，我们进行了个别科目的结果t检验，以评估其重要意义，在组级别。每项研究涉及8个科目;虽然这必须考虑的一个非常小的主题样本参数测试，我们发现许多歧视，我们被评定为显著（见下文）。

7。代表性的成果：

如上所述，两个以前的研究中，我们的目的是预测的声音，这意味着视频剪辑在早期听觉皮层的神经^活动 7的基础上（见图2，在这项研究中使用的面具）和^触摸暗示8初级体感皮层的活动为基础的视频剪辑。这种尝试是成功的：在这两项研究，MVPA分类执行之间的双向刺激对所有可能的歧视，上述的50％的机会水平（N = 36听觉研究中，给定的有9种不同的刺激; N = 10体感的研究，给予有不同的刺激5）。在听觉研究，26 36歧视达到统计学意义;在体感的研究，这是8时10歧视（双尾t -检验，N = 8在这两项研究;图3）。

图1。解剖学上定义的初级躯体感觉皮层的面具的范围，如Meyer等人，2011使用。分类器算法能够预测触摸暗示划定的区域限制，以大脑活动模式的视频剪辑。复制与牛津大学出版社的许可。

图2。解剖学上定义的早期听觉皮层面具的程度，如Meyer 等人使用 。2010年。一个分类算法能够预测（沉默）的声音暗示划定的区域限制，以大脑活动模式的视频剪辑。转载自然出版集团的许可。

图3：我们以前的跨模态MVPA研究的结果摘要。分类器是用来预测，暗示无论是声音或在早期听觉或初级躯体感觉皮层的活动触摸，分别的视觉刺激。前面板：在两个螺栓IES，预测性能高于0.5机会水平之间的双向刺激对所有歧视。底部面板：在听觉研究中，分类器的性能达到了26 36的歧视统计学意义;在体感的研究，这是8 10歧视的情况下。再现自然出版集团与牛津大学出版社的许可。

Discussion

我们以前的研究结果表明，跨模态MVPA是一个有用的工具，研究在“心灵的耳朵”，“心灵的亲密接触”经验丰富的心理图像的神经关联。具体来说，结果显示这些图像的内容与在早期听觉和体感皮层的神经活动，分别达马西奥的收敛发散区的框架提供了直接的实证支持。

在许多方面，我们描述了可扩展的基本范式。最明显的是，类似的研究可以进行感官的方式使用不同的组合。在这方面，它是可能的，建立一定的交叉模式协会在实验之前，可能会增加成功的机会。例如，要研究在嗅皮层的跨模态的陈述，人们可以同时使他们的视线和食物种类数目的气味的主要科目。小号hortly后，里面的功能磁共振成像扫描仪，气味的嗅觉记忆会引发视觉线索，并MVPA可以尝试分配的试验，以正确的食物单靠嗅觉皮层活动的项目。

感兴趣的另一个问题是，是否活动的跨模态诱导的模式，在早期的感官皮质承担与诱导模式时，声音或触摸实际上是经历相似，换句话说，没有看到玻璃花瓶打破调用了类似的模式在早期的听觉皮层的神经活动，实际上听证相同的事件吗？再次，这个问题可以解决通过MVPA：是一个已经训练而听到某些声音能够正确歧视记录受试者观看相应的视频剪辑的数据记录的数据的分类？在我们的听觉研究中，我们没有尝试这样的分类，但结果是边际（见图3文献。）。然而，在这项研究中，参与者的听觉协会没有以任何方式控制;换句话说，我们不知道类似的听觉形象如何与影片相关的每个主题被用来训练分类的音频轨道。再次，它可能是有趣的解决同样的问题，以上所述为visuo嗅觉协会已催芽的科目后，具体的跨模态协会。这将允许控制更可靠的视频试验的受试者在心理体验，从而可能增加分类的预测性能。

总括而言，我们引入了一个扩展MVPA古典范式表明可预测不仅在刺激，而且还跨感官的方式。因此，我们表明，MVPA使用不仅限于调查直接相关的外部感官刺激诱导的感性陈述。相反，MVPA也可以评估的，是引发国内的心理图像的神经基板：按照达马西奥的收敛，发散区的框架，我们的研究结果建议说的，是重建的基础上记忆的心理图像意识的经验是与特定内容的神经交涉相关的初感觉皮层。