跨模态的多元格局分析

以下实验的目标是使用功能 MRI 数据的多变量模式分析来研究人脑中的多模态处理。这是通过首先创建一种特定类型的感官刺激来实现的，这些刺激通过单一的感觉模式呈现给受试者。例如，视觉，但暗示了不同模式的强烈关联。

例如，当受试者感知到与关联模式相关的大脑部分中的此类刺激神经活动时，听觉。此示例中的听觉皮层是使用 FMRI 记录的。使用多变量模式分析对记录的活动进行分析，目的是预测受试者在原始模态中感知到的几种刺激中的哪一种。

结果表明，包含与多种模态相关的信息的单模态刺激可以在模态的早期感觉皮层中诱导内容特定的神经活动，而不是它们所通过的模态。我们今天介绍的技术，我们称之为跨模态多变量模式分析，代表了传统多变量模式分析的自然延伸，不同之处在于感觉 STEMI 是跨感觉模式而不是在感觉模式内分类的。我们第一次想到这种方法是在试图为 Demio 在二十多年前引入的神经架构框架提供实证证据时。

在本视频中，我们不仅会向您介绍多元模式分析或简称 MVPA 的技术方面，还会向您介绍这个理论框架。我们将首先指出 MVPA 和传统单变量 FMRI 分析之间的一些关键差异。请考虑以下几点。

例如，如果一个被试者面临两种不同的视觉刺激，如苹果和橙子，那么经过多次试验的两种刺激平均都会诱导一种特定的神经活动模式。在初级视觉皮层中，这里由六个假设体素的激活水平表示。在传统的 FMRI 分析中，基本上有两种方法可以分析这些模式。

首先是比较刺激在整个感兴趣区域诱导的平均活动水平。然而，平均值之间的差异可能并不显著。第二种方法是为每个体素建立减法对比度。

从橙色条件下的激活水平中减去苹果条件下的激活水平，每个体素的结果差异可以在全脑对比度图像上可视化。但是，这些差异可能很小，并且可能仅达到少数体素所需的统计标准。然而，与单变量分析方法不同的是，MVPA 能够通过同时考虑所有体素的激活水平来检测体素内的模式。

虽然孤立地考虑只有少数激活差异可能显着，但当整体考虑这两种模式时，它们可能确实在统计上有所不同。传统 FMRI 分析和 MVPA 之间的另一个主要区别是后一种方法使用所谓的反向推理。在传统的 FMRI 分析中，研究人员通常会问一个问题，该类型将两种不同的视觉刺激。

例如，人脸图片和房屋图片会导致特定感兴趣区域（如梭形人脸区域）中的不同活动水平。相比之下，MVPA 通常以反向推理或解码的方式表示，并根据特定大脑区域的神经活动模式询问我们是否能够预测受试者感知到两种视觉刺激中的哪一种。然而，重要的是要注意，从统计学的角度来看，这相当于说两个刺激导致给定大脑区域的不同活动模式，并说该大脑区域的活动模式允许预测诱导刺激。

换句话说，MVPA 的灵敏度优于单变量分析，因为它同时考虑多个体素，而不是因为它以相反的方向进行。回到前面的例子，让我们考虑一个典型的 MVPA 范式，它评估看到苹果是否会在初级视觉皮层中引起与看到橙子不同的神经活动模式。第一步，当受试者看到大量要区分的刺激时，记录 FMRI 数据。

然后将获取的数据分为训练数据集和测试数据集。来自训练集的数据被输入到模式分类器中，该分类器尝试检测神经模式中区分两种试验类型的特征。接下来，向分类器展示来自测试集的未标记数据，并根据它在训练数据集中检测到的模式，将最可能的标签归因于每个刺激的每个测试试验。

然后将分类器猜测与正确的刺激标签进行比较，并将分类器性能计算为正确猜测的百分比。正如我们所看到的，示例中的分类器在 12 种情况下有 9 种减少了正确的刺激标签，即 75% 的机会表现。在这样的双向辨别中，辨别力将是 50%这表明橙子和苹果刺激在 V 1 中诱导的神经模式之间确实存在一致的差异。

当然，这个结果的重要性必须通过统计来证明。在这样的分类实验中要记住的一个重要问题是，训练和测试数据集彼此完全独立，因为只有在这种情况下，才能得出关于训练期间学到的模式的泛化性的任何结论。因此，MVPA 范例通常使用所谓的交叉验证范例。

虽然此过程用于最大程度地增加可从给定数据集获得的训练和测试试验的数量，但它也可以确保训练集和测试集在各个分类步骤中不会重叠。请考虑以下具有 8 个函数运行的 MVPA 实验。在第一个交叉验证步骤中，分类器根据运行 1 到 7 的数据进行训练，并针对运行 8 的数据进行测试。

在第二步中，分类器随后在第 1 次到第 6 次运行以及第 8 次运行中进行训练，随后在第 7 次运行中进行测试。按照此架构，将执行 8 个交叉验证步骤，每次运行都恰好作为测试运行。获得每个交叉验证步骤的分类器性能后，对这些结果进行平均即可产生整体性能。

互联网上有免费提供的软件包来执行 MVPA，例如 pi MVPA 和普林斯顿神经科学研究所提供的工具箱。实验范式，如刚才描述的范式，已经成功地用于预测来自大脑皮层相应部分神经活动的感知刺激，例如，根据视觉皮层或听觉刺激中的活动来预测视觉刺激。基于听觉皮层的活动，我们现在想介绍这个基本概念的扩展，其中感知刺激不仅在模态内而且跨模态被预测。

我们的想法借鉴了这样一个事实，即感知与记忆的回忆有着错综复杂的联系。例如，具有强烈听觉含义的视觉刺激，例如玻璃底座在地面上碎裂的部位。它会自动在我们的脑海中触发一个听觉图像，该图像与我们之前遇到碎玻璃时所经历的听觉图像有相似之处。

根据 Theo 在 1980 年代后期引入的一个框架，破碎基地的地点和相应的声音之间的记忆关联存储在所谓的收敛发散区或简称 CD 中。发散区被概念化为位于感觉系统的各个层次结构层次的神经元集合。正如他们的名字所暗示的那样。

每个级别的 CD 接收来自低阶皮层和转弯的收敛自下而上的投影。由于收敛的自下而上的预测，他们将发散的自上而下的预测发回给那些相同的低阶皮层。CD 可以通过多种模式的感知表征来激活，例如，由于不同的自上而下的投影，站点和破碎的底座的声音都可以激活。

然后，它们可以通过向其他模式的早期感觉皮层发送信号来促进相关图像的重建。根据这个框架，将激活序列视为纯粹的视觉，但声音暗示刺激将诱导。刺激首先通过会聚的自下而上的投射在早期视觉皮层中诱导特定的神经活动模式。

早期的视觉皮层激活 CD 的第一级，即 CDZ 的 CD。根据相应早期皮层区域的确切活动模式，CDZ 可能会被激活或保持不活动。CDZ 1 向上投影到 cdz 2，就像检测到 cdz 一样。

早期视觉皮层中的活动模式，cdz 2s 检测 cdz 1 中的活动模式，几个 cdz 2 可能会被激活，但为简单起见，这里只通过自上而下的投影描绘了一个。Cdz 可能同时通过几个额外的 c DZs CDZ 2 水平完成早期视觉皮层的活动模式。2 投影转发到 CDZ 以多模态关联结束。皮层。

同样，多个 CDZ 末端可能会被激活，但出于简单起见，只描绘了一个。同样，CD Z 2 也向后向 CDZ 发出信号，这反过来可能会进一步改变最初在早期视觉皮层中诱导的模式。CDZ 结束信号返回所有模态的 CZ 2。

在听觉皮层中，将构建一个神经模式，它允许受试者在大脑的耳朵中体验与视觉呈现的刺激相关的听觉图像。所描绘的对体感模式的自上而下的信号反映了这样一个事实，即几乎所有视觉刺激也都暗示了一些触觉关联。因此，该框架预测暗示视觉刺激的声音将导致特定于内容的神经活动模式。

在早期听觉皮层。因此，使用 MVPA 分析这种神经模式，应该可以预测受试者看到了几种暗示视觉刺激的声音中的哪一种。在第一个实验中，从早期听觉皮层记录神经活动，同时受试者观看暗示声音的物体和事件的九个不同视频剪辑。

该实验的感兴趣区域是 Semal 平面上的限制区域，包括初级听觉皮层和非常早期的听觉关联皮层。在第二个实验中，当受试者观看五个暗示触摸的不同视频剪辑时，从初级体感皮层记录神经活动。在这个实验中，感兴趣的区域包括位于中央后回的初级体感皮层。

这两项研究都涉及听觉研究中的 8 名受试者。MVPA 分类器对刺激对之间所有可能的双向区分的几率水平高于 50%。在 36 个鉴别中，有 26 个分类器的性能与 0.5 的概率水平显著不同。

同样，在体感研究中，分类器在所有双向判别中都表现得高于偶然性，10 次辨别中有 8 次达到统计显著性。如您所见，使用跨模态多变量模式分析，我们已经能够证明，根据前面介绍的理论框架，对暗示声音或触觉的视觉刺激的感知会导致早期听觉和体感皮层中出现内容特定的神经表征。显然，我们提出的实验范式不必局限于我们自己的实验中涉及的模式，而且也可以扩展到其他感官模式。

因此，我们希望其他小组能加入我们，扩展这种研究，以试图拓宽我们关于如何从环境中引入过程多模式刺激的知识。