クロスモーダル多変量パターン解析

次の実験の目標は、機能的MRIデータの多変量パターン解析を使用して、人間の脳におけるマルチモーダル処理を調査することです。これは、最初に特定の種類の感覚刺激を作成し、単一の感覚モダリティを通じて被験者に提示することによって達成されます。たとえば、視覚的なものですが、異なるモダリティでの強い関連性を意味します。

例えば、聴覚は、被験者がそのような刺激を知覚する一方で、関連性の様相に関連する脳の部分で神経活動を知覚します。この例の聴覚皮質は、FMRIを使用して記録されています。記録された活動は、被験者が元のモダリティで知覚したいくつかの刺激のどれを予測することを目的として、多変量パターン分析を使用して分析されます。

結果は、複数のモダリティに関連する情報を含む単峰性刺激が、それらが提示されるモダリティ以外のモダリティの初期の感覚皮質にコンテンツ特異的な神経活動を誘発できることを示しています。今日紹介する手法は、クロスモーダル多変量パターン解析と呼ばれ、従来の多変量パターン解析の自然な拡張を表していますが、感覚STEMIは官能モダリティ内ではなく、全体で分類されるという違いがあります。この手法のアイデアを思いついたのは、20年以上前にデミオが導入したニューロアーキテクチャフレームワークの経験的証拠を作ろうと

このビデオでは、多変量パターン解析(略してMVPA)の技術的な側面だけでなく、この理論的フレームワークについても紹介します。まず、MVPAと従来の単変量FMRI解析との主な違いをいくつか指摘します。次のことを考えてみます。

例えば、被験者にリンゴとオレンジのような2つの異なる視覚刺激が提示された場合、両方の刺激を数回の試行で平均すると、神経活動の特定のパターンが誘発されます。ここでは、6つの仮想的なボクセルの活性化レベルによって象徴される一次視覚野。従来のFMRI解析では、これらのパターンを解析する方法は基本的に2つあります。

1つ目は、刺激が関心領域全体で誘発した活動の平均レベルを比較することです。ただし、平均間の差は大きくない場合があります。2 つ目の方法は、各ボクセルの減算コントラストを確立する方法です。

リンゴ状態の活性化レベルをオレンジ状態の活性化レベルから差し引いて、その結果として各ボクセルの差を全脳造影画像上で可視化することができます。ただし、繰り返しになりますが、これらの差は小さく、必要な統計基準に達するのは少数のボクセルのみである可能性があります。ただし、単変量解析手法とは異なり、MVPA はすべてのボクセルの活性化レベルを同時に考慮することで、ボクセル内のパターンを検出できます。

活性化の違いのうち、単独で有意なのはごく一部ですが、2つのパターン全体を考慮すると、実際には統計的に異なる可能性があります。従来のFMRI解析とMVPAのもう一つの大きな違いは、後者の方法では逆推論と呼ばれるものを使用することです。従来のFMRI分析では、研究者は通常、2つの異なる視覚刺激のタイプに質問します。

たとえば、顔の写真と家の写真は、紡錘状の顔の領域など、特定の関心領域で異なる活動レベルにつながります。対照的に、MVPAは通常、逆推論または逆解読の観点から表され、特定の脳領域の神経活動のパターンに基づいて、被験者が知覚した2つの視覚刺激のどちらを予測できるかを尋ねます。ただし、統計的な観点からは、2つの刺激が特定の脳領域で異なる活動パターンにつながると言うことと、その脳領域の活動パターンが誘導刺激の予測を可能にすると言うことと同等であることに注意することが重要です。

言い換えれば、MVPA の感度が単変量解析の感度よりも優れているのは、複数のボクセルを同時に考慮するためであり、逆方向に進行するためではありません。前の例に戻るために、リンゴを見ることが一次視覚野の神経活動のパターンが異なるかどうかを評価する典型的なMVPAパラダイムを考えてみましょう。最初のステップでは、被験者が識別される多数の刺激を見ている間に、FMRIデータが記録されます。

取得したデータは、トレーニングデータセットとテストデータセットに分割されます。トレーニングセットのデータはパターン分類器に入力され、2つのタイプの試行を互いに区別するニューラルパターンの特徴を検出しようとします。次に、分類器には、テストセットからのラベル付けされていないデータが提示され、トレーニングデータセットで検出されたパターンに基づいて、各刺激の各テスト試行に最も可能性の高いラベルが帰属します。

次に、分類器の推定値が正しい刺激ラベルと比較され、分類器のパフォーマンスが正しい推定値の割合として計算されます。例の分類器が12ケース中9ケースで正しい刺激ラベルを減らし、75%をチャンスパフォーマンスとして削減しました。このような二元配置では、弁別は50%になりますこれは、オレンジとリンゴの刺激によってV1に誘発される神経パターンの間には、実際に一貫した違いがあることを示唆しています。

もちろん、この結果の有意性は統計的に証明されなければなりません。このような分類実験で留意すべき重要な問題の 1 つは、トレーニング セッション中に学習したパターンの一般化可能性について結論を導き出すことができる場合にのみ、トレーニング データ セットとテスト データ セットが互いに完全に独立していることです。このため、MVPA パラダイムでは、いわゆるクロス検証パラダイムがよく使用されます。

この手順は、特定のデータ セットから取得できるトレーニングとテストの試行回数を最大化するのに役立ちますが、同時に、個々の分類ステップでトレーニング セットとテスト セットが重複しないようにします。次の MVPA 実験で 8 つの機能的な実行について考えてみます。最初の交差検証ステップでは、分類器はラン 1 から 7 までのデータでトレーニングされ、ラン 8 のデータでテストされます。

2 番目のステップでは、分類子はラン 1 から 6 とラン 8 でトレーニングされ、続いてラン 7 でテストされます。このスキーマに従って、8 つのクロス検証ステップが実行され、各実行が正確にテスト実行として機能します。各交差検証ステップで分類器のパフォーマンスが得られ、これらの結果を平均すると、全体的なパフォーマンスが得られます。

インターネット上には、pi MVPAやプリンストン神経科学研究所が提供するツールボックスなど、MVPAを実行するための無料で利用できるソフトウェアパッケージがあります。今述べたような実験パラダイムは、大脳皮質の対応する部分の神経活動からの知覚刺激を予測するために成功裏に使用されてきました。したがって、たとえば、視覚野の活動や聴覚刺激に基づいて視覚刺激を予測することができます。聴覚皮質の活動に基づいて、知覚刺激がモダリティ内だけでなくモダリティ間で予測されるというこの基本的な考え方の拡張版を紹介したいと思います。

私たちの考えは、知覚が記憶の想起と複雑に結びついているという事実に基づいています。たとえば、ガラスの土台が地面で粉々になる場所など、聴覚的な意味合いが強い視覚刺激。それは、私たちの心の耳の中で、以前にガラスを割るという遭遇で経験した聴覚イメージと類似点を共有する聴覚イメージを自動的に引き起こします。

1980年代後半にテオが導入したフレームワークによると、粉砕ベースの部位と対応する音との間の記憶の関連付けは、いわゆる収束発散ゾーンまたは短い収束のためのCDに保存されます。発散ゾーンは、感覚システムのさまざまな階層レベルに位置するニューロンのアンサンブルとして概念化されます。彼らの名前が示すように。

各レベルのCDは、下位の皮質から収束的なボトムアップの投影を受け取り、回転します。彼らは、収束ボトムアップ投影のために、発散したトップダウン投影を同じ低次の皮質に送り返しました。CDは、例えば、サイトと発散するトップダウン投影による砕け散るベースの音の両方によって、複数のモダリティでの知覚表現によって活性化することができます。

その後、彼らは、追加のモダリティの初期の感覚皮質にシグナルを戻すことにより、関連する画像の再構成を促進することができます。活性化のシーケンスは純粋に視覚的なものと考えてください、しかし、刺激を暗示する音はこのフレームワークに従って誘発されます。刺激は、最初に収束ボトムアップ投影を介して、初期の視覚野に特定の神経活動パターンを誘導します。

初期の視覚皮質は、CDの最初のレベルであるCDZのものを活性化します。対応する初期の皮質セクターの活動の正確なパターンに応じて、A CDZが活性化することもあれば、非アクティブのままになることがあります。CDZの1は、CDZの1が検出されるのと同じように、CDZの2に上向きに投影されます。

初期の視覚野の活動パターン、cdz 2はcdz 2の活動パターンを検出し、いくつかのcdz twoが活性化される可能性がありますが、ここでは簡単にするために、トップダウンプロジェクションを介して1つだけが描かれています。Cdzのものは、同時に、c DZs CDZ twoのいくつかの追加のレベルを介して、初期の視覚皮質の活動パターンを完了することができます。CDZへの2つのプロジェクトは、マルチモーダルアソシエーションで終了します。皮質。

ここでも、複数のCDZエンドがアクティブになる場合がありますが、単純化の理由から1つだけが描かれています。また、CD Zの2はCDZの2に対して逆方向に信号を送るため、初期の視覚野で最初に誘発されたパターンがさらに変化する可能性がある。CDZは、すべてのモダリティのCZ 2に信号を戻します。

聴覚皮質では、神経パターンが構築され、被験者は視覚的に提示された刺激に関連する聴覚イメージを心の耳で体験することができます。体性感覚モダリティへのトップダウンのシグナル伝達は、ほとんどすべての視覚刺激が何らかの触覚的関連性も含んでいるという事実を反映しています。したがって、このフレームワークは、視覚刺激を暗示する音が神経活動の内容特異的なパターンにつながると予測します。

初期の聴覚皮質で。したがって、MVPAを使用してこの神経パターンを分析すると、被験者が視覚刺激を暗示するいくつかの音のうちどれを見たかを予測できるはずです。最初の実験では、神経活動は初期の聴覚皮質から記録され、被験者は音を暗示する物体やイベントの9つの異なるビデオクリップを視聴しました。

この実験で関心のある領域は、一次聴覚皮質と非常に初期の聴覚連合皮質で構成されるセマル面上の制限領域でした。2つ目の実験では、被験者が触覚を暗示する5つの異なるビデオクリップを見ている間に、一次体性感覚皮質から神経活動が記録されました。この実験では、関心領域は、中心後回に位置する一次体性感覚皮質を構成していました。

どちらの研究も、聴覚研究に8人の被験者が参加しました。MVPA 分類器は、刺激のペア間で可能なすべての双方向識別について、チャンス レベルの 50% を超えて実行されました。36の識別のうち26の識別器で、分類器のパフォーマンスは確率水準の0.5と有意に異なっていました。

同様に、体性感覚研究では、分類器はすべての二元療法の識別で偶然以上のパフォーマンスを発揮し、10の識別のうち8つは統計的有意性に達しました。ご覧のとおり、クロスモーダル多変量パターン解析を使用して、音や触覚を暗示する視覚刺激の知覚が、先に紹介した理論的枠組みに従って、初期の聴覚皮質と体性感覚皮質のコンテンツ特異的な神経表現につながることを実証することができました。明らかに、私たちが提示した実験パラダイムは、私たち自身の実験に含まれるモダリティに限定される必要はなく、他の感覚モダリティにも拡張できます。

したがって、私たちは、他のグループがこの種の研究を拡大するために私たちに参加し、環境からプロセスをマルチモーダル刺激に持ち込む方法についての知識を広げる試みに加わることを願っています。