クロスモーダル多変量パターン解析

Summary

古典的な多変量パターン解析は、対象者が対応する皮質（大脳皮質視覚野における活動からの例：視覚刺激）の神経活動から知覚感覚刺激を予測する。ここで、我々は、パターン分析のクロスモーダル適用され、その音とタッチを暗示視覚刺激がそれぞれ、聴覚と体性感覚皮質の活動から予測することができます。見せる

Abstract

多変量パターン解析（mvpaのは^）1-4機能的磁気共鳴画像（fMRI）データを分析するのがますます一般的な方法です。このメソッドは、通常、脳の特定の領域における神経活動から被験者の知覚経験を識別するために使用されます。例えば、それは主題が初期視覚野⁵または、同様に、早期の聴覚野⁶の活動からスピーチの内容の活動から知覚する視覚的な格子の方向を予測するために採用されている。

ここで、我々は、知覚刺激が内に、しかし感覚系で予測されていないによれば、古典的なmvpaのパラダイムの拡張子を提示する。特に、我々が説明する方法では、それらが記載されているを介して1つ以外のモダリティでのメモリの関連を想起させる刺激はそれらの他のモダリティの感覚皮質のコンテンツ特有の活動パターンを誘発するかどうかの問題に対処します。例えば、地上で粉々のガラスの花瓶のミュートビデオクリップを見れば、自動的にほとんどの観測筋に関連付けられているサウンドの聴覚イメージをトリガーし、早期に特定の神経活動のパターンと相関する"心の耳"でこの画像の経験です。聴覚皮質？被験者は、ハウリングドッグのビデオクリップを見て、代わりに、あった場合についても、観察することができるパターンとは異なるこの活動パターンは？

前の2つの研究^7,8で、我々は予測することができたサウンドとタッチを暗示それぞれ、早期の聴覚と体性感覚野の神経活動に基づいて、ビデオクリップを。我々の結果は、記憶に基づいているmental images社の経験、それによれば、Damasio ^9,10によって提案されたneuroarchitectural枠組みに沿ったもの-対応するビデオを確認した時点で"心の耳"で花瓶の強烈な音を聞くなど、クリップは - コンテンツの再構築でサポートされています固有の初期感覚野の神経活動パターン。

Protocol

1。はじめ

多変量パターン解析（mvpaのは^）1-4機能的磁気共鳴画像（fMRI）データを分析するのがますます一般的な方法です。このメソッドは、通常、脳の特定の領域における神経活動から被験者の知覚経験を識別するために使用されます。例えば、それは主題が初期視覚野⁵または、同様に、早期の聴覚野⁶の活動からスピーチの内容の活動から知覚する視覚的な格子の方向を予測するために採用されている。このビデオの記事では、我々はこの基本的な、イントラモーダルパラダイムに余分なねじれを追加mvpaパッケージの新規な用途を説明します。このアプローチでは、知覚刺激がない中で、しかし感覚系で予測されている。

2。多変量パターン解析

今でmvpaのメソッドはよく神経画像領域内に確立されていますが、我々はpointiによって開始されますmvpaのと、従来、単変量fMRIの解析の主な違いからNG。この目的のために、二つの方法が簡単な視覚的なタスク（中に視覚野の神経活動を調べることに取り掛かる方法を次の例を考慮してビデオクリップ1 ）：

1. 被験者は、例えば、二つの異なる視覚刺激とオレンジとリンゴの画像の画像を提示されます。
2. 両方の刺激は、6つの仮定のボクセルの活性化のレベルによってここに象徴される一次視覚野における神経活動の特定のパターンを、誘発する。 （もちろん、現実にはオレンジやリンゴの画像を単一のプレゼンテーションにより誘発される活動のパターンが非常に騒々しいだろう。。試行回数を大きくした結果の平均値として示したパターンを考慮）
3. 従来のfMRIの分析では、これらのパターンを分析することのできる基本的に二つの方法があります。最初に、人は平均leveに焦点を当てることができます関心の全領域にわたって活動lの。
4. 与えられた例では、平均的な活動レベルの差は2つの刺激に対応するパターンがこのような観点から区別することができるように、重要ではない。
5. 2つのパターンを分析する別の方法は、それらの間の減算のコントラストを確立することです：各ボクセルに対して、"リンゴ"条件の間に活性化レベルが"オレンジ色"の条件時にアクティベーションレベルから差し引かれます。その結果得られた差異が、その後、全脳の造影画像上の各ボクセルに対して可視化することができる。
6. 繰り返しますが、しかし、これらの違いは小さいかもしれませんが、非常に少数のボクセルに必要な統計的基準に達する可能性があります。
7. mvpaパッケージの決定的な利点の出番です：その優れたパワーは、単変量解析の手法とは異なり、それは同時に、すべてのボクセルの活性化レベルを考慮し、従って、それらの中でパターンを検出することができる、という事実に由来する。 mentioneとして、一方、分離して考えた場合、アクティベーションの違いのほんの数dは、統計的に異なることによって確かに、その全体に可能性を考慮するとき、二つのパターン、大きくなることがあります。

従来のfMRIの解析とmvpaの（との間の番目の主要な違いがあるビデオクリップ2 ）。前者の方法は、通常、"前進的"で特定の感覚刺激と特定の脳の活動パターンとの間の統計的依存性を実証しようとすると、言い換えれば、それは型の質問を尋ねます："二つの異なる視覚刺激、例えば、顔の絵ウィルと家の絵は、関心の特定の領域におけるさまざまな活動レベルにつながる、紡錘状顔領域を例えば？"これとは対照的に、mvpaパッケージの成功は、一般的に"逆推論"や"デコード"で表現され、典型的な問題は、タイプは次のとおりです。"特定のレジスタ内の神経活動のパターンに基づいて興味のイオン（一次視覚野など）、しかし一主題は、例えばリンゴ刺激、例えばオレンジ、または刺激Bを、知覚するかどうかを予測することができますか？"（注）、、知覚刺激の間に相関関係はその方向と脳の活動は、ビューの統計的な観点から関係ないマッピングされています：それは2つの刺激が与えられた脳の領域内の個別の活動パターンにつながるとその脳領域における活動パターンは、誘導刺激¹¹の予測を可能にすると言うことは言うことと等価です。それが逆方向に進むため。言い換えれば、mvpaパッケージの感度はないそれは同時に複数のボクセルを考慮するため、単変量解析のものよりずっと優れている、と。

次の手順で、一般的なmvpaのパラダイムがリンゴを見てとオレンジ色を見ても一次視覚野における神経活動の異なるパターンを誘導するかどうかの質問に（対処する方法を示しています_upload/3307/3307_Meyer-Kaplan_Video_3.mov">ビデオクリップ3）：

1. 被験者は、リンゴとオレンジ色刺激の多数を見ながら、fMRIのデータが取得されています。
2. 取得したデータは、トレーニングデータセットとテストデータセットに分割されます。本実施例では異なり、訓練データセットはしばしば分類器の性能は訓練試行回数を増やすことが期待できるとして、テストデータセットよりも大きくなるように選択されている。
3. トレーニングセットからのデータは、パターン分類器に入力されます。いくつかの可能な数学的アルゴリズムのいずれかを使用して、分類器は、お互いから二刺激の種類を区別する神経パターンの特徴を検出しようとします。一般的に（また、私たち自身のこれまでの研究で）使用される分類器のタイプは、サポートベクターマシンなど - と呼ばれ、さらに詳細のために、読者は冒頭で述べたようにレビューするために呼ばれています。
4. 分類器を訓練試験の学習に用いられた後、それを提供します：さテストデータとED。テストデータセットから個々の試験は非標識され、言い換えれば、分類器は、パターンが"りんご"や"オレンジ"裁判から来ているかどうか"知らない"していません。
5. それは訓練データセットで検出することができた、整合に基づいて、分類器は、テストの試験のそれぞれに最も可能性の高いラベルを属性。
6. それぞれのパターンについては、分類器"推測"は正しい刺激のラベルと比較することができる。
7. 分類子は、2つの刺激により誘導されるパターンとの間に一貫性の違いを検出できなかった場合、その性能はチャンスレベルになければ、例に示されている双方向の差別のために、これは50％正しいラベルに相当することになる。大幅にこの値を超える予測性能は、刺激の2つのタイプの間に確かに一貫した差があることを示しています。

それは、トレーニングとテストデータセットを一つanothから独立することが重要であることに注意してくださいER。これが事実である場合のみ、任意の結論は、トレーニングセットから派生するパターンの一般化へと​​描画することができます。 mvpaの研究は多くの場合、相互検証のパラダイム（使用して分類器の性能評価のビデオクリップ4 ）。 mvpaの実験は、8つの機能の​​実行で構成されていることを前提としています。最初のクロスバリデーションのステップでは、分類器は、1〜7を実行し、実行8のデータでテストからのデータで学習される。第二段階では、分類器は、6と同様にラン1〜8を実行するに訓練され、その後実行7でテストされています。このスキーマに続いて、8つのクロスバリデーションの手順は、各実行が1回だけテストランとして機能して、実施されています。全体的な分類器の性能は、個々の相互検証の手順での公演の平均として計算されます。この手順は、各ステップでの独立したトレーニングデータとテストデータセットを保証しながら、それはまた、全体の数を最大分類器の性能の統計的有意性を評価する際に有益であることができるテストの試験、の。

mvpaのを実行するために、インターネット上で自由に利用できるソフトウェアパッケージがありますが、、二つの例は、PyMVPA ^12（Pythonを基本としていますhttp://www.pymvpa.orgとプリンストン神経科学研究所（Matlabのに基づいてによって提供されるツールボックス）、 http:/ / code.google.com / P /プリンストン- mvpaの-ツールボックス/ ）。

3。クロスモーダルmvpaのとコンバージェンス - 発散ゾーンのフレームワーク

はじめに述べたように、今述べたような実験的なパラダイムは、視覚野と聴覚刺激の活動に基づいて、視覚刺激は、聴覚野の活動に基づいて、言い換えると、対応する感覚野の神経活動から知覚刺激を予測するために成功裏に使用されている。ここで、我々この基本的な概念の拡張を提示。具体的には、それは内が、モダリティ間だけでなく、知覚刺激を予測することが可能でなければならないという仮説を立てた。知覚は、複雑にメモリのリコールにリンクされて、例えば、地上で粉々のガラスの花瓶の姿など、強力な聴覚上の影響が、ある視覚刺激は、自動的に私たちの"心の耳"のイメージで起動される共有の類似点聴覚イメージで我々は、ガラスを破壊して以前の対戦で経験した。 ^9,10前Damasio二十年以上で導入されたフレームワークによると、花瓶の姿とそれに対応する音の画像間のメモリの関連付けは、いわゆるコンバージェンス発散ゾーン（; CDZsに格納されてビデオクリップ5 ）。 CDZsは、様々な初期の皮質からボトムアップの予測を収束受信連合野におけるニューロンのアンサンブルです。REAS（いくつかの階層レベルを介して）となるが、今度は、同じ皮質のサイトに戻って分岐トップダウン予測を送る。収束ボトムアップの予測による、CDZsは、複数のモダリティの知覚表現によって活性化することができます - 例えば、両方の視力と粉砕花瓶の音によって、分岐のトップダウンの予測のために、彼らはその後、復興を促進することができます追加のモダリティの初期の皮質にシグナルを戻すことによって関連するイメージの。 Damasioは、後者の点を強調した：連合野でCDZsをアクティブにすると、メモリからの画像の意識リコールのための十分ではない、一度だけCDZsは初期感覚野の明示的な神経の表現を再構築するというイメージが意識的に経験する。このように、フレームワークは、音を意味する（純粋に）視覚刺激に応答して神経処理の特定のシーケンスを予測する（ ビデオクリップを6）：

1. 刺激は最初の初期視覚野における神経活動の特定のパターン（赤い長方形）を誘発する。
2. 収束ボトムアップの予測を経由して、初期の視覚野のニューロンはCDZs（CDZ ₁秒）の最初のレベルに投射。接続性の収束パターンは、初期視覚野の活動の特定のパターンを検出するためにCDZ ₁秒を可能にします。正確なパターンに応じて、CDZは、または活性化されない場合があります。特徴抽出器として動作するため、CDZs。第三は、初期視覚野の対応する部門における特定の活動パターンによってトリガされていないが、この例では、2つのCDZ ₁秒は、（のような赤い色で示される）活性化される。
3. CDZ ₁秒はCDZ ₂秒までボトムアップ収束予測を送るので、CDZ ₁秒早い視覚野の活動の特定のパターンを検出したのと同様に、CDZ ₂は、CDZ ₁間の活動のパターンを検出することができます2秒が活性化CDZ ₁秒の特定の構成によって活性化されることがあります。単純化の理由により、単一CDZ _2がここに描かれている。この例では、CDZ ₁秒間の活動パターンは、このCDZ _2をアクティブにするには十分です。
4. 特に、CDZ ₁秒は前方にのみCDZ ₂秒するプロジェクトではありませんが、また戻って初期の皮質（青矢印）へ。これらのトップダウン信号は、最初に刺激（青い四角形）により誘導される（おそらく騒々しい）の活動のパターンを完了することがあります。青い色は、トップダウンのアクティベーションを表すが、一般的に、赤い色は、ボトムアップアクティベーションを表します。
5. CDZsのいくつかの追加レベル、高次連合野（矢印の破線）で前方にCDZ _{N S}にCDZ ₂秒のプロジェクトを経由して。一つまたは複数のCDZ _{N s}は、問題の特定の視覚刺激（単一のいずれかが描かれている）に応答することができる。
6. 再び、それはCDZ ₂秒ALSことに注意してください後方順番に、さらにもともと初期の視覚野に誘起されたパターンを変更することが、CDZ ₁秒〜O信号。
7. バックすべてのモダリティのCDZ ₂秒にCDZ _{n s}の信号。視覚野では、これは低レベルのCDZsの活動パターンの完成につながる可能性があります。聴覚野では、神経パターンが構築されます-最初のCDZ ₂秒とCDZ ₁秒のレベルで、最終的に初期の聴覚野に-視覚的に提示刺激に関連付けられている聴覚イメージの意識体験が可能になる。トップダウン聴覚モダリティのためのより少ない程度にもかかわらず、体性感覚モダリティにシグナルが存在することに注意してください。これは、ほとんどすべての視覚刺激はそれにいくつかの触覚の関連を持っているという事実を反映している。現在の例では、視覚刺激は、特に音を意味すると見なされるので、しかし、トップダウンの聴覚皮質へのシグナリングは、より広範です。

ove_content">神経処理の提案配列に基づいて、フレームワークが特定の予測を行う：。オブジェクトと強く音を意味するイベントを含む視覚刺激は、早期の聴覚野の神経活動を喚起する必要がありますまた、聴覚の活動パターンは、刺激 - 具体的にする必要があります。言い換えれば、粉砕花瓶のビデオクリップは、ハウリング犬のクリップとは異なるパターンを誘導する必要がありますこの予測が正しいとすれば、我々は実際にmvpaのクロスモーダルに実行することができる必要があります：。例えば、我々はできるはずです予測するに、人が強烈な花瓶やハウリング犬（見ているかどうか、もっぱら初期の聴覚野における神経活動のフィンガープリントに基づくビデオクリップ7 ）。当然、他の感覚モダリティ間の情報伝達を呼び出す類似したパラダイムでも成功する必要があります。ため例えば、被験者に示すように、ビデオクリップのではなく、タッチを暗示場合音は、我々は、彼らが初期の体性感覚野に引き出す活動パターンから、これらのクリップを予測することができるはずです。

4。刺激

mvpaの研究の一般的なパラダイムは、セクション2で説明した。我々のアプローチは、それが感覚系を介してmvpaのを実行しようとするため、特に、それらが記載されているもの以外の感覚モダリティに影響を与えるように設計されている刺激を使用する点で、以前の研究とは異なります。被験者は人間の手^8（によって操作されている日常品の5秒間のビデオクリップ見て、一方の以前の研究では、例えば、我々は、一次体性感覚野からの神経活動を記録したビデオクリップ8およびビデオクリップ9 ）。別の研究では、我々は初期の聴覚皮質WHIでの神経活動を調べたルの被験者はビデオクリップを見たことを示されているオブジェクトと強く音^7（暗黙のイベントのビデオクリップ10とビデオクリップ11 ）。しかし、CDZのフレームワークによると、すべてのモダリティの感覚刺激は潜在的にいる限り彼らは追加のモダリティの意味を持っているとして、この一般的なパラダイムで使用することができる。

5。関心領域

一般的に、神経画像研究のための関心領域は、機能的または解剖学的にどちらかに決定することができます。我々はここで説明する実験パラダイムでは、解剖学的ローカライザは二つの理由のため、より適していると考えています。最初、それはPEの処理として、機能的に与えられる感覚モダリティ（一次視覚野の可能性を除いて）のプライマリまたは早期の皮質を定義する簡単なことではありませんそのモダリティの被験者に提示rceptual刺激は、通常、これらの領域に限定されるものではない。例えば、それは、この手順により誘発される活動は、すべての可能性において、同様に体性感覚連合野に広がると同じように、被験者の手にタッチを適用することにより、一次体性感覚皮質を定義することは困難である。第二に、機能的なローカライザーは、潜在的に分類器の性能に寄与しうるすべてのボクセルにラベルを付けていない可能性があります：それは（すなわち、上に表示されていない地域で古典的な意味での感覚刺激に反応して正味の活性化を示していない分野が示されているコントラストの画像[刺激対残り]）それにもかかわらず^13,14の刺激に関する情報を含めることができます。巨視的なランドマークがこれを可能にするたびにこれらの二つの理由から、我々は、関心の解剖学的に定義された領域の使用を提唱、例えば、中心後回の肉眼解剖学は、一次体性感覚皮質の合理的な近似値を表します。、そして我々の体性感覚の研究^8（図1）に関心領域を定義するために、これを使用する。

6。被験者

mvpaの研究における対象サンプルは、分析が一教科レベルで実行できるように、従来のfMRIの研究に比べて小さくなる傾向があります。もちろん、これはその後、同様にグループレベルでの個々の被験者の結果を分析することから、実験を妨げるものではない。 2つの研究では前述の、例えば、我々はグループレベルでその有意性を評価するために、個々の被験者の結果をt検定を実施した言及。各研究では、8科目を含んだ、これがパラメトリックテストのために非常に小さな対象のサンプルを考慮する必要がありますが、我々は（下記参照）に有意であると評価した差別の多くを発見した。

7。代表的な結果：

前述のとおり、前の2つの研究で我々は、サウンド示唆ビデオクリップを予測することを目的とした（本研究で使用したマスクは、図2を参照）は、初期の聴覚野における神経活動⁷に基づいており、一次体性感覚野⁸のアクティビティに基づいてビデオクリップをタッチ暗示。この試みは成功した：両試験で、刺激のペア（nは9種類の刺激があった特定の聴覚の研究では= 36、の間にすべての可能な双方向の差別に対する50％の確率でレベルを超えて行わmvpaの分類であり、n = 10のそこに与えられた体性感覚研究では、5種類の刺激）であった。聴覚の研究では、36差別のうち26は、統計的有意性に達し、試験体性感覚で、これは10差別のうち8（;図3の両方の研究では両側t検定、N = 8）のためのケースだった。

図1一次体性感覚皮質の解剖学的に定義されたマスクの範囲、としてMeyer ら 、2011年に使用される。分類器アルゴリズムでは、分画された区域に限定脳活動パターンからタッチ示唆ビデオクリップを予測することができた。オックスフォード大学出版局から許可を得て複製。

としてMeyer らで使用されている初期の聴覚皮質の解剖学的に定義されたマスクの図2。範囲、。、2010。分類器のアルゴリズムは、分画された区域に限定脳活動パターンから（サイレント）の音 - 意味ビデオクリップを予測することができた。ネイチャーパブリッシンググループから許可を得て複製。

図3。私達の前のクロスモーダルmvpaの研究の結果のまとめ。分類器は、それぞれ、初期聴覚または一次体性感覚野における活動からの音やタッチのどちらかを暗示視覚刺激を予測するために使用されていました。トップパネル：両方のスタッドにIES、予測性能は、刺激のペア間のすべての双方向の差別のための0.5のチャンスレベルを上回っていた。底部パネル：聴覚の研究では、分類器の性能が36差別の26の統計的有意性に達し、体性感覚研究では、これは10差別の8ケースだった。ネイチャーパブリッシンググループとオックスフォード大学出版局から許可を得て複製。

Discussion

私たちのこれまでの研究の知見は、クロスモーダルmvpaのは"心の耳"と"心のタッチ"で経験した精神的なイメージの神経相関を研究する有用なツールであることを示している。具体的には、結果はこのような画像の内容が収束 - 発散ゾーンのDamasioのフレームワークのための直接的な実証的サポートを提供し、それぞれ、早期の聴覚と体性感覚野の神経活動と相関していることを示している。

我々が説明する基本的なパラダイムは、いくつかの方法で拡張することができます。最も明らかに、同様の研究は、感覚様相の異なる組合せを用いて行うことができる。この点で、それは実験の前に特定のクロスモーダルのアソシエーションを確立することが成功の可能性を高めることが可能です。例えば、嗅覚皮質におけるクロスモーダル表現を研究するために、人は視覚や食品のアイテム数の香りに、それらを同時に公開することにより、被験者をプライミングことができます。 Shortly後、機能的MRIスキャナの内部に、においの嗅覚の記憶は視覚的な手がかりによって引き起こされる、とmvpaのは、単に嗅覚皮質の活動に基づいて、適切な食品への臨床試験を割り当てようとするとに使用することができる。

興味の別の質問では、初期の感覚野の活動のクロスモーダル誘導パターンは、音やタッチが実際に経験されたときに誘発されるパターンとの類似性を負担するかどうかということです。言い換えれば、ガラスの花瓶は粉々の類似したパターンを呼び出す見ていない実際に同じイベントを聞くには早く聴覚野における神経活動？この問題は、再び、mvpaのことで対処することができます：被験者は正常被験者は、対応するビデオクリップを見ながら、記録されたデータを区別することができる特定の音を聞いている間記録されたデータの学習に用いられた分類器です？私たちの聴覚の研究では、我々はそのような分類を試みていたが、結果は（図3参照文献7において限界だった）。その研究では、しかし、参加者の聴覚関連付けはどのような方法で制御されていませんでした。言い換えれば、我々はビデオに関連付けられている各被験者が分類器を訓練するために使用するオーディオトラックにあった方法同様​​の聴覚の画像わからない。再び、それはvisuo -嗅覚アソシエーションのために上記のような特定のクロスモーダルアソシエーションは、被験者にプライミングされた後に同じ問題に対処するためにみるのも面白いかもしれません。これは、ビデオの試験中に、より確実に対象者の精神的な経験を制御するため、分類器の予測性能を向上させるかもしれないことができてしまう。

結論として、我々はその刺激を示すことによって、古典的なmvpaのパラダイムへの拡張を導入している内に、だけでなく、感覚モダリティを越えだけでなく、予測することができます。従って、我々はmvpaパッケージの使用は外部感覚刺激によって直接誘導される知覚表現の相関を調査するために限定されないことを示している。むしろ、mvpaのも可能内部的にトリガされるmental images社の神経基盤を評価する：Damasioの収束 - 発散ゾーンの枠組みに従い、我々の調査結果は、記憶に基づいて再構成されているmental images社の意識体験が早い感覚でコンテンツごとに特定の神経表現と相関していることを示唆している皮質。