Cross-Modal Multivariate Pattern Analysis

Summary

Klassische multivariate Muster-Analyse prognostiziert Sinnesreize ein Thema nimmt von neuronaler Aktivität in den entsprechenden Kortex (zB visuelle Reize aus der Tätigkeit in visuellen Kortex). Hier wenden wir Musteranalyse cross-modal und zeigen, dass Sound-und Touch-was bedeutet, optische Reize aus der Tätigkeit in auditorischen und somatosensorischen Kortex vorhergesagt werden kann, bzw..

Abstract

Multivariate Analyse-Muster (MVPA) ist eine zunehmend beliebte Methode zur Analyse der funktionellen Magnetresonanztomographie (fMRI) Daten ^1-4. Typischerweise wird die Methode verwendet, um ein Thema, das Wahrnehmungs-Erfahrungen aus neuronaler Aktivität in bestimmten Regionen des Gehirns zu identifizieren. Zum Beispiel wurde eingesetzt, um die Ausrichtung der optischen Gitter ein Thema nimmt aus der Tätigkeit in frühen visuellen Kortex ⁵ oder analog, der Inhalt der Rede von der Aktivität in frühen auditorischen Kortex ⁶ vorherzusagen.

Hier präsentieren wir eine Erweiterung des klassischen MVPA Paradigma, wonach Wahrnehmungsreize nicht innerhalb, sondern über sensorische Systeme vorhergesagt. Insbesondere befasst sich mit der Methode beschreiben wir die Frage, ob Reize, die Erinnerung Verbände in Modalitäten andere als die, durch die sie präsentiert werden evozieren induzieren content-spezifische Aktivitätsmuster in den sensorischen Kortex jener anderen Modalitäten.So sehen einem gedämpften Videoclip von einer Glasvase erschütternd auf dem Boden löst automatisch in die meisten Beobachter eine auditive Bild der zugehörigen Sound; die Erfahrung dieses Bild in der "geistigen Ohr" ist korreliert mit einem bestimmten neuronalen Aktivitätsmuster in der frühen auditorischen Kortex? Darüber hinaus ist dieses Aktivitätsmuster unterscheidet sich von dem Muster, dass beobachtet werden konnte, wenn das Thema waren, sondern gerade ein Video-Clip von einem heulenden Hund?

In zwei früheren Studien ^7,8, konnten wir vorhersagen, Ton-und Touch-was bedeutet, Video-Clips auf neuronale Aktivität in frühen auditorischen und somatosensorischen Kortex auf, jeweils. Unsere Ergebnisse stehen im Einklang mit einer neuroarchitectural Rahmen von Damasio ^9,10 vorgeschlagen, nach der die Erfahrung von mental images, die auf Erinnerungen beruhen - wie das Hören des Klirren einer Vase in der "geistigen Ohr" beim Anblick des entsprechenden Video clip - wird durch die Re-Konstruktion von Inhalten unterstützt-Spezifische neuronale Aktivitätsmuster in der frühen sensorischen Kortex.

Protocol

1. Einführung

Multivariate Analyse-Muster (MVPA) ist eine zunehmend beliebte Methode zur Analyse der funktionellen Magnetresonanztomographie (fMRI) Daten ^1-4. Typischerweise wird die Methode verwendet, um ein Thema, das Wahrnehmungs-Erfahrungen aus neuronaler Aktivität in bestimmten Regionen des Gehirns zu identifizieren. Zum Beispiel wurde eingesetzt, um die Ausrichtung der optischen Gitter ein Thema nimmt aus der Tätigkeit in frühen visuellen Kortex ⁵ oder analog, der Inhalt der Rede von der Aktivität in frühen auditorischen Kortex ⁶ vorherzusagen. In diesem Video-Beitrag beschreiben wir eine neuartige Anwendung von MVPA die einen Extra-Kick verleiht dieser grundlegenden, intra-modale Paradigma. In diesem Ansatz werden Wahrnehmungsreize nicht innerhalb, sondern über sensorische Systeme vorhergesagt.

2. Multivariate Pattern Analysis

Obwohl die MVPA Methode ist jetzt auch in der Neuroimaging-Bereich etabliert, werden wir durch pointi startenng die wichtigsten Unterschiede zwischen MVPA und konventionell, univariate fMRI Analyse. Zu diesem Zweck sollten Sie die folgenden Beispiel dafür, wie die beiden Methoden gehen über die Prüfung neuronale Aktivität im visuellen Kortex während einer einfachen visuellen Aufgabe ( Video Clip 1 ):

1. Ein Thema wird mit zwei verschiedenen visuellen Reizen, zum Beispiel ein Bild einer Orange und ein Bild eines Apfels präsentiert.
2. Beide Stimuli induzieren ein bestimmtes Muster neuronaler Aktivität im primären visuellen Kortex, die hier durch die Aktivierung Ebenen von sechs hypothetische Voxel symbolisiert. (Natürlich Aktivitätsmuster von einer einzigen Präsentation der Orange oder Apfel-Bilder in der Realität induzierte wäre sehr laut; betrachten die dargestellten Muster als Mittelwerte aus einer großen Anzahl von Studien.)
3. In herkömmlichen fMRI Analyse gibt es im Wesentlichen zwei Möglichkeiten, diese Muster analysiert werden können. Erstens kann man auf den durchschnittlichen leve Fokusl der Tätigkeit in der gesamten Region von Interesse.
4. In dem gegebenen Beispiel ist der Unterschied in der durchschnittlichen Aktivität nicht signifikant, so dass die Muster für die beiden Reize nicht aus dieser Sicht zu unterscheiden.
5. Eine weitere Möglichkeit, die beiden Muster zu analysieren ist, um eine Subtraktion Gegensatz zwischen ihnen herzustellen: für jedes Voxel, die Aktivierung Niveau während der "Apfel"-Zustand ist von der Aktivierung Niveau während der "orange" Zustand subtrahiert. Die daraus resultierende Differenz kann dann visualisiert werden für jedes Voxel auf einer ganzen Gehirn kontrastreiches Bild.
6. Auch hier kann jedoch diese Unterschiede werden kleiner und können die erforderlichen statistischen Kriterium nur für sehr wenige Voxel zu erreichen.
7. Hier wird der entscheidende Vorteil der MVPA ins Spiel kommt: seine überlegene Kraft aus der Tatsache, dass, im Gegensatz zu univariaten Analyse-Methoden, hält es die Aktivierung Ebenen aller Voxel gleichzeitig und ist somit in der Lage, Muster in ihnen zu erkennen. Während, wie mentioned, nur wenige der Aktivierung Unterschiede können erheblich sein, wenn sie isoliert betrachtet, können die beiden Muster, wenn sie in ihrer Gesamtheit betrachtet, ja durch statistisch unterschiedlich.

Es gibt einen zweiten wichtigen Unterschied zwischen herkömmlichen fMRI Analyse und MVPA ( Video Clip 2 ). Die erste Methode in der Regel versucht, eine statistische Abhängigkeit zwischen bestimmten sensorischen Reizen und bestimmten Gehirnaktivitäten Muster in einem "forward Weise" zu demonstrieren, mit anderen Worten, fragt er Frage nach der Art: "Will zwei verschiedene visuelle Reize, z. B. das Bild eines Gesichts und das Bild eines Hauses, auf unterschiedliche Aktivität in einer bestimmten Region von Interesse führen, wie zB die spindelförmigen Gesichtsbereich? " Im Gegensatz dazu ist der Erfolg der MVPA typischerweise in Form von "reverse Inferenz" oder "Decodierung" zum Ausdruck gebracht, die typische Frage ist von der Art: "Basierend auf dem Muster der neuronalen Aktivität in einem bestimmten reg ion von Interesse (zB der primären Sehrinde), kann man vorhersagen, ob ein Thema Stimulus wahrnimmt A, z. B. eine Orange oder Stimulus B, z. B. einen Apfel? "Beachten Sie jedoch, dass die Richtung, in die die Korrelation zwischen den Wahrnehmungsreize und Aktivität des Gehirns abgebildet wird nicht aus statistischer Sicht egal: es ist äquivalent zu sagen, dass zwei Stimuli zu unterscheiden Aktivitätsmuster führen in einer bestimmten Region des Gehirns und zu sagen, dass das Aktivitätsmuster in dieser Hirnregion Vorhersage des auslösenden Stimulus ¹¹ erlaubt . Mit anderen Worten, ist die Empfindlichkeit der MVPA überlegen, dass der univariaten Analysen, weil es mehrere Voxel gleichzeitig, und nicht der Auffassung, weil es in umgekehrter Richtung verläuft.

Die folgenden Schritte veranschaulichen, wie eine typische MVPA Paradigma wäre die Frage, ob ein Apfel zu sehen induziert ein anderes Muster neuronaler Aktivität im primären visuellen Kortex als zu sehen, ein orange-Adresse (_upload/3307/3307_Meyer-Kaplan_Video_3.mov "> Video Clip 3):

1. fMRI-Daten erfasst werden, während ein Subjekt sieht große Anzahl von Apfel und Orange Reize.
2. Die erfassten Daten werden in eine Ausbildung Datensatz und ein Testdataset unterteilt. Anders als in dem vorliegenden Beispiel ist die Ausbildung Datensatz oft größer gewählt werden als die Testdataset, da die Leistungsfähigkeit des Klassifikators zu erwarten, dass mit der Zahl der Ausbildungsplätze Studien zu erhöhen.
3. Die Daten aus den Trainings-Set sind in einem Muster Klassifikator eingegeben. Mit einem von mehreren möglichen mathematischen Algorithmen, versucht der Klassifikator Funktionen im neuronalen Mustern, die die beiden Reiz-Typen voneinander zu unterscheiden zu erkennen. Eine Art von Classifier häufigsten verwendeten (auch in unserem eigenen früheren Studien) sind so genannte Support Vector Machines, für weitere Details, wird der Leser auf die Bewertungen in der Einleitung erwähnt bezeichnet.
4. Nach dem Klassifikator hat auf die Ausbildung Studien ausgebildet worden, ist es provided mit den Testdaten. Die einzelnen Studien aus dem Testdataset sind unbeschriftete, mit anderen Worten, der Klassifikator nicht "wissen", ob ein Muster von einem "Apfel" oder "orange" trial kommt.
5. Basierend auf den Konsistenzen es war in der Lage, in der Ausbildung Datensatz zu detektieren, Attribute der Klassifikator die wahrscheinlichste Etikett zu jedem der Tests Studien.
6. Für jedes Muster kann der Klassifikator "erraten" mit den richtigen Reiz Label verglichen werden.
7. Wenn der Klassifikator konnte keine durchgängigen Unterschiede zwischen den Mustern der beiden Stimuli induziert zu erkennen, sollte seine Leistung bei Gelegenheit Ebene, für die Zwei-Wege-Diskriminierung in dem gegebenen Beispiel würde dies zu 50% richtigen Etiketten entsprechen. Eine Vorhersage Performance deutlich über diesem Wert gibt an, dass es tatsächlich konsistenten Unterschiede zwischen den beiden Arten von Stimuli.

Beachten Sie, dass es entscheidend ist, dass die Ausbildung und Prüfung Datensätze unabhängig sein von einem Another. Nur wenn dies der Fall ist, kann keine Rückschlüsse auf die Verallgemeinerbarkeit der Muster aus der Trainingsmenge abgeleitet gezogen werden. MVPA Studien oft zu bewerten Klassifikator Leistung durch einen cross-validation-Paradigma ( Video Clip 4 ). Angenommen, ein MVPA Experiment von acht funktionellen läuft aus. In den ersten Kreuzvalidierung Schritt wird ein Klassifikator auf die Daten aus Läufe 1 bis 7 und getestet auf den Daten aus Versuch 8 ausgebildet. Im zweiten Schritt wird der Klassifikator dann läuft von 1 bis 6 sowie 8 ausgeführt geschult und anschließend auf Ausführen 7 getestet. Nach diesem Schema sind acht Kreuzvalidierung Schritte, mit jedem Durchlauf dient als Testlauf genau einmal durchgeführt. Insgesamt Klassifikator Leistung als der Durchschnitt der Leistungen auf die einzelnen Kreuzvalidierung Schritten berechnet. Während dieses Verfahren garantiert unabhängige Ausbildung und Prüfung Datensätze über jeden Schritt, sondern auch maximiert die Gesamtzahlvon Prüf-Studien, können die von Vorteil sein, bei der Beurteilung der statistischen Signifikanz der Klassifikator die Leistung.

Es gibt frei verfügbare Software-Pakete über das Internet zu MVPA durchzuführen; zwei Beispiele sind PyMVPA ¹² (basierend auf Python; http://www.pymvpa.org ) und der Toolbox von der Princeton Neuroscience Institute (basierend auf Matlab angeboten; http:/ / code.google.com / p / Princeton-mvpa-toolbox / ).

3. Cross-Modal MVPA und das Rahmenprogramm der Konvergenz-Divergenz-Zonen

Wie in der Einleitung erwähnt, haben experimentelle Paradigmen wie die eben beschriebene erfolgreich an Wahrnehmungsreize von neuronaler Aktivität in den entsprechenden sensorischen Kortex vorherzusagen verwendet, in anderen Worten, visuelle Reize auf die Aktivität im visuellen Kortex und auditiven Reizen basierend auf Aktivität im auditorischen Kortex . Hier haben wirderzeit eine Erweiterung dieses Grundkonzept. Insbesondere stellten wir die Hypothese, dass es möglich sein sollte, Wahrnehmungsreize nicht nur innerhalb, sondern auch über die Modalitäten vorherzusagen. Sensorische Wahrnehmung ist eng mit der Erinnerung an Erinnerungen verbunden, z. B. einen visuellen Reiz, dass eine starke akustische Auswirkungen, wie der Anblick einer Glasvase erschütternd auf dem Boden hat, wird automatisch in unseren "geistigen Ohr" Bilder auslösen, die ähnliche mit der auditiven Bildern, die wir erlebt bei früheren Begegnungen mit Glasbruch. Nach einem Rahmen von Damasio mehr als zwei Jahrzehnten ^9,10 eingeführt wurde, ist die Erinnerung Assoziation zwischen den Anblick der Vase und die entsprechenden Klangbilder in sogenannten Konvergenz-Divergenz-Zonen (; CDZs gespeicherten Video Clip 5 ). CDZs sind Neuron Ensembles in den Verein Kortex, die konvergierenden bottom-up erhalten Projektionen aus verschiedenen frühen kortikalen einreas (über mehrere Hierarchieebenen) und die wiederum, zurück zu senden divergent top-down Projektionen auf die gleiche kortikale Seiten. Durch die konvergente Bottom-up-Projektionen können CDZs von anschaulichen Vorstellungen in mehreren Modalitäten aktiviert werden - zum Beispiel, die beide durch den Anblick und das Geräusch von einem erschütternden Vase; aufgrund der divergierenden top-down Projektionen, können sie dann fördern den Wiederaufbau der zugehörige Bilder durch Signalisierung zurück auf die frühen Kortex weiterer Modalitäten. Damasio betont der letzte Punkt: die Aktivierung CDZs in Verbindung Kortex nicht ausreichen würden, für die bewusste Erinnerung an ein Bild aus dem Gedächtnis; nur einmal CDZs würde ausdrückliche neuronale Repräsentationen in der frühen sensorischen Kortex zu rekonstruieren würde das Bild bewusst erlebt werden. So prognostiziert die Rahmenbedingungen eine bestimmte Abfolge von neuronalen Verarbeitung in Reaktion auf eine (rein) visuellen Reiz, dass Ton impliziert ( Video Clip6):

1. Der Reiz ersten induziert ein bestimmtes Muster neuronaler Aktivität (rote Rechtecke) in den frühen visuellen Cortex.
2. Via konvergente bottom-up Projektionen Projekt der Neuronen in frühen visuellen Kortex uns auf eine erste Stufe der CDZs (CDZ ₁ s). Die konvergente Muster von Konnektivität ermöglicht die CDZ ₁ s auf bestimmte Aktivitätsmuster in den frühen visuellen Cortex zu erkennen. Abhängig von der genauen Muster kann ein CDZ oder auch nicht aktiviert werden. CDZs somit als Merkmalsextraktoren handeln. In diesem Beispiel werden zwei CDZ ₁ s aktiviert (wie durch die rote Farbe gekennzeichnet), während die dritte ist nicht durch die spezifische Aktivitätsmuster in den entsprechenden Sektor des frühen visuellen Kortex ausgelöst.
3. CDZ ₁ s senden konvergente bottom-up Projektionen CDZ ₂ s; daher, ebenso wie CDZ ₁ s erkannt bestimmte Aktivitätsmuster in den frühen visuellen Cortex sind CDZ ₂ s in der Lage, Muster der Aktivität unter CDZ _{1 zu} erfassen 2 s werden kann aktiviert werden durch die spezifische Konfiguration aktiviert CDZ ₁ s; der Einfachheit halber, nur eine einzige CDZ ₂ dargestellt hier. In dem Beispiel wird das Aktivitätsmuster unter CDZ ₁ s ausreicht, um diese CDZ _{2 zu} aktivieren.
4. Bemerkenswert ist, tun CDZ ₁ s nicht nur nach vorn Projekt CDZ ₂ s, sondern auch zurück auf die frühen Kortex (blaue Pfeile). Diese Top-down-Signale können füllen Sie das (möglicherweise verrauscht) Aktivitätsmuster zunächst durch den Reiz (blaues Rechteck) induziert. Im Allgemeinen bezeichnet rot Bottom-up-Aktivierungen, während blaue Farbe steht für Top-down-Aktivierungen.
5. Via mehrere zusätzliche Ebenen der CDZs, die CDZ ₂ s Projekt voran zu CDZ _n s in höherer Ordnung Vereins Kortex (gestrichelter Pfeil). Ein oder mehrere CDZ _n s können an die spezifischen visuellen Stimulus in Frage (nur eine einzige dargestellt) zu reagieren.
6. Auch hier sollte darauf hingewiesen werden, dass die CDZ ₂ s ALS o Signal rückwärts zu CDZ ₁ s, die wiederum weiter zu modifizieren kann das Muster ursprünglich in den frühen visuellen Kortex induziert.
7. Die CDZ _n s-Signal zurück zum CDZ ₂ s von allen Modalitäten. In den visuellen Kortex, kann dies für den Abschluss der Aktivitätsmuster in niedrigerer Ebene CDZs führen. In der auditiven Kortex, wird ein neuronales Muster gebaut werden - zunächst auf der Ebene des CDZ ₂ s und ₁ s CDZ schließlich in den frühen auditorischen Kortex -, die das bewusste Erleben einer auditiven Bildes mit der visuell präsentierten Stimulus assoziiert erlaubt. Beachten Sie, dass es auch Top-down-Signal an die somatosensorische Modalität, wenn auch in geringerem Maße als für die auditiv. Dies spiegelt die Tatsache wider, dass fast alle visuellen Reiz einige taktile Assoziation hat. Da der visuelle Reiz in dem aktuellen Beispiel wird angenommen, dass speziell implizieren Ton, aber top-down-Signalisierung an den auditorischen Kortex ist umfangreicher.

ove_content "> Auf der Grundlage der vorgeschlagenen Reihenfolge der neuronalen Verarbeitung macht den Rahmen einer bestimmten Prognose:. visuellen Reizen, die Objekte und Ereignisse, die stark implizieren Sound sollte neuronale Aktivität in frühen auditorischen Kortex hervorrufen Auch die auditiven Aktivitätsmuster sollte Stimulus-spezifisch; in anderen Worten, ein Videoclip von einem erschütternden Vase induzieren ein anderes Muster als ein Clip von einem heulenden Hund Wenn diese Vorhersage richtig wäre, dann sollten wir tatsächlich in der Lage sein durchzuführen MVPA cross-modal:. zum Beispiel, wir sollten in der Lage vorherzusagen, ausschließlich auf die neuronale Aktivität Fingerabdruck in frühen auditorischen Kortex, ob eine Person zu sehen ein erschütterndes Vase oder einen heulenden Hund (basierend Video Clip 7 ). Natürlich analog Paradigmen Berufung Informationsübertragung zwischen anderen sensorischen Modalitäten sollten auch erfolgreich sein. Für Wenn beispielsweise die Video-Clips zu einem Thema stillschweigend berühren, anstatt gezeigtSound, sollten wir in der Lage sein, diese Clips aus dem Aktivitätsmuster sie in frühen somatosensorischen Kortex auslösen vorherzusagen.

4. Stimuli

Die allgemeine Paradigma einer MVPA Studie wurde in Abschnitt 2 beschrieben. Unser Ansatz unterscheidet sich von früheren Studien, dass es versucht, MVPA über sensorische Systeme durchführen und nutzt daher Reize, die speziell darauf ausgelegt sind, um Auswirkungen in einer Sinnesmodalität anderen als dem, in dem sie präsentiert werden müssen. In einer früheren Studie, zum Beispiel verzeichneten wir neuronale Aktivität von primären somatosensorischen Kortex während die Probanden 5-Sekunden-Videoclips von Alltagsgegenständen, die von menschlicher Hand ⁸ (manipulierten Video Clip 8 und Video Clip 9 ). In einer weiteren Studie untersuchten wir neuronale Aktivität in frühen auditorischen Kortex while Themen angesehen Videoclips, die abgebildeten Gegenstände und Ereignisse, die stark implizierte Ton ⁷ ( Video Clip 10 und Video Clip 11 ). Doch nach dem CDZ Rahmen können Sinnesreize aller Modalitäten potentiell in diesem allgemeinen Paradigma eingesetzt werden, solange sie Auswirkungen auf weitere Modalitäten haben.

5. Regions of Interest

Im Allgemeinen können die Regionen von Interesse für eine bildgebende Untersuchung entweder funktionell oder anatomisch bestimmt werden. Wir glauben, dass in der experimentellen Paradigma beschreiben wir hier, anatomische Lokalisierer mehr geeignet für zwei Gründe. Erstens ist es nicht trivial, funktional definieren die primären oder frühen Kortex eines bestimmten sensorischen Modalität (mit der möglichen Ausnahme des primären visuellen Kortex), wie die Verarbeitung von PErceptual Reize präsentiert, das Thema in die Modalität der Regel nicht auf diese Bereiche beschränkt werden. Zum Beispiel wäre es schwierig, den primären somatosensorischen Kortex durch die Anwendung Touch zu einem Thema die Hände, als die Tätigkeit durch dieses Verfahren angeregt würden, aller Wahrscheinlichkeit nach zu somatosensorischen Kortex Verein verbreiten sowie zu definieren. Zweitens kann eine funktionelle localizer nicht Etikett alle Voxel, die möglicherweise zum Sichter die Leistung beitragen könnten: Es hat sich gezeigt, dass Bereiche, die nicht zeigen net Aktivierung in Reaktion auf sensorische Reize im klassischen Sinne (dh Regionen, die nicht auf nicht erscheinen einen Kontrast image [Stimulation vs Rest]) können Informationen über die Reize dennoch ^13,14. Aus diesen beiden Gründen befürworten wir die Verwendung von anatomisch definierten Regions of Interest, wenn makroskopische Landmarken für diese ermöglichen, zum Beispiel, stellt die grobe Anatomie des Gyrus postcentralis eine angemessene Angleichung der primären somatosensorischen Kortex, Und wir nutzten diese, um die Region von Interesse in unserer somatosensorischen Studie ⁸ (Abbildung 1) zu definieren.

6. Themen

Das Thema Proben in MVPA Studien sind in der Regel kleiner als bei herkömmlichen fMRI-Studien, wie die Analyse der Ein-Fach-Ebene durchgeführt werden können. Natürlich bedeutet dies nicht verhindern, dass der Experimentator aus der Folge der Analyse der Ergebnisse der einzelnen Fächer auf Konzernebene als auch. In den beiden Studien erwähnt, zum Beispiel, wir t-Tests durchgeführt, auf das individuelle Subjekt Ergebnisse in der Reihenfolge ihrer Bedeutung auf der Gruppenebene zu beurteilen. Jede Studie beteiligten acht Probanden, obwohl dies muss als ein sehr kleines Motiv Probe für parametrische Tests werden, haben wir viele der Diskriminierungen wir beurteilt als signifikant (siehe unten).

7. Repräsentative Ergebnisse:

Wie bereits erwähnt, in zwei früheren Studien, die wir zielte darauf ab, sound-was bedeutet, Videoclips vorhersagenbasierend auf neuronale Aktivität in frühen auditorischen Kortex ⁷ (siehe Abbildung 2 für die Maske in dieser Studie verwendet wird) und Touch-was bedeutet, Video-Clips auf Aktivität im primären somatosensorischen Kortex ^8. Dieser Versuch war erfolgreich: in beiden Studien führte eine MVPA Sichter oberhalb der Chance von 50% für alle möglichen Zwei-Wege-Diskriminierung zwischen Stimulus-Paare (n = 36 im auditorischen Studie, da es 9 verschiedene Stimuli wurden; n = 10 für somatosensorischen Studie, da gab es 5 verschiedene Reize). In der auditiven Studie erreichten 26 von den 36 Diskriminierungen statistischen Signifikanz; im somatosensorischen Studie war dies der Fall für 8 der 10 Diskriminierungen (two-tailed t-Tests, n = 8 in beiden Studien; Abbildung 3).

Abbildung 1. Ausmaß der anatomisch definierten Maske des primären somatosensorischen Kortex, wie in Meyer et al., 2011 verwendet. Ein ClassifierAlgorithmus konnte vorhersagen, was bedeutet, Touch-Videoclips aus Gehirnaktivitätsmustern beschränkt auf die abgegrenzten Region. Wiedergabe mit freundlicher Genehmigung von Oxford University Press.

Abbildung 2. Ausmaß der anatomisch definierten Maske des frühen auditorischen Kortex, wie in Meyer et al., 2010. Ein Classifier-Algorithmus konnte vorhersagen (stumm) Schall-was bedeutet, Video-Clips aus Gehirnaktivitätsmustern beschränkt auf die abgegrenzten Region. Wiedergabe mit freundlicher Genehmigung der Nature Publishing Group.

Abbildung 3. Zusammenfassung der Ergebnisse unserer früheren cross-modale MVPA Studien. Ein Klassifikator wurde verwendet, um visuelle Reize, die entweder Ton oder Berührung von Aktivität in den frühen auditiven oder primären somatosensorischen Kortex stillschweigend, bzw. vorherzusagen. Top-Panels: In beiden studies wurde Vorhersage Leistung über die Möglichkeit von 0,5 für alle Zwei-Wege-Diskriminierung zwischen Paaren von Reizen. Bodenplatten: im auditorischen Studie erreichte Klassifikator Leistung statistische Signifikanz für 26 der 36 Diskriminierungen; im somatosensorischen Studie war dies der Fall bei 8 der 10 Diskriminierungen. Wiedergabe mit freundlicher Genehmigung der Nature Publishing Group und der Oxford University Press.

Discussion

Die Ergebnisse unserer früheren Studien zeigen, dass cross-modale MVPA ein nützliches Werkzeug, um die neuronalen Korrelate von mental images in die "inneren Ohr" und der "geistigen touch" erlebt zu studieren. Konkret zeigen die Ergebnisse, dass die Inhalte solcher Bilder mit neuronaler Aktivität in den frühen auditorischen und somatosensorischen Kortex korreliert ist, bzw. einen direkten empirischen Beleg für Damasios Rahmen des Konvergenz-Divergenz-Zonen.

Das grundlegende Paradigma beschreiben wir können in eine Reihe von Möglichkeiten erweitert werden. Am offensichtlichsten ist, können ähnliche Studien durchgeführt werden, indem verschiedene Kombinationen von sensorischen Modalitäten. In dieser Hinsicht ist es möglich, dass mit bestimmten cross-modale Verbände vor dem Experiment kann die Erfolgschancen zu erhöhen. Zum Beispiel, um cross-modale Repräsentationen in olfaktorischen Kortex Studie konnte eine Primzahl Themen indem sie gleichzeitig an den Anblick und der Geruch von einer Reihe von Lebensmitteln. Shortly nach, in der fMRI-Scanner würden die olfaktorische Erinnerung an die Gerüche, die durch visuelle Signale ausgelöst werden, und MVPA konnten in einem Versuch, die Studien an den richtigen Lebensmitteln ausschließlich auf Aktivitäten in olfaktorischen Kortex Basis zuzuweisen verwendet werden.

Eine weitere interessante Frage ist, ob die Cross-modal induzierte Aktivitätsmuster in den frühen sensorischen Kortex Ähnlichkeiten mit den Mustern, die induziert werden, wenn Ton-oder Touch-tatsächlich erlebt wird sich tragen, in anderen Worten, sehen die Glasvase zerbrechen rufen ein ähnliches Muster von neuronale Aktivität in frühen auditorischen Kortex als tatsächlich hören das gleiche Ereignis? Diese Frage kann wiederum durch MVPA angesprochen werden: ist ein Classifier, die auf Daten aufgezeichnet wurde trainiert, während Probanden hörten bestimmte Töne in der Lage, richtig zu diskriminieren Daten aufgezeichnet werden, während die Probanden beobachtet entsprechenden Video-Clips? In unserem auditiven Studie haben wir versucht eine solche Klassifizierung, aber die Ergebnisse waren marginal (siehe Abb.. 3 in ref. 7). In dieser Studie wurden jedoch die akustische Assoziationen der Teilnehmer in keiner Weise kontrolliert, mit anderen Worten, wir wissen nicht, wie ähnlich die Hörbilder jedes Thema mit Videos verbunden, um die Audiospuren verwendet werden, um den Klassifikator trainiert wurde. Auch hier könnte es interessant sein, die gleiche Frage-Adresse nach bestimmten cross-modale Verbände in den Fächern wurden grundiert haben, wie oben für eine visuell-olfaktorischen Vereins beschrieben. Dies würde es ermöglichen, mehr zuverlässig kontrollieren die geistige Erfahrung der Probanden während der Video-Studien und damit vielleicht Vorhersage Performance des Klassifikators zu erhöhen.

Zum Schluss haben wir eine Erweiterung der klassischen MVPA Paradigma eingeführt durch die zeigen, dass Reize nicht nur innerhalb vorhergesagt werden kann, sondern auch über sensorischen Modalitäten. So zeigen wir, dass die Verwendung von MVPA nicht auf die Untersuchung der Korrelate der anschaulichen Vorstellungen direkt von externen sensorische Stimulation induziert begrenzt. Vielmehr kann auch MVPABeurteilung der neuronalen Substrat von mental images, die intern ausgelöst: in Übereinstimmung mit Damasio den Konvergenz-Divergenz-Zonen Rahmen, deuten unsere Ergebnisse, dass die bewusste Erfahrung von mental images, die basierend auf Erinnerungen rekonstruiert werden mit content-spezifische neuronale Repräsentationen in der frühen sensorischen korreliert Rinden.