Cross-Modal Multivariate Pattern Analysis

Das Ziel des folgenden Experiments ist es, mit Hilfe der multivariaten Musteranalyse von funktionellen MRT-Daten die multimodale Verarbeitung im menschlichen Gehirn zu untersuchen. Dies wird erreicht, indem zunächst eine bestimmte Art von sensorischen Reizen erzeugt wird, die den Probanden durch eine einzige sensorische Modalität präsentiert werden. Zum Beispiel das Visuelle, impliziert aber starke Assoziationen in einer anderen Modalität.

Zum Beispiel die auditive, während die Probanden solche Reize wahrnehmen, neuronale Aktivität in den Teilen des Gehirns, die zur Modalität der Assoziation gehören. Der auditorische Kortex in diesem Beispiel wird mit FMRI aufgezeichnet. Die aufgezeichnete Aktivität wird mittels multivariater Musteranalyse analysiert, mit dem Ziel, vorherzusagen, welcher von mehreren Reizen das Subjekt in der ursprünglichen Modalität wahrgenommen hat.

Die Ergebnisse zeigen, dass unimodale Reize, die Informationen enthalten, die für mehr als eine Modalität relevant sind, inhaltsspezifische neuronale Aktivität im frühen sensorischen Kortex anderer Modalitäten als der, durch die sie präsentiert werden, induzieren können. Die Technik, die wir heute vorstellen und die wir als Crossmodale multivariate Musteranalyse bezeichnen, stellt eine natürliche Erweiterung der konventionellen multivariaten Musteranalyse dar, mit dem Unterschied, dass sensorische STEMI eher über als innerhalb sensorischer Modalitäten klassifiziert werden. Die Idee zu dieser Methode hatten wir erstmals, als wir versuchten, empirische Beweise für ein neuroarchitektonisches Framework zu liefern, das vor mehr als zwei Jahrzehnten von Demio eingeführt wurde.

In diesem Video führen wir Sie nicht nur in die technischen Aspekte der multivariaten Musteranalyse, kurz MVPA, ein, sondern auch in diesen theoretischen Rahmen. Wir werden zunächst auf einige wesentliche Unterschiede zwischen MVPA und konventioneller univariater FMRI-Analyse hinweisen. Beachten Sie Folgendes.

Wenn einem Probanden beispielsweise zwei verschiedene visuelle Reize wie ein Apfel und eine Orange präsentiert werden, dann induzieren beide Reize, gemittelt über eine Reihe von Versuchen, ein spezifisches Muster neuronaler Aktivität. Im primären visuellen Kortex, hier symbolisiert durch die Aktivierungsniveaus von sechs hypothetischen Voxeln. In der konventionellen FMRI-Analyse gibt es im Wesentlichen zwei Methoden, um diese Muster zu analysieren.

Die erste besteht darin, das durchschnittliche Aktivitätsniveau zu vergleichen, das die Reize in der gesamten interessierenden Region induzierten. Die Differenz zwischen den Durchschnittswerten ist jedoch möglicherweise nicht signifikant. Die zweite Methode besteht darin, für jedes Voxel einen Subtraktionskontrast festzulegen.

Das Aktivierungsniveau während des Apfelzustands wird von dem Aktivierungsniveau während des orangefarbenen Zustands subtrahiert, und die resultierende Differenz für jedes Voxel kann auf einem Kontrastbild des gesamten Gehirns visualisiert werden. Auch hier können diese Unterschiede jedoch gering sein und das erforderliche statistische Kriterium nur für wenige Voxel erreichen. Im Gegensatz zu univariaten Analysemethoden ist MVPA jedoch in der Lage, Muster innerhalb von Voxeln zu erkennen, indem die Aktivierungsniveaus aller Voxel gleichzeitig berücksichtigt werden.

Während nur wenige der Aktivierungsunterschiede für sich genommen signifikant sein können, können die beiden Muster, wenn man sie in ihrer Gesamtheit betrachtet, tatsächlich statistisch unterschiedlich sein. Ein weiterer wesentlicher Unterschied zwischen der herkömmlichen FMRI-Analyse und MVPA besteht darin, dass bei der letzteren Methode die sogenannte Reverse Inferenz verwendet wird. Bei der konventionellen FMRI-Analyse stellt der Forscher typischerweise eine Frage nach der Art von zwei verschiedenen visuellen Reizen.

So führen beispielsweise das Bild eines Gesichts und das Bild eines Hauses zu unterschiedlichen Aktivitätsniveaus in einem bestimmten Interessenbereich, wie z. B. dem fusiformen Gesichtsbereich. Im Gegensatz dazu wird MVPA typischerweise in Form von umgekehrter Inferenz oder Dekodierung ausgedrückt und fragt, basierend auf dem Muster der neuronalen Aktivität in einer bestimmten Gehirnregion, ob wir in der Lage sein werden, vorherzusagen, welcher von zwei visuellen Reizen ein Subjekt wahrnimmt. Es ist jedoch wichtig zu beachten, dass es aus statistischer Sicht gleichbedeutend ist zu sagen, dass zwei Reize zu unterschiedlichen Aktivitätsmustern in einer gegebenen Gehirnregion führen, und zu sagen, dass das Aktivitätsmuster in dieser Gehirnregion eine Vorhersage des auslösenden Reizes ermöglicht.

Mit anderen Worten, die Sensitivität von MVPA ist der von univariaten Analysen überlegen, da sie mehrere Voxel gleichzeitig berücksichtigt und nicht in umgekehrter Richtung verläuft. Um auf das vorherige Beispiel zurückzukommen, betrachten wir ein typisches MVPA-Paradigma, das bewertet, ob das Sehen eines Apfels ein anderes Muster neuronaler Aktivität im primären visuellen Kortex induziert als das Sehen einer Orange. In einem ersten Schritt werden FMRI-Daten aufgezeichnet, während ein Proband eine große Anzahl der zu unterscheidenden Reize sieht.

Die erfassten Daten werden dann in einen Trainingsdatensatz und einen Testdatensatz unterteilt. Die Daten aus dem Trainingssatz werden in einen Musterklassifikator eingegeben, der versucht, Merkmale in den neuronalen Mustern zu erkennen, die die beiden Arten von Versuchen voneinander unterscheiden. Als nächstes werden dem Klassifikator unbeschriftete Daten aus dem Testsatz präsentiert und basierend auf den Mustern, die er im Trainingsdatensatz erkannt hat, jedem der Testversuche für jeden Stimulus die wahrscheinlichste Bezeichnung zugeordnet.

Die Klassifikator-Schätzung wird dann mit dem korrekten Stimulus-Label verglichen, und die Leistung des Klassifikators wird als Prozentsatz der richtigen Schätzungen berechnet. Wie wir gesehen haben, reduziert der Klassifikator in diesem Beispiel die korrekten Stimulus-Labels in neun von 12 Fällen oder 75 % als Zufallsleistung. Bei einer solchen Zwei-Wege-Unterscheidung würde die Diskriminierung 50% betragen. Dies deutet darauf hin, dass es tatsächlich konsistente Unterschiede zwischen den neuronalen Mustern gibt, die in V eins durch die orangefarbenen und die Apfelreize induziert werden.

Natürlich müsste die Signifikanz dieses Ergebnisses statistisch bewiesen werden. Ein wichtiger Punkt, den man bei einem solchen Klassifikationsexperiment im Hinterkopf behalten sollte, ist, dass die Trainings- und die Testdatensätze völlig unabhängig voneinander sind, denn nur wenn dies der Fall ist, können Rückschlüsse auf die Generalisierbarkeit der Muster gezogen werden, die während der Trainingseinheit gelernt wurden. Aus diesem Grund wird in MVPA-Paradigmen häufig ein sogenanntes Cross-Validation-Paradigma verwendet.

Dieses Verfahren dient nicht nur dazu, die Anzahl der Trainings- und Testversuche zu maximieren, die aus einem gegebenen Datensatz gewonnen werden können, stellt aber gleichzeitig sicher, dass sich die Trainings- und Testmengen in den einzelnen Klassifikationsschritten nicht überschneiden. Betrachten Sie das folgende MVPA-Experiment mit acht funktionalen Durchläufen. In einem ersten Kreuzvalidierungsschritt wird der Klassifizierer mit den Daten aus den Durchläufen eins bis sieben trainiert und mit den Daten aus dem achten Durchlauf getestet.

Im zweiten Schritt wird der Klassifikator dann sowohl auf den Läufen eins bis sechs als auch auf den läufen acht trainiert und anschließend auf lauf sieben getestet. Nach diesem Schema werden acht Kreuzvalidierungsschritte durchgeführt, wobei jeder Lauf genau als Testlauf dient. Sobald die Klassifiziererleistung für jeden Kreuzvalidierungsschritt abgerufen wurde, ergibt sich durch die Mittelung dieser Ergebnisse die Gesamtleistung.

Es gibt im Internet frei verfügbare Softwarepakete, um MVPA durchzuführen, wie z.B. pi MVPA und die vom Princeton Neuroscience Institute angebotene Toolbox. Experimentelle Paradigmen wie das eben beschriebene wurden erfolgreich eingesetzt, um Wahrnehmungsreize aus neuronaler Aktivität in den entsprechenden Teilen der Großhirnrinde vorherzusagen, so z.B. um visuelle Reize basierend auf der Aktivität im visuellen Kortex oder auditiven Reizen vorherzusagen. Ausgehend von der Aktivität im auditorischen Kortex möchten wir nun eine Erweiterung dieser Grundidee vorstellen, bei der Wahrnehmungsreize nicht nur innerhalb, sondern über Modalitäten hinweg vorhergesagt werden.

Unsere Idee stützt sich auf die Tatsache, dass Wahrnehmung eng mit dem Abrufen von Erinnerungen verbunden ist. Zum Beispiel ein visueller Reiz, der eine starke auditive Implikation hat, wie z. B. die Stelle eines Glassockels, der auf dem Boden zerbricht. Es wird automatisch ein akustisches Bild in unserem Ohr auslösen, das Ähnlichkeiten mit den akustischen Bildern aufweist, die wir bei früheren Begegnungen mit zerbrechendem Glas erlebt haben.

Nach einem von Theo Ende der 1980er Jahre eingeführten Rahmen wird die Gedächtnisassoziation zwischen dem Ort der zerbrechenden Basis und dem entsprechenden Klang in sogenannten Konvergenzdivergenzzonen oder CDs für kurze Konvergenz gespeichert. Divergenzzonen werden als Ensembles von Neuronen konzeptualisiert, die sich auf den verschiedenen Hierarchieebenen der sensorischen Systeme befinden. Wie der Name schon sagt.

CDs auf jeder Ebene erhalten konvergente Bottom-up-Projektionen von Kortex und Turn niedrigerer Ordnung. Sie schickten divergierende Top-down-Projektionen aufgrund der konvergenten Bottom-up-Projektionen an dieselben Kortexe niedrigerer Ordnung zurück. CDs können durch Wahrnehmungsrepräsentationen in mehreren Modalitäten aktiviert werden, zum Beispiel sowohl durch den Ort als auch durch den Klang einer zerbrechenden Basis aufgrund der divergierenden Top-Down-Projektionen.

Sie können dann die Rekonstruktion der zugehörigen Bilder fördern, indem sie Signale an die frühen sensorischen Kortex zusätzlicher Modalitäten zurücksenden. Betrachten Sie die Abfolge der Aktivierung als eine rein visuelle, aber akustisch implizierende Reize wird nach diesem Rahmen induziert. Der Stimulus induziert zunächst ein spezifisches Muster neuronaler Aktivität in den frühen visuellen Kortexen über konvergente Bottom-up-Projektionen.

Die frühen visuellen Kortexe aktivieren die erste Ebene der CDs, die CDZ-Kortexe. Abhängig vom genauen Aktivitätsmuster im entsprechenden frühen kortikalen Sektor kann eine CDZ aktiviert werden oder inaktiv bleiben. CDZ-Einsen projizieren nach oben zu CDZ-Zweien, genau wie CDZ-Einsen erkannt werden.

Aktivitätsmuster in den frühen visuellen Kortexen, cdz-Zweien erkennen Aktivitätsmuster unter cdz-Einsen, mehrere cdz-Zweien können aktiviert werden, aber der Einfachheit halber wird hier nur einer über Top-Down-Projektionen dargestellt. Cdz-Einsen können gleichzeitig das Aktivitätsmuster im frühen visuellen Kortex über mehrere zusätzliche Ebenen von c DZs, CDZ-Zweien, vervollständigen. Das Projekt zu zweit zur CDZ endet in einer multimodalen Assoziation. Rinden.

Auch hier können mehrere CDZ-Enden aktiviert werden, aber aus Gründen der Einfachheit wird nur eines abgebildet. Auch hier signalisieren CD Z-Zweien zurück zu CDZ-Einsen, was wiederum das ursprünglich in den frühen visuellen Kortexen induzierte Muster weiter modifizieren könnte. Das CDZ-Endensignal kehrt zu den CZ-Zweien aller Modalitäten zurück.

In der auditorischen Rinde wird ein neuronales Muster konstruiert, das es dem Subjekt ermöglicht, im Ohr des Geistes ein auditives Bild zu erleben, das mit dem visuell präsentierten Reiz verbunden ist. Die dargestellte Top-Down-Signalisierung an die somatosensorische Modalität spiegelt die Tatsache wider, dass fast jeder visuelle Reiz auch einige taktile Assoziationen impliziert. Somit sagt das Framework voraus, dass ein Geräusch, das einen visuellen Reiz impliziert, zu einem inhaltsspezifischen Muster neuronaler Aktivität führen würde.

In den frühen auditorischen Kortexen. Durch die Analyse dieses neuronalen Musters mittels MVPA sollte es daher möglich sein, vorherzusagen, welchen von mehreren Klängen, die visuelle Reize implizieren, ein Subjekt gesehen hat. Im ersten Experiment wurde die neuronale Aktivität aus dem frühen auditorischen Kortex aufgezeichnet, während die Probanden neun verschiedene Videoclips von Objekten und Ereignissen ansahen, die Schall implizierten.

Der interessierende Bereich in diesem Experiment war ein begrenzter Bereich auf der Semal-Ebene, der den primären auditorischen Kortex und den sehr frühen auditorischen Assoziationskortex umfasste. In einem zweiten Experiment wurde die neuronale Aktivität aus dem primären somatosensorischen Kortex aufgezeichnet, während die Probanden fünf verschiedene Videoclips ansahen, die Berührungen implizierten. In diesem Experiment umfasste die interessierende Region den primären somatosensorischen Kortex, der sich im postzentralen Gyrus befindet.

An beiden Studien nahmen acht Probanden an der auditiven Studie teil. Ein MVPA-Klassifikator lag über dem Chancenniveau von 50% für alle möglichen bidirektionalen Diskriminierungen zwischen Reizpaaren. In 26 der 36 Diskriminierungsklassifikatoren unterschied sich die Leistung des Klassifikators signifikant vom Chancenniveau von 0,5.

Auch in der somatosensorischen Studie schnitt der Klassifikator bei allen bidirektionalen Diskriminierungen über dem Zufall ab, und acht der 10 Diskriminierungen erreichten eine statistische Signifikanz. Wie Sie sehen können, konnten wir mit Hilfe der crossmodalen multivariaten Musteranalyse zeigen, dass die Wahrnehmung visueller Reize, die Schall oder Berührung implizieren, zu inhaltsspezifischen neuronalen Repräsentationen im frühen auditiven und somatosensorischen Kortex führt, in Übereinstimmung mit dem zuvor vorgestellten theoretischen Rahmen. Es liegt auf der Hand, dass das experimentelle Paradigma, das wir vorgestellt haben, nicht auf die Modalitäten unserer eigenen Experimente beschränkt bleiben muss, sondern auch auf andere sensorische Modalitäten ausgedehnt werden kann.

Wir hoffen daher, dass andere Gruppen sich uns anschließen werden, um diese Art von Forschung zu erweitern, um unser Wissen darüber zu erweitern, wie wir multimodale Reize aus der Umwelt in Prozesse einbringen können.