Dekodierung auditiver Bilder mit der Multi-voxel-Musteranalyse

Auditive Vorstellungskraft ist ein Prozess, der die Erfahrung des Hörens von Klängen hervorruft, auch wenn keine äußeren auditiven Reize vorhanden sind.

Stellen Sie sich zum Beispiel vor, Sie hören das Klingeln eines Mobiltelefons. Während Informationen im Gedächtnis diesem imaginären Ereignis zugrunde liegen, deuten Hinweise darauf hin, dass das Gehirn eines Individuums die gleichen Mechanismen für die Vorstellungskraft verwendet wie diejenigen, die an der tatsächlichen Wahrnehmung beteiligt sind.

Allein bei der Vorstellung des Klingelns werden Regionen innerhalb des auditorischen Kortex aktiviert. Obwohl dies für akustische Reize gilt, ist die Frage, wie Klänge kodiert werden, um eine detaillierte Verarbeitung unterschiedlicher Klänge zu ermöglichen, wie z. B. die Unterscheidung zwischen einem Türklingelton und einem Lied, das im Radio gespielt wird.

Basierend auf früheren Arbeiten von Meyer und Kollegen zeigt dieses Video, wie funktionelle Magnetresonanztomographie (fMRT) mit der Präsentation verschiedener stummer Videos kombiniert werden kann, um zu untersuchen, wie das Gehirn auf auditive Bilder reagiert.

Wir werden auch beschreiben, wie man eine Methode namens Multi-Voxel-Musteranalyse verwendet. MVPA, kurz MVPA, um vorherzusagen, was sich Probanden vorgestellt haben, indem Aktivierungsmuster analysiert werden, die während fMRT-Sitzungen erhalten wurden.

In diesem Experiment liegen die Teilnehmer in einem fMRT-Scanner und bekommen eine Reihe von stummen Videos gezeigt. Jedes einzelne – sei es ein krähender Hahn, eine Kettensäge, die einen Baum durchschneidet, oder eine Person, die ein Klavier spielt – evoziert unverwechselbare und lebendige akustische Bilder, und sie werden gebeten, sich die Klänge während jeder einzelnen Präsentation vorzustellen.

Das Verfahren der bildgebenden Erfassung beruht auf einer spärlichen zeitlichen Probenahme, bei der ein einzelnes fMRT-Volumen 4 bis 5 s nach jedem Stimulus erfasst wird. Ein solches Timing erfasst den Höhepunkt der hämodynamischen Reaktion und verringert die Wahrscheinlichkeit, dass Signale durch Scannerrauschen überdeckt werden.

Es wird erwartet, dass jeder imaginäre Klang subtile, aber charakteristische Muster neuronaler Aktivität induziert, insbesondere im auditorischen Kortex. Hier ist Muster das Schlüsselwort: Die klassische Methode zur Analyse dieser Daten verwendet einen univariaten Ansatz, bei dem die einzelnen Voxel, die ein gewisses Maß an Aktivierung repräsentieren, zu einem einzigen Durchschnitt zusammengefasst werden.

Diese Werte werden dann zwischen den Klängen verglichen und führen möglicherweise zu keinen signifikanten Unterschieden in den Aktivierungspegeln.

Stattdessen werden mit einer multivariaten Analyse mehrere Voxel für jeden Klang ausgelegt und die Aktivierungspegel können über alle Voxel hinweg kollektiv verglichen werden, was zu einem einzigartigen Gesamtmuster für jeden imaginären Klang beiträgt.

Mit diesem Multi-Voxel-Musteranalyse-Ansatz (MVPA) ist es möglich, dass die Muster, wenn sie tatsächlich empfindlich auf bestimmte Inhalte reagieren, zur Vorhersage des ursprünglichen Stimulus verwendet werden können. Stimmt's? MVPA wird oft als Gedankenlesetechnik bezeichnet!

Um diesen Vorhersageaspekt zu erreichen, muss nach dem Sammeln der Teilnehmer eine intensivere Verarbeitung durchgeführt werden? Daten, die in Trainings- und Testsätze unterteilt sind.

Beschriftete Daten aus dem Trainingssatz werden zunächst Berechnungen durch maschinelles Lernen unterzogen, insbesondere einem Support Vector Machine-Algorithmus. Dieser Prozess wird verwendet, um Daten genau zu klassifizieren, indem Merkmale in den neuronalen Mustern erkannt werden, die die drei Arten von Geräuschen voneinander unterscheiden können.

Nachdem der Klassifikator Merkmale zur genauen Identifizierung der Typen gelernt hat, werden ihm unbeschriftete Daten aus dem Testsatz präsentiert, und seine Vermutungen werden dann mit den richtigen Stimuli-Labels verglichen.

In diesem Fall dient die Klassifikationsleistung als abhängige Variable, die als Genauigkeit des Klassifikators aufgezeichnet wird und auch mit Voxeln verglichen wird, die an einer anderen Stelle im Gehirn evoziert werden, z. B. am Frontpol.

Es wird erwartet, dass der Klassifikator die Identifizierung auditiver Bilder vorhersagen kann, was die Bedeutung von MVPA für die Erkennung inhaltsspezifischer Aktivität im auditorischen Kortex aufzeigt.

Stellen Sie aus experimentellen und Sicherheitsgründen sicher, dass alle Teilnehmer Rechtshänder sind, ein normales oder auf normales Sehvermögen korrigiert haben, keine neurologischen Störungen oder Klaustrophobie in der Vorgeschichte haben und kein Metall in ihrem Körper besitzen. Stellen Sie außerdem sicher, dass sie die erforderlichen Einverständniserklärungen ausfüllen.

Bevor Sie fortfahren, erklären Sie, dass sie mehrere kurze stumme Videos im Scanner sehen werden, die möglicherweise ein Geräusch in ihrem Kopf hervorrufen. Bitten Sie sie, sich auf die imaginären Klänge zu konzentrieren, sie so gut wie möglich zu "hören" und für die Dauer der Aufgabe still zu bleiben.

Bereiten Sie nun den Teilnehmer darauf vor, den Scanner zu betreten. Um diese Schritte im Detail zu sehen, beziehen Sie sich bitte auf ein anderes fMRT-Video, das in dieser Sammlung produziert wurde.

Richten Sie den Teilnehmer nach der Vorbereitung aus und schicken Sie ihn in die Bohrung. Im Nebenraum entnehmen Sie zunächst einen hochauflösenden anatomischen Scan. Synchronisieren Sie dann den Start der stummen Videopräsentation mit dem Start des Funktionsscans.

Um eine zeitliche Abtastung mit geringer Dichte zu erreichen, legen Sie die Erfassungszeit eines MRT-Volumens auf 2 s fest, mit einer Verzögerung von 9 s dazwischen.

Wichtig ist, dass Sie den Start jedes 5-Sekunden-Videoclips so koordinieren, dass er 4 Sekunden nach Beginn der vorherigen MRT-Aufnahme beginnt, um die hämodynamische Aktivität zu erfassen, die der Mitte des Films entspricht.

Präsentieren Sie jedes Video 10 Mal in zufälliger Reihenfolge und generieren Sie eine Scan-Sitzung, die 5,5 Minuten dauert. Wiederholen Sie diese Sequenz der Funktionserfassung noch dreimal.

Nachdem die vier Funktionsscans durchgeführt wurden, nehmen Sie den Teilnehmer aus dem Scanner und führen Sie eine Nachbesprechung durch, um die Studie abzuschließen.

Um die interessierenden Regionen zu definieren, verwenden Sie die hochauflösenden anatomischen Scans jedes Teilnehmers und verfolgen Sie Voxel auf der Oberfläche des Temporallappens, die dem frühen auditorischen Kortex, auch bekannt als Planum temporale, entsprechen. Erstellen Sie außerdem eine Maske mit Voxeln im Frontallappen, der als Kontrollbereich verwendet wird.

Verarbeiten Sie dann die Daten vor, indem Sie eine Bewegungskorrektur durchführen, um Bewegungsartefakte zu reduzieren, und eine zeitliche Filterung, um Signalabweichungen zu entfernen.

Teilen Sie als Nächstes die Daten in zwei Sätze auf: Training und Testen. Trainieren Sie in einem Datensatz einen Klassifikator - einen Support-Vector-Machine-Algorithmus - und stellen Sie sicher, dass die Daten aus den beiden Gehirnregionen für jedes Subjekt getrennt bleiben.

Bewerten Sie in der anderen Gruppe, was der Klassifikator gelernt hat – seine Fähigkeit, die Identität von nicht gekennzeichneten Daten richtig zu erraten – und zeichnen Sie die Genauigkeit des Algorithmus über Durchläufe hinweg auf. Führen Sie dieses Verfahren insgesamt viermal durch, wobei jedes Mal ein Funktionsscan als Testdaten ausgelassen wird – ein Prozess, der als Kreuzvalidierung bezeichnet wird.

Um die Daten zu visualisieren, stellen Sie die gemittelten Klassifizierergenauigkeiten über die vier Kreuzvalidierungsfalten für jeden Teilnehmer grafisch dar.

Plotten Sie diese Durchschnittswerte sowohl für die primäre Region von Interesse - das Planum temporale - als auch für den Kontrollbereich - den Frontalpol - um die fokale Spezifität des Klassifikators zu vergleichen, d. h. das Ausmaß, in dem ein bestimmter Bereich, wie z. B. der auditorische Kortex, selektiv als an der auditiven Vorstellungskraft beteiligt vorhergesagt wird.

Führen Sie in diesem Fall eine nicht-parametrische Statistik aus, den Wilcoxon-Vorzeichen-Rang-Test, um die Leistung im Vergleich zum Zufall zu testen, der 33 % beträgt. Beachten Sie, dass die durchschnittliche Klassifikatorgenauigkeit im auditorischen Kortex 59% betrug, was sich signifikant vom Zufallsniveau unterscheidet.

Im Gegensatz dazu lag die mittlere Leistung in der frontalen Polmaske bei 33%, was sich nicht signifikant vom Zufall unterscheidet.

Beachten Sie außerdem, dass die Leistung der Klassifikatoren von Person zu Person unterschiedlich ist. Nach der Verwendung eines Permutationstests zur Berechnung eines neuen statistischen Schwellenwerts von 42 % zeigten 19 von 20 Probanden, dass die Genauigkeitswerte mit Voxeln aus dem Planum temporale signifikant über diesem Niveau lagen, während keiner der Probanden eine höhere Leistung als der Zufall aufwies, wenn Voxel vom Frontalpol verwendet wurden.

Insgesamt deuten diese Ergebnisse darauf hin, dass MVPA-Techniken genau vorhersagten, welcher der drei Klänge sich die Teilnehmer auf der Grundlage von Mustern der neuronalen Aktivität vorstellten. Solche Vorhersagen wurden nur innerhalb des auditorischen Kortex gemacht, was darauf hindeutet, dass akustische Inhalte nicht global im gesamten Gehirn repräsentiert werden.

Nun, da Sie mit der Anwendung der Multivoxel-Musteranalyse vertraut sind, um auditive Bilder zu untersuchen, schauen wir uns an, wie Neuropsychologen multivariate Techniken einsetzen, um einen futuristischen Ansatz für das Gedankenlesen - die Dekodierung mentaler Zustände - in anderen Bereichen voranzutreiben.

Klassifikatoren wurden für fMRT-Daten aus dem ventralen temporalen Kortex verwendet, um die Arten von Objekten vorherzusagen, die die Teilnehmer betrachteten, z. B. zwischen Häusern und Gesichtern.

Wenn man noch einen Schritt weiter geht, ist es sogar möglich vorherzusagen, ob die Person dieses Haus kaufen oder die Person angenehm finden würde. So gruselig das auch klingen mag, diese Neuromarketing-Implikationen sind nicht weit hergeholt!

Derselbe Ansatz könnte auch verwendet werden, um entweder emotionale Zustände nach dem Anschauen einer Serie zu erkennen - zu erkennen, dass ein Gruselfilm tatsächlich erschreckend ist - oder sogar das Filmgenre; Zum Beispiel könnte der beängstigende Streifen die Amygdala vorhersehbarer ansprechen als ein kontemplativer, der zuverlässig den präfrontalen Kortex einbeziehen würde.

Darüber hinaus könnten Gehirn-Computer-Schnittstellen mentale Zustände in Signale umwandeln, die die Kommunikation bei Personen, die sich einer Sprachtherapie unterziehen, oder Bewegungen für diejenigen, die eine Amputation einer Gliedmaße erlitten haben, verbessern würden.

Sie haben sich gerade das Video von JoVE über das Verständnis auditiver Bilder mit Hilfe der Multi-Voxel-Musteranalyse angesehen. Jetzt sollten Sie ein gutes Verständnis dafür haben, wie man das Experiment der auditiven Vorstellungskraft in Verbindung mit funktioneller Neurobildgebung entwirft und durchführt und schließlich, wie man bestimmte Muster der Gehirnaktivität analysiert und interpretiert.

Danke fürs Zuschauen!