Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove

A subscription to JoVE is required to view this content.
You will only be able to see the first 20 seconds.

Decodierung auditive Bilder mit Multivoxel Muster-Analyse
 

Decodierung auditive Bilder mit Multivoxel Muster-Analyse

Article

Transcript

Please note that all translations are automatically generated.

Click here for the English version.

Auditive Bildsprache ist ein Prozess, der gibt Anlass zu hören von Klängen, auch wenn keine äußere auditive Reize vorhanden sind.

Denken Sie beispielsweise an ein Handy klingeln hören. Während Informationen im Gedächtnis dieses imaginären Ereignis zugrunde liegt, Anhaltspunkte dafür, dass eines individuellen Gehirns verwendet die gleichen Mechanismen für Phantasie als diejenigen, die die tatsächliche Wahrnehmung beteiligt sind.

Nur bei der Vorstellung das Klingeln, werden Regionen innerhalb der auditorischen Kortex aktiviert. Jedoch, obwohl dies durch akustische Reize wahr ist, wie Klänge sind kodiert, um die detaillierte Bearbeitung von verschiedene Klänge zu ermöglichen – wie die Unterscheidung zwischen einer Türklingel läuten und ein Lied im Radio gespielt – ist eine wichtige Frage.

Basierend auf früheren Arbeiten von Meyer und Kollegen, dieses Video veranschaulicht, wie funktionellen Magnetresonanztomographie zu kombinieren – fMRI — mit Präsentationen von verschiedenen stillen Videos zu untersuchen, wie das Gehirn reagiert auf akustische Bilder.

Wir werden auch beschreiben, wie eine Methode namens Multi-Voxel Muster Analyse verwenden — MVPA kurz — vorherzusagen, was Themen vorgestellt haben, durch die Analyse von Mustern der Aktivierung während fMRT-Sitzungen erhalten.

In diesem Experiment Teilnehmer liegen in einem fMRI-Scanner und eine Reihe von stillen Videos gezeigt werden. Jeweils – es ist ein Hahn krähen, eine Kettensäge, die durch einen Baum schneiden, ob eine Person spielt ein Klavier – unverwechselbar und lebendige auditiven Bilder hervorruft und sie werden aufgefordert, die Geräusche während jeder einzelnen Präsentation vorstellen.

Die bildgebenden Verfahren der Erwerb stützt sich auf spärlich zeitliche Probenahme, wobei ein einzelnes fMRT-Volume 4-5 erworben wird s nach jedem Reiz präsentiert wird. Dieser Zeitpunkt fängt die Spitze der hämodynamische Antwort und verringert die Wahrscheinlichkeit, dass Signale durch Scanner Lärm maskiert werden würde.

Jeder gedacht, Ton wird voraussichtlich subtilen aber charakteristischen Muster der neuronalen Aktivität, speziell im auditorischen Kortex zu induzieren. Muster ist hier das Schlüsselwort: verwendet einen Univariate Ansatz, der klassische Weg, um diese Daten zu analysieren wo die einzelnen Voxel – was einige Niveau der Aktivierung – werden in einem einzigen Durchschnitt reduziert.

Diese Werte liefert werden dann über Klänge verglichen und nicht signifikante Unterschiede Aktivierungsniveaus.

Stattdessen mit einer multivariaten Analyse, mehrere Voxel sind ausgelegt für jeden Sound und Aktivierungsniveaus gemeinsam über alle Voxel verglichen werden können – einen Beitrag zu einer einzigartigen Gesamtbild für jeden Klang vorstellen.

Mit diesem Multi-Voxel Muster Analyse oder MVPA, Ansatz, wenn die Muster tatsächlich empfindlich auf bestimmte Inhalte, ist dann möglich, dass sie verwendet werden könnte, um den ursprünglichen Reiz vorherzusagen. Das ist richtig – MVPA wird oft als Gedankenlesen Technik!

Um diese Vorhersage Aspekt zu erreichen, muss eine intensivere Bearbeitung durchgeführt werden, nach der Erfassung der Teilnehmerdaten, die unterteilt sind in Trainings- und Testsätze.

Gekennzeichnete Daten aus dem Trainingssatz unterliegen zuerst Computerlernen Berechnungen, insbesondere eine Support Vector Machine-Algorithmus. Dieser Prozess wird verwendet, um genau klassifizieren Sie die Daten durch die Anerkennung der Funktionen in den neuralen Mustern, die die drei Arten der Töne voneinander unterscheiden können.

Nach der Sichter Features, um genau die Typen identifizieren gelernt hat, wird es mit unbeschriftete Daten aus dem Testsatz, und seine Vermutungen sind dann im Vergleich zu den richtigen Reize Etiketten.

In diesem Fall die Klassifizierung Leistung dient als abhängige Variable – als der Sichter Genauigkeit erfasst – die ist auch im Vergleich zu Voxel an einem anderen Ort im Gehirn, wie z. B. den frontalen Pol hervorgerufen.

Der Sichter soll die Identifizierung der auditiven Bilder, offenbart die Bedeutung der MVPA bei der Aufdeckung von Content-spezifische Aktivität innerhalb der auditorischen Kortex vorherzusagen.

Pro experimentelle und Sicherheitsbedenken, stellen Sie sicher, dass alle Teilnehmer sind Rechtshänder, normal oder korrigiert-zu-normale Vision, keine Geschichte von neurologischen Erkrankungen oder Klaustrophobie, und keines Metall in ihrem Körper besitzen. Stellen Sie außerdem sicher, dass sie die erforderlichen Einverständniserklärungen ausfüllen.

Erklären Sie bevor Sie fortfahren, dass sie mehrere Stille Kurzvideos im Scanner sehen, die einen Sound in ihrem Geist hervorrufen kann. Bitten Sie sie, konzentrieren sich auf die imaginierte Klänge, "hören" sie so gut wie sie können und noch für die Dauer des Vorgangs zu bleiben.

Nun bereiten Sie die Teilnehmer des Scanners eingeben. Um diese Schritte im Detail zu sehen, finden Sie ein weiteres fMRI video produziert in dieser Sammlung.

Nach Vorbereitung Ausrichten des Teilnehmers und schicken sie in die Bohrung. Im Nebenzimmer sammeln Sie zuerst einen hochauflösenden anatomischen Scan. Synchronisieren Sie Beginn der Stille Videopräsentation, mit dem Start des funktionellen Scans.

Um spärlich zeitliche Probenahme zu erreichen, die Erfassungszeit eines MRI-Volumens auf 2 gesetzt s, mit einer 9-s Verzögerung dazwischen.

Wichtiger ist, koordinieren Beginn der jedes 5-s-video-Clip 4 beginnen s nach die früheren MRT Akquisition beginnt die hämodynamische Aktivität zu erfassen, die bis zur Mitte des Films entspricht.

Jedes Video 10 Mal in zufälliger Reihenfolge zu präsentieren, erzeugen eine Scan-Sitzung, die 5,5 min. dauert diese funktionelle Übernahme Sequenz noch dreimal wiederholen.

Nachdem die vier funktionale Scans durchgeführt wurden, bringen Sie die Teilnehmer aus dem Scanner, und besprechen sie zum Abschluss der Studie.

Um interessante Regionen zu definieren, verwenden Sie die hochauflösende anatomische Scans von jedem Teilnehmer und Trace Voxel auf der Oberfläche des Schläfenlappens, die entsprechen zu den frühen auditorischen Cortex, auch bekannt als das Planum Temporale. Darüber hinaus erstellen Sie eine Maske mit Voxel in der Frontallappen, die als der Kontrollregion verwendet wird.

Dann, Vorverarbeitung der Daten durch Ausführen der Bewegungskorrektur um Bewegungsartefakte und zeitliche Filterung entfernen Signal Drifts zu reduzieren.

Als nächstes die Daten in zwei Gruppen unterteilen: Ausbildung und Prüfung. In einem Datensatz, eine Klassifizierung zu trainieren – ein Support Vektor Maschinen Algorithmus – sicherstellen, dass Daten aus den zwei Gehirnregionen getrennt für jedes Fach zu halten.

In der anderen Gruppe zu bewerten, was den Klassifikator gelernt hat – seine Fähigkeit, die Identität der unbeschrifteten Daten richtig erraten – und notieren Sie den Algorithmus Genauigkeit über läuft. Führen Sie diesen Vorgang insgesamt vier Mal Weglassen einer funktionalen Scan als Testdaten jedes Mal – einen Prozess namens Kreuzvalidierung.

Um die Daten zu visualisieren, die gemittelten Klassifikator Genauigkeiten graph über die vier Kreuzvalidierung Falten für jeden Teilnehmer.

Zeichnen diese Durchschnittswerte für beide der primären Region von Interesse – das Planum Temporale — und die Kontrollzone — frontal Pole – fokale Spezifität des Klassifikators, das Ausmaß zu vergleichen, die ein bestimmten Bereich, wie z. B. den auditorischen Cortex voraussichtlich selektiv auditive Phantasie beteiligt sein.

In diesem Fall führen Sie eine nicht-parametrische Statistik, Wilcoxon Signed-Rank-Test, zum Testen der Leistung gegen die Chance, das sind 33 %. Beachten Sie, dass die durchschnittliche Klassifikator Genauigkeit im auditorischen Kortex 59 %, war das ist deutlich anders als Chance-Ebene.

Im Gegensatz dazu lag die mittlere Leistung in der frontalen Pol-Maske 33 %, die unterscheidet sich nicht wesentlich von Chance.

Darüber hinaus beachten Sie, dass die Sichter Leistung über Individuen variiert. Sehen Sie nachdem Sie mithilfe eines Permutation Tests eine neue statistische Schwellenwert von 42 %, dass 19 von 20 Probanden Genauigkeitswerte deutlich größer als diese Ebene mit Voxel aus dem Planum Temporale hatte, während keiner Leistung größer als Chance mit Voxel aus der frontalen Pole hatte.

Insgesamt bedeuten diese Ergebnisse, dass MVPA Techniken genau vorausgesagt, welcher der drei Töne Teilnehmer vorstellen, wurden anhand von Mustern der neuronalen Aktivität. Solche Vorhersagen wurden nur innerhalb der auditorischen Kortex, was darauf hindeutet, dass akustische Inhalte im gesamten Gehirn nicht weltweit vertreten ist.

Nun, da Sie mit Multi-Voxel Muster Analyse um auditive Bilder zu studieren anwenden vertraut sind, schauen wir wie Neuropsychologen multivariate Techniken verwenden, um einen futuristischen Ansatz zum Gedankenlesen zu gelangen – die Entschlüsselung des mentalen Zuständen – in anderen Domänen.

Klassifikatoren wurde auf fMRI Daten aus der ventralen temporalen Kortex vorherzusagen, die Arten von Objekten Teilnehmer betrachtet Unterscheidung zwischen Häuser und Flächen, zum Beispiel, verwendet.

Angesichts dieser noch einen Schritt weiter, ist es sogar möglich, vorherzusagen, ob das Individuum würde dieses Haus kaufen oder finden Sie den Ansprechpartner angenehm. So wie das klingt gruselig, diese Neuromarketing Implikationen sind nicht an den Haaren herbeigezogen!

Der gleiche Ansatz könnte auch verwendet werden, um entweder emotionale Zustände zu erkennen, nachdem gerade eine Show – Erkenntnis, dass ein beängstigender Film in der Tat erschreckend ist – oder sogar das Filmgenre; Beispielsweise könnte die erschreckende Flick die Amygdala vorhersagbarer über eine kontemplative ausüben, die zuverlässig den präfrontalen Kortex verbunden wäre.

Darüber hinaus könnte Gehirn-Computer Schnittstellen mentale Zustände in Signale umzuwandeln, die Kommunikation, im Falle von Personen, die in der Logopädie oder Bewegungen, für diejenigen, die von Amputation einer Extremität erlitten haben verbessern würde.

Sie sah nur Jupiters Video auf auditive Bilder mit Multi-Voxel Muster Analyse zu verstehen. Jetzt haben Sie ein gutes Verständnis wie Planung und Durchführung von auditiven Bilder Experiment in Verbindung mit funktionellen Neuroimaging und schließlich analysieren und interpretieren bestimmte Muster der Hirnaktivität.

Danke fürs Zuschauen!

Read Article

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
simple hit counter