Decodierung auditive Bilder mit Multivoxel Muster-Analyse

Neuropsychology

Your institution must subscribe to JoVE's Psychology collection to access this content.

Fill out the form below to receive a free trial or learn more about access:

Welcome!

Enter your email below to get your free 1 hour trial to JoVE!





By clicking "Submit", you agree to our policies.

 

Overview

Quelle: Laboratorien der Jonas T. Kaplan und der Sarah I. Gimbel-Universität von Südkalifornien

Stellen Sie sich den Klang einer Glocke läuten. Was im Gehirn passiert, wenn wir zaubern ein Geräusch, wie dies in der "inneren Ohr?" Es gibt zunehmend Beweise, dass das Gehirn nutzt die gleichen Mechanismen für die Phantasie, die für die Wahrnehmung verwendet. 1 z. B. als visuelle Bilder vorstellen, die Sehrinde aktiviert wird, und wenn Geräusche vorstellen, der auditorische Cortex engagiert. Inwieweit sind diese Aktivierungen des sensorischen Cortex jedoch spezifisch auf den Inhalt unserer Vorstellungskraft?

Eine Technik, die dazu beitragen kann, um diese Frage zu beantworten ist Multivoxel Muster Analyse (MPVA), in welche funktionalen Gehirn Bilder mit maschinellem Lernen Techniken analysiert werden. 2-3 in ein MPVA Experiment, bilden wir einen Maschine Lernalgorithmus, unter die verschiedenen Muster von Aktivitäten hervorgerufen durch verschiedene Reize zu unterscheiden. Zum Beispiel könnten wir Fragen, ob vorstellen, den Klang einer Glocke verschiedene Muster von Aktivitäten im auditorischen Kortex verglichen produziert mit vorstellen das Geräusch einer Kettensäge oder der Klang einer Violine. Wenn unsere Sichter das Gehirn Aktivitätsmuster erzeugt durch diese drei Reize voneinander zu unterscheiden lernt, können dann wir feststellen, dass der auditorische Cortex auf unterschiedliche Weise von jedem Reiz aktiviert ist. Ein Weg, diese Art von Experiment denken ist statt einer Frage einfach über die Aktivität einer Region des Gehirns, eine Frage über den Informationsgehalt dieser Region.

In diesem Experiment, basierend auf Meyer Et Al.wird 2010,4 wir cue-Teilnehmer, sich vorzustellen, dass mehrere Geräusche indem sie mit stiller Videos, die auditive Bilder evozieren dürften. Da wir interessiert die subtile Muster hervorgerufen durch Phantasie im auditorischen Kortex zu messen sind, ist es vorzuziehen, wenn die Reize in völliger Stille, ohne Störungen durch die lauten Geräusche der fMRI-Scanner dargestellt werden. Um dies zu erreichen, verwenden wir eine besondere Art von MRI Funktionsablauf spärlich zeitliche Sampling bekannt. Bei diesem Ansatz ist ein einzigen fMRI Volumen erworbenen 4-5 s nach jedem Reiz, zeitlich auf den Gipfel der hämodynamische Antwort zu erfassen.

Cite this Video

JoVE Science Education Database. Neuropsychology. Decodierung auditive Bilder mit Multivoxel Muster-Analyse. JoVE, Cambridge, MA, (2017).

Procedure

1. Teilnehmer Rekrutierung

  1. 20 Teilnehmer zu rekrutieren.
    1. Teilnehmer sollten Rechtshänder und haben keine Geschichte der neurologische oder psychische Störungen.
    2. Teilnehmer müssen normal oder korrigiert-zu-normale Vision um sicherzustellen, dass sie in der Lage, die visuelle Hinweise richtig zu sehen sein werden.
    3. Teilnehmer sollten nicht Metall in ihrem Körper haben. Dies ist eine wichtige Voraussetzung aufgrund des hohen Magnetfeldes fMRI beteiligt.
    4. Teilnehmer sollten nicht unter Klaustrophobie leiden, da die fMRT erfordert liegen in dem kleinen Raum des Scanners trug.

2. Pre-Scan-Verfahren

  1. Prescan Schreibarbeit.
  2. Wenn die Teilnehmer ihre fMRI-Scans kommen, weisen Sie sie zum ersten füllen ein Metallsieb Form, um sicherzustellen, dass sie keine Kontraindikationen zur MRT haben, eine zufällige Ergebnisse Formular Zustimmung für ihre Scan von einem Radiologen betrachtet werden, und eine Einverständniserklärung über die Risiken und Vorteile der Studie.
  3. Bereiten Sie die Teilnehmer in den Scanner zu gehen, indem Sie ihren Körper, einschließlich Gürtel, Brieftaschen, Handys, Haarspangen, Münzen und Schmuck aus Metall entfernen.

3. Geben Sie Anweisungen für die Teilnehmer.

  1. Sagen Sie den Teilnehmern, dass sie eine Serie von mehreren kurzen Videos innerhalb des Scanners zu sehen. Diese Videos werden stumm, aber sie können evozieren einen Sound in ihre "inneren Ohr." Bitten Sie die Teilnehmer, Fokus auf und fördern Sie diese auditive Bilder, zu versuchen, "hören" so gut wie sie können.
  2. Betonen Sie die Teilnehmer halten ihren Kopf während des Scans.

4. Legen Sie den Teilnehmer in den Scanner.

  1. Geben Sie die Teilnehmer Ohrstöpsel schützen ihre Ohren vor dem Lärm der Scanner und Ohr Handys zu tragen, so dass sie den Experimentator während des Scans hören, und Sie liegen auf dem Bett mit ihrem Kopf in der Spule.
  2. Geben Sie die Teilnehmer den Notfall Squeeze-Ball und weisen sie es im Notfall während des Scans zu quetschen.
  3. Einsatz-Schaumstoff-Pads, die Teilnehmer zu sichern den Kopf in der Spule zu vermeiden übermäßige Bewegung während des Scans, und erinnern die Teilnehmer, dass es sehr wichtig, während des Scans als auch die kleinsten Bewegungsunschärfe möglichst ruhig bleiben die Bilder.

5. Datenerhebung

  1. Sammeln Sie hochauflösende anatomische Scan.
  2. Starten Sie den Scanvorgang funktionsfähig.
    1. Beginn der Reizdarbietung mit dem Start des Scanners zu synchronisieren.
    2. Um die spärlichen zeitliche Probenahme zu erreichen, legen Sie die Erfassungszeit eines MRI-Volume auf 2 s, mit einer 9-s Verzögerung zwischen Volumen übernahmen.
    3. Geschenk der Stille Videos über einen Laptop an einen Projektor angeschlossen. Der Teilnehmer hat einen Spiegel über ihre Augen reflektiert, dass ein Bildschirm auf der Rückseite des Scanners langweilen.
    4. Beginn der jedes 5-s-video-Clip 4 beginnen zu synchronisieren s nach die früheren MRT Akquisition beginnt. Dadurch wird sichergestellt, dass die nächste MRT Lautstärke erworbenen 7 s nach dem Start des video-Clips, um die hämodynamische Aktivität zu erfassen, die bis zur Mitte des Films entspricht.
    5. Stellen drei verschiedene Stille Videos, die lebendige akustische Bilder hervorrufen: eine Glocke schwingt hin und her, eine Kettensäge schneiden durch einen Baum, und eine Person, eine Geige zu spielen.
    6. Präsentieren Sie in jeder funktionalen Scan jedes Video 10 Mal in zufälliger Reihenfolge. Mit jeder Studie dauert 11 s, dadurch wird ein Scan 330 s (5,5 min) lang.
    7. Durchführen Sie 4 funktionelle Scans.

(6) Datenanalyse

  1. Definieren einer Region of Interest (ROI).
    1. Verwenden Sie die hochauflösende anatomische Scan eines jeden Teilnehmers die Voxel zu verfolgen, die die frühen auditorischen Kortex (Abbildung 1) entsprechen. Dies entspricht der Oberfläche des Schläfenlappens, das Planum Temporale bezeichnet. Verwenden Sie die anatomischen Gegebenheiten des Gehirn jede Person, um eine Maske zu erstellen, die spezifisch für ihre auditorischen Kortex.

Figure 1
Abbildung 1: Region des Interesses Tracing. Die Oberfläche des Planum Temporale hat auf hochauflösende anatomische Bild des Teilnehmers verfolgt worden und ist hier in blau angezeigt. Grün ist die Control-Maske der vorderen Stange. Diese Voxel wird für MVPA Analyse verwendet werden.

  1. Vorverarbeitung der Daten.
    1. Führen Sie Bewegungskorrektur um Bewegungsartefakte zu reduzieren.
    2. Zeitliche Filterung um Signal Drifts zu entfernen.
  2. Trainieren und Testen des Klassifikator-Algorithmus.
    1. Teilen Sie die Daten in Trainings- und Testsätze. Trainingsdaten werden verwendet, um die Klassifizierung zu trainieren, und die Links-Out Testdaten werden verwendet werden, um zu beurteilen, was es gelernt hat. Um die Unabhängigkeit der Trainings- und Testdaten zu maximieren, lassen Sie Daten aus einem funktionalen Scan als Testsatz.
    2. Einen Support Vector Machine-Algorithmus auf die beschrifteten Trainingsdaten auditorischen Kortex in jedem Fach zu trainieren. Testen Sie der Sichter Fähigkeit zu erraten, die Identität der unbeschrifteten Testsatz und zeichnen Sie der Sichter Genauigkeit auf.
    3. Wiederholen Sie diesen Vorgang 4 Mal, jeder Scan als Testdaten jedes Mal weglassen. Diese Art von Verfahren, in dem jeder Abschnitt der Daten einmal ausgelassen ist nennt man Kreuzvalidierung.
    4. Kombinieren Sie Klassifikator Genauigkeiten über 4 Kreuzvalidierung Falten durch Mittelwertbildung.
  3. Statistische Tests
    1. Um festzustellen, ob die Sichter leistungsfähiger ist als Chance (33 %), können wir Ergebnisse auf Gruppenebene dem Zufall vergleichen. Um dies zu tun, sammeln Sie die Genauigkeiten für jedes Fach, und testen Sie, ob die Verteilung von Chance mit einem nicht-parametrische Wilcoxon Signed-Rank-Test unterscheidet.
    2. Wir können auch Fragen, ob die Klassifizierung als Chance für jeden einzelnen leistungsfähiger ist. Um die Wahrscheinlichkeit einer bestimmten Genauigkeit Ebene in Möglichkeit Daten zu ermitteln, erstellen Sie eine null Verteilung von Ausbildung und Prüfung des MVPA Algorithmus auf Daten, deren Bezeichnungen nach dem Zufallsprinzip gemischt worden haben. Permutiert die Etiketten 10.000 Mal eine null Verteilung der Genauigkeitsangaben zu erstellen, und dann vergleichen Sie die tatsächlichen Genauigkeitswert zu dieser Verteilung.
    3. Um die Besonderheit der Informationen innerhalb der auditorischen Kortex zu demonstrieren, wir trainieren und Testen der Sichter auf Voxel aus einem anderen Ort im Gehirn. Hier verwenden wir eine Maske aus der frontalen Pole, eine probabilistische Atlas entnommen und angepasst jedes Thema individuellen Gehirns verzogen.

Auditive Bildsprache ist ein Prozess, der gibt Anlass zu hören von Klängen, auch wenn keine äußere auditive Reize vorhanden sind.

Denken Sie beispielsweise an ein Handy klingeln hören. Während Informationen im Gedächtnis dieses imaginären Ereignis zugrunde liegt, Anhaltspunkte dafür, dass eines individuellen Gehirns verwendet die gleichen Mechanismen für Phantasie als diejenigen, die die tatsächliche Wahrnehmung beteiligt sind.

Nur bei der Vorstellung das Klingeln, werden Regionen innerhalb der auditorischen Kortex aktiviert. Jedoch, obwohl dies durch akustische Reize wahr ist, wie Klänge sind kodiert, um die detaillierte Bearbeitung von verschiedene Klänge zu ermöglichen – wie die Unterscheidung zwischen einer Türklingel läuten und ein Lied im Radio gespielt – ist eine wichtige Frage.

Basierend auf früheren Arbeiten von Meyer und Kollegen, dieses Video veranschaulicht, wie funktionellen Magnetresonanztomographie zu kombinieren – fMRI — mit Präsentationen von verschiedenen stillen Videos zu untersuchen, wie das Gehirn reagiert auf akustische Bilder.

Wir werden auch beschreiben, wie eine Methode namens Multi-Voxel Muster Analyse verwenden — MVPA kurz — vorherzusagen, was Themen vorgestellt haben, durch die Analyse von Mustern der Aktivierung während fMRT-Sitzungen erhalten.

In diesem Experiment Teilnehmer liegen in einem fMRI-Scanner und eine Reihe von stillen Videos gezeigt werden. Jeweils – es ist ein Hahn krähen, eine Kettensäge, die durch einen Baum schneiden, ob eine Person spielt ein Klavier – unverwechselbar und lebendige auditiven Bilder hervorruft und sie werden aufgefordert, die Geräusche während jeder einzelnen Präsentation vorstellen.

Die bildgebenden Verfahren der Erwerb stützt sich auf spärlich zeitliche Probenahme, wobei ein einzelnes fMRT-Volume 4-5 erworben wird s nach jedem Reiz präsentiert wird. Dieser Zeitpunkt fängt die Spitze der hämodynamische Antwort und verringert die Wahrscheinlichkeit, dass Signale durch Scanner Lärm maskiert werden würde.

Jeder gedacht, Ton wird voraussichtlich subtilen aber charakteristischen Muster der neuronalen Aktivität, speziell im auditorischen Kortex zu induzieren. Muster ist hier das Schlüsselwort: verwendet einen Univariate Ansatz, der klassische Weg, um diese Daten zu analysieren wo die einzelnen Voxel – was einige Niveau der Aktivierung – werden in einem einzigen Durchschnitt reduziert.

Diese Werte liefert werden dann über Klänge verglichen und nicht signifikante Unterschiede Aktivierungsniveaus.

Stattdessen mit einer multivariaten Analyse, mehrere Voxel sind ausgelegt für jeden Sound und Aktivierungsniveaus gemeinsam über alle Voxel verglichen werden können – einen Beitrag zu einer einzigartigen Gesamtbild für jeden Klang vorstellen.

Mit diesem Multi-Voxel Muster Analyse oder MVPA, Ansatz, wenn die Muster tatsächlich empfindlich auf bestimmte Inhalte, ist dann möglich, dass sie verwendet werden könnte, um den ursprünglichen Reiz vorherzusagen. Das ist richtig – MVPA wird oft als Gedankenlesen Technik!

Um diese Vorhersage Aspekt zu erreichen, muss eine intensivere Bearbeitung durchgeführt werden, nach der Erfassung der Teilnehmerdaten, die unterteilt sind in Trainings- und Testsätze.

Gekennzeichnete Daten aus dem Trainingssatz unterliegen zuerst Computerlernen Berechnungen, insbesondere eine Support Vector Machine-Algorithmus. Dieser Prozess wird verwendet, um genau klassifizieren Sie die Daten durch die Anerkennung der Funktionen in den neuralen Mustern, die die drei Arten der Töne voneinander unterscheiden können.

Nach der Sichter Features, um genau die Typen identifizieren gelernt hat, wird es mit unbeschriftete Daten aus dem Testsatz, und seine Vermutungen sind dann im Vergleich zu den richtigen Reize Etiketten.

In diesem Fall die Klassifizierung Leistung dient als abhängige Variable – als der Sichter Genauigkeit erfasst – die ist auch im Vergleich zu Voxel an einem anderen Ort im Gehirn, wie z. B. den frontalen Pol hervorgerufen.

Der Sichter soll die Identifizierung der auditiven Bilder, offenbart die Bedeutung der MVPA bei der Aufdeckung von Content-spezifische Aktivität innerhalb der auditorischen Kortex vorherzusagen.

Pro experimentelle und Sicherheitsbedenken, stellen Sie sicher, dass alle Teilnehmer sind Rechtshänder, normal oder korrigiert-zu-normale Vision, keine Geschichte von neurologischen Erkrankungen oder Klaustrophobie, und keines Metall in ihrem Körper besitzen. Stellen Sie außerdem sicher, dass sie die erforderlichen Einverständniserklärungen ausfüllen.

Erklären Sie bevor Sie fortfahren, dass sie mehrere Stille Kurzvideos im Scanner sehen, die einen Sound in ihrem Geist hervorrufen kann. Bitten Sie sie, konzentrieren sich auf die imaginierte Klänge, "hören" sie so gut wie sie können und noch für die Dauer des Vorgangs zu bleiben.

Nun bereiten Sie die Teilnehmer des Scanners eingeben. Um diese Schritte im Detail zu sehen, finden Sie ein weiteres fMRI video produziert in dieser Sammlung.

Nach Vorbereitung Ausrichten des Teilnehmers und schicken sie in die Bohrung. Im Nebenzimmer sammeln Sie zuerst einen hochauflösenden anatomischen Scan. Synchronisieren Sie Beginn der Stille Videopräsentation, mit dem Start des funktionellen Scans.

Um spärlich zeitliche Probenahme zu erreichen, die Erfassungszeit eines MRI-Volumens auf 2 gesetzt s, mit einer 9-s Verzögerung dazwischen.

Wichtiger ist, koordinieren Beginn der jedes 5-s-video-Clip 4 beginnen s nach die früheren MRT Akquisition beginnt die hämodynamische Aktivität zu erfassen, die bis zur Mitte des Films entspricht.

Jedes Video 10 Mal in zufälliger Reihenfolge zu präsentieren, erzeugen eine Scan-Sitzung, die 5,5 min. dauert diese funktionelle Übernahme Sequenz noch dreimal wiederholen.

Nachdem die vier funktionale Scans durchgeführt wurden, bringen Sie die Teilnehmer aus dem Scanner, und besprechen sie zum Abschluss der Studie.

Um interessante Regionen zu definieren, verwenden Sie die hochauflösende anatomische Scans von jedem Teilnehmer und Trace Voxel auf der Oberfläche des Schläfenlappens, die entsprechen zu den frühen auditorischen Cortex, auch bekannt als das Planum Temporale. Darüber hinaus erstellen Sie eine Maske mit Voxel in der Frontallappen, die als der Kontrollregion verwendet wird.

Dann, Vorverarbeitung der Daten durch Ausführen der Bewegungskorrektur um Bewegungsartefakte und zeitliche Filterung entfernen Signal Drifts zu reduzieren.

Als nächstes die Daten in zwei Gruppen unterteilen: Ausbildung und Prüfung. In einem Datensatz, eine Klassifizierung zu trainieren – ein Support Vektor Maschinen Algorithmus – sicherstellen, dass Daten aus den zwei Gehirnregionen getrennt für jedes Fach zu halten.

In der anderen Gruppe zu bewerten, was den Klassifikator gelernt hat – seine Fähigkeit, die Identität der unbeschrifteten Daten richtig erraten – und notieren Sie den Algorithmus Genauigkeit über läuft. Führen Sie diesen Vorgang insgesamt vier Mal Weglassen einer funktionalen Scan als Testdaten jedes Mal – einen Prozess namens Kreuzvalidierung.

Um die Daten zu visualisieren, die gemittelten Klassifikator Genauigkeiten graph über die vier Kreuzvalidierung Falten für jeden Teilnehmer.

Zeichnen diese Durchschnittswerte für beide der primären Region von Interesse – das Planum Temporale — und die Kontrollzone — frontal Pole – fokale Spezifität des Klassifikators, das Ausmaß zu vergleichen, die ein bestimmten Bereich, wie z. B. den auditorischen Cortex voraussichtlich selektiv auditive Phantasie beteiligt sein.

In diesem Fall führen Sie eine nicht-parametrische Statistik, Wilcoxon Signed-Rank-Test, zum Testen der Leistung gegen die Chance, das sind 33 %. Beachten Sie, dass die durchschnittliche Klassifikator Genauigkeit im auditorischen Kortex 59 %, war das ist deutlich anders als Chance-Ebene.

Im Gegensatz dazu lag die mittlere Leistung in der frontalen Pol-Maske 33 %, die unterscheidet sich nicht wesentlich von Chance.

Darüber hinaus beachten Sie, dass die Sichter Leistung über Individuen variiert. Sehen Sie nachdem Sie mithilfe eines Permutation Tests eine neue statistische Schwellenwert von 42 %, dass 19 von 20 Probanden Genauigkeitswerte deutlich größer als diese Ebene mit Voxel aus dem Planum Temporale hatte, während keiner Leistung größer als Chance mit Voxel aus der frontalen Pole hatte.

Insgesamt bedeuten diese Ergebnisse, dass MVPA Techniken genau vorausgesagt, welcher der drei Töne Teilnehmer vorstellen, wurden anhand von Mustern der neuronalen Aktivität. Solche Vorhersagen wurden nur innerhalb der auditorischen Kortex, was darauf hindeutet, dass akustische Inhalte im gesamten Gehirn nicht weltweit vertreten ist.

Nun, da Sie mit Multi-Voxel Muster Analyse um auditive Bilder zu studieren anwenden vertraut sind, schauen wir wie Neuropsychologen multivariate Techniken verwenden, um einen futuristischen Ansatz zum Gedankenlesen zu gelangen – die Entschlüsselung des mentalen Zuständen – in anderen Domänen.

Klassifikatoren wurde auf fMRI Daten aus der ventralen temporalen Kortex vorherzusagen, die Arten von Objekten Teilnehmer betrachtet Unterscheidung zwischen Häuser und Flächen, zum Beispiel, verwendet.

Angesichts dieser noch einen Schritt weiter, ist es sogar möglich, vorherzusagen, ob das Individuum würde dieses Haus kaufen oder finden Sie den Ansprechpartner angenehm. So wie das klingt gruselig, diese Neuromarketing Implikationen sind nicht an den Haaren herbeigezogen!

Der gleiche Ansatz könnte auch verwendet werden, um entweder emotionale Zustände zu erkennen, nachdem gerade eine Show – Erkenntnis, dass ein beängstigender Film in der Tat erschreckend ist – oder sogar das Filmgenre; Beispielsweise könnte die erschreckende Flick die Amygdala vorhersagbarer über eine kontemplative ausüben, die zuverlässig den präfrontalen Kortex verbunden wäre.

Darüber hinaus könnte Gehirn-Computer Schnittstellen mentale Zustände in Signale umzuwandeln, die Kommunikation, im Falle von Personen, die in der Logopädie oder Bewegungen, für diejenigen, die von Amputation einer Extremität erlitten haben verbessern würde.

Sie sah nur Jupiters Video auf auditive Bilder mit Multi-Voxel Muster Analyse zu verstehen. Jetzt haben Sie ein gutes Verständnis wie Planung und Durchführung von auditiven Bilder Experiment in Verbindung mit funktionellen Neuroimaging und schließlich analysieren und interpretieren bestimmte Muster der Hirnaktivität.

Danke fürs Zuschauen!

Results

Die durchschnittliche Klassifikator Genauigkeit in das Planum Temporale über alle 20 Teilnehmer lag bei 59 %. Nach der Wilcoxon Signed-Rank-Test ist das deutlich anders von 33 % Chance. Die mittlere Leistung in der frontalen Pol-Maske war 32,5 %, das ist nicht größer als Chance (Abbildung 2).

Figure 2
Abbildung 2. Klassifizierung-Leistung in jeder Teilnehmer. Für die drei-Wege-Klassifizierung beträgt Chance Leistung 33 %. Laut einer Permutationstest, das alpha-Niveau von p < 0,05 entspricht 42 %.

Die Permutationstest ergab, dass nur 5 % der Permutationen Genauigkeit mehr als 42 % erreicht; Somit ist unsere statistische Schwelle für einzelne Fächer 42 %. 19 der 20 Probanden hatten Klassifikator Leistung signifikant größer als Chance mit Voxel aus dem Planum Temporale, während keiner Leistung größer als Chance mit Voxel aus der frontalen Pole hatte.

So sind wir in der Lage, erfolgreich von Aktivitätsmuster im auditorischen Kortex vorherzusagen, die von den drei Klängen der Teilnehmer stellte. Konnten wir nicht machen diese Vorhersage basiert auf Aktivitätsmuster aus der frontalen Pole, was darauf hindeutet, dass die Informationen nicht global im gesamten Gehirn.

Applications and Summary

MVPA ist ein nützliches Werkzeug für das Verständnis, wie das Gehirn Informationen darstellt. Anstatt den zeitlichen Verlauf von jedem Voxel getrennt wie in einem traditionellen Aktivierungsanalyse, hält diese Technik Muster über viele Voxel auf einmal bietet erhöhten Empfindlichkeit gegenüber Univariate Techniken. Eine multivariate Analyse deckt oft Unterschiede, wo eine Univariate Technik nicht in der Lage ist. In diesem Fall erfuhren wir etwas über die Mechanismen von mentalen Bildern durch Sondierung den Informationsgehalt in einem bestimmten Bereich des Gehirns, den auditorischen Cortex. Die Content-spezifische Art der diese Aktivierungsmuster wäre schwierig mit univariaten Ansätze zu testen.

Es gibt weitere Vorteile, die aus Richtung der Inferenz in dieser Art von Analyse kommen. In MVPA wir mit Muster der Hirnaktivität starten und versuchen, etwas über den psychischen Zustand des Teilnehmers abzuleiten. Diese Art von "Gehirn-Lesung" Ansatz führen zu die Entwicklung von Gehirn-Computer Schnittstellen und kann neue Möglichkeiten für die Kommunikation mit Menschen mit Sprachstörung oder Bewegung.

References

  1. Kosslyn, S.M., Ganis, G. & Thompson, W.L. Neural foundations of imagery. Nat Rev Neurosci 2, 635-642 (2001).
  2. Haynes, J.D. & Rees, G. Decoding mental states from brain activity in humans. Nat Rev Neurosci 7, 523-534 (2006).
  3. Norman, K.A., Polyn, S.M., Detre, G.J. & Haxby, J.V. Beyond mind-reading: multi-voxel pattern analysis of fMRI data. Trends Cogn Sci 10, 424-430 (2006).
  4. Meyer, K., et al. Predicting visual stimuli on the basis of activity in auditory cortices. Nat Neurosci 13, 667-668 (2010).

1. Teilnehmer Rekrutierung

  1. 20 Teilnehmer zu rekrutieren.
    1. Teilnehmer sollten Rechtshänder und haben keine Geschichte der neurologische oder psychische Störungen.
    2. Teilnehmer müssen normal oder korrigiert-zu-normale Vision um sicherzustellen, dass sie in der Lage, die visuelle Hinweise richtig zu sehen sein werden.
    3. Teilnehmer sollten nicht Metall in ihrem Körper haben. Dies ist eine wichtige Voraussetzung aufgrund des hohen Magnetfeldes fMRI beteiligt.
    4. Teilnehmer sollten nicht unter Klaustrophobie leiden, da die fMRT erfordert liegen in dem kleinen Raum des Scanners trug.

2. Pre-Scan-Verfahren

  1. Prescan Schreibarbeit.
  2. Wenn die Teilnehmer ihre fMRI-Scans kommen, weisen Sie sie zum ersten füllen ein Metallsieb Form, um sicherzustellen, dass sie keine Kontraindikationen zur MRT haben, eine zufällige Ergebnisse Formular Zustimmung für ihre Scan von einem Radiologen betrachtet werden, und eine Einverständniserklärung über die Risiken und Vorteile der Studie.
  3. Bereiten Sie die Teilnehmer in den Scanner zu gehen, indem Sie ihren Körper, einschließlich Gürtel, Brieftaschen, Handys, Haarspangen, Münzen und Schmuck aus Metall entfernen.

3. Geben Sie Anweisungen für die Teilnehmer.

  1. Sagen Sie den Teilnehmern, dass sie eine Serie von mehreren kurzen Videos innerhalb des Scanners zu sehen. Diese Videos werden stumm, aber sie können evozieren einen Sound in ihre "inneren Ohr." Bitten Sie die Teilnehmer, Fokus auf und fördern Sie diese auditive Bilder, zu versuchen, "hören" so gut wie sie können.
  2. Betonen Sie die Teilnehmer halten ihren Kopf während des Scans.

4. Legen Sie den Teilnehmer in den Scanner.

  1. Geben Sie die Teilnehmer Ohrstöpsel schützen ihre Ohren vor dem Lärm der Scanner und Ohr Handys zu tragen, so dass sie den Experimentator während des Scans hören, und Sie liegen auf dem Bett mit ihrem Kopf in der Spule.
  2. Geben Sie die Teilnehmer den Notfall Squeeze-Ball und weisen sie es im Notfall während des Scans zu quetschen.
  3. Einsatz-Schaumstoff-Pads, die Teilnehmer zu sichern den Kopf in der Spule zu vermeiden übermäßige Bewegung während des Scans, und erinnern die Teilnehmer, dass es sehr wichtig, während des Scans als auch die kleinsten Bewegungsunschärfe möglichst ruhig bleiben die Bilder.

5. Datenerhebung

  1. Sammeln Sie hochauflösende anatomische Scan.
  2. Starten Sie den Scanvorgang funktionsfähig.
    1. Beginn der Reizdarbietung mit dem Start des Scanners zu synchronisieren.
    2. Um die spärlichen zeitliche Probenahme zu erreichen, legen Sie die Erfassungszeit eines MRI-Volume auf 2 s, mit einer 9-s Verzögerung zwischen Volumen übernahmen.
    3. Geschenk der Stille Videos über einen Laptop an einen Projektor angeschlossen. Der Teilnehmer hat einen Spiegel über ihre Augen reflektiert, dass ein Bildschirm auf der Rückseite des Scanners langweilen.
    4. Beginn der jedes 5-s-video-Clip 4 beginnen zu synchronisieren s nach die früheren MRT Akquisition beginnt. Dadurch wird sichergestellt, dass die nächste MRT Lautstärke erworbenen 7 s nach dem Start des video-Clips, um die hämodynamische Aktivität zu erfassen, die bis zur Mitte des Films entspricht.
    5. Stellen drei verschiedene Stille Videos, die lebendige akustische Bilder hervorrufen: eine Glocke schwingt hin und her, eine Kettensäge schneiden durch einen Baum, und eine Person, eine Geige zu spielen.
    6. Präsentieren Sie in jeder funktionalen Scan jedes Video 10 Mal in zufälliger Reihenfolge. Mit jeder Studie dauert 11 s, dadurch wird ein Scan 330 s (5,5 min) lang.
    7. Durchführen Sie 4 funktionelle Scans.

(6) Datenanalyse

  1. Definieren einer Region of Interest (ROI).
    1. Verwenden Sie die hochauflösende anatomische Scan eines jeden Teilnehmers die Voxel zu verfolgen, die die frühen auditorischen Kortex (Abbildung 1) entsprechen. Dies entspricht der Oberfläche des Schläfenlappens, das Planum Temporale bezeichnet. Verwenden Sie die anatomischen Gegebenheiten des Gehirn jede Person, um eine Maske zu erstellen, die spezifisch für ihre auditorischen Kortex.

Figure 1
Abbildung 1: Region des Interesses Tracing. Die Oberfläche des Planum Temporale hat auf hochauflösende anatomische Bild des Teilnehmers verfolgt worden und ist hier in blau angezeigt. Grün ist die Control-Maske der vorderen Stange. Diese Voxel wird für MVPA Analyse verwendet werden.

  1. Vorverarbeitung der Daten.
    1. Führen Sie Bewegungskorrektur um Bewegungsartefakte zu reduzieren.
    2. Zeitliche Filterung um Signal Drifts zu entfernen.
  2. Trainieren und Testen des Klassifikator-Algorithmus.
    1. Teilen Sie die Daten in Trainings- und Testsätze. Trainingsdaten werden verwendet, um die Klassifizierung zu trainieren, und die Links-Out Testdaten werden verwendet werden, um zu beurteilen, was es gelernt hat. Um die Unabhängigkeit der Trainings- und Testdaten zu maximieren, lassen Sie Daten aus einem funktionalen Scan als Testsatz.
    2. Einen Support Vector Machine-Algorithmus auf die beschrifteten Trainingsdaten auditorischen Kortex in jedem Fach zu trainieren. Testen Sie der Sichter Fähigkeit zu erraten, die Identität der unbeschrifteten Testsatz und zeichnen Sie der Sichter Genauigkeit auf.
    3. Wiederholen Sie diesen Vorgang 4 Mal, jeder Scan als Testdaten jedes Mal weglassen. Diese Art von Verfahren, in dem jeder Abschnitt der Daten einmal ausgelassen ist nennt man Kreuzvalidierung.
    4. Kombinieren Sie Klassifikator Genauigkeiten über 4 Kreuzvalidierung Falten durch Mittelwertbildung.
  3. Statistische Tests
    1. Um festzustellen, ob die Sichter leistungsfähiger ist als Chance (33 %), können wir Ergebnisse auf Gruppenebene dem Zufall vergleichen. Um dies zu tun, sammeln Sie die Genauigkeiten für jedes Fach, und testen Sie, ob die Verteilung von Chance mit einem nicht-parametrische Wilcoxon Signed-Rank-Test unterscheidet.
    2. Wir können auch Fragen, ob die Klassifizierung als Chance für jeden einzelnen leistungsfähiger ist. Um die Wahrscheinlichkeit einer bestimmten Genauigkeit Ebene in Möglichkeit Daten zu ermitteln, erstellen Sie eine null Verteilung von Ausbildung und Prüfung des MVPA Algorithmus auf Daten, deren Bezeichnungen nach dem Zufallsprinzip gemischt worden haben. Permutiert die Etiketten 10.000 Mal eine null Verteilung der Genauigkeitsangaben zu erstellen, und dann vergleichen Sie die tatsächlichen Genauigkeitswert zu dieser Verteilung.
    3. Um die Besonderheit der Informationen innerhalb der auditorischen Kortex zu demonstrieren, wir trainieren und Testen der Sichter auf Voxel aus einem anderen Ort im Gehirn. Hier verwenden wir eine Maske aus der frontalen Pole, eine probabilistische Atlas entnommen und angepasst jedes Thema individuellen Gehirns verzogen.

Auditive Bildsprache ist ein Prozess, der gibt Anlass zu hören von Klängen, auch wenn keine äußere auditive Reize vorhanden sind.

Denken Sie beispielsweise an ein Handy klingeln hören. Während Informationen im Gedächtnis dieses imaginären Ereignis zugrunde liegt, Anhaltspunkte dafür, dass eines individuellen Gehirns verwendet die gleichen Mechanismen für Phantasie als diejenigen, die die tatsächliche Wahrnehmung beteiligt sind.

Nur bei der Vorstellung das Klingeln, werden Regionen innerhalb der auditorischen Kortex aktiviert. Jedoch, obwohl dies durch akustische Reize wahr ist, wie Klänge sind kodiert, um die detaillierte Bearbeitung von verschiedene Klänge zu ermöglichen – wie die Unterscheidung zwischen einer Türklingel läuten und ein Lied im Radio gespielt – ist eine wichtige Frage.

Basierend auf früheren Arbeiten von Meyer und Kollegen, dieses Video veranschaulicht, wie funktionellen Magnetresonanztomographie zu kombinieren – fMRI — mit Präsentationen von verschiedenen stillen Videos zu untersuchen, wie das Gehirn reagiert auf akustische Bilder.

Wir werden auch beschreiben, wie eine Methode namens Multi-Voxel Muster Analyse verwenden — MVPA kurz — vorherzusagen, was Themen vorgestellt haben, durch die Analyse von Mustern der Aktivierung während fMRT-Sitzungen erhalten.

In diesem Experiment Teilnehmer liegen in einem fMRI-Scanner und eine Reihe von stillen Videos gezeigt werden. Jeweils – es ist ein Hahn krähen, eine Kettensäge, die durch einen Baum schneiden, ob eine Person spielt ein Klavier – unverwechselbar und lebendige auditiven Bilder hervorruft und sie werden aufgefordert, die Geräusche während jeder einzelnen Präsentation vorstellen.

Die bildgebenden Verfahren der Erwerb stützt sich auf spärlich zeitliche Probenahme, wobei ein einzelnes fMRT-Volume 4-5 erworben wird s nach jedem Reiz präsentiert wird. Dieser Zeitpunkt fängt die Spitze der hämodynamische Antwort und verringert die Wahrscheinlichkeit, dass Signale durch Scanner Lärm maskiert werden würde.

Jeder gedacht, Ton wird voraussichtlich subtilen aber charakteristischen Muster der neuronalen Aktivität, speziell im auditorischen Kortex zu induzieren. Muster ist hier das Schlüsselwort: verwendet einen Univariate Ansatz, der klassische Weg, um diese Daten zu analysieren wo die einzelnen Voxel – was einige Niveau der Aktivierung – werden in einem einzigen Durchschnitt reduziert.

Diese Werte liefert werden dann über Klänge verglichen und nicht signifikante Unterschiede Aktivierungsniveaus.

Stattdessen mit einer multivariaten Analyse, mehrere Voxel sind ausgelegt für jeden Sound und Aktivierungsniveaus gemeinsam über alle Voxel verglichen werden können – einen Beitrag zu einer einzigartigen Gesamtbild für jeden Klang vorstellen.

Mit diesem Multi-Voxel Muster Analyse oder MVPA, Ansatz, wenn die Muster tatsächlich empfindlich auf bestimmte Inhalte, ist dann möglich, dass sie verwendet werden könnte, um den ursprünglichen Reiz vorherzusagen. Das ist richtig – MVPA wird oft als Gedankenlesen Technik!

Um diese Vorhersage Aspekt zu erreichen, muss eine intensivere Bearbeitung durchgeführt werden, nach der Erfassung der Teilnehmerdaten, die unterteilt sind in Trainings- und Testsätze.

Gekennzeichnete Daten aus dem Trainingssatz unterliegen zuerst Computerlernen Berechnungen, insbesondere eine Support Vector Machine-Algorithmus. Dieser Prozess wird verwendet, um genau klassifizieren Sie die Daten durch die Anerkennung der Funktionen in den neuralen Mustern, die die drei Arten der Töne voneinander unterscheiden können.

Nach der Sichter Features, um genau die Typen identifizieren gelernt hat, wird es mit unbeschriftete Daten aus dem Testsatz, und seine Vermutungen sind dann im Vergleich zu den richtigen Reize Etiketten.

In diesem Fall die Klassifizierung Leistung dient als abhängige Variable – als der Sichter Genauigkeit erfasst – die ist auch im Vergleich zu Voxel an einem anderen Ort im Gehirn, wie z. B. den frontalen Pol hervorgerufen.

Der Sichter soll die Identifizierung der auditiven Bilder, offenbart die Bedeutung der MVPA bei der Aufdeckung von Content-spezifische Aktivität innerhalb der auditorischen Kortex vorherzusagen.

Pro experimentelle und Sicherheitsbedenken, stellen Sie sicher, dass alle Teilnehmer sind Rechtshänder, normal oder korrigiert-zu-normale Vision, keine Geschichte von neurologischen Erkrankungen oder Klaustrophobie, und keines Metall in ihrem Körper besitzen. Stellen Sie außerdem sicher, dass sie die erforderlichen Einverständniserklärungen ausfüllen.

Erklären Sie bevor Sie fortfahren, dass sie mehrere Stille Kurzvideos im Scanner sehen, die einen Sound in ihrem Geist hervorrufen kann. Bitten Sie sie, konzentrieren sich auf die imaginierte Klänge, "hören" sie so gut wie sie können und noch für die Dauer des Vorgangs zu bleiben.

Nun bereiten Sie die Teilnehmer des Scanners eingeben. Um diese Schritte im Detail zu sehen, finden Sie ein weiteres fMRI video produziert in dieser Sammlung.

Nach Vorbereitung Ausrichten des Teilnehmers und schicken sie in die Bohrung. Im Nebenzimmer sammeln Sie zuerst einen hochauflösenden anatomischen Scan. Synchronisieren Sie Beginn der Stille Videopräsentation, mit dem Start des funktionellen Scans.

Um spärlich zeitliche Probenahme zu erreichen, die Erfassungszeit eines MRI-Volumens auf 2 gesetzt s, mit einer 9-s Verzögerung dazwischen.

Wichtiger ist, koordinieren Beginn der jedes 5-s-video-Clip 4 beginnen s nach die früheren MRT Akquisition beginnt die hämodynamische Aktivität zu erfassen, die bis zur Mitte des Films entspricht.

Jedes Video 10 Mal in zufälliger Reihenfolge zu präsentieren, erzeugen eine Scan-Sitzung, die 5,5 min. dauert diese funktionelle Übernahme Sequenz noch dreimal wiederholen.

Nachdem die vier funktionale Scans durchgeführt wurden, bringen Sie die Teilnehmer aus dem Scanner, und besprechen sie zum Abschluss der Studie.

Um interessante Regionen zu definieren, verwenden Sie die hochauflösende anatomische Scans von jedem Teilnehmer und Trace Voxel auf der Oberfläche des Schläfenlappens, die entsprechen zu den frühen auditorischen Cortex, auch bekannt als das Planum Temporale. Darüber hinaus erstellen Sie eine Maske mit Voxel in der Frontallappen, die als der Kontrollregion verwendet wird.

Dann, Vorverarbeitung der Daten durch Ausführen der Bewegungskorrektur um Bewegungsartefakte und zeitliche Filterung entfernen Signal Drifts zu reduzieren.

Als nächstes die Daten in zwei Gruppen unterteilen: Ausbildung und Prüfung. In einem Datensatz, eine Klassifizierung zu trainieren – ein Support Vektor Maschinen Algorithmus – sicherstellen, dass Daten aus den zwei Gehirnregionen getrennt für jedes Fach zu halten.

In der anderen Gruppe zu bewerten, was den Klassifikator gelernt hat – seine Fähigkeit, die Identität der unbeschrifteten Daten richtig erraten – und notieren Sie den Algorithmus Genauigkeit über läuft. Führen Sie diesen Vorgang insgesamt vier Mal Weglassen einer funktionalen Scan als Testdaten jedes Mal – einen Prozess namens Kreuzvalidierung.

Um die Daten zu visualisieren, die gemittelten Klassifikator Genauigkeiten graph über die vier Kreuzvalidierung Falten für jeden Teilnehmer.

Zeichnen diese Durchschnittswerte für beide der primären Region von Interesse – das Planum Temporale — und die Kontrollzone — frontal Pole – fokale Spezifität des Klassifikators, das Ausmaß zu vergleichen, die ein bestimmten Bereich, wie z. B. den auditorischen Cortex voraussichtlich selektiv auditive Phantasie beteiligt sein.

In diesem Fall führen Sie eine nicht-parametrische Statistik, Wilcoxon Signed-Rank-Test, zum Testen der Leistung gegen die Chance, das sind 33 %. Beachten Sie, dass die durchschnittliche Klassifikator Genauigkeit im auditorischen Kortex 59 %, war das ist deutlich anders als Chance-Ebene.

Im Gegensatz dazu lag die mittlere Leistung in der frontalen Pol-Maske 33 %, die unterscheidet sich nicht wesentlich von Chance.

Darüber hinaus beachten Sie, dass die Sichter Leistung über Individuen variiert. Sehen Sie nachdem Sie mithilfe eines Permutation Tests eine neue statistische Schwellenwert von 42 %, dass 19 von 20 Probanden Genauigkeitswerte deutlich größer als diese Ebene mit Voxel aus dem Planum Temporale hatte, während keiner Leistung größer als Chance mit Voxel aus der frontalen Pole hatte.

Insgesamt bedeuten diese Ergebnisse, dass MVPA Techniken genau vorausgesagt, welcher der drei Töne Teilnehmer vorstellen, wurden anhand von Mustern der neuronalen Aktivität. Solche Vorhersagen wurden nur innerhalb der auditorischen Kortex, was darauf hindeutet, dass akustische Inhalte im gesamten Gehirn nicht weltweit vertreten ist.

Nun, da Sie mit Multi-Voxel Muster Analyse um auditive Bilder zu studieren anwenden vertraut sind, schauen wir wie Neuropsychologen multivariate Techniken verwenden, um einen futuristischen Ansatz zum Gedankenlesen zu gelangen – die Entschlüsselung des mentalen Zuständen – in anderen Domänen.

Klassifikatoren wurde auf fMRI Daten aus der ventralen temporalen Kortex vorherzusagen, die Arten von Objekten Teilnehmer betrachtet Unterscheidung zwischen Häuser und Flächen, zum Beispiel, verwendet.

Angesichts dieser noch einen Schritt weiter, ist es sogar möglich, vorherzusagen, ob das Individuum würde dieses Haus kaufen oder finden Sie den Ansprechpartner angenehm. So wie das klingt gruselig, diese Neuromarketing Implikationen sind nicht an den Haaren herbeigezogen!

Der gleiche Ansatz könnte auch verwendet werden, um entweder emotionale Zustände zu erkennen, nachdem gerade eine Show – Erkenntnis, dass ein beängstigender Film in der Tat erschreckend ist – oder sogar das Filmgenre; Beispielsweise könnte die erschreckende Flick die Amygdala vorhersagbarer über eine kontemplative ausüben, die zuverlässig den präfrontalen Kortex verbunden wäre.

Darüber hinaus könnte Gehirn-Computer Schnittstellen mentale Zustände in Signale umzuwandeln, die Kommunikation, im Falle von Personen, die in der Logopädie oder Bewegungen, für diejenigen, die von Amputation einer Extremität erlitten haben verbessern würde.

Sie sah nur Jupiters Video auf auditive Bilder mit Multi-Voxel Muster Analyse zu verstehen. Jetzt haben Sie ein gutes Verständnis wie Planung und Durchführung von auditiven Bilder Experiment in Verbindung mit funktionellen Neuroimaging und schließlich analysieren und interpretieren bestimmte Muster der Hirnaktivität.

Danke fürs Zuschauen!

A subscription to JoVE is required to view this article.
You will only be able to see the first 20 seconds.

RECOMMEND JoVE