Het decoderen van auditieve beelden met multivoxel-patroonanalyse
Bron: Laboratories of Jonas T. Kaplan en Sarah I. Gimbel - University of Southern California
Stel je de klank van een rinkelende bel voor. Wat gebeurt…
1. Participant recruitment
- Rekruteer 20 deelnemers.
- Deelnemers moeten rechtshandig zijn en geen geschiedenis van neurologische of psychische stoornissen hebben.
- Deelnemers moeten een normaal of gecorrigeerd normaal gezichtsvermogen hebben om ervoor te zorgen dat ze de visuele signalen goed kunnen zien.
- Deelnemers mogen geen metaal in hun lichaam hebben. Dit is een belangrijke veiligheidsvereiste vanwege het hoge magnetische veld dat bij fMRI betrokken is.
- Deelnemers mogen geen last hebben van claustrofobie, omdat de fMRI vereist dat ze in de kleine ruimte van de scannerbuis liggen.
2. Pre-scan procedures
- Vul de pre-scan documentatie in.
- Wanneer deelnemers binnenkomen voor hun fMRI-scan, instrueer ze om eerst een metaalscreeningsformulier in te vullen om ervoor te zorgen dat ze geen contra-indicaties voor MRI hebben, een incidentele-bevindingenformulier dat toestemming geeft voor hun scan te worden bekeken door een radioloog, en een toestemmingsformulier dat de risico's en voordelen van het onderzoek beschrijft.
- Bereid de deelnemers voor om de scanner in te gaan door alle metalen uit hun lichaam te verwijderen, inclusief riemen, portefeuilles, telefoons, haarspelden, munten en alle sieraden.
3. Geef instructies aan de deelnemer.
- Vertel de deelnemers dat ze een reeks van enkele korte video's in de scanner zullen zien. Deze video's zullen stil zijn, maar ze kunnen een geluid in hun "gehoorsbeeld" oproepen. Vraag de deelnemer zich te concentreren op en moedigen dit auditieve beeld aan, om te proberen het geluid zo goed mogelijk te "horen".
- Benadruk voor de deelnemer het belang van het stilhouden van hun hoofd tijdens de scan.
4. Plaats de deelnemer in de scanner.
- Geef de deelnemer oordopjes om hun oren te beschermen tegen het geluid van de scanner en oordopjes om te dragen zodat ze de experimentator tijdens de scan kunnen horen, en laat ze liggen op de bed met hun hoofd in de spoel.
- Geef de deelnemer de noodbal en instrueer hen om deze te knijpen in geval van nood tijdens de scan.
- Gebruik schuimkussens om het hoofd van de deelnemer in de spoel te bevestigen om overmatige beweging tijdens de scan te voorkomen, en herinner de deelnemer eraan dat het erg belangrijk is om zo stil mogelijk te blijven tijdens de scan, omdat zelfs de kleinste bewegingen de beelden vervagen.
5. Gegevensverzameling
- Verzamel een hoge resolutie anatomische scan.
- Begin met functioneel scannen.
- Synchroniseer het begin van de stimuluspresentatie met het begin van de scanner.
- Om de schaarse temporele sampling te bereiken, stel de acquisitietijd van een MRI-volume in op 2 s, met een vertraging van 9 s tussen volume-acquisities.
- Presenteer de stille video's via een laptop verbonden met een projector. De deelnemer heeft een spiegel boven hun ogen, die een scherm aan de achterkant van de scannerbuis weerspiegelt.
- Synchroniseer het begin van elke 5-s videoclip om 4 s na het begin van de vorige MRI-acquisitie te beginnen. Dit zorgt ervoor dat de volgende MRI-volume 7 s na het begin van de videoclip wordt verkregen, om de hemodynamische activiteit die overeenkomt met het midden van de film vast te leggen.
- Presenteer drie verschillende stille video's die levendige auditieve beelden oproepen: een bel die heen en weer schommelt, een kettingzaag die door een boom snijdt, en een persoon die een viool speelt.
- Presenteer in elke functionele scan elke video 10 keer, in willekeurige volgorde. Met elke proef van 11 s, zal dit resulteren in een scan van 330 s (5,5 min) lang.
- Voer 4 functionele scans uit.
6. Gegevensanalyse
- Definieer een gebied van interesse (ROI).
- Gebruik de hoge resolutie anatomische scan van elke deelnemer om de voxels te traceren die overeenkomen met de vroege auditieve cortex (Figuur 1). Dit komt overeen met het oppervlak van de temporale lob, ook wel het planum temporale genoemd. Gebruik de anatomische kenmerken van de hersenen van elke persoon om een masker specifiek voor hun auditieve cortex te maken.
Figuur 1: Tracering van gebied van belang. Het oppervlak van het planum temporale is getraceerd op deze deelnemers hoge resolutie anatomische beeld, en wordt hier in blauw getoond. In groen is het controlemasque van de frontale pool. Deze voxels zullen worden gebruikt voor MVPA-analyse.
- Voorbereiden van de gegevens.
- Voer bewegingscorrectie uit om bewegingsartefacten te verminderen.
- Voer temporele filtering uit om signaaldriften te verwijderen.
- Train en test het classificerende algoritme.
- Deel de gegevens op in trainings- en testsets. Trainingsgegevens worden gebruikt om de classificeerder te trainen, en de overgebleven testgegevens worden gebruikt om te beoordelen wat het heeft geleerd. Om de onafhankelijkheid van trainings- en testgegevens te maximaliseren, laat gegevens van een functionele scan weg als testset.
- Train een Support Vector Machine-algoritme op de gelabelde
Auditieve beeldenvorming is een proces dat de ervaring van het horen van geluiden veroorzaakt, zelfs wanneer er geen externe auditieve stimuli aanwezig zijn.
Denk bijvoorbeeld aan het horen van het geluid van een afgaande mobiele telefoon. Hoewel informatie in het geheugen ten grondslag ligt aan deze denkbeeldige gebeurtenis, suggereren bewijzen dat de hersenen van een persoon dezelfde mechanismen voor verbeelding gebruiken als die welke betrokken zijn bij de daadwerkelijke waarneming.
Alleen al door het geluid te verbeelden, worden regio's in de auditieve cortex geactiveerd. Hoewel dit geldt voor alle akoestische stimuli, is hoe geluiden worden gecodeerd om de gedetailleerde verwerking van verschillende geluiden mogelijk te maken - zoals onderscheid maken tussen het geluid van een deurbel en een liedje op de radio - een belangrijke vraag.
Op basis van eerder werk door Meyer en collega's, toont deze video hoe functionele magnetische resonantie beeldvorming - fMRI - kan worden gecombineerd met presentaties van verschillende stille video's om te onderzoeken hoe de hersenen reageren op auditieve beeldenvorming.
We zullen ook beschrijven hoe een methode genaamd multi-voxel patroonanalyse - MVPA voor kort - kan worden gebruikt om te voorspellen wat proefpersonen hebben verbeeld door patronen van activering te analyseren die tijdens fMRI-sessies zijn verkregen.
In dit experiment liggen de deelnemers in een fMRI-scanner en krijgen ze een reeks stille video's te zien. Elke video - of het nu gaat om een roepende haan, een kettingzaag die door een boom snijdt of een persoon die piano speelt - roept een duidelijk en levendig auditief beeld op, en ze worden gevraagd om de geluiden te verbeelden tijdens elke presentatie.
De procedure voor het verkrijgen van beelden berust op schaarse temporele bemonstering, waarbij een enkele fMRI-volume 4 tot 5 s na het presenteren van elke stimulus wordt verkregen. Dit tijdstip vangt het hoogtepunt van de hemodynamische respons en vermindert de kans dat signalen worden gemaskeerd door scannerruis.
Elk verbeeld geluid zal naar verwachting subtiele maar kenmerkende patronen van neurale activiteit induceren, specifiek in de auditieve cortex. Hier is patroon het sleutelwoord: de klassieke manier om deze gegevens te analyseren, gebruikt een univariate aanpak, waarbij de individuele voxels - die een bepaald niveau van activering vertegenwoordigen - worden samengevoegd tot een enkele gemiddelde.
Deze waarden worden vervolgens vergeleken tussen geluiden en kunnen geen significante verschillen in activeringsniveaus opleveren.
In plaats daarvan wordt, met behulp van een multivariate analyse, voor elke geluid meerdere voxels opgesteld en kunnen activeringsniveaus collectief worden vergeleken, over alle voxels heen, wat bijdraagt aan een uniek algemeen patroon voor elk verbeeld geluid.
Met deze multi-voxel patroonanalyse, of MVPA, benadering, als de patronen inderdaad gevoelig zijn voor specifieke inhoud, dan is het mogelijk dat ze kunnen worden gebruikt om de oorspronkelijke stimulus te voorspellen. Dat klopt - MVPA wordt vaak aangeduid als een gedachteleestechniek!
Om dit voorspellingsaspect te bereiken, moet na het verzamelen van de gegevens van de deelnemers, die worden verdeeld in trainings- en testsets, een intensievere verwerking worden uitgevoerd.
Gemaarmerkte gegevens uit de trainingsset worden eerst onderworpen aan machine learning berekeningen, specifiek een Support Vector Machine algoritme. Dit proces wordt gebruikt om gegevens nauwkeurig te classificeren door kenmerken in de neurale patronen te herkennen die de drie soorten geluiden van elkaar kunnen onderscheiden.
Nadat de classifier kenmerken heeft geleerd om de typen nauwkeurig te identificeren, wordt hij geconfronteerd met ongelabelde gegevens uit de testset en worden zijn gokjes vervolgens vergeleken met de juiste stimuli labels.
In dit geval dient de classificatieprestatie als de afhankelijke variabele - geregistreerd als de nauwkeurigheid van de classifier - die ook wordt vergeleken met voxels geëvoceerd op een andere locatie in de hersenen, zoals de frontale pool.
Van de classifier wordt verwacht dat hij de identificatie van auditieve beeldenvorming zal voorspellen, waardoor de belangrijkheid van MVPA bij het detecteren van inhoudspecifieke activiteit binnen de auditieve cortex wordt onthuld.
Vanwege experimentele en veiligheidsoverwegingen, verifieer dat alle deelnemers rechtshandig zijn, een normale of gecorrigeerde-tot-normale visie hebben, geen geschiedenis van neurologische stoornissen of claustrofobie hebben en geen metaal in hun lichaam bezitten. Zorg er ook voor dat ze de noodzakelijke toestemmingsformulieren invullen.
Voordat u verdergaat, leg uit dat ze verschillende korte stille video's in de scanner zullen zien die een geluid in hun geest kunnen oproepen. Vraag hen zich te concentreren op de verbeelde geluiden, ze zo goed mogelijk te 'horen' en stil te blijven gedurende de duur van de taak.
Nu, bereid de deelnemer voor om de scanner binnen te gaan. Raadpleeg een andere fMRI-video die in deze collectie is geproduceerd voor een gedetailleerd overzicht van deze stappen.
Na de voorbereiding, lijn de deelnemer uit en stuur ze de boorgat in. In de aangrenzende ruimte, verzamel eerst een hoog-resolutie anatomische scan. Synchroniseer vervolgens het begin van de presentatie van de stille video met het begin van de functionele scan.
Om schaarse temporele bemonstering te bereiken, stel de acquisitietijd van een MRI-volume in op 2 s, met een vertraging van 9 s ertussen.
Belangrijk is dat u het begin van elke 5-s videoclip coördineert om te beginnen 4 s nadat de vorige MRI-acquisitie begint om de hemodynamische activiteit te vangen die overeenkomt met het midden van de film.
Toon elke video 10 keer, in willekeurige volgorde, en genereer een scan sessie van 5,5 min. Herhaal deze functionele acquisitiesequentie nog drie keer.
Nadat de vier functionele scans zijn uitgevoerd, breng de deelnemer uit de scanner en breng hen in kennis om het onderzoek te beëindigen.
Om gebieden van interesse te definiëren, gebruik de hoog-resolutie anatomische scans van elke deelnemer en traceer voxels op het oppervlak van de temporale kwab die overeenkomen met de vroege audit
View the full transcript and gain access to JoVE Science Education videos
Q1: What is auditory imagery and how does it activate the brain?
Auditory imagery is the experience of hearing sounds without external auditory stimuli present. When you imagine a sound like a ringing phone, your brain activates the same regions involved in actual sound perception. Specifically, the auditory cortex becomes engaged during auditory imagery, demonstrating that imagination and perception share similar neural mechanisms.
Q2: Why is multivoxel pattern analysis better than traditional univariate fMRI analysis?
Univariate analysis collapses individual voxels into a single average, often failing to detect significant differences across sounds. Multivoxel pattern analysis examines activation patterns across multiple voxels collectively, revealing unique overall patterns for each imagined sound. This multivariate approach is sensitive to content-specific activity that univariate methods miss, enabling studying brain activation and motor maps using fMRI principles across sensory domains.
Q3: How does sparse temporal sampling improve fMRI data collection during auditory imagery tasks?
Sparse temporal sampling acquires a single fMRI volume 4-5 seconds after each stimulus, capturing the peak of the hemodynamic response. This timing reduces signal masking by scanner noise, which is critical for auditory imagery studies where external sounds must not interfere with imagined auditory content. The approach allows cleaner detection of neural activity patterns.
Q4: What role does the Support Vector Machine algorithm play in predicting imagined sounds?
The Support Vector Machine is a machine-learning classifier trained on labeled fMRI data to recognize neural features distinguishing different sounds. After learning these features from training data, it predicts unlabeled test data by identifying which sound pattern matches the neural activity. Classification accuracy reveals whether the auditory cortex encodes sound-specific information.
Q5: Why is the planum temporale used as the region of interest in auditory imagery studies?
The planum temporale, located on the temporal lobe surface, is the early auditory cortex where sound processing occurs. Researchers trace voxels in this region to measure neural patterns during auditory imagery. The frontal pole serves as a control region to demonstrate that classifier accuracy is specific to auditory cortex rather than global brain activity.
Q6: What does cross-validation accomplish in MVPA analysis of auditory imagery data?
Cross-validation tests classifier performance by leaving out one functional scan as testing data while training on the remaining scans, repeated four times. This procedure prevents overfitting and provides robust accuracy estimates across different data subsets. The averaged accuracies across folds reveal whether the classifier reliably predicts imagined sounds based on auditory cortex patterns.
Q7: How can MVPA techniques extend beyond auditory imagery to other neuroscience applications?
MVPA classifiers have decoded visual objects from ventral temporal cortex, predicted consumer preferences, and identified emotional states from brain activity patterns. Brain-computer interfaces could convert mental states into signals for speech therapy or prosthetic control. These applications demonstrate that multivariate pattern analysis reveals information content across sensory and cognitive domains.