Cross-Modale Multivariate Pattern Analysis

Summary

Klassieke multivariate analyse patroon voorspelt zintuiglijke prikkels een onderwerp waarneemt van de neurale activiteit in de overeenkomstige cortex (bijv. visuele prikkels van de activiteit in de visuele cortex). Hier passen we patroon analyse cross-modaal en laten zien dat geluid-en touch-impliceren visuele stimuli kan worden voorspeld op grond van activiteit in auditieve en somatosensorische cortex, respectievelijk.

Abstract

Multivariate patroon analyse (MVPA) is een steeds populairder wordende methode voor het analyseren van functionele magnetische resonantie imaging (fMRI) gegevens ^1-4. Meestal wordt de methode die wordt gebruikt om een ​​onderwerp perceptuele ervaring van neurale activiteit in bepaalde gebieden van de hersenen te identificeren. Bijvoorbeeld, is gebruikt om de oriëntatie van de visuele roosters een onderwerp waarneemt van de activiteit in vroege visuele cortex ⁵ of, analoog, de inhoud van de toespraak van activiteit in het begin van de auditieve cortex ⁶ voorspellen.

Hier presenteren we een uitbreiding van de klassieke MVPA paradigma, volgens welke perceptuele stimuli worden niet voorspeld binnen, maar over sensorische systemen. In het bijzonder, de methode die we beschrijven in op de vraag of stimuli die het geheugen associaties oproepen in modaliteiten andere dan de door waarin ze worden gepresenteerd content-specifieke activiteit patronen te induceren in de sensorische cortex van die andere modaliteiten.Bijvoorbeeld, het zien van een gedempte videoclip van een glazen vaas verbrijzelen op de grond automatisch triggers in de meeste waarnemers een auditief beeld van de bijbehorende geluid, is de ervaring van dit beeld in "het oor geest" van de gecorreleerd met een specifieke neurale activiteit patroon in het begin van auditieve cortex? Bovendien is deze activiteit patroon verschilt van het patroon dat kan worden waargenomen wanneer het onderwerp was, in plaats daarvan, het bekijken van een videoclip van een huilende hond?

In twee eerdere studies ^7,8, waren we in staat om te voorspellen geluid-en touch-impliceren videoclips op basis van neurale activiteit in het begin van auditieve en somatosensorische cortex, respectievelijk. Onze resultaten zijn in lijn met een neuroarchitectural kader voorgesteld door Damasio ^9,10, volgens welke de ervaring van de mentale beelden die gebaseerd zijn op herinneringen - zoals het horen van de verpletterende geluid van een vaas in "het oor geest" van de bij het ​​zien van de bijbehorende video clip - wordt ondersteund door de re-constructie van de inhoud-Specifieke neurale activiteit patronen in het begin van sensorische cortex.

Protocol

1. Introductie

Multivariate patroon analyse (MVPA) is een steeds populairder wordende methode voor het analyseren van functionele magnetische resonantie imaging (fMRI) gegevens ^1-4. Meestal wordt de methode die wordt gebruikt om een ​​onderwerp perceptuele ervaring van neurale activiteit in bepaalde gebieden van de hersenen te identificeren. Bijvoorbeeld, is gebruikt om de oriëntatie van de visuele roosters een onderwerp waarneemt van de activiteit in vroege visuele cortex ⁵ of, analoog, de inhoud van de toespraak van activiteit in het begin van de auditieve cortex ⁶ voorspellen. In deze video artikel beschrijven we een nieuwe toepassing van MVPA die een extra draai geeft aan deze basis-, intra-modale paradigma. In deze benadering worden perceptuele stimuli voorspeld niet binnen, maar over sensorische systemen.

2. Multivariate Pattern Analysis

Hoewel de MVPA methode is inmiddels goed ingeburgerd binnen de neuroimaging gebied, zullen we beginnen met pointing van de belangrijkste verschillen tussen MVPA en conventionele, univariate fMRI-analyse. Daartoe het volgende voorbeeld van hoe de twee methoden gaan over de behandeling van neurale activiteit in de visuele cortex tijdens een eenvoudige visuele taak ( Video Clip 1 ):

1. Een onderwerp wordt gepresenteerd met twee verschillende visuele stimuli, bijvoorbeeld, een beeld van een sinaasappel en een afbeelding van een appel.
2. Beide stimuli leiden tot een specifiek patroon van neurale activiteit in de primaire visuele cortex, hier gesymboliseerd door de activering niveaus van zes hypothetische voxels. (Natuurlijk, activiteit geïnduceerd door een presentatie van de sinaasappel of appel beelden in de werkelijkheid zouden zeer luidruchtig, beschouwen de afgebeelde patronen als gemiddelden als gevolg van een groot aantal studies.)
3. In conventionele fMRI analyse zijn er in wezen twee manieren waarop deze patronen kunnen worden geanalyseerd. Ten eerste kan men zich richten op de gemiddelde Level van de activiteit in de gehele regio van belang.
4. In het gegeven voorbeeld, het verschil in gemiddelde activiteit niveaus is niet significant, zodat de patronen overeenkomen met de twee stimuli niet kan worden onderscheiden van dit standpunt.
5. Een andere manier om de twee te analyseren is het opzetten van een aftrekking contrast tussen hen: voor elke voxel, de activatie-niveau tijdens de "appel" toestand wordt afgetrokken van de activering niveau tijdens de "oranje" conditie. Het daaruit voortvloeiende verschil kan dan worden gevisualiseerd voor elke voxel op een hele brein contrastrijk beeld.
6. Nogmaals, echter, kunnen deze verschillen klein zijn en kan de vereiste statistische criterium bereikt slechts voor zeer weinig voxels.
7. Dit is waar het beslissende voordeel van MVPA in het spel komt: de superieure kracht ontleent aan het feit dat, in tegenstelling tot univariate analyse methoden, zij van mening is de activering niveaus van alle voxels tegelijk en is dus in staat om patronen te ontdekken in hen. Terwijl, als mentioned, slechts een paar van de activering verschillen kunnen groot zijn als op zichzelf beschouwd, de twee patronen, wanneer in hun geheel beschouwd, kan inderdaad door statistisch verschillend.

Er is een tweede belangrijk verschil tussen conventionele fMRI analyse en MVPA ( Video Clip 2 ). De eerste methode probeert meestal om aan te tonen een statistisch afhankelijkheid tussen bepaalde zintuiglijke prikkels en bepaalde hersenactiviteit patronen in een "forward wijze", met andere woorden, het vraagt ​​kwestie van het type: "Zal twee verschillende visuele stimuli, zoals het beeld van een gezicht en het beeld van een huis, tot verschillende activiteit in een bepaalde regio van belang, zoals de spoelvormige gezicht gebied? ' Daarentegen is het succes van MVPA typisch uitgedrukt in termen van "reverse gevolgtrekking" of "decoderen", de typische vraag is van het type: "Op basis van het patroon van neurale activiteit in een bepaalde reg ion van belang (bijvoorbeeld de primaire visuele cortex), kan men voorspellen of een onderwerp stimulus waarneemt A, zoals een sinaasappel, of een stimulus B, bijvoorbeeld een appel? "Merk echter op dat de richting waarin de correlatie tussen de perceptuele stimuli en hersenactiviteit wordt in kaart gebracht maakt het niet uit vanuit een statistisch oogpunt: het is gelijk om te zeggen dat twee stimuli tot afzonderlijke activiteit patronen leiden in een bepaalde hersengebied en te zeggen dat de activiteit patroon in dat hersengebied voorspelling van het inducerende stimulus ¹¹ vergunningen . Met andere woorden, de gevoeligheid van MVPA is superieur aan dat van de univariate analyses, omdat zij van mening is meerdere voxels tegelijk, en niet omdat het gaat in een omgekeerde richting.

De volgende stappen laten zien hoe een typisch MVPA paradigma zou de vraag of het zien van een appel leidt tot een ander patroon van neurale activiteit in de primaire visuele cortex dan het zien van een oranje-adres (_upload/3307/3307_Meyer-Kaplan_Video_3.mov "> Video Clip 3):

1. fMRI gegevens worden verkregen, terwijl een onderwerp ziet groot aantal appel en sinaasappel stimuli.
2. De verkregen gegevens zijn verdeeld in een training data set en een test dataset. In tegenstelling tot in het onderhavige voorbeeld, is de training dataset vaak gekozen te worden groter dan de testgegevens te stellen, als de prestaties van de classifier kan worden naar verwachting toenemen met het aantal trainingen proeven.
3. De gegevens uit de training set zijn opgenomen in een patroon classifier. Met behulp van een van de vele mogelijke wiskundige algoritmen, de indeler pogingen om functies op te sporen in de neurale patronen die de twee stimulans soorten van elkaar te onderscheiden. Een type van classifier gebruikt (ook in onze eigen eerdere studies) zijn zogenaamde support vector machines, voor nadere details wordt verwezen naar de reviews die in de inleiding.
4. Nadat de classifier is getraind op de training onderzoeken wordt het provided met de testgegevens. De individuele proeven uit de test dataset worden zonder label, met andere woorden, de indeler niet "weten" of er een patroon is afkomstig van een "appel" of een "oranje" trial.
5. Op basis van de consistentie was in staat om te detecteren in de training dataset, de classifier attributen de meest waarschijnlijke label aan elk van de testen proeven.
6. Voor elk patroon, kan de indeler 'raden' worden vergeleken met de juiste stimulus label.
7. Als de classifier was niet in staat om een ​​consistente verschillen tussen de patronen veroorzaakt door de twee stimuli te detecteren, moet de prestaties op niveau van kans, want de twee-weg discriminatie gegeven in het voorbeeld, zou dit overeenkomen met 50% correct labels. Een voorspelling prestaties aanzienlijk boven deze waarde geeft aan dat er wel degelijk consistent zijn verschillen tussen de twee soorten stimuli.

Merk op dat het van cruciaal belang is dat de opleiding en het testen van data sets onafhankelijk van een another. Alleen als dit het geval is kan geen conclusies worden getrokken over de generaliseerbaarheid van de patronen afgeleid van de training in te stellen. MVPA studies vaak te beoordelen classifier prestaties met een cross-validatie paradigma ( Video Clip 4 ). Veronderstel dat een MVPA experiment bestaat uit acht functionele loopt. In de eerste cross-validatie stap, is een classifier getraind op de gegevens van 1 loopt tot en met 7 en getest op de gegevens van run 8. In de tweede stap wordt de indeler dan getraind loopt 1 tot en met 6, alsmede run 8, en vervolgens getest op draaien 7. Naar aanleiding van dit schema, zijn acht cross-validatie stappen uitgevoerd, bij elke ronde dienen als test precies een keer. Algehele performance classifier wordt berekend als het gemiddelde van de prestaties op de individuele cross-validatie stappen. Hoewel deze procedure garandeert onafhankelijke training en het testen van gegevens over elke stap, maar maximaliseert ook het totale aantalvan testen proeven, kan dat een voordeel bij de beoordeling van de statistische significantie van de prestaties van de classifier's.

Er zijn vrij beschikbare software pakketten op het internet om MVPA uit te voeren; twee voorbeelden zijn PyMVPA ¹² (gebaseerd op de Python; http://www.pymvpa.org ) en de toolbox aangeboden door de Princeton Neuroscience Institute (op basis van Matlab; http:/ / code.google.com / p / Princeton-mvpa-toolbox / ).

3. Cross-Modal MVPA en het kader van de convergentie-divergentie Zones

Zoals vermeld in de inleiding, hebben experimentele paradigma's zoals die hierboven beschreven is met succes gebruikt om de perceptuele stimuli te voorspellen van de neurale activiteit in overeenkomstige sensorische cortex, met andere woorden, visuele prikkels op basis van activiteit in de visuele cortex en auditieve stimuli op basis van activiteit in de auditieve cortex . Hier hebben wepresenteren een uitbreiding van dit basisconcept. Concreet hebben we de hypothese dat het mogelijk moet zijn om perceptuele stimuli te voorspellen, niet alleen binnen, maar over de modaliteiten. Zintuiglijke waarneming is onlosmakelijk verbonden met het terughalen van herinneringen, bijvoorbeeld, een visuele prikkel die een sterke auditieve implicatie, zoals de aanblik van een glazen vaas verbrijzelen op de grond heeft, zal automatisch in onze "geest oor" beelden die te delen gelijkenissen met de auditieve beelden die we ervaren op eerdere ontmoetingen met het breken van glas. Volgens een kader geïntroduceerd door Damasio meer dan twee decennia geleden ^9,10, is het geheugen verband tussen het gezicht van de vaas en het bijbehorende geluid beelden die zijn opgeslagen in zogenaamde convergentie-divergentie zones (CDZs; Video Clip 5 ). CDZs zijn ensembles van neuronen in de cortex die vereniging ontvangen convergerende bottom-up projecties van verschillende vroege corticale eenReas (via verschillende hiërarchische niveaus) en die op hun beurt, terug te sturen uiteenlopende top-down projecties op hetzelfde corticale sites. Door de convergente bottom-up projecties, kan CDZs worden geactiveerd door perceptuele representaties in verschillende modaliteiten - bijvoorbeeld, zowel door de aanblik en het geluid van een schokkende vaas, als gevolg van de uiteenlopende top-down projecties, ze kunnen dan het bevorderen van de reconstructie van bijbehorende beelden door signalering terug naar het begin van de cortex van extra modaliteiten. Damasio benadrukt het laatste punt: het activeren van CDZs in associatie cortex niet voldoende zou zijn voor de bewuste herinnering van een afbeelding uit het geheugen; slechts eenmaal CDZs zou expliciet neurale representaties te reconstrueren in het begin van sensorische cortex zou het beeld bewust worden ervaren. Dus, het kader voorspelt een specifieke volgorde van neurale verwerking in reactie op een (puur), visuele stimulus dat geluid betekent ( Video Clip6):

1. De prikkel veroorzaakt eerst een specifiek patroon van neurale activiteit (rode rechthoeken) in het begin van de visuele cortex.
2. Via convergente bottom-up projecties, zijn de neuronen in de vroege visuele cortex project uit naar een eerste niveau van CDZs (CDZ ₁ s). De convergente patroon van connectiviteit laat de CDZ ₁ s tot bepaalde patronen van activiteit te detecteren in het begin van de visuele cortex. Afhankelijk van de exacte patroon, een CDZ kan wel of niet geactiveerd. CDZs dus optreden als feature afzuiging. In dit voorbeeld, twee CDZ ₁ s worden geactiveerd (zoals aangegeven door de rode kleur), terwijl de derde wordt niet veroorzaakt door de specifieke activiteit patroon in de corresponderende sector van het begin van de visuele cortex.
3. CDZ _een s te sturen convergente bottom-up prognoses tot CDZ ₂ s, daarom, net als CDZ _een s gedetecteerd bepaalde patronen van activiteit in het begin van de visuele cortex, CDZ ₂ s zijn in staat om patronen van activiteit te detecteren onder _een CDZ s. Verschillende CDZ ₂ s kunnen worden geactiveerd door de specifieke configuratie van geactiveerde CDZ _een s; om redenen van eenvoud is slechts een enkele CDZ ₂ hier afgebeeld. In het voorbeeld, de activiteit patroon onder CDZ _een s is voldoende om deze CDZ ₂ te activeren.
4. Met name, doe CDZ ₁ is niet alleen vooruit project CDZ ₂ s, maar ook terug naar het begin van de cortex (blauwe pijlen). Deze top-down-signalen kunnen voltooien van de (eventueel luidruchtige) activiteiten patroon in eerste instantie veroorzaakt door de stimulus (blauwe rechthoek). Over het algemeen, rode kleur duidt bottom-up-activaties, terwijl de blauwe kleur staat voor top-down activeringen.
5. Via een aantal extra niveaus van CDZs, de CDZ ₂ s project aan CDZ _n s in de hogere-orde vereniging cortex (gestippelde pijl). Een of meerdere CDZ _n s kunnen reageren op de specifieke visuele stimulus in kwestie (slechts een enkele een is afgebeeld).
6. Wederom moet worden opgemerkt dat de CDZ ₂ s ALS o signaal achteruit te CDZ _een s die op hun beurt, verder kunt aanpassen het patroon oorspronkelijk geïnduceerd in het begin van de visuele cortex.
7. De CDZ _{N S-signaal} terug naar de CDZ ₂ s van alle modaliteiten. In de visuele cortex, kan dit leiden tot de voltooiing van de activiteit patronen in lagere CDZs. In de auditieve cortex, zal een neuraal patroon worden gebouwd - eerst op het niveau van CDZ ₂ s en CDZ ₁ s, uiteindelijk in het begin van de auditieve cortex - die de bewuste ervaring van een auditieve afbeelding verbonden met de visueel gepresenteerde stimulus vergunningen. Merk op dat er ook top-down signalering naar de somatosensorische modaliteit, hoewel in mindere mate dan voor de auditieve modaliteit. Dit weerspiegelt het feit dat bijna elke visuele stimulus een aantal tactiele associatie heeft. Als de visuele stimulus in het huidige voorbeeld wordt aangenomen dat specifiek impliceert geluid, echter, top-down signalering naar de auditieve cortex is uitgebreider.

ove_content "> Op basis van de voorgestelde volgorde van de neurale verwerking, het kader maakt een specifieke voorspelling:. visuele stimuli met voorwerpen en gebeurtenissen die sterk impliceert geluid moet neurale activiteit op te roepen in het begin van de auditieve cortex Bovendien is de auditieve activiteit patronen moet worden stimulus-specifiek; in andere woorden, een videoclip van een schokkende vaas leiden tot een ander patroon dan een clip van een huilende hond Als deze voorspelling juist was, dan zouden we inderdaad in staat zijn om uit te voeren MVPA kruis modaal-:. bijvoorbeeld, moeten we in staat worden te voorspellen, uitsluitend op basis van de neurale activiteit vingerafdruk in het begin van de auditieve cortex, of een persoon is een schokkende vaas of een huilende hond (het zien van Video Clip 7 ). Natuurlijk, analoog paradigma een beroep informatieoverdracht tussen andere zintuiglijke modaliteiten moet ook succesvol zijn. Voor Bijvoorbeeld, als de videoclips getoond aan een onderwerp impliciet raken in plaats vangeluid, moeten we in staat om die clips te voorspellen uit de activiteit patronen die ze uitlokken in de vroege somatosensorische cortex.

4. Stimuli

De algemene paradigma van een MVPA studie werd beschreven in paragraaf 2. Onze aanpak is anders dan uit eerdere studies in zoverre dat het pogingen om MVPA uit te voeren over sensorische systemen en dus gebruik maakt van stimuli die specifiek zijn ontworpen om de implicaties in een sensorische modaliteit anders dan die waar ze worden aangeboden hebben. In een vorige studie, bijvoorbeeld, hebben we opgenomen neurale activiteit van de primaire somatosensorische cortex terwijl proefpersonen keken 5-seconden video-clips van alledaagse voorwerpen worden gemanipuleerd door mensenhanden ⁸ ( Video Clip 8 en Video Clip 9 ). In een andere studie hebben we onderzocht neurale activiteit in het begin van de auditieve cortex while thema's bekeken videoclips dat de afgebeelde voorwerpen en gebeurtenissen die sterk stilzwijgend geluid ⁷ ( Video Clip 10 en Video Clip 11 ). Echter, volgens de CDZ kader kan zintuiglijke prikkels van alle modaliteiten mogelijk worden toegepast in deze algemene paradigma, zolang ze implicaties in bijkomende modaliteiten hebben.

5. Regio's of Interest

In het algemeen kunnen de regio's van belang zijn voor een neuro-imaging studie ofwel functioneel of anatomisch worden bepaald. Wij geloven dat in het experimentele paradigma beschrijven wij hier, anatomische lokalisators zijn meer geschikt om twee redenen. Ten eerste is het niet triviaal om functioneel te definiëren van de primaire of vroeg cortex van een bepaalde sensorische modaliteit (met de mogelijke uitzondering van de primaire visuele cortex), als de verwerking van perceptual stimuli gepresenteerd aan het onderwerp in dat de modaliteit doorgaans niet beperkt tot deze gebieden. Zo zou het moeilijk zijn om de primaire somatosensorische cortex te definiëren door het toepassen van touch aan de handen een onderwerp, zoals de activiteit ten gevolge van deze procedure zou naar alle waarschijnlijkheid, verspreiden naar somatosensorische cortex vereniging ook. Ten tweede kan een functionele localizer niet het etiket alle voxels die mogelijk kunnen bijdragen aan de prestaties van de classifier's: het is aangetoond dat de gebieden die netto-activatie niet tonen in reactie op zintuiglijke prikkels in de klassieke zin (dat wil zeggen, de regio's die niet op een contrast afbeelding [stimulatie vs rest]) kan informatie bevatten over de stimuli toch ^13,14. Om deze twee redenen, wij pleiten voor het gebruik van de anatomisch gedefinieerde gebieden van belang wanneer macroscopische bezienswaardigheden zorgen voor deze, bijvoorbeeld, de anatomie van de postcentralis gyrus vertegenwoordigt een redelijke benadering van de primaire somatosensorische cortex, En we gebruikten dit om de regio van belang te definiëren in onze somatosensorische studie ⁸ (figuur 1).

6. Vakken

Het onderwerp monsters in MVPA studies lijken kleiner te zijn dan in conventionele fMRI-studies, zoals de analyse kan worden uitgevoerd op de single-subject niveau. Natuurlijk betekent dit niet voorkomen dat de onderzoeker van achteraf analyseren van de resultaten van de afzonderlijke vakken op het niveau van de groep ook. In de twee studies eerder genoemde we bijvoorbeeld t-testen uitgevoerd op het individuele subject resultaten om hun betekenis te beoordelen op het niveau van de groep. Elk onderzoek betrokken acht vakken; hoewel dit moet worden beschouwd als een zeer klein onderwerp monster parametrische testen, vonden we veel van de discriminaties we beoordeeld als significant (zie hieronder).

7. Representatieve resultaten:

Zoals gezegd, in twee eerdere onderzoeken we gericht op het sound-impliceren videoclips te voorspellenop basis van neurale activiteit in het begin van de auditieve cortex ⁷ (zie figuur 2 voor het masker gebruikt in deze studie) en de touch-impliceren videoclips op basis van activiteit in de primaire somatosensorische cortex ^8. Deze poging was succesvol: in beide studies, een MVPA classifier uitgevoerd boven de kans op niveau van 50% voor alle mogelijke twee-weg discriminaties tussen stimulus paren (n = 36 in het auditieve onderzoek, daar gegeven werden 9 verschillende stimuli; n = 10 voor de somatosensorische studie, daar gegeven werden 5 verschillende stimuli). In de auditieve studie, 26 van de 36 discriminaties bereikten statistische significantie, in de somatosensorische studie was dit het geval voor acht van de 10 discriminaties (twee-tailed t-tests, n = 8 in beide studies; figuur 3).

Figuur 1. Omvang van de anatomisch gedefinieerde masker van de primaire somatosensorische cortex, zoals gebruikt in Meyer et al.., 2011. Een classifieralgoritme in staat was om te voorspellen wat impliceert touch-video-clips van hersenactiviteit patronen beperkt tot het afgebakende gebied. Overgenomen met toestemming van Oxford University Press.

Figuur 2. Omvang van de anatomisch gedefinieerde masker van de vroege auditieve cortex, zoals gebruikt in Meyer et al.., 2010. Een classifier algoritme in staat was te voorspellen (stille) sound-impliceren video clips van hersenactiviteit patronen beperkt tot het afgebakende gebied. Overgenomen met toestemming van Nature Publishing Group.

Figuur 3. Samenvatting van de resultaten van onze vorige cross-modale MVPA studies. Een classifier werd gebruikt om visuele stimuli die zowel geluid of aanraking van de activiteit in de vroege auditieve of primaire somatosensorische cortex impliciet, respectievelijk te voorspellen. Top panelen: zowel in studn, voorspelling prestatie was dan de kans op het niveau van 0,5 voor alle twee-weg discriminatie tussen paren van stimuli. Onderste panelen: in de auditieve onderzoek, classificeerder prestaties bereikten statistische significantie voor 26 van de 36 discriminaties, in de somatosensorische studie was dit het geval voor 8 van de 10 discriminaties. Overgenomen met toestemming van Nature Publishing Group en Oxford University Press.

Discussion

De bevindingen van onze vorige studies tonen aan dat cross-modale MVPA is een nuttig hulpmiddel om de neurale correlaten van mentale beelden ervaren in de 'geest oor "en de" geest touch "te bestuderen. Met name de resultaten blijkt dat de inhoud van dergelijke beelden is gecorreleerd met neurale activiteit in het begin van de auditieve en somatosensorische cortex respectievelijk, het verstrekken van directe empirische steun voor kader Damasio's van convergentie-divergentie zones.

De basis paradigma we beschrijven kan worden uitgebreid op een aantal manieren. Uiteraard het meest, kan vergelijkbare studies worden uitgevoerd met behulp van verschillende combinaties van zintuiglijke modaliteiten. In dit opzicht, is het mogelijk dat tot vaststelling van bepaalde cross-modale verenigingen voorafgaand aan het experiment kan verhogen de kans op succes. Bijvoorbeeld om cross-modale voorstellingen studie in olfactorische cortex, kan men belangrijkste onderwerpen door ze bloot te gelijktijdig aan het zicht en de geur van een aantal levensmiddelen. Shortly na, in de fMRI-scanner, zou de olfactorische herinneringen aan de geuren worden veroorzaakt door visuele cues, en MVPA kunnen worden gebruikt in een poging om de proeven toe te wijzen aan de juiste voedingsmiddelen uitsluitend gebaseerd op de activiteit in de olfactorische cortex.

Een andere interessante vraag is of de cross-modaal geïnduceerde patronen van activiteit in het begin van de sensorische cortex overeenkomsten met de patronen die worden geïnduceerd wanneer geluid of aanraking is eigenlijk ervaren dragen, met andere woorden, het zien van de glazen vaas verbrijzelen een vergelijkbaar patroon van beroep neurale activiteit in het begin van de auditieve cortex echt te horen hetzelfde evenement? Deze vraag, nogmaals, kunnen worden aangepakt door middel van MVPA: is een classifier die is getraind op geregistreerde gegevens terwijl proefpersonen hoorden bepaalde geluiden in staat om correct discrimineren gegevens geregistreerd, terwijl de proefpersonen keken bijbehorende videoclips? In onze auditieve studie, hebben we geprobeerd een dergelijke kwalificatie, maar de resultaten waren marginaal (zie Fig. 3 in ref. 7). In dat onderzoek waren echter de auditieve verenigingen van de deelnemers niet geregeld op welke wijze, met andere woorden, we weten niet hoe sterk de auditieve beelden per onderwerp geassocieerd met video's werden op de audio tracks gebruikt om de classifier te trainen. Nogmaals, kan het interessant zijn om dezelfde vraag in te gaan na de specifieke cross-modale verenigingen werden voorbereid in de onderwerpen, zoals hierboven beschreven voor een visueel-olfactorische vereniging. Dit zou toelaten om meer betrouwbare controle van de mentale beleving van de patiënten tijdens de video-trials en dus mogelijk voorspelling prestaties van de classifier te verhogen.

Tot slot, hebben we een uitbreiding van het klassieke paradigma MVPA door te laten zien dat de stimuli kan worden voorspeld, niet alleen binnen, maar ook over zintuiglijke modaliteiten. Zo tonen we aan dat het gebruik van MVPA niet beperkt is tot het onderzoeken van de correlaten van perceptuele representaties die rechtstreeks veroorzaakt door externe sensorische stimulatie. Integendeel, MVPA kan ookbeoordelen van de neurale substraat van mentale beelden die intern worden geactiveerd: in overeenstemming met Damasio de convergentie-divergentie zone kader, onze bevindingen suggereren dat de bewuste ervaring van mentale beelden die zijn gereconstrueerd op basis van herinneringen is gecorreleerd met inhoud-specifieke neurale representaties in het begin van de zintuiglijke cortex.