Cross-Modal Multivariate Pattern Analysis

Summary

Klassisk multivariat mønster analyse spår sensoriske stimuli et emne oppfatter fra nevral aktivitet i tilsvarende cortices (f.eks visuelle stimuli fra aktiviteten i visuell cortex). Her bruker vi mønster analyse cross-modally og viser at lyd-og touch-antyder visuelle stimuli kan forutsies fra aktivitet i auditive og somatosensoriske cortices, henholdsvis.

Abstract

Multivariate mønster analyse (MVPA) er en stadig mer populær metode for å analysere funksjonell magnetisk resonans imaging (fMRI) data ^1-4. Vanligvis er metoden som brukes til å identifisere motivets perseptuell erfaring fra nevral aktivitet i visse områder av hjernen. For eksempel har det blitt ansatt for å spå retningen på visuelle rister et fag oppfatter fra aktivitet i tidlig visuell cortices ⁵ eller, analogously, innholdet i talen fra aktivitet tidlig i auditiv cortices ^6.

Her presenterer vi en forlengelse av den klassiske MVPA paradigme, ifølge som perseptuelle stimuli ikke spådd innenfra, men på tvers av sensoriske systemer. Spesifikt, adresser metoden vi beskriver spørsmålet om stimuli som vekker minne foreninger i modaliteter enn den der de presenteres indusere innhold-spesifikk aktivitet mønstre i sensoriske cortices av de andre modaliteter.For eksempel ser en dempet videoklipp av et glass vase knuste på bakken utløser automatisk i de fleste observatører en auditiv bilde av den tilhørende lyden, er opplevelsen av dette bildet i "mind øre" korrelert med en bestemt nevral aktivitet mønster i tidlig auditiv cortices? Videre er denne aktiviteten mønsteret forskjellig fra mønsteret som kunne observeres hvis motivet var, i stedet se et videoklipp av en ulende hund?

I to tidligere studier ^7,8, kunne vi forutsi lyd-og touch-antyder videoklipp basert på nevral aktivitet i tidlig auditive og somatosensoriske cortices, henholdsvis. Våre resultater er i tråd med en neuroarchitectural ramme foreslått av Damasio ^9,10, som sier at opplevelsen av mentale bilder som er basert på minner - som hører knuste lyden av en vase i "mind øre" da han så den tilhørende videoen klipp - støttes av re-konstruksjon av innhold-Spesifikke nevrale aktiviteten mønstre tidlig sensorisk cortices.

Protocol

1. Innledning

Multivariate mønster analyse (MVPA) er en stadig mer populær metode for å analysere funksjonell magnetisk resonans imaging (fMRI) data ^1-4. Vanligvis er metoden som brukes til å identifisere motivets perseptuell erfaring fra nevral aktivitet i visse områder av hjernen. For eksempel har det blitt ansatt for å spå retningen på visuelle rister et fag oppfatter fra aktivitet i tidlig visuell cortices ⁵ eller, analogously, innholdet i talen fra aktivitet tidlig i auditiv cortices ^6. I denne videoen artikkelen beskriver vi en ny anvendelse av MVPA som legger en ekstra twist til denne grunnleggende, intra-modal paradigme. I denne tilnærmingen, er perseptuelle stimuli spådd ikke er innenfor, men på tvers av sensoriske systemer.

2. Multivariate Pattern Analysis

Selv om MVPA metoden nå er godt etablert innen Bildediagnostiske riket, vil vi starte med pointing ut de viktigste forskjellene mellom MVPA og konvensjonelle, univariat fMRI analyse. For dette formål, bør du vurdere følgende eksempel på hvordan de to metodene går om å undersøke nevrale aktiviteten i visuell cortex under en enkel visuell oppgave ( Video Clip 1 ):

1. En gjenstand blir presentert med to ulike visuelle stimuli, for eksempel et bilde av en appelsin og et bilde av et eple.
2. Begge stimuli induserer et bestemt mønster av nevral aktivitet i primær visuelle cortex, symbolisert her ved aktivering nivåene av seks hypotetisk voxels. (Selvfølgelig, aktivitet mønstre forårsaket av en enkel presentasjon av appelsin eller eple bilder som i virkeligheten ville være svært bråkete, vurdere illustrert mønstre som gjennomsnitt et resultat fra et stort antall forsøk.)
3. I konvensjonelle fMRI analyser, er det i hovedsak to måter som disse mønstrene kan analyseres. Først kan man fokusere på den gjennomsnittlige level av aktivitet på tvers av hele regionen av interesse.
4. I eksempelet gitt, er forskjellen i gjennomsnittlig aktivitetsnivå ikke signifikant, slik at mønsteret som tilsvarer de to stimuli ikke kan skilles fra dette synspunkt.
5. En annen måte å analysere de to mønstrene er å etablere en subtraksjon kontrast mellom dem: for hver voxel, er aktivering nivået under "apple" tilstand trekkes fra aktivering nivået under "oransje" tilstand. Den resulterende Forskjellen kan deretter visualiseres for hver voxel på en hel-hjerne kontrastrikt bilde.
6. Igjen, kan imidlertid disse forskjellene være små og kan nå den nødvendige statistisk kriterium bare for svært få voxels.
7. Det er der den avgjørende fordelen av MVPA kommer inn i bildet: sin overlegne makt stammer fra det faktum at, i motsetning univariat analyse metoder, anser det aktivering nivåer av alle voxels samtidig og dermed er i stand til å oppdage mønstre i dem. Mens, som mentioned, kan bare få av de aktivering forskjellene være betydelige når vurderes isolert, de to mønstre, når det anses i sin helhet, kan faktisk ved statistisk forskjellig.

Det er en annen stor forskjell mellom konvensjonelle fMRI analyse og MVPA ( Video Clip 2 ). Den tidligere metoden forsøker vanligvis å demonstrere en statistisk avhengighet mellom visse sensoriske stimuli og visse hjernens aktivitet mønstre i en "forover måte", med andre ord, spør den spørsmål av typen: "Will to forskjellige visuelle stimuli, for eksempel bildet av et ansikt og bildet av et hus, føre til ulike aktivitetsnivå i et bestemt område av interesse, f.eks fusiform ansiktet området? " Som kontrast er suksessen til MVPA typisk uttrykt i form av "omvendt slutning" eller "dekoding", den typiske spørsmålet er av typen: "Basert på mønsteret av nevral aktivitet i en spesifikk reg ion av interesse (f.eks den primære visuelle cortex), kan man forutse om et emne oppfatter stimulus A, for eksempel en appelsin, eller stimulans B, f.eks et eple? "Merk imidlertid at i hvilken retning sammenhengen mellom perseptuelle stimuli og hjernens aktivitet er kartlagt ingen rolle fra et statistisk synspunkt: Det er tilsvarende å si at to stimuli fører til distinkte aktivitet mønstre i en gitt hjerne region og å si at aktiviteten mønster i at hjernen regionen tillater prediksjon av induserende stimulus ¹¹ . Med andre ord er følsomheten av MVPA overlegen til at av univariat analyse fordi den anser flere voxels samtidig, og ikke fordi det fortsetter i en invers retning.

Følgende trinn illustrerer hvordan en typisk MVPA paradigme ville ta opp spørsmålet om å se et eple induserer et annet mønster av nevral aktivitet i primær visuell cortex enn å se en oransje (_upload/3307/3307_Meyer-Kaplan_Video_3.mov "> Video Clip 3):

1. fMRI data er anskaffet mens en gjenstand ser stort antall eple og appelsin stimuli.
2. De oppkjøpte data er delt inn i en trening datasett og en testing datasett. I motsetning til i dagens eksempel, er trening datasettet ofte valgt å være større enn testing datasettet, som utførelsen av klassifikator kan forventes å øke med antallet trening forsøk.
3. Dataene fra treningen satt er inngått et mønster klassifikator. Bruk en av flere mulige matematiske algoritmer, prøver klassifikator å oppdage funksjoner i nevrale mønstre som skiller de to stimulus typer fra hverandre. En type klassifikator brukte (også i våre egne tidligere studier) er såkalte støtte vektor maskiner, for nærmere, blir leseren henvist til vurderinger nevnt i innledningen.
4. Etter at klassifikator har blitt trent på trening prøvelser, er det innsamlingsløsed med testing data. De enkelte studier fra testingen datasettet er umerkede, med andre ord, gjør klassifikator ikke "vet" om et mønster kommer fra en "eple" eller en "oransje" rettssak.
5. Basert på konsistenser det var i stand til å oppdage i opplæringen datasettet, tilskriver klassifikator mest sannsynlig merke til hver av testing forsøk.
6. For hvert mønster kan klassifikator "gjette" bli sammenlignet med den riktige stimulus etiketten.
7. Hvis klassifikator var ikke i stand til å oppdage eventuelle konsistente forskjeller mellom mønstre indusert av de to stimuli, skal ytelsen være på sjansen nivå, for toveis diskriminering gitt i eksempelet, vil dette tilsvare 50% riktige etiketter. En prediksjon ytelse betydelig over denne verdien indikerer at det faktisk er konsistente forskjeller mellom de to typer stimuli.

Merk at det er avgjørende at trening og testing datasett være uavhengig fra ulykker somer. Bare hvis dette er tilfelle kan noen konklusjoner trekkes med hensyn til generalizability av mønstrene avledet fra treningen satt. MVPA studier ofte vurdere klassifikator ytelsen ved hjelp av en kryssvalidering paradigmet ( Video Clip 4 ). Anta at en MVPA eksperiment består av åtte funksjonelle går. I den første kryssvalidering skritt, er en klassifikator trent på data fra løper 1 til 7 og testet på data fra løpe 8. I det andre trinnet, er klassifikator deretter trente på løp 1 til 6, samt løpe 8, og deretter testet på løpe syv. Etter dette skjemaet, er åtte kryssvalidering trinn gjennomføres, med hvert løp tjene som testkjøring nøyaktig en gang. Samlet klassifikator ytelse er beregnet som gjennomsnittet av forestillingene på den enkelte kryssvalidering trinn. Selv om denne prosedyren garanterer uavhengige opplæring og testing datasett på hvert trinn, maksimerer det også det totale antallettesting studier, som kan være av nytte ved vurdering av statistisk signifikans av klassifikator ytelse.

Det er fritt tilgjengelig programvare pakker på internett for å utføre MVPA, to eksempler er PyMVPA ¹² (basert på Python, http://www.pymvpa.org ) og verktøykassen tilbys av Princeton Neuroscience Institute (basert på Matlab; http:/ / code.google.com / p / Princeton-mvpa-toolbox / ).

3. Cross-Modal MVPA og Framework of Convergence-Divergence Zones

Som nevnt i innledningen, har eksperimentelle paradigmer som den nettopp har beskrevet blitt brukt med hell til å forutsi perseptuelle stimuli fra nevral aktivitet i tilsvarende sensoriske cortices, med andre ord, visuelle stimuli basert på aktiviteten i visuell cortices og auditive stimuli basert på aktivitet i auditiv cortices . Her, vipresentere en forlengelse av denne grunnleggende konseptet. Spesielt hypotese vi at det bør være mulig å forutsi perseptuelle stimuli, ikke bare innenfor, men på tvers av modaliteter. Sensorisk oppfattelse er intrikat knyttet til tilbakekalling av minner, for eksempel en visuell stimulans som har en sterk auditiv implikasjon, slik som synet av en glass vase knuste på bakken, vil automatisk utløse i vårt "mind øre" bilder som deler likhetstrekk med det auditive bilder opplevde vi på tidligere møter med bryte glass. Ifølge en ramme introdusert av Damasio mer enn to tiår siden ^9,10, er minnet sammenheng mellom synet av vasen og tilsvarende lyden bilder lagret i såkalte konvergens-divergens soner (CDZs; Video Clip 5 ). CDZs er nevron ensembler i foreningen cortices som mottar konvergerende bottom-up anslagene fra ulike tidlig cortical enReas (via flere hierarkiske nivåer), og som i sin tur sende tilbake avvikende topp-ned fremført til samme kortikale områder. På grunn av den konvergent bottom-up projeksjoner, kan CDZs aktiveres av perseptuelle representasjoner i flere modaliteter - for eksempel både av synet og lyden av knuste vase, på grunn av avvikende top-down projeksjoner, kan de fremme gjenoppbygging av tilhørende bilder ved å signalisere tilbake til tidlig cortices av flere modaliteter. Damasio understreket sistnevnte punkt: aktivisere CDZs i foreningen cortices ikke ville være tilstrekkelig for bevisst tilbakekalling av et bilde fra minnet, bare en gang CDZs ville rekonstruere uttrykkelige nevrale representasjoner i tidlige sensoriske cortices ville bildet bli bevisst opplevd. Dermed spår de rammer en bestemt sekvens av nevrale behandling i respons til et (rent) visuelle stimuli som impliserer lyd ( Video Clip6):

1. Den stimulus induserer første et bestemt mønster av nevral aktivitet (rød rektangler) i tidlig visuell cortices.
2. Via konvergent bottom-up projeksjoner, nervecellene i tidlig visuell cortices prosjektet frem til et første nivå av CDZs (CDZ ₁ s). Den konvergent mønster av tilkoblingsmuligheter tillater CDZ ₁ s for å oppdage visse mønstre av aktivitet i tidlig visuell cortices. Avhengig av eksakt mønster, et CDZ kanskje eller kanskje ikke bli aktivert. CDZs dermed fungere som funksjon extractors. I dette eksempel to CDZ ₁ s blir aktivert (som indikert av den røde fargen), mens den tredje ikke er utløst av spesifikke aktiviteten mønsteret i den tilsvarende delen av tidlig visuelle cortices.
3. CDZ ₁ s send konvergent bottom-up fremført til CDZ ₂ s, og derfor like CDZ ₁ s påvist visse mønstre av aktivitet i tidlig visuell cortices, CDZ ₂ s er i stand til å oppdage mønstre av aktivitet blant CDZ ₁ 2 s kan bli aktivert av den spesifikke konfigureringen av aktivt CDZ ₁ s, på grunn av enkelhet, er bare en enkelt CDZ _to avbildet her. I eksemplet er aktiviteten mønsteret blant CDZ ₁ s tilstrekkelig til å aktivere denne CDZ _2.
4. Spesielt gjør CDZ ₁ s ikke bare prosjektet frem til CDZ ₂ s, men også tilbake til tidlig cortices (blå piler). Disse top-down-signaler kan fullføre (muligens bråkete) aktivitetsmønster utgangspunktet indusert av stimulus (blå firkant). Vanligvis betegner rød farge bottom-up aktiveringer, mens blå farge representerer top-down aktiveringer.
5. Via flere andre nivåer av CDZs, den CDZ ₂ s prosjekt frem til CDZ _n er i høyere-ordens forening cortices (stiplet pil). En eller flere CDZ _n S kan svare på spesifikke visuelle stimulus i spørsmålet (kun en eneste en er avbildet).
6. Igjen bør det bemerkes at CDZ ₂ s als o signal bakover for å CDZ ₁ s som i sin tur, kan ytterligere modifisere mønsteret opprinnelig indusert i tidlig visuell cortices.
7. Den CDZ _{N S} signal tilbake til CDZ ₂ s av alle modaliteter. I den visuelle cortices, kan dette føre til ferdigstillelse av aktiviteten mønstre i lavere nivå CDZs. I auditiv cortices, vil en neural mønster bygges - først på nivået av CDZ ₂ s og CDZ ₁ s, til slutt tidlig på auditive cortices - som tillater det bevisste opplevelsen av en auditiv image forbundet med visuelt presentert stimulus. Merk at det også er topp-ned signalering til somatosensoriske modalitet, men i mindre grad enn for de auditive modalitet. Dette gjenspeiler det faktum at nesten alle visuelle stimulus har noen taktile assosiasjon til det. Som visuell stimulans i gjeldende eksempelet antas å spesifikt bety lyd, men top-down signalering til auditiv cortices er mer omfattende.

ove_content "> Basert på den foreslåtte sekvensen av nevrale behandling, gjør rammeverket en bestemt prediksjon. visuelle stimuli inneholder objekter og hendelser som sterkt antyder lyden skal fremkalle nevral aktivitet i tidlig auditiv cortices Videre bør auditive aktivitet mønstre være stimulus-spesifikke; Med andre ord bør et videoklipp av en grufull vase indusere et annet mønster enn et klipp av en ulende hund Hvis denne spådommen var riktig, så bør vi faktisk kunne utføre MVPA cross-modally:. for eksempel, bør vi kunne å forutsi, basert utelukkende på nevrale aktiviteten fingeravtrykk tidlig i auditiv cortices, om en person er å se en knuste vase eller en hylende hund ( Video Clip 7 ). naturligvis bør analoge paradigmer påkalle informasjonsoverføring blant annet sensoriske modaliteter også være vellykket. For eksempel, hvis videoklipp vist til et emne underforstått berøring fremforlyd, bør vi være i stand til å forutsi de klipp fra den aktiviteten mønstre de lokke fram tidlig i somatosensoriske cortex.

Fire. Stimuli

Den generelle paradigme av en MVPA studie ble beskrevet i kapittel 2. Vår tilnærming er forskjellig fra tidligere studier ved at den forsøker å utføre MVPA tvers av sensoriske systemer og derfor bruker stimuli som er spesielt designet for å ha implikasjoner i en sensorisk modalitet enn den der de er presentert. I en tidligere studie, for eksempel, registrerte vi nevral aktivitet fra primære somatosensoriske cortex mens fagene så 5-sekunders videoklipp av hverdagslige objekter som blir manipulert av menneskehender ⁸ ( Video Clip 8 og Video Clip 9 ). I en annen studie undersøkte vi nevral aktivitet i tidlig auditive cortices WHIle fagene sett videoklipp som avbildet objekter og hendelser som sterkt impliserte lyden ⁷ ( Video Clip 10 og Video Clip 11 ). Men ifølge CDZ rammeverket, kan sensoriske stimuli av alle modaliteter potensielt være ansatt i denne generelle paradigmet, så lenge de har implikasjoner i flere modaliteter.

5. Regions of Interest

Vanligvis kan regionene av interesse for en Bildediagnostiske studie bestemmes enten funksjonelt eller anatomisk. Vi tror at i den eksperimentelle paradigmet vi beskriver her, anatomiske localizers er mer egnet for to grunner. Først er det ikke trivielt å funksjonelt definere primære eller tidlig cortices av et gitt sensorisk modalitet (med mulig unntak av den primære visuelle cortex), som behandling av perceptual stimuli presenteres for faget i at modalitet typisk ikke vil være begrenset til disse områdene. For eksempel ville det være vanskelig å definere primære somatosensoriske cortex ved å bruke touch til et emne hender, ettersom aktiviteten indusert av denne prosedyren vil, i all sannsynlighet spre seg til somatosensoriske forening cortices også. Sekund, kan en funksjonell localizer ikke merke alle voxels som potensielt kan bidra til klassifikator prestasjoner: er det vist at områder som ikke viser netto aktivering i respons til sensoriske stimuli i klassisk forstand (dvs. områder som ikke vises på en kontrast bilde [stimulering vs resten]) kan inneholde informasjon om stimuli likevel ^13,14. For disse to grunner, advokat vi bruk av anatomisk definerte regioner av interesse når makroskopiske landemerker tillate dette, for eksempel representerer brutto anatomi postcentral gyrus en rimelig tilnærming til de primære somatosensoriske cortex, Og vi brukte denne til å definere regionen av interesse i vår somatosensoriske studie ⁸ (figur 1).

Seks. Emner

Faget prøver i MVPA studier har en tendens til å være mindre enn i konvensjonelle fMRI studier, som analysen kan utføres på single-faget nivå. Of course, hindrer ikke dette at eksperimentator fra senere å analysere resultatene av de enkelte fagene på konsernnivå i tillegg. I de to studiene nevnt tidligere, for eksempel, gjennomførte vi t-tester på det enkelte emnet resultatene for å vurdere deres betydning på konsernnivå. Hver Studien involverte åtte fagene, selv om dette må betraktes som en svært liten gjenstand utvalget for parametrisk testing, fant vi mange av den forskjellsbehandlingen vi vurdert å være betydelig (se nedenfor).

7. Representant Resultater:

Som nevnt, i to tidligere studier rettet vi å forutsi lyd-tyder videoklippbasert på nevrale aktiviteten i begynnelsen av auditiv cortices ⁷ (se Figur 2 for masken brukt i denne studien) og touch-antyder videoklipp basert på aktivitet i primære somatosensoriske cortices ^8. Dette forsøket var vellykket: i begge studiene, en MVPA klassifikator utført over sjansen på 50% for alle mulige toveis forskjellsbehandlingen mellom stimulus par (n = 36 i det auditive studien, gitt var det 9 ulike stimuli; n = 10 for det somatosensoriske studien, gitt var det 5 forskjellige stimuli). I det auditive studien, 26 av de 36 diskriminasjoner nådde statistisk betydning, i den somatosensoriske studien, dette var tilfellet for 8 av de 10 diskriminasjoner (tosidige t-tester, n = 8 i begge studiene, figur 3).

Figur 1. Omfanget av anatomisk definerte maske av primære somatosensoriske cortex, som brukes i Meyer et al., 2011. En klassifikatoralgoritmen var i stand til å forutsi touch-antyder videoklipp fra hjerneaktiviteten mønstre begrenset til avgrensede området. Gjengitt med tillatelse fra Oxford University Press.

Figur 2. Omfanget av anatomisk definerte maske tidlig auditiv cortices, som brukes i Meyer et al., 2010. En klassifikator algoritme kunne forutsi (stille) lyd-antyder videoklipp fra hjerneaktiviteten mønstre begrenset til avgrensede området. Gjengitt med tillatelse fra Nature Publishing Group.

Figur 3. Oppsummering av resultatene fra vår forrige kryss-modal MVPA studier. En klassifikator ble brukt til å forutsi visuelle stimuli som innebar verken lyd eller berøring fra aktivitet i tidlig auditive eller primære somatosensoriske cortices, henholdsvis. Topplater: i begge studtallet, var prediksjon ytelse over sjansen nivået på 0,5 for all toveis forskjellsbehandlingen mellom par av stimuli. Bottom paneler: i det auditive studien, klassifikator ytelse nådde statistisk signifikans for 26 av de 36 diskriminasjon, i somatosensoriske studien, dette var tilfellet for åtte av de 10 diskriminering. Gjengitt med tillatelse fra Nature Publishing Group og Oxford University Press.

Discussion

Funnene i vår tidligere studier viser at kryss-modal MVPA er et nyttig verktøy for å studere nevrale korrelater til mentale bilder med erfaring i "mind øre" og "sinnets touch". Konkret viser resultatene at innholdet av slike bilder er korrelert med nevrale aktiviteten i tidlig auditive og somatosensoriske cortices henholdsvis gir direkte empirisk støtte for Damasio rammer av konvergens-divergens soner.

Den grunnleggende paradigmet vi beskriver kan utvides på en rekke måter. Mest åpenbart, kan lignende undersøkelser utføres ved hjelp av ulike kombinasjoner av sensoriske modaliteter. I denne forbindelse er det mulig at etablering av enkelte kryss-modal assosiasjoner før eksperimentet kan øke sjansene for suksess. For eksempel å studere kryss-modal representasjoner i olfactory cortices, kunne man prime fagene ved å utsette dem samtidig til synet og lukten av en rekke matvarer. Shortly etter, inne i fMRI skanner, ville olfactory minner av lukter bli utløst av visuelle signaler, og MVPA kunne brukes i et forsøk på å tilordne prøvelser til riktig matvarer basert utelukkende på aktiviteten i olfactory cortices.

Et annet spørsmål av interesse er om cross-modally indusert mønstre av aktivitet i de tidlige sensoriske cortices bærer likhetstrekk med mønstre som er indusert når lyd eller touch er faktisk opplevd, med andre ord ikke se glass vase knust påberope seg et lignende mønster av nevrale aktiviteten tidlig i auditive cortices som faktisk høre samme hendelse? Dette spørsmålet igjen, kan løses ved MVPA: er en klassifikator som har fått opplæring på data registrert mens fagene hørt noen lyder i stand til riktig diskriminere data tatt opp mens de fagene så tilsvarende videoklipp? I vår auditiv studie, gjorde vi forsøk på en slik klassifisering, men resultatene var marginal (se fig. 3 i ref. 7). I den studien ble imidlertid den auditive assosiasjoner av deltakerne ikke kontrollert på noen måte, med andre ord, vet vi ikke hvor like de auditive bildene hver gjenstand assosiert med videoene ble til lydspor brukes til å trene klassifikator. Igjen kan det være interessant å ta det samme spørsmålet etter spesielle kryss-modal foreninger har vært primet i fagene, som beskrevet ovenfor for en visuo-olfactory foreningen. Dette vil tillate å kontrollere mer pålitelig den mentale opplevelsen av fag i videoen prøvelser og dermed kan øke prediksjon ytelse av klassifikator.

For å konkludere, har vi innført en utvidelse til den klassiske MVPA paradigme ved å vise at stimuli kan forutsies ikke bare innenfor, men også på tvers av sensoriske modaliteter. Derfor viser vi at bruken av MVPA ikke er begrenset til å undersøke korrelerer av perseptuelle representasjoner indusert direkte av eksterne sensorisk stimulering. Snarere MVPA kan ogsåvurdere nevrale substrat av mentale bilder som utløses internt: i henhold til Damasio er konvergens-divergens sone rammeverk, våre funn tyder på at den bevisste opplevelsen av mentale bilder som er rekonstruert på grunnlag av minner er korrelert med innhold-spesifikke nevrale representasjoner i den tidlige sensoriske cortices.