Cross-Modal Multivariat Pattern Analysis

Summary

Klassisk multivariat mønster analyse forudsiger sansestimuli et emne opfatter fra neurale aktivitet i den tilsvarende cortex (f.eks visuelle stimuli fra aktivitet i visuelle cortex). Her anvender vi mønsteret analyse på tværs af modally og vise, at lyd-og touch-antyde visuelle stimuli kan forudsiges ud fra aktivitet i auditiv og somatosensoriske cortex, hhv.

Abstract

Multivariat mønster analyse (MVPA) er en stadig mere populær metode til analyse af funktionel magnetisk resonans (fMRI) data ^1-4. Typisk er den metode, der anvendes til at identificere et emne perceptuelle erfaring fra neurale aktivitet i visse områder af hjernen. For eksempel har det været anvendt til at forudsige retningen af visuelle riste et emne opfatter fra aktivitet i begyndelsen af visuelle cortex ^5, eller, analogt, indholdet af talen fra aktivitet i begyndelsen af auditive cortex ^6.

Her præsenterer vi en udvidelse af den klassiske MVPA paradigme, hvorefter perceptuelle stimuli, der ikke er forudset inden for, men på tværs af sensoriske systemer. Konkret metode beskriver vi behandler spørgsmålet om, hvorvidt stimuli, der fremkalder hukommelse foreninger i modaliteter end den, hvorigennem de præsenteres fremkalde indhold-specifikke aktivitet mønstre i den sensoriske cortex af disse andre modaliteter.For eksempel, automatisk se en dæmpet videoklip af en glasvase rystende på jorden udløser i de fleste iagttagere et auditivt billede af den tilhørende lyd, er oplevelsen af ​​dette billede i "sindets øre" korreleret med en bestemt neurale aktivitet mønster i begyndelsen af auditive cortex? Desuden er denne aktivitet mønster adskiller sig fra det mønster, der kunne observeres, hvis motivet var i stedet, at se et videoklip af en hylende hund?

I to tidligere undersøgelser ^7,8, var vi i stand til at forudsige lyd-og touch-indebærer videoklip baseret på neurale aktivitet i begyndelsen af auditiv og somatosensoriske cortex, hhv. Vores resultater er i overensstemmelse med en neuroarchitectural rammer, der foreslås af Damasio ^9,10, hvorefter oplevelsen af mentale billeder, der er baseret på erindringer - så som at høre de rystende lyden af en vase i "sindets øre" ved at se den tilhørende video klip - er støttet af re-konstruktion af indhold-Specifikke neurale aktivitet mønstre i begyndelsen af ​​sensoriske cortex.

Protocol

1. Indledning

Multivariat mønster analyse (MVPA) er en stadig mere populær metode til analyse af funktionel magnetisk resonans (fMRI) data ^1-4. Typisk er den metode, der anvendes til at identificere et emne perceptuelle erfaring fra neurale aktivitet i visse områder af hjernen. For eksempel har det været anvendt til at forudsige retningen af visuelle riste et emne opfatter fra aktivitet i begyndelsen af visuelle cortex ^5, eller, analogt, indholdet af talen fra aktivitet i begyndelsen af auditive cortex ^6. I denne video artiklen beskriver vi en ny anvendelse af MVPA som tilføjer et ekstra twist til denne grundlæggende, intra-modal paradigme. I denne tilgang, er perceptuelle stimuli forudsagt ikke er inden for, men på tværs af sensoriske systemer.

2. Multivariat Mønster Analyse

Selv om MVPA metoden nu er veletableret inden for neuroimaging rige, vil vi starte med at pointing de vigtigste forskelle mellem MVPA og konventionelle, univariate fMRI analyse. Til dette formål, overveje følgende eksempel på, hvordan de to metoder går om at undersøge neurale aktivitet i den visuelle cortex i løbet af en simpel visuel opgave ( Video Klip 1 ):

1. Et emne er præsenteret med to forskellige visuelle stimuli, for eksempel et billede af en appelsin og et billede af et æble.
2. Begge stimuli fremkalde en specifik mønster af neurale aktivitet i den primære visuelle cortex, her symboliseret ved aktivering niveauer af seks hypotetiske voxels. (Selvfølgelig, induceret aktivitet mønstre af en enkelt præsentation af appelsin eller æble billeder i virkeligheden ville være meget støjende, overveje den illustrerede mønstre som gennemsnit som følge af et stort antal forsøg.)
3. I konventionelle fMRI analyse, er der især to måder, hvorpå disse mønstre kan analyseres. Først kan man fokusere på den gennemsnitlige Level aktivitet på tværs af hele regionen af ​​interesse.
4. I det givne eksempel, er forskellen i den gennemsnitlige aktivitets niveauer ikke signifikant, så de mønstre, der svarer til de to stimuli ikke kan skelnes fra dette synspunkt.
5. En anden måde at analysere de to mønstre er at etablere en subtraktion kontrast mellem dem: for hver voxel, er aktiveringen niveau i løbet af "æble" tilstand trækkes fra aktiveringen niveau i den "orange" tilstand. Den resulterende forskel kan derefter visualiseres for hver voxel på en hel-hjerne kontrast billede.
6. Igen, dog kan disse forskelle være små og kan nå de krævede statistiske kriterium kun for meget få voxels.
7. Det er her den afgørende fordel ved MVPA kommer i spil: dens overlegne magt skyldes, at i modsætning til univariate analysemetoder, den mener, at aktivering niveauer af alle voxels samtidigt og dermed er i stand til at opdage mønstre i dem. Mens, som mentioned, kan kun få af aktiveringen forskelle være betydelige, når de betragtes isoleret, de to mønstre, når de betragtes i deres helhed, kan faktisk ved statistisk forskellige.

Der er en anden væsentlig forskel mellem konventionelle fMRI analyse og MVPA ( Video Klip 2 ). Den tidligere metode, typisk forsøg på at påvise en statistisk afhængighed mellem visse sensoriske stimuli og visse hjernens aktivitet mønstre i en "fremad måde", med andre ord, beder det spørgsmål af typen: "Will to forskellige visuelle stimuli, fx billedet af et ansigt og billedet af et hus, føre til forskellige aktivitet i et bestemt område af interesse, f.eks fusiform ansigtet området? " Derimod er den succes MVPA typisk udtrykt i "omvendt følgeslutning" eller "afkode", den typiske spørgsmål er af typen: "Baseret på det mønster af neurale aktivitet i en bestemt reg ion af interesse (fx den primære visuelle cortex), kan man forudsige, om et emne opfatter stimulus A, fx et orange eller stimulus B, fx et æble? "Bemærk dog, at den retning, hvor sammenhængen mellem de perceptuelle stimuli og hjernens aktivitet er kortlagt betyder ikke noget fra et statistisk synspunkt: det svarer til at sige, at to stimuli fører til en tydelig aktivitet mønstre i et givent område af hjernen, og at sige, at den aktivitet mønster i det pågældende område af hjernen tillader forudsigelse af overtalelse stimulus ¹¹ . Med andre ord, er følsomheden af ​​MVPA bedre end univariate analyser, fordi den mener flere voxels samtidigt, og ikke fordi den forløber i en omvendt retning.

De følgende trin illustrerer, hvordan en typisk MVPA paradigme ville løse spørgsmålet om, hvorvidt at se et æble inducerer et andet mønster af neurale aktivitet i den primære visuelle cortex end at se en orange (_upload/3307/3307_Meyer-Kaplan_Video_3.mov "> Video Clip 3):

1. fMRI data er erhvervet, mens et emne, ser stort antal af æble og appelsin stimuli.
2. De indsamlede data er opdelt i en uddannelse datasæt og en test datasæt. I modsætning til det aktuelle eksempel, er træningen datasættet ofte valgt til at være større end de test datasæt, som udførelsen af ​​klassificeringen kan forventes at stige i takt med antallet af uddannelsen forsøg.
3. Dataene fra træningssættet er indgået et mønster klassificering. Ved hjælp af en af ​​flere mulige matematiske algoritmer, klassificeringen forsøger at finde funktioner i de neurale mønstre, der adskiller de to stimulus typer fra hinanden. En type klassifikator almindeligt anvendt (også i vores egne tidligere undersøgelser) er såkaldte support vector machines; for yderligere detaljer, er læseren henvises til anmeldelser, der er nævnt i indledningen.
4. Efter klassificeringen er blevet uddannet om uddannelse forsøg, er det provided med testdata. De enkelte forsøg fra afprøvning datasæt er umærket, med andre ord sige, at klassificeringen ikke "kender", om et mønster, kommer fra et "æble" eller en "orange" retssag.
5. Baseret på konsistenser det var i stand til at opdage i uddannelsen datasættet, attributter klassificeringen den mest sandsynlige mærke til hver af de test forsøg.
6. For hvert mønster, kan klassificeringen "gæt" kan sammenlignes med den korrekte stimulus etiketten.
7. Hvis klassificeringen ikke var i stand til at opdage enhver konsekvente forskelle mellem de mønstre forårsaget af de to stimuli, bør dets ydeevne være chance plan for de to-vejs diskrimination givet i eksemplet, ville det svare til 50% korrekte etiketter. En forudsigelse præstation væsentligt over denne værdi indikerer, at der faktisk er konsekvente forskelle mellem de to former for stimuli.

Bemærk at det er afgørende, at uddannelse og afprøvning datasæt være uafhængige fra den ene anothis. Kun hvis dette er tilfældet kan enhver drages konklusioner til generalizability af de mønstre der stammer fra uddannelsen sæt. MVPA undersøgelser ofte vurdere klassificeringen ydelse med et cross-validering paradigme ( Video Klip 4 ). Antag, at en MVPA eksperiment består af otte funktionelle løber. I den første krydsvalidering trin, er en klassifikatør uddannet på data fra løber 1 til 7 og testet på data fra løb 8. I det andet trin, er klassificeringen derefter uddannet på løber 1 til 6 samt køre 8, og efterfølgende testet på køre 7. Efter dette skema, er otte krydsvalidering trin udføres med hver kørsel tjener som testkørsel præcis én gang. Samlet klassifikatør performance er udregnet som gennemsnittet af forestillingerne på de enkelte krydsvalidering trin. Mens denne procedure garanterer uafhængige træning og test datasæt for hvert trin, men også maksimerer det samlede antalaf test forsøg, hvilket kan være en fordel ved vurderingen af ​​den statistiske signifikans af klassificeringen præstation.

Der er frit tilgængelig software-pakker på internettet til at udføre MVPA, to eksempler er PyMVPA ¹² (baseret på Python, http://www.pymvpa.org ) og den værktøjskasse, der tilbydes af Princeton Neuroscience Institute (baseret på Matlab; http:/ / code.google.com / p / Princeton-mvpa-værktøjskasse / ).

3. Cross-Modal MVPA og ramme for konvergens-Afvigelse zoner

Som nævnt i indledningen, har eksperimentelle paradigmer som den netop beskrevne været anvendt med succes til at forudsige perceptuelle stimuli fra neurale aktivitet i tilsvarende sensoriske cortex, med andre ord, visuelle stimuli er baseret på aktivitet i visuelle cortex og auditive stimuli baseret på aktiviteten i auditive cortex . Her har vifremlægge en udvidelse af denne grundlæggende koncept. Konkret har vi en hypotese, at det bør være muligt at forudsige perceptuelle stimuli, ikke kun inden for, men på tværs af modaliteter. Sansning er uløseligt knyttet til tilbagekaldelse af erindringer, for eksempel, en visuel stimulus, der har en stærk auditiv konsekvenser, såsom synet af et glas vase rystende på jorden, vil automatisk udløse i vores "sind øre" billeder, der deler ligheder med det auditive billeder, vi har oplevet ved tidligere møder med at bryde glas. Ifølge en ramme, der blev indført ved Damasio mere end to årtier siden, ^9,10, er hukommelsen sammenhæng mellem synet af vasen og den tilsvarende lyd billeder gemt i såkaldte konvergens-divergens zoner (CDZs; Video Klip 5 ). CDZs er neuron ensembler i foreningen cortex, der modtager konvergerende bottom-up fremskrivninger fra forskellige tidligt kortikale enreas (via flere hierarkiske niveauer), og som til gengæld sende tilbage divergerende top-down fremskrivninger til samme kortikale steder. På grund af den konvergerende bottom-up fremskrivninger, kan CDZs aktiveres ved perceptuelle repræsentationer i flere modaliteter - for eksempel, både ved synet og lyden af ​​en rystende vase, på grund af de divergerende top-down fremskrivninger, kan de derefter fremme genopbygningen af tilknyttede billeder ved at signalere tilbage til den tidlige cortex af yderligere modaliteter. Damasio understregede sidstnævnte punkt: aktivering CDZs i samarbejde cortex ikke ville være tilstrækkeligt for den bevidste tilbagekaldelse af et billede fra hukommelsen, og kun én gang CDZs ville rekonstruere eksplicitte neurale repræsentationer i begyndelsen af ​​sensoriske cortex ville billedet være bevidst opleves. Således rammer forudsiger en bestemt sekvens af neurale behandling som svar på et (rent) visuel stimulus, som indebærer, lyd ( Video Clip6):

1. Stimulus first fremkalder et specifikt mønster af neurale aktivitet (røde firkanter) i de tidlige visuelle cortex.
2. Via konvergerende bottom-up fremskrivninger, projekt neuroner i begyndelsen af visuel cortex frem til et første niveau CDZs (CDZ ₁ s). Den konvergente mønster af tilslutningsmuligheder gør det muligt at CDZ _{1 sekund} at opdage visse mønstre af aktivitet i de tidlige visuelle cortex. Afhængig af den nøjagtige mønster, en CDZ måske eller måske ikke bliver aktiveret. CDZs dermed fungere som feature udsugningsanlæg. I dette eksempel bliver to CDZ ₁ s aktiveret (som angivet af den røde farve), mens den tredje ikke er udløst af specifikke aktivitet mønster i den tilsvarende sektor i de tidlige visuelle cortex.
3. CDZ ₁ s send konvergent bottom-up fremskrivninger til CDZ ₂ s, og derfor, ligesom CDZ ₁ s opdaget visse mønstre af aktivitet i de tidlige visuelle cortex, CDZ _{2 S} er i stand til at opdage mønstre af aktivitet blandt CDZ ₁ 2 s kan blive aktiveret af den specifikke konfiguration af aktiverede CDZ ₁ s, for nemheds skyld er der kun en enkelt CDZ ₂ afbildet her. I eksemplet er den aktivitet mønster blandt CDZ _{1 sekund} tilstrækkelige til at aktivere denne CDZ _2.
4. Især gør CDZ ₁ s ikke kun projektet frem til CDZ ₂ s, men også tilbage til begyndelsen af cortex (blå pile). Disse top-down-signaler kan afslutte (muligvis støjende) aktivitet mønster oprindeligt fremkaldt af stimulus (blåt rektangel). Generelt røde farve angiver bottom-up aktiveringer, mens blå farve repræsenterer top-down aktiveringer.
5. Via flere andre niveauer af CDZs, de CDZ _{2 S-projektet} frem til CDZ _n s i højere ordens forening cortex (stiplet pil). En eller flere CDZ _n S kan reagere på specifikke visuelle stimulus er tale om (kun en enkelt er afbildet).
6. Igen skal det bemærkes, at CDZ _{2 S} als o signal tilbage til CDZ ₁ s, hvilket igen kan yderligere ændre det mønster, der oprindeligt induceret i de tidlige visuelle cortex.
7. Den CDZ _n s signal tilbage til CDZ _{2 S} af alle modaliteter. I den visuelle cortex, kan dette føre til afslutningen af ​​aktiviteten mønstre i lavere niveau CDZs. I den auditive cortex, vil et neuralt mønster skal bygges - først på niveau med CDZ _{2 S} og CDZ ₁ s, i sidste ende i den tidlige auditive cortex - som giver den bevidste oplevelse af en auditiv billede der er tilknyttet den visuelt præsenterede stimulus. Bemærk, at der også er top-down signalering til somatosensoriske modalitet, om end i mindre omfang end for den auditive modalitet. Dette afspejler det faktum, at næsten alle visuelle stimulus har nogle taktile association til det. Som det visuelle stimulus i det aktuelle eksempel antages at specifikt indebærer lyd, dog, top-down signalering til den auditive cortex er mere omfattende.

ove_content "> På baggrund af den foreslåede sekvens af neurale behandling, gør rammer en bestemt forudsigelse:. visuelle stimuli, som indeholder objekter og begivenheder, som stærkt indebærer lyden skal fremkalde neurale aktivitet i begyndelsen af ​​auditive cortex Desuden bør den auditive aktivitetsmønstre være stimulus-specifikke; med andre ord, bør et videoklip af en rystende vase fremkalde et andet mønster end et klip af en hylende hund Hvis denne forudsigelse var korrekt, så bør vi faktisk være i stand til at udføre MVPA tværs modally:. eksempelvis, burde vi kunne at forudsige, udelukkende er baseret på den neurale aktivitet fingeraftryk i begyndelsen af auditive cortex, hvorvidt en person er at se en rystende vase eller en hylende hund ( Video Klip 7 ). Naturligvis bør analog paradigmer påberåber informationsoverførsel mellem andre sensoriske modaliteter også være en succes. Til eksempel, hvis videoklip vist sig at et emne stiltiende røre i stedetlyd, burde vi være i stand til at forudsige de klip fra den aktivitet mønstre de fremkalder i begyndelsen af ​​somatosensoriske cortex.

4. Stimuli

Den generelle paradigme af en MVPA undersøgelse blev beskrevet i afsnit 2. Vores tilgang er forskellig fra tidligere undersøgelser i, at det forsøger at udføre MVPA tværs af sensoriske systemer og bruger derfor stimuli, der er specielt designet til at have konsekvenser i en sensorisk modalitet end den, hvor de er præsenteret. I en tidligere undersøgelse, for eksempel, vi indspillede neurale aktivitet fra primære somatosensoriske cortex, mens emner set 5-sekunders videoklip af dagligdags objekter, der manipuleres af menneskehænder ⁸ ( Video Klip 8 og Video Klip 9 ). I en anden undersøgelse, undersøgte vi neurale aktivitet i begyndelsen af ​​auditive cortex WHIle emner set videoklip, der afbildet genstande og begivenheder, som stærkt underforstået lyd ⁷ ( Video Klip 10 og Video Klip 11 ). Men ifølge CDZ rammer, kan sensoriske stimuli af alle modaliteter potentielt være ansat i denne generelle paradigme, så længe de har konsekvenser i andre modaliteter.

5. Regions of Interest

Generelt kan de regioner af interesse for en billeddannende undersøgelse bestemmes enten funktionelt eller anatomisk. Vi mener, at i den eksperimentelle paradigme, vi beskriver her, anatomiske localizers er mere velegnet til to grunde. Det første er det ikke trivielt at funktionelt definere den primære eller tidligt cortex af en given sensorisk modalitet (måske med undtagelse af den primære visuelle cortex), som behandling af perceptual stimuli præsenteret for emnet i denne modalitet vil typisk ikke være begrænset til disse områder. For eksempel vil det være vanskeligt at definere den primære somatosensoriske cortex ved at anvende touch til et emne hænder, som den aktivitet, som følge af denne procedure ville efter al sandsynlighed sprede sig til somatosensoriske forening kortikale så godt. For det andet kan en funktionel Localizer ikke mærke alle de voxels, der potentielt kan bidrage til klassificeringen præstation: Det har vist sig, at områder, der ikke udviser netto aktivering som reaktion på sensoriske stimuli i klassisk forstand (dvs. regioner, som ikke vises på en kontrast billede [stimulation vs resten]) kan indeholde oplysninger om de stimuli alligevel ^13,14. Af disse to grunde, er vi tilhængere af brugen af ​​anatomisk definerede områder af interesse, når makroskopiske vartegn giver mulighed for dette, for eksempel, udgør brutto anatomi postcentral gyrus en rimelig tilnærmelse af de primære somatosensoriske cortex, Og vi brugte denne til at definere regionen interesse i vores somatosensoriske studie ⁸ (figur 1).

6. Emner

Emnet prøver i MVPA undersøgelser tendens til at være mindre end i konventionelle fMRI undersøgelser, som analysen kan udføres på enkelt-emne niveau. Selvfølgelig er dette ikke til hinder for eksperimentatoren fra efterfølgende at analysere resultaterne af de enkelte fag på gruppe niveau. I de to undersøgelser nævnt tidligere, for eksempel, gennemførte vi t-test på de enkelte fag resultater for at vurdere deres betydning på gruppe niveau. Hver Undersøgelsen omfattede otte fag, selv om dette må betragtes som en meget lille emne prøve til parametriske test, vi fandt mange af den forskelsbehandling, vi vurderes at være betydelig (se nedenfor).

7. Repræsentative resultater:

Som nævnt, i to tidligere undersøgelser, vi har til formål at forudsige lyd indebærer videoklipbaseret på neurale aktivitet i begyndelsen af auditive cortex ⁷ (se figur 2 for masken er anvendt i denne undersøgelse) og touch-indebærer videoklip baseret på aktivitet i den primære somatosensoriske cortex ^8. Dette forsøg var en succes: i begge undersøgelser, udført en MVPA klassifikatør over chance på 50% for alle mulige tovejs-diskrimination mellem stimulus par (n = 36 i den auditive undersøgelsen, da der var 9 forskellige stimuli, n = 10 for somatosensoriske undersøgelsen, da der var 5 forskellige stimuli). I det auditive undersøgelse nåede 26 ud af de 36 diskrimination statistisk signifikans i somatosensoriske undersøgelsen, var dette tilfældet for 8 ud af de 10 diskrimination (to-sidet t-test, n = 8 i begge undersøgelser, figur 3).

Figur 1. Omfanget af den anatomisk definerede maske af den primære somatosensoriske cortex, som anvendt i Meyer et al., 2011. En klassificeringalgoritme var i stand til at forudsige touch-antyde videoklip fra hjernens aktivitet mønstre begrænset til det afgrænsede område. Gengivet med tilladelse fra Oxford University Press.

Figur 2. Omfanget af den anatomisk definerede maske af tidlige auditive cortex, som anvendt i Meyer et al., 2010. En klassifikatør algoritme var i stand til at forudsige (lydløs) lyd-antyde videoklip fra hjernens aktivitet mønstre begrænset til det afgrænsede område. Gengivet med tilladelse fra Nature Publishing Group.

Figur 3. Resumé af resultaterne af vores tidligere cross-modal MVPA studier. En klassifikatør blev brugt til at forudsige visuelle stimuli, der stiltiende enten lyd eller berøring fra aktivitet i begyndelsen af ​​auditive eller primære somatosensoriske kortex, hhv. Top paneler: I begge studerne, forudsigelse præstation var over chance niveau på 0,5 for alle to-vejs diskrimination mellem par af stimuli. Nederst paneler: i det auditive undersøgelsen nåede klassificeringen performance statistisk signifikans for 26 af de 36 diskrimination, og i den somatosensoriske undersøgelsen, var dette tilfældet for 8 af de 10 diskrimination. Gengivet med tilladelse fra Nature Publishing Group og Oxford University Press.

Discussion

Resultaterne af vores tidligere undersøgelser viser, at på tværs af modal MVPA er et nyttigt værktøj til at studere de neurale korrelater af mentale billeder, der har erfaring med "sindets øre" og "sindets touch". Konkret viser resultaterne, at indholdet af sådanne billeder er korreleret med neurale aktivitet i begyndelsen af ​​auditive og somatosensoriske cortex, henholdsvis giver direkte empirisk støtte til Damasio er ramme for konvergens-divergens zoner.

Den grundlæggende paradigme beskriver vi kan udvides på en række måder. Mest tydeligt, kan lignende undersøgelser udføres ved hjælp af forskellige kombinationer af sensoriske modaliteter. I denne forbindelse er det muligt, at fastlæggelse af visse tværs af modal foreninger forud for forsøget kan øge chancerne for succes. For eksempel, for at studere på tværs af transportformerne repræsentationer i olfaktoriske cortex, man kunne vigtigste emner ved at udsætte dem samtidig til synet og lugten af ​​en række fødevarer. Shortly efter, inde i fMRI scanneren, vil det olfaktoriske minderne om den lugter være udløst af visuelle udtryk og MVPA kunne bruges i et forsøg på at tildele forsøg til den rigtige fødevarer udelukkende er baseret på aktivitet i olfaktoriske cortex.

Et andet spørgsmål af interesse er, om cross-modally induceret mønstre af aktivitet i de tidlige sensoriske cortex bærer ligheder med de mønstre, der er induceret, når lyd eller touch er faktisk opleves, med andre ord ikke se glasvase splintres påberåbe sig et lignende mønster af neurale aktivitet i begyndelsen af ​​auditive cortex, som rent faktisk at høre den samme begivenhed? Dette spørgsmål, igen, kan behandles gennem MVPA: er en klassificering, der er blevet trænet om registrerede data, mens emner hørte nogle lyde i stand til korrekt at diskriminere oplysninger, der registreres, mens de emner set tilsvarende videoklip? I vores auditive studie, gjorde vi forsøge en sådan klassificering, men resultaterne var marginalt (se fig. 3 i ref. 7). I denne undersøgelse, dog blev de auditive foreninger af deltagerne ikke er kontrolleret på nogen måde, med andre ord, ved vi ikke hvor ens de auditive billederne hvert emne i forbindelse med videoer blev til lydspor bruges til at træne klassificeringen. Igen kunne det være interessant at behandle det samme spørgsmål efter specifikke tværs af transportformerne foreninger er blevet spædet i fagene, som beskrevet ovenfor for et visuo-olfaktoriske forening. Dette ville give mulighed for at kontrollere mere pålideligt det mentale oplevelse af forsøgspersoner i løbet af videoen forsøg og dermed kan øge forudsigelse udførelsen af ​​klassificeringen.

Til slut, har vi indført en udvidelse af den klassiske MVPA paradigme ved at vise, at stimuli kan forudsiges ikke kun inden for, men også på tværs af sensoriske modaliteter. Således viser vi, at brugen af ​​MVPA ikke er begrænset til at undersøge korrelater af perceptuelle repræsentationer fremkaldt direkte af eksterne sensorisk stimulation. Snarere, MVPA kan ogsåvurdere de neurale substrat af mentale billeder, der er udløst internt: i overensstemmelse med Damasio konvergensregioner-divergens zone rammer, tyder vores resultater, at den bevidste oplevelse af mentale billeder, der er rekonstrueret baseret på erindringer er korreleret med indhold-specifikke neurale repræsentationer i de tidlige sensoriske cortex.