Cross-Modal Multivariat Pattern Analysis

Summary

Klassisk multivariat mönster analys förutspår sensoriska stimuli ett ämne uppfattar från neural aktivitet i motsvarande cortex (t.ex. visuella stimuli från aktivitet i syncentrum). Här tillämpar vi mönster analys över modalt och visa att ljud-och touch-vilket innebär visuella stimuli kan förutsägas utifrån aktivitet i auditiv och somatosensoriska cortex, respektive.

Abstract

Multivariat mönster analys (MVPA) är en alltmer populär metod för att analysera funktionell magnetresonanstomografi (fMRI) data ^1-4. Normalt är den metod som används för att identifiera en persons perceptuell erfarenhet från neural aktivitet i vissa regioner i hjärnan. Till exempel har den använts för att förutspå riktningen av visuell galler ett ämne uppfattar från aktivitet i början av visuella cortex ⁵ eller, analogt, innehållet i tal från verksamheten i början av auditiva cortex ^6.

Här presenterar vi en förlängning av den klassiska MVPA paradigm, enligt vilka perceptuella stimuli inte förutspås inom, utan i hela sensoriska system. Specifikt behandlar metod vi beskriver frågan om stimuli som framkallar minnet föreningar i formerna än den hjälp som de presenteras framkalla innehåll-specifik aktivitet mönster i sensoriska cortex av dessa andra metoder.Till exempel ser en dämpad videoklipp av en glasvas splittras på marken automatiskt utlöser i de flesta bedömare en auditiv bild av den tillhörande ljud, är upplevelsen av denna bild i "sinnet öra" korrelerade med en viss neural aktivitet mönster i början av auditiva cortex? Dessutom är denna verksamhet mönstret skiljer sig från det mönster som kunde iakttas om motivet var att i stället titta på ett videoklipp av en ylande hund?

I två tidigare studier ^7,8, kunde vi förutse ljud-och touch-vilket innebär videoklipp baserad på neural aktivitet i början av auditiv och somatosensoriska cortex, respektive. Våra resultat är i linje med en neuroarchitectural som föreslagits av Damasio ^9,10, enligt vilken upplevelsen av mentala bilder som bygger på minnen - som att höra ett krossande ljudet av en vas i "sinnet öra" på att se motsvarande video klipp - stöds av ombyggnad av innehåll-Specifika neural aktivitet mönster i början av sensoriska cortex.

Protocol

1. Inledning

Multivariat mönster analys (MVPA) är en alltmer populär metod för att analysera funktionell magnetresonanstomografi (fMRI) data ^1-4. Normalt är den metod som används för att identifiera en persons perceptuell erfarenhet från neural aktivitet i vissa regioner i hjärnan. Till exempel har den använts för att förutspå riktningen av visuell galler ett ämne uppfattar från aktivitet i början av visuella cortex ⁵ eller, analogt, innehållet i tal från verksamheten i början av auditiva cortex ^6. I den här videon artikeln beskriver vi en ny tillämpning av MVPA vilket ger en extra twist till denna grundläggande, intra-modal paradigm. I denna strategi, är perceptuella stimuli förutspås inte inom, utan i hela sensoriska system.

2. Multivariat Pattern Analysis

Trots att MVPA metoden nu är väl etablerad inom neuroradiologiska rike, kommer vi att börja med pointing ut de viktigaste skillnaderna mellan MVPA och konventionella, univariata fMRI analys. I detta syfte tänka på följande exempel på hur de två metoderna går om att undersöka neural aktivitet i syncentrum under en enkel visuell uppgift ( videoklipp 1 ):

1. Ett ämne presenteras med två olika visuella stimuli, till exempel en bild av en apelsin och en bild av ett äpple.
2. Både stimuli framkalla en specifik mönster av neural aktivitet i det primära syncentrum, som symboliseras här av aktivering nivåerna av sex hypotetiska voxlar. (Naturligtvis aktivitetsmönster orsakas av en enda presentation av apelsin eller äpple bilder i verkligheten skulle vara mycket högljudd, överväga illustrerade mönster som genomsnitt till följd av ett stort antal försök.)
3. I konventionella fMRI analys Det finns i huvudsak två sätt på vilka dessa mönster kan analyseras. Först kan man fokusera på den genomsnittliga Level av aktiviteten i hela regionen av intresse.
4. I exemplet är skillnaden i genomsnittlig aktivitet i plasma ej signifikant, så att de mönster som motsvarar de två stimuli inte kan skiljas från denna synvinkel.
5. Ett annat sätt att analysera två mönster är att etablera en subtraktion kontrast mellan dem: För varje Voxel, är aktiveringen nivå under "äpple" tillstånd subtraheras från aktiveringen nivå under "orange" skick. Den resulterande skillnaden kan sedan visualiseras för varje Voxel på hela hjärnan kontrast bild.
6. Återigen kan dock dessa skillnader vara små och kan nå de begärda statistiska kriterium endast för ett fåtal voxlar.
7. Det är där den avgörande fördelen MVPA kommer in i bilden: sin överlägsna makt härrör från det faktum att till skillnad från univariat analysmetoder, anser att det är aktivering nivåerna av alla voxlar samtidigt och därmed kan upptäcka mönster i dem. Samtidigt som mentioned kan endast få av aktivering skillnaderna vara betydande när ses isolerat, de två mönster, om man ser i sin helhet, kan visserligen genom statistiskt annorlunda.

Det finns en andra stora skillnaden mellan konventionell fMRI analys och MVPA ( Video Clip 2 ). Den tidigare metoden försöker vanligtvis att påvisa en statistiskt beroende mellan vissa sensoriska stimuli och vissa hjärnans mönster aktivitet i ett "framåt sätt", med andra ord, frågar den frågan av typen: "Kommer två olika visuella stimuli, till exempel bilden av ett ansikte och bilden av ett hus, leda till olika aktivitet i en viss region av intresse, t.ex. spolformade ansiktet området? " Däremot är framgången för MVPA vanligen uttryckt i termer av "omvänd slutledning" eller "avkodning", den typiska frågan är av typen: "Baserat på mönster av neural aktivitet i en specifik Reg jon av intresse (t.ex. den primära syncentrum), kan en förutsäga om ett ämne uppfattar stimulus A, t.ex. en apelsin, eller påverkan B, t ex ett äpple? "Observera dock att i vilken riktning sambandet mellan perceptuella stimuli och hjärnans aktivitet är mappad ingen roll ur en statistisk synvinkel: det är likvärdigt att säga att två stimuli leder till olika aktiviteter mönster i en viss hjärna region och säga att aktivitetsmönster i hjärnan regionen möjliggör förutsägelse av den inducerande stimulans ¹¹ . Med andra ord är känslighet MVPA överlägsen univariata analyser eftersom den anser flera voxlar samtidigt, och inte för att den fortsätter i en omvänd riktning.

Följande steg illustrerar hur en typisk MVPA paradigm skulle lösa frågan om huruvida se ett äpple inducerar ett annat mönster av neural aktivitet i primära syncentrum än att se en orange (_upload/3307/3307_Meyer-Kaplan_Video_3.mov "> Video Clip 3):

1. fMRI data som förvärvas medan ett föremål ser stort antal äpple och apelsin stimuli.
2. De förvärvade uppgifter är uppdelade i en träningsdata set och en data test set. Till skillnad från i det nuvarande exemplet är träningsdata som ofta valt att vara större än att testa dataset, som utförandet av klassificerare kan förväntas öka med antalet utbildningsplatser prövningar.
3. Data från utbildningen som förs in i ett mönster klassificerare. Använda en av flera möjliga matematiska algoritmer försöker klassificerare att upptäcka funktioner i neurala mönster som skiljer de två stimulans typerna från varandra. En typ av klassificerare som vanligen används (också i vår egen tidigare studier) är så kallade support vector maskiner, för ytterligare detaljer, hänvisas läsaren till översyner som anges i inledningen.
4. Efter att klassificerare har utbildats på utbildning prövningar, är det providED med testdata. De enskilda försöken från den testdata som är omärkta, med andra ord, gör klassificerare inte "vet" om ett mönster kommer från en "apple" eller en "orange" rättegång.
5. Baserat på konsistenser den kunde upptäcka i den utbildning datamängden, attribut de klassificerare de mest troliga etiketten till varje test prövningar.
6. För varje mönster kan klassificerare "gissa" att jämföras med rätt stimulans etiketten.
7. Om klassificerare kunde inte upptäcka några konsekventa skillnader mellan de mönster som orsakas av de två stimuli, bör dess prestanda på chans nivå, för de två-vägs diskriminering ges i exemplet skulle detta motsvara 50% korrekt etiketter. En förutsägelse prestanda betydligt högre än detta värde indikerar att det faktiskt finns konsekventa skillnader mellan de två typerna av stimuli.

Observera att det är viktigt att utbildning och prov datamängder vara oberoende av en anothER. Endast om så är fallet kan några slutsatser dras om de generaliserbarhet av mönstren från utbildningen inställd. MVPA studier utvärdera ofta klassificerare prestanda med en cross-validering paradigm ( Video Clip 4 ). Antag att en MVPA experiment består av åtta funktionella körningar. I den första cross-validering steg är en klassificerare tränad på data från körningar 1 till 7 och testat på data från springa 8. I det andra steget är klassificerare sedan tränade på körningar 1 till 6 samt köra 8, och därefter testats på sikt 7. Efter detta schema är åtta korsvalidering steg utförts, varje körning tjänstgör som testkörning exakt en gång. Totalt klassificerare prestanda beräknas som genomsnittet av de föreställningar på enskilda gränsöverskridande validering steg. Även om detta förfarande garanterar oberoende utbildning samt uppgifter testning ställer på varje steg, maximerar det också det totala antaletav testning rättegångar, som kan vara till nytta vid bedömningen av den statistiska signifikansen av klassificerare prestanda.

Det är fritt tillgängliga programvaror på internet för att utföra MVPA, två exempel är PyMVPA ¹² (baserat på Python, http://www.pymvpa.org ) och verktygslådan erbjuds av Princeton Neuroscience Institute (baserade på Matlab, http:/ / code.google.com / p / Princeton-mvpa-toolbox / ).

3. Cross-Modal MVPA och konvergens-ram-Avvikelse zoner

Som nämndes i inledningen har experimentella paradigm som den nyss beskrivna använts framgångsrikt för att förutsäga perceptuella stimuli från neural aktivitet i motsvarande sensoriska cortex, med andra ord, visuella stimuli baserat på aktivitet i visuella cortex och stimuli hörsel baserat på aktivitet i auditiva cortex . Här har vipresentera en förlängning av detta grundkoncept. Specifikt hypotes vi att det bör vara möjligt att förutsäga perceptuella stimuli inte bara inom, utan i hela modaliteter. Sensorisk uppfattning är intimt kopplad till återkallande av minnen, till exempel en visuell stimulans som har en stark auditiv underförstått, såsom åsynen av en glasvas splittras på marken, kommer automatiskt att utlösa i vår "mind öra" bilder som har likheter med den auditiva bilder vi upplevt på tidigare möten med krossat glas. Enligt en ram som införts genom Damasio mer än två decennier sedan ^9,10, är minnet sambandet mellan synen av vasen och motsvarande bilder som ljudet lagras i så kallade konvergens-divergensen zoner (CDZs, Video Clip 5 ). CDZs är neuron ensembler i föreningen cortex som får konvergerande bottom-up prognoser från olika tidiga kortikal enReas (via flera hierarkiska nivåer) och som i sin tur skicka tillbaka olika top-down-prognoser till samma kortikala områden. På grund av konvergent bottom-up prognoser kan CDZs aktiveras av perceptuella representationer i flera former - till exempel både av synen och ljudet av en splittring vas, på grund av de olika top-down-beräkningar kan de sedan främja återuppbyggnaden av tillhörande bilder genom att signalera tillbaka till början av cortex av ytterligare villkor. Damasio betonade den sista punkten: aktivering CDZs i samarbete cortex skulle inte vara tillräckligt för medvetna återkallande av en bild från minnet, bara en gång CDZs skulle rekonstruera explicit neurala representationer i början av sensoriska cortex skulle bilden vara medvetet upplevas. Därför förutspår ramen en specifik sekvens av neurala bearbetning som svar på ett (rent) visuell stimulans som innebär ljud ( Video Clip6):

1. Den stimulans inducerar först ett visst mönster av neural aktivitet (röda rektanglar) i början av visuella cortex.
2. Via konvergent bottom-up prognoser, nervceller i början av visuella cortex projektet framåt till en första nivå av CDZs (CDZ ₁ s). Den konvergenta mönster Connectivity möjliggör CDZ ₁ s för att upptäcka vissa mönster av aktivitet i början av visuella cortex. Beroende på exakt mönster, en CDZ kanske eller kanske inte bli aktiverad. CDZs fungerar således som funktion utsug. I detta exempel två CDZ ₁ s blir aktiverat (vilket framgår av den röda färgen), medan den tredje inte utlöses av specifika aktiviteten mönstret i motsvarande sektor i början av visuella cortex.
3. CDZ ₁ s skickar konvergent bottom-up prognoser till CDZ ₂ s, alltså, precis som CDZ ₁ s upptäckt vissa mönster av aktivitet i början av visuella cortex, CDZ ₂ s kan upptäcka mönster av aktivitet bland CDZ ₁ 2 s kan bli aktiveras av specifika konfigurationen av aktiverade CDZ _ett s, för enkelhetens skull, är bara en enda CDZ ₂ avbildas här. I exemplet är aktiviteten mönster bland CDZ ₁ s tillräcklig för att aktivera denna CDZ _2.
4. Framför allt gör CDZ ₁ är inte bara projektet framåt till CDZ ₂ s men också tillbaka till början av cortex (blå pilar). Dessa top-down-signaler kan fylla i (eventuellt bullriga) aktivitet mönster början inducerad av den stimulans (blå rektangel). Generellt betecknar röd färg bottom-up aktiveringar, medan blå färg står för top-down aktiveringar.
5. Via flera ytterligare nivåer av CDZs, den CDZ ₂ S-projektet fram emot att CDZ _n S i högre ordningens föreningen cortex (streckad pil). En eller flera CDZ _{n S} kan svara på de olika visuella stimulans i fråga (bara en enda avbildas).
6. Återigen bör det noteras att CDZ ₂ s ALS O-signal bakåt till CDZ _ett s som i sin tur, kan ytterligare ändra mönstret ursprungligen orsakade i början av visuella cortex.
7. Den CDZ _{n S-signalen} tillbaka till CDZ ₂ ar i alla former. I visuella cortex, kan detta leda till slutförandet av aktivitet mönster i lägre nivå CDZs. I den auditiva cortex, kommer ett neuralt mönster byggas - först i nivå med CDZ ₂ s och CDZ ₁ s, i sista hand i de tidiga auditiva cortex - som medger medvetna upplevelsen av en auditiv bild i samband med visuellt presenterade stimulans. Observera att det även top-down-signalering till somatosensoriska modalitet, men i mindre utsträckning än för den auditiva modaliteten. Detta återspeglar det faktum att nästan alla visuella stimulansen har några taktila association till det. Som visuell stimulans i det aktuella exemplet antas specifikt innebär ljud, dock top-down-signalering till auditiva cortex är mer omfattande.

ove_content "> Baserat på den föreslagna sekvens av neurala bearbetning, gör ramen en specifik förutsägelse:. visuella stimuli som innehåller objekt och händelser som starkt antyder ljudet ska framkalla neural aktivitet i början av auditiva cortex Dessutom bör de auditiva aktivitetsmönster vara stimulans-specifika; Med andra ord borde ett videoklipp av en splittring vas framkalla ett annat mönster än ett klipp av en ylande hund Om denna förutsägelse vore korrekt, då vi verkligen ska kunna utföra MVPA över modalt:. till exempel, borde vi kunna att förutsäga, baserat enbart på neural aktivitet fingeravtryck i början av auditiva cortex, om en person är att se en splittring vas eller en ylande hund ( Video Clip 7 ). Naturligtvis bör motsvarande paradigm åberopa överföring av information bland andra sensoriska modaliteter också bli framgångsrika. För exempel om videoklipp visat sig att ett ämne underförstådda beröring snarare änljud, bör vi kunna förutsäga de klipp från aktivitetsmönster som de framkallar i början av somatosensoriska cortex.

4. Stimuli

Den allmänna paradigm en MVPA Studien beskrivs i avsnitt 2. Vår inställning skiljer sig från tidigare studier i det att den försöker utföra MVPA över sensoriska system och använder därför stimuli som är speciellt utformade för att få konsekvenser i en sensorisk modalitet än den i vilken de presenteras. I en tidigare studie, till exempel, spelade vi neural aktivitet från primära somatosensoriska cortex, medan ämnen som såg 5-sekunders videoklipp av vardagliga objekt som manipuleras av människohänder ⁸ ( Video Clip 8 och Video Clip 9 ). I en annan studie undersökte vi neural aktivitet i början av auditiva cortex while försökspersoner visade videoklipp som skildrade föremål och händelser som starkt underförstådda ljudet ⁷ ( Video Clip 10 och Video Clip 11 ). Men enligt CDZ ram kan sensoriska stimuli av alla former potentiellt användas i denna allmänna paradigm, så länge de har betydelse för att ytterligare villkor.

5. Regioner av intresse

Generellt kan de regioner av intresse för en neuroradiologiska studie bestämmas antingen funktionellt eller anatomiskt. Vi tror att i den experimentella paradigm vi beskriver här, anatomiska lokaliserare är mer lämpade för två skäl. Först är det inte trivialt att funktionellt definiera primära eller tidigt cortex av en viss sensorisk modalitet (möjligen med undantag av den primära visuella cortex), som behandling av perceptual stimuli presenteras till ämnet i den modalitet vanligtvis inte kommer att begränsas till dessa områden. Till exempel skulle det vara svårt att definiera den primära somatosensoriska cortex genom att använda touch till en persons händer, eftersom aktiviteten induceras av detta förfarande skulle med all sannolikhet spridits till somatosensoriska föreningen cortex också. För det andra kan en funktionell localizer etikett inte alla voxlar som potentiellt skulle kunna bidra till klassificerare prestanda: det har visat sig att områden som inte visar netto aktivering som svar på sensoriska stimuli i den klassiska bemärkelsen (dvs regioner som inte visas på en kontrast bild [stimulans kontra resten]) kan innehålla information om de stimuli ändå ^13,14. Av dessa två skäl förespråkar vi användning av anatomiskt definierade områden av intresse när makroskopiska landmärken att detta, till exempel representerar anatomi i postcentral gyrus en rimlig uppskattning av den primära somatosensoriska cortex, Och vi använde för att definiera regionen av intresse i vår somatosensoriska studie ⁸ (figur 1).

6. Ämnen

Ämnet prover i MVPA studier tenderar att vara mindre än i konventionella fMRI studier, eftersom analysen kan utföras vid fristående nivå. Naturligtvis hindrar detta inte försöksledaren från att senare analysera resultaten av de enskilda ämnen på gruppens nivå. I de två studier som nämnts tidigare, till exempel, gjorde vi t-test på de enskilda ämnet resultaten för att bedöma deras betydelse på gruppnivå. Varje studien ingick åtta personer, även om detta måste betraktas som ett mycket litet ämne prov för parametriska test, vi hittade många av de diskrimineringar vi bedöms vara betydande (se nedan).

7. Representativa resultat:

Som nämnts i två tidigare studier har vi som mål att förutsäga ljud innebär videoklippbaserad på neural aktivitet i början av auditiva cortex ⁷ (se figur 2 för den mask som används i denna studie) och touch-vilket innebär videoklipp baserat på aktivitet i primära somatosensoriska cortex ^8. Detta försök var framgångsrik: i båda studierna, utförde en MVPA klassificerare över risken på 50% för alla möjliga tvåvägs diskriminering mellan stimulus par (n = 36 i auditiva studien, eftersom det fanns nio olika stimuli, n = 10 för den somatosensoriska studien, med tanke fanns det 5 olika stimuli). I den auditiva studien, nådde 26 av de 36 diskriminering statistisk signifikans, i somatosensoriska studien var detta fallet för 8 av de 10 diskriminering (tvåsidiga t-test, n = 8 i båda studierna, Figur 3).

Figur 1. Omfattning av anatomiskt definierade mask av primära somatosensoriska cortex, som används i Meyer et al. 2011. En klassificerarealgoritm kunde förutse touch-innebärande videoklipp från mönster hjärnans aktivitet begränsad till de avgränsade området. Reproducerad med tillstånd från Oxford University Press.

Figur 2. Omfattning av anatomiskt definierade mask av tidiga auditiva cortex, som används i Meyer et al. 2010. En klassificerare algoritm kunde förutsäga (tyst) ljud-innebärande videoklipp från mönster hjärnans aktivitet begränsad till de avgränsade området. Återges med tillstånd från Nature Publishing Group.

Figur 3. Sammanfattning av resultaten av våra tidigare cross-modal MVPA studier. En klassificerare användes för att förutsäga visuella stimuli som innebar antingen ljud eller beröring av aktivitet i början av hörsel-eller primära somatosensoriska cortex, respektive. Krönskivor: både studtalet var förutsägelse prestanda över chansen nivån på 0,5 för alla två-vägs diskriminering mellan par av stimuli. Botten paneler: i auditiva studien nådde klassificerare prestanda statistisk signifikans för 26 av de 36 diskriminering, i den somatosensoriska studien var detta fallet för 8 av de 10 diskriminering. Återges med tillstånd från Nature Publishing Group och Oxford University Press.

Discussion

Resultaten av våra tidigare studier visar att för alla transportslag MVPA är ett användbart verktyg för att studera neurala korrelat till mentala bilder med erfarenhet av "sinne öra" och "sinnets touch". Specifikt visar resultaten att innehållet i sådana bilder är korrelerad med neural aktivitet i början av auditiv och somatosensoriska cortex, respektive, som ger direkt empiriskt stöd för Damasio ramverk av konvergens-divergens zoner.

Den grundläggande paradigm beskriver vi kan utökas på flera sätt. Tydligast kan liknande studier göras med olika kombinationer av sensoriska modaliteter. I detta avseende är det möjligt att upprättande av vissa transportslag föreningar före experimentet kan öka chanserna att lyckas. Till exempel för att studera cross-modal representationer i lukt cortex, kan man prime ämnen genom att utsätta dem samtidigt till synen och doften av en rad livsmedel. Shortly efter, inne i fMRI-skanner, skulle lukt minnen av dofter utlösas av visuella signaler och MVPA skulle kunna användas i ett försök att tilldela försök till rätt mat enbart baserad på aktivitet i lukt cortex.

En annan fråga av intresse är om cross-modalt inducerad mönster av aktivitet i början av sensoriska cortex bär likheter med de mönster som induceras när ljudet eller peka faktiskt upplevas, med andra ord inte att se glasvasen splittras åberopa ett liknande mönster av neural aktivitet i början av auditiva cortex som att verkligen höra samma händelse? Denna fråga, återigen, kan åtgärdas genom MVPA: är en klassificerare som har utbildats på inspelad data, medan ämnen som hört vissa ljud kan korrekt diskriminera uppgifter som registrerats samtidigt som försökspersonerna tittade på motsvarande videoklipp? I vår hörsel studie gjorde vi försök sådan klassificering, men resultaten var marginella (se Figur 3. I ref. 7). I den studien var dock den auditiva sammanslutningar av deltagarna som inte kontrolleras på något sätt, med andra ord vet vi inte hur lika de auditiva bilder varje ämne i samband med videor skulle ljudspåren som används för att träna klassificerare. Återigen kan det vara intressant att ta upp samma fråga efter vissa transportslag föreningar ha satsats i ämnena, som beskrivs ovan för en visuo-lukt föreningen. Detta skulle göra det möjligt att kontrollera mer tillförlitligt den mentala upplevelsen av ämnena under videon prövningar och kan således öka förutsäga prestanda klassificerare.

Avslutningsvis har vi introducerat ett tillägg till den klassiska MVPA paradigmet genom att visa att stimuli kan förutses inte bara inom utan också mellan sensoriska modaliteter. Därmed visar vi att användningen av MVPA är inte begränsad till att undersöka korrelat till perceptuella representationer framkallas direkt av extern sensorisk stimulering. Snarare MVPA kan ocksåbedöma neurala substrat mentala bilder som utlöses internt: i enlighet med Damasio s konvergensregioner-divergens zon ram, vårt fynd tyder på att den medvetna upplevelsen av mentala bilder som rekonstrueras baserat på minnen är korrelerad med innehåll-specifika neurala representationer i början av sensoriska cortex.