Cross-modale Analisi multivariate pattern

Summary

Classico modello di analisi multivariata prevede stimoli sensoriali di un soggetto percepisce da attività neurale nella corteccia corrispondente (ad esempio stimoli visivi da attività nella corteccia visiva). Qui, si applica l'analisi di modelli cross-modale e mostrano che il suono e al tocco che implica stimoli visivi possono essere previsti sulla attività in corteccia uditiva e somatosensoriale, rispettivamente.

Abstract

Analisi multivariata modello (MVPA) è un metodo sempre più diffuso di analizzare la risonanza magnetica funzionale (fMRI) i dati ^1-4. Genere, il metodo viene utilizzato per identificare l'esperienza percettiva del soggetto da attività neurale in alcune regioni del cervello. Per esempio, è stato impiegato per predire l'orientamento di griglie visive di un soggetto percepisce da attività nei primi mesi del cortecce visive ⁵ o, analogamente, il contenuto del discorso da attività in corteccia uditiva primi ^6.

Qui vi presentiamo una estensione del paradigma classico MVPA, secondo la quale gli stimoli percettivi non sono previsti all'interno, ma tutti i sistemi sensoriali. In particolare, il metodo si descrivono affronta la questione se gli stimoli che evocano associazioni di memoria in modalità diversa da quella con cui sono presentati inducono contenuti specifici modelli di attività nelle cortecce sensoriali di quelle altre modalità.Per esempio, vedendo una clip sordina video di un vaso di vetro frantumi a terra fa scattare automaticamente nella maggior parte degli osservatori un'immagine uditiva del suono associato, è l'esperienza di questa immagine a "orecchio della mente" la correlata con un modello specifico l'attività neurale nei primi mesi del corteccia uditiva? Inoltre, questo modello è un'attività distinta dal modello che potrebbe essere osservata se il soggetto era, invece, la visione di un video clip di un cane che urla?

In due studi precedenti ^7,8, siamo stati in grado di predire suono e al tocco che implica video clip sulla base di attività neurale nella corteccia uditiva precoce e somatosensoriali, rispettivamente. I nostri risultati sono in linea con un quadro neuroarchitectural proposto da Damasio ^9,10, secondo la quale l'esperienza di immagini mentali che si basano su ricordi - come sentire il suono dirompente di un vaso a "orecchio della mente" dopo aver visto il video corrispondente clip - è sostenuta dalla ri-costruzione dei contenutiSpecifici schemi di attività neurale nei primi mesi del cortecce sensoriali.

Protocol

1. Introduzione

Analisi multivariata modello (MVPA) è un metodo sempre più diffuso di analizzare la risonanza magnetica funzionale (fMRI) i dati ^1-4. Genere, il metodo viene utilizzato per identificare l'esperienza percettiva del soggetto da attività neurale in alcune regioni del cervello. Per esempio, è stato impiegato per predire l'orientamento di griglie visive di un soggetto percepisce da attività nei primi mesi del cortecce visive ⁵ o, analogamente, il contenuto del discorso da attività in corteccia uditiva primi ^6. In questo articolo il video, si descrive una nuova applicazione di MVPA che aggiunge un tocco in più a questa base, intra-modali paradigma. In questo approccio, gli stimoli percettivi si prevedono non all'interno, ma tutti i sistemi sensoriali.

2. Modello Analisi multivariata

Anche se il metodo MVPA ormai è ben consolidata all'interno del regno di neuroimaging, si comincerà con la pointing le differenze chiave tra MVPA e convenzionali, l'analisi univariata fMRI. A tal fine, si consideri il seguente esempio di come i due metodi di fare per esaminare l'attività neurale nella corteccia visiva durante un semplice compito visivo ( Video Clip 1 ):

1. Un soggetto è presentato con due stimoli visivi differenti, per esempio, l'immagine di un arancio e l'immagine di una mela.
2. Entrambi gli stimoli inducono un modello specifico di attività neurale nella corteccia visiva primaria, qui simboleggiato dai livelli di attivazione di sei voxel ipotetici. (Naturalmente, i modelli di attività indotta da una singola presentazione di arancia o di mela immagini in realtà sarebbe molto rumoroso; considerare gli schemi illustrati rappresentano una media risultante da un gran numero di prove.)
3. Nel tradizionale analisi fMRI, ci sono essenzialmente due modi in cui questi modelli possono essere analizzati. In primo luogo, si può concentrare sulle leve medial di attività in tutta la regione di interesse.
4. Nell'esempio riportato, la differenza dei livelli di attività medio non è significativo, in modo che i modelli corrispondenti alle due stimoli non possono essere distinti da questo punto di vista.
5. Un altro modo di analizzare i due modelli è quello di stabilire un contrasto sottrazione tra di loro: per ogni voxel, il livello di attivazione durante la condizione di "mela" è sottratto dal livello di attivazione durante la condizione di "arancio". La differenza risultante può essere visualizzato per ogni voxel su tutto il cervello l'immagine di contrasto.
6. Anche in questo caso, tuttavia, queste differenze possono essere di piccole dimensioni e possono raggiungere il criterio statistiche richieste solo per voxel pochissimi.
7. Questo è dove il vantaggio decisivo di MVPA entra in gioco: la sua superiore potenza deriva dal fatto che, a differenza di metodi di analisi univariata, considera i livelli di attivazione di tutti i voxel contemporaneamente e quindi è in grado di rilevare i modelli al loro interno. Mentre, come mentioned, solo alcune delle differenze di attivazione può essere significativo se considerato isolatamente, i due modelli, se considerati nella loro interezza, può infatti da statisticamente differenti.

C'è una seconda grande differenza tra i tradizionali analisi fMRI e MVPA ( Video Clip 2 ). Il primo metodo tipicamente tenta di dimostrare una dipendenza statistica tra certi stimoli sensoriali e alcuni modelli di attività cerebrale in un "modo nuovo", in altre parole, si chiede questione del tipo: "Will due stimoli visivi differenti, ad esempio, l'immagine di un volto e l'immagine di una casa, portano a differenti livelli di attività in una specifica regione di interesse, ad esempio, l'area fusiforme faccia? " Al contrario, il successo di MVPA è solitamente espressa in termini di "inferenza inversa" o "decodificazione", la domanda tipica è del tipo: "Sulla base dei pattern di attività neurale in una specifica reg ione di interesse (ad esempio, la corteccia visiva primaria), si può prevedere se un soggetto percepisce lo stimolo A, "Nota per esempio un'arancia, o stimolo B, ad esempio una mela?, tuttavia, che la direzione in cui la correlazione tra gli stimoli percettivi e l'attività cerebrale viene mappato non importa da un punto di vista statistico: è equivalente a dire che due stimoli portare a schemi di attività distinti in una regione del cervello dato e dire che il modello di attività in quella regione del cervello consente di previsione dello stimolo che inducono ¹¹ . In altre parole, la sensibilità di MVPA è superiore a quella delle analisi univariata perché considera voxel contemporaneamente, e non perché si procede in senso inverso.

I passaggi seguenti mostrano come un paradigma tipico MVPA affronterebbe la questione di vedere se una mela induce un diverso pattern di attività neurale nella corteccia visiva primaria di vedere un arancio (_upload/3307/3307_Meyer-Kaplan_Video_3.mov "> Video Clip 3):

1. vengono acquisiti i dati fMRI mentre un soggetto vede gran numero di stimoli mela e arancia.
2. I dati acquisiti sono divisi in una serie di dati di training e un set di dati di testing. A differenza di questo esempio, il training set di dati è spesso scelto di essere più grande del set di dati di testing, in quanto le prestazioni del classificatore può aspettare ad aumentare con il numero di prove di formazione.
3. I dati del training set siano immessi in un classificatore modello. Utilizzando uno dei diversi possibili algoritmi matematici, il classificatore tenta di rilevare le caratteristiche nei modelli neurali che distinguono i due tipi di stimolo l'uno dall'altro. Un tipo di classificatore comunemente usati (anche nei nostri stessi studi precedenti) sono i cosiddetti support vector machines; per ulteriori dettagli, si rimanda il lettore alle recensioni accennato nell'introduzione.
4. Dopo che il classificatore è stato addestrato per le prove di formazione, è provided i dati di test. Le prove individuali del set di dati di testing sono senza etichetta, in altre parole, il classificatore non "sa" se un modello viene da una "mela" o un prova "arancione".
5. Sulla base delle consistenze è stato in grado di rilevare nel training set di dati, il classificatore attribuisce l'etichetta più probabilità di ciascuna delle prove di test.
6. Per ogni modello, la "indovinare" classificatore può essere confrontato con l'etichetta stimolo giusto.
7. Se il classificatore è stato in grado di rilevare eventuali differenze tra i modelli indotti dai due stimoli, le sue prestazioni dovrebbero essere a livello di possibilità, per le due vie discriminazione di cui l'esempio, ciò corrisponderebbe al 50% le etichette corrette. Una performance di previsione significativamente al di sopra di questo valore indica che ci sono effettivamente differenze tra i due tipi di stimoli.

Si noti che è fondamentale che i set di dati di training e di test sono indipendenti gli uni dagli another. Solo se questo è il caso può trarre alcuna conclusione per quanto riguarda la generalizzabilità dei modelli derivati ​​dal set di training. Studi MVPA spesso valutare le prestazioni classificatore utilizzando un cross-validazione paradigma ( Video Clip 4 ). Si supponga che un esperimento MVPA si compone di otto corre funzionale. Nella prima convalida incrociata passo, un classificatore è addestrato sui dati riportati da 1 a 7 corre e testato sui dati da eseguire 8. Nella seconda fase, il classificatore viene addestrato su percorsi da 1 a 6, nonché eseguire 8, e successivamente testato su corsa 7. Seguendo questo schema, otto convalida incrociata passi sono svolte, con ogni esecuzione servire come test esattamente una volta. Prestazioni classificatore complessivo è calcolato come la media delle prestazioni sui singoli convalida incrociata passi. Questa procedura garantisce formazione indipendente e set di dati di test su ogni passo, massimizza anche il numero complessivodi prove di test, che può essere di vantaggio al momento di valutare la significatività statistica delle prestazioni del classificatore è.

Ci sono pacchetti software liberamente disponibili su Internet per effettuare MVPA, due esempi sono PyMVPA ¹² (basato su Python; http://www.pymvpa.org ) e la casella degli strumenti offerti dalla Princeton Neuroscience Institute (sulla base di Matlab; http:/ / code.google.com / p / Princeton-MVPA-toolbox / ).

3. Cross-modale MVPA e il quadro di convergenza-divergenza Zone

Come accennato nell'introduzione, paradigmi sperimentali come quella appena descritta sono stati utilizzati con successo per prevedere stimoli percettivi da attività neurale nella corteccia sensoriale corrispondente, in altre parole, stimoli visivi sulla base di attività in corteccia visiva e stimoli uditivi in ​​base all'attività in corteccia uditiva . Qui,presentare una estensione di questo concetto di base. In particolare, abbiamo ipotizzato che dovrebbe essere possibile prevedere stimoli percettivi non solo all'interno, ma attraverso modalità. La percezione sensoriale è strettamente connessa al richiamo dei ricordi, ad esempio, uno stimolo visivo che ha una implicazione forte uditivo, come ad esempio la vista di un vaso di vetro frantumi a terra, farà scattare automaticamente nel nostro "orecchio della mente" le immagini che condividono somiglianze con le immagini uditive che abbiamo vissuto in precedenti incontri alla rottura del vetro. Secondo un quadro introdotta da Damasio più di due decenni fa ^9,10, l'associazione di memoria tra la vista del vaso e le immagini suono corrispondente è memorizzato nella cosiddetta convergenza-divergenza zone (CDZs; Video Clip 5 ). CDZs sono insiemi neurone nella corteccia associazione che ricevono convergenti basso verso l'alto le proiezioni di diversi uno primi corticaleReas (attraverso diversi livelli gerarchici) e che, a loro volta, rimandano divergenti dall'alto verso il basso le proiezioni per gli stessi siti corticali. A causa della convergenza basso verso l'alto le proiezioni, CDZs può essere attivato da rappresentazioni percettive in modalità multiple - per esempio, sia per la vista e il suono di un vaso di rottura; a causa delle divergenti dall'alto verso il basso le proiezioni, potranno poi promuovere la ricostruzione di immagini associate, segnalando di nuovo alla corteccia primi di modalità aggiuntive. Damasio ha sottolineato quest'ultimo punto: l'attivazione CDZs in cortecce di associazione non sarebbe sufficiente per il ritiro consapevole di un'immagine dalla memoria, solo una volta CDZs sarebbe ricostruire esplicito rappresentazioni neurali nei primi mesi del cortecce sensoriali che l'immagine sia vissuta consapevolmente. Così, il quadro prevede una sequenza specifica di elaborazione neurale in risposta ad una (puramente) stimolo visivo che implica suono ( Video Clip6):

1. Lo stimolo provoca prima un modello specifico di attività neurale (rettangoli rossi) nelle cortecce primi visiva.
2. Via convergenti basso verso l'alto le proiezioni, i neuroni nella corteccia visiva del progetto iniziale l'ora di un primo livello di CDZs (CDZ ₁ s). Il modello convergente di connettività permette di CDZ ₁ s per rilevare determinati modelli di attività nella corteccia visiva primi. A seconda del modello esatto, un CDZ può o non può essere attivato. CDZs quindi agire come estrattori funzionalità. In questo esempio, due CDZ ₁ s si attivano (come indicato dal colore rosso), mentre il terzo non viene attivato dal pattern di attività specifiche nel settore corrispondente della corteccia visiva precoce.
3. CDZ ₁ s inviare convergenti basso verso l'alto le proiezioni per CDZ ₂ s, quindi, proprio come CDZ ₁ s rilevato alcuni modelli di attività nella corteccia visiva precoce, CDZ ₂ s sono in grado di rilevare modelli di attività tra i CDZ ₁ 2 s possono diventare attive per la configurazione specifica di attivazione CDZ ₁ s, per motivi di semplicità, un solo CDZ ₂ è raffigurato qui. Nell'esempio, il modello di attività tra CDZ ₁ s è sufficiente per attivare questo CDZ _2.
4. In particolare, CDZ ₁ s non solo progetto l'ora di CDZ ₂ s, ma anche tornare alla corteccia precoce (frecce blu). Questi segnali top-down può completare l'(possibilmente rumorosa) pattern di attività inizialmente indotta dallo stimolo (rettangolo blu). In generale, il colore rosso indica bottom-up attivazioni, mentre il colore blu rappresenta la top-down attivazioni.
5. Attraverso diversi livelli aggiuntivi di CDZs, il progetto CDZ ₂ s in avanti di CDZ _n s in ordine superiore cortecce di associazione (freccia tratteggiata). Uno o più CDZ _n s può rispondere allo stimolo visivo specifico in questione (solo uno solo è raffigurato).
6. Ancora una volta, va notato che il CDZ ₂ s als segnale o indietro per CDZ ₁ s che a sua volta, può modificare ulteriormente il modello originariamente indotta nelle cortecce primi visiva.
7. Il segnale _n CDZ s torna alla s ₂ CDZ di tutte le modalità. Nella corteccia visiva, questo può portare alla realizzazione di schemi di attività a livello inferiore CDZs. Nella corteccia uditiva, un modello neurale sarà costruito - prima a livello di CDZ ₂ s e CDZ ₁ s, in ultima analisi, nella corteccia uditiva primi - che consente l'esperienza cosciente di un'immagine uditiva associata allo stimolo visivo presentato. Si noti che c'è anche dall'alto verso il basso la segnalazione alla modalità somatosensoriale, anche se in misura minore, rispetto per la modalità uditiva. Questo riflette il fatto che quasi ogni stimolo visivo ha qualche associazione tattile ad esso. Come lo stimolo visivo nell'esempio attuale si presume che implica in particolare il suono, tuttavia, dall'alto verso il basso la segnalazione alla corteccia uditiva è più ampio.

ove_content "> Sulla base della sequenza proposta di elaborazione neurale, il quadro fa una previsione specifica:. stimoli visivi contenenti oggetti e gli eventi che implica fortemente il suono dovrebbe evocare l'attività neurale nella corteccia uditiva primi Inoltre, i modelli uditivi attività dovrebbe essere di stimolo-specifici; in altre parole, un video clip di un vaso sconvolgente dovrebbe indurre un modello diverso da un clip di un cane che urla Se questa previsione fosse corretta, allora dovremmo davvero essere in grado di eseguire MVPA cross-modale:. per esempio, dovremmo essere in grado di prevedere, basata esclusivamente sul digitale attività neurale nella corteccia uditiva precoce, se una persona sta vedendo un vaso di sconvolgente o di un cane che urla ( Video Clip 7 ). Naturalmente, paradigmi analoghe invocando il trasferimento di informazioni tra le altre modalità sensoriali dovrebbe essere di successo. esempio, se il video clip mostrata ad un tocco soggetto implicito piuttosto chesuono, dovremmo essere in grado di prevedere i clip dai modelli di attività che suscitano nei primi mesi corteccia somatosensoriale.

4. Stimoli

Il paradigma generale di uno studio MVPA è stato descritto nella sezione 2. Il nostro approccio è diverso da studi precedenti, in quanto tenta di eseguire MVPA attraverso i sistemi sensoriali e quindi utilizza gli stimoli che sono specificamente progettati per avere implicazioni in una modalità sensoriale diverso da quello in cui vengono presentati. In uno studio precedente, per esempio, abbiamo registrato l'attività neurale dalla corteccia somatosensoriale primaria mentre i soggetti guardavano filmati di 5 secondi di oggetti di uso quotidiano di essere manipolati da mani umane ⁸ ( Video Clip 8 e 9 Video Clip ). In un altro studio, abbiamo studiato l'attività neurale nella corteccia uditiva primi whisoggetti viste le clip video che gli oggetti rappresentati e gli eventi che hanno fortemente implicato suono ⁷ ( Video Clip 10 e Video Clip 11 ). Tuttavia, secondo il quadro CDZ, stimoli sensoriali di tutte le modalità possono essere potenzialmente impiegati in questo paradigma generale, purché abbiano implicazioni in modalità aggiuntive.

5. Regioni di interesse

In generale, le regioni di interesse per uno studio di neuroimaging può essere determinato sia funzionalmente o anatomicamente. Crediamo che nel paradigma sperimentale che descriviamo qui, localizzatori anatomiche sono più adatti per due ragioni. In primo luogo, non è banale definire funzionalmente la corteccia primaria o all'inizio di una data modalità sensoriale (con la possibile eccezione della corteccia visiva primaria), come trattamento di perceptual stimoli presentati al soggetto in modalità che in genere non sarà limitato a queste aree. Per esempio, sarebbe difficile definire la corteccia somatosensoriale primaria mediante l'applicazione di toccare per mano di un soggetto, in quanto l'attività indotta da questo procedimento sarebbe, con ogni probabilità, la diffusione di corteccia somatosensoriale associazione pure. In secondo luogo, un localizzatore funzionale non può etichettare tutti i voxel che potrebbero potenzialmente contribuire alla performance del classificatore è: è stato dimostrato che le aree che non presentano l'attivazione netta in risposta a stimoli sensoriali in senso classico (cioè, le regioni che non appaiono un'immagine di contrasto [stimolazione vs resto]) possono contenere informazioni sui stimoli comunque ^13,14. Per questi due motivi, sosteniamo l'uso delle regioni anatomicamente definito di interesse ogni volta punti di riferimento macroscopico consentire questo, ad esempio, l'anatomia del giro postcentrale rappresenta una ragionevole approssimazione della corteccia somatosensoriale primaria, E abbiamo usato questo per definire l'area di interesse nel nostro studio somatosensoriale ⁸ (Figura 1).

6. Soggetti

I campioni sottoposti a studi MVPA tendono ad essere più piccoli rispetto agli studi fMRI convenzionali, come l'analisi può essere effettuata a livello di singolo soggetto. Naturalmente, questo non impedisce allo sperimentatore di seguito l'analisi dei risultati dei singoli soggetti a livello di gruppo pure. Nei due studi citati in precedenza, per esempio, abbiamo condotto t-test sui risultati soggetto individuale al fine di valutare il loro significato a livello di gruppo. Ogni studio ha coinvolto otto soggetti, anche se questo deve essere considerato un campione soggetto molto piccolo per i test parametrici, abbiamo trovato molte delle discriminazioni abbiamo valutato essere significativo (vedi sotto).

7. Rappresentante dei risultati:

Come accennato, in due studi precedenti abbiamo cercato di prevedere suono che implica video clipsulla base di attività neurale nella corteccia uditiva primi ⁷ (vedi figura 2 per la maschera utilizzata in questo studio) e touch-implicando video clip sulla base di attività in corteccia somatosensoriale primaria ^8. Questo tentativo ha avuto successo: in entrambi gli studi, un classificatore MVPA eseguito al di sopra del livello casuale del 50% per tutti i possibili due vie discriminazioni tra coppie stimolo (n = 36 nello studio uditivo, dato ci sono stati 9 stimoli diversi; n = 10 per lo studio somatosensoriale, dato c'erano 5 stimoli diversi). Nello studio uditivo, 26 dei 36 discriminazioni raggiunto la significatività statistica, nello studio somatosensoriale, questo era il caso per 8 dei 10 discriminazioni (a due code t-test, n = 8 in entrambi gli studi; Figura 3).

Figura 1. Estensione della maschera anatomicamente definito di corteccia somatosensoriale primaria, come nelle Meyer et al., 2011. Un classificatorealgoritmo è stato in grado di predire touch-implicando clip video da schemi di attività cerebrale limitato alla zona delimitata. Riprodotto con il permesso dalla Oxford University Press.

Figura 2. Estensione della maschera anatomicamente definito di corteccia uditiva precoce, come utilizzato nelle Meyer et al., 2010. Un algoritmo di classificazione è stata in grado di prevedere (silenzioso) suono-che implica clip video da schemi di attività cerebrale limitato alla zona delimitata. Riprodotto con il permesso di Nature Publishing Group.

Figura 3. Sintesi dei risultati dei nostri precedenti studi cross-modale MVPA. Un classificatore è stato usato per predire gli stimoli visivi che implicite o suono o tocco da attività nel uditiva precoce o corteccia somatosensoriale primaria, rispettivamente. Pannelli Top: in entrambi i prigionierii, le prestazioni previsione è stata al di sopra del livello di probabilità pari a 0,5 per tutte le due vie discriminazioni tra coppie di stimoli. Pannelli di fondo: nello studio uditivo, le prestazioni classificatore raggiunto la significatività statistica per 26 dei 36 discriminazioni, nello studio somatosensoriale, questo era il caso per 8 dei 10 discriminazioni. Riprodotto con il permesso di Nature Publishing Group e Oxford University Press.

Discussion

I risultati dei nostri studi precedenti dimostrano che cross-modale MVPA è uno strumento utile per studiare i correlati neurali delle immagini mentali con esperienza nel "orecchio della mente" e il "tocco della mente". In particolare, i risultati mostrano che il contenuto di tali immagini è correlato con l'attività neurale nella corteccia uditiva precoce e somatosensoriali, rispettivamente, fornendo diretto supporto empirico per il quadro di Damasio di convergenza-divergenza zone.

Il paradigma di base che descriviamo può essere esteso in diversi modi. La maggior parte, ovviamente, gli studi simili possono essere effettuata con diverse combinazioni di modalità sensoriali. A questo proposito, è possibile che istituisce taluni regimi di cross-modale delle associazioni prima dell'esperimento può aumentare le probabilità di successo. Ad esempio, per lo studio cross-modale rappresentazioni in cortecce olfattivo, si potrebbe temi principali esponendoli simultaneamente alla vista e l'odore di un certo numero di prodotti alimentari. Shortly dopo, all'interno dello scanner fMRI, i ricordi olfattivi degli odori sarebbero attivati ​​da segnali visivi, e MVPA potrebbe essere utilizzato in un tentativo di assegnare i processi ai prodotti alimentari corretta basata esclusivamente su attività in corteccia olfattiva.

Un'altra questione interessante è se i modelli cross-modale indotto di attività nella corteccia sensoriale primi sopportare somiglianze con i modelli che sono indotte quando il suono e non toccare è realmente vissuto, in altre parole, non vedendo il vaso di vetro in frantumi invocare un modello simile di attività neurale nella corteccia uditiva già fatto sentire lo stesso evento? Questa domanda, ancora una volta, possono essere affrontate attraverso MVPA: è un classificatore che è stato addestrato su dati registrati mentre i soggetti sentito alcuni suoni in grado di discriminare correttamente i dati registrati, mentre i soggetti guardavano filmati corrispondente? Nel nostro studio uditivo, abbiamo fatto tentare una tale classificazione, ma i risultati sono stati marginali (vedi fig. 3 in rif. 7). In questo studio, tuttavia, le associazioni uditive dei partecipanti non erano controllati in alcun modo, in altre parole, non sappiamo quanto siano simili le immagini uditive ciascun soggetto associato a video sono stati per le tracce audio utilizzato per addestrare il classificatore. Anche in questo caso, potrebbe essere interessante per affrontare la stessa domanda dopo specifici cross-modale delle associazioni sono stati innescato nei soggetti, come descritto in precedenza per un visuo-olfattiva associazione. Questo avrebbe permesso di controllare in modo più affidabile l'esperienza mentale dei soggetti durante le prove video e quindi potrebbe aumentare le prestazioni previsione del classificatore.

Per concludere, abbiamo introdotto una proroga al paradigma classico MVPA dimostrando che gli stimoli possono essere previsti non solo all'interno, ma anche attraverso modalità sensoriali. Quindi, abbiamo dimostrato che l'uso di MVPA non si limita a indagare i correlati di rappresentazioni percettive indotte direttamente da esterno stimolazione sensoriale. Piuttosto, può anche MVPAvalutare il substrato neurale delle immagini mentali che vengono attivati ​​internamente: secondo Damasio convergenza-divergenza quadro di zona, i nostri risultati suggeriscono che l'esperienza cosciente di immagini mentali che sono ricostruiti sulla base di ricordi è correlato con le rappresentazioni neurali contenuti specifici nel sensoriali primi cortecce.