Cross-modale Analisi multivariate pattern

L'obiettivo del seguente esperimento è quello di utilizzare l'analisi multivariata dei dati di risonanza magnetica funzionale per studiare l'elaborazione multimodale nel cervello umano. Ciò si ottiene creando prima un tipo specifico di stimoli sensoriali, che vengono presentati ai soggetti attraverso un'unica modalità sensoriale. Ad esempio, il visivo, ma implica forti associazioni in una modalità diversa.

Ad esempio, l'uditivo mentre i soggetti percepiscono tali stimoli attività neurale nelle parti del cervello pertinenti alla modalità dell'associazione. Le cortecce uditive in questo esempio sono registrate utilizzando FMRI. L'attività registrata viene analizzata utilizzando l'analisi di pattern multivariati con l'obiettivo di prevedere quale dei diversi stimoli il soggetto ha percepito nella modalità originale.

I risultati mostrano che gli stimoli unimodali contenenti informazioni pertinenti a più di una modalità possono indurre un'attività neurale specifica del contenuto nelle prime cortecce sensoriali di modalità diverse da quella attraverso la quale vengono presentati. La tecnica che presentiamo oggi, che chiamiamo analisi crossmodale multivariata dei pattern, rappresenta una naturale estensione dell'analisi convenzionale dei pattern multivariati con la differenza che gli STEMI sensoriali sono classificati attraverso piuttosto che all'interno delle modalità sensoriali. Abbiamo avuto l'idea di questo metodo per la prima volta quando abbiamo cercato di produrre prove empiriche per un quadro neuroarchitettonico introdotto da Demio più di due decenni fa.

In questo video, ti presenteremo non solo gli aspetti tecnici dell'analisi dei pattern multivariati o MVPA in breve, ma anche questo quadro teorico. Per prima cosa evidenzieremo alcune differenze chiave tra MVPA e l'analisi FMRI univariata convenzionale. Considera quanto segue.

Ad esempio, se a un soggetto vengono presentati due diversi stimoli visivi come una mela e un'arancia, allora entrambi gli stimoli mediati in una serie di prove inducono un modello specifico di attività neurale. Nella corteccia visiva primaria qui simboleggiata dai livelli di attivazione di sei ipotetici voxel. Nell'analisi FMRI convenzionale, ci sono essenzialmente due metodi per analizzare questi modelli.

Il primo è quello di confrontare il livello medio di attività degli stimoli indotti nell'intera regione di interesse. La differenza tra le medie, tuttavia, potrebbe non essere significativa. Il secondo metodo consiste nello stabilire un contrasto di sottrazione per ogni voxel.

Il livello di attivazione durante la condizione di mela viene sottratto dal livello di attivazione durante la condizione arancione e la differenza risultante per ogni voxel può essere visualizzata su un'intera immagine di contrasto cerebrale. Anche in questo caso, tuttavia, queste differenze possono essere piccole e possono raggiungere il criterio statistico richiesto solo per alcuni voxel. Tuttavia, a differenza dei metodi di analisi univariata, MVPA è in grado di rilevare modelli all'interno dei voxel considerando i livelli di attivazione di tutti i voxel contemporaneamente.

Mentre solo alcune delle differenze di attivazione possono essere significative isolatamente, i due modelli, se considerati nella loro interezza, possono effettivamente essere statisticamente diversi. Un'altra grande differenza tra l'analisi FMRI convenzionale e l'MVPA è che quest'ultimo metodo utilizza quella che viene chiamata inferenza inversa. Nell'analisi FMRI convenzionale, il ricercatore pone tipicamente una domanda del tipo di due diversi stimoli visivi.

Ad esempio, l'immagine di un volto e l'immagine di una casa portano a diversi livelli di attività in una specifica regione di interesse, come l'area fusiforme del viso. Al contrario, l'MVPA è tipicamente espresso in termini di inferenza inversa o decodifica e si chiede, in base al modello di attività neurale in una specifica regione del cervello, se saremo in grado di prevedere quale dei due stimoli visivi un soggetto ha percepito. È importante notare, tuttavia, che da un punto di vista statistico, è equivalente dire che due stimoli portano a modelli di attività distinti in una data regione del cervello e dire che il modello di attività in quella regione del cervello permette di prevedere lo stimolo induttore.

In altre parole, la sensibilità dell'MVPA è superiore a quella delle analisi univariate perché considera più voxel contemporaneamente e non perché procede in direzione inversa. Per tornare all'esempio precedente, consideriamo un tipico paradigma MVPA che valuta se vedere una mela induce un diverso modello di attività neurale nella corteccia visiva primaria rispetto a vedere un'arancia. In una prima fase, i dati FMRI vengono registrati mentre un soggetto vede un gran numero di stimoli da discriminare.

I dati acquisiti vengono quindi suddivisi in un set di dati di addestramento e in un set di dati di test. I dati del set di addestramento vengono inseriti in un classificatore di modelli, che tenta di rilevare le caratteristiche nei modelli neurali che distinguono i due tipi di prove l'uno dall'altro. Successivamente, al classificatore vengono presentati dati non etichettati dal set di test e, in base ai modelli rilevati nel set di dati di addestramento, attribuisce l'etichetta più probabile a ciascuna delle prove di test per ogni stimolo.

L'ipotesi del classificatore viene quindi confrontata con l'etichetta dello stimolo corretta e le prestazioni del classificatore vengono calcolate come percentuale di ipotesi corrette. Come abbiamo visto, il classificatore nell'esempio riduce le etichette di stimolo corrette in nove casi su 12, o il 75% come prestazioni di probabilità. In un tale bidirezionale la discriminazione sarebbe del 50%Ciò suggerisce che ci sono effettivamente differenze coerenti tra i modelli neurali indotti in V uno dagli stimoli dell'arancia e della mela.

Naturalmente, l'importanza di questo risultato dovrebbe essere dimostrata statisticamente. Una questione importante da tenere a mente in un tale esperimento di classificazione è che i set di dati di addestramento e di test devono essere completamente indipendenti l'uno dall'altro, perché solo in questo caso è possibile trarre conclusioni sulla generalizzabilità dei modelli appresi durante la sessione di addestramento. Per questo motivo, i paradigmi MVPA utilizzano spesso un cosiddetto paradigma di convalida incrociata.

Sebbene questa procedura serva a massimizzare il numero di prove di formazione e test che possono essere ottenute da un determinato set di dati, garantisce anche allo stesso tempo che i set di formazione e test non si sovrappongano durante le singole fasi di classificazione. Si consideri il seguente esperimento MVPA con otto esecuzioni funzionali. In un primo passaggio di convalida incrociata, il classificatore viene sottoposto a training sui dati delle esecuzioni da uno a sette e testato sui dati dell'esecuzione otto.

Nella seconda fase, il classificatore viene quindi addestrato sulla corsa da uno a sei e sulla corsa otto, e successivamente testato sulla corsa sette. Seguendo questo schema, vengono eseguiti otto passaggi di convalida incrociata in cui ogni esecuzione funge esattamente da esecuzione del test. Una volta ottenute le prestazioni del classificatore per ogni passaggio di convalida incrociata e la media di questi risultati, si ottengono le prestazioni complessive.

Ci sono pacchetti software disponibili gratuitamente su Internet per eseguire MVPA come pi MVPA e la cassetta degli attrezzi offerta dal Princeton Neuroscience Institute. Paradigmi sperimentali, come quello appena descritto, sono stati utilizzati con successo per prevedere gli stimoli percettivi derivanti dall'attività neurale nelle parti corrispondenti della corteccia cerebrale, quindi, ad esempio, per prevedere gli stimoli visivi in base all'attività nelle cortecce visive o negli stimoli uditivi. Sulla base dell'attività nelle cortecce uditive, vorremmo ora introdurre un'estensione di questa idea di base in cui gli stimoli percettivi sono previsti non solo all'interno ma attraverso le modalità.

La nostra idea si basa sul fatto che la percezione è strettamente legata al richiamo dei ricordi. Ad esempio, uno stimolo visivo che ha una forte implicazione uditiva come il sito di una base di vetro che si frantuma a terra. Attiverà automaticamente nell'orecchio della nostra mente un'immagine uditiva che condivide somiglianze con le immagini uditive che abbiamo sperimentato nei precedenti incontri con vetri rotti.

Secondo un quadro introdotto da Theo alla fine degli anni '80, l'associazione di memoria tra il sito della base frantumante e il suono corrispondente è memorizzata nelle cosiddette zone di convergenza divergenza o CD per convergenza breve. Le zone di divergenza sono concettualizzate come insiemi di neuroni che si trovano ai vari livelli gerarchici dei sistemi sensoriali. Come suggerisce il nome.

I CD ad ogni livello ricevono proiezioni convergenti dal basso verso l'alto dalle cortecce di ordine inferiore e si girano. Hanno inviato proiezioni divergenti dall'alto verso il basso a quelle stesse cortecce di ordine inferiore a causa delle proiezioni convergenti dal basso verso l'alto. I CD possono essere attivati da rappresentazioni percettive in molteplici modalità, ad esempio, sia dal sito che dal suono di una base in frantumi a causa delle proiezioni divergenti dall'alto verso il basso.

Possono quindi promuovere la ricostruzione delle immagini associate segnalando alle prime cortecce sensoriali modalità aggiuntive. Considera la sequenza di attivazione puramente visiva, ma il suono che implica uno stimolo indurrà secondo questo quadro. Lo stimolo induce prima un modello specifico di attività neurale nelle prime cortecce visive attraverso proiezioni convergenti dal basso verso l'alto.

Le prime cortecce visive attivano il primo livello di CD, quelle CDZ. A seconda dell'esatto modello di attività nel corrispondente settore corticale precoce, una CDZ può attivarsi o può rimanere inattiva. Quelli CDZ proiettano verso l'alto a cdz due proprio come quelli cdz rilevati.

I modelli di attività nelle prime cortecce visive, i due cdz rilevano modelli di attività tra i due cdz, diversi due cdz possono attivarsi, ma per semplicità solo uno è raffigurato qui tramite proiezioni dall'alto verso il basso. I cdz possono allo stesso tempo completare il modello di attività nelle prime cortecce visive attraverso diversi livelli aggiuntivi di c DZ e CDZ due. Il progetto Twos forward to CDZ si conclude con l'associazione multimodale. Cortecce.

Anche in questo caso, possono essere attivate più estremità CDZ, ma solo una viene rappresentata per motivi di semplicità. Ancora una volta, i CD Z due segnalano anche all'indietro rispetto a quelli CDZ, il che a sua volta può modificare ulteriormente il modello originariamente indotto nelle prime cortecce visive. Il segnale di fine CDZ torna ai due CZ di tutte le modalità.

Nelle cortecce uditive, verrà costruito un modello neurale, che consente al soggetto di sperimentare nell'orecchio della mente, un'immagine uditiva associata allo stimolo presentato visivamente. La segnalazione dall'alto verso il basso raffigurata alla modalità somatosensoriale riflette il fatto che quasi tutti gli stimoli visivi implicano anche alcune associazioni tattili. Pertanto, il quadro prevede che un suono che implica uno stimolo visivo porterebbe a un modello specifico di attività neurale del contenuto.

Nelle prime cortecce uditive. Analizzando questo modello neurale utilizzando MVPA, dovrebbe quindi essere possibile prevedere quale dei diversi suoni che implicano stimoli visivi un soggetto ha visto. Nel primo esperimento, l'attività neurale è stata registrata dalle prime cortecce uditive mentre i soggetti guardavano nove diversi video clip di oggetti ed eventi che implicavano il suono.

La regione di interesse in questo esperimento era un'area ristretta sul piano semale, che comprendeva la corteccia uditiva primaria e le cortecce di associazione uditiva molto precoce. In un secondo esperimento, l'attività neurale è stata registrata dalla corteccia somatosensoriale primaria mentre i soggetti guardavano cinque diversi video clip che implicavano il tatto. In questo esperimento, la regione di interesse comprendeva la corteccia somatosensoriale primaria situata nel giro postcentrale.

Entrambi gli studi hanno coinvolto otto soggetti nello studio uditivo. Un classificatore MVPA ha eseguito un punteggio superiore al livello di probabilità del 50% per tutte le possibili discriminazioni a due vie tra coppie di stimoli. In 26 delle 36 discriminazioni, le prestazioni del classificatore erano significativamente diverse dal livello di probabilità di 0,5.

Allo stesso modo, nello studio somatosensoriale, il classificatore ha ottenuto risultati superiori al rischio in tutte le discriminazioni a due vie e otto delle 10 discriminazioni hanno raggiunto la significatività statistica. Come si può vedere, utilizzando l'analisi crossmodale multivariata dei modelli, siamo stati in grado di dimostrare che la percezione di stimoli visivi che implicano il suono o il tatto porta a rappresentazioni neurali specifiche del contenuto nelle prime cortecce uditive e somatosensoriali in conformità con il quadro teorico introdotto in precedenza. Chiaramente, il paradigma sperimentale che abbiamo presentato non deve rimanere limitato alle modalità coinvolte nei nostri esperimenti, ma può essere esteso anche ad altre modalità sensoriali.

Speriamo, quindi, che altri gruppi si uniscano a noi nell'estendere questo tipo di ricerca nel tentativo di ampliare le nostre conoscenze su come portare nei processi stimoli multimodali dall'ambiente.