Cross-modale Analisi multivariate pattern

L'obiettivo del seguente esperimento è utilizzare l'analisi multivariata dei modelli di dati fMRI per studiare l'elaborazione multimodale nel cervello umano. Questo viene raggiunto innanzitutto creando un tipo specifico di stimoli sensoriali, che vengono presentati ai soggetti attraverso una singola modalità sensoriale. Ad esempio, stimoli visivi che tuttavia implicano forti associazioni in un'altra modalità.

Ad esempio, l'attività neurale nelle parti del cervello relative alla modalità dell'associazione viene registrata mediante risonanza magnetica funzionale (FMRI) mentre i soggetti percepiscono stimoli uditivi. L'attività registrata viene analizzata mediante analisi multivariata dei modelli, con l'obiettivo di prevedere quale tra diversi stimoli il soggetto abbia percepito nella modalità originale.

I risultati mostrano che stimoli unimodali contenenti informazioni pertinenti a più di una modalità possono indurre un'attività neurale specifica per il contenuto nelle cortecce sensoriali precoci di modalità diverse da quella attraverso cui vengono presentati. La tecnica che introduciamo oggi, che chiamiamo analisi incrociata di modelli multivariati (Crossmodal multivariate pattern analysis), rappresenta un'estensione naturale dell'analisi convenzionale di modelli multivariati, con la differenza che i STEMI sensoriali vengono classificati tra piuttosto che all'interno di modalità sensoriali. Abbiamo avuto per la prima volta l'idea di questo metodo cercando di produrre evidenze empiriche a sostegno di un quadro neuroarchitettonico introdotto da Demio più di due decenni fa.

In questo video, ti presenteremo non solo gli aspetti tecnici dell'analisi multivariata di modelli, o MVPA per brevità, ma anche il relativo quadro teorico. Indicheremo innanzitutto alcune differenze fondamentali tra l'MVPA e l'analisi convenzionale univariata di risonanza magnetica funzionale (FMRI). Considera quanto segue.

Ad esempio, se a un soggetto vengono presentati due stimoli visivi diversi, come una mela e un'arancia, entrambi gli stimoli, mediati su un certo numero di prove, inducono un particolare modello di attività neurale. Nella corteccia visiva primaria, rappresentata qui dai livelli di attivazione di sei voxel ipotetici. Nell'analisi FMRI convenzionale, essenzialmente esistono due metodi per analizzare questi modelli.

Il primo consiste nel confrontare il livello medio di attività indotto dagli stimoli nell'intera regione di interesse. La differenza tra le medie, tuttavia, potrebbe non essere significativa. Il secondo metodo consiste nell'effettuare un contrasto di sottrazione per ogni voxel.

Il livello di attivazione durante la condizione con la mela viene sottratto dal livello di attivazione durante la condizione con l'arancia, e la differenza risultante per ciascun voxel può essere visualizzata su un'immagine cerebrale di contrasto. Ancora una volta, tuttavia, queste differenze possono essere minime e possono raggiungere il criterio statistico richiesto solo per alcuni voxel. Tuttavia, a differenza dei metodi di analisi univariata, l'MVPA è in grado di rilevare schemi all'interno dei voxel considerando contemporaneamente i livelli di attivazione di tutti i voxel.

Sebbene solo alcune delle differenze di attivazione possano essere significative presa singolarmente, i due schemi, considerati nella loro interezza, potrebbero effettivamente essere statisticamente diversi. Un'altra differenza fondamentale tra l'analisi FMRI convenzionale e l'MVPA è che quest'ultimo metodo utilizza ciò che viene definito inferenza inversa. Nell'analisi FMRI convenzionale, il ricercatore di solito formula una domanda del tipo se due stimoli visivi diversi.

Ad esempio, l'immagine di un volto e l'immagine di una casa producono livelli di attività diversi in una specifica regione d'interesse, come l'area fusiforme del volto. Al contrario, l'analisi multivariata dei pattern di attività (MVPA) viene tipicamente espressa in termini di inferenza inversa o decodifica, e si chiede, in base al pattern di attività neurale in una specifica regione cerebrale, se saremo in grado di prevedere quale tra due stimoli visivi è stato percepito dal soggetto. È importante notare, tuttavia, che dal punto di vista statistico, è equivalente affermare che due stimoli producono pattern di attività distinti in una data regione cerebrale e affermare che il pattern di attività in quella regione cerebrale permette di prevedere lo stimolo induttore.

In altre parole, la sensibilità dell'analisi multivariata (MVPA) è superiore a quella delle analisi univariate perché prende in considerazione contemporaneamente diversi voxel e non perché procede in senso inverso. Tornando all'esempio precedente, si consideri un paradigma tipico di MVPA che valuta se la visione di una mela induce un modello diverso di attività neurale nella corteccia visiva primaria rispetto alla visione di un'arancia. In un primo passo, vengono registrati dati fMRI mentre un soggetto osserva un elevato numero di stimoli da discriminare.

I dati acquisiti vengono quindi suddivisi in un insieme di dati di addestramento e un insieme di dati di test. I dati dell'insieme di addestramento vengono inseriti in un classificatore di pattern, il quale cerca di individuare caratteristiche nei modelli neurali in grado di distinguere i due tipi di prove. Successivamente, al classificatore vengono presentati dati non etichettati dell'insieme di test e, sulla base dei modelli rilevati nell'insieme di dati di addestramento, assegna a ciascuna prova di test per ogni stimolo l'etichetta più probabile.

Il risultato stimato dal classificatore viene quindi confrontato con l'etichetta corretta dello stimolo e le prestazioni del classificatore vengono calcolate come percentuale di indovinamenti corretti. Come abbiamo visto, nel caso illustrato il classificatore ha identificato correttamente lo stimolo in nove casi su dodici, pari al 75% di accuratezza. In un compito di discriminazione binaria, il livello di casualità atteso sarebbe del 50%. Ciò suggerisce che esistono effettivamente differenze consistenti tra i modelli neurali indotti nella regione V1 dagli stimoli arancia e mela.

Ovviamente, la significatività di questo risultato dovrebbe essere dimostrata statisticamente. Un aspetto importante da considerare in un esperimento di classificazione di questo tipo è che i set di dati di addestramento e di test siano completamente indipendenti l'uno dall'altro, poiché solo in questo caso è possibile trarre conclusioni sulla generalizzabilità dei modelli appresi durante la fase di addestramento. Per questo motivo, i paradigmi di MVPA spesso utilizzano un cosiddetto paradigma di validazione incrociata.

Sebbene questa procedura serva a massimizzare il numero di prove di addestramento e di test ottenibili da un determinato insieme di dati, garantisce al contempo che gli insiemi di addestramento e di test non si sovrappongano durante i singoli passaggi di classificazione. Si consideri il seguente esperimento di MVPA con otto serie funzionali. In un primo passaggio di validazione incrociata, il classificatore viene addestrato sui dati delle serie dalla prima alla settima e testato sui dati dell'ottava serie.

Nel secondo passaggio, il classificatore viene quindi addestrato sulle esecuzioni da uno a sei e sull'esecuzione otto, e successivamente testato sull'esecuzione sette. Seguendo questo schema, si eseguono otto passaggi di validazione incrociata, in cui ciascuna esecuzione funge esattamente da esecuzione di test. Una volta ottenute le prestazioni del classificatore per ciascun passaggio di validazione incrociata, la media di questi risultati fornisce le prestazioni complessive.

Su Internet sono disponibili pacchetti software gratuiti per eseguire l'analisi multivariata dei dati neuroimmagini (MVPA), come pi MVPA e la toolbox offerta dall'Istituto di Neuroscienze di Princeton. Paradigmi sperimentali come quello appena descritto sono stati utilizzati con successo per prevedere stimoli percettivi a partire dall'attività neurale nelle corrispondenti aree della corteccia cerebrale; ad esempio, per prevedere stimoli visivi in base all'attività delle cortecce visive o stimoli uditivi. Sulla base dell'attività nelle cortecce uditive, desideriamo ora presentare un'estensione di questa idea di base, in cui gli stimoli percettivi vengono predetti non solo all'interno, ma anche tra diverse modalità sensoriali.

La nostra idea si basa sul fatto che la percezione è strettamente collegata al richiamo dei ricordi. Ad esempio, uno stimolo visivo con una forte implicazione uditiva, come la vista di una base di vetro che si frantuma a terra, attiverà automaticamente nell'udito della nostra mente un'immagine sonora simile a quelle udite in precedenti esperienze di vetro in frantumi.

Secondo un modello introdotto da Theo alla fine degli anni '80, l'associazione mnemonica tra il sito della base frantumata e il corrispondente suono è immagazzinata nelle cosiddette zone di convergenza-divergenza, o brevemente CD per convergenza. Le zone di divergenza sono concettualizzate come insiemi di neuroni situati a diversi livelli gerarchici dei sistemi sensoriali. Come suggerisce il nome.

I CD a ogni livello ricevono proiezioni ascendenti convergenti da cortecce di ordine inferiore e a loro volta inviano proiezioni discendenti divergenti verso le stesse cortecce di ordine inferiore. A causa delle proiezioni ascendenti convergenti, i CD possono essere attivati da rappresentazioni percettive appartenenti a più modalità sensoriali, ad esempio sia dalla vista sia dal suono di una bottiglia che si rompe, grazie alle proiezioni discendenti divergenti.

Possano quindi favorire la ricostruzione delle immagini associate inviando segnali di ritorno alle cortecce sensoriali precoci di ulteriori modalità. Si consideri la sequenza di attivazione che un stimolo puramente visivo, ma che implichi un suono, indurrà secondo questo schema. Lo stimolo induce inizialmente un pattern specifico di attività neuronale nelle cortecce visive precoci attraverso proiezioni ascendenti convergenti.

Le cortecce visive iniziali attivano il primo livello di CD, quelle CDZ. A seconda dell'esatto modello di attività nel corrispondente settore corticale iniziale, una CDZ può essere attivata oppure può rimanere inattiva. Le CDZ proiettano verso l'alto alle cdz due proprio come le cdz una hanno rilevato.

Pattern di attività nelle cortecce visive precoci, i cdz due rilevano pattern di attività tra i cdz uno; diversi cdz due possono essere attivati contemporaneamente, ma per semplicità qui ne è raffigurato solo uno attraverso proiezioni dall'alto verso il basso. I cdz uno possono al contempo completare il pattern di attività nelle cortecce visive precoci attraverso diversi livelli aggiuntivi di c DZs cdz due. I cdz due proiettano in avanti verso i cdz finali nelle cortecce di associazione multimodali.

Anche in questo caso, possono essere attivati più estremi CDZ, ma per semplicità ne viene rappresentato solo uno. Ancora una volta, i CDZ due inviano segnali all'indietro ai CDZ uno, che a loro volta possono ulteriormente modificare il modello inizialmente indotto nelle cortecce visive precoci. Gli estremi CDZ inviano segnali di ritorno ai CZ due di tutte le modalità.

Nelle cortecce uditive verrà costruito un modello neurale, che permette al soggetto di sperimentare interiormente un'immagine uditiva associata allo stimolo presentato visivamente. La segnalazione top-down rappresentata verso la modalità somatosensoriale riflette il fatto che quasi ogni stimolo visivo implica anche alcune associazioni tattili. Pertanto, il modello prevede che uno stimolo sonoro che implica un input visivo porterebbe a un modello specifico di attività neurale correlato al contenuto.

Nelle cortecce uditive primarie. Analizzando questo modello neurale mediante l'analisi multivariata dei pattern (MVPA), dovrebbe quindi essere possibile prevedere quale tra diversi stimoli visivi che implicano un suono un soggetto abbia visto. Nel primo esperimento, l'attività neurale è stata registrata dalle cortecce uditive primarie mentre i soggetti osservavano nove diversi brevi filmati di oggetti ed eventi che implicavano un suono.

La regione di interesse in questo esperimento era un'area limitata del piano di Semal, che comprendeva la corteccia uditiva primaria e le prime corteccia associative uditive. In un secondo esperimento, l'attività neurale è stata registrata dalla corteccia somatosensoriale primaria mentre i soggetti osservavano cinque diversi filmati che implicavano il tatto. In questo esperimento, la regione di interesse comprendeva la corteccia somatosensoriale primaria situata nel giro postcentrale.

Entrambi gli studi hanno coinvolto otto soggetti nello studio uditivo. Un classificatore MVPA ha ottenuto prestazioni superiori al livello casuale del 50% per tutte le possibili discriminazioni a due vie tra coppie di stimoli. In 26 delle 36 discriminazioni, le prestazioni del classificatore differivano significativamente dal livello casuale di 0,5.

Allo stesso modo, nello studio somatosensoriale, il classificatore ha ottenuto prestazioni superiori al livello di casualità in tutte le discriminazioni a due vie, e otto su dieci discriminazioni hanno raggiunto la significatività statistica. Come si può notare, utilizzando l'analisi multivariata degli schemi crossmodali, siamo stati in grado di dimostrare che la percezione di stimoli visivi che implicano suono o tatto porta a rappresentazioni neurali specifiche per il contenuto nelle cortecce uditiva e somatosensoriale precoci, in accordo con il quadro teorico presentato in precedenza. È chiaro che il paradigma sperimentale qui descritto non deve rimanere limitato alle modalità sensoriali coinvolte nei nostri esperimenti, ma può essere esteso anche ad altre modalità sensoriali.

Speriamo quindi che altri gruppi si uniscano a noi per estendere questo tipo di ricerca, al fine di ampliare la nostra conoscenza su come integrare processi di stimoli multimodali provenienti dall'ambiente.