Decodifica delle immagini uditive con l'analisi del modello multivoxel

L'immaginazione uditiva è un processo che dà origine all'esperienza di sentire i suoni, anche quando non sono presenti stimoli uditivi esterni.

Ad esempio, pensa a sentire il suono di un cellulare che squilla. Mentre le informazioni all'interno della memoria sono alla base di questo evento immaginario, l'evidenza suggerisce che il cervello di un individuo utilizza gli stessi meccanismi per l'immaginazione di quelli coinvolti nella percezione effettiva.

Solo dopo aver immaginato il suono, le regioni all'interno della corteccia uditiva si attivano. Tuttavia, anche se questo è vero per gli stimoli acustici, il modo in cui i suoni vengono codificati per consentire l'elaborazione dettagliata di suoni distinti, come distinguere tra il campanello di un campanello e una canzone che suona alla radio, è una domanda importante.

Sulla base di precedenti lavori di Meyer e colleghi, questo video dimostra come combinare la risonanza magnetica funzionale con presentazioni di diversi video silenziosi per indagare su come il cervello risponde alle immagini uditive.

Descriveremo anche come utilizzare un metodo chiamato analisi del modello multi-voxel? MVPA in breve?per prevedere ciò che i soggetti hanno immaginato analizzando i modelli di attivazione ottenuti durante le sessioni di fMRI.

In questo esperimento, i partecipanti giacciono in uno scanner fMRI e vengono mostrati una serie di video silenziosi. Ognuno di essi, che si tratti del canto di un gallo, di una motosega che taglia un albero o di una persona che suona il pianoforte, evoca immagini uditive distintive e vivide e viene chiesto loro di immaginare i suoni durante ogni singola presentazione.

La procedura di acquisizione dell'imaging si basa su un campionamento temporale sparso, in base al quale un singolo volume fMRI viene acquisito 4-5 s dopo la presentazione di ogni stimolo. Tale temporizzazione cattura il picco della risposta emodinamica e riduce la probabilità che i segnali vengano mascherati dal rumore dello scanner.

Ci si aspetta che ogni suono immaginato induca modelli sottili ma distintivi di attività neurale, in particolare nella corteccia uditiva. Qui, modello è la parola chiave: il modo classico di analizzare questi dati utilizza un approccio univariato, in cui i singoli voxel – che rappresentano un certo livello di attivazione – sono collassati in un'unica media.

Questi valori vengono quindi confrontati tra i suoni e potrebbero non produrre differenze significative nei livelli di attivazione.

Invece, utilizzando un'analisi multivariata, vengono disposti più voxel per ogni suono e i livelli di attivazione possono essere confrontati collettivamente, tra tutti i voxel, contribuendo a un modello generale unico per ogni suono immaginato.

Con questo approccio di analisi dei pattern multi-voxel, o MVPA, se i pattern sono effettivamente sensibili a contenuti specifici, è possibile che possano essere utilizzati per prevedere lo stimolo originale. Esatto? L'MVPA è spesso indicato come una tecnica di lettura della mente!

Per ottenere questo aspetto di previsione, è necessario eseguire un'elaborazione più intensiva dopo aver raccolto i partecipanti? dati, che sono suddivisi in set di addestramento e test.

I dati etichettati del set di addestramento vengono prima sottoposti a calcoli di apprendimento automatico, in particolare a un algoritmo Support Vector Machine. Questo processo viene utilizzato per classificare accuratamente i dati riconoscendo le caratteristiche nei modelli neurali che possono distinguere i tre tipi di suoni l'uno dall'altro.

Dopo che il classificatore ha appreso le funzionalità per identificare con precisione i tipi, gli vengono presentati dati non etichettati dal set di test e le sue ipotesi vengono quindi confrontate con le etichette degli stimoli corrette.

In questo caso, la performance di classificazione funge da variabile dipendente, registrata come accuratezza del classificatore, che viene anche confrontata con i voxel evocati in una posizione diversa nel cervello, come il polo frontale.

Ci si aspetta che il classificatore preveda l'identificazione delle immagini uditive, rivelando l'importanza dell'MVPA nel rilevare l'attività specifica del contenuto all'interno della corteccia uditiva.

Per motivi sperimentali e di sicurezza, verificare che tutti i partecipanti siano destrimani, abbiano una vista normale o corretta, nessuna storia di disturbi neurologici o claustrofobia e non possiedano alcun metallo nel loro corpo. Inoltre, assicurati che compilino i moduli di consenso necessari.

Prima di procedere, spiega che vedranno diversi brevi video muti nello scanner che potrebbero evocare un suono nella loro mente. Chiedi loro di concentrarsi sui suoni immaginati, di "ascoltarli" nel miglior modo possibile e di rimanere fermi per tutta la durata del compito.

Ora, prepara il partecipante ad entrare nello scanner. Per vedere questi passaggi in dettaglio, fare riferimento a un altro video fMRI prodotto in questa raccolta.

Dopo la preparazione, allineare il partecipante e inviarlo all'interno del foro. Nella stanza adiacente, prelevare prima una scansione anatomica ad alta risoluzione. Quindi, sincronizzare l'inizio della presentazione video silenziosa con l'inizio della scansione funzionale.

Per ottenere un campionamento temporale sparso, impostare il tempo di acquisizione di un volume di risonanza magnetica su 2 s, con un ritardo di 9 s in mezzo.

È importante coordinare l'inizio di ogni clip video di 5 secondi in modo che inizi 4 secondi dopo l'inizio dell'acquisizione della risonanza magnetica precedente per catturare l'attività emodinamica che corrisponde alla metà del film.

Presenta ogni video 10 volte, in ordine casuale, generando una sessione di scansione della durata di 5,5 minuti. Ripetere questa sequenza di acquisizione funzionale altre tre volte.

Dopo aver eseguito le quattro scansioni funzionali, portare il partecipante fuori dallo scanner e interrogarlo per concludere lo studio.

Per definire le regioni di interesse, utilizzare le scansioni anatomiche ad alta risoluzione di ciascun partecipante e tracciare voxel sulla superficie del lobo temporale che corrispondono alla corteccia uditiva precoce, nota anche come planum temporale. Inoltre, crea una maschera contenente voxel nel lobo frontale, che verrà utilizzata come regione di controllo.

Quindi, pre-elabora i dati eseguendo la correzione del movimento per ridurre gli artefatti di movimento e il filtraggio temporale per rimuovere le deviazioni del segnale.

Successivamente, dividi i dati in due set: training e test. In un set di dati, addestrare un classificatore - un algoritmo di macchina a vettori di supporto - assicurandosi di mantenere separati i dati delle due regioni del cervello per ogni soggetto.

Nell'altro set, valutare ciò che il classificatore ha appreso - la sua capacità di indovinare correttamente l'identità dei dati non etichettati - e registrare l'accuratezza dell'algoritmo tra le esecuzioni. Eseguire questa procedura per un totale di quattro volte, tralasciando ogni volta una scansione funzionale come dati di test, un processo chiamato convalida incrociata.

Per visualizzare i dati, rappresentare graficamente l'accuratezza media del classificatore attraverso le quattro riduzioni di convalida incrociata per ogni partecipante.

Tracciare queste medie sia per la regione primaria di interesse – il planum temporale – che per l'area di controllo – il polo frontale – per confrontare la specificità focale del classificatore, la misura in cui si prevede selettivamente che una particolare area, come la corteccia uditiva, sia selettivamente coinvolta nell'immaginazione uditiva.

In questo caso, esegui una statistica non parametrica, il test Wilcoxon Signed-Rank, per testare le prestazioni rispetto al caso, che è del 33%. Si noti che l'accuratezza media del classificatore nella corteccia uditiva era del 59%, che è significativamente diversa dal livello di probabilità.

Al contrario, la prestazione media nella maschera frontale è stata del 33%, che non è significativamente diversa dal caso.

Inoltre, si noti che le prestazioni del classificatore variavano da individuo a individuo. Dopo aver utilizzato un test di permutazione per calcolare una nuova soglia statistica del 42%, si noti che 19 soggetti su 20 avevano valori di accuratezza significativamente superiori a questo livello utilizzando i voxel del planum temporale, mentre nessuno aveva prestazioni superiori al caso utilizzando i voxel del polo frontale.

Nel complesso, questi risultati implicano che le tecniche MVPA hanno previsto con precisione quale dei tre suoni i partecipanti stavano immaginando in base a modelli di attività neurale. Tali previsioni sono state fatte solo all'interno della corteccia uditiva, suggerendo che il contenuto acustico non è rappresentato globalmente in tutto il cervello.

Ora che hai familiarità con come applicare l'analisi dei modelli multi-voxel per studiare le immagini uditive, diamo un'occhiata a come i neuropsicologi utilizzano tecniche multivariate per promuovere un approccio futuristico alla lettura della mente – la decodifica degli stati mentali – in altri domini.

I classificatori sono stati utilizzati sui dati fMRI ottenuti dalla corteccia temporale ventrale per prevedere i tipi di oggetti visualizzati dai partecipanti, distinguendo tra case e volti, ad esempio.

Facendo un ulteriore passo avanti, è anche possibile prevedere se l'individuo acquisterebbe quella casa o la troverebbe piacevole. Per quanto possa sembrare inquietante, queste implicazioni di neuromarketing non sono inverosimili!

Lo stesso approccio potrebbe essere utilizzato anche per rilevare gli stati emotivi dopo aver visto uno spettacolo - riconoscendo che un film spaventoso è davvero terrificante - o anche il genere cinematografico; Ad esempio, il film spaventoso potrebbe coinvolgere l'amigdala in modo più prevedibile rispetto a uno contemplativo che coinvolgerebbe in modo affidabile la corteccia prefrontale.

Inoltre, le interfacce cervello-computer potrebbero convertire gli stati mentali in segnali che migliorerebbero la comunicazione, nel caso di individui sottoposti a logopedia, o i movimenti, per coloro che hanno subito l'amputazione di un arto.

Hai appena visto il video di JoVE sulla comprensione delle immagini uditive utilizzando l'analisi dei modelli multi-voxel. Ora dovresti avere una buona comprensione di come progettare e condurre l'esperimento di immagini uditive in combinazione con il neuroimaging funzionale e, infine, come analizzare e interpretare specifici modelli di attività cerebrale.

Grazie per l'attenzione!