Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Science Education
Neuropsychology

A subscription to JoVE is required to view this content.
You will only be able to see the first 20 seconds.

Decodificação de imagens auditivas com análise de padrão multivoxel
 
Click here for the English version

Decodificação de imagens auditivas com análise de padrão multivoxel

Overview

Fonte: Laboratórios de Jonas T. Kaplan e Sarah I. Gimbel - Universidade do Sul da Califórnia

Imagine o som de um sino tocando. O que está acontecendo no cérebro quando conjuramos um som como este no "ouvido da mente"? Há evidências crescentes de que o cérebro usa os mesmos mecanismos de imaginação que usa para a percepção. 1 Por exemplo, ao imaginar imagens visuais, o córtex visual se torna ativado, e ao imaginar sons, o córtex auditivo é engajado. No entanto, até que ponto essas ativações de cortices sensoriais são específicas para o conteúdo de nossa imaginação?

Uma técnica que pode ajudar a responder a essa pergunta é a análise de padrões multivoxel (MPVA), na qual imagens funcionais do cérebro são analisadas usando técnicas de aprendizagem de máquina. 2-3 Em um experimento de MPVA, treinamos um algoritmo de aprendizagem de máquina para distinguir entre os vários padrões de atividade evocados por diferentes estímulos. Por exemplo, podemos perguntar se imaginar o som de um sino produz diferentes padrões de atividade no córtex auditivo em comparação com imaginar o som de uma motosserra, ou o som de um violino. Se nosso classificador aprender a diferenciar os padrões de atividade cerebral produzidos por esses três estímulos, então podemos concluir que o córtex auditivo é ativado de forma distinta por cada estímulo. Uma maneira de pensar nesse tipo de experimento é que, em vez de fazer uma pergunta simplesmente sobre a atividade de uma região cerebral, fazemos uma pergunta sobre o conteúdo da informação daquela região.

Neste experimento, baseado em Meyer et al., 2010,4 vamos deixar os participantes imaginarem vários sons apresentando-os com vídeos silenciosos que provavelmente evocarão imagens auditivas. Uma vez que estamos interessados em medir os padrões sutis evocados pela imaginação no córtex auditivo, é preferível que os estímulos sejam apresentados em completo silêncio, sem interferência dos ruídos altos feitos pelo scanner fMRI. Para isso, usaremos um tipo especial de sequência funcional de ressonância magnética conhecida como amostragem temporal esparsa. Nesta abordagem, um único volume de ressonância magnética é adquirido de 4 a 5 s após cada estímulo, cronometrado para capturar o pico da resposta hemodinâmica.

Procedure

or Start trial to access full content. Learn more about your institution’s access to JoVE content here

1. Recrutamento de participantes

  1. Recrute 20 participantes.
    1. Os participantes devem ser destros e não ter histórico de distúrbios neurológicos ou psicológicos.
    2. Os participantes devem ter uma visão normal ou corrigida para o normal para garantir que eles possam ver as pistas visuais corretamente.
    3. Os participantes não devem ter metal em seu corpo. Este é um importante requisito de segurança devido ao alto campo magnético envolvido na ressonância magnética.
    4. Os participantes não devem sofrer de claustrofobia, uma vez que o fMRI requer estar no pequeno espaço do furo do scanner.

2. Procedimentos de pré-digitalização

  1. Preencha a papelada pré-digitalizada.
  2. Quando os participantes entrarem para a varredura de ressonância magnética, instrua-os a primeiro preencher um formulário de tela metálica para garantir que não tenham contraindicações para ressonância magnética, um formulário de achados incidentais que dá consentimento para que seu exame seja examinado por um radiologista e um formulário de consentimento detalhando os riscos e benefícios do estudo.
  3. Prepare os participantes para ir ao scanner removendo todo o metal de seu corpo, incluindo cintos, carteiras, telefones, grampos de cabelo, moedas e todas as joias.

3. Forneça instruções para o participante.

  1. Diga aos participantes que eles verão uma série de vários vídeos curtos dentro do scanner. Esses vídeos ficarão em silêncio, mas podem evocar um som no "ouvido da mente". Peça ao participante para se concentrar e incentivar essas imagens auditivas, para tentar "ouvir" o som da melhor maneira possível.
  2. Estresse para o participante a importância de manter a cabeça parada durante todo o exame.

4. Coloque o participante no scanner.

  1. Dê aos participantes protetores de ouvido para proteger seus ouvidos do ruído do scanner e dos fones de ouvido para que eles possam ouvir o experimentador durante a varredura, e tê-los deitados na cama com a cabeça na bobina.
  2. Dê ao participante a bola de aperto de emergência e instrua-os a espremê-la em caso de emergência durante a varredura.
  3. Use almofadas de espuma para fixar a cabeça dos participantes na bobina para evitar o excesso de movimento durante a varredura, e lembre ao participante que é muito importante ficar o mais quieto possível durante a varredura, pois até mesmo os menores movimentos desfocam as imagens.

5. Coleta de dados

  1. Colete varredura anatômica de alta resolução.
  2. Comece a digitalização funcional.
    1. Sincronize o início da apresentação de estímulos com o início do scanner.
    2. Para alcançar a amostragem temporal esparsa, defina o tempo de aquisição de um volume de ressonância magnética para 2 s, com um atraso de 9 s entre as aquisições de volume.
    3. Apresente os vídeos silenciosos através de um laptop conectado a um projetor. O participante tem um espelho acima dos olhos, refletindo uma tela na parte de trás do furo do scanner.
    4. Sincronize o início de cada clipe de vídeo de 5 s para começar 4 s após o início da aquisição anterior da Ressonância Magnética. Isso garantirá que o próximo volume de ressonância magnética seja adquirido 7 s após o início do videoclipe, para capturar a atividade hemodinâmica que corresponde ao meio do filme.
    5. Apresentar três vídeos silenciosos diferentes que evocam imagens auditivas vívidas: um sino balançando para frente e para trás, uma motosserra cortando uma árvore, e uma pessoa tocando violino.
    6. Em cada varredura funcional, apresente cada vídeo 10 vezes, em ordem aleatória. A cada ensaio com duração de 11 s, isso resultará em uma varredura de 5,5 min de comprimento.
    7. Realize 4 exames funcionais.

6. Análise de dados

  1. Definir uma Região de Interesse (ROI).
    1. Utilize a varredura anatômica de alta resolução de cada participante para traçar os voxels que correspondem ao córtex auditivo inicial(Figura 1). Isso corresponde à superfície do lobo temporal, chamado planum temporale. Use as características anatômicas do cérebro de cada pessoa para criar uma máscara específica ao seu córtex auditivo.

Figure 1
Figura 1: Região de rastreamento de interesse. A superfície do planum temporale foi traçada na imagem anatômica de alta resolução deste participante, e é mostrada aqui em azul. Em verde está a máscara de controle do polo frontal. Estes voxels serão usados para análise de MVPA.

  1. Pré-processe os dados.
    1. Execute a correção de movimento para reduzir os artefatos de movimento.
    2. Realize a filtragem temporal para remover derivas de sinal.
  2. Treine e teste o algoritmo de classificação.
    1. Divida os dados em conjuntos de treinamento e testes. Os dados de treinamento serão usados para treinar o classificador, e os dados de teste de esquerda serão usados para avaliar o que aprendeu. Para maximizar a independência dos dados de treinamento e teste, deixe de fora os dados de uma varredura funcional como o conjunto de testes.
    2. Treine um algoritmo de Máquina vetorial de suporte nos dados de treinamento rotulados do córtex auditivo em cada assunto. Teste a capacidade do classificador de adivinhar corretamente a identidade do conjunto de testes não rotulados e regise a precisão do classificador.
    3. Repita este procedimento 4 vezes, deixando de fora cada varredura como dados de teste cada vez. Esse tipo de procedimento, no qual cada seção dos dados é deixada de fora uma vez, é chamada de validação cruzada.
    4. Combine as precisão do classificador nas 4 dobras de validação cruzada, em média.
  3. Testes estatísticos
    1. Para determinar se o classificador está tendo um desempenho melhor do que o acaso (33%), podemos comparar resultados no nível do grupo com o acaso. Para isso, reúna as precisão de cada assunto e teste que a distribuição é diferente do acaso usando um teste de Classificação Assinada Wilcoxon não paramétrico.
    2. Também podemos perguntar se o classificador está tendo um desempenho melhor do que o acaso para cada indivíduo. Para determinar a probabilidade de um determinado nível de precisão nos dados de chance, crie uma distribuição nula treinando e testando o algoritmo MVPA em dados cujos rótulos foram embaralhados aleatoriamente. Permute os rótulos 10.000 vezes para criar uma distribuição nula dos valores de precisão e, em seguida, compare o valor real de precisão com esta distribuição.
    3. Para demonstrar a especificidade das informações dentro do córtex auditivo, podemos treinar e testar o classificador em voxels de um local diferente no cérebro. Aqui, usaremos uma máscara do polo frontal, tirada de um atlas probabilístico e deformada para caber no cérebro individual de cada indivíduo.

Imagens auditivas são um processo que dá origem à experiência de ouvir sons, mesmo quando não há estímulos auditivos externos presentes.

Por exemplo, pense em ouvir o som de um celular tocando. Enquanto a informação dentro da memória está por trás deste evento imaginário, evidências sugerem que o cérebro de um indivíduo usa os mesmos mecanismos de imaginação que aqueles que estão envolvidos na percepção real.

Ao imaginar o toque, regiões dentro do córtex auditivo tornam-se ativadas. No entanto, embora isso seja verdade através de estímulos acústicos, como os sons são codificados para permitir o processamento detalhado de sons distintos — como distinguir entre um sino de campainha e uma música tocando no rádio — é uma questão importante.

Baseado em trabalhos anteriores de Meyer e colegas, este vídeo demonstra como combinar ressonância magnética funcional — fMRI — com apresentações de diferentes vídeos silenciosos para investigar como o cérebro responde a imagens auditivas.

Também descreveremos como usar um método chamado análise de padrões multi-voxel — MVPA para abreviar — para prever o que os sujeitos imaginaram analisando padrões de ativação obtidos durante as sessões de ressonância magnética.

Neste experimento, os participantes estão em um scanner fMRI e são mostrados uma série de vídeos silenciosos. Cada um - seja um galo cantando, uma motosserra cortando uma árvore ou uma pessoa tocando piano — evoca imagens auditivas distintas e vívidas, e eles são convidados a imaginar os sons durante cada apresentação.

O procedimento de aquisição de imagens baseia-se em amostragem temporal esparsa, pelo qual um único volume de ressonância magnética é adquirido de 4 a 5 s após a apresentação de cada estímulo. Tal tempo captura o pico da resposta hemodinâmica e reduz a probabilidade de que os sinais seriam mascarados pelo ruído do scanner.

Espera-se que cada som imaginado induza padrões sutis, mas distintos de atividade neural, especificamente no córtex auditivo. Aqui, padrão é a palavra-chave: A maneira clássica de analisar esses dados usa uma abordagem univariada, onde os voxels individuais — representando algum nível de ativação — são colapsados em uma única média.

Esses valores são então comparados entre os sons e podem não produzir diferenças significativas nos níveis de ativação.

Em vez disso, usando uma análise multivariada, vários voxels são dispostos para cada som e níveis de ativação podem ser comparados coletivamente, em todos os voxels — contribuindo para um padrão geral único para cada som imaginado.

Com esta análise de padrão multi-voxel, ou MVPA, abordagem, se os padrões são de fato sensíveis a conteúdo específico, então é possível que eles possam ser usados para prever o estímulo original. Isso mesmo — o MVPA é muitas vezes referido como uma técnica de leitura da mente!

Para alcançar esse aspecto de previsão, deve ser realizado um processamento mais intensivo após a coleta dos dados dos participantes, que são divididos em conjuntos de treinamento e testes.

Os dados rotulados do conjunto de treinamento são primeiro submetidos a cálculos de aprendizado de máquina, especificamente, um algoritmo de Máquina vetorial de suporte. Este processo é usado para classificar com precisão os dados reconhecendo características nos padrões neurais que podem distinguir os três tipos de sons um do outro.

Depois que o classificador aprendeu recursos para identificar com precisão os tipos, ele é apresentado com dados não rotulados do conjunto de testes, e seus palpites são então comparados com os rótulos de estímulos corretos.

Neste caso, o desempenho de classificação serve como variável dependente — registrada como precisão do classificador — que também é comparada aos voxels evocados em um local diferente no cérebro, como o polo frontal.

Espera-se que o classificador preveja a identificação de imagens auditivas, revelando a importância do MVPA na detecção de atividade específica de conteúdo dentro do córtex auditivo.

Por questões experimentais e de segurança, verifique se todos os participantes são destros, têm visão normal ou corrigida ao normal, sem histórico de distúrbios neurológicos ou claustrofobia, e não possuem nenhum metal em seu corpo. Além disso, certifique-se de que eles preenchiam os formulários de consentimento necessários.

Antes de prosseguir, explique que eles verão vários vídeos silenciosos curtos no scanner que podem evocar um som em sua mente. Peça-lhes para se concentrarem nos sons imaginados, "ouvi-los" o melhor que puderem, e permanecer parados durante a tarefa.

Agora, prepare o participante para entrar no scanner. Para ver essas etapas em detalhes, consulte outro vídeo fMRI produzido nesta coleção.

Após a preparação, alinhe o participante e envie-os para dentro do furo. Na sala adjacente, primeiro colete uma varredura anatômica de alta resolução. Em seguida, sincronizar o início da apresentação de vídeo silencioso com o início da varredura funcional.

Para obter amostragem temporal esparsa, ajuste o tempo de aquisição de um volume de ressonância magnética para 2 s, com um atraso de 9 s no meio.

É importante ressaltar que coordenará o início de cada videoclipe de 5 s para começar 4 s após a aquisição anterior da Ressonância Magnética começar a capturar a atividade hemodinâmica que corresponde ao meio do filme.

Apresente cada vídeo 10 vezes, em ordem aleatória, gerando uma sessão de digitalização que dura 5,5 min. Repita esta sequência de aquisição funcional mais três vezes.

Após a realização das quatro varreduras funcionais, tire o participante do scanner e interrogá-los para concluir o estudo.

Para definir regiões de interesse, utilize as varreduras anatômicas de alta resolução de cada participante e trace voxels na superfície do lobo temporal que correspondem ao córtex auditivo inicial, também conhecido como planum temporale. Além disso, crie uma máscara contendo voxels no lobo frontal, que será usada como região de controle.

Em seguida, pré-processo os dados realizando correção de movimento para reduzir artefatos de movimento e filtragem temporal para remover derivas de sinal.

Em seguida, divida os dados em dois conjuntos: treinamento e teste. Em um conjunto de dados, treine um classificador — um algoritmo de máquina vetorial de suporte — certificando-se de manter os dados das duas regiões cerebrais separados para cada assunto.

No outro conjunto, avalie o que o classificador aprendeu — sua capacidade de adivinhar corretamente a identidade de dados não rotulados — e registe a precisão do algoritmo em todas as corridas. Realize este procedimento um total de quatro vezes, deixando de fora uma varredura funcional como dados de teste cada vez — um processo chamado validação cruzada.

Para visualizar os dados, grafe as precisão médias do classificador nas quatro dobras de validação cruzada para cada participante.

Plotar essas médias tanto para a região primária de interesse — o planum temporale — quanto para a área de controle — o polo frontal — para comparar a especificidade focal do classificador, até que ponto uma determinada área, como o córtex auditivo, é seletivamente prevista para estar envolvida na imaginação auditiva.

Neste caso, execute uma estatística não paramétrica, o teste de Classificação Assinada de Wilcoxon, para testar o desempenho contra o acaso, que é de 33%. Note-se que a precisão média do classificador no córtex auditivo foi de 59%, o que é significativamente diferente do nível de chance.

Em contrapartida, o desempenho médio na máscara do polo frontal foi de 33%, o que não é significativamente diferente do acaso.

Além disso, observe que o desempenho do classificador variou entre os indivíduos. Depois de usar um teste de permutação para calcular um novo limiar estatístico de 42%, veja que 19 dos 20 sujeitos apresentaram valores de precisão significativamente maiores do que este nível usando voxels do planum temporale, enquanto nenhum teve desempenho maior do que o acaso usando voxels do polo frontal.

No geral, esses resultados implicam que as técnicas de MVPA previram com precisão qual dos três sons que os participantes estavam imaginando com base em padrões de atividade neural. Tais previsões só foram feitas dentro do córtex auditivo, sugerindo que o conteúdo acústico não é representado globalmente em todo o cérebro.

Agora que você está familiarizado com como aplicar a análise de padrões multi-voxel para estudar imagens auditivas, vamos ver como os neuropsicólogos usam técnicas multivariadas para avançar uma abordagem futurista para a leitura da mente — a decodificação de estados mentais — em outros domínios.

Os classificadores têm sido usados em dados de ressonância magnética obtidos do córtex temporal ventral para prever os tipos de objetos visualizados pelos participantes, distinguindo entre casas e rostos, por exemplo.

Dando um passo adiante, é até possível prever se o indivíduo compraria aquela casa ou acharia a pessoa agradável. Por mais assustador que isso pareça, essas implicações de neuromarketing não são absurdas!

A mesma abordagem também poderia ser usada para detectar estados emocionais depois de assistir a um show — reconhecendo que um filme de terror é de fato aterrorizante — ou mesmo o gênero cinematográfico; por exemplo, o filme assustador pode envolver a amígdala mais previsível sobre uma contemplativa que envolveria de forma confiável o córtex pré-frontal.

Além disso, interfaces cérebro-computador poderia converter estados mentais em sinais que melhorariam a comunicação, no caso de indivíduos submetidos à fonoaudiologia, ou movimentos, para aqueles que sofreram de amputação de um membro.

Você acabou de assistir ao vídeo da JoVE sobre como entender imagens auditivas usando análise de padrões multi-voxel. Agora você deve ter uma boa compreensão de como projetar e conduzir o experimento de imagens auditivas em conjunto com a neuroimagem funcional, e finalmente como analisar e interpretar padrões específicos de atividade cerebral.

Obrigado por assistir!

Subscription Required. Please recommend JoVE to your librarian.

Results

or Start trial to access full content. Learn more about your institution’s access to JoVE content here

A precisão média do classificador no planum temporale entre todos os 20 participantes foi de 59%. De acordo com o teste de Classificação Assinada de Wilcoxon, isso é significativamente diferente do nível de chance de 33%. O desempenho médio na máscara do polo frontal foi de 32,5%, o que não é maior que o acaso (Figura 2).

Figure 2
Figura 2. Desempenho de classificação em cada participante. Para a classificação tricolor, o desempenho de chance é de 33%. De acordo com um teste de permutação, o nível alfa de p < 0,05 corresponde a 42%.

O teste de permutação constatou que apenas 5% das permutações obtiveram precisão superior a 42%; assim, nosso limiar estatístico para indivíduos é de 42%. Dezenove dos 20 sujeitos apresentaram desempenho de classificação significativamente maior do que o acaso usando voxels do planum temporale, enquanto nenhum teve desempenho maior do que o acaso usando voxels do polo frontal.

Assim, somos capazes de prever com sucesso a partir de padrões de atividade no córtex auditivo que dos três sons que o participante estava imaginando. Não fomos capazes de fazer essa previsão com base em padrões de atividade do polo frontal, sugerindo que a informação não é global em todo o cérebro.

Subscription Required. Please recommend JoVE to your librarian.

Applications and Summary

or Start trial to access full content. Learn more about your institution’s access to JoVE content here

O MVPA é uma ferramenta útil para entender como o cérebro representa informações. Em vez de considerar o curso de tempo de cada voxel separadamente como em uma análise de ativação tradicional, esta técnica considera padrões em muitos voxels ao mesmo tempo, oferecendo maior sensibilidade em comparação com técnicas univariadas. Muitas vezes, uma análise multivariada revela diferenças onde uma técnica univariada não é capaz de. Neste caso, aprendemos algo sobre os mecanismos do imaginário mental sondando o conteúdo da informação em uma área específica do cérebro, o córtex auditivo. A natureza específica do conteúdo desses padrões de ativação seria difícil de testar com abordagens univariadas.

Há benefícios adicionais que vêm da direção de inferência neste tipo de análise. No MVPA começamos com padrões de atividade cerebral e tentamos inferir algo sobre o estado mental do participante. Esse tipo de abordagem de "leitura cerebral" pode levar ao desenvolvimento de interfaces cérebro-computador, e pode permitir novas oportunidades de comunicação com aqueles com fala ou movimento prejudicados.

Subscription Required. Please recommend JoVE to your librarian.

References

  1. Kosslyn, S.M., Ganis, G. & Thompson, W.L. Neural foundations of imagery. Nat Rev Neurosci 2, 635-642 (2001).
  2. Haynes, J.D. & Rees, G. Decoding mental states from brain activity in humans. Nat Rev Neurosci 7, 523-534 (2006).
  3. Norman, K.A., Polyn, S.M., Detre, G.J. & Haxby, J.V. Beyond mind-reading: multi-voxel pattern analysis of fMRI data. Trends Cogn Sci 10, 424-430 (2006).
  4. Meyer, K., et al. Predicting visual stimuli on the basis of activity in auditory cortices. Nat Neurosci 13, 667-668 (2010).

Transcript

Please note that all translations are automatically generated.

Click here for the English version.

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter