Cross-modal de Análise de Padrões multivariada

Summary

Análise de padrão clássico multivariada prevê estímulos sensoriais um sujeito percebe da atividade neural no córtex correspondente (por exemplo, estímulos visuais da atividade no córtex visual). Aqui, nós aplicamos análise de padrões de cross-modal e mostrar que o som e toque implicando estímulos visuais pode ser previsto a partir de atividade no córtex auditivo e somatossensorial, respectivamente.

Abstract

Análise de padrões multivariada (AFMV) é um método cada vez mais popular de analisar a ressonância magnética funcional (fMRI) dados ^1-4. Normalmente, o método é usado para identificar a experiência perceptiva de um sujeito da atividade neural em certas regiões do cérebro. Por exemplo, tem sido empregado para predizer a orientação de grelhas visual de um sujeito percebe da atividade nos córtices visuais iniciais ⁵ ou, analogamente, o conteúdo do discurso da atividade no córtex auditiva precoce ^6.

Aqui, apresentamos uma extensão do paradigma AFMV clássica, segundo a qual estímulos perceptivos não são previstos dentro, mas em todos os sistemas sensoriais. Especificamente, o método que descrevemos aborda a questão de saber se os estímulos que evocam associações de memória em outras modalidades que aquela pela qual eles são apresentados induzem padrões de conteúdo específico de atividade no córtex sensorial das outras modalidades.Por exemplo, vendo um vídeo sem som de um vaso de vidro estilhaçando no chão aciona automaticamente na maioria dos observadores uma imagem auditiva do som associado; é a experiência de esta imagem em "ear mente" correlacionada com um padrão de atividade neural específica no início de córtex auditivo? Além disso, é este padrão de atividade distinta do padrão que pôde ser observado se o assunto fosse, em vez, assistir a um clipe de vídeo de um cão uivando?

Em dois estudos anteriores ^7,8, fomos capazes de prever som e toque implicando clipes de vídeo com base na atividade neural no córtex auditiva precoce e somatossensorial, respectivamente. Nossos resultados estão em linha com um quadro neuroarchitectural proposto por Damasio ^9,10, segundo a qual a experiência de imagens mentais que são baseados em memórias - como ouvir o som quebra de um vaso na "orelha mente" ao ver o vídeo correspondente clip - é apoiado pela re-construção do conteúdoPadrões específicos da atividade neural em córtices sensoriais.

Protocol

1. Introdução

Análise de padrões multivariada (AFMV) é um método cada vez mais popular de analisar a ressonância magnética funcional (fMRI) dados ^1-4. Normalmente, o método é usado para identificar a experiência perceptiva de um sujeito da atividade neural em certas regiões do cérebro. Por exemplo, tem sido empregado para predizer a orientação de grelhas visual de um sujeito percebe da atividade nos córtices visuais iniciais ⁵ ou, analogamente, o conteúdo do discurso da atividade no córtex auditiva precoce ^6. Neste artigo de vídeo, descrevemos uma nova aplicação de AFMV que acrescenta um toque extra a esta básica, paradigma intra-modal. Nesta abordagem, estímulos perceptivos são previstos não dentro, mas em todos os sistemas sensoriais.

2. Análise de Padrões multivariada

Embora o método AFMV por agora está bem estabelecida dentro do reino de neuroimagem, vamos começar por pointing as principais diferenças entre AFMV e convencional, a análise de fMRI univariada. Para este efeito, considere o seguinte exemplo de como os dois métodos de percorrer cerca de examinar a atividade neural no córtex visual durante uma tarefa simples visual ( vídeo 1 ):

1. Um tema é apresentado com dois diferentes estímulos visuais, por exemplo, uma imagem de uma laranja e uma imagem de uma maçã.
2. Ambos os estímulos induzem um padrão específico de atividade neural no córtex visual primário, simbolizada aqui pelos níveis de ativação de seis voxels hipotética. (Claro, padrões de atividade induzida por uma única apresentação da laranja ou maçã imagens na realidade seria muito ruidoso; considerar os padrões ilustrados como médias resultantes de um grande número de ensaios.)
3. Na análise de fMRI convencionais, existem basicamente duas maneiras pelas quais esses padrões podem ser analisados. Primeiro, pode-se concentrar na média level da atividade em toda a região de interesse.
4. No exemplo dado, a diferença nos níveis de atividade média não é significativa, de modo que os padrões correspondentes aos dois estímulos não podem ser distinguidos a partir deste ponto de vista.
5. Outra forma de analisar os dois padrões é o de estabelecer um contraste subtração entre eles: para cada voxel, o nível de ativação durante a "maçã" condição é subtraído ao nível de ativação durante a condição de "laranja". A diferença resultante pode então ser visualizadas para cada voxel em uma imagem de contraste de todo o cérebro.
6. Mais uma vez, no entanto, estas diferenças podem ser pequenas e podem atingir o critério de estatística necessária apenas para voxels muito poucos.
7. Isto é onde a vantagem decisiva de AFMV entra em jogo: a sua força superior deriva do fato de que, ao contrário dos métodos de análise univariada, que considera os níveis de ativação de todos os voxels simultaneamente e, portanto, é capaz de detectar padrões de dentro deles. Embora, como mentioned, apenas algumas das diferenças de ativação pode ser significativo quando considerado isoladamente, os dois padrões, quando considerados em sua totalidade, pode de fato por estatisticamente diferentes.

Há uma segunda grande diferença entre a análise de fMRI convencionais e AFMV ( Vídeo Clip 2 ). O primeiro método tipicamente tenta demonstrar uma dependência estatística entre certos estímulos sensoriais e padrões de atividade cerebral em uma certa "maneira para a frente", em outras palavras, pergunta pergunta do tipo: "Será que dois diferentes estímulos visuais, por exemplo, a imagem de um rosto ea imagem de uma casa, levar a diferentes níveis de atividade em uma região específica de interesse, por exemplo, a área facial fusiforme? " Por outro lado, o sucesso de AFMV é normalmente expressa em termos de "inferência reversa" ou "descodificação", a típica pergunta é do tipo: "Com base no padrão de atividade neural em um reg específicas ion de interesse (por exemplo, o córtex visual primário), pode-se prever se um sujeito percebe estímulos A, B por exemplo, uma laranja, ou de estímulo, por exemplo, uma maçã? Note ", no entanto, que a direção na qual a correlação entre os estímulos perceptivos e a atividade do cérebro é mapeado não importa a partir de um ponto de vista estatístico: é equivalente a dizer que dois estímulos levar a padrões de atividade distintos em uma dada região do cérebro e dizer que o padrão de atividade na região do cérebro que permite a previsão do estímulo indutor ¹¹ . Em outras palavras, a sensibilidade do AFMV é superior ao das análises univariadas, pois considera simultaneamente vários voxels, e não porque procede em uma direção inversa.

Os passos seguintes ilustram como um paradigma AFMV típico abordar a questão de se ver uma maçã induz um padrão diferente de atividade neural no córtex visual primário do que ver uma laranja (_upload/3307/3307_Meyer-Kaplan_Video_3.mov "Video Clip> 3):

1. dados fMRI são adquiridos enquanto sujeito vê grande número de estímulos de maçã e laranja.
2. Os dados adquiridos são divididos em um conjunto de dados de treinamento e um teste conjunto de dados. Ao contrário no presente exemplo, o treinamento conjunto de dados é muitas vezes escolhido para ser maior do que o conjunto de dados de teste, como o desempenho do classificador pode ser esperado a aumentar com o número de tentativas de treino.
3. Os dados do conjunto de treinamento são inseridos em um classificador de padrões. Usando um dos vários possíveis algoritmos matemáticos, o classificador tenta detectar características nos padrões neurais que distinguir os dois tipos de estímulo de um outro. Um tipo de classificador comumente usado (também em nossos próprios estudos anteriores) são chamados de máquinas de vetor de suporte; para mais detalhes, o leitor é remetido para os estudos mencionados na introdução.
4. Após o classificador foi treinado sobre os julgamentos de treinamento, é provided com os dados de teste. Os ensaios individuais do conjunto de dados de teste são sem rótulo, em outras palavras, o classificador não "sabe" se um padrão vem de uma "maçã" ou um julgamento "laranja".
5. Com base na consistência que foi capaz de detectar no conjunto de dados de treinamento, o classificador atribui o rótulo de maior probabilidade de cada um dos ensaios de teste.
6. Para cada padrão, o classificador "adivinhar" pode ser comparado com o rótulo de estímulo correto.
7. Se o classificador foi incapaz de detectar diferenças consistentes entre os padrões induzida pelos dois estímulos, o seu desempenho deve ser a nível acaso, para a discriminação de duas vias dada no exemplo, isso corresponderia a 50% rótulos corretos. A previsão de desempenho significativamente acima deste valor indica que existem de facto diferenças consistentes entre os dois tipos de estímulos.

Note-se que é fundamental que os dados conjuntos de treinamento e testes de ser independente de um another. Somente se este for o caso pode qualquer ser retiradas conclusões quanto à generalização dos padrões derivados do conjunto de treinamento. Estudos AFMV muitas vezes avaliar o desempenho do classificador usando um paradigma de validação cruzada ( Video Clip 4 ). Suponha que um experimento AFMV consiste em oito corridas funcional. Na etapa de validação cruzada em primeiro lugar, um classificador é treinado com os dados das execuções de 1 a 7 e testado sobre os dados do funcionamento do 8. Na segunda etapa, o classificador é então treinados em corridas de 1 a 6, bem como executar 8, e posteriormente testado em executar 7. Seguindo este esquema, oito validação cruzada etapas são realizadas, a cada rodada servindo como teste exatamente uma vez. Desempenho do classificador geral é calculada como a média das performances sobre o indivíduo validação cruzada passos. Embora este procedimento garante a formação independente e conjuntos de dados de teste em cada etapa, também maximiza o número totalde ensaios de testes, o que pode ser vantajoso quando se avalia a significância estatística do desempenho do classificador.

Existem pacotes de software disponíveis gratuitamente na internet para realizar AFMV, dois exemplos são PyMVPA ¹² (baseado em Python; http://www.pymvpa.org ) ea caixa de ferramentas oferecidas pelo Instituto de Neurociência de Princeton (baseado em Matlab; http:/ / code.google.com / p / princeton-AFMV-toolbox / ).

3. Cross-Modal AFMV eo Quadro de Convergência Divergência-Zonas

Como mencionado na introdução, paradigmas experimentais como o que acabamos de descrever tem sido utilizado com sucesso para prever estímulos perceptivos de atividade neural no córtex sensorial correspondente, em outras palavras, estímulos visuais com base na atividade no córtex visual e estímulos auditivos com base na atividade no córtex auditivo . Aqui, nósapresentar uma extensão deste conceito básico. Especificamente, a hipótese de que ele deve ser possível prever estímulos perceptivos não só dentro, mas em modalidades. Percepção sensorial está intrinsecamente ligada à evocação de memórias, por exemplo, um estímulo visual que tem uma implicação auditiva fortes, como a visão de um vaso de vidro estilhaçando no chão, vai acionar automaticamente no nosso "ouvido da mente" imagens que compartilham similaridades com as imagens auditivas tivemos em encontros anteriores à quebra de vidros. De acordo com um quadro introduzido por Damasio mais de duas décadas atrás, ^9,10, a associação de memória entre a visão do vaso e as imagens de som correspondente é armazenado na chamada convergência divergência-zonas (CDZs; Video Clip 5 ). CDZs são conjuntos de neurônios no córtex associação que recebe convergentes de baixo para cima as projeções de vários início uma corticalreas (através de vários níveis hierárquicos) e que, por sua vez, enviar de volta divergentes de cima para baixo as projeções para os mesmos locais cortical. Devido à convergência de baixo para cima projeções, CDZs pode ser ativado por representações perceptivas em várias modalidades - por exemplo, tanto pela visão eo som de um vaso quebrando, devido à divergência de cima para baixo projeções, eles podem promover a reconstrução de associação de imagens por sinalização de volta para o córtices de modalidades adicionais. Damásio enfatizou a este último ponto: a ativação no córtex CDZs associação não seria suficiente para a recuperação consciente de uma imagem da memória, apenas uma vez CDZs iria reconstruir explícita representações neurais em córtices sensoriais iniciais seria a imagem ser conscientemente experientes. Assim, o quadro prevê uma seqüência específica de processamento neural em resposta a um estímulo (puramente) visual que implica som ( Video Clip6):

1. O primeiro estímulo induz um padrão específico de atividade neural (retângulos vermelhos) no córtices visuais iniciais.
2. Via convergentes de baixo para cima as projeções, os neurônios nos córtices visuais iniciais do projeto para a frente a um primeiro nível de CDZs (CDZ ₁ s). O padrão convergente de conectividade permite a CDZ ₁ s para detectar certos padrões de atividade no córtices visuais iniciais. Dependendo do modelo exato, um CDZ podem ou não serem ativados. CDZs assim agem como extratores de recurso. Neste exemplo, dois CDZ ₁ s são ativados (como indicado pela cor vermelha), enquanto o terceiro não é acionado pelo padrão de atividade específica no setor correspondente do córtices visuais iniciais.
3. CDZ ₁ s enviar convergentes de baixo para cima projeções para CDZ ₂ s, portanto, assim como CDZ ₁ s detectou certos padrões de atividade no córtices visuais iniciais, CDZ ₂ s são capazes de detectar padrões de atividade entre ₁ CDZ 2 s pode tornar-se ativadas pela configuração específica de ativado CDZ ₁ s; por razões de simplicidade, apenas um único CDZ ₂ é descrito aqui. No exemplo, o padrão de atividade entre os CDZ ₁ s é suficiente para ativar este CDZ _2.
4. Nomeadamente, CDZ ₁ s não apenas um projeto para a frente a CDZ ₂ s, mas também de volta ao córtices (setas azuis). Estes sinais top-down pode completar o padrão de atividade (possivelmente barulhenta) inicialmente induzida pelo estímulo (retângulo azul). Geralmente, a cor vermelha denota bottom-up ativações, enquanto a cor azul representa top-down ativações.
5. Através de vários níveis adicionais de CDZs, o projeto CDZ s ₂ para a frente a CDZ _n s em córtices de ordem superior de associação (seta tracejada). Uma ou várias CDZ _n s podem responder ao estímulo visual específica em questão (apenas um único é descrito).
6. Novamente, deve-se notar que o CDZ ₂ s als o sinal de trás para CDZ s _1, que, por sua vez, pode modificar ainda mais o padrão originalmente induzida no córtices visuais iniciais.
7. O sinal de _n s CDZ de volta para o CDZ ₂ s de todas as modalidades. No córtex visual, o que pode levar à conclusão de padrões de atividade no nível mais baixo CDZs. No córtex auditivo, um padrão neural será construído - em primeiro lugar a nível de CDZ ₂ s ₁ e CDZ s, em última instância no córtex auditiva precoce - que permite a experiência consciente de uma imagem auditiva associada com o estímulo visual apresentado. Note que há também top-down de sinalização para a modalidade somatossensorial, embora em menor grau do que para a modalidade auditiva. Isso reflete o fato de que quase qualquer estímulo visual tem alguma associação tátil para ele. À medida que o estímulo visual no exemplo atual é assumido especificamente implica som, no entanto, top-down de sinalização para o córtex auditivo é mais extensa.

ove_content "> Com base na seqüência proposta de processamento neural, o quadro faz uma previsão específica:. estímulos visuais contendo objetos e eventos que implica fortemente o som deve evocar a atividade neural no córtex auditiva precoce Além disso, os padrões de atividade auditiva deve ser estímulo específico; em outras palavras, um vídeo-clip de um vaso quebrando deve induzir um padrão diferente do que um clipe de um cachorro uivando Se essa previsão fosse correta, então devemos realmente ser capaz de realizar AFMV cross-modal:. por exemplo, deveríamos ser capazes para prever, com base exclusivamente na atividade neural de impressão digital em córtices auditivos iniciais, se uma pessoa está vendo um vaso quebrando ou um cão uivando ( Video Clip 7 ). Naturalmente, paradigmas análogos invocando transferência de informações entre outras modalidades sensoriais também devem ser bem sucedido. Para exemplo, se os clips de vídeo mostraram um toque sujeito implícito ao invés desom, devemos ser capazes de prever os clips dos padrões de atividade que provocam no córtex somatossensorial cedo.

4. Estímulos

O paradigma geral de um estudo AFMV foi descrito na Seção 2. Nossa abordagem é diferente de estudos anteriores em que ele tenta executar AFMV entre os sistemas sensoriais e, portanto, utiliza estímulos que são especificamente concebidos para ter implicações em uma modalidade sensorial diferente daquele em que são apresentados. Em um estudo anterior, por exemplo, registramos a atividade neural do córtex somatossensorial primário enquanto as pessoas assistiam a clipes de vídeo de 5 segundos de objetos do cotidiano sendo manipulados por mãos humanas ⁸ ( Video Clip 8 e 9 Video Clip ). Em outro estudo, nós investigamos a atividade neural no início de córtices auditivos whiassuntos le viu clips de vídeo que os objetos descritos e eventos que fortemente implícito som ⁷ ( Video Clip 10 e Video Clip 11 ). No entanto, de acordo com o quadro CDZ, estímulos sensoriais de todas as modalidades podem ser potencialmente empregados neste paradigma geral, contanto que eles têm implicações nas modalidades adicional.

5. Regiões de interesse

Geralmente, as regiões de interesse para um estudo de neuroimagem podem ser determinados quer funcional ou anatomicamente. Acreditamos que no paradigma experimental que descrevemos aqui, localizadores anatômicas são mais adequados por duas razões. Primeiro, não é trivial para definir funcionalmente os córtices primário ou precoce de uma dada modalidade sensorial (com a possível exceção do córtex visual primário), como o processamento de peestímulos rceptual apresentado ao assunto em que modalidade tipicamente não será limitada a estas áreas. Por exemplo, seria difícil definir o córtex somatossensorial primário através da aplicação de toque para as mãos de um sujeito, como a atividade causada por esse procedimento seria, com toda a probabilidade, se espalhou para córtex somatossensorial associação também. Segundo, um localizador funcional não pode rotular todos os voxels que poderiam contribuir para o desempenho do classificador é: tem sido demonstrado que as áreas que não apresentam ativação net em resposta a estímulos sensoriais no sentido clássico (ou seja, regiões que não aparecem no uma imagem de contraste [estimulação resto vs]) pode conter informações sobre os estímulos, no entanto ^13,14. Por estas duas razões, defendemos o uso de regiões anatomicamente definidas de interesse sempre marcos macroscópica permitir que este, por exemplo, a anatomia do giro pós-central representa uma aproximação razoável do córtex somatossensorial primário, E usamos isso para definir a região de interesse em nosso estudo somatossensorial ⁸ (Figura 1).

6. Assuntos

As amostras de sujeitos em estudos AFMV tendem a ser menores do que em estudos de fMRI convencionais, como a análise pode ser realizada ao nível de um único assunto. Claro, isso não impede que o pesquisador de seguida, analisar os resultados dos sujeitos individuais no nível do grupo também. Nos dois estudos mencionados anteriormente, por exemplo, realizamos testes t sobre os resultados sujeito individual, a fim de avaliar a sua importância ao nível do grupo. Cada estudo envolveu oito indivíduos, embora isto deve ser considerado uma amostra de sujeitos muito pequeno para testes paramétricos, nós encontramos muitas das discriminações avaliamos a ser significativo (veja abaixo).

7. Resultados representativos:

Como mencionado, em dois estudos anteriores, teve como objetivo prever som implicando videoclipescom base na atividade neural no córtex auditiva precoce ⁷ (ver Figura 2 para a máscara utilizada neste estudo) e toque implicando clipes de vídeo com base na atividade no córtex somatossensorial primário ^8. Esta tentativa foi bem-sucedida: em ambos os estudos, um classificador AFMV realizada acima do nível chance de 50% para todos os possíveis dois sentidos discriminações entre pares de estímulo (n = 36 no estudo auditivo, dado que havia nove diferentes estímulos; n = 10 para o estudo somatossensorial, dado que havia cinco estímulos diferentes). No estudo auditivo, 26 dos 36 discriminações alcançado significância estatística; no estudo somatossensorial, este foi o caso de oito dos 10 discriminações (two-tailed t-tests, n = 8 em ambos os estudos, Figura 3).

Figura 1. Extensão da máscara anatomicamente definidos do córtex somatossensorial primário, como usado em Meyer et al., 2011. Um classificadoralgoritmo foi capaz de prever o que implica touch-clips de vídeo a partir de padrões de atividade cerebral restrita à região demarcada. Reproduzido com permissão da Oxford University Press.

Extensão figura 2. Da máscara anatomicamente definidos do córtex auditiva precoce, como usado no Meyer et al., 2010. Um algoritmo classificador foi capaz de prever (silêncio)-som implicando clipes de vídeo a partir de padrões de atividade cerebral restrita à região demarcada. Reproduzido com permissão da Nature Publishing Group.

Figura 3. Resumo dos resultados dos nossos estudos anteriores cross-modal AFMV. Um classificador foi usado para prever estímulos visuais que implicava o som ou toque de atividade no auditiva precoce ou primária córtex somatossensorial, respectivamente. Painéis superior: nos dois garanhãos, o desempenho foi acima da previsão de nível de chance de 0,5 para todo o caminho de duas discriminações entre pares de estímulos. Painéis de fundo: no estudo auditivo, o desempenho do classificador atingiu significância estatística para 26 dos 36 discriminações; no estudo somatossensorial, este foi o caso de oito dos 10 discriminações. Reproduzido com permissão da Nature Publishing Group e da Universidade de Oxford Press.

Discussion

Os resultados de nossos estudos anteriores demonstram que cross-modal AFMV é uma ferramenta útil para estudar os correlatos neurais de imagens mentais com experiência na "orelha da mente" eo "toque da mente". Especificamente, os resultados mostram que o conteúdo de tais imagens é correlacionada com a atividade neural no córtex auditiva precoce e somatossensorial, respectivamente, fornecendo suporte empírico direto para o quadro Damasio de convergência divergência-zonas.

O paradigma básico que descrevemos pode ser estendido em uma série de maneiras. Mais obviamente, estudos semelhantes podem ser realizadas usando diferentes combinações de modalidades sensoriais. A este respeito, é possível que a criação de certos cross-modal associações antes do experimento pode aumentar as chances de sucesso. Por exemplo, para estudo cross-modal representações no córtex olfativo, pode-se objeto principal, expondo-os simultaneamente para a visão eo cheiro de um número de itens alimentares. Shortly depois, dentro do scanner fMRI, as memórias olfativas dos cheiros seria desencadeada por estímulos visuais e AFMV poderia ser usado em uma tentativa de atribuir os ensaios para os itens alimentares corretos baseada unicamente em atividade no córtex olfativo.

Outra questão de interesse é saber se os padrões de cross-modal induzida de atividade nos córtices sensoriais iniciais têm semelhanças com os padrões que são induzidos quando o som ou toque é realmente experientes, em outras palavras, faz ver o vaso de vidro estilhaçar invocar um padrão similar de atividade neural no córtex auditiva precoce como realmente ouvir o mesmo evento? Esta questão, mais uma vez, podem ser abordadas através AFMV: é um classificador que foi treinado nos dados registados, enquanto indivíduos ouvi certos sons capaz de discriminar corretamente os dados gravados enquanto os sujeitos observavam vídeos correspondente? Em nosso estudo auditivo, que tentou tal classificação, mas os resultados foram marginal (ver fig. 3 em ref. 7). Nesse estudo, no entanto, as associações auditivas dos participantes não eram controladas de forma alguma, em outras palavras, não sabemos como similar a imagens auditivas cada tema associado a vídeos foram para as faixas de áudio utilizados para treinar o classificador. Mais uma vez, pode ser interessante para abordar a mesma questão após específicos cross-modal associações têm sido preparado nos temas, como descrito acima para uma associação visuo-olfativo. Isso permitiria a controlar de forma mais confiável a experiência mental dos sujeitos durante os ensaios de vídeo e, portanto, pode aumentar o desempenho de previsão do classificador.

Para concluir, nós introduzimos uma extensão do paradigma AFMV clássica, mostrando que os estímulos podem ser previstos, não só dentro, mas também entre modalidades sensoriais. Assim, mostramos que o uso de AFMV não se limita a investigar os correlatos das representações perceptuais induzidas diretamente pela estimulação sensorial externa. Em vez disso, AFMV também podeavaliar o substrato neural de imagens mentais que são acionados internamente: de acordo com o quadro Damasio zona de convergência divergência, nossas descobertas sugerem que a experiência consciente de imagens mentais que são reconstruídos com base em memórias está correlacionada com conteúdo específico representações neurais no sensoriais início córtices.