Cross-modal de Análise de Padrões multivariada

O objetivo do experimento a seguir é usar a análise de padrão multivariado de dados de ressonância magnética funcional para investigar o processamento multimodal no cérebro humano. Isso é conseguido criando primeiro um tipo específico de estímulos sensoriais, que são apresentados aos sujeitos por meio de uma única modalidade sensorial. Por exemplo, o visual, mas implica fortes associações em uma modalidade diferente.

Por exemplo, o auditivo enquanto os sujeitos percebem tais estímulos atividade neural nas partes do cérebro pertencentes à modalidade da associação. Os córtices auditivos neste exemplo são registrados usando FMRI. A atividade registrada é analisada por meio de análise de padrões multivariados com o objetivo de prever qual dos vários estímulos o sujeito percebeu na modalidade original.

Os resultados mostram que estímulos unimodais contendo informações pertinentes a mais de uma modalidade podem induzir atividade neural específica de conteúdo nos córtices sensoriais iniciais de modalidades diferentes daquela por meio da qual são apresentados. A técnica que apresentamos hoje, à qual nos referimos como análise de padrões multivariados multimodais, representa uma extensão natural da análise de padrões multivariados convencional, com a diferença de que os IAMCSST sensoriais são classificados entre e não dentro das modalidades sensoriais. Tivemos a ideia desse método pela primeira vez ao tentar produzir evidências empíricas para uma estrutura neuroarquitetônica introduzida por Demio há mais de duas décadas.

Neste vídeo, apresentaremos não apenas os aspectos técnicos da análise de padrões multivariados ou MVPA, mas também essa estrutura teórica. Primeiro, apontaremos algumas diferenças importantes entre a AFMV e a análise FMRI univariada convencional. Considere o seguinte.

Por exemplo, se um sujeito é apresentado a dois estímulos visuais diferentes, como uma maçã e uma laranja, ambos os estímulos calculados em média em várias tentativas induzem um padrão específico de atividade neural. No córtex visual primário simbolizado aqui pelos níveis de ativação de seis voxels hipotéticos. Na análise FMRI convencional, existem essencialmente dois métodos para analisar esses padrões.

A primeira é comparar o nível médio de atividade que os estímulos induziram em toda a região de interesse. A diferença entre as médias, no entanto, pode não ser significativa. O segundo método é estabelecer um contraste de subtração para cada voxel.

O nível de ativação durante a condição de maçã é subtraído do nível de ativação durante a condição laranja, e a diferença resultante para cada voxel pode ser visualizada em uma imagem de contraste de todo o cérebro. Novamente, no entanto, essas diferenças podem ser pequenas e podem atingir o critério estatístico exigido apenas para alguns voxels. No entanto, ao contrário dos métodos de análise univariada, o MVPA é capaz de detectar padrões dentro dos voxels considerando os níveis de ativação de todos os voxels simultaneamente.

Embora apenas algumas das diferenças de ativação possam ser significativas isoladamente, os dois padrões, quando considerados em sua totalidade, podem de fato ser estatisticamente diferentes. Outra grande diferença entre a análise FMRI convencional e a AFMV é que o último método usa o que é chamado de inferência reversa. Na análise FMRI convencional, o pesquisador normalmente faz uma pergunta do tipo dois estímulos visuais diferentes.

Por exemplo, a imagem de um rosto e a imagem de uma casa levam a diferentes níveis de atividade em uma região específica de interesse, como a área do rosto fusiforme. Por outro lado, o MVPA é normalmente expresso em termos de inferência ou decodificação reversa e pergunta, com base no padrão de atividade neural em uma região específica do cérebro, se seremos capazes de prever qual dos dois estímulos visuais um sujeito percebeu. É importante notar, no entanto, que, do ponto de vista estatístico, equivale a dizer que dois estímulos levam a padrões de atividade distintos em uma determinada região do cérebro e dizer que o padrão de atividade nessa região do cérebro permite a previsão do estímulo indutor.

Em outras palavras, a sensibilidade da AFMV é superior à das análises univariadas porque considera vários voxels simultaneamente e não porque prossegue em sentido inverso. Para retornar ao exemplo anterior, vamos considerar um paradigma típico de MVPA que avalia se ver uma maçã induz um padrão diferente de atividade neural no córtex visual primário do que ver uma laranja. Em uma primeira etapa, os dados do FMRI são registrados enquanto um sujeito vê um grande número de estímulos a serem discriminados.

Os dados adquiridos são então divididos em um conjunto de dados de treinamento e um conjunto de dados de teste. Os dados do conjunto de treinamento são inseridos em um classificador de padrões, que tenta detectar recursos nos padrões neurais que distinguem os dois tipos de tentativas um do outro. Em seguida, o classificador é apresentado com dados não rotulados do conjunto de testes e, com base nos padrões detectados no conjunto de dados de treinamento, atribui o rótulo mais provável a cada uma das tentativas de teste para cada estímulo.

A suposição do classificador é então comparada com o rótulo de estímulo correto e o desempenho do classificador é calculado como a porcentagem de suposições corretas. Como vimos, o classificador no exemplo reduz os rótulos de estímulo corretos em nove de 12 casos, ou 75% como desempenho de chance. Em tal discriminação bidirecional seria de 50%Isso sugere que existem de fato diferenças consistentes entre os padrões neurais induzidos em V um pelos estímulos laranja e maçã.

Claro, o significado desse resultado teria que ser comprovado estatisticamente. Uma questão importante a ter em mente em tal experimento de classificação é que os conjuntos de dados de treinamento e teste sejam completamente independentes um do outro, porque somente se for esse o caso, é possível tirar conclusões quanto à generalização dos padrões que foram aprendidos durante a sessão de treinamento. Por esse motivo, os paradigmas MVPA geralmente usam o chamado paradigma de validação cruzada.

Embora esse procedimento sirva para maximizar o número de tentativas de treinamento e teste que podem ser obtidas de um determinado conjunto de dados, ele também garante ao mesmo tempo que os conjuntos de treinamento e teste não se sobreponham durante as etapas de classificação individuais. Considere o seguinte experimento MVPA com oito execuções funcionais. Em uma primeira etapa de validação cruzada, o classificador é treinado nos dados das execuções de um a sete e testado nos dados da execução oito.

Na segunda etapa, o classificador é então treinado nas corridas de um a seis, bem como na corrida oito, e posteriormente testado na corrida sete. Seguindo esse esquema, oito etapas de validação cruzada são executadas com cada execução servindo exatamente como a execução de teste. Uma vez que o desempenho do classificador é obtido para cada etapa de validação cruzada e a média desses resultados produz o desempenho geral.

Existem pacotes de software disponíveis gratuitamente na internet para realizar MVPA, como pi MVPA e a caixa de ferramentas oferecida pelo Princeton Neuroscience Institute. Paradigmas experimentais, como o que acabamos de descrever, têm sido usados com sucesso para prever estímulos perceptivos da atividade neural nas partes correspondentes do córtex cerebral, por exemplo, para prever estímulos visuais com base na atividade em córtices visuais ou estímulos auditivos. Com base na atividade nos córtices auditivos, gostaríamos agora de introduzir uma extensão dessa ideia básica na qual os estímulos perceptivos são previstos não apenas dentro, mas através das modalidades.

Nossa ideia se baseia no fato de que a percepção está intrinsecamente ligada à lembrança de memórias. Por exemplo, um estímulo visual que tem uma forte implicação auditiva, como o local de uma base de vidro quebrando no chão. Ele vai acionar automaticamente no ouvido de nossa mente uma imagem auditiva que compartilha semelhanças com as imagens auditivas que experimentamos em encontros anteriores com vidros quebrados.

De acordo com uma estrutura introduzida por Theo no final dos anos 1980, a associação de memória entre o local da base quebrada e o som correspondente é armazenada nas chamadas zonas de divergência de convergência ou CDs para convergência curta. As zonas de divergência são conceituadas como conjuntos de neurônios localizados nos vários níveis hierárquicos dos sistemas sensoriais. Como o próprio nome indica.

Os CDs em cada nível recebem projeções convergentes de baixo para cima de córtices de ordem inferior e giram. Eles enviaram de volta projeções divergentes de cima para baixo para esses mesmos córtices de ordem inferior devido às projeções convergentes de baixo para cima. Os CDs podem ser ativados por representações perceptivas em múltiplas modalidades, por exemplo, tanto pelo local quanto pelo som de uma base quebrando devido às projeções divergentes de cima para baixo.

Eles podem então promover a reconstrução de imagens associadas, sinalizando de volta aos córtices sensoriais iniciais de modalidades adicionais. Considere a sequência de ativação um estímulo puramente visual, mas que implica som induzirá de acordo com essa estrutura. O estímulo primeiro induz um padrão específico de atividade neural nos córtices visuais iniciais por meio de projeções convergentes de baixo para cima.

Os primeiros córtices visuais ativam o primeiro nível de CDs, os CDZ. Dependendo do padrão exato de atividade no setor cortical inicial correspondente, A CDZ pode ser ativada ou permanecer inativa. Os CDZ projetam-se para cima para os dois cdz, assim como os cdz detectados.

Padrões de atividade nos primeiros córtices visuais, cdz dois detectam padrões de atividade entre os cdz, vários cdz dois podem ser ativados, mas para simplificar apenas um é representado aqui por meio de projeções de cima para baixo. Os Cdz podem, ao mesmo tempo, completar o padrão de atividade nos córtices visuais iniciais por meio de vários níveis adicionais de c DZs CDZ dois. Dois projetos encaminhados para a CDZ terminam em associação multimodal. Córtices.

Novamente, várias extremidades da CDZ podem ser ativadas, mas apenas uma é representada por razões de simplicidade. Novamente, os dois CD Z também sinalizam para trás para os CDZ, que por sua vez podem modificar ainda mais o padrão originalmente induzido nos primeiros córtices visuais. O CDZ termina o sinal de volta para os dois CZ de todas as modalidades.

Nos córtices auditivos, será construído um padrão neural, que permite ao sujeito experimentar no ouvido da mente, uma imagem auditiva associada ao estímulo visualmente apresentado. A sinalização de cima para baixo representada para a modalidade somatossensorial reflete o fato de que quase qualquer estímulo visual também implica algumas associações táteis. Assim, a estrutura prevê que um estímulo visual sonoro implicante levaria a um padrão específico de conteúdo de atividade neural.

Nos primeiros córtices auditivos. Analisando esse padrão neural usando MVPA, deve, portanto, ser possível prever qual dos vários sons que implicam estímulos visuais que um sujeito viu. No primeiro experimento, a atividade neural foi registrada a partir dos primeiros córtices auditivos, enquanto os sujeitos assistiam a nove videoclipes diferentes de objetos e eventos que implicavam som.

A região de interesse neste experimento foi uma área restrita no plano Semal, que compreendeu o córtex auditivo primário e os córtices de associação auditiva muito precoce. Em um segundo experimento, a atividade neural foi registrada a partir do córtex somatossensorial primário enquanto os sujeitos assistiam a cinco videoclipes diferentes que implicavam o toque. Neste experimento, a região de interesse compreendeu o córtex somatossensorial primário localizado no giro pós-central.

Ambos os estudos envolveram oito sujeitos no estudo auditivo. Um classificador de AFMV teve desempenho acima do nível de chance de 50% para todas as possíveis discriminações bidirecionais entre pares de estímulos. Em 26 das 36 discriminações, o desempenho do classificador foi significativamente diferente do nível de chance de 0,5.

Da mesma forma, no estudo somatossensorial, o classificador teve desempenho acima do acaso em todas as discriminações de duas vias, e oito das 10 discriminações alcançaram significância estatística. Como você pode ver, usando a análise de padrões multivariados multimodais, conseguimos demonstrar que a percepção de estímulos visuais que implicam som ou toque leva a representações neurais específicas de conteúdo em córtices auditivos e somatossensoriais iniciais, de acordo com a estrutura teórica apresentada anteriormente. Claramente, o paradigma experimental que apresentamos não precisa permanecer restrito às modalidades envolvidas em nossos próprios experimentos, mas também pode ser estendido a outras modalidades sensoriais.

Esperamos, portanto, que outros grupos se juntem a nós para estender esse tipo de pesquisa na tentativa de ampliar nosso conhecimento sobre como trazer estímulos multimodais de processos do ambiente.