Cross-modal Pattern Analysis multivariée

L’objectif de l’expérience suivante est d’utiliser l’analyse multivariée des données d’IRM fonctionnelle pour étudier le traitement multimodal dans le cerveau humain. Ceci est réalisé en créant d’abord un type spécifique de stimuli sensoriels, qui sont présentés aux sujets à travers une seule modalité sensorielle. Par exemple, le visuel, mais implique de fortes associations dans une modalité différente.

Par exemple, l’auditif pendant que les sujets perçoivent de tels stimuli activité neuronale dans les parties du cerveau relatives à la modalité de l’association. Dans cet exemple, les cortex auditifs sont enregistrés à l’aide de l’IRMF. L’activité enregistrée est analysée à l’aide d’une analyse de modèles multivariés dans le but de prédire lequel de plusieurs stimuli le sujet a perçu dans la modalité originale.

Les résultats montrent que les stimuli unimodaux contenant des informations pertinentes pour plus d’une modalité peuvent induire une activité neuronale spécifique au contenu dans les cortex sensoriels précoces de modalités autres que celle à travers laquelle ils sont présentés. La technique que nous présentons aujourd’hui, que nous appelons analyse multimodale multivariée, représente une extension naturelle de l’analyse multivariée conventionnelle, à la différence que les STEMI sensoriels sont classés entre les modalités sensorielles plutôt qu’à l’intérieur de celles-ci. Nous avons eu l’idée de cette méthode pour la première fois en essayant de produire des preuves empiriques d’un cadre neuro-architectural introduit par Demio il y a plus de deux décennies.

Dans cette vidéo, nous allons vous présenter non seulement les aspects techniques de l’analyse de modèles multivariés ou MVPA en abrégé, mais aussi ce cadre théorique. Nous soulignerons d’abord certaines différences clés entre l’APMV et l’analyse FMRI univariée conventionnelle. Considérez ce qui suit.

Par exemple, si un sujet est présenté avec deux stimuli visuels différents comme une pomme et une orange, alors les deux stimuli moyennés sur un certain nombre d’essais induisent un modèle spécifique d’activité neuronale. Dans le cortex visuel primaire, symbolisé ici par les niveaux d’activation de six voxels hypothétiques. Dans l’analyse FMRI conventionnelle, il existe essentiellement deux méthodes pour analyser ces modèles.

La première consiste à comparer le niveau moyen d’activité induit par les stimuli dans l’ensemble de la région d’intérêt. La différence entre les moyennes, cependant, peut ne pas être significative. La deuxième méthode consiste à établir un contraste de soustraction pour chaque voxel.

Le niveau d’activation pendant la condition pomme est soustrait du niveau d’activation pendant la condition orange, et la différence résultante pour chaque voxel peut être visualisée sur une image de contraste cérébrale entière. Encore une fois, cependant, ces différences peuvent être faibles et ne peuvent atteindre le critère statistique requis que pour quelques voxels. Cependant, contrairement aux méthodes d’analyse univariées, l’APMV est capable de détecter des modèles dans les voxels en tenant compte des niveaux d’activation de tous les voxels simultanément.

Bien que seules quelques-unes des différences d’activation puissent être significatives isolément, les deux modèles, lorsqu’ils sont considérés dans leur ensemble, peuvent en effet être statistiquement différents. Une autre différence majeure entre l’analyse FMRI conventionnelle et l’APMV est que cette dernière méthode utilise ce qu’on appelle l’inférence inverse. Dans l’analyse FMRI conventionnelle, le chercheur pose généralement une question du type de deux stimuli visuels différents.

Par exemple, l’image d’un visage et l’image d’une maison conduisent à différents niveaux d’activité dans une région d’intérêt spécifique, telle que la zone fusiforme du visage. En revanche, l’APMV est généralement exprimée en termes d’inférence inverse ou de décodage, et demande, en fonction du modèle d’activité neuronale dans une région cérébrale spécifique, si nous serons en mesure de prédire lequel des deux stimuli visuels un sujet a perçu. Il est important de noter, cependant, que d’un point de vue statistique, il est équivalent de dire que deux stimuli conduisent à des modèles d’activité distincts dans une région cérébrale donnée et de dire que le modèle d’activité dans cette région du cerveau permet de prédire le stimulus induit.

En d’autres termes, la sensibilité de l’APMV est supérieure à celle des analyses univariées parce qu’elle considère plusieurs voxels simultanément et non parce qu’elle procède dans un sens inverse. Pour revenir à l’exemple précédent, considérons un paradigme typique de l’APMV qui évalue si le fait de voir une pomme induit un modèle d’activité neuronale différent dans le cortex visuel primaire que de voir une orange. Dans un premier temps, les données de l’IRMF sont enregistrées pendant qu’un sujet voit un grand nombre de stimuli discriminés.

Les données acquises sont ensuite divisées en un ensemble de données d’entraînement et un ensemble de données de test. Les données de l’ensemble d’apprentissage sont saisies dans un classificateur de motifs, qui tente de détecter les caractéristiques des modèles neuronaux qui distinguent les deux types d’essais l’un de l’autre. Ensuite, le classificateur est présenté avec des données non étiquetées de l’ensemble de test et, en fonction des modèles qu’il a détectés dans l’ensemble de données d’entraînement, attribue l’étiquette la plus probable à chacun des essais de test pour chaque stimulus.

L’estimation du classificateur est ensuite comparée à l’étiquette de stimulus correcte et les performances du classificateur sont calculées en pourcentage d’estimations correctes. Comme nous l’avons vu, le classificateur de l’exemple réduit les étiquettes de stimulus correctes dans neuf cas sur 12, soit 75 % comme performance aléatoire. Dans un tel sens la discrimination serait de 50 %, ce qui suggère qu’il existe effectivement des différences cohérentes entre les motifs neuronaux induits en V un par les stimuli orange et pomme.

Bien sûr, la signification de ce résultat devrait être prouvée statistiquement. Une question importante à garder à l’esprit dans une telle expérience de classification est que les ensembles de données d’entraînement et de test sont complètement indépendants l’un de l’autre, car ce n’est que si c’est le cas que l’on peut tirer des conclusions quant à la généralisabilité des modèles qui ont été appris au cours de la session d’entraînement. Pour cette raison, les paradigmes MVPA utilisent souvent ce que l’on appelle un paradigme de validation croisée.

Bien que cette procédure serve à maximiser le nombre d’essais d’entraînement et de test qui peuvent être obtenus à partir d’un ensemble de données donné, elle garantit également en même temps que les ensembles d’entraînement et de test ne se chevauchent pas au cours des étapes de classification individuelles. Prenons l’exemple de l’expérience suivante avec huit exécutions fonctionnelles. Dans une première étape de validation croisée, le classificateur est formé sur les données des exécutions un à sept et testé sur les données de l’exécution huit.

Dans la deuxième étape, le classificateur est ensuite entraîné sur les exécutions un à six, ainsi que sur la huitième exécution, puis testé sur la septième exécution. Selon ce schéma, huit étapes de validation croisée sont effectuées, chaque exécution servant exactement de série de test. Une fois que les performances du classificateur sont obtenues pour chaque étape de validation croisée et que la moyenne de ces résultats permet d’obtenir des performances globales.

Il existe des progiciels disponibles gratuitement sur Internet pour effectuer des MVPA tels que pi MVPA et la boîte à outils offerte par le Princeton Neuroscience Institute. Des paradigmes expérimentaux tels que celui que nous venons de décrire, ont été utilisés avec succès pour prédire les stimuli perceptifs de l’activité neuronale dans les parties correspondantes du cortex cérébral, par exemple, pour prédire les stimuli visuels en fonction de l’activité des cortex visuels ou des stimuli auditifs. Sur la base de l’activité dans les cortex auditifs, nous aimerions maintenant introduire une extension de cette idée de base dans laquelle les stimuli perceptifs sont prédits non seulement à l’intérieur mais à travers les modalités.

Notre idée s’appuie sur le fait que la perception est intimement liée au rappel des souvenirs. Par exemple, un stimulus visuel qui a une forte implication auditive comme l’emplacement d’une base en verre qui se brise sur le sol. Il va automatiquement déclencher dans l’oreille de notre esprit une image auditive qui partage des similitudes avec les images auditives que nous avons expérimentées lors de précédentes rencontres avec du bris de verre.

Selon un cadre introduit par Theo à la fin des années 1980, l’association de mémoire entre le site de la base de rupture et le son correspondant est stockée dans ce que l’on appelle des zones de divergence de convergence ou CD pour convergence courte. Les zones de divergence sont conceptualisées comme des ensembles de neurones situés aux différents niveaux hiérarchiques des systèmes sensoriels. Comme leur nom l’indique.

Les CD à chaque niveau reçoivent des projections ascendantes convergentes à partir de cortex et de tours d’ordre inférieur. Ils ont renvoyé des projections descendantes divergentes à ces mêmes cortex d’ordre inférieur en raison des projections ascendantes convergentes. Les CD peuvent être activés par des représentations perceptuelles de multiples modalités, par exemple, à la fois par le site et le son d’une base qui se brise en raison des projections descendantes divergentes.

Ils peuvent ensuite favoriser la reconstruction des images associées en signalant aux cortex sensoriels précoces des modalités supplémentaires. Considérez la séquence d’activation comme purement visuelle, mais sonore impliquant un stimulus induira selon ce cadre. Le stimulus induit d’abord un modèle spécifique d’activité neuronale dans les cortex visuels précoces via des projections ascendantes convergentes.

Les cortex visuels précoces activent le premier niveau des CD, ceux des CDZ. Selon le modèle exact d’activité dans le secteur cortical précoce correspondant, une CDZ peut s’activer ou rester inactive. Les CDZ se projettent vers le haut jusqu’aux cdz deux, tout comme les CDZ détectés.

Dans les cortex visuels précoces, les cdz deux détectent les modèles d’activité parmi les cdz, plusieurs cdz deux peuvent être activés, mais pour simplifier, un seul est représenté ici via des projections descendantes. Les Cdz peuvent en même temps compléter le modèle d’activité dans les cortex visuels précoces via plusieurs niveaux supplémentaires de c DZs CDZ deux. Deux projets en avant vers la CDZ se terminent par une association multimodale. Cortices.

Encore une fois, plusieurs extrémités CDZ peuvent être activées, mais une seule est représentée pour des raisons de simplicité. Encore une fois, les CD Z deux signalent également à l’envers les CDZ, ce qui peut à son tour modifier davantage le motif induit à l’origine dans les cortex visuels précoces. La CDZ termine le signal de retour aux deux CZ de toutes les modalités.

Dans les cortex auditifs, un modèle neuronal sera construit, qui permet au sujet de ressentir dans l’oreille de l’esprit, une image auditive associée au stimulus présenté visuellement. La signalisation descendante représentée à la modalité somatosensorielle reflète le fait que presque tout stimulus visuel implique également des associations tactiles. Ainsi, le cadre prédit qu’un son impliquant un stimulus visuel conduirait à un modèle d’activité neuronale spécifique au contenu.

Dans les cortex auditifs précoces. En analysant ce schéma neuronal à l’aide de l’APMV, il devrait donc être possible de prédire lequel de plusieurs sons impliquant des stimuli visuels un sujet a vu. Dans la première expérience, l’activité neuronale a été enregistrée à partir des cortex auditifs précoces pendant que les sujets regardaient neuf clips vidéo différents d’objets et d’événements impliquant le son.

La région d’intérêt de cette expérience était une zone restreinte sur le plan sémal, qui comprenait le cortex auditif primaire et les cortex d’association auditive très précoces. Dans une deuxième expérience, l’activité neuronale a été enregistrée à partir du cortex somatosensoriel primaire pendant que les sujets regardaient cinq clips vidéo différents impliquant le toucher. Dans cette expérience, la région d’intérêt comprenait le cortex somatosensoriel primaire situé dans le gyrus postcentral.

Les deux études ont porté sur huit sujets de l’étude auditive. Un classificateur d’APMV a réalisé des résultats supérieurs au seuil de chance de 50 % pour toutes les discriminations bidirectionnelles possibles entre les paires de stimuli. Dans 26 des 36 discriminations, les performances du classificateur étaient significativement différentes du niveau de chance de 0,5.

De même, dans l’étude somatosensorielle, le classificateur a obtenu des résultats supérieurs au hasard dans toutes les discriminations à double sens, et huit des 10 discriminations ont atteint une signification statistique. Comme vous pouvez le voir, en utilisant l’analyse multimodale des motifs, nous avons pu démontrer que la perception de stimuli visuels qui impliquent le son ou le toucher conduit à des représentations neuronales spécifiques au contenu dans les cortex auditifs et somatosensoriels précoces, conformément au cadre théorique présenté précédemment. Il est clair que le paradigme expérimental que nous avons présenté ne doit pas rester limité aux modalités impliquées dans nos propres expériences, mais peut également être étendu à d’autres modalités sensorielles.

Nous espérons donc que d’autres groupes se joindront à nous pour étendre ce type de recherche dans le but d’élargir nos connaissances sur la façon d’intégrer dans les processus des stimuli multimodaux de l’environnement.