Cross-modal Pattern Analysis multivariée

Summary

Classique d'analyse multivariée modèle prédit des stimuli sensoriels un sujet perçoit de l'activité neuronale dans le cortex correspondant (par exemple des stimuli visuels de l'activité dans le cortex visuel). Ici, nous appliquons l'analyse de modèles cross-modal et de montrer que le son et le toucher-impliquant des stimuli visuels peuvent être prédits à partir de l'activité dans auditives et cortex somato-sensoriels, respectivement.

Abstract

L'analyse de modèles multivariés (MVPA) est une méthode d'analyse de plus en plus populaire imagerie fonctionnelle par résonance magnétique fonctionnelle (IRMf) des données ^1-4. Généralement, la méthode est utilisée pour identifier l'expérience perceptive du sujet de l'activité neuronale dans certaines régions du cerveau. Par exemple, il a été utilisé pour prédire l'orientation des grilles visuelle d'un sujet perçoit de l'activité au début de cortex visuels ⁵ ou, de manière analogue, le contenu du discours de l'activité dans les cortex auditifs au début ^6.

Ici, nous présentons une extension du paradigme classique MVPA, selon laquelle les stimuli perceptifs ne sont pas prévus à l'intérieur, mais à travers les systèmes sensoriels. Plus précisément, la méthode que nous décrivons aborde la question de savoir si les stimuli qui évoquent la mémoire des associations dans d'autres modalités que celui par lequel ils sont présentés induisent les modèles d'activité contenu spécifique dans les cortex sensoriels de ceux d'autres modalités.Par exemple, en voyant un clip vidéo en sourdine d'un vase en verre fracassant sur le terrain se déclenche automatiquement dans la plupart des observateurs une image auditive du son associé; est l'expérience de cette image dans "l'oreille esprit" de la corrélation avec un modèle de l'activité neuronale spécifique au début de cortex auditifs? Par ailleurs, c'est ce modèle d'activité distinct du motif qui a pu être observé si le sujet était, au contraire, de regarder un clip vidéo d'un chien qui hurle?

Dans deux études antérieures ^7,8, nous avons été en mesure de prédire son et au toucher impliquant des clips vidéo basé sur l'activité neuronale dans auditive précoce et cortex somatosensoriel, respectivement. Nos résultats sont en ligne avec un cadre neuroarchitectural proposé par Damasio ^9,10, selon laquelle l'expérience d'images mentales qui sont basées sur les souvenirs - tels que entendre le bruit fracassant d'un vase dans "l'oreille esprit" du voyant la vidéo correspondante clip - est soutenue par la re-construction du contenuSpécifiques à l'activité neuronale dans les modèles début cortex sensoriels.

Protocol

1. Présentation

L'analyse de modèles multivariés (MVPA) est une méthode d'analyse de plus en plus populaire imagerie fonctionnelle par résonance magnétique fonctionnelle (IRMf) des données ^1-4. Généralement, la méthode est utilisée pour identifier l'expérience perceptive du sujet de l'activité neuronale dans certaines régions du cerveau. Par exemple, il a été utilisé pour prédire l'orientation des grilles visuelle d'un sujet perçoit de l'activité au début de cortex visuels ⁵ ou, de manière analogue, le contenu du discours de l'activité dans les cortex auditifs au début ^6. Dans cet article, vidéo, nous décrivons une nouvelle application de MVPA qui ajoute une touche supplémentaire à cette base, le commerce intra-modale de paradigme. Dans cette approche, les stimuli perceptifs sont pas dans prédit, mais à travers les systèmes sensoriels.

2. Pattern Analysis multivariée

Bien que la méthode MVPA maintenant bien établie dans le domaine neuro-imagerie, nous allons commencer par pointing sur les principales différences entre la MVPA et conventionnelle, l'analyse univariée IRMf. À cette fin, considérons l'exemple suivant de la façon dont les deux méthodes vont vouloir étudier l'activité neuronale dans le cortex visuel lors d'une tâche visuelle simple ( une séquence vidéo ):

1. Un sujet est présenté avec deux différents stimuli visuels, par exemple, une image d'une orange et une image d'une pomme.
2. Les deux stimuli induisent un modèle spécifique de l'activité neuronale dans le cortex visuel primaire, symbolisé ici par le niveau d'activation de six voxels hypothétique. (Bien sûr, les modèles d'activité induite par une présentation unique de l'orange ou de pomme dans la réalité des images serait très bruyant; considérer les schémas illustrés sous forme de moyennes résultant d'un grand nombre d'essais.)
3. Dans l'analyse de l'IRMf classique, il existe essentiellement deux manières dont ces schémas peuvent être analysés. D'abord, on peut se concentrer sur le leve en moyennel de l'activité dans toute la région d'intérêt.
4. Dans l'exemple donné, la différence de niveau moyen d'activité n'est pas significative, alors que les modèles correspondant aux deux stimuli ne peut pas être distinguée de ce point de vue.
5. Une autre façon d'analyser les deux modèles est d'établir un contraste soustraction entre eux: pour chaque voxel, le niveau d'activation lors de la "pomme" condition est soustraite du niveau d'activation lors de la "orange" condition. La différence qui en résulte peut ensuite être visualisées pour chaque voxel sur une image au contraste ensemble du cerveau.
6. Encore une fois, cependant, ces différences peuvent être petites et peuvent atteindre le critère statistique nécessaire seulement pour très peu de voxels.
7. C'est là l'avantage décisif de MVPA entre en jeu: son pouvoir supérieur découle du fait que, contrairement aux méthodes d'analyse univariée, il considère que les niveaux d'activation de tous les voxels simultanément et est ainsi capable de détecter des tendances en leur sein. Bien que, comme mentioned, seulement quelques-unes des différences d'activation peut être significatif lorsqu'elles sont prises isolément, les deux modèles, considérés dans leur intégralité, peut en effet par statistiquement différents.

Il ya une seconde différence majeure entre l'analyse conventionnelle et l'IRMf MVPA ( Clip vidéo 2 ). La première méthode tente généralement de démontrer une dépendance statistique entre certains stimuli sensoriels et certains modèles de l'activité du cerveau d'une manière "avant"; en d'autres termes, il pose des questions du type: «Est-ce que deux différents stimuli visuels, par exemple, l'image d'un visage et l'image d'une maison, conduire à différents niveaux d'activité dans une région d'intérêt spécifiques, par exemple, la zone du visage fusiformes? " En revanche, le succès de MVPA est généralement exprimée en termes de «inférence inverse" ou "décoder", la question typique est du type: "Basé sur le modèle de l'activité neuronale dans un reg spécifiques ions d'intérêt (par exemple le cortex visuel primaire), peut-on prédire si un sujet perçoit stimulus A, par exemple, une orange, ou stimulus B, par exemple une pomme? "Notez, cependant, que la direction dans laquelle la corrélation entre les stimuli perceptifs et l'activité cérébrale est mappé n'est pas grave d'un point de vue statistique: il est équivalent de dire que deux stimuli conduisent à des modèles d'activité distincts dans une région donnée du cerveau et de dire que le modèle d'activité dans cette région du cerveau permet de prédire le stimulus induisant ¹¹ . En d'autres termes, la sensibilité de la MVPA est supérieure à celle des analyses univariées, car elle considère simultanément plusieurs voxels, et non pas parce qu'elle procède en sens inverse.

Les étapes suivantes illustrent comment un paradigme classique MVPA aborderait la question de savoir s'il voit une pomme induit un modèle différent de l'activité neuronale dans le cortex visuel primaire que de voir une orange (_upload/3307/3307_Meyer-Kaplan_Video_3.mov "Clip Vidéo> 3):

1. des données IRMf sont acquises alors un sujet voit grand nombre de stimuli pomme et d'orange.
2. Les données acquises sont divisées en une série de données de formation et un ensemble de données de test. Contrairement à l'exemple présent, l'ensemble des données de formation est souvent choisie pour être plus grande que les tests du jeu de données, car les performances du classificateur peut s'attendre à augmenter avec le nombre d'essais de formation.
3. Les données de l'ensemble de la formation sont inscrits dans un classificateur de motifs. En utilisant un des nombreux possibles d'algorithmes mathématiques, le classificateur tente de détecter les caractéristiques dans les modèles neuronaux qui permettent de distinguer les deux types de stimulation de l'autre. Un type de classificateur couramment utilisés (également dans nos propres études antérieures) sont dits machines à vecteurs de support; pour plus de détails, le lecteur est renvoyé à l'avis mentionné dans l'introduction.
4. Après le classificateur a été formé sur les essais de formation, il est PROVIDed avec les données de test. Les essais individuels de données de test du jeu sont sans étiquette; en d'autres termes, le classificateur ne pas «savoir» si un motif de provient d'une "pomme" ou une "orange" procès.
5. Sur la base des consistances il était capable de détecter dans la formation l'ensemble de données, le classificateur attribue le label le plus susceptible de chacune des épreuves tests.
6. Pour chaque modèle, le classificateur "deviner" peut être comparé avec l'étiquette de relance correcte.
7. Si le classificateur a été incapable de détecter d'éventuelles différences entre les modèles compatibles induite par les deux stimuli, sa performance doit être au niveau de chance, car la discrimination dans les deux sens donné dans l'exemple, cela correspondrait à 50% des étiquettes correctes. Une performance de prédiction nettement au-dessus de cette valeur indique qu'il ya effectivement des différences constantes entre les deux types de stimuli.

Notez qu'il est crucial que les données d'entraînement et les tests jeux sont indépendants les uns des anothER. Seulement si c'est le cas des conclusions peuvent être tirées quant à la généralisation des modèles issus de l'ensemble de la formation. Des études MVPA souvent évaluer le rendement classificateur à l'aide d'un paradigme de validation croisée ( 4 Clip vidéo ). Supposons qu'une expérience MVPA se compose de huit fonctionne fonctionnel. Dans la première étape de validation croisée, un classificateur est formé sur les données de passe de 1 à 7 et testé sur les données de la course de 8. Dans la deuxième étape, le classificateur est alors formé sur les pistes 1 à 6 ainsi que d'exécuter 8, et ensuite testé sur long 7. Suivant ce schéma, huit validation croisée étapes sont réalisées, avec chaque série servant de test exactement une fois. Globalement les performances classificateur est calculé comme la moyenne des performances sur l'individu étapes de validation croisée. Bien que cette procédure garantit une formation indépendante et données d'essais sur les jeux de chaque étape, il maximise également le nombre globaldes essais de tests, qui peuvent être d'avantage lors de l'évaluation de la signification statistique des performances du classificateur.

Il existe des logiciels disponibles gratuitement sur ​​l'internet pour effectuer MVPA, deux exemples sont PyMVPA ¹² (basé sur Python; http://www.pymvpa.org ) et la boîte à outils offerts par l'Institut Princeton Neuroscience (basé sur Matlab; http:/ / code.google.com / p / Princeton-MVPA-toolbox / ).

3. Cross-modal MVPA et le cadre de la convergence-divergence zones

Comme mentionné dans l'introduction, les paradigmes expérimentaux comme celui que nous avons été utilisée avec succès pour prédire la perception des stimuli de l'activité neuronale dans correspondante cortex sensoriels, en d'autres termes, les stimuli visuels basés sur l'activité dans le cortex stimuli visuels et auditifs basé sur l'activité dans les cortex auditifs . Ici, nousprésentons une extension de ce concept de base. Plus précisément, nous avons supposé qu'il devrait être possible de prédire la perception des stimuli non seulement au sein, mais toutes les modalités. La perception sensorielle est étroitement liée au rappel de souvenirs, par exemple, un stimulus visuel qui a une implication auditive forts, tels que la vue d'un vase en verre brisé sur le sol, va déclencher automatiquement dans notre «oreille de l'esprit de" images qui similitudes avec les images auditives que nous avons connu sur les précédentes rencontres avec des bris de verre. Selon un cadre mis en place par Damasio plus de deux décennies il ya ^9,10, l'association de la mémoire entre la vue de la vase et les images sonores correspondantes sont stockées dans ce qu'on appelle les zones de convergence-divergence (CDZs; 5 Clip vidéo ). CDZs sont des ensembles de neurones dans le cortex d'association qui reçoivent convergence ascendante des projections de divers tôt une corticaleREAS (via plusieurs niveaux hiérarchiques), et qui, à leur tour, renvoient divergentes de haut en bas des projections sur les mêmes sites corticaux. En raison de la convergence ascendante des projections, CDZs peut être activée par les représentations perceptives des modalités multiples - par exemple, à la fois par la vue et le bruit d'un vase brisée; en raison de la divergence de haut en bas des projections, ils peuvent alors favoriser la reconstruction de des images associées par signalisation en retour à l'corticales début de modalités supplémentaires. Damasio a souligné ce dernier point: l'activation des cortex d'association dans les CDZs ne serait pas suffisant pour le rappel conscient d'une image de la mémoire; une seule fois CDZs serait de reconstruire explicites représentations neurales au début de cortex sensoriels serait l'image soit consciemment expérimenté. Ainsi, le cadre prévoit une séquence spécifique de traitement neural en réponse à un stimulus (purement) visuel qui implique son ( Clip Vidéo6):

1. Le stimulus provoque d'abord un modèle spécifique de l'activité neuronale (rectangles rouges) dans le cortex visuel au début.
2. Via convergentes bottom-up des projections, les neurones au début de cortex visuels projet de l'avant à un premier niveau de CDZs (CDZ ₁ s). Le modèle de convergence de la connectivité permet le CDZ ₁ s pour détecter certaines tendances de l'activité dans le cortex visuel au début. Selon le modèle exact, un CDZ peut ou peut ne pas s'activer. CDZs ainsi agir comme extracteurs fonction. Dans cet exemple, deux CDZ ₁ s sont activées (comme indiqué par la couleur rouge), tandis que la troisième n'est pas déclenchée par le modèle d'activité spécifique dans le secteur correspondant du cortex visuel au début.
3. CDZ ₁ s envoie convergentes bottom-up des projections pour CDZ ₂ s, donc, tout comme CDZ ₁ s détecté certaines tendances de l'activité dans le cortex visuel au début, CDZ ₂ s sont capables de détecter des modèles d'activité parmi _une CDZ 2 s peut devenir activé par la configuration spécifique de activées CDZ ₁ s, pour des raisons de simplicité, un seul CDZ ₂ est représenté ici. Dans l'exemple, le modèle d'activité parmi les CDZ ₁ s est suffisant pour activer cette CDZ _2.
4. Notamment, CDZ ₁ s ne sont pas seulement des projets impatience CDZ ₂ s, mais aussi vers le cortex précoce (flèches bleues). Ces signaux top-down peut compléter le modèle d'activité (éventuellement bruyantes) initialement induite par le stimulus (rectangle bleu). Généralement, la couleur rouge indique bottom-up activations, tandis que la couleur bleue représente top-down activations.
5. Via plusieurs niveaux supplémentaires de CDZs, le projet du ₂ CDZ s heureux de CDZ _n s dans le cortex d'association d'ordre supérieur (en pointillés flèche). Un ou plusieurs CDZ _n s peuvent répondre au stimulus visuel spécifique en question (seulement un seul est représenté).
6. Encore une fois, il convient de noter que la CDZ ₂ s als o le signal vers l'arrière pour _une CDZ s qui, à son tour, peut en outre modifier le motif à l'origine induit dans le cortex visuel au début.
7. Le signal s _n CDZ revenir à la CDZ ₂ s de toutes les modalités. Dans le cortex visuel, ce qui peut conduire à la réalisation de schémas d'activité dans le niveau inférieur CDZs. Dans le cortex auditif, un modèle neuronal sera construite - d'abord au niveau de CDZ ₂ s et ₁ s CDZ, finalement dans le cortex auditif précoce - qui permet à l'expérience consciente de l'image auditive associée au stimulus présenté visuellement. Notez qu'il ya aussi de haut en bas de signalisation à la modalité somesthésiques, bien que dans une moindre mesure que pour la modalité auditive. Cela reflète le fait que presque tout stimulus visuel a une certaine association tactile pour elle. Comme le stimulus visuel dans l'exemple actuel est supposé spécifiquement impliquent saine, cependant, de haut en bas de signalisation pour les cortex auditif est plus vaste.

ove_content "> Basé sur la séquence proposée du traitement neural, le cadre fait une prédiction précise:. stimuli visuels contenant des objets et des événements qui impliquent fortement le son doit évoquer l'activité neuronale dans les cortex auditifs début ailleurs, les schémas d'activité auditive devrait être stimulus spécifique; en d'autres termes, un clip vidéo d'un vase brisant devrait induire un modèle différent de celui d'un clip d'un chien qui hurle Si cette prédiction était correcte, alors nous devrions en effet être en mesure d'effectuer MVPA cross-modal:. Par exemple, nous devrions être capables à prévoir, basé exclusivement sur ​​l'empreinte l'activité neuronale dans les cortex auditifs précoces, si une personne voit un vase éclatement ou d'un chien qui hurle ( 7 Clip vidéo ). Naturellement, les paradigmes analogues en invoquant le transfert d'information parmi d'autres modalités sensorielles doivent également être couronnée de succès. Pour Par exemple, si les clips vidéo montré à un toucher sujet implicite, plutôt quesons, nous devrions être capables de prédire ces clips à partir des modèles d'activité qu'elles suscitent dans le cortex somatosensoriel tôt.

4. Stimuli

Le paradigme général d'une étude MVPA a été décrit dans la section 2. Notre approche est différente des études précédentes en ce qu'elle tente d'effectuer MVPA à travers les systèmes sensoriels et donc utilise des stimuli qui sont spécifiquement conçus pour avoir des implications dans une modalité sensorielle autre que celui dans lequel elles sont présentées. Dans une étude précédente, par exemple, nous avons enregistré l'activité neuronale du cortex somatosensoriel primaire alors que les sujets regardaient des clips vidéo de 5 secondes d'objets du quotidien d'être manipulé par des mains humaines ⁸ ( 8 Clip vidéo et Clip vidéo 9 ). Dans une autre étude, nous avons étudié l'activité neuronale au début de la WHI cortex auditifssujets considérés le clips vidéo que les objets représentés et les événements qui sonores fortement impliqué ^sept ( 10 Clip vidéo et Clip vidéo 11 ). Toutefois, selon le cadre de CDZ, les stimuli sensoriels de toutes les modalités peuvent être potentiellement utilisés dans ce paradigme général, tant qu'ils ont des implications dans les modalités supplémentaires.

5. Régions d'intérêt

Généralement, les régions d'intérêt pour une étude de neuroimagerie peuvent être déterminés soit fonctionnellement ou anatomiquement. Nous croyons que dans le paradigme expérimental que nous décrivons ici, localisateurs anatomiques sont plus adaptées pour deux raisons. Premièrement, il n'est pas trivial de définir fonctionnellement les cortex primaire ou au début d'une modalité sensorielle donnée (avec l'exception possible de le cortex visuel primaire), comme traitement de pestimuli rceptual présenté le sujet dans cette modalité généralement ne sera pas limitée à ces domaines. Par exemple, il serait difficile de définir le cortex somatosensoriel primaire en appliquant toucher aux mains d'un sujet, comme l'activité induite par cette procédure serait, selon toute vraisemblance, la propagation d'somesthésiques corticales association ainsi. Deuxièmement, un localisateur fonctionnelle ne peut pas étiqueter tous les voxels qui pourrait potentiellement contribuer à la performance du classificateur: il a été démontré que les zones qui ne présentent pas d'activation net en réponse à des stimuli sensoriels dans le sens classique du terme (c'est à dire, les régions qui ne figurent pas sur une image au contraste [stimulation vs repos]) peuvent contenir des informations sur les stimuli néanmoins ^13,14. Pour ces deux raisons, nous préconisons l'utilisation de régions anatomiquement défini d'intérêt chaque fois repères macroscopiques permettre ce, par exemple, l'anatomie de l'gyrus post représente une approximation raisonnable du cortex somatosensoriel primaire, Et nous avons utilisé cela pour définir la région d'intérêt dans notre étude somatosensoriel ⁸ (Figure 1).

6. Sujets

Les échantillons soumis à des études MVPA ont tendance à être plus petites que dans les études IRMf classique, comme l'analyse peut être effectuée au niveau du sujet unique. Bien sûr, cela n'empêche pas l'expérimentateur de suite l'analyse des résultats des sujets individuels au niveau du groupe ainsi. Dans les deux études mentionnées plus haut, par exemple, nous avons mené les tests t sur les résultats sujet individuel afin d'évaluer leur importance au niveau du groupe. Chaque étude a porté sur huit sujets, bien que cela doit être considéré comme un échantillon objet très petit pour les tests paramétriques, nous avons trouvé beaucoup de discriminations, nous avons évalué d'être importants (voir ci-dessous).

7. Les résultats représentatifs:

Comme mentionné, dans deux études précédentes, nous avons visant à prédire sonores impliquant des clips vidéobasée sur l'activité neuronale dans les cortex auditifs début ⁷ (voir la figure 2 pour le masque utilisé dans cette étude) et tactile impliquant des clips vidéo basé sur l'activité dans les cortex somato-sensoriels primaires ^8. Cette tentative a réussi: dans les deux études, un classificateur MVPA effectués au-dessus du niveau de risque de 50% pour tous les possibles discriminations dans les deux sens entre les paires de stimulus (n = 36 dans l'étude auditif, donnée il ya eu 9 différents stimuli; n = 10 pour l'étude somatosensoriel, étant donné, il y avait 5 différents stimuli). Dans l'étude auditive, 26 des 36 discriminations atteint une signification statistique; dans l'étude somatosensoriel, ce fut le cas pour 8 des 10 discriminations (deux tests t bilatéraux, n = 8 dans les deux études; figure 3).

Figure 1. Étendue du masque anatomiquement défini de cortex somatosensoriel primaire, tel qu'utilisé dans Meyer et al., 2011. Un classificateuralgorithme a été capable de prédire tactile impliquant des clips vidéo d'activité cérébrale limitée à la région délimitée. Reproduit avec la permission de Oxford University Press.

Figure 2. Étendue du masque anatomiquement défini des cortex auditifs précoces, comme utilisé dans Meyer et al., 2010. Un algorithme de classificateur était capable de prédire (silencieux) sonores impliquant des clips vidéo d'activité cérébrale limitée à la région délimitée. Reproduit avec la permission de Nature Publishing Group.

Figure 3. Résumé des résultats de nos études précédentes MVPA cross-modale. Un classificateur a été utilisé pour prédire les stimuli visuels qui impliquait soit ouïe ou du toucher de l'activité dans le auditive précoce ou primaire cortex somatosensoriel, respectivement. Top panneaux: dans les deux harass, les performances de prédiction a été au-dessus du niveau de risque de 0,5 pour tous les deux sens des discriminations entre des paires de stimuli. Panneaux de fond: dans l'étude auditive, la performance classificateur atteint une signification statistique pour 26 des 36 discriminations; dans l'étude somatosensoriel, ce fut le cas pour 8 des 10 discriminations. Reproduit avec la permission de Nature Publishing Group et Oxford University Press.

Discussion

Les résultats de nos études précédentes montrent que la Croix-modale MVPA est un outil utile pour étudier les corrélats neuraux de mental images expérimenté dans «l'esprit de l'oreille» et «l'esprit du toucher". Plus précisément, les résultats montrent que la teneur de telles images est en corrélation avec l'activité neuronale dans le cortex auditif et somatosensoriel début, respectivement, en fournissant un soutien direct pour les cadres empiriques Damasio de convergence-divergence zones.

Le paradigme de base que nous décrivons peut être prolongé dans un certain nombre de façons. De toute évidence, des études similaires peuvent être réalisées en utilisant différentes combinaisons de modalités sensorielles. À cet égard, il est possible que l'établissement de certains inter-modale des associations avant l'expérience peut augmenter les chances de succès. Par exemple, pour étudier la Croix-modal dans le cortex olfactif représentations, on pourrait sujets Premier en les exposant à la fois à la vue et l'odeur d'un certain nombre de produits alimentaires. Shortly après, à l'intérieur du scanner IRMf, les souvenirs olfactifs de l'odeur serait déclenchée par des signaux visuels et MVPA pourrait être utilisé dans une tentative d'attribuer les essais pour les produits alimentaires correcte basée uniquement sur l'activité dans les cortex olfactif.

Une autre question d'intérêt est de savoir si les modèles de cross-modale induite de l'activité dans le cortex sensoriel au début des similitudes avec les modèles qui sont induits lors ouïe ou du toucher est réellement vécu en d'autres termes, ne voyant le vase en verre brisent invoquer un modèle similaire de l'activité neuronale dans les cortex auditifs dès réellement entendu le même événement? Cette question, encore une fois, peuvent être abordées par MVPA: est un classificateur qui a été formé sur les données enregistrées alors que les sujets entendre certains sons capable de discriminer correctement les données enregistrées pendant que les sujets regardaient des clips vidéo correspondants? Dans notre étude auditif, nous ne tentez une telle classification, mais les résultats ont été marginaux (voir Fig. 3 dans la réf. 7). Dans cette étude, cependant, les associations auditives des participants n'ont pas été contrôlés en aucune manière; en d'autres termes, nous ne savons pas comment l'auditoire des images similaires chaque sujet ont été associées à des vidéos sur les pistes audio sont utilisés pour former le classificateur. Encore une fois, il pourrait être intéressant d'aborder la même question après croisée spécifique modale des associations ont été amorcées dans les sujets, tel que décrit ci-dessus pour une association visuo-olfactive. Cela permettrait de contrôler de façon plus fiable de l'expérience mentale des sujets pendant les essais vidéo et pourraient donc augmenter les performances de prédiction du classificateur.

Pour conclure, nous avons introduit une extension du paradigme classique MVPA en montrant que les stimuli peuvent être prédits, non seulement au sein, mais aussi à travers les modalités sensorielles. Ainsi, nous montrons que l'utilisation de la MVPA ne se limite pas à enquêter sur les corrélats de représentations perceptives induites directement par la stimulation sensorielle externe. Plutôt, MVPA peut égalementévaluer le substrat neuronal des images mentales qui sont déclenchées en interne: en conformité avec le cadre de Damasio zone de convergence-divergence, nos résultats suggèrent que l'expérience consciente d'images mentales qui sont reconstituées à partir des souvenirs est corrélée avec un contenu spécifique des représentations neurales dans le sensorielles début corticales.