1. participant recrutement
2. l’analyse préalable des procédures
3. fournir des instructions pour le participant.
4. mettre le participant dans le scanner.
5. collecte des données
6. analyse de données

Figure 1 : région de traçage intérêt. La surface du planum temporale a été tracée sur une image haute définition anatomique de ce participant et est présentée ici en bleu. En vert est le masque du pôle frontal. Ces voxels sera utilisés pour l’analyse MVPA.
Source : Laboratoires de Jonas T. Kaplan et Sarah I. Gimbel — University of Southern California
Imaginez le son d’une cloche. Ce qui se passe dans le…
1. participant recrutement
2. l’analyse préalable des procédures
3. fournir des instructions pour le participant.
4. mettre le participant dans le scanner.
5. collecte des données
6. analyse de données

Figure 1 : région de traçage intérêt. La surface du planum temporale a été tracée sur une image haute définition anatomique de ce participant et est présentée ici en bleu. En vert est le masque du pôle frontal. Ces voxels sera utilisés pour l’analyse MVPA.
L’imagerie auditive est un processus qui donne lieu à l’expérience d’entendre des sons, même en l’absence de stimuli auditifs externes.
Par exemple, pensez à entendre le son d’un téléphone portable qui sonne. Alors que les informations contenues dans la mémoire sous-tendent cet événement imaginaire, les preuves suggèrent que le cerveau d’un individu utilise les mêmes mécanismes d’imagination que ceux qui sont impliqués dans la perception réelle.
Juste en imaginant la sonnerie, des régions du cortex auditif s’activent. Cependant, même si cela est vrai pour tous les stimuli acoustiques, la façon dont les sons sont codés pour permettre le traitement détaillé de sons distincts – comme faire la distinction entre un carillon de sonnette et une chanson diffusée à la radio – est une question importante.
Basée sur des travaux antérieurs de Meyer et de ses collègues, cette vidéo montre comment combiner l’imagerie par résonance magnétique fonctionnelle (IRMf) avec des présentations de différentes vidéos silencieuses pour étudier comment le cerveau réagit à l’imagerie auditive.
Nous décrirons également comment utiliser une méthode appelée analyse de motifs multi-voxels ? MVPA en abrégé ?pour prédire ce que les sujets ont imaginé en analysant les schémas d’activation obtenus lors des séances d’IRMf.
Dans cette expérience, les participants sont allongés dans un scanner IRMf et on leur montre une série de vidéos silencieuses. Chacun d’entre eux, qu’il s’agisse du chant d’un coq, d’une tronçonneuse coupant un arbre ou d’une personne jouant du piano, évoque des images auditives distinctives et vives, et on leur demande d’imaginer les sons lors de chaque présentation.
La procédure d’acquisition d’imagerie repose sur un échantillonnage temporel clairsemé, dans lequel un seul volume d’IRMf est acquis 4 à 5 s après la présentation de chaque stimulus. Un tel moment capture le pic de la réponse hémodynamique et réduit la probabilité que les signaux soient masqués par le bruit du scanner.
Chaque son imaginé est censé induire des modèles subtils mais distinctifs d’activité neuronale, en particulier dans le cortex auditif. Ici, le modèle est le mot clé : la manière classique d’analyser ces données utilise une approche univariée, où les voxels individuels – représentant un certain niveau d’activation – sont regroupés en une seule moyenne.
Ces valeurs sont ensuite comparées entre les sons et peuvent ne pas produire de différences significatives dans les niveaux d’activation.
Au lieu de cela, à l’aide d’une analyse multivariée, plusieurs voxels sont disposés pour chaque son et les niveaux d’activation peuvent être comparés collectivement, sur tous les voxels, contribuant ainsi à un modèle global unique pour chaque son imaginé.
Avec cette approche d’analyse de motifs multi-voxels, ou MVPA, si les modèles sont effectivement sensibles à un contenu spécifique, il est possible qu’ils puissent être utilisés pour prédire le stimulus d’origine. C’est vrai ? L’APMV est souvent considérée comme une technique de lecture des pensées !
Pour réaliser cet aspect de prédiction, un traitement plus intensif doit être effectué après avoir collecté les participants ? données, qui sont divisées en ensembles d’entraînement et de test.
Les données étiquetées de l’ensemble d’apprentissage sont d’abord soumises à des calculs d’apprentissage automatique, en particulier à un algorithme de machine à vecteurs de support. Ce processus est utilisé pour classer avec précision les données en reconnaissant les caractéristiques des modèles neuronaux qui peuvent distinguer les trois types de sons les uns des autres.
Une fois que le classificateur a appris des caractéristiques pour identifier avec précision les types, on lui présente des données non étiquetées de l’ensemble de test, et ses suppositions sont ensuite comparées aux étiquettes de stimuli correctes.
Dans ce cas, la performance de classification sert de variable dépendante – enregistrée comme la précision du classificateur – qui est également comparée aux voxels évoqués à un endroit différent du cerveau, comme le pôle frontal.
Le classificateur devrait prédire l’identification de l’imagerie auditive, révélant ainsi l’importance de l’APMV dans la détection de l’activité spécifique au contenu dans le cortex auditif.
Pour des raisons expérimentales et de sécurité, vérifiez que tous les participants sont droitiers, qu’ils ont une vision normale ou corrigée, qu’ils n’ont pas d’antécédents de troubles neurologiques ou de claustrophobie et qu’ils ne possèdent aucun métal dans leur corps. Assurez-vous également qu’ils remplissent les formulaires de consentement nécessaires.
Avant de continuer, expliquez-leur qu’ils verront plusieurs courtes vidéos muettes dans le scanner qui peuvent évoquer un son dans leur esprit. Demandez-leur de se concentrer sur les sons imaginés, de les « entendre » du mieux qu’ils peuvent et de rester immobiles pendant toute la durée de la tâche.
Maintenant, préparez le participant à entrer dans le scanner. Pour voir ces étapes en détail, veuillez vous référer à une autre vidéo d’IRMf produite dans cette collection.
Après la préparation, alignez le participant et envoyez-le à l’intérieur de l’alésage. Dans la pièce adjacente, collectez d’abord un scan anatomique à haute résolution. Ensuite, synchronisez le début de la présentation vidéo silencieuse avec le début du balayage fonctionnel.
Pour obtenir un échantillonnage temporel clairsemé, réglez le temps d’acquisition d’un volume IRM sur 2 s, avec un délai de 9 s entre les deux.
Il est important de coordonner le début de chaque clip vidéo de 5 secondes pour qu’il commence 4 secondes après le début de l’acquisition IRM précédente afin de capturer l’activité hémodynamique qui correspond au milieu du film.
Présentez chaque vidéo 10 fois, dans un ordre aléatoire, générant une session de numérisation qui dure 5,5 min. Répétez cette séquence d’acquisition fonctionnelle trois fois de plus.
Une fois que les quatre balayages fonctionnels ont été effectués, sortez le participant du scanner et faites-lui un compte rendu pour conclure l’étude.
Pour définir les régions d’intérêt, utilisez les scans anatomiques à haute résolution de chaque participant et tracez des voxels à la surface du lobe temporal qui correspondent au cortex auditif précoce, également connu sous le nom de planum temporale. De plus, créez un masque contenant des voxels dans le lobe frontal, qui seront utilisés comme région de contrôle.
Ensuite, prétraitez les données en effectuant une correction de mouvement pour réduire les artefacts de mouvement et un filtrage temporel pour supprimer les dérives du signal.
Ensuite, divisez les données en deux ensembles : formation et test. Dans un ensemble de données, entraînez un classificateur – un algorithme de machine à vecteurs de support – en veillant à garder les données des deux régions du cerveau séparées pour chaque sujet.
Dans l’autre ensemble, évaluez ce que le classificateur a appris (sa capacité à deviner correctement l’identité des données non étiquetées) et enregistrez la précision de l’algorithme au fil des exécutions. Effectuez cette procédure quatre fois au total, en omettant un balayage fonctionnel comme données de test à chaque fois, un processus appelé validation croisée.
Pour visualiser les données, représentez graphiquement les précisions moyennes du classificateur sur les quatre plis de validation croisée pour chaque participant.
Tracez ces moyennes à la fois pour la région d’intérêt primaire – le planum temporal – et la zone de contrôle – le pôle frontal – pour comparer la spécificité focale du classificateur, la mesure dans laquelle une zone particulière, telle que le cortex auditif, est prédite de manière sélective comme étant impliquée dans l’imagination auditive.
Dans ce cas, exécutez une statistique non paramétrique, le test Wilcoxon Signed-Rank, pour tester les performances par rapport au hasard, qui est de 33 %. Notez que la précision moyenne du classificateur dans le cortex auditif était de 59 %, ce qui est significativement différent du niveau de chance.
En revanche, la performance moyenne dans le masque de pôle frontal était de 33 %, ce qui n’est pas significativement différent du hasard.
De plus, notez que les performances du classificateur varient d’un individu à l’autre. Après avoir utilisé un test de permutation pour calculer un nouveau seuil statistique de 42 %, voyez que 19 des 20 sujets avaient des valeurs de précision significativement supérieures à ce niveau en utilisant les voxels du planum temporale, tandis qu’aucun n’avait une performance supérieure au hasard en utilisant les voxels du pôle frontal.
Dans l’ensemble, ces résultats impliquent que les techniques d’APMV ont prédit avec précision lequel des trois sons les participants imaginaient en fonction des modèles d’activité neuronale. De telles prédictions n’ont été faites que dans le cortex auditif, ce qui suggère que le contenu acoustique n’est pas représenté globalement dans tout le cerveau.
Maintenant que vous savez comment appliquer l’analyse des motifs multi-voxels à l’étude de l’imagerie auditive, voyons comment les neuropsychologues utilisent des techniques multivariées pour faire avancer une approche futuriste de la lecture de l’esprit – le décodage des états mentaux – dans d’autres domaines.
Des classificateurs ont été utilisés sur des données d’IRMf obtenues à partir du cortex temporal ventral pour prédire les types d’objets que les participants ont vus, en distinguant les maisons et les visages, par exemple.
En allant plus loin, il est même possible de prédire si l’individu achèterait cette maison ou trouverait la personne agréable. Aussi effrayant que cela puisse paraître, ces implications en neuromarketing ne sont pas farfelues !
La même approche pourrait également être utilisée pour détecter soit les états émotionnels après avoir regardé une émission – reconnaître qu’un film d’horreur est effectivement terrifiant – soit même le genre cinématographique ; Par exemple, le film effrayant pourrait engager l’amygdale de manière plus prévisible qu’un film contemplatif qui impliquerait de manière fiable le cortex préfrontal.
De plus, les interfaces cerveau-ordinateur pourraient convertir les états mentaux en signaux qui amélioreraient la communication, dans le cas des personnes subissant une orthophonie, ou les mouvements, pour ceux qui ont subi l’amputation d’un membre.
Vous venez de regarder la vidéo de JoVE sur la compréhension de l’imagerie auditive à l’aide de l’analyse de motifs multi-voxels. Vous devriez maintenant avoir une bonne compréhension de la façon de concevoir et de mener l’expérience d’imagerie auditive en conjonction avec la neuroimagerie fonctionnelle, et enfin comment analyser et interpréter des modèles spécifiques d’activité cérébrale.
Merci d’avoir regardé !
View the full transcript and gain access to JoVE Science Education videos
Q1: What is auditory imagery and how does it activate the brain?
Auditory imagery is the experience of hearing sounds without external auditory stimuli present. When you imagine a sound like a ringing phone, your brain activates the same regions involved in actual sound perception. Specifically, the auditory cortex becomes engaged during auditory imagery, demonstrating that imagination and perception share similar neural mechanisms.
Q2: Why is multivoxel pattern analysis better than traditional univariate fMRI analysis?
Univariate analysis collapses individual voxels into a single average, often failing to detect significant differences across sounds. Multivoxel pattern analysis examines activation patterns across multiple voxels collectively, revealing unique overall patterns for each imagined sound. This multivariate approach is sensitive to content-specific activity that univariate methods miss, enabling studying brain activation and motor maps using fMRI principles across sensory domains.
Q3: How does sparse temporal sampling improve fMRI data collection during auditory imagery tasks?
Sparse temporal sampling acquires a single fMRI volume 4-5 seconds after each stimulus, capturing the peak of the hemodynamic response. This timing reduces signal masking by scanner noise, which is critical for auditory imagery studies where external sounds must not interfere with imagined auditory content. The approach allows cleaner detection of neural activity patterns.
Q4: What role does the Support Vector Machine algorithm play in predicting imagined sounds?
The Support Vector Machine is a machine-learning classifier trained on labeled fMRI data to recognize neural features distinguishing different sounds. After learning these features from training data, it predicts unlabeled test data by identifying which sound pattern matches the neural activity. Classification accuracy reveals whether the auditory cortex encodes sound-specific information.
Q5: Why is the planum temporale used as the region of interest in auditory imagery studies?
The planum temporale, located on the temporal lobe surface, is the early auditory cortex where sound processing occurs. Researchers trace voxels in this region to measure neural patterns during auditory imagery. The frontal pole serves as a control region to demonstrate that classifier accuracy is specific to auditory cortex rather than global brain activity.
Q6: What does cross-validation accomplish in MVPA analysis of auditory imagery data?
Cross-validation tests classifier performance by leaving out one functional scan as testing data while training on the remaining scans, repeated four times. This procedure prevents overfitting and provides robust accuracy estimates across different data subsets. The averaged accuracies across folds reveal whether the classifier reliably predicts imagined sounds based on auditory cortex patterns.
Q7: How can MVPA techniques extend beyond auditory imagery to other neuroscience applications?
MVPA classifiers have decoded visual objects from ventral temporal cortex, predicted consumer preferences, and identified emotional states from brain activity patterns. Brain-computer interfaces could convert mental states into signals for speech therapy or prosthetic control. These applications demonstrate that multivariate pattern analysis reveals information content across sensory and cognitive domains.
Chapters in this video
0:00
Overview
1:30
Experimental Design
4:40
Running the Experiment
6:37
Data Analysis
7:54
Representative Results
9:50
Applications
11:14
Summary
Videos from this collection: