Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Science Education
Neuropsychology

A subscription to JoVE is required to view this content.

Décodage de l'imagerie auditive avec l'analyse de motifs multivoxels
 
Click here for the English version

Décodage de l'imagerie auditive avec l'analyse de motifs multivoxels

Overview

Source : Laboratoires de Jonas T. Kaplan et Sarah I. Gimbel — University of Southern California

Imaginez le son d’une cloche. Ce qui se passe dans le cerveau lorsque nous évoquent un son comme ça dans « l’oreille de l’entendement ? » Il y a plus de preuves que le cerveau utilise les mêmes mécanismes d’imagination qu’il utilise pour perception. 1 par exemple, en imaginant des images visuelles, le cortex visuel est activé, et en imaginant les sons, le cortex auditif est engagé. Toutefois, dans quelle mesure sont-ils ces activations du cortex sensoriels spécifiques au contenu de notre imagination ?

Une technique qui peut aider à répondre à cette question est l’analyse des habitudes de multivoxel (MPVA), dans quelles images cérébrale fonctionnelle sont analysées à l’aide de techniques d’apprentissage automatique. 2-3 experiment in an MPVA, nous formons un algorithme d’apprentissage automatique de distinguer parmi les différents modèles de l’activité induite par différents stimuli. Par exemple, on peut se demander si imaginer le son d’une cloche produit différents modèles de l’activité dans le cortex auditif comparée à imaginer le bruit d’une tronçonneuse, ou le son d’un violon. Si notre classificateur apprend à distinguer les patterns d’activité cérébrale produites par ces trois stimuli, alors nous pouvons conclure que le cortex auditif est activé de manière distincte de chaque stimulus. Une façon de penser à ce genre d’expérience est qu’au lieu de poser une question simplement sur l' activité d’une région du cerveau, nous poser une question sur le contenu de l’information de cette région.

Dans cette expérience, basée sur Meyer et al., 2010,4 nous seront cue participants pour imaginer plusieurs sons en leur remettant vidéos silencieux qui sont susceptibles d’évoquer des images auditives. Puisque nous nous intéressons à mesurer les motifs subtils évoquées par l’imagination dans le cortex auditif, il est préférable si les stimuli sont présentés dans un silence complet, sans ingérence des bruits fait par le scanner IRMf. Pour ce faire, nous utiliserons un type spécial de séquence de MRI fonctionnel appelé échantillonnage temporel clairsemée. Dans cette approche, un volume unique IRMf est acquise 4-5 s après chaque stimulus, programmée pour capturer la crête de la réponse hémodynamique.

Procedure

1. participant recrutement

  1. Recruter des 20 participants.
    1. Les participants devraient être droitier et ont pas d’antécédents de troubles neurologiques ou psychologiques.
    2. Les participants devront avoir une vision normale ou corrigée à la normale pour s’assurer qu’ils seront en mesure de voir les repères visuels correctement.
    3. Les participants n’ait pas de métal dans leur corps. Il s’agit d’une exigence de sécurité importante due au champ magnétique élevé impliqué en IRMf.
    4. Les participants ne devraient pas souffrent de claustrophobie, étant donné que l’IRMf exige se trouvant dans le petit espace du scanner alésage.

2. l’analyse préalable des procédures

  1. Remplir la paperasse pré-scan.
  2. Lorsque les participants viennent leur Scan IRMf, indiquez-lui de premier remplissage à une forme de grille métallique pour s’assurer qu’ils n’ont aucune contre-indications pour l’IRM, une forme accessoire-constatations donner leur consentement pour leur analyse être regardé par un radiologue et un formulaire de consentement précisant les risques et les avantages de l’étude.
  3. Préparer les participants à aller dans le scanner, en supprimant tous les métaux de leur corps, y compris les ceintures, portefeuilles, téléphones, pinces à cheveux, pièces de monnaie et tous les bijoux.

3. fournir des instructions pour le participant.

  1. Dites aux participants qu’ils verront une série de plusieurs courtes vidéos à l’intérieur du scanner. Ces vidéos seront silencieux, mais ils peuvent évoquer un son en « oreille de l’entendement. » Demander au participant de se concentrer sur et encourager cette imagerie auditive, pour essayer de « entendre » le bruit mieux qu’ils le peuvent.
  2. Insister sur l’importance de garder leur tête toujours tout au long de l’analyse au participant.

4. mettre le participant dans le scanner.

  1. Donner les bouchons d’oreille participant pour protéger leurs oreilles contre le bruit des téléphones scanner et oreille de porter afin de pouvoir entendre l’expérimentateur pendant le balayage et demandez-leur de s’allonger sur le lit avec leur tête dans la bobine.
  2. Donner au participant la balle d’urgence squeeze et indiquez-lui à le presser en cas d’urgence pendant l’analyse.
  3. Utilisation des coussinets en mousse pour garantir aux participants la tête dans la bobine pour éviter le mouvement excessif lors de l’analyse et rappeler le participant qu’il est très important de rester aussi immobile que possible lors de l’analyse, comme même le flou des mouvements plus petit les images.

5. collecte des données

  1. Recueillir l’analyse anatomique haute résolution.
  2. Commence l’analyse fonctionnelle.
    1. Coïncider le début de la présentation de la stimulation avec le début du scanner.
    2. Pour réaliser l’échantillonnage temporel clairsemée, définir le temps d’acquisition d’un volume de MRI à 2 s, avec un retard de 9-s entre les acquisitions de volume.
    3. Présenter les vidéos silencieux via un ordinateur portable connecté à un projecteur. Le participant a un miroir au-dessus de leurs yeux, reflétant qu'un écran à l’arrière du scanneur d’alésage.
    4. Coïncider le début de chaque clip vidéo 5-s pour commencer 4 s après le démarrage de l’acquisition de MRI précédente. Cela permettra d’assurer que le prochain volume de MRI est acquis 7 s après le début du clip vidéo, pour capturer l’activité hémodynamique qui correspond au milieu du film.
    5. Présenter trois différentes vidéos silencieux qui évoquent des images auditives vives : une cloche se balançant en arrière, une coupe de la tronçonneuse dans un arbre et une personne qui joue un violon.
    6. Dans chaque analyse fonctionnelle, présenter chaque vidéo 10 fois, dans un ordre aléatoire. Chaque essai dure 11 s, cela se traduira par un scan 330 s (5,5 min) long.
    7. Effectuer des analyses fonctionnelles 4.

6. analyse de données

  1. Définir une région d’intérêt (ROI).
    1. La numérisation haute résolution anatomique de chaque participant permet de retracer les voxels correspondant au cortex auditif précoce (Figure 1). Cela correspond à la surface du lobe temporal, appelé le planum temporale. Utilisez les caractéristiques anatomiques du cerveau de chaque personne pour créer un masque spécifique à leur cortex auditif.

Figure 1
Figure 1 : région de traçage intérêt. La surface du planum temporale a été tracée sur une image haute définition anatomique de ce participant et est présentée ici en bleu. En vert est le masque du pôle frontal. Ces voxels sera utilisés pour l’analyse MVPA.

  1. Pré-traiter les données.
    1. Effectuer la correction de mouvement pour réduire les artefacts de mouvement.
    2. Effectuer un filtrage temporel pour supprimer les dérives de signal.
  2. Former et tester l’algorithme classifieur.
    1. Diviser les données en formation et les ensembles de tests. Formation de données servira à former le classificateur, et les données de tests de sortie gauche servira à évaluer ce qu’il a appris. Afin de maximiser l’indépendance de la formation et l’évaluation des données, laisser de côté les données d’une seule analyse fonctionnelle comme le jeu de test.
    2. Former un algorithme de Machine de vecteur de soutien sur les données d’apprentissage étiquetées de cortex auditif dans chaque matière. Tester capacité du classificateur deviner correctement l’identité de l’ensemble des essai sans étiquette et enregistrer exactitude du classifieur.
    3. Répétez l’opération 4 fois, en laissant de côté chaque analyse que le test de données chaque fois. Ce type de procédure, dans laquelle chaque section des données est laissée de côté une fois, s’appelle la validation croisée.
    4. Combiner des exactitudes de classificateur à travers les 4 plis de la validation croisée en faisant la moyenne.
  3. Tests statistiques
    1. Pour déterminer si le classifieur exécute mieux que chance (33 %), nous pouvons comparer les résultats au niveau du groupe au hasard. Pour ce faire, rassembler les précisions pour chaque sujet et vérifier que la répartition est différente de la chance à l’aide d’un test non paramétrique de Wilcoxon Signed-grade.
    2. Nous pouvons également demander si le classifieur exécute mieux que la chance pour chaque individu. Pour déterminer la probabilité d’un niveau donné de précision dans les données de la chance, créer une distribution nulle en formation et en testant l’algorithme MVPA sur des données dont les étiquettes ont été mélangées au hasard. Permute les étiquettes 10 000 fois pour créer une distribution nulle des valeurs d’exactitude et ensuite comparer la valeur de précision réelle à cette distribution.
    3. Pour démontrer la spécificité de l’information dans le cortex auditif, nous pouvons former et tester le classifieur sur voxels d’un autre endroit dans le cerveau. Ici, nous allons utiliser un masque du pôle frontal, extraite d’un atlas probabiliste et déformé pour s’adapter à cerveau individuel de chaque sujet.

Les images auditives sont un processus qui donne lieu à l’expérience d’entendre un son, même quand il n’y a aucun stimuli auditifs externes présents.

Par exemple, pensez à entendre le son d’une sonnerie de téléphone cellulaire. Alors que l’information au sein de la mémoire est à la base cet événement imaginaire, suggèrent que le cerveau d’un individu utilise les mêmes mécanismes d’imagination que ceux qui sont impliqués dans la perception réelle.

Juste à imaginer la sonnerie, régions à l’intérieur du cortex auditif deviennent activées. Toutefois, même si cela est vrai dans l’ensemble des stimuli acoustiques, comment sons sont encodés afin de permettre le traitement détaillé des sons distincts — comme la distinction entre un carillon sonnette et une chanson en jouant sur la radio — est une question importante.

Basé sur les travaux antérieurs de Meyer et ses collègues, cette vidéo montre comment combiner l’imagerie par résonance magnétique fonctionnelle, IRMf — par la présentation des différentes vidéos silencieux pour étudier comment le cerveau réagit à l’imagerie auditive.

Nous décrirons également comment utiliser une méthode appelée analyse multi-voxel — MVPA en abrégé — pour prédire quels sujets ont imaginé par analyser les modèles d’activation obtenue pendant les sessions de l’IRMf.

Dans cette expérience, les participants se trouvent dans un scanner IRMf et figurent une série de vidéos silencieux. Chacun d’eux — c’est un chant de coq, une tronçonneuse coupe à travers un arbre, ou une personne qui joue un piano — évoque des images auditives distinctif et vives, et ils sont invités à imaginer les sons lors de chaque présentation unique.

La procédure d’acquisition d’imagerie s’appuie sur un échantillonnage temporel clairsemée, auquel cas un volume unique IRMf est acquis 4 à 5 s après chaque stimulus est présenté. Ce calendrier capte le pic de la réponse hémodynamique et réduit la probabilité que signaux seraient être masqués par le bruit du scanner.

Chacun a imaginé son devrait inciter les patrons subtils et distinctifs de l’activité neurale, plus précisément dans le cortex auditif. Ici, le modèle est le mot clé : la manière classique d’analyser ces données utilise une approche unidimensionnelle, où les voxels individuels — représentant quelque niveau d’activation — sont regroupées en une seule moyenne.

Ces valeurs sont ensuite comparées sur sons et ne peuvent produire aucune différence significative dans les niveaux d’activation.

Au lieu de cela, à l’aide d’une analyse multivariée, multiples voxels sont énoncées pour chaque son et niveaux d’activation peuvent être comparés collectivement, à travers tous les voxels — contribuant à un modèle global unique pour chacun imaginé sonoriser.

Avec cette analyse multi-voxel ou MVPA, approche, si les schémas sont en effet sensibles à un contenu spécifique, alors il est possible qu’ils pourraient servir à prédire le stimulus original. C’est vrai — MVPA parle souvent à une technique de lecture de l’esprit !

Pour obtenir cet aspect de la prédiction, traitement plus intensif doit être effectuée après la collecte des données des participants, qui sont divisées en formation et les tests de jeux.

Données étiquetées de l’ensemble de la formation sont d’abord soumises aux calculs de l’apprentissage automatique, plus précisément, un algorithme de Machine de vecteur de soutien. Ce processus est utilisé pour classer avec précision les données en reconnaissant les fonctionnalités dans les modèles neurones qui peuvent distinguer les trois types de sons de l’autre.

Après que le classificateur a appris les caractéristiques pour identifier avec précision les types, il est présenté avec les données du jeu de test sans étiquette, et ses suppositions sont ensuite comparées aux étiquettes des stimuli corrects.

Dans ce cas, la performance de classification sert comme variable dépendante — enregistré comme précision du classificateur — qui est aussi comparée à voxels évoqué dans un autre emplacement dans le cerveau, comme le mât de façade.

Le classificateur devrait prévoir l’identification des images auditives, révélant l’importance de l’ApMV dans la détection de l’activité spécifique contenu dans le cortex auditif.

Par expérimentale et problèmes de sécurité, vérifiez que tous les participants sont droitiers, ont une vision normale ou corrigée-à la normale, pas d’antécédents de troubles neurologiques ou de claustrophobie et ne possèdent pas de n’importe quel métal dans leur corps. En outre, s’assurer qu’ils remplissent les formulaires de consentement nécessaire.

Avant de procéder, expliquent qu’ils verront plusieurs courtes vidéos silencieux dans le scanner qui peut évoquer un son dans leur esprit. Demandez-leur de se concentrer sur les sons imaginaires, « entendre » mieux qu’ils le peuvent et de rester encore pendant la durée de la tâche.

Maintenant, préparer le participant d’entrer dans le scanner. Pour visualiser ces étapes en détail, veuillez vous référer à un autre IRMf vidéo produite dans cette collection.

Après préparation, aligner le participant et envoyez-les à l’intérieur de l’alésage. Dans la salle adjacente, d’abord rassembler un scan haute résolution anatomique. Puis, de synchroniser le début de la vidéo de présentation silencieuse avec le début de l’analyse fonctionnelle.

Pour réaliser l’échantillonnage temporel clairsemée, définir le temps d’acquisition d’un volume de MRI à 2 s, avec un retard de 9-s entre les deux.

Coordonner ce qui est important, le début de chaque clip vidéo 5-s pour commencer 4 s après l’acquisition de MRI précédente commence à capturer l’activité hémodynamique qui correspond au milieu du film.

Présenter chaque vidéo 10 fois, dans un ordre aléatoire, générant une session de scannage qui dure 5,5 min. répéter cette séquence d’acquisition fonctionnelle trois fois plus.

Après que les quatre balayages fonctionnels ont été réalisées, amener le participant sur le scanner et debrief afin de conclure l’étude.

Pour définir des régions d’intérêt, utilisez les scans haute résolution anatomiques de chaque participant et trace voxels sur la surface du lobe temporal qui correspondent au cortex auditif précoce, également connu sous le nom la temporale planum. En outre, créer un masque contenant des voxels dans le lobe frontal, qui sera utilisé comme la zone de contrôle.

Ensuite, les données de prétraitement en effectuant la correction de mouvement pour réduire les artefacts de mouvement et un filtrage temporel pour supprimer le signal des dérives.

Ensuite, diviser les données en deux ensembles : apprentissage et de test. Dans un ensemble de données, former un classifieur — un algorithme de machine de vecteur de soutien — en veillant à conserver les données provenant des régions de deux cerveau distincte pour chaque sujet.

Dans l’autre groupe, évaluer ce qu’a appris le classifieur — sa capacité à deviner correctement l’identité des données sans étiquette — et enregistrer la précision de l’algorithme sur pistes. Effectuer cette procédure au total quatre fois, en laissant de côté une seule analyse fonctionnelle comme données de vérification chaque fois — un processus appelé la validation croisée.

Pour visualiser les données, le graphique les précisions de classificateur en moyenne à travers les quatre plis de validation croisée pour chaque participant.

Tracer ces moyennes pour les deux la principale région d’intérêt — le planum temporale — et la zone de contrôle — le mât de façade — comparer focale spécificité du classificateur, le degré auquel un espace particulier, comme le cortex auditif, est sélectivement prédit d’être impliqués dans l’imagination auditive.

Dans ce cas, exécutez une statistique non paramétrique, le test de Wilcoxon Signed-grade, pour tester les performances contre le hasard, ce qui est de 33 %. Notez que la précision moyenne classifieur dans le cortex auditif était de 59 %, qui diffère considérablement du niveau de chance.

En revanche, la performance moyenne dans le masque de mât de façade était de 33 %, qui n’est pas significativement différente de la chance.

En outre, Notez que performance classifieur variait entre individus. Après avoir utilisé un test par permutations pour calculer un nouveau seuil statistique de 42 %, voir que 19 des 20 sujets ont des valeurs de précision nettement supérieures à ce niveau en utilisant des voxels du planum temporale, alors qu’aucun n’avait plus de chance en utilisant des voxels du pôle frontal performance.

Dans l’ensemble, ces résultats impliquent que techniques MVPA prédit exactement lequel des trois sons participants étaient imaginant basée sur la structure de l’activité neurale. Ces prévisions ont été faites uniquement dans le cortex auditif, ce qui suggère que contenu acoustique n’est pas représenté à l’échelle mondiale dans tout le cerveau.

Maintenant que vous êtes familier avec la façon d’appliquer l’analyse multi-voxel pour étudier des images auditives, regardons comment les neuropsychologues utilisent techniques multivariées pour avancer une approche futuriste à la lecture de l’esprit — le décodage des États mentaux — dans d’autres domaines.

Classificateurs ont été utilisés sur les données IRMf du cortex temporal ventral pour prévoir les types de participants objets lus, faire la distinction entre les maisons et les visages, par exemple.

Prenant ce une étape plus loin, il est même possible de prédire si la personne aurait acheter cette maison ou trouver la personne agréable. Aussi effrayant que cela puisse paraître, ces incidences sur le neuromarketing sont pas tiré par les cheveux !

La même approche pourrait également être utilisée pour détecter chaque états émotionnels après avoir vu un spectacle — reconnaissant qu’un film effrayant est en effet terrifiant — ou même le genre de film ; par exemple, le film effrayant pourrait engager l’amygdale plus prévisible un contemplatif qui impliquerait sûrement le cortex préfrontal.

En outre, les interfaces cerveau-ordinateur pourraient convertir des États mentaux en signaux qui amélioreraient la communication, dans le cas de personnes subissant une thérapie de la parole, ou mouvements, pour ceux qui ont souffert de l’amputation d’un membre.

Vous avez juste regardé les vidéo de JoVE sur la compréhension des images auditives à l’aide d’analyse multi-voxel. Maintenant vous devriez avoir une bonne compréhension de la façon de concevoir et de réaliser l’expérience auditive de l’imagerie en conjonction avec la neuro-imagerie fonctionnelle et enfin comment analyser et interpréter les modèles spécifiques de l’activité cérébrale.

Merci de regarder !

Subscription Required. Please recommend JoVE to your librarian.

Results

La précision moyenne classifieur dans la temporale planum à travers tous les 20 participants était de 59 %. Selon le test de Wilcoxon Signed-grade, c’est significativement différent niveau de chance de 33 %. La performance moyenne dans le masque de mât de façade était de 32,5 %, qui n’est pas plu de chance (Figure 2).

Figure 2
Figure 2. Performance de classification à chaque participant. Pour la classification tripartite, performance de chance est de 33 %. Selon un test par permutations, le niveau alpha de p < 0,05 correspond à 42 %.

Le test par permutations révèle que seulement 5 % des permutations exactitude supérieure à 42 % ; ainsi, notre seuil statistique pour les sujets individuels est de 42 %. Dix-neuf des 20 sujets avaient classifieur performance significativement plu de chance en utilisant des voxels du planum temporale, alors qu’aucun n’avait plus de chance en utilisant des voxels du pôle frontal performance.

Ainsi, nous sommes en mesure de prédire avec succès des tendances de l’activité dans le cortex auditif qui, des trois sons, le participant était imaginer. Nous n’étions pas en mesure de faire cette prévision basée sur la structure de l’activité du pôle frontal, ce qui laisse supposer que l’information n’est pas globale dans tout le cerveau.

Subscription Required. Please recommend JoVE to your librarian.

Applications and Summary

MVPA est un outil utile pour comprendre comment le cerveau représente des informations. Au lieu de considérer l’évolution temporelle de chaque voxel séparément comme dans une analyse par activation traditionnelle, cette technique considère patrons à travers de nombreux voxels à la fois, offrant une sensibilité accrue par rapport aux techniques univariées. Souvent une analyse multivariée révèle des différences où une technique univariée n’est pas en mesure de. Dans ce cas, nous avons appris quelque chose sur les mécanismes de l’imagerie mentale en sondant l’information contenue dans une zone spécifique du cerveau, le cortex auditif. La nature du contenu spécifique de ces modèles d’activation serait difficile à tester avec des approches univariées.

Il y a des avantages supplémentaires qui viennent de la direction d’inférence dans ce genre d’analyse. Dans MVPA nous commençons avec des motifs de l’activité cérébrale et tenter d’en déduire quelque chose sur l’état mental du participant. Ce type d’approche « cerveau-lecture » peut conduire au développement des interfaces cerveau-ordinateur et peut permettre de nouvelles possibilités de communication avec ceux qui ont la parole avec facultés affaiblies ou mouvement.

Subscription Required. Please recommend JoVE to your librarian.

References

  1. Kosslyn, S.M., Ganis, G. & Thompson, W.L. Neural foundations of imagery. Nat Rev Neurosci 2, 635-642 (2001).
  2. Haynes, J.D. & Rees, G. Decoding mental states from brain activity in humans. Nat Rev Neurosci 7, 523-534 (2006).
  3. Norman, K.A., Polyn, S.M., Detre, G.J. & Haxby, J.V. Beyond mind-reading: multi-voxel pattern analysis of fMRI data. Trends Cogn Sci 10, 424-430 (2006).
  4. Meyer, K., et al. Predicting visual stimuli on the basis of activity in auditory cortices. Nat Neurosci 13, 667-668 (2010).

Transcript

Please note that all translations are automatically generated.

Click here for the English version.

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter