L’effet McGurk

Sensation and Perception

Your institution must subscribe to JoVE's Psychology collection to access this content.

Fill out the form below to receive a free trial or learn more about access:

Welcome!

Enter your email below to get your free 1 hour trial to JoVE!





By clicking "Submit", you agree to our policies.

 

Overview

Source : Laboratoire de Jonathan Flombaum, Johns Hopkins University

Langue parlée, une réussite humaine singulière, s’appuie fortement sur des mécanismes perceptifs spécialisés. Une caractéristique importante des mécanismes de perception de langue, c’est qu’ils dépendent simultanément des informations auditives et visuelles. C’est logique, parce que jusqu'à l’époque moderne, une personne pouvait espérer que la plupart de langue serait entendu en face-à-face. Et parce que la production de phonèmes spécifiques requiert articulation précise, la bouche peut fournir des informations visuelles bonnes sur ce que quelqu'un veut dire. En effet, avec une vue de près et dégagée du visage d’une personne, la bouche peut souvent fournir mieux les signaux visuels que discours fournit des signaux auditifs. Le résultat est que le cerveau humain favorise l’entrée visuelle et l’utilise pour lever l’ambiguïté sur une ambiguïté inhérente au langage parlé.

Cette dépendance sur entrée visuelle d’interpréter son a été décrite par Harry McGurk et John Macdonald dans un document en 1976 appelé audition des lèvres et voir la voix. 1 dans ce document, ils ont décrit une illusion qui se pose à travers une incompatibilité entre un enregistrement sonore et un enregistrement vidéo. Cette illusion est devenu connue comme l’effet McGurk. Cette vidéo vous montrera comment produire et interpréter l’effet McGurk.

Cite this Video

JoVE Science Education Database. L'essentiel de la sensation et de la perception. L’effet McGurk. JoVE, Cambridge, MA, (2017).

Procedure

1. les stimuli

  1. Pour rendre McGurk stimuli effet vous aurez besoin d’un caméra de vidéo-le genre sur un smartphone est fine.
  2. Vous aurez besoin également d’un ordinateur pour contrôler la présentation des vidéos pour un sujet naïf.
  3. Dirigez votre appareil photo à vous-même, afin que votre tête remplit l’écran.
  4. Faire quatre enregistrements. Chacun devrait être 10 s long. Dans chacun des quatre enregistrements, vous allez répéter un mot 10 fois, environ 1/s. Voici les paroles : bane, gain, pan, peut. Essayez de dire les mots dans chaque vidéo au même rythme.

2. induisant l’Illusion

  1. Pour induire l’illusion, vous pourriez raccorder le son d’une vidéo et l’image de l’autre. Mais ce n’est pas vraiment nécessaire. Il est plus facile de le faire juste en utilisant votre téléphone et un ordinateur en même temps. Voici comment.
  2. Sur votre ordinateur de bureau ouvert vers le haut de la vidéo dans laquelle vous dites gain. Couper le son et lire la vidéo.
  3. Sur votre téléphone, ouvrir la vidéo dans laquelle vous dites bane. Mettre le téléphone derrière l’écran de l’ordinateur pour que le son peut être entendu, mais la vidéo n’est pas visible. Lire la vidéo.
  4. Demandez à un observateur à regarder l’écran d’ordinateur pendant que vous écoutez, et quand la vidéo est faite jouer, demandez-leur ce qu’ils entendaient.
  5. Faites de même pour le bac/can clip : jouer le flux photo de vous peut dire alors que votre téléphone joue le flux audio de la vidéo de pan. Demander au participant de ce qu’elle a entendu.

Perception de la langue — sous une forme orale — bénéficie d’interactions en face à face, comme la bouche fournit de bonnes informations visuelles pour articuler des sons spécifiques.

Par exemple, dans une situation de près et vue dégagée, une personne peut regarder leur ami mention va à la plage. Dans ce cas, ils utilisent l’entrée visuelle — observant le mouvement autour des lèvres et la langue — à comprendre clairement ce qui a été dit.

Toutefois, si l’ami continue de parler hors de la vue dans une autre pièce, ils pourraient être tentés de regarder la télévision avec sourdine et donc doivent s’appuyer uniquement sur la voix obstruée pour comprendre le message.

Dans ce cas, ce qui a été effectivement dit à la fin de queue, pick, interféré avec le coup de pied silencieux et a été interprété comme la tique. Il s’agit d’un exemple de l’effet McGurk — une illusion perceptive qui se pose à travers une incompatibilité entre des indices sonores et visuelles.

Cette vidéo montre comment construire les stimuli audiovisuels pour tester le phénomène initialement découvert par Mohamed et Macdonald. Il étudie également l’interaction entre vision avec une production sonore pour comprendre comment les individus apprennent des langues à un très jeune âge.

Dans cette expérience, les participants sont invités à regarder les vidéos avec sourdine, dans laquelle un mot comme gain est mis dans la bouche, tout en un son comme bane est joué simultanément en arrière-plan. Par la suite, ils sont invités à partager ce qu’ils entendaient.

Pour comprendre le résultat, comment l’illusion est produite, nous allons d’abord discuter comment phonèmes, les unités minimales de phonèmes — s’articulent.

Par exemple, bane et gain partagent les mêmes éléments dans toutes les positions à l’exception de la première, qui sont les sons /b/ et/g /.

Bien que les mots avec ces phonèmes initiales peuvent sembler similaires, lorsque /g/ est montré et /b/ est jouée, individus devraient entendre un troisième complètement différent — / d / — au lieu de cela.

La raison pour laquelle /d/ est entendu est dû au fait que tous les trois sont essentiellement produites de la même manière, avec seulement une petite différence dans où l’orateur met un obstacle au flux d’air, appelé les points d’articulation, ou POA.

Par exemple, lorsqu’un son /b/ est présentée, lèvres fournissent l’obstruction, ce qui entraîne un POA labiale, tandis que pour/g /, il est désigné en tant que palatale — à l’arrière de la bouche. Quant à/d /, le POA est dentaire, une conséquence de la langue touche les dents du haut.

Lorsque le cerveau intègre les contradictoires /g/ visuelle et auditive/b /, il conclut que le son final doit se situer quelque part au milieu de POAs, donc entendre /d/ et avoir signalé le mot Dane.

En prévision de la manifestation, obtenir un ordinateur pour présenter les vidéos sur et un smartphone avec une caméra vidéo.

Commencez par placer la caméra pour que votre tête remplit l’écran. Maintenant, quatre agrafes record de 10 s, chacun d'entre eux contenant différents mots qui doivent être répétées 10 fois à raison de 1 mot/s. Veillez à transférer le gain et peut les vidéos sur l’ordinateur pour la lecture visuelle.

Pour mener l’expérience, s’asseoir un participant devant l’ordinateur. Ouvrir le fichier vidéo pour le gain de mot et désactiver l’audio.

Au téléphone, ouvrir le clip de bane. Placez-le derrière l’ordinateur afin que son écran est caché et que le bruit peut être entendu clairement.

Demander au participant de regarder l’écran d’ordinateur et d’écouter. Ensuite, jouer les deux vidéos en même temps.

Quand les clips finissent, demander au participant ce qu’ils entendaient. [Participant déclare : « Dane »]. Répétez la procédure de lecture de la vidéo de la parole peut être téléchargé sur l’ordinateur et la présentation de l’audio pour pan sur le téléphone. Une fois de plus, la question du participant quant à ce qu’ils entendaient. [Participant déclare : « tan »].

Ici, le fléau de mots et le pan ont été joués à haute voix comme le participant regardé gain et peuvent être portés à la bouche. En règle générale, lorsqu’un terme avec le phonème /g/ est montré visuellement et jumelé avec le son/b /, individus vont entendre/d /.

De même, quand un mot commençant par /k/ est jumelé avec le son/p /, individus vont entendre/t /.

La raison derrière cette perception auditive est en raison de la façon que les sons sont produits. Le Cerveau essaie de résoudre des renseignements contradictoires aux yeux en Voyant Les mouvements labiaux — / b/et/p / — tandis que l'oreille entend des unités palatale, / g/et/k /. Par conséquent, il conclut que les sons doivent se situer au milieu, ce qui entraîne la perception des phonèmes dentaires — / d/et/t /.

Maintenant que vous êtes familier avec la façon de produire l’effet McGurk, regardons quelques autres façons que les chercheurs utilisent ce phénomène perceptif pour enquêter sur le développement du langage et cas dont l’effet est modifié.

Les enfants peuvent même être testés sur l’effet McGurk, dès cinq mois, lorsqu’ils sont pré linguistiques, à l’aide d’un paradigme de l’accoutumance de la recherche-temps.

Dans cette procédure, Rosenblum et collègues ont présenté à plusieurs reprises les bébés avec une syllabe donnée, comme va, dans les deux domaines audio et visuelles avant d’introduire des phonèmes ne correspondent pas à une phase de test.

Nourrissons a montré des signes d’accoutumance à va — réduite à la recherche de temps — et déshabituation, a noté comme accru à la recherche, quand quelque chose autre que va a été perçu. Ainsi, avant même que les enfants peuvent parler, ils affichent des résultats semblables en tant qu’adultes, dans laquelle ils s’appuient sur l’utilisation des informations visuelles pour discrimination linguistique.

Cependant, les enfants autistes ont plus de Difficulté présentant l’effet McGurk aussi facilement que les contrôles en raison de leur capacité à comprendre et à assister les composants visuels du visage. Cela indique des différences fondamentales dans le traitement des discours audiovisuel, qui peuvent contribuer à leur degré de difficulté avec la langue et de la communication.

Enfin, les patients présentant des lésions dans leur hémisphère gauche — le côté généralement prédominant pour la compréhension et l’apprentissage de la langue — utilisent souvent les traits du visage visuels pour aider au cours de la thérapie de la parole. Fait intéressant, lors d’un essai sur l’effet McGurk, elles ont plus souvent entendre les sons dentaires par rapport aux témoins. Ces représentations sont probables dues à leur mise au point plus élevé sur l’information visuelle.

Vous avez juste regardé les vidéo de JoVE sur l’effet McGurk. Maintenant, vous devriez savoir comment effectuer cette illusion audiovisuelle et concernent des phonèmes pour la production sonore. En outre, vous devez également avoir une meilleure compréhension des interactions entre la vue et l’ouïe, et comment ils peuvent être affectés pendant le développement et l’âge adulte.

Merci de regarder !

Results

N’oubliez pas, les sons joués à votre observateur sont le fléau des mots ou pan. Mais dans les vidéos qui l’accompagne, les mots étant articulés sont gain et peuvent respectivement. Alors quels mots personnes réellement entendra ? La réponse est le plus souvent aucun de ces quatre. Au lieu de cela, le résultat typique est que les observateurs dans la condition bane/gain entendra le mot Dane. Et observateurs à la condition de pan/can vont entendre le mot tan.

Pour comprendre pourquoi nous avons besoin de comprendre un peu comment sont fabriqués les phonèmes. Un phonème est une unité minimale de son discours. Le fléau des mots et gain ont les mêmes phonèmes dans toutes les positions mais la première. Dans le fléau de la parole le premier phonème est un b sonore, notée/b /. Le gain de mot, c’est le son/g /. Les autres sons sont les mêmes-qui est pourquoi la rime des mots. Figure 1 se décompose l’effet McGurk en ce qui concerne les phonèmes initiaux dans ces exemples. Lorsque /b/ est montré et /g/ est joué, gens entendent/d /. Le mot Dane en d’autres termes aussi rime avec bane et gain, avec une différence d’un phonème au début.

Figure 1
Figure 1 : Effet McGurk the arrive quand il y a une incompatibilité entre un phonème qui s’articule dans une présentation visuelle et phonème différent est jouée simultanément par le biais de haut-parleurs. Avec les phonèmes qui partagent certaines propriétés de l’articulation, le résultat entendu peut-être ne pas correspondre soit des stimuli incompatible. L’incompatibilité provoque un son troisième pour se faire entendre. Plus précisément, un /g/ visuelle avec un /b/ auditif entraîne le phonème /d/ se faire entendre. C’est pourquoi un gain visuel avec une Engeance auditif entraîne Dane se faire entendre. De même, un /k/ visuelle avec un /p/ auditif conduit le son /t/ se faire entendre. Qui est pourquoi can/pan tan produit l’effet McGurk.

Pourquoi /b/ contradictoires et /g/ produisent un /d/ spécifiquement ? Eh bien, / b /, / g/et /d/ sont vraiment pas si différentes d’un de l’autre, notamment en termes de comment ils sont produits. Les trois impliquent essentiellement le déplacement de la même quantité d’air du larynx une personne par le biais de leur bouche, avec juste une différence dans lesquels l’orateur place une petite obstruction. Quand quelqu'un fait un /b/ sonore, ils utilisent leurs lèvres pour entraver l’air ; Ceci est connu comme point d’articulation labial. Pour un /g/ sonore, que c’est le point d’articulation palatale-il est loin à l’arrière de la bouche. Et pour un son de /d/, le point d’articulation est connu comme dentaire car personnes gênent la circulation de l’air par la bouche en touchant leur langue pour les dents du haut. La figure 2 montre les relatives points d’articulation pour les six phonèmes dans l’effet McGurk.

Figure 2
Figure 2 : Les humains produisent des sons par le mouvement de l’air par le biais de leur gorge et la bouche. Il s’agit de vibrations dans le larynx. Un ensemble donné de vibrations produites dans le larynx peut produire plusieurs phonèmes différents en obstruant le flux d’air. L’endroit où un obstacle est placé pour créer un son particulier est appelé le point d’articulation. Trois points importants de l’articulation sont connus comme labiale, se référant aux lèvres ; dentaire, se référant au niveau des dents ; et palatale, se référant à la bouche, ou sur la terrasse arrière de la bouche. La figure montre comment les phonèmes produites et entendu dans l’effet McGurk diffèrent en fonction de leurs points d’articulation.

Maintenant que vous savez un peu sur la façon dont ces sons sont produits, la logique de l’effet McGurk devrait être plus évidente. Il fonctionne comme ceci : votre cerveau sait que certains phonèmes sont en fait assez similaires à un autre. Dans l’effet McGurk, le fléau de la parole se joue à l’observateur, led éteinte par un son /b/. Mais le visage dans la vidéo se déplace leur bouche comme ils le feraient pour rendre un son /g/ et le mot de gain. Le cerveau reçoit donc des entrées en conflit les yeux et les oreilles. Pour résoudre ce conflit, le cerveau arrive à la conclusion que la vérité est probablement quelque part entre les deux. /D/ étant l’Øresund entre /b/ et/g / - en ce qui concerne la production - c’est ce que les gens entendent. La même explication s’applique pour le tournage du conflit entre pan et peut en tan. /p/ est un bruit labial et /k/ est un son palatal. Le dentaire dans l’intervalle est/t /.

Applications and Summary

Un endroit que l’effet McGurk a été important est de comprendre comment très jeunes nourrissons apprennent la langue parlée. Une étude réalisée en 1997 a pu montrer que même 5 mois les bébés perçoivent l’effet McGurk. 2 c’est important car il donne à penser que des informations visuelles peuvent servir de nourrissons pour résoudre un problème majeur pour apprendre la langue analyse un flux audio continu dans ses unités. Pensez à comment une langue étrangère parlée à sa vitesse normale peut sembler un tel fouillis que vous pourriez savent même pas où sont les limites de mot. Eh bien, si toutes les langues sont étrangers aux nourrissons, alors comment faire ils comprendre où sont les mots ? L’effet McGurk suggère qu’ils peuvent compter sur les habitudes de l’articulation du visage.

References

  1. McGurk, H., & MacDonald, J. (1976). Hearing lips and seeing voices. Nature, 264, 746-748.
  2. Rosenblum, L. D., Schmuckler, M. A., & Johnson, J. A. (1997). The McGurk effect in infants. Perception & Psychophysics, 59(3), 347-357.

1. les stimuli

  1. Pour rendre McGurk stimuli effet vous aurez besoin d’un caméra de vidéo-le genre sur un smartphone est fine.
  2. Vous aurez besoin également d’un ordinateur pour contrôler la présentation des vidéos pour un sujet naïf.
  3. Dirigez votre appareil photo à vous-même, afin que votre tête remplit l’écran.
  4. Faire quatre enregistrements. Chacun devrait être 10 s long. Dans chacun des quatre enregistrements, vous allez répéter un mot 10 fois, environ 1/s. Voici les paroles : bane, gain, pan, peut. Essayez de dire les mots dans chaque vidéo au même rythme.

2. induisant l’Illusion

  1. Pour induire l’illusion, vous pourriez raccorder le son d’une vidéo et l’image de l’autre. Mais ce n’est pas vraiment nécessaire. Il est plus facile de le faire juste en utilisant votre téléphone et un ordinateur en même temps. Voici comment.
  2. Sur votre ordinateur de bureau ouvert vers le haut de la vidéo dans laquelle vous dites gain. Couper le son et lire la vidéo.
  3. Sur votre téléphone, ouvrir la vidéo dans laquelle vous dites bane. Mettre le téléphone derrière l’écran de l’ordinateur pour que le son peut être entendu, mais la vidéo n’est pas visible. Lire la vidéo.
  4. Demandez à un observateur à regarder l’écran d’ordinateur pendant que vous écoutez, et quand la vidéo est faite jouer, demandez-leur ce qu’ils entendaient.
  5. Faites de même pour le bac/can clip : jouer le flux photo de vous peut dire alors que votre téléphone joue le flux audio de la vidéo de pan. Demander au participant de ce qu’elle a entendu.

Perception de la langue — sous une forme orale — bénéficie d’interactions en face à face, comme la bouche fournit de bonnes informations visuelles pour articuler des sons spécifiques.

Par exemple, dans une situation de près et vue dégagée, une personne peut regarder leur ami mention va à la plage. Dans ce cas, ils utilisent l’entrée visuelle — observant le mouvement autour des lèvres et la langue — à comprendre clairement ce qui a été dit.

Toutefois, si l’ami continue de parler hors de la vue dans une autre pièce, ils pourraient être tentés de regarder la télévision avec sourdine et donc doivent s’appuyer uniquement sur la voix obstruée pour comprendre le message.

Dans ce cas, ce qui a été effectivement dit à la fin de queue, pick, interféré avec le coup de pied silencieux et a été interprété comme la tique. Il s’agit d’un exemple de l’effet McGurk — une illusion perceptive qui se pose à travers une incompatibilité entre des indices sonores et visuelles.

Cette vidéo montre comment construire les stimuli audiovisuels pour tester le phénomène initialement découvert par Mohamed et Macdonald. Il étudie également l’interaction entre vision avec une production sonore pour comprendre comment les individus apprennent des langues à un très jeune âge.

Dans cette expérience, les participants sont invités à regarder les vidéos avec sourdine, dans laquelle un mot comme gain est mis dans la bouche, tout en un son comme bane est joué simultanément en arrière-plan. Par la suite, ils sont invités à partager ce qu’ils entendaient.

Pour comprendre le résultat, comment l’illusion est produite, nous allons d’abord discuter comment phonèmes, les unités minimales de phonèmes — s’articulent.

Par exemple, bane et gain partagent les mêmes éléments dans toutes les positions à l’exception de la première, qui sont les sons /b/ et/g /.

Bien que les mots avec ces phonèmes initiales peuvent sembler similaires, lorsque /g/ est montré et /b/ est jouée, individus devraient entendre un troisième complètement différent — / d / — au lieu de cela.

La raison pour laquelle /d/ est entendu est dû au fait que tous les trois sont essentiellement produites de la même manière, avec seulement une petite différence dans où l’orateur met un obstacle au flux d’air, appelé les points d’articulation, ou POA.

Par exemple, lorsqu’un son /b/ est présentée, lèvres fournissent l’obstruction, ce qui entraîne un POA labiale, tandis que pour/g /, il est désigné en tant que palatale — à l’arrière de la bouche. Quant à/d /, le POA est dentaire, une conséquence de la langue touche les dents du haut.

Lorsque le cerveau intègre les contradictoires /g/ visuelle et auditive/b /, il conclut que le son final doit se situer quelque part au milieu de POAs, donc entendre /d/ et avoir signalé le mot Dane.

En prévision de la manifestation, obtenir un ordinateur pour présenter les vidéos sur et un smartphone avec une caméra vidéo.

Commencez par placer la caméra pour que votre tête remplit l’écran. Maintenant, quatre agrafes record de 10 s, chacun d'entre eux contenant différents mots qui doivent être répétées 10 fois à raison de 1 mot/s. Veillez à transférer le gain et peut les vidéos sur l’ordinateur pour la lecture visuelle.

Pour mener l’expérience, s’asseoir un participant devant l’ordinateur. Ouvrir le fichier vidéo pour le gain de mot et désactiver l’audio.

Au téléphone, ouvrir le clip de bane. Placez-le derrière l’ordinateur afin que son écran est caché et que le bruit peut être entendu clairement.

Demander au participant de regarder l’écran d’ordinateur et d’écouter. Ensuite, jouer les deux vidéos en même temps.

Quand les clips finissent, demander au participant ce qu’ils entendaient. [Participant déclare : « Dane »]. Répétez la procédure de lecture de la vidéo de la parole peut être téléchargé sur l’ordinateur et la présentation de l’audio pour pan sur le téléphone. Une fois de plus, la question du participant quant à ce qu’ils entendaient. [Participant déclare : « tan »].

Ici, le fléau de mots et le pan ont été joués à haute voix comme le participant regardé gain et peuvent être portés à la bouche. En règle générale, lorsqu’un terme avec le phonème /g/ est montré visuellement et jumelé avec le son/b /, individus vont entendre/d /.

De même, quand un mot commençant par /k/ est jumelé avec le son/p /, individus vont entendre/t /.

La raison derrière cette perception auditive est en raison de la façon que les sons sont produits. Le Cerveau essaie de résoudre des renseignements contradictoires aux yeux en Voyant Les mouvements labiaux — / b/et/p / — tandis que l'oreille entend des unités palatale, / g/et/k /. Par conséquent, il conclut que les sons doivent se situer au milieu, ce qui entraîne la perception des phonèmes dentaires — / d/et/t /.

Maintenant que vous êtes familier avec la façon de produire l’effet McGurk, regardons quelques autres façons que les chercheurs utilisent ce phénomène perceptif pour enquêter sur le développement du langage et cas dont l’effet est modifié.

Les enfants peuvent même être testés sur l’effet McGurk, dès cinq mois, lorsqu’ils sont pré linguistiques, à l’aide d’un paradigme de l’accoutumance de la recherche-temps.

Dans cette procédure, Rosenblum et collègues ont présenté à plusieurs reprises les bébés avec une syllabe donnée, comme va, dans les deux domaines audio et visuelles avant d’introduire des phonèmes ne correspondent pas à une phase de test.

Nourrissons a montré des signes d’accoutumance à va — réduite à la recherche de temps — et déshabituation, a noté comme accru à la recherche, quand quelque chose autre que va a été perçu. Ainsi, avant même que les enfants peuvent parler, ils affichent des résultats semblables en tant qu’adultes, dans laquelle ils s’appuient sur l’utilisation des informations visuelles pour discrimination linguistique.

Cependant, les enfants autistes ont plus de Difficulté présentant l’effet McGurk aussi facilement que les contrôles en raison de leur capacité à comprendre et à assister les composants visuels du visage. Cela indique des différences fondamentales dans le traitement des discours audiovisuel, qui peuvent contribuer à leur degré de difficulté avec la langue et de la communication.

Enfin, les patients présentant des lésions dans leur hémisphère gauche — le côté généralement prédominant pour la compréhension et l’apprentissage de la langue — utilisent souvent les traits du visage visuels pour aider au cours de la thérapie de la parole. Fait intéressant, lors d’un essai sur l’effet McGurk, elles ont plus souvent entendre les sons dentaires par rapport aux témoins. Ces représentations sont probables dues à leur mise au point plus élevé sur l’information visuelle.

Vous avez juste regardé les vidéo de JoVE sur l’effet McGurk. Maintenant, vous devriez savoir comment effectuer cette illusion audiovisuelle et concernent des phonèmes pour la production sonore. En outre, vous devez également avoir une meilleure compréhension des interactions entre la vue et l’ouïe, et comment ils peuvent être affectés pendant le développement et l’âge adulte.

Merci de regarder !

A subscription to JoVE is required to view this article.
You will only be able to see the first 20 seconds.

RECOMMEND JoVE