L'effet McGurk

La perception du langage – sous une forme parlée – bénéficie des interactions en face à face, car la bouche fournit de bonnes informations visuelles pour articuler des sons spécifiques.

Par exemple, dans une situation rapprochée et dégagée, une personne peut regarder son ami mentionner qu’il va à la plage. Dans ce cas, ils utilisent une entrée visuelle – en observant le mouvement autour des lèvres et de la langue – pour comprendre clairement ce qui a été dit.

Cependant, si l’ami continue de parler à l’abri des regards dans une autre pièce, il pourrait être tenté de regarder la télévision en sourdine et doit donc se fier uniquement à la voix obstruée pour donner un sens au message.

Dans ce cas, ce qui a été dit à la fin de la course, au crochet, a interféré avec le coup de pied silencieux et a été mal interprété comme une tique. Il s’agit d’un exemple de l’effet McGurk, une illusion perceptuelle qui résulte d’un décalage entre les indices sonores et visuels.

Cette vidéo montre comment construire les stimuli audiovisuels pour tester le phénomène découvert à l’origine par McGurk et Macdonald. Il étudie également comment la vision interagit avec la production sonore pour comprendre comment les individus apprennent le langage à un très jeune âge.

Dans cette expérience, les participants sont invités à regarder des vidéos en sourdine, dans lesquelles un mot comme gain est prononcé, tandis qu’un son tel que bane est joué simultanément en arrière-plan. Ensuite, on leur demande de partager ce qu’ils ont entendu.

Pour comprendre le résultat, comment l’illusion est produite, discutons d’abord de la façon dont les phonèmes – les unités minimales des sons de la parole – sont articulés.

Par exemple, bane et gain partagent les mêmes éléments dans toutes les positions, à l’exception des premières, qui sont les sons /b/ et /g/.

Bien que les mots avec ces phonèmes initiaux puissent sembler similaires, lorsque /g/ est affiché et que /b/ est joué, on s’attend à ce que les individus entendent un troisième son complètement différent ?/d/ ?à la place.

La raison pour laquelle /d/ est entendu est due au fait que les trois sont fondamentalement produits de la même manière, avec seulement une petite différence dans l’endroit où le haut-parleur place une obstruction dans le flux d’air, appelé les points d’articulation, ou POA.

Par exemple, lorsqu’un son /b/ est émis, les lèvres fournissent l’obstruction, ce qui entraîne une POA labiale, tandis que pour /g/, on l’appelle palatale à l’arrière de la bouche. Comme pour /d/, la POA est dentaire, une conséquence de la langue touchant les dents supérieures.

Lorsque le cerveau intègre le /g/ visuel et auditif /b/ contradictoire, il conclut que le son final doit se trouver quelque part au milieu des POA, entendant ainsi /d/ et rapportant le mot Dane.

En préparation de la démonstration, procurez-vous un ordinateur sur lequel présenter des vidéos et un smartphone avec une caméra vidéo.

Positionnez d’abord l’appareil photo de manière à ce que votre tête remplisse l’écran. Maintenant, enregistrez quatre clips de 10 secondes, chacun contenant des mots différents qui doivent être répétés 10 fois à raison de 1 mot/s. Assurez-vous de transférer les vidéos de gain et de can sur l’ordinateur pour une lecture visuelle.

Pour mener l’expérience, asseyez un participant devant l’ordinateur. Ouvrez le fichier vidéo pour le mot gain et désactivez l’audio.

Sur le téléphone, ouvrez la vidéo pour bane. Placez-le derrière l’ordinateur de manière à ce que son écran soit caché et que seul le son puisse être entendu clairement.

Demandez au participant de regarder l’écran de l’ordinateur et d’écouter. Ensuite, lisez les deux vidéos simultanément.

À la fin des clips, demandez au participant ce qu’il a entendu. [Le participant dit : « Danois »]. Répétez la procédure en lisant la vidéo du mot can sur l’ordinateur et en présentant l’audio du pan sur le téléphone. Encore une fois, demandez au participant ce qu’il a entendu. [Le participant dit : « bronzage »].

Ici, les mots bane et pan ont été joués à haute voix pendant que le participant regardait le gain et la canette être mis en bouche. En règle générale, lorsqu’un terme avec le phonème /g/ est affiché visuellement et associé au son /b/, les individus entendent /d/.

De même, lorsqu’un mot commençant par /k/ est associé au son /p/, les individus entendront /t/.

La raison d’une telle perception auditive est due à la façon dont les sons sont produits. Le cerveau tente de résoudre les informations contradictoires provenant des yeux en voyant les mouvements labiaux ?/b/ et /p/ ?tandis que les oreilles entendent les unités palatines ?/g/ et /k/. En conséquence, il conclut que les sons doivent se situer au milieu, ce qui entraîne la perception des phonèmes dentaires ?/d/ et /t/.

Maintenant que vous savez comment produire l’effet McGurk, examinons d’autres façons dont les chercheurs utilisent ce phénomène perceptuel pour étudier le développement du langage et les cas dans lesquels l’effet est altéré.

Les nourrissons peuvent même être testés sur l’effet McGurk dès l’âge de cinq mois, lorsqu’ils sont prélinguistiques, en utilisant un paradigme d’accoutumance au regard.

Dans cette procédure, Rosenblum et ses collègues ont présenté à plusieurs reprises aux nourrissons une syllabe particulière, comme va, dans les domaines audio et visuel avant d’introduire des phonèmes non appariés dans une phase de test.

Les nourrissons ont montré des signes d’accoutumance à la réduction du temps de regard et de désaccoutumance, notée par une augmentation de la regardation, lorsque quelque chose d’autre que va était perçu. Ainsi, avant même que les nourrissons ne sachent parler, ils affichent des résultats similaires à ceux des adultes, dans lesquels ils s’appuient sur l’utilisation d’informations visuelles pour la discrimination linguistique.

Cependant, les enfants autistes ont plus de difficulté à manifester l’effet McGurk aussi facilement que les témoins en raison de leur capacité réduite à comprendre et à prêter attention aux composants visuels du visage. Cela indique des différences fondamentales dans le traitement de la parole audiovisuelle, ce qui peut contribuer à leurs difficultés avec le langage et la communication.

Enfin, les patients présentant des lésions dans l’hémisphère gauche – le côté généralement prédominant pour la compréhension et l’apprentissage du langage – utilisent souvent les caractéristiques visuelles du visage pour aider pendant l’orthophonie. Fait intéressant, lorsqu’ils ont été testés sur l’effet McGurk, ils ont plus souvent déclaré entendre des bruits dentaires par rapport aux témoins. De telles perceptions sont probablement dues à leur plus grande concentration sur les informations visuelles.

Vous venez de regarder la vidéo de JoVE sur l’effet McGurk. Maintenant, vous devriez savoir comment mener cette illusion audiovisuelle et relier les phonèmes à la production sonore. De plus, vous devriez également avoir une meilleure compréhension des interactions entre la vision et l’ouïe, et de la façon dont elles peuvent être affectées au cours du développement et de l’âge adulte.

Merci d’avoir regardé !