Der McGurk-Effekt

Sensation and Perception

Your institution must subscribe to JoVE's Psychology collection to access this content.

Fill out the form below to receive a free trial or learn more about access:

Welcome!

Enter your email below to get your free 1 hour trial to JoVE!





By clicking "Submit", you agree to our policies.

 

Overview

Quelle: Labor von Jonathan Flombaum, Johns Hopkins University

Gesprochener Sprache, eine einzigartige menschliche Errungenschaft stützt sich stark auf spezialisierte perzeptuellen Mechanismen. Ein wichtiges Merkmal der Sprache Wahrnehmung Mechanismen ist, dass sie gleichzeitig auf die auditiven und visuellen Informationen stützen. Dies ist sinnvoll, weil eine Person bis zur Neuzeit, erwarten könnte, dass die meisten Sprache im persönlichen Umgang gehört zu werden. Und weil bestimmte Sprachlaute präzise Artikulation erfordert, der Mund liefern gute visuelle Informationen, was jemand sagt. In der Tat, mit einem aus nächster Nähe und unverbaubaren Blick auf das Gesicht von jemandem liefern der Mund oft bessere visuelle Signale als Rede auditive Signale liefert. Das Ergebnis ist, dass das menschliche Gehirn visuelle Eingang begünstigt, und sie, verwendet um die inhärenten Mehrdeutigkeit in der gesprochenen Sprache eindeutig zu machen.

Diese Abhängigkeit von visuellen Input Sound interpretieren wurde von Harry McGurk und John Macdonald in ein Papier in 1976 genannt Lippen zu hören und zu sehen, stimmenbeschrieben. 1 in diesem Papier beschrieben sie eine Illusion, die durch ein Missverhältnis zwischen einer Tonaufnahme und eine video-Aufnahme entsteht. Diese Illusion ist als der McGurk-Effekt bekannt geworden. Dieses Video demonstriert, wie zu produzieren und interpretieren den McGurk-Effekt.

Cite this Video

JoVE Science Education Database. Grundlagen der Sensation und Wahrnehmung. Der McGurk-Effekt. JoVE, Cambridge, MA, (2017).

Procedure

(1) Reize

  1. Um McGurk Effekt Reize, die Sie benötigen, eine Video-Kamera-die Art auf einem Smartphone ist fein.
  2. Sie benötigen auch einen Computer zur Steuerung der Präsentation von Videos zu einem naiven Thema.
  3. Richten Sie die Kamera auf sich selbst, so dass Ihr Kopf das Display ausfüllt.
  4. Vier Aufnahmen zu machen. Jeder sollte 10 s lang. In jedem der vier Aufnahmen müssen Sie ein Wort 10mal, etwa 1/s wiederholen. Hier sind die Worte: Bane, gewinnen, schwenken, kann. Versuchen Sie, die Worte in jedem Video in einem ähnlichen Tempo.

(2) induzieren die Illusion

  1. Um die Illusion zu induzieren, könnten Sie gemeinsam den Ton von einem Video und Bild aus einer anderen Spleißen. Aber das ist nicht wirklich notwendig. Es ist einfacher, tun Sie es einfach mit Ihrem Telefon und einem Computer gleichzeitig. Hier ist wie.
  2. Auf Ihrem Desktop öffnen Sie das Video, in dem du sagst, zu gewinnen. Schalten Sie den Ton, und starten Sie das Video.
  3. Auf Ihrem Handy öffnen Sie das Video, in dem Sie Bane sagen. Setzen Sie das Telefon hinter dem Computer-Bildschirm, so dass der Ton zu hören, aber das Video nicht zu sehen. Das Video abzuspielen.
  4. Fragen eines Beobachters auf den Computer-Bildschirm sehen Sie beim hören, und wenn das Video fertig spielen, Fragen sie, was sie zu hören.
  5. Machen Sie dasselbe für die Pfanne/Videos können: die Bild-Stream von Ihnen sagen kann zu spielen, während Ihr Telefon den Audiostream aus dem Pan-Video spielt. Bitten Sie die Teilnehmer, was sie hören.

Wahrnehmung von Sprache – in gesprochener Form – profitiert von Angesicht zu Angesicht Interaktionen, wie der Mund gute visuellen Informationen liefert für bestimmte Klänge zu artikulieren.

Zum Beispiel in einer Situation aus nächster Nähe und freie Individuum sehen ihren Freund Erwähnung an den Strand gehen. In diesem Fall verwenden sie visuelle Eingang – die Bewegung um die Lippen und Zunge –, deutlich zu verstehen, was gesagt wurde.

Jedoch wenn der Freund außer Sichtweite in einem anderen Raum zu sprechen weiterhin, könnte versucht sein, den gedämpften Fernsehen und muss daher ausschließlich auf die versperrte Stimme Sinn der Nachricht verlassen.

In diesem Fall hieß eigentlich am Ende was, holen, mischte sich mit dem stillen Kick und wurde als Tick fehlinterpretiert. Dies ist ein Beispiel der McGurk-Effekt – eine Wahrnehmungs Illusion, die durch ein Missverhältnis zwischen Klang und visuelle Signale entsteht.

Dieses Video veranschaulicht die audiovisuelle Reize zu testen, das ursprünglich von McGurk und Macdonald entdeckte Phänomen zu konstruieren. Dabei wird untersucht, wie Vision interagiert mit Klangerzeugung zu verstehen, wie Menschen in einem sehr jungen Alter Sprache lernen.

In diesem Experiment werden die Teilnehmer gebeten, gedämpften Videos zu sehen, in denen ein Wort wie Gewinn, während ein Geräusch in den Mund genommen ist wie Bane gleichzeitig im Hintergrund gespielt wird. Danach werden sie gebeten, zu teilen, was sie gehört.

Um das Ergebnis zu verstehen, wie die Illusion entsteht, lassen Sie uns zuerst besprechen wie Phoneme — die minimalen Einheiten der Sprachlaute — artikuliert werden.

Zum Beispiel teilen Bane und Gewinn die gleichen Elemente in allen Positionen mit Ausnahme der ersten, die Klänge/b / und/g /.

Wörter mit diesen ursprünglichen Phoneme klingt ähnlich, wenn zuvor gezeigt und/b / gespielt, Einzelpersonen werden voraussichtlich einen komplett anderen dritten Ton zu hören – / d / — stattdessen.

Der Grund, warum /d/ zu hören ist, da alle drei im Grunde entstehen auf die gleiche Weise mit nur einem kleinen Unterschied in wo der Lautsprecher ein Hindernis im Luftstrom stellt, die Punkte der Artikulation oder POA nennt.

Zum Beispiel wenn ein Sound/b / erfolgt, Lippen sind die Obstruktion, wodurch ein labial POA, während für/g /, zu palatinale bezeichnet wird – auf der Rückseite der Mund. Die POA ist für/d /, dental, eine Folge der Zunge die oberen Schneidezähne berühren.

Wenn das Gehirn widersprüchliche visuelle zuvor und auditive/b/integriert, stellt fest, dass der letzte Ton irgendwo in der Mitte POAs, so /d/ zu hören und das Wort Dane Berichterstattung liegen muss.

Erhalten Sie in Vorbereitung auf die Demonstration einen Computer, um Videos auf und ein Smartphone mit einer Videokamera zu präsentieren.

Positionieren Sie die Kamera zuerst, so dass Ihr Kopf das Display ausfüllt. Jetzt, vier 10-s Clips aufnehmen, jeweils mit verschiedenen Wörtern, die mit einer Rate von 1 Wort/s. 10 Mal wiederholt werden sollte unbedingt die Verstärkung zu übertragen und können Videos auf den Computer für die visuelle Wiedergabe.

Um das Experiment durchzuführen, einen Teilnehmer vor dem Computer zu sitzen. Öffnen Sie die video-Datei für das Wort Gewinn und schalten Sie den Ton.

Am Telefon öffnen Sie das Video zum Fluch. Legen Sie es hinter dem Computer, so dass seinem Bildschirm ausgeblendet und nur der Sound ist deutlich hörbar.

Weisen Sie die Teilnehmer zu den Computer-Monitor zu sehen und zu hören. Dann spielen Sie beide Videos gleichzeitig.

Wenn die Clips zu beenden, bitten Sie die Teilnehmer, was sie gehört. [Teilnehmer sagt: "Dane"]. Wiederholen Sie das Verfahren durch die Wiedergabe des Videos des Wortes auf den Computer und das Audio für Pan am Telefon präsentieren kann. Noch einmal Frage die Teilnehmer, was sie zu hören. [Teilnehmer sagt: "tan"].

Hier spielten die Worte Fluch und Pan laut, wie der Teilnehmer zu gewinnen und kann in den Mund genommen wird beobachtet. In der Regel, wenn ein Begriff mit dem zuvor Phonem visuell dargestellt und mit dem sound/b gepaart /, Einzelpersonen/d/hören.

Ebenso, wenn ein Wort mit /k/ mit Ton/p/gekoppelt ist, Einzelpersonen/t/hören.

Der Grund für solche auditive Wahrnehmung ist aufgrund der Art, dass Klänge erzeugt werden. Das Gehirn versucht, widersprüchliche Informationen aus den Augen sehen, Labiale Bewegungen lösen – / b/und/p / — während die Ohren palatinale Einheiten hören – / g/und/k /. Infolgedessen es kommt zu dem Schluss, dass die Töne in der Mitte liegen müssen was in der Wahrnehmung der zahnärztlichen Phoneme – / d/und/t /.

Nun da Sie wissen, wie den McGurk-Effekt zu produzieren sind, sehen wir uns einige andere Möglichkeiten, mit denen Forscher dieses wahrnehmbare Phänomen um zu untersuchen, Sprachentwicklung und Fälle, in denen die Wirkung verändert wird.

Kleinkinder können auch auf der McGurk-Effekt getestet werden so früh wie fünf Monate alt, wenn sie Prä-linguistische sind, verwenden eine Gewöhnung-of-auf der Suche-Zeit-Paradigma.

In diesem Verfahren präsentiert Rosenblum und Kollegen immer wieder Säuglinge mit einer bestimmten Silbe, wie va, in den Audio- und visuellen Bereichen vor der Einführung von nicht übereinstimmenden Phoneme in einer Testphase.

Kinder zeigten Anzeichen von Gewöhnung an va — reduziert, mal schauen – und Dishabituation, gemerkt wie erhöht, auf der Suche, wenn etwas anderes als va wahrgenommen wurde. So, noch bevor Babys sprechen können, zeigen sie ähnliche Ergebnisse wie Erwachsene, in denen sie auf die Verwendung von visuellen Informationen für Sprache Diskriminierung beruhen.

Kinder mit Autismus haben jedoch größere Schwierigkeiten den McGurk-Effekt so leicht wie Kontrollen aufgrund ihrer Beeinträchtigung Fähigkeit zu verstehen und kümmern sich um die visuellen Gesichts Komponenten ausstellen. Dies weist grundlegende Unterschiede in der Verarbeitung von audiovisuellen Rede, die auf ihre Schwierigkeiten mit der Sprache und Kommunikation beitragen können.

Schließlich Patienten mit Läsionen in ihre linke Gehirnhälfte – die Seite in der Regel überwiegend für das Verständnis und die Sprache zu lernen – häufig verwenden visuelle Gesichtszüge, um während Logopädische Praxis zu helfen. Interessanterweise berichtet, wenn auf der McGurk-Effekt getestet, sie öfter hören dental Geräusche im Vergleich zu Kontrollen. Solche Auffassungen sind wahrscheinlich wegen ihrer höheren Fokus auf visuelle Informationen.

Sie haben nur Jupiters Video auf der McGurk-Effekt beobachtet. Jetzt sollten Sie wissen, wie zur Durchführung dieser audiovisuellen Illusion und Tonproduktion Phoneme betreffen. Darüber hinaus haben Sie auch ein besseres Verständnis der Wechselwirkungen zwischen Vision und hören und wie sie in Entwicklung und im Erwachsenenalter betroffen sein können.

Danke fürs Zuschauen!

Applications and Summary

Ein Ort, dass der McGurk-Effekt wichtig wurde ist verstehen, wie sehr junge Säuglinge gesprochene Sprache lernen. Eine Studie im Jahr 1997 war in der Lage zu zeigen, dass sogar 5 Monate alte Säuglinge den McGurk-Effekt wahrnehmen. 2 Dies ist wichtig, denn es suggeriert, dass visuelle Informationen von Säuglingen verwendet werden können, um eine große Herausforderung, lernen Sprache analysieren einen kontinuierliche Audiostream in ihren Einheiten zu lösen. Denken Sie an wie eine Fremdsprache mit der normalen Geschwindigkeit wie so ein Durcheinander erscheinen, dass Sie nicht einmal wissen vielleicht, wo die Wortgrenzen sind. Nun, wenn alle Sprachen sind Säuglinge fremd, wie sie herausfinden wo die Worte sind? Der McGurk-Effekt schlägt vor, dass sie auf Gesichts Artikulation Muster verlassen können.

References

  1. McGurk, H., & MacDonald, J. (1976). Hearing lips and seeing voices. Nature, 264, 746-748.
  2. Rosenblum, L. D., Schmuckler, M. A., & Johnson, J. A. (1997). The McGurk effect in infants. Perception & Psychophysics, 59(3), 347-357.

(1) Reize

  1. Um McGurk Effekt Reize, die Sie benötigen, eine Video-Kamera-die Art auf einem Smartphone ist fein.
  2. Sie benötigen auch einen Computer zur Steuerung der Präsentation von Videos zu einem naiven Thema.
  3. Richten Sie die Kamera auf sich selbst, so dass Ihr Kopf das Display ausfüllt.
  4. Vier Aufnahmen zu machen. Jeder sollte 10 s lang. In jedem der vier Aufnahmen müssen Sie ein Wort 10mal, etwa 1/s wiederholen. Hier sind die Worte: Bane, gewinnen, schwenken, kann. Versuchen Sie, die Worte in jedem Video in einem ähnlichen Tempo.

(2) induzieren die Illusion

  1. Um die Illusion zu induzieren, könnten Sie gemeinsam den Ton von einem Video und Bild aus einer anderen Spleißen. Aber das ist nicht wirklich notwendig. Es ist einfacher, tun Sie es einfach mit Ihrem Telefon und einem Computer gleichzeitig. Hier ist wie.
  2. Auf Ihrem Desktop öffnen Sie das Video, in dem du sagst, zu gewinnen. Schalten Sie den Ton, und starten Sie das Video.
  3. Auf Ihrem Handy öffnen Sie das Video, in dem Sie Bane sagen. Setzen Sie das Telefon hinter dem Computer-Bildschirm, so dass der Ton zu hören, aber das Video nicht zu sehen. Das Video abzuspielen.
  4. Fragen eines Beobachters auf den Computer-Bildschirm sehen Sie beim hören, und wenn das Video fertig spielen, Fragen sie, was sie zu hören.
  5. Machen Sie dasselbe für die Pfanne/Videos können: die Bild-Stream von Ihnen sagen kann zu spielen, während Ihr Telefon den Audiostream aus dem Pan-Video spielt. Bitten Sie die Teilnehmer, was sie hören.

Wahrnehmung von Sprache – in gesprochener Form – profitiert von Angesicht zu Angesicht Interaktionen, wie der Mund gute visuellen Informationen liefert für bestimmte Klänge zu artikulieren.

Zum Beispiel in einer Situation aus nächster Nähe und freie Individuum sehen ihren Freund Erwähnung an den Strand gehen. In diesem Fall verwenden sie visuelle Eingang – die Bewegung um die Lippen und Zunge –, deutlich zu verstehen, was gesagt wurde.

Jedoch wenn der Freund außer Sichtweite in einem anderen Raum zu sprechen weiterhin, könnte versucht sein, den gedämpften Fernsehen und muss daher ausschließlich auf die versperrte Stimme Sinn der Nachricht verlassen.

In diesem Fall hieß eigentlich am Ende was, holen, mischte sich mit dem stillen Kick und wurde als Tick fehlinterpretiert. Dies ist ein Beispiel der McGurk-Effekt – eine Wahrnehmungs Illusion, die durch ein Missverhältnis zwischen Klang und visuelle Signale entsteht.

Dieses Video veranschaulicht die audiovisuelle Reize zu testen, das ursprünglich von McGurk und Macdonald entdeckte Phänomen zu konstruieren. Dabei wird untersucht, wie Vision interagiert mit Klangerzeugung zu verstehen, wie Menschen in einem sehr jungen Alter Sprache lernen.

In diesem Experiment werden die Teilnehmer gebeten, gedämpften Videos zu sehen, in denen ein Wort wie Gewinn, während ein Geräusch in den Mund genommen ist wie Bane gleichzeitig im Hintergrund gespielt wird. Danach werden sie gebeten, zu teilen, was sie gehört.

Um das Ergebnis zu verstehen, wie die Illusion entsteht, lassen Sie uns zuerst besprechen wie Phoneme — die minimalen Einheiten der Sprachlaute — artikuliert werden.

Zum Beispiel teilen Bane und Gewinn die gleichen Elemente in allen Positionen mit Ausnahme der ersten, die Klänge/b / und/g /.

Wörter mit diesen ursprünglichen Phoneme klingt ähnlich, wenn zuvor gezeigt und/b / gespielt, Einzelpersonen werden voraussichtlich einen komplett anderen dritten Ton zu hören – / d / — stattdessen.

Der Grund, warum /d/ zu hören ist, da alle drei im Grunde entstehen auf die gleiche Weise mit nur einem kleinen Unterschied in wo der Lautsprecher ein Hindernis im Luftstrom stellt, die Punkte der Artikulation oder POA nennt.

Zum Beispiel wenn ein Sound/b / erfolgt, Lippen sind die Obstruktion, wodurch ein labial POA, während für/g /, zu palatinale bezeichnet wird – auf der Rückseite der Mund. Die POA ist für/d /, dental, eine Folge der Zunge die oberen Schneidezähne berühren.

Wenn das Gehirn widersprüchliche visuelle zuvor und auditive/b/integriert, stellt fest, dass der letzte Ton irgendwo in der Mitte POAs, so /d/ zu hören und das Wort Dane Berichterstattung liegen muss.

Erhalten Sie in Vorbereitung auf die Demonstration einen Computer, um Videos auf und ein Smartphone mit einer Videokamera zu präsentieren.

Positionieren Sie die Kamera zuerst, so dass Ihr Kopf das Display ausfüllt. Jetzt, vier 10-s Clips aufnehmen, jeweils mit verschiedenen Wörtern, die mit einer Rate von 1 Wort/s. 10 Mal wiederholt werden sollte unbedingt die Verstärkung zu übertragen und können Videos auf den Computer für die visuelle Wiedergabe.

Um das Experiment durchzuführen, einen Teilnehmer vor dem Computer zu sitzen. Öffnen Sie die video-Datei für das Wort Gewinn und schalten Sie den Ton.

Am Telefon öffnen Sie das Video zum Fluch. Legen Sie es hinter dem Computer, so dass seinem Bildschirm ausgeblendet und nur der Sound ist deutlich hörbar.

Weisen Sie die Teilnehmer zu den Computer-Monitor zu sehen und zu hören. Dann spielen Sie beide Videos gleichzeitig.

Wenn die Clips zu beenden, bitten Sie die Teilnehmer, was sie gehört. [Teilnehmer sagt: "Dane"]. Wiederholen Sie das Verfahren durch die Wiedergabe des Videos des Wortes auf den Computer und das Audio für Pan am Telefon präsentieren kann. Noch einmal Frage die Teilnehmer, was sie zu hören. [Teilnehmer sagt: "tan"].

Hier spielten die Worte Fluch und Pan laut, wie der Teilnehmer zu gewinnen und kann in den Mund genommen wird beobachtet. In der Regel, wenn ein Begriff mit dem zuvor Phonem visuell dargestellt und mit dem sound/b gepaart /, Einzelpersonen/d/hören.

Ebenso, wenn ein Wort mit /k/ mit Ton/p/gekoppelt ist, Einzelpersonen/t/hören.

Der Grund für solche auditive Wahrnehmung ist aufgrund der Art, dass Klänge erzeugt werden. Das Gehirn versucht, widersprüchliche Informationen aus den Augen sehen, Labiale Bewegungen lösen – / b/und/p / — während die Ohren palatinale Einheiten hören – / g/und/k /. Infolgedessen es kommt zu dem Schluss, dass die Töne in der Mitte liegen müssen was in der Wahrnehmung der zahnärztlichen Phoneme – / d/und/t /.

Nun da Sie wissen, wie den McGurk-Effekt zu produzieren sind, sehen wir uns einige andere Möglichkeiten, mit denen Forscher dieses wahrnehmbare Phänomen um zu untersuchen, Sprachentwicklung und Fälle, in denen die Wirkung verändert wird.

Kleinkinder können auch auf der McGurk-Effekt getestet werden so früh wie fünf Monate alt, wenn sie Prä-linguistische sind, verwenden eine Gewöhnung-of-auf der Suche-Zeit-Paradigma.

In diesem Verfahren präsentiert Rosenblum und Kollegen immer wieder Säuglinge mit einer bestimmten Silbe, wie va, in den Audio- und visuellen Bereichen vor der Einführung von nicht übereinstimmenden Phoneme in einer Testphase.

Kinder zeigten Anzeichen von Gewöhnung an va — reduziert, mal schauen – und Dishabituation, gemerkt wie erhöht, auf der Suche, wenn etwas anderes als va wahrgenommen wurde. So, noch bevor Babys sprechen können, zeigen sie ähnliche Ergebnisse wie Erwachsene, in denen sie auf die Verwendung von visuellen Informationen für Sprache Diskriminierung beruhen.

Kinder mit Autismus haben jedoch größere Schwierigkeiten den McGurk-Effekt so leicht wie Kontrollen aufgrund ihrer Beeinträchtigung Fähigkeit zu verstehen und kümmern sich um die visuellen Gesichts Komponenten ausstellen. Dies weist grundlegende Unterschiede in der Verarbeitung von audiovisuellen Rede, die auf ihre Schwierigkeiten mit der Sprache und Kommunikation beitragen können.

Schließlich Patienten mit Läsionen in ihre linke Gehirnhälfte – die Seite in der Regel überwiegend für das Verständnis und die Sprache zu lernen – häufig verwenden visuelle Gesichtszüge, um während Logopädische Praxis zu helfen. Interessanterweise berichtet, wenn auf der McGurk-Effekt getestet, sie öfter hören dental Geräusche im Vergleich zu Kontrollen. Solche Auffassungen sind wahrscheinlich wegen ihrer höheren Fokus auf visuelle Informationen.

Sie haben nur Jupiters Video auf der McGurk-Effekt beobachtet. Jetzt sollten Sie wissen, wie zur Durchführung dieser audiovisuellen Illusion und Tonproduktion Phoneme betreffen. Darüber hinaus haben Sie auch ein besseres Verständnis der Wechselwirkungen zwischen Vision und hören und wie sie in Entwicklung und im Erwachsenenalter betroffen sein können.

Danke fürs Zuschauen!

A subscription to JoVE is required to view this article.
You will only be able to see the first 20 seconds.

RECOMMEND JoVE