6.12: Der McGurk-Effekt

(1) Reize

1. Um McGurk Effekt Reize, die Sie benötigen, eine Video-Kamera-die Art auf einem Smartphone ist fein.
2. Sie benötigen auch einen Computer zur Steuerung der Präsentation von Videos zu einem naiven Thema.
3. Richten Sie die Kamera auf sich selbst, so dass Ihr Kopf das Display ausfüllt.
4. Vier Aufnahmen zu machen. Jeder sollte 10 s lang. In jedem der vier Aufnahmen müssen Sie ein Wort 10mal, etwa 1/s wiederholen. Hier sind die Worte: Bane, gewinnen, schwenken, kann. Versuchen Sie, die Worte in jedem Video in einem ähnlichen Tempo.

(2) induzieren die Illusion

1. Um die Illusion zu induzieren, könnten Sie gemeinsam den Ton von einem Video und Bild aus einer anderen Spleißen. Aber das ist nicht wirklich notwendig. Es ist einfacher, tun Sie es einfach mit Ihrem Telefon und einem Computer gleichzeitig. Hier ist wie.
2. Auf Ihrem Desktop öffnen Sie das Video, in dem du sagst, zu gewinnen. Schalten Sie den Ton, und starten Sie das Video.
3. Auf Ihrem Handy öffnen Sie das Video, in dem Sie Bane sagen. Setzen Sie das Telefon hinter dem Computer-Bildschirm, so dass der Ton zu hören, aber das Video nicht zu sehen. Das Video abzuspielen.
4. Fragen eines Beobachters auf den Computer-Bildschirm sehen Sie beim hören, und wenn das Video fertig spielen, Fragen sie, was sie zu hören.
5. Machen Sie dasselbe für die Pfanne/Videos können: die Bild-Stream von Ihnen sagen kann zu spielen, während Ihr Telefon den Audiostream aus dem Pan-Video spielt. Bitten Sie die Teilnehmer, was sie hören.

Die Sprachwahrnehmung in gesprochener Form profitiert von Interaktionen von Angesicht zu Angesicht, da der Mund gute visuelle Informationen für die Artikulation bestimmter Laute liefert.

Zum Beispiel kann eine Person in einer Situation aus nächster Nähe und ungehindert beobachten, wie ihr Freund erwähnt, dass er an den Strand geht. In diesem Fall verwenden sie visuelle Eingaben, indem sie die Bewegung um die Lippen und die Zunge beobachten, um das Gesagte klar zu verstehen.

Wenn der Freund jedoch in einem anderen Raum weiterhin außer Sichtweite spricht, könnte er versucht sein, den stummgeschalteten Fernseher zu schauen, und muss sich daher ausschließlich auf die blockierte Stimme verlassen, um die Botschaft zu verstehen.

In diesem Fall störte das, was eigentlich am Ende gesagt wurde, Pick, den stillen Kick und wurde als Tick fehlinterpretiert. Dies ist ein Beispiel für den McGurk-Effekt, eine Wahrnehmungsillusion, die durch eine Diskrepanz zwischen Klang und visuellen Hinweisen entsteht.

Dieses Video zeigt, wie man die audiovisuellen Reize konstruiert, um das ursprünglich von McGurk und Macdonald entdeckte Phänomen zu testen. Es wird auch untersucht, wie das Sehen mit der Klangproduktion interagiert, um zu verstehen, wie Individuen Sprache in sehr jungen Jahren lernen.

In diesem Experiment werden die Teilnehmer gebeten, stummgeschaltete Videos anzusehen, in denen ein Wort wie Gain ausgesprochen wird, während gleichzeitig ein Geräusch wie Bane im Hintergrund abgespielt wird. Anschließend werden sie gebeten, das Gehörte zu erzählen.

Um das Ergebnis zu verstehen, wie die Illusion erzeugt wird, lassen Sie uns zunächst diskutieren, wie Phoneme – die minimalen Einheiten von Sprachlauten – artikuliert werden.

Zum Beispiel teilen sich Bane und Gain in allen Positionen die gleichen Elemente, mit Ausnahme der ersten, die die Sounds /b/ und /g/ sind.

Obwohl Wörter mit diesen Anfangsphonemen ähnlich klingen können, wird erwartet, dass Individuen, wenn /g/ gezeigt und /b/ gespielt wird, stattdessen einen völlig anderen dritten Laut hören?/d/?.

Der Grund, warum /d/ gehört wird, liegt in der Tatsache, dass alle drei im Grunde auf die gleiche Weise erzeugt werden, mit nur einem kleinen Unterschied in der Stelle, an der der Lautsprecher ein Hindernis in der Luftströmung platziert, die sogenannten Artikulationspunkte oder POA.

Wenn zum Beispiel ein /b/-Laut erzeugt wird, stellen die Lippen die Obstruktion dar, was zu einem labialen POA führt, während es für /g/ als palatinal? im hinteren Teil des Mundes bezeichnet wird. Was /d/ betrifft, so ist der POA zahnärztlich, eine Folge davon, dass die Zunge die oberen Zähne berührt.

Wenn das Gehirn das widersprüchliche visuelle /g/ und das auditive /b/ integriert, kommt es zu dem Schluss, dass der endgültige Klang irgendwo in der Mitte von POAs liegen muss, also /d/ hört und meldet das Wort Däne.

Besorgen Sie sich zur Vorbereitung auf die Demonstration einen Computer zum Präsentieren von Videos und ein Smartphone mit einer Videokamera.

Positionieren Sie die Kamera zunächst so, dass Ihr Kopf das Display ausfüllt. Nehmen Sie nun vier 10-Sekunden-Clips auf, die jeweils unterschiedliche Wörter enthalten, die 10 Mal mit einer Geschwindigkeit von 1 Wort/s wiederholt werden sollten. Stellen Sie sicher, dass Sie die Verstärkung und die Can-Videos für die visuelle Wiedergabe auf den Computer übertragen.

Um das Experiment durchzuführen, setzen Sie einen Teilnehmer vor den Computer. Öffnen Sie die Videodatei für das Wort Gain und schalten Sie den Ton aus.

Öffnen Sie auf dem Telefon das Video für bane. Platzieren Sie es so hinter dem Computer, dass der Bildschirm verdeckt ist und nur der Ton deutlich zu hören ist.

Weisen Sie den Teilnehmer an, auf den Computermonitor zu schauen und zuzuhören. Spielen Sie dann beide Videos gleichzeitig ab.

Wenn die Clips zu Ende sind, fragen Sie den Teilnehmer, was er gehört hat. [Teilnehmer sagt: "Däne"]. Wiederholen Sie den Vorgang, indem Sie das Video des Wortes can auf dem Computer abspielen und das Audio für pan auf dem Telefon präsentieren. Fragen Sie den Teilnehmer noch einmal, was er gehört hat. [Teilnehmer sagt: "braun"].

Hier wurden die Wörter Bane und Pan laut abgespielt, während der Teilnehmer zusah, wie Gain und Can mit dem Mund gebeugt wurden. Wenn ein Begriff mit dem Phonem /g/ visuell dargestellt und mit dem Klang /b/ gepaart wird, hören Einzelpersonen in der Regel /d/.

Wenn ein Wort, das mit /k/ beginnt, mit dem Laut /p/ gepaart wird, hören Einzelpersonen ebenfalls /t/.

Der Grund für eine solche auditive Wahrnehmung liegt in der Art und Weise, wie Geräusche erzeugt werden. Das Gehirn versucht, widersprüchliche Informationen aus den Augen zu lösen, indem es labiale Bewegungen sieht?/b/ und /p/, während die Ohren palatinale Einheiten hören?/g/ und /k/. Daraus folgert sie, dass die Laute in der Mitte liegen müssen, was zur Wahrnehmung der dentalen Phoneme ?/d/ und /t/ führt.

Nachdem Sie nun wissen, wie man den McGurk-Effekt erzeugt, schauen wir uns einige andere Möglichkeiten an, wie Forscher dieses Wahrnehmungsphänomen nutzen, um die Sprachentwicklung und Fälle zu untersuchen, in denen der Effekt verändert ist.

Säuglinge können sogar bereits im Alter von fünf Monaten, wenn sie sich in der prälinguistischen Phase befinden, auf den McGurk-Effekt getestet werden, wobei ein Paradigma der Gewöhnung an die Sehzeit verwendet wird.

In diesem Verfahren präsentierten Rosenblum und Kollegen Säuglingen wiederholt eine bestimmte Silbe wie va sowohl im audiovisuellen als auch im visuellen Bereich, bevor sie in einer Testphase nicht übereinstimmende Phoneme einführten.

Säuglinge zeigten Anzeichen einer Gewöhnung an verkürzte Sehzeiten und einer Gewöhnung, die sich als vermehrtes Sehen bemerkbar machte, wenn etwas anderes als va wahrgenommen wurde. Noch bevor Säuglinge sprechen können, zeigen sie ähnliche Ergebnisse wie Erwachsene, bei denen sie auf die Verwendung visueller Informationen zur Sprachunterscheidung angewiesen sind.

Kinder mit Autismus haben jedoch größere Schwierigkeiten, den McGurk-Effekt so leicht zu zeigen wie Kontrollen, da sie die visuellen Gesichtskomponenten verstehen und sich um sie kümmern können. Dies deutet auf grundlegende Unterschiede in der Verarbeitung audiovisueller Sprache hin, die zu ihren Schwierigkeiten mit Sprache und Kommunikation beitragen können.

Schließlich verwenden Patienten mit Läsionen in der linken Hemisphäre – der Seite, die typischerweise für das Verstehen und Erlernen von Sprache vorherrscht – häufig visuelle Gesichtszüge, um während der Logopädie zu helfen. Interessanterweise gaben sie bei Tests auf den McGurk-Effekt häufiger an, Zahngeräusche zu hören als Kontrollen. Solche Wahrnehmungen sind wahrscheinlich auf ihren stärkeren Fokus auf visuelle Informationen zurückzuführen.

Sie haben gerade das Video von JoVE über den McGurk-Effekt gesehen. Nun sollten Sie wissen, wie Sie diese audiovisuelle Illusion durchführen und Phoneme mit der Klangerzeugung in Beziehung setzen können. Darüber hinaus sollten Sie auch ein besseres Verständnis für die Wechselwirkungen zwischen Sehen und Hören haben und wie sie während der Entwicklung und im Erwachsenenalter beeinflusst werden können.

Danke fürs Zuschauen!