Het McGurk-effect
Bron: Laboratorium van Jonathan Flombaum - Johns Hopkins University
Gesproken taal, een uniek menselijke prestatie, is sterk afhankelijk van gespecial…
1. Stimuli
- Om McGurk-effect-stimuli te maken, heb je een videocamera nodig - die van een smartphone is prima.
- Je hebt ook een computer nodig om de presentatie van de video's aan een onervaren proefpersoon te regelen.
- Richt je camera op jezelf, zodat je hoofd het scherm vult.
- Maak vier opnames. Elke opname moet 10 s lang zijn. In elke van de vier opnames herhaal je een woord 10 keer, ongeveer 1 keer per seconde. Hier zijn de woorden: bane, gain, pan, can. Probeer de woorden in elke video in een vergelijkbaar tempo te zeggen.
2. De illusie induceren
- Om de illusie te induceren, zou je het geluid van de ene video en het beeld van een andere video kunnen samenvoegen. Maar dat is eigenlijk niet echt nodig. Het is gemakkelijker om het gewoon te doen door je telefoon en een computer tegelijkertijd te gebruiken. Hier is hoe.
- Open op je computerbureau de video waarin je gain zegt. Schakel het geluid uit en speel de video af.
- Open op je telefoon de video waarin je bane zegt. Zet de telefoon achter het computerscherm zodat het geluid hoorbaar is, maar het videobeeld niet zichtbaar is. Speel de video af.
- Vraag een waarnemer om naar het computerscherm te kijken terwijl hij luistert, en wanneer de video klaar is, vraag hem wat hij heeft gehoord.
- Doe hetzelfde voor de pan/can-video's: Speel de beeldstroom van je die can zegt terwijl je telefoon de audiostroom van de pan-video speelt. Vraag de deelnemer wat ze heeft gehoord.
Taalperceptie?in gesproken vorm?profiteert van persoonlijke interacties, omdat de mond goede visuele informatie levert voor het articuleren van specifieke geluiden.
Bijvoorbeeld, in een nabije en onbelemmerde situatie, kan een persoon hun vriend horen zeggen dat ze naar het strand gaan. In dit geval gebruiken ze visuele input?het observeren van de beweging rond de lippen en tong?om duidelijk te begrijpen wat er werd gezegd.
Echter, als de vriend verder praat buiten zicht in een andere kamer, kunnen ze in de verleiding komen om de geluidloze televisie te bekijken en daarom moeten ze zich volledig verlaten op de belemmerde stem om het bericht te begrijpen.
In dit geval, wat er eigenlijk werd gezegd aan het einde, pick, interfereerde met de stille kick en werd verkeerd geïnterpreteerd als tick. Dit is een voorbeeld van het McGurk-effect?een perceptuele illusie die ontstaat door een mismatch tussen geluid en visuele aanwijzingen.
Deze video toont hoe de audiovisuele stimuli worden geconstrueerd om het fenomeen te testen dat oorspronkelijk werd ontdekt door McGurk en Macdonald. Het onderzoekt ook hoe visie interactie heeft met geluidsproductie om te begrijpen hoe individuen op zeer jonge leeftijd taal leren.
In dit experiment wordt deelnemers gevraagd om naar geluidloze video's te kijken, waarin een woord als gain wordt gemond, terwijl een geluid zoals bane tegelijkertijd op de achtergrond wordt afgespeeld. Daarna worden ze gevraagd om te delen wat ze hebben gehoord.
Om het resultaat te begrijpen, hoe de illusie wordt geproduceerd, laten we eerst bespreken hoe fonemen?de minimale eenheden van spraakklanken?worden gearticuleerd.
Bijvoorbeeld, bane en gain delen dezelfde elementen op alle posities behalve de eerste, namelijk de klanken /b/ en /g/.
Hoewel woorden met deze initiële fonemen vergelijkbaar kunnen klinken, wanneer /g/ wordt getoond en /b/ wordt afgespeeld, wordt van individuen verwacht dat ze een compleet ander derde geluid?/d/?horen in plaats daarvan.
De reden waarom /d/ wordt gehoord, is vanwege het feit dat alle drie op vrijwel dezelfde manier worden geproduceerd, met slechts een kleine verschil in waar de spreker een belemmering in de luchtstroom plaatst, genaamd de articulatiepunten of POA.
Bijvoorbeeld, wanneer een /b/-klank wordt gemaakt, zorgen de lippen voor de belemmering, wat resulteert in een labiale POA, terwijl voor /g/ dit palataal wordt genoemd?aan de achterkant van de mond. Wat betreft /d/, de POA is dentaal, een gevolg van de tong die de bovenste tanden raakt.
Wanneer de hersenen de conflicterende visuele /g/ en auditieve /b/ integreren, concludeert het dat de laatste klank ergens in het midden van de POA's moet liggen, waardoor /d/ wordt gehoord en het woord Dane wordt gemeld.
In voorbereiding op de demonstratie, haal een computer om video's op te presenteren en een smartphone met een videocamera.
Plaats eerst de camera zodat uw hoofd het scherm vult. Neem nu vier 10-s clips op, elk met verschillende woorden die 10 keer moeten worden herhaald met een snelheid van 1 woord/s. Zorg ervoor dat de gain- en can-video's worden overgezet naar de computer voor visuele weergave.
Voer het experiment uit door een deelnemer voor de computer te laten zitten. Open het videobestand voor het woord gain en zet het geluid uit.
Op de telefoon opent u de video voor bane. Plaats het achter de computer zodat het scherm verborgen is en alleen het geluid duidelijk kan worden gehoord.
Instrueer de deelnemer om naar de computermonitor te kijken en te luisteren. Speel vervolgens beide video's tegelijkertijd af.
Wanneer de clips eindigen, vraagt u de deelnemer wat ze hebben gehoord. [Deelnemer zegt: "Dane"]. Herhaal de procedure door de video van het woord can op de computer af te spelen en het geluid voor pan op de telefoon te presenteren. Vraag opnieuw aan de deelnemer wat ze hebben gehoord. [Deelnemer zegt: "tan"].
Hier werden de woorden bane en pan hardop afgespeeld terwijl de deelnemer gain en can zag worden gemond. Typisch, wanneer een term met de /g/-foneem visueel wordt getoond en wordt gekoppeld aan het geluid /b/, zullen individuen /d/ horen.
Evenzo, wanneer een woord dat begint met /k/ wordt gekoppeld aan het geluid /p/, zullen individuen /t/ horen.
De reden achter zo'n auditieve perceptie is te wijten aan de manier waarop geluiden worden geproduceerd. De hersenen proberen conflicterende informatie op te lossen van de ogen die labiale bewegingen zien?/b/ en /p/?terwijl de oren palatale eenheden horen?/g/ en /k/. Als resultaat concludeert het dat de geluiden ergens in het midden moeten liggen, wat resulteert in de perceptie van dentale fonemen?/d/ en /t/.
Nu u bekend bent met hoe de McGurk-effect kan worden geproduceerd, laten we eens kijken naar enkele andere manieren waarop onderzoekers dit perceptuele fenomeen gebruiken om taalontwikkeling en gevallen waarin het effect wordt gewijzigd te onderzoeken.
Zelfs zuigelingen kunnen op de leeftijd van vijf maanden worden getest op het McGurk-effect, wanneer ze pre-linguïstisch zijn, met behulp van een habituatie-van-kijktijd-paradijg.
In deze procedure presenteerden Rosenblum en collega's herhaaldelijk zuigelingen een bepaalde lettergreep, zoals va, in zowel de audio- als visuele domeinen voordat ze niet-overeenkomende fonemen introduceerden in een testfase.
Zuigelingen vertoonden tekenen van habituatie aan va?verminderde kijktijden?en dishabituatie, opgemerkt als toegenomen kijken, wanneer iets anders dan va werd waargenomen. Dus, zelfs voordat zuigelingen kunnen praten, tonen ze vergelijkbare resultaten als volwassenen, waarbij ze vertrouwen op het gebruik van visuele informatie voor taalonderscheiding.
Echter, kinderen met autisme hebben meer moeite om het McGurk-effect zo gemakkelijk te vertonen als controles vanwege hun verminderde ver
View the full transcript and gain access to JoVE Science Education videos
Q1: What is the McGurk Effect and how does it demonstrate audiovisual perception?
The McGurk Effect is a perceptual illusion arising from a mismatch between sound and visual cues during speech perception. When you watch someone mouth one word while hearing a different word played simultaneously, your brain integrates the conflicting information and you perceive a third sound entirely. For example, watching 'gain' mouthed while hearing 'bane' typically results in hearing 'Dane.' This demonstrates that vision and hearing work together to interpret spoken language.
Q2: Why does the brain perceive a different phoneme when visual and auditory information conflict?
The brain resolves conflicting visual and auditory phonemes by computing a compromise based on points of articulation—where the speaker places an obstruction in airflow. When you see /g/ (palatal, back of mouth) but hear /b/ (labial, lips), your brain concludes the sound must lie between these positions, resulting in /d/ (dental, tongue on teeth). This integration mechanism reflects how perspectives on sensation and perception reveal the brain's reliance on visual information to disambiguate ambiguity in spoken language.
Q3: How can you conduct a McGurk Effect experiment with basic equipment?
Record four 10-second video clips of yourself repeating different words at one word per second. Mute one video on a computer monitor while playing audio from a different word on a hidden smartphone behind it. Ask participants what they heard. For example, play muted 'gain' video with 'bane' audio, or muted 'can' video with 'pan' audio. Participants typically report hearing the compromise phoneme rather than either the visual or auditory input alone.
Q4: What do infants reveal about audiovisual speech processing using the McGurk Effect?
Infants as young as five months old show the McGurk Effect using habituation-of-looking-time paradigms. Researchers repeatedly present infants with matched audiovisual syllables like 'va,' then introduce mismatched phonemes. Infants display habituation through reduced looking times, then dishabituation with increased looking when perceiving something different. This demonstrates that even pre-linguistic infants rely on visual information for language discrimination, similar to adults.
Q5: How does autism affect the McGurk Effect and audiovisual speech processing?
Children with autism show greater difficulty exhibiting the McGurk Effect compared to controls due to impaired ability to understand and attend to visual facial components. This indicates fundamental differences in processing audiovisual speech, which may contribute to their difficulty with language and communication. The reduced reliance on visual cues during speech perception suggests altered integration of sensory information in autism spectrum disorder.
Q6: Why do patients with left hemisphere lesions show stronger McGurk Effects during speech therapy?
Patients with left hemisphere lesions—the side typically dominant for language understanding and learning—often report hearing dental sounds more frequently than controls when tested on the McGurk Effect. This occurs because these patients rely more heavily on visual facial features to compensate for impaired auditory language processing during speech therapy. Their heightened focus on visual information results in stronger perception of the compromise phoneme.
Q7: What role does face-to-face interaction play in language perception?
Face-to-face interaction provides critical visual information about mouth and tongue movements that clarifies spoken language. The mouth can often supply better visual signals than speech supplies auditory signals, especially in close, unobstructed views. The human brain favors visual input to disambiguate inherent ambiguity in spoken language. This reliance on visual cues explains why understanding someone talking out of sight is more difficult than face-to-face communication.