אפקט מקגורק
מקור: המעבדה של ג'ונתן פלומבאום – אוניברסיטת ג'ונס הופקינס
שפה מדוברת, הישג אנושי ייחודי, מסתמכת במידה רבה על מנגנונים תפיסתיים מיוחדים. אחד המאפיינים…
1. גירויים
- כדי להפוך את McGurk לגירויים אפקט תצטרך מצלמת וידאו - הסוג על טלפון חכם הוא בסדר.
- תצטרך גם מחשב כדי לשלוט בהצגת הסרטונים לנושא נאיבי.
- כוון את המצלמה אל עצמך, כך שהראש שלך ימלא את הצג.
- הפוך ארבע הקלטות. כל אחד צריך להיות באורך 10. בכל אחת מארבע ההקלטות, תחזור על מילה 10 פעמים, בערך 1/s. הנה המילים: קללה, רווח, פאן, יכול. נסה לומר את המילים בכל סרטון בקצב דומה.
2. גרימת האשליה
- כדי לגרום לאשליה, אתה יכול לחבר יחד את הצליל מסרטון אחד ואת התמונה מסרטון אחר. אבל זה לא ממש הכרחי. קל יותר פשוט לעשות את זה באמצעות הטלפון והמחשב שלך בו זמנית. הנה איך.
- בשולחן העבודה של המחשב פתח את הווידאו שבו אתה אומר רווח. כבה את הצליל והפעל את הווידאו.
- בטלפון שלך לפתוח את הווידאו שבו אתה אומר ביין. שים את הטלפון מאחורי מסך המחשב כך שניתן יהיה לשמוע את הצליל, אך לא ניתן לראות את הווידאו. הפעל את הווידאו.
- בקשו מהצופה לצפות במסך המחשב בזמן ההאזנה, וכאשר הסרטון יסיים לפעול, שאלו אותו מה שמעו.
- עשה את אותו הדבר עבור סרטוני המחבת/יכול: הפעל את זרם התמונות שלך אומר יכול בזמן שהטלפון שלך מפעיל את זרם השמע מסרטון המחבת. שאל את המשתתף מה שמעה.
תפיסת שפה - בצורה מדוברת - נהנית מאינטראקציות פנים אל פנים, מכיוון שהפה מספק מידע חזותי טוב לביטוי צלילים ספציפיים.
לדוגמה, בסיטואציה מקרוב וללא הפרעה, אדם יכול לצפות בחברו מזכיר ללכת לים. במקרה זה, הם משתמשים בקלט חזותי - התבוננות בתנועה סביב השפתיים והלשון - כדי להבין בבירור את מה שנאמר.
עם זאת, אם החבר ממשיך לדבר מחוץ לטווח הראייה בחדר אחר, הוא עלול להתפתות לצפות בטלוויזיה המושתקת ולכן עליו להסתמך אך ורק על הקול החסום כדי להבין את המסר.
במקרה זה, מה שנאמר בפועל בקצה הזנב, פיק, הפריע לבעיטה השקטה והתפרש בטעות כקרציה. זוהי דוגמה לאפקט מקגורק, אשליה תפיסתית העולה מחוסר התאמה בין רמזים קוליים וחזותיים.
סרטון זה מדגים כיצד לבנות את הגירויים האודיו-ויזואליים כדי לבחון את התופעה שהתגלתה במקור על ידי מקגורק ומקדונלד. הוא גם חוקר כיצד ראייה מקיימת אינטראקציה עם הפקת קול כדי להבין כיצד אנשים לומדים שפה בגיל צעיר מאוד.
בניסוי זה, המשתתפים התבקשו לצפות בסרטונים מושתקים, שבהם מילה כמו רווח נאמרת, בעוד צליל כמו ביין מושמע בו זמנית ברקע. לאחר מכן, הם מתבקשים לחלוק את מה ששמעו.
כדי להבין את התוצאה, כיצד נוצרת האשליה, בואו נדון תחילה כיצד פונמות - היחידות המינימליות של צלילי הדיבור - מנוסחות.
לדוגמה, bane ו-gain חולקים את אותם אלמנטים בכל המיקומים מלבד הראשון, שהם הצלילים /b/ ו-/g/.
למרות שמילים עם הפונמות הראשוניות הללו עשויות להישמע דומות, כאשר /g/ מוצג ו-/b/ מנוגן, אנשים צפויים לשמוע צליל שלישי שונה לחלוטין?/d/?במקום זאת.
הסיבה לכך ש-/d/ נשמע נובעת מהעובדה שכל השלושה מיוצרים בעצם באותו אופן, עם הבדל קטן בלבד במקום שבו הדובר מציב חסימה בזרימת האוויר, הנקראת נקודות הביטוי, או POA.
לדוגמה, כאשר נשמע צליל /b/, השפתיים מספקות את החסימה, וכתוצאה מכך ייפוי כוח שפתיים, בעוד שעבור /g/, זה מכונה חיך בחלק האחורי של הפה. באשר ל-/d/, ייפוי הכוח הוא דנטלי, תוצאה של נגיעה של הלשון בשיניים העליונות.
כאשר המוח משלב את ה-/g/ החזותי והשמיעתי הסותר /b/, הוא מגיע למסקנה שהצליל הסופי חייב להיות איפשהו באמצע ייפוי הכוח, וכך לשמוע את /d/ ולדווח על המילה Dane.
לקראת ההדגמה, השיגו מחשב להצגת סרטונים וסמארטפון עם מצלמת וידאו.
תחילה מקם את המצלמה כך שהראש שלך ימלא את הצג. כעת, הקליטו ארבעה קליפים של 10 שניות, כל אחד מהם מכיל מילים שונות שיש לחזור עליהן 10 פעמים בקצב של מילה אחת בשנייה. הקפד להעביר את הרווח וסרטוני הפחית למחשב לצורך השמעה חזותית.
כדי לבצע את הניסוי, הושיבו משתתף מול המחשב. פתח את קובץ הווידאו עבור רווח המילה וכבה את האודיו.
בטלפון, פתח את הסרטון לנזק. הנח אותו מאחורי המחשב כך שהמסך שלו יהיה מוסתר ורק הצליל יישמע בבירור.
הנחו את המשתתף להתבונן בצג המחשב ולהקשיב. לאחר מכן, הפעל את שני הסרטונים בו זמנית.
כשהסרטונים מסתיימים, שאלו את המשתתף מה הוא שמע. [משתתף אומר: "דני"]. חזור על ההליך על-ידי הפעלת הווידאו של פחית המילים במחשב והצגת השמע לתנועה פנורמית בטלפון. שוב, שאל את המשתתף מה הוא שמע. [משתתף אומר: "שזוף"].
כאן, המילים bane ו-pan הושמעו בקול רם בזמן שהמשתתף צפה ברווח וניתן להשמיע את פיו. בדרך כלל, כאשר מונח עם הפונמה /g/ מוצג חזותית ומשויך לצליל /b/, אנשים ישמעו /d/.
באופן דומה, כאשר מילה המתחילה ב-/k/ משויכת לצליל /p/, אנשים ישמעו /t/.
הסיבה מאחורי תפיסה שמיעתית כזו נובעת מהאופן שבו מפיקים צלילים. המוח מנסה לפתור מידע סותר מהעיניים הרואות תנועות שפתיים?/b/ ו-/p/?בעוד שהאוזניים שומעות יחידות חיך?/g/ ו-/k/. כתוצאה מכך, הוא מסיק שהצלילים חייבים להיות באמצע, וכתוצאה מכך תפיסה של פונמות שיניים?/d/ ו-/t/.
כעת, כשאתם מכירים כיצד לייצר את אפקט מקגורק, בואו נסתכל על כמה דרכים אחרות שבהן חוקרים משתמשים בתופעה התפיסתית הזו כדי לחקור את התפתחות השפה ומקרים שבהם האפקט משתנה.
תינוקות יכולים אפילו להיבדק על אפקט מקגורק כבר בגיל חמישה חודשים, כשהם טרום-לשוניים, תוך שימוש בפרדיגמת הרגלה של זמן הסתכלות.
בהליך זה, רוזנבלום ועמיתיו הציגו שוב ושוב לתינוקות הברה מסוימת, כמו va, הן בתחום האודיו והן בתחום הוויזואלי לפני שהציגו פונמות לא תואמות בשלב הבדיקה.
תינוקות הראו סימנים של התרגלות לזמני הסתכלות מופחתים וחוסר התרגלות, שצוינו כהסתכלות מוגברת, כאשר משהו אחר מלבד va נתפס. לכן, עוד לפני שתינוקות יכולים לדבר, הם מציגים תוצאות דומות למבוגרים, שבהן הם מסתמכים על שימוש במידע חזותי להבחנה שפה.
עם זאת, ילדים עם אוטיזם מתקשים יותר להציג את אפקט מקגורק באותה קלות כמו קבוצת ביקורת בשל יכולתם הלקויה להבין ולשים לב למרכיבי הפנים החזותיים. זה מצביע על הבדלים מהותיים בעיבוד דיבור אורקולי, מה שעשוי לתרום לקושי שלהם בשפה ובתקשורת.
לבסוף, מטופלים עם נגעים בהמיספרה השמאלית שלהם - הצד השולט בדרך כלל להבנה ולימוד שפה - משתמשים לעתים קרובות בתווי פנים חזותיים כדי לעזור במהלך ריפוי בדיבור. מעניין שכאשר נבדקו על אפקט מקגורק, הם דיווחו לעתים קרובות יותר על שמיעת קולות שיניים בהשוואה לביקורת. תפיסות כאלה נובעות ככל הנראה מההתמקדות הגבוהה יותר שלהן במידע חזותי.
זה עתה צפיתם בסרטון של JoVE על אפקט מקגורק. עכשיו אתה צריך לדעת לנהל את האשליה האודיו-ויזואלית הזו ולקשר פונמות להפקת סאונד. בנוסף, אתה צריך גם להבין טוב יותר את האינטראקציות בין ראייה לשמיעה, וכיצד הן יכולות להיות מושפעות במהלך ההתפתחות והבגרות.
תודה שצפית!
View the full transcript and gain access to JoVE Science Education videos
Q1: What is the McGurk Effect and how does it demonstrate audiovisual perception?
The McGurk Effect is a perceptual illusion arising from a mismatch between sound and visual cues during speech perception. When you watch someone mouth one word while hearing a different word played simultaneously, your brain integrates the conflicting information and you perceive a third sound entirely. For example, watching 'gain' mouthed while hearing 'bane' typically results in hearing 'Dane.' This demonstrates that vision and hearing work together to interpret spoken language.
Q2: Why does the brain perceive a different phoneme when visual and auditory information conflict?
The brain resolves conflicting visual and auditory phonemes by computing a compromise based on points of articulation—where the speaker places an obstruction in airflow. When you see /g/ (palatal, back of mouth) but hear /b/ (labial, lips), your brain concludes the sound must lie between these positions, resulting in /d/ (dental, tongue on teeth). This integration mechanism reflects how perspectives on sensation and perception reveal the brain's reliance on visual information to disambiguate ambiguity in spoken language.
Q3: How can you conduct a McGurk Effect experiment with basic equipment?
Record four 10-second video clips of yourself repeating different words at one word per second. Mute one video on a computer monitor while playing audio from a different word on a hidden smartphone behind it. Ask participants what they heard. For example, play muted 'gain' video with 'bane' audio, or muted 'can' video with 'pan' audio. Participants typically report hearing the compromise phoneme rather than either the visual or auditory input alone.
Q4: What do infants reveal about audiovisual speech processing using the McGurk Effect?
Infants as young as five months old show the McGurk Effect using habituation-of-looking-time paradigms. Researchers repeatedly present infants with matched audiovisual syllables like 'va,' then introduce mismatched phonemes. Infants display habituation through reduced looking times, then dishabituation with increased looking when perceiving something different. This demonstrates that even pre-linguistic infants rely on visual information for language discrimination, similar to adults.
Q5: How does autism affect the McGurk Effect and audiovisual speech processing?
Children with autism show greater difficulty exhibiting the McGurk Effect compared to controls due to impaired ability to understand and attend to visual facial components. This indicates fundamental differences in processing audiovisual speech, which may contribute to their difficulty with language and communication. The reduced reliance on visual cues during speech perception suggests altered integration of sensory information in autism spectrum disorder.
Q6: Why do patients with left hemisphere lesions show stronger McGurk Effects during speech therapy?
Patients with left hemisphere lesions—the side typically dominant for language understanding and learning—often report hearing dental sounds more frequently than controls when tested on the McGurk Effect. This occurs because these patients rely more heavily on visual facial features to compensate for impaired auditory language processing during speech therapy. Their heightened focus on visual information results in stronger perception of the compromise phoneme.
Q7: What role does face-to-face interaction play in language perception?
Face-to-face interaction provides critical visual information about mouth and tongue movements that clarifies spoken language. The mouth can often supply better visual signals than speech supplies auditory signals, especially in close, unobstructed views. The human brain favors visual input to disambiguate inherent ambiguity in spoken language. This reliance on visual cues explains why understanding someone talking out of sight is more difficult than face-to-face communication.