Overview
מקור: המעבדה של ג'ונתן פלומבאום – אוניברסיטת ג'ונס הופקינס
שפה מדוברת, הישג אנושי ייחודי, מסתמכת במידה רבה על מנגנונים תפיסתיים מיוחדים. אחד המאפיינים החשובים של מנגנוני תפיסת השפה הוא שהם מסתמכים בו זמנית על מידע שמיעתי וחזותי. זה הגיוני, כי עד העידן המודרני, אדם יכול לצפות שרוב השפה תישמע באינטראקציות פנים אל פנים. ומכיוון שהפקת צלילי דיבור ספציפיים דורשת ביטוי מדויק, הפה יכול לספק מידע חזותי טוב על מה שמישהו אומר. למעשה, עם מבט מקרוב ובלתי מפריע על פניו של מישהו, הפה יכול לעתים קרובות לספק אותות חזותיים טובים יותר מאשר דיבור מספק אותות שמיעתיים. התוצאה היא שהמוח האנושי מעדיף קלט חזותי, ומשתמש בו כדי להפרך את העמימות הטבועה בשפה המדוברת.
הסתמכות זו על קלט חזותי כדי לפרש צליל תוארה על ידי הארי מקגורק וג'ון מקדונלד במאמר בשנת 1976 שנקרא שמיעה שפתיים וצפייה בקולות. 1 בעיתון זה, הם תיארו אשליה המתעוררת באמצעות חוסר התאמה בין הקלטת קול להקלטת וידאו. האשליה הזו נודעה כאפקט מקגורק. וידאו זה ידגים כיצד לייצר ולפרש את אפקט McGurk.
Procedure
1. גירויים
- כדי להפוך את McGurk לגירויים אפקט תצטרך מצלמת וידאו - הסוג על טלפון חכם הוא בסדר.
- תצטרך גם מחשב כדי לשלוט בהצגת הסרטונים לנושא נאיבי.
- כוון את המצלמה אל עצמך, כך שהראש שלך ימלא את הצג.
- הפוך ארבע הקלטות. כל אחד צריך להיות באורך 10. בכל אחת מארבע ההקלטות, תחזור על מילה 10 פעמים, בערך 1/s. הנה המילים: קללה, רווח, פאן, יכול. נסה לומר את המילים בכל סרטון בקצב דומה.
2. גרימת האשליה
- כדי לגרום לאשליה, אתה יכול לחבר יחד את הצליל מסרטון אחד ואת התמונה מסרטון אחר. אבל זה לא ממש הכרחי. קל יותר פשוט לעשות את זה באמצעות הטלפון והמחשב שלך בו זמנית. הנה איך.
- בשולחן העבודה של המחשב פתח את הווידאו שבו אתה אומר רווח. כבה את הצליל והפעל את הווידאו.
- בטלפון שלך לפתוח את הווידאו שבו אתה אומר ביין. שים את הטלפון מאחורי מסך המחשב כך שניתן יהיה לשמוע את הצליל, אך לא ניתן לראות את הווידאו. הפעל את הווידאו.
- בקשו מהצופה לצפות במסך המחשב בזמן ההאזנה, וכאשר הסרטון יסיים לפעול, שאלו אותו מה שמעו.
- עשה את אותו הדבר עבור סרטוני המחבת/יכול: הפעל את זרם התמונות שלך אומר יכול בזמן שהטלפון שלך מפעיל את זרם השמע מסרטון המחבת. שאל את המשתתף מה שמעה.
תפיסת השפה – בצורה מדוברת – נהנית מאינטראקציות פנים אל פנים, שכן הפה מספק מידע חזותי טוב להפקת צלילים ספציפיים.
לדוגמה, במצב קרוב ובלתי מופרע, אדם יכול לצפות בחברו מזכיר את הולך לחוף הים. במקרה זה, הם משתמשים בקלט חזותי – התבוננות בתנועה סביב השפתיים והלשון – כדי להבין בבירור את הנאמר.
עם זאת, אם החבר ממשיך לדבר מחוץ לטווח הראייה בחדר אחר, הם עלולים להתפתות לצפות בטלוויזיה המושתקת ולכן חייבים להסתמך אך ורק על הקול החסום כדי להבין את המסר.
במקרה זה, מה שנאמר למעשה בקצה הזנב, לבחור, הפריע לבעיטה השקטה והתפרש לא נכון כקרציה. זוהי דוגמה לאפקט מקגורק – אשליה תפיסתית המתעוררת באמצעות חוסר התאמה בין רמזים קוליים וחזותיים.
וידאו זה מדגים כיצד לבנות את הגירויים האודיו-קוליים כדי לבחון את התופעה שהתגלתה במקור על ידי מקגורק ומקדונלד. הוא גם חוקר כיצד ראייה מתקשרת עם הפקת קול כדי להבין כיצד אנשים לומדים שפה בגיל צעיר מאוד.
בניסוי זה, המשתתפים מתבקשים לצפות בסרטונים מושתקים, שבהם מילה כמו רווח מושמעת, בעוד שצליל כמו ביין מושמע בו זמנית ברקע. לאחר מכן, הם מתבקשים לחלוק את מה ששמעו.
כדי להבין את התוצאה, כיצד נוצרת האשליה, הבה נדון תחילה באופן שבו פונמות – היחידות המינימליות של צלילי הדיבור – מתבטאות.
לדוגמה, ביין ולרכוש לשתף את אותם אלמנטים בכל העמדות למעט הראשון, שהם הצלילים /b/ ו / g / .
למרות שמילים עם פונמות ראשוניות אלה עשויות להישמע דומות, כאשר הפרמטר /g/ מוצג ו- /b/ מושמע, אנשים צפויים לשמוע צליל שלישי שונה לחלוטין - /d/— במקום זאת.
הסיבה /d/ נשמעת נובעת מהעובדה כי כל השלושה מיוצרים בעצם באותו אופן, עם הבדל קטן בלבד שבו הרמקול מציב חסימה בזרימת האוויר, הנקראת נקודות הניסוח, או POA.
לדוגמה, כאשר נוצר צליל /b/ , השפתיים מספקות את החסימה, וכתוצאה מכך POA שפתיים, ואילו עבור /g/, הוא מכונה palatal - בחלק האחורי של הפה. באשר /d/, POA הוא דנטלי, תוצאה של הלשון נוגעת בשיניים העליונות.
כאשר המוח משלב את החזותי הסותר /g/ ושמיעתי /b/, הוא מסיק כי הצליל הסופי חייב לשכב איפשהו באמצע POAs, ובכך לשמוע /d/ ולדווח על המילה דיין.
כהכנה להדגמה, יש להשיג מחשב שיציג סרטונים וטלפון חכם עם מצלמת וידאו.
מקם תחילה את המצלמה כך שהראש ימלא את הצג. כעת, הקלט ארבעה קליפים של 10 שניות, שכל אחד מהם מכיל מילים שונות שיש לחזור עליהן 10 פעמים בקצב של מילה/שניה אחת. הקפד להעביר את הרווח ויכול קטעי וידאו למחשב להפעלה חזותית.
כדי לערוך את הניסוי, לשבת משתתף מול המחשב. פתח את קובץ הווידאו עבור רווח המילים וכבה את השמע.
בטלפון, פתח את הווידאו עבור ביין. מקם אותו מאחורי המחשב כך שהמסך שלו מוסתר ורק הצליל יכול להישמע בבירור.
הנחה את המשתתף לצפות בצג המחשב ולהאזין. לאחר מכן, הפעל את שני הסרטונים בו-זמנית.
כאשר הסרטונים מסתיימים, שאל את המשתתף מה שמע. [המשתתף אומר: "דיין"]. חזור על ההליך על-ידי הפעלת הווידאו של המילה יכול במחשב והצגת השמע עבור פאן בטלפון. שוב, שאל את המשתתף לגבי מה שהם שמעו. [המשתתף אומר: "שיזוף"].
כאן, המילים ביין ומחבת הושמעו בקול רם כאשר המשתתף צפה ברווח ויכול להיות בפה. בדרך כלל, כאשר מונח עם /g/ phoneme מוצג חזותית ומשויך לצליל /b/, אנשים ישמעו /d/.
כמו כן, כאשר מילה המתחילה ב- /k/ משויכת לצליל /p/, אנשים ישמעו /t/.
הסיבה מאחורי תפיסה שמיעתית כזו נובעת מהאופן שבו צלילים מיוצרים. המוח מנסה לפתור מידע סותר מהעיניים ורואה תנועות מעבדה - /b/ ו- /p/— בעוד האוזניים שומעות יחידות חיך - /g/ ו- /k/. כתוצאה מכך, הוא מסיק כי הצלילים חייבים לשכב באמצע, וכתוצאה מכך את התפיסה של פונמות שיניים - / ד / ו / t / .
עכשיו שאתם מכירים כיצד לייצר את אפקט מקגורק, בואו נסתכל על כמה דרכים אחרות שבהן חוקרים משתמשים בתופעה התפיסתית הזו כדי לחקור את התפתחות השפה ומקרים שבהם ההשפעה משתנה.
תינוקות יכולים אפילו להיבדק על אפקט McGurk כבר בגיל חמישה חודשים, כאשר הם טרום לשוניים, באמצעות פרדיגמה הרגלה של זמן מראה.
בהליך זה, רוזנבלום ועמיתיו הציגו שוב ושוב לתינוקות הברה מסוימת, כמו va, הן בתחומים האודיו והן בתחום החזותי לפני הצגת פונמות לא תואמות בשלב הבדיקה.
תינוקות הראו סימנים של הרגלה va - זמני המראה מופחתים - ו dishabituation, ציין כמו מראה מוגבר, כאשר משהו אחר מאשר va נתפס. לכן, עוד לפני שתינוקות יכולים לדבר, הם מציגים תוצאות דומות למבוגרים, שבהן הם מסתמכים על שימוש במידע חזותי לאפליה בשפה.
עם זאת, ילדים עם אוטיזם מתקשים יותר להציג את אפקט McGurk בקלות כמו פקדים בשל יכולתם הלקויה להבין ולטפל ברכיבי הפנים החזותיים. זה מצביע על הבדלים מהותיים בעיבוד דיבור אורקולי, אשר עשוי לתרום לקושי שלהם עם שפה ותקשורת.
לבסוף, חולים עם נגעים בחצי הכדור השמאלי שלהם – הצד השולט בדרך כלל להבנה ולמידה של שפה – משתמשים לעתים קרובות בתווי פנים חזותיים כדי לעזור במהלך טיפול בדיבור. מעניין, כאשר נבדק על אפקט McGurk, הם דיווחו לעתים קרובות יותר שמיעה צלילי שיניים לעומת פקדים. תפיסות כאלה נובעות ככל הנראה מהתמקדותן הגבוהה יותר במידע חזותי.
הרגע צפית בסרטון של ג'וב על אפקט מקגורק. עכשיו אתה צריך לדעת איך לנהל את האשליה האודיו-קולית הזו ולקשר פונמות לייצור קול. בנוסף, אתה צריך גם הבנה טובה יותר של האינטראקציות בין ראייה ושמיעה, וכיצד הם יכולים להיות מושפעים במהלך התפתחות ובגרות.
תודה שצפיתם!
Subscription Required. Please recommend JoVE to your librarian.
Results
זכור, הצלילים שהושמעו לצופה שלך הם המילים ביין או פאן. אבל בסרטונים הנלווים, המילים המתבטאות הן רווח ויכולות בהתאמה. אז אילו מילים אנשים באמת ישמעו? התשובה היא לרוב אף אחד מארבעת אלה. במקום זאת, התוצאה האופיינית היא כי משקיפים במצב הקללה / רווח ישמעו את המילה דיין. וצופים במחבת / יכול מצב ישמע את המילה שיזוף.
כדי להבין למה אנחנו צריכים להבין קצת על איך פונמות מיוצרות. פונמה היא יחידה מינימלית של צליל דיבור. למילים ביין ולרווח יש את אותם פונמות בכל העמדות אבל הראשונה. במילה ביין הפונמה הראשונה היא צליל b, מסומן /b/. במילה רווח זה הצליל / g / . הצלילים הנותרים זהים - ולכן המילים מתחרזות. איור 1 מפרק את אפקט מקגורק במונחים של הפונמות הראשוניות בדוגמאות אלה. כאשר הפרמטר /b/ מוצג ומושמע /g/ , אנשים שומעים /d/. המילה דיין במילים אחרות גם מתחרזת עם קללה ורווח, עם הבדל פונטם אחד ממש בהתחלה.
איור 1: אפקט מקגורק מתרחש כאשר יש חוסר התאמה בין פונמה המתבטאת במצגת חזותית לבין פונמה שונה מושמעת בו-זמנית באמצעות רמקולים. עם פונמות החולקות תכונות ביטוי מסוימות, התוצאה שנשמעה עשויה שלא להתאים לאף אחד מהגירויים הלא תואמים. באי-התאמה נשמע צליל שלישי. באופן ספציפי, חזותי /g / עם שמיעתי /b / גורם פונטם /d / להישמע. זו הסיבה שרווח חזותי עם חריבה שמיעתית גורם לדיין להישמע. באופן דומה, חזותי /k / עם שמיעתי /p / מוביל את הצליל /t / להישמע. לכן יכול / פאן מייצר שיזוף באפקט McGurk.
מדוע סותרים /b/ ו/ g / לייצר a /d / באופן ספציפי? ובכן, /b/, /g/, ו/ d / הם באמת לא כל כך שונים אחד מהשני, במיוחד במונחים של איך הם מיוצרים. השלושה בעצם כרוכים בהעברת אותה כמות אוויר מהגרון של אדם דרך הפה שלהם, עם הבדל רק במקום שבו הרמקול מציב חסימה קטנה. כאשר מישהו משמיע קול / b , הם משתמשים בשפתיו כדי לחסום את האוויר; זה ידוע כנקודת רהוטה מעבדה. עבור צליל / g / , נקודת הניסוח היא palatal - זה רחוק בחלק האחורי של הפה. ולצליל / d / , נקודת הניסוח ידועה בשם שיניים מכיוון שאנשים חוסמים את זרימת האוויר דרך הפה על ידי נגיעה בלשונם לשיניים העליונות. איור 2 מציג את נקודות ההתבטאות היחסיות של שש הפונמות באפקט מקגורק.
איור 2: בני אדם מפיקים צלילים על ידי הזזת אוויר דרך גרונם ופיהם. זה כרוך בתנודות בגרון. קבוצה נתונה של תנודות המיוצרות בגרון יכול לייצר פונמות שונות מרובות על ידי חסימת זרימת האוויר. המקום שבו חסימה ממוקמת כדי ליצור צליל מסוים נקרא נקודת הניסוח. שלוש נקודות חשובות של ביטוי ידועות בשם labial, בהתייחסו לשפתיים; שיניים, בהתייחס לשיניים; ופלאטאל, בהתייחס לחיך, או לגג האחורי של הפה. האיור מראה כיצד הפונמות המיוצרות ונשמעות באפקט מקגורק שונות מבחינת נקודות הניסוח שלהן.
עכשיו שאתה יודע קצת על איך הצלילים האלה מיוצרים, ההיגיון של אפקט McGurk צריך להיות ברור יותר. זה עובד ככה: המוח שלך יודע שיש פונמות שלמעשה די דומות זו לזו. באפקט מקגורק המילה ביין מושמעת לצופה, מובלת על ידי צליל / b . אבל הפנים בסרטון מזיזות את הפה שלהם כפי שהם היו עושים צליל / g / ומילה רווח. לכן המוח מקבל תשומות סותרות מהעיניים והאוזניים. כדי לפתור את הסכסוך, המוח מגיע למסקנה שהאמת היא כנראה איפשהו באמצע. מאז /d/ הוא הצליל בין /b / ו / g / -במונחים של ייצור - זה מה שאנשים שומעים. אותו הסבר חל על הפיכת הקונפליקט בין פאן לפחית לשיזוף. /p/ הוא צליל מעבדה, ו/ k / הוא צליל פלטלי. הדנטלי שביניהם הוא /t/.
Subscription Required. Please recommend JoVE to your librarian.
Applications and Summary
מקום אחד שאפקט מקגורק היה חשוב הוא להבין כיצד תינוקות צעירים מאוד לומדים שפה מדוברת. מחקר שנערך בשנת 1997 הצליח להראות שאפילו תינוקות בני 5 חודשים תופסים את אפקט מקגורק. 2 זה חשוב כי זה מרמז כי מידע חזותי עשוי לשמש תינוקות כדי לפתור אתגר גדול ללמוד שפה לנתח זרם שמע רציף ליחידות שלה. חשוב כיצד שפה זרה המדוברת במהירותה הרגילה יכולה להיראות כמו ערבוביה כזו שאולי אתה אפילו לא יודע היכן המילה גבולות. ובכן, אם כל השפות זרות לתינוקות, אז איך הם להבין איפה המילים? אפקט מקגורק מצביע על כך שהם יכולים להסתמך על דפוסי ביטוי פנים.
Subscription Required. Please recommend JoVE to your librarian.
References
- McGurk, H., & MacDonald, J. (1976). Hearing lips and seeing voices. Nature, 264, 746-748.
- Rosenblum, L. D., Schmuckler, M. A., & Johnson, J. A. (1997). The McGurk effect in infants. Perception & Psychophysics, 59(3), 347-357.
