אינטראקציה בין תהליכים פונולוגיים וסמנטיים בזיהוי מילים חזותי באמצעות אלקטרופיזיולוגיה
Summary
אנו מציגים פרוטוקול כדי לחקור את רצף ההפעלה היחסי של פונולוגיה וסמנטיקה בזיהוי מילים חזותיות. התוצאות מראות כי בהתאם לחשבונות אינטראקטיביים, ייצוגים סמנטיים ופונולוגיים עשויים להיות מעובדים באופן אינטראקטיבי, וייצוגים לשוניים ברמה גבוהה יותר עשויים להשפיע על עיבוד מוקדם.
Abstract
מחלוקות תמיד היו קיימות במחקרים הקשורים ליכולות קריאה; על האם מילים מודפסות נתפסות באופן הזנה על סמך מידע אורתוגרפי שלאחריו מופעלים ייצוגים אחרים, כגון פונולוגיה וסמנטיקה, או אם מדובר במידע סמנטי אינטראקטיבי לחלוטין ברמה גבוהה המשפיע על עיבוד מוקדם. פרדיגמת הפרעה יושמה בפרוטוקול המוצג של משימות שיפוט פונולוגיות וסמנטיות שניצלו את אותם זוגות קודמים כדי לחקור את הסדר היחסי של הפעלה פונולוגית וסמנטית. מילות היעד בתדר גבוה ונמוך קדמו לשלושה תנאים: קשר סמנטי, קשר טלפוני (הומופונים) או לא קשור. התוצאות הראו כי רכיב P200 המושרה של זוגות מילים בתדר נמוך היה גדול משמעותית ממילים בתדר גבוה הן במשימות הסמנטיות והן במשימות הפונולוגיות. בנוסף, הן ההומופונים במשימה הסמנטית והן הזוגות הקשורים סמנטית במשימה הפונולוגית גרמו לירידה ב- N400 בהשוואה למצב הבקרה, תדירות המילים באופן עצמאי. ראוי לציין כי עבור זוגות בתדר נמוך במשימת השיפוט הפונולוגי, P200 שוחרר על ידי זוגות מילים הקשורים סמנטית היה גדול באופן משמעותי מזה במצב הבקרה. בסך הכל, עיבוד סמנטי במשימות פונולוגיות ועיבוד פונולוגי במשימות סמנטיות נמצאו הן במילים בתדר גבוה והן בתדר נמוך, דבר המצביע על כך שהאינטראקציה בין סמנטיקה לפונולוגיה עשויה לפעול באופן עצמאי ממשימה. עם זאת, ייתכן שהזמן הספציפי בו התרחשה אינטראקציה זו הושפע מהמשימה והתדירות.
Introduction
הנושא הקריטי בכל מודל זיהוי מילים הוא הבנת תפקידה של הפונולוגיה בתהליך הגישה הסמנטית1. עבור שפות אלפביתיות, מחקרים רבים רואים בעקביות את הפונולוגיה כמי שמילאה תפקיד חשוב בגישה סמנטית, כולל אנגלית2,3,4, עברית5, צרפתית6וספרדית7. במילים אחרות, זיהוי מילים כתובות כרוך לא רק בעיבוד אורתוגרפי אלא גם פונולוגי וסמנטי. תצפית זו במודל הקשר האינטראקטיבי מוסברת על ידי הרחבות המופעלות ברחבי הרשת, שם האורתוגרפיה קשורה לייצוגים פונולוגיים וסמנטיים באמצעות חיבורים משוקללים8. התפשטות זו של הפעלה מספקת את מנגנון הליבה של מודל זיהוי המילים החזותיות, אשר מניח כי ייצוגים פונולוגיים וסמנטיים מופעלים באופן אוטומטי בתגובה לקלט אורתוגרפי9.
עם זאת, הראיות האמפיריות הנוכחיות התומכות בהשערה של אוטומציה אינטראקטיבית נותרות שנויות במחלוקת. מחקרים מסוימים טוענים כי הפעלה של ייצוגים פונולוגיים וסמנטיים ניתן להתאים או למנוע על ידי דרישות משימה או תשומת לב, מה שמרמז על השפעה מלמעלה למטה מסוימת על התהליכים ברמה גבוהה המעורבים בתפיסתמילים 10,11. עם זאת, התיאור הנ”ל נחקר על ידי ממצאים רבים המדווחים על אפקטים פונולוגיים וסמנטיים בזיהוי מילים חזותי למרות שייצוגים אלה אינם רלוונטיים לחלוטין למשימה או שלא ניתן לגשת אליהם ישירות12, ובכך תומכים בדעה כי ניתן לגשת לסמנטיקה ולפונולוגיה באופן אוטומטי ובכפותיות במהלך תהליך הקריאה13 . לכן, קיימת אי ודאות אם ההפעלה הפונולוגית והסמנטית בזיהוי מילים חזותיות תלויה במשימה הספציפית או אם היא מתרחשת בכפייה ובאופן אוטומטי באופן בלתי תלוי במשימה.
התשובה לשאלה הנ”ל קשה לקוראים הסינים. בהשוואה לאנגלית, סינית היא כתב לוגרפי שתוויו מייצגים מורפימס במקום פונמות14. כיום, תפקידה של הפונולוגיה לגישה סמנטית למילים סיניות נותר שנוי במחלוקת. כמה מחקרים טענו כי פונולוגיה ממלאת תפקיד חשוב בגישה סמנטית למילים סיניות15,16,17. אחרים, לעומת זאת, החזיקו בדעה הפוכה18,19. לאחר הערכת המחקר הנ”ל לעיבוד פונולוגי סיני, מצאנו כי הפרדיגמה הניסיונית ושיטות המחקר הספציפיות שונות זו מזו. באופן כללי, הוא חולק בעיקר לשתי פרדיגמות: מילה15,18,19 והפרת פרדיגמה במשפט17,20,21. מילת היעד מוטבעת בדרך כלל בסוף המשפט בפרדיגמת ההפרה22. במונחים של מנגנון שפה, ביטוי קצר של שתי מילים הוא יחידה לניהול יותר מאשר משפט שלם שקשה לעבד23. בנוסף, משתנים שקשה לשלוט בהם במשפט, כגון תחביר, הקשר או גורמים אחרים, עשויים להוביל למסקנות שונות24. המילה פרדיגמה ראשונית היא שיטה המשמשת בדרך כלל לחקור מודלים לזיהוי מילים, בין אם בשפות אלפביתיות או בסינית. המשימה של פרדיגמה זו היא לשפוט אם מילת היעד שקדמה לה בפריים היא מילה אמיתית או מילה מדומה; כלומר, פרדיגמה זו מכילה בדרך כלל רק משימה לקסיקלית אחת. עם זאת, משימת החלטה לקסיקלית אחת עשויה שלא להיות הבחירה הטובה ביותר לפתור את הבעיה של האם הפעלת פונולוגיה וסמנטיקה תלויה במשימה. לכן, שתי משימות שונות עשויות להיות מתאימות יותר לחקר שאלה זו.
לכן, מחקר זה נועד לחקור את תפקידה של פונולוגיה בזיהוי מילים בסינית ובו זמנית לנסות לקבוע אם הפעלת פונולוגיה וסמנטיקה היא במשימה עצמאית. המחקר שלנו כולל שתי משימות באמצעות פרדיגמת ההפרעה: שיפוט סמנטי ושיפוט פונולוגי. למיטב ידיעתנו, זהו המחקר הפוטנציאלי הראשון הקשור לאירוע (ERP) של זיהוי מורכב סיני בן שני תווים באמצעות פרדיגמת הפרעה זו, ושיטה זו מופיעה לעתים רחוקות במחקרים של שפות אלפביתיות. באופן ספציפי, במשימת השיפוט הסמנטית, על המשתתפים לשפוט אם מילת היעד ותקדים שלה קשורים סמנטית, ואילו במשימה הפונולוגית, עליהם לשפוט אם למילים הזוגיות יש את אותה הגייה.
הראשונה היא משימה תואמת סמנטית שאינה דורשת עיבוד פונולוגי priori, והאחרונה היא משימת שיפוט פונולוגית שאינה דורשת עיבוד סמנטי מראשי. לכן, השווינו זוגות הומופונים וקבוצות בקרה לא קשורות במשימת השיפוט הסמנטית כדי לחשוף אם וכיצד הפונולוגיה משפיעה על עיבוד סמנטי. באופן דומה, השווינו זוגות מילים הקשורים סמנטית לתנאי בקרה שאינם קשורים במשימת השיפוט הפונולוגית כדי לגלות אם וכיצד סמנטיקה משפיעה על העיבוד הפונולוגי. בנוסף, הבעיה הנ”ל אומתה במילים בתדר גבוה ונמוך. לפיכך, משימת שיפוט סמנטית ופונולוגית משלימה זו יכולה לא רק לחשוף את החשיבות של עיבוד פונולוגי בזיהוי מילים סיני, אלא גם לחשוף אם וכיצד פונוולוגיה וסמנטיקה מתקשרות.
אם הפונולוגיה והתהליכים הסמנטיים הם מוקדמים, אוטומטיים ואינטראקטיביים, יש לראות את ההשפעה של הפעלה פונולוגית וסמנטית בזמן התגובה של שתי המשימות. עבור ERP, תהליכים פונולוגיים וסמנטיים מפעילים שני סמנים אלקטרופיזיולוגיים שונים2,7. בנוסף, קורסי הזמן שלהם וההפצות המרחביות שלהם צריכים להיות שונים. רכיב חיובי מוקדם (P200) צריך לשקף עיבוד פונולוגי, ואת סמן עיבוד סמנטי טיפוסי N400 צריך להיות מזוהה גם20,21. הנחנו כי הן הזוגות הקשורים מבחינה פונולוגית במשימה הסמנטית והן הזוגות הסמנטיים במשימה הפונולוגית יגרמו לירידה משמעותית ב- N400, מה שהיה מצביע על כך שעיבוד פונולוגי עשוי להוביל במידה מסוימת של הפעלה ברמות לקסיקיות-סמנטיות. בנוסף, עקבנו אם ה- P200, המאפיין עיבוד פונולוגי, הופיע במשימת השיפוט הסמנטית או במשימת השיפוט הפונולוגית. במשימת השיפוט הפונולוגי, תנאים הקשורים סמנטית מפעילים את P200, אשר ניתן לראות כעדות להשפעה המוקדמת של סמנטיקה על עיבוד פונולוגי.
Protocol
Representative Results
Discussion
תוצאות ניסוי ומשמעות:
מטרת פרוטוקול זה הייתה להסיק את הדברים הבאים: 1) בין אם מודל זיהוי המילים הוא מודל הזנה או מודל אינטראקטיבי ו- 2) האינטראקציה בין התבניות הפונולוגיות והסמנטיות בזיהוי מורכב בן שני תווים סיני בתדר גבוה ונמוך תחת משימות שונות. אומצה פרדיגמת הפרעה של משימת התאמ?…
Disclosures
The authors have nothing to disclose.
Acknowledgements
עבודה זו נתמכה על ידי התוכנית העיקרית של הקרן הלאומית למדעי הטבע של סין (62036001).
Materials
| BrainAmp DC amplifier system (Brain Products GmbH) | Brain Products, Gilching, Germany | BrainAmp S/N AMP13061964DC Input 5.6DC=150mA Operation 7mA Standby | |
| Easycap (Brain Products GmbH) | Brain Products, Gilching, Germany | 62 Ag/AgCl electrodes with a configuration of the international 10–20 system of electrode |
References
- Carreiras, M., Armstrong, B. C., Perea, M., Frost, R. The what, when, where, and how of visual word recognition. Trends in Cognitive Sciences. 18 (2), 90-98 (2014).
- Grainger, J., Kiyonaga, K., Holcomb, P. J. The time course of orthographic and phonological code activation. Psychological Science. 17 (12), 1021-1026 (2006).
- Ashby, J. Phonology is fundamental in skilled reading: Evidence from ERPs. Psychonomic Bulletin Review. 17 (1), 95-100 (2010).
- Wilson, L. B., Tregellas, J. R., Slason, E., Pasko, B. E., Rojas, D. C. Implicit phonological priming during visual word recognition. Neuroimage. 55 (2), 724-731 (2011).
- Frost, R., Ahissar, M., Gotesman, R., Tayeb, S. Are phonological effects fragile? The effect of luminance and exposure duration on form priming and phonological priming. Journal of Memory and Language. 48 (2), 346-378 (2003).
- Ferrand, L., Grainger, J. Effects of orthography are independent of phonology in masked form priming. The Quarterly Journal of Experimental Psychology. 47 (2), 365-382 (1994).
- Carreiras, M., Perea, M., Vergara, M., Pollatsek, A. The time course of orthography and phonology: ERP correlates of masked priming effects in Spanish. Psychophysiology. 46 (5), 1113-1122 (2009).
- Pattamadilok, C., et al. Automaticity of phonological and semantic processing during visual word recognition. Neuroimage. 149, 244-255 (2017).
- Harm, M. W., Seidenberg, M. S. Computing the meanings of words in reading: Cooperative division of labor between visual and phonological processes. Psychological Review. 111 (3), 662-720 (2004).
- Brown, M. S., Roberts, M. A., Besner, D. Semantic processing in visual word recognition: Activation blocking and domain specificity. Psychonomic Bulletin & Review. 8 (4), 778-784 (2001).
- Devlin, J. T., Matthews, P. M., Rushworth, M. F. S. Semantic processing in the left inferior prefrontal cortex: A combined functional magnetic resonance imaging and transcranial magnetic stimulation study. Journal of Cognitive Neuroscience. 15 (1), 71-84 (2003).
- Rodd, J. M. When do leotards get their spots? Semantic activation of lexical neighbors in visual word recognition. Psychonomic Bulletin & Review. 11 (3), 434-439 (2004).
- Frost, R. Toward a strong phonological theory of visual word recognition: True issues and false trails. Psychological Bulletin. 123 (1), 71-99 (1998).
- Yu, L., Reichle, E. D. Chinese versus English: Insights on cognition during reading. Trends in Cognitive Sciences. 21 (10), 721-724 (2017).
- Tan, L. H., Perfetti, C. A. Phonological activation in visual identification of Chinese two-character words. Journal of Experimental Psychology: Learning, Memory, and Cognition. 25 (2), 382 (1999).
- Liu, Y., Perfetti, C. A., Hart, L. ERP evidence for the time course of graphic, phonological, and semantic information in Chinese meaning and pronunciation decisions. Journal of Experimental Psychology: Learning, Memory, and Cognition. 29 (6), 1231 (2003).
- Ren, G. -. Q., Liu, Y., Han, Y. -. C. Phonological activation in chinese reading: an event-related potential study using low-resolution electromagnetic tomography. Neuroscience. 164 (4), 1623-1631 (2009).
- Wang, K., Mecklinger, A., Hofmann, J., Weng, X. From orthography to meaning: an electrophysiological investigation of the role of phonology in accessing meaning of Chinese single-character words. Neuroscience. 165 (1), 101-106 (2010).
- Wong, A. -. K., Wu, Y., Chen, H. -. C. Limited role of phonology in reading Chinese two-character compounds: Evidence from an ERP study. Neuroscience. 256, 342-351 (2014).
- Meng, X., Jian, J., Shu, H., Tian, X., Zhou, X. ERP correlates of the development of orthographical and phonological processing during Chinese sentence reading. Brain research. 1219, 91-102 (2008).
- Liu, B., Jin, Z., Qing, Z., Wang, Z. The processing of phonological, orthographical, and lexical information of Chinese characters in sentence contexts: an ERP study. Brain research. 1372, 81-91 (2011).
- Leminen, A., Smolka, E., Dunabeitia, J. A., Pliatsikas, C. Morphological processing in the brain: The good (inflection), the bad (derivation) and the ugly (compounding). Cortex. 116, 4-44 (2019).
- Pylkkänen, L. The neural basis of combinatory syntax and semantics. Science. 366 (6461), 62-66 (2019).
- Halgren, E., et al. N400-like magnetoencephalography responses modulated by semantic context, word frequency, and lexical class in sentences. Neuroimage. 17 (3), 1101-1116 (2002).
- Huang, Y., Jiang, M., Guo, Q., Wang, Y., Yang, F. -. P. G. Dissociation of the confounding influences of expectancy and integrative difficulty residing in anomalous sentences in event-related potential studies. Journal of Visualized Experiments. (147), e59436 (2019).
- Wang, Y., Jiang, M., Huang, Y., Qiu, P. An ERP study on the role of phonological processing in reading two-character compound chinese words of high and low frequency. Frontiers in Psychology. 12, 637238 (2021).
- Carreiras, M., Vergara, M., Barber, H. Early event-related potential effects of syllabic processing during visual word recognition. Journal of Cognitive Neuroscience. 17 (11), 1803-1817 (2005).
- Hauk, O., Davis, M. H., Ford, M., Pulvermuller, F., Marslen-Wilson, W. D. The time course of visual word recognition as revealed by linear regression analysis of ERP data. Neuroimage. 30 (4), 1383-1400 (2006).
