באמצעות תנועות עיניים טלקוה הפרדיגמה העולם הויזואלי לחקור את עיבוד מקוון של השפה המדוברת

שיטה זו יכולה לסייע לענות על שאלות מפתח בעיבוד מקוון של שפה מדוברת, כולל משפטים מורכבים מבחינה סמנטית, כגון ביטולי גינויים ותנאים. היתרון העיקרי של טכניקה זו הוא שניתן לבצע אותה במגוון רחב של אוכלוסיות כדי ללמוד את רוב הנושאים בתחומים של עיבוד שפה. הדגמת ההליך תהיה שו ג'ינג, סטודנטית לתואר שני.

קאו ייפאן, וואנג מנג, יאנג שיאוטונג, ז'אן מין וג'ואו שוהאן הם הסטודנטים של קבוצת המחקר שלי. כדי להכין את הגירויים החזותיים, להוריד 60 תמונות אוסף תמונות חינם זכויות יוצרים של בעלי חיים מהאינטרנט ולפתוח את התמונות בעורך תמונה מתאים. לחץ על כלים ולהשתמש בבחירה מהירה כדי לבחור ולמחוק את הרקע מכל תמונה.

לחץ על תמונה וגודל תמונה כדי לשנות את גודל התמונות ל- 120 על 120 פיקסלים ולצייר תיבה אחת גדולה ופתוחה של 320 x 240 פיקסלים, תיבת 160 x 160 פיקסלים סגורה אחת קטנה ושתי תיבות קטנות ופתוחות של 160 x 240 פיקסלים. פתח קובץ חדש כדי ליצור תבנית של 1, 024 על 768 פיקסלים עבור תמונת הבדיקה הראשונה, וגרור את התיבות למיקומים שצוינו. גרור שתי תמונות אוסף תמונות לתוך התיבה הפתוחה הגדולה ואחד מאותן שתי תמונות לתוך שתי התיבות הפתוחות הקטנות.

לאחר מכן צרו עוד 59 תמונות בדיקה כפי שהודגמו רק כאשר כל תמונה של בעלי חיים משמשת פעמיים לכל תמונת בדיקה, ומזן את המיקומים המרחביים של ארבע הקופסאות בין התמונות. כדי להכין את גירויי השפה המדוברת, עצב ארבעה משפטים מתאימים לכל תמונת מבחן בשפת האם של המשתתפים ל-240 משפטים למבחן בסך הכל, כאשר לפחות שלושה מתוך ארבעת המשפטים ואחד מכל אחד מהצורות מאויר. גייס דוברת שפת אם כדי להקליט ארבע הצהרות לדוגמה, כמו גם אודיו לכל בעלי החיים המשמשים בניסוי.

חלק את 240 משפטי המבחן לארבע קבוצות, כאשר כל קבוצה מכילה 15 משפטים משכנעים, 15 הצהרות לא משכנעות, 15 אך הצהרות ו-15 משפטים של מילוי. לאחר מכן שמור את כל המידע החשוב לגבי גירויי הבדיקה לתוך קובץ טקסט מופרד באמצעות טאבים, כאשר כל שורה תואמת לכל אחד מ- 240 הגירסאות. כדי לבנות את רצף הניסויים, פתח את בונה הניסויים וצור פרוייקט חדש.

גרור אובייקט מסך תצוגה לסביבת העבודה ושנה את שם סביבת העבודה הוראה. לחץ על הוסף משאב טקסט מרובה קו ולחץ פעמיים כדי לפתוח את רצף הבלוקים כדי לבנות את רצף הבלוקים. גרור צומת הגדרת מצלמה של EI לתוך רצף החסימות כדי להעלות מסך הגדרת מצלמה במחשב המארח של EyeLink כדי להקל על הכיול ואימות הגדרת המצלמה.

לחצו על השדה 'סוג כיול' בחלונית 'מאפיינים' ובחרו HV5 מהרשימה הנפתחת. כדי לבנות את רצף הניסיון גרור צומת מסך תצוגה לתוך רצף הניסיון ושנה את Animal_1_Image. גרור צומת צליל השמעה לתוך רצף הניסיון ושנה את שמו Animal_1_Audio.

גרור צומת שעון זמן לתוך רצף הניסיון ושנה את שמו Animal_1_Audio_Length. המשך לגרור ו לשנות את השם של צמתים נוספים של מסך תצוגה, השמע צליל ושעון משנה ברצף הניסיון עד שנוצרים שלושה צמתים עבור כל תמונת אוסף תמונות. לאחר מכן גרור צומת דריפט נכון לתוך רצף הניסיון כדי להציג את תיקון הסחף.

כדי לבנות את רצף ההקלטה, גרור צומת מסך תצוגה חדש לתוך רצף הרשומות. שנה את שם Test_Image. לחץ פעמיים על הצומת מסך תצוגה כדי לפתוח את בונה המסך, לחץ על אזור הוספת אזור הריבית של המלבן וצייר ארבעה אזורי עניין מלבניים.

גרור צומת שעון עצר לסביבת העבודה, שנה את שם הצומת השהה ושנה את מאפיין המשך ל- 500 אלפיות שניה. גרור צומת השמע צליל לסביבת העבודה ושנה את שם Test_Audio, וגרור צומת שעון שעון עבודה לסביבת העבודה ושנה את Test_Audio_Length. לאחר מכן הוסף צומת לוח מקשים לסביבת העבודה, שנה את שם הצומת תגובות התנהגותיות ושנה את המאפיין מקשים קבילים ל למעלה, למטה, ימינה, שמאלה.

כדי לערוך ניסוי, אתחל את המערכת במחשב המארח כדי להפעיל את היישום המארח של המצלמה ולחץ על גירסת ההפעלה של הפרוייקט הניסיוני במחשב התצוגה. הזן את שם המשתתף ולחץ על בחר ערך תנאי כדי לפעול כדי לבחור קבוצה מחלון הבקשה. מניחים מדבקת יעד קטנה על מצחו של המשתתף כדי לעקוב אחר תנוחת הראש גם כאשר תמונת האישון אובדת כגון במהלך הבהובים או תנועות פתאומיות. מושב המשתתף כ 60 ס"מ מ 21 אינץ' 4:3 צבע צג עם 1, 024 על ידי 769 פיקסלים ברזולוציה, אשר 27 פיקסלים שווה זווית אחת.

כוונן את הגובה של צג מחשב התצוגה כדי להבטיח שכאשר המשתתף מסתכל ישר קדימה, הוא מסתכל אנכית על ה-75% האמצעיים העליונים של הצג, ולאחר מכן סובב את זרוע ההתמקדות בהצבת השולחן כדי להתמקד בתדמית העין. לאחר מכן, לחץ על כיול במחשב המארח ובקש מהמשתתף להתקבע על רשת של חמש מטרות קיבעון, ברצף אקראי ללא תגובות התנהגותיות פקוחות, כדי למפות את תנועות העיניים של המשתתף למבט ההתייחסות בעולם החזותי. לחץ על אמת ובקש מהמשתתף להתקבע באותה רשת של יעדי קיבוע כדי לאמת את תוצאות הכיול.

בצע בדיקת דריפט על-ידי בקשה מהמשתתף ללחוץ על מקש הרווח בלוח המקשים תוך קיבוע על הנקודה השחורה במרכז המסך. לאחר מכן הציגו את הגירויים החזותיים באמצעות צג צג התצוגה תוך כדי השמעת הגירויים השמיעתיים באמצעות זוג רמקולים חיצוניים הממוקמים משמאל ומימין לצג. עבור קידוד וניתוח נתונים, פתח את מציג הנתונים ולחץ על קובץ, יבא קובץ וייבא קבצי נתונים מרובים של EyeLink כדי לייבא את כל קבצי מעקב העיניים המוקלטים.

שמור את הקבצים בקובץ evs יחיד ולאחר מכן פתח את קובץ evs ולחץ על ניתוח, דוחות ודוחות לדוגמה כדי לייצא את הנתונים לדוגמה גולמיים ללא צבירה. התגובה הנכונה להצהרה משכנעת היא התיבה הפתוחה הגדולה, בעוד שהתגובה הנכונה להצהרה אך היא התיבה הפתוחה הקטנה המכילה את החיה המוזכרת הראשונה בתוך ההצהרה. באופן קריטי, התיבה שנבחרה עבור המשפטים המשלים תלויה באופן עיבוד משפט מותנה.

לדוגמה, התיבה הסגורה הקטנה נבחרת רק כאשר המשתמע הסקלרי וגם מסקנות הבורות מחושבות, כתוצאה מההבנה של משפט disjunctive. כפי שמודגם בלוח, קיבעון העיניים בתיבה הסגורה הקטנה אינו גדל אלא אם כן החיבור התשג הוא החיבור הדיסוקטיבי או עם העלייה שמתחילה לא יאוחר מהיסט החיבור הדיסג'ון. פרדיגמת העולם החזותי היא טכניקה רב-תכליתית למעקב אחר העיניים להסקה של ההבנה המקוונת של המשתתפים את השפה המדוברת מתנועות העיניים שלהם בעולם האמיתי.

כאשר המשתתפים המגייסים זוכרים שהם צריכים להיות נורמליים או לתקן יכולת ראייה נורמלית ויכולת שמיעה נורמלית. כדי לעצב מחקר מתאים בעולם האמיתי, יש לשלוט בגורמים אחרים שעשויים להשפיע על תנועות העיניים של המשתתפים. כאשר מנתחים סטטיסטית את התוצאות, יש לשקול בעיה שעשויה לנבוע מתגובות מאוגדות, יש לשקול את כל המתאם האוטומטי או ההשוואות האוטומטיות.