Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Behavior
Click here for the English version

Behavior

מתודולוגיה ללכידת תשומת לב ויזואלית משותפת באמצעות עוקבים אחר העין הניידת

Published: January 18, 2020 doi: 10.3791/60670
Automatic Translation
1
1Learning, Innovation, and Technology Lab, Graduate School of Education, Harvard University

Summary

שימוש בחיישנים רב-מודאליים הוא דרך מבטיחה להבין את התפקיד של אינטראקציות חברתיות בהגדרות חינוכיות. נייר זה מתאר מתודולוגיה עבור לכידת תשומת לב חזותית משותפת מתוך דיאדת ממוקם באמצעות מעוקבים העין ניידים.

Abstract

עם הופעתו של פיתוחים טכנולוגיים חדשים, ניתן ללמוד אינטראקציות חברתיות במיקרורמה עם דיוק חסר תקדים. חיישנים בתדר גבוה, כגון עוקבים אחר העיניים, להקות הפעילות האלקטרועורי, להקות EEG, וחיישני תנועה מספקים תצפיות ברמת מילי-שניה. רמת דיוק זו מאפשרת לחוקרים לאסוף מערכות נתונים גדולות על אינטראקציות חברתיות. במאמר זה, אני דן כיצד מספר עוקבים העין יכולים ללכוד מבנה בסיסי באינטראקציות חברתיות, תשומת לב חזותית משותפת (JVA). JVA נחקרה על ידי פסיכולוגים התפתחותיים כדי להבין כיצד ילדים רוכשים שפה, מדענים לומדים להבין כיצד קבוצות קטנות של לומדים לעבוד יחד, מדענים חברתיים להבין אינטראקציות בקבוצות קטנות. נייר זה מתאר מתודולוגיה עבור לכידת JVA בהגדרות ממוקם באמצעות מעוקבים העין ניידים. היא מציגה כמה תוצאות אמפירית ודנה בהשלכות של לכידת מיקרו-תצפיות כדי להבין אינטראקציות חברתיות.

Introduction

JVA כבר נחקרו בהרחבה במהלך המאה האחרונה, במיוחד על ידי פסיכולוגים התפתחותיים ללמוד רכישת שפה. זה הוקם במהירות כי תשומת לב משותפת היא יותר מסתם דרך ללמוד מילים אלא מבשר מראש לתיאוריות של הילדים של המוח1. לפיכך, היא ממלאת תפקיד משמעותי בתהליכים חברתיים רבים, כגון תקשורת עם אחרים, שיתוף פעולה ופיתוח אמפתיה. ילדים אוטיסטים, למשל, חוסר יכולת לתאם את תשומת הלב החזותית שלהם עם המטפלים שלהם, אשר קשורה לליקויים חברתיים משמעותיים2. בני האדם זקוקים לתשומת לב משותפת כדי להפוך לחברים פונקציונליים של החברה, לתאם את פעולותיהם וללמוד מאחרים. מילדים הרוכשים את המילים הראשונות שלהם, בני נוער לומדים ממורי בית ספר, סטודנטים המשתפים פעולה בפרויקטים, ולקבוצות של מבוגרים העובדים למען מטרות משותפות, תשומת לב משותפת היא מנגנון בסיסי להקמת הקרקע המשותפת בין היחידים3. במאמר זה, אני מתמקד במחקר של JVA במחקר חינוכי. הבנת אופן הטיפול המשותף במשך הזמן היא בעלת חשיבות עיקרית לחקר תהליכי למידה משותפים. ככזה, הוא משחק תפקיד דומיננטי בהגדרות הסוציוביסטית.

ההגדרה המדויקת לתשומת לב משותפת עדיין נדונהבארבע. נייר זה מודאג עם מבנה משנה של תשומת לב משותפת (JA), כלומר JVA. JVA קורה כאשר שני נושאים מסתכלים באותו מקום בו זמנית. יצוין כי JVA אינו מספק כל מידע על מבנים חשובים אחרים של עניין במחקר של JA, כגון ניטור משותף, הדדית, תשומת לב משותפת, או יותר באופן כללי, מודעות של הכרה של חבר אחר בקבוצה. נייר זה מבצע הפעלה ומפשט את JVA על ידי שילוב נתוני מעקב אחר העין משני משתתפים וניתוח התדר שבו הם מיישר את הביט שלהם. לדיון מקיף יותר, הקורא המעוניין יכול ללמוד עוד על חקר המבנה של ה-JA בסיפוסואט אל.4.

במהלך העשור האחרון, ההתקדמות הטכנולוגית הפכה באופן קיצוני למחקר על JVA. משמרת הפרדיגמה העיקרית הייתה להשתמש במספר עוקבים כדי להשיג מדדים כמותיים של המערכים האטתיים, בניגוד לניתוח הקלטות וידאו ובקרה במעבדה או בסביבה אקולוגית. התפתחות זו אפשרה לחוקרים לאסוף מידע מדויק ומפורט על תיאום חזותי של לסביות. בנוסף, עוקבים העין הופכים סבירים יותר: עד לאחרונה, השימוש שלהם שמורה הגדרות אקדמיות או תאגידים גדולים. כעת ניתן לרכוש מעוקבים העין זול שיוצרים מערכות נתונים אמין. לבסוף, את ההכללה הפרוגרסיבית של יכולות מעקב המבט לתוך התקנים קיימים כמו מחשבים נישאים high-end ו-אוזניות מציאות וירטואלית ורבודה מציע כי מעקב אחר העין בקרוב יהיה בכל מקום.

בגלל הפופולריזציה של מכשירי מעקב אחר עיניים, חשוב להבין מה הם יכולים ולא יכול לספר לנו על אינטראקציות חברתיות. המתודולוגיה המוצגת במאמר זה מסמנת צעד ראשון בכיוון זה. אני מטפל בשני אתגרים בלכידת JVA ממספר עוקבים: סנכרון הנתונים ב-1) הסולם הזמני, ו -2 בקנה מידה מרחבי. באופן ספציפי יותר, פרוטוקול זה עושה שימוש fiducial סמנים ממוקמים בסביבות העולם האמיתי כדי ליידע את האלגוריתמים לראיית מחשב שבו המשתתפים מורידים את המבט. סוג חדש זה של מתודולוגיה מפחית את הדרך לניתוח קפדני של התנהגות אנושית בקבוצות קטנות.

פרוטוקול מחקר זה תואם את ההנחיות של ועדת האתיקה של המחקר האנושי באוניברסיטת הרווארד.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

1. הקרנת משתתפת

  1. ודא כי המשתתפים עם חזון רגיל או מתוקן לנורמלי מגויסים. בגלל שהמשתתפים יתבקש ללבוש מכשיר מעקב נייד, הם יכולים להרכיב עדשות מגע אבל לא משקפיים רגילים.

2. הכנה לניסוי

  1. מכשירי מעקב אחר עיניים
    1. השתמש בכל עין מכשיר נייד מסוגל ללכוד את תנועת העין בסביבות העולם האמיתי.
      הערה: העין עוקבים הנייד המשמש כאן היו שתי המשקפיים Tobii Pro 2 (ראה טבלת חומרים). בנוסף מצלמות מיוחדות שיכולות לעקוב אחר תנועות עיניים, המשקפיים מצוידים גם מצלמה HD סצינה מיקרופון כך המבט יכול להיות דמיינו בהקשר של השדה החזותי של המשתמש. משקפיים אלה ללכוד את נתוני המבט 50 פעמים בשנייה. חוקרים אחרים השתמשו ASL Mobile העין5, smi6, או התלמיד-מעבדות7, כולם מספקים זרמי וידאו ממצלמת הסצינה ואת קואורדינטות מעקב העין בשיעורי דגימה שונים (30-120 Hz). ההליך שלהלן עשוי להשתנות מעט עם התקנים אחרים למעקב אחר עיניים.
  2. Fiducial סמנים
    1. שני השלבים הבאים (כלומר, יישור הזמני והמרחבי) דורשים שימוש fiducial סמנים. קיימות מספר ספריות לראיית מחשבים המספקות לחוקרים סמנים ואלגוריתמים אלה כדי לאתר אותם בתמונה או בהזנת וידאו. הפרוטוקול שמתואר משתמש בספריה Chilitag8.
  3. יישור זמני
    1. מכיוון שנתוני מעקב העין נרשמים בשתי יחידות נפרדות, ודא שהנתונים מסונכרנים כראוי (איור 1). ניתן להשתמש בשתי שיטות עיקריות. כתב יד זה מכסה רק את השיטה הראשונה, מכיוון שסנכרון השרת פועל באופן שונה עם כל מותג של מעקב העין הנייד.
      1. הצג בקצרה סמן fiducial על מסך מחשב כדי לסמן את ההתחלה ואת סוף ההפעלה. הדבר דומה לזיבה יד ויזואלית (איור 2).
      2. לחלופין, השתמש בשרת כדי לסנכרן את השעונים של שתי יחידות איסוף הנתונים. שיטה זו מדויקת מעט יותר ומומלצת יותר אם יש צורך בדיוק מיותר בזמן הרקה.
  4. יישור מרחבי
    1. כדי לגלות אם שני משתתפים מסתכלים באותו מקום באותו הזמן, ממפים את הביט שלהם למישור משותף. מטוס זה יכול להיות תמונה של ההגדרה הניסיונית (לראות את הצד השמאלי של איור 3). תכנן את התמונה בקפידה לפני הניסוי.
    2. גודל הסמנים הfiducial: הגודל הכללי של הסמנים הfiducial תלוי באלגוריתם המשמש לזיהוי הווידאו מעקב אחר העין. למשטחים הקרובים למשתתפים יכולים להיות סמנים fiducial קטנים יותר, בעוד שמשטחים רחוקים מהם צריכים להיות גדולים יותר, כך שהם ייראו דומים מנקודת המבט של המשתתפים. נסה במידות שונות מראש כדי לוודא שניתן לזהות אותן מווידאו המעקב אחר העין.
    3. מספר סמני fiducial: כדי להפוך את התהליך של נקודות מבט של מיפוי למישור משותף מוצלח, ודא שמספר סמני fiducial גלויים מנקודת המבט של המשתתפים בכל זמן נתון.
    4. מיקום סמני fiducial: מסגרת תחומי עניין רלוונטיים עם רצועות של fiducial סמנים (למשל, לראות את מסך המחשב הנישא באיור 3).
  5. לבסוף, הפעל טייסים כדי לבדוק את פרוצדורת הסנכרון וקבע את המיקום האופטימלי, הגודל והמספר של סמני fiducial. ניתן לעבד סרטוני מעקב אחר עיניים באמצעות אלגוריתם לראיית מחשב כדי לראות אם הסמנים הfiducial מזוהים באופן אמין.

3. הרצת הניסוי

  1. וראות
    1. להנחות את המשתתפים לשים את המשקפיים מעקב עין כפי שהם היו זוג נורמלי של משקפיים. בהתבסס על תכונות הפנים הנפרדות של המשתתפים, ייתכן שיהיה צורך להשתמש בפיסות אף של גבהים שונים כדי לשמר את איכות הנתונים.
    2. לאחר שהדליק את העין, המשתתפים מקליטים את יחידת ההקלטה לעצמם כדי לאפשר תנועת גוף טבעית.
  2. כיול
    1. הורה למשתתפים לבדוק את מרכז סמן הכיול שסופק על-ידי Tobii בזמן שפונקציית הכיול של התוכנה מופעלת. לאחר השלמת הכיול, ניתן להפעיל את ההקלטה מתוך התוכנה.
    2. הורה למשתתפים לא להעביר את מכשיר העיניים הנייד לאחר הכיול. אם כן, סביר להניח שהנתונים לא יהיו מדויקים ויהיה צורך לבצע שוב את תהליך הכיול.
  3. ניטור נתונים
    1. נטר את תהליך איסוף הנתונים במהלך המחקר וודא שנתוני מעקב העיניים נאספים כראוי. רוב העוקבים הניידים יכולים לספק זרם חי על מכשיר נפרד (למשל, טבליה) למטרה זו.
  4. יצוא נתונים
    1. לאחר שהפעלת ההקלטה תושלם, הורה למשתתף להסיר את משקפי המעקב והיחידה לאיסוף הנתונים. . כבה את היחידה
    2. חילוץ נתונים באמצעות תוכנה אחרת, מעבדת הפרו של Tobii, על-ידי הסרת כרטיס ה-SD מיחידת איסוף הנתונים לייבא את נתוני ההפעלה. Tobii Pro מעבדה ניתן להשתמש כדי להפעיל שוב את הווידאו, ליצור פריטים חזותיים, ולייצא את נתוני מעקב אחר העיניים כקבצי מופרדים בפסיקים (. csv) או מופרדים באמצעות טאבים (. tsv).

4. עיבוד מקדים של נתוני מעקב אחר העין הכפולה

  1. שפיות בדיקת נתונים מעקב אחר העין
    1. בדוק את נתוני מעקב העין באופן חזותי לאחר איסוף הנתונים. זה לא נדיר שמשתתפים מסוימים חסרים נתונים. לדוגמה, כמה פיזיולוגיה עין מסוימת יכולים להוות בעיות באלגוריתמים למעקב אחר עיניים, המשקפיים עשויות לנוע במהלך הניסוי, תוכנת איסוף הנתונים עשויה לקרוס, וכו '.
    2. השתמש בסטטיסטיקה תיאורית כדי לבדוק את מידת הנתונים שאבדו במהלך כל הפעלה והכללת הפעלות בעלי כמויות משמעותיות של נתונים חסרים או רועשים.
  2. יישור זמני
    1. חתוך את הנתונים מכל אחד מעוקב העין הנייד כדי לכלול רק אינטראקציות בין המשתתפים. ניתן להשיג זאת באמצעות השיטה המתוארת לעיל (כלומר, הצגת שני סמנים fiducial מיוחדים למשתתפים בתחילת ובסוף ההפעלה). לאחר מכן ניתן לזהות סמנים fiducial אלה מהווידאו מעקב אחר העין כדי לקצץ את ערכות הנתונים.
  3. יישור מרחבי
    הערה: כדי לגלות אם שני משתתפים מסתכלים באותו מקום בו זמנית, יש צורך למפות מחדש את מבט המשתתפים על מישור משותף (כלומר, תמונה של ההגדרה הניסיונית). שיטה חישובית להשגת מטרה זו היא הומוגרפיה (כלומר, שינוי פרספקטיבה של מישור). מנקודת מבט טכנית, שתי תמונות של אותו משטח מישורי בחלל קשורות על ידי מטריצה הומוגרפיה. בהתבסס על קבוצה משותפת של נקודות, ניתן להשתמש במטריצה זו כדי להסיק את המיקום של נקודות נוספות בין שני מישורים. באיור 3, לדוגמה, אם אלגוריתם לראיית מחשב יודע היכן הסמנים הfiducial נמצאים בדף המידע, הוא יכול למפות מחדש את מבטו של המשתתף אל המישור המשותף בצד שמאל. הקווים הלבנים מחברים את שתי סדרות הנקודות המשותפות להזנת הווידאו של כל משתתף והסצינה, המשמשים לבניית ההומוגרפיה כדי למפות מחדש את הנקודות הירוקות והכחולות בצד שמאל.
    1. השתמש בגרסה פיתון של OpenCV, למשל, כדי לחשב את מטריצת הומוגרפיה מן סמנים fiducial ולאחר מכן למפות מחדש את הנתונים מעקב אחר העין לזירת ההגדרה הניסיונית (או כל ספריה מתאימה אחרת בשפה של בחירה). Opencv מספק שתי פונקציות שימושיות: findhomography () כדי לקבל את מטריצת הומוגרפיה, ו perspec, המרה() כדי להפוך את הנקודה מנקודת מבט אחת לשנייה.
    2. כדי להשתמש בפקודה Findhomography (), הפעל עם שני ארגומנטים: הקואורדינטות X, Y של נקודות המקור (כלומר, הסמנים הfiducial שזוהו מסרטון הווידאו של המשתתפים, המוצגים מימין באיור 3) ונקודות היעד המתאימות (כלומר, אותם סמנים fiducials שאותרו בתמונת הסצנה, המוצגים משמאל באיור 3)
    3. האכילו את מטריצת ההומוגרפיה הנוצרת בפונקציה Perspec, יחד עם נקודה חדשה שצריכה להיות ממופה מתמונת המקור לתמונת היעד (לדוגמה, נתוני מעקב העיניים המוצגים כנקודה כחולה/ירוקה בצד ימין של איור 3). הפונקציה Perspec, transform , מחזירה את הקואורדינטות החדשות של אותה נקודה בתמונת הסצנה (כלומר, הנקודות הכחולות/ירוקות המוצגות בצד שמאל של איור 3).
      הערה: לקבלת מידע נוסף, התיעוד הרשמי של OpenCV מספק קוד לדוגמה ודוגמאות ליישום הומוגרפיה: docs.opencv.org/master/d1/de0/tutorial_py_feature_homography.html.
  4. שפיות בודקת את ההומוגרפיה
    1. השלם מקטע 4.3 עבור ההפעלה כולה, ולבצע הומוגרפיה על כל מסגרת של הווידאו מעקב העין הנייד כדי לבדוק את האיכות של הומוגרפיה. אמנם אין דרכים אוטומטיות להעריך את הדיוק של נתוני מעקב העין שהתקבל, קטעי וידאו כמו זה המוצג באיור 4 יש להשתמש כדי שפיות ידנית לבדוק כל הפעלה.
    2. אם האיכות נמוכה מהצפוי, שקול פרמטרים נוספים כדי לשפר את התוצאות של ההומוגרפיה:
      1. מספר הסמנים fiducial זוהה: רק לבצע את ההומוגרפיה אם ניתן לזהות מספיק fiducial סמנים מזרם הווידאו. מספר זה יכול להיקבע על ידי בחינת הווידאו המיוצר לעיל.
      2. מיקום של סמנים fiducial: אם סמנים שונים נמצאים בעומקים ובכיוונים שונים, האיכות של הומוגרפיה עולה בדרך כלל כאשר הסמנים הקרובים ביותר קואורדינטות המבט נבחרו, בהתחשב בכך שיש מספיק סמנים כדי לבנות חזקה . הומוגרפיה
      3. התמצאות של סמני fiducial: שילוב fiducial סמנים בעלי אוריינטציה שונה (לדוגמה, אופקי ואנכי) יפיקו הומוגרפיות לא מדויקות. מומלץ לזהות תחילה באיזה מישור או תחומי עניין (א) המשתתף מסתכל (למשל, מסך המחשב, גיליון לרמות, הטבלה, ראה איור 3) ולאחר מכן להשתמש בסמנים fiducial על מישור זה עבור הומוגרפיה.
      4. איכות זרם הווידאו: תנועות ראש פתאומיות יכול לטשטש מסגרות וידאו ולהפוך את הנתונים לבלתי שמיש, משום fiducial סמנים לא ניתן לזהות באופן אמין (איור 4). המתודולוגיה של נייר זה אינה מתאימה לניסויים הכרוכים בהרבה תנועות ראש פתאומיות.

5. ניתוח נתוני מעקב אחר עיניים כפולות

  1. נתונים חסרים
    1. כדי לוודא שהנתונים מחוברים כראוי לתמונת הייחוס, הציגו גרפים חזותיים (כגון, איור 5, איור 6) וסטטיסטיקה תיאורית כדי לבדוק את מידת הנתונים החסרים.
  2. גרפים בין מופע חוזר
    1. השתמש בגרפים של מופע חוזר9 כדי לייצג סינכרון חזותי בין שני משתתפים (איור 6), כאשר ציר ה-X מייצג את הזמן עבור המשתתף הראשון, וציר ה-Y מייצג את הזמן עבור המשתתף השני. ריבועים שחורים מצביעים על כך שהמשתתפים מסתכלים באותו אזור, קו אלכסוני שחור מתאר שני נושאים הנראים באותו הדבר בדיוק באותו זמן, וריבועים שחורים מחוץ לקו האלכסוני מתאר כאשר שני נושאים להסתכל על אותו הדבר עם השהיה זמן. לבסוף, הבחנה בין נתונים חסרים (ריבוע לבן) לבין נתונים קיימים ללא JVA (ריבועים אפורים) מסייעת בזיהוי הפעלות בעייתיות. זה מספק לחוקרים בדיקת שפיות חזותית.
  3. מיחשוב JVA
    1. לאחר סינון נתונים חסרים, חשב מדד עבור JVA על-ידי ספירת מספר הפעמים בהן מביט המשתתפים באותו רדיוס בסצינה (מוגדר להלן) בחלון זמן של 2/+ 2. חלק מספר זה לפי מספר נקודות הנתונים החוקיות שניתן להשתמש בהן לחישוב JVA. התוצאה של החטיבה מייצגת את אחוזי הזמן ששני נושאים התבוננות במשותף באותו מקום. זה השלב האחרון הוא הכרחי כדי למנוע מנפח את הציונים של קבוצות עם יותר נתונים לאחר ההומוגרפיה.
      הערה: יש להגדיר שני פרמטרים לפני JVA יכול להיות מחושב, את המרחק המינימלי בין שני נקודות מבט, ואת חלון הזמן ביניהם (איור 7): 1) חלון זמן: מחקר היסוד מוקדם10 השתמשו עין מעקב אחד כדי למדוד jva בין מאזין ורמקול. החוקרים שאלו קבוצה ראשונה של משתתפים ("רמקולים") כדי לדבר על תוכנית טלוויזיה שהדמויות שלהם הוצגו לפניהם. קבוצה שנייה של משתתפים ("מאזינים") צפו באותה תוכנית תוך כדי האזנה להקלטות אודיו של הדוברים. תנועות העיניים של הרמקולים והמאזינים הושוו, והתגלה כי תנועות העין של המאזין התאימו היטב לתנועת העין של הדובר בעיכוב של 2 ס. בעבודה הבאים11 חוקרים ניתחו דיאלוגים חיים מצאו כי עיכוב של 3 הרגעים הטובים ביותר שנתפסו של jva. מכיוון שכל משימה היא ייחודית והיא עשויה להציג משימות זמן שונות, היא גם מוצעת לחקור כיצד פערים שונים משפיעים על התוצאות של ניסוי נתון. בסך הכל, מקובל לחפש jva בחלון הזמן ± 2/3 s בהתאם למשימה ניסיוני ולאחר מכן לחקור כיצד פערים זמן שונה עשוי לשנות את התוצאות. 2) מרחק בין מביט: אין מרחק מוגדר מדעית בין שני מביט להם לספור כמו JVA. מרחק זה תלוי בשאלות המחקר שהוגדרו על ידי החוקרים. שאלות המחקר צריכות להודיע על הגודל של יעדי הריבית. בדוגמה לראות באיור 7, רדיוס של 100 פיקסלים על התמונה הסצינה (עיגולים כחול/ירוק) נבחר לניתוח כי זה מספיק כדי ללכוד כאשר המשתתפים מסתכלים על הרובוט במבוך, כמו גם ברכיבים דומים ממשק משתמש על מסך המחשב, שהם שני תחומי העניין העיקריים עבור משימה ניסיונית זו.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

המתודולוגיה שהוצגה לעיל שימש ללימוד סטודנטים שהיו בעקבות תוכנית הכשרה מקצועית בלוגיסטיקה (n = 54)12. בניסוי זה, זוגות של סטודנטים במגע עם ממשק משתמש מוחשי (טואי) הדומה למחסן בקנה מידה קטן. הסמנים הfiducial שהונחו על הטוויטים אפשרו לצוות המחקר למפות מחדש את מביט התלמידים על מישור משותף ולחשב רמות של JVA. הממצאים הראו כי קבוצות שהיו רמות גבוהות יותר של JVA נטו לעשות טוב יותר במשימה שניתנה להם, למדו יותר, והיה לו איכות טובה יותר של שיתוף פעולה13 (איור 8, צד שמאל). מערכות נתונים כפולות למעקב אחר עיניים אפשרו גם לנו ללכוד דינמיקה קבוצתית מסוימת כמו אפקט הרוכב החופשי. הערכנו את האפקט הזה על ידי זיהוי מי היה עשוי היה ליזום כל רגע של JVA (כלומר, שמבטו היה שם קודם) ומי השיב לו (כלומר, שמבטו היה שם השני). מצאנו קשר משמעותי בין רווחי הלמידה לבין הנטייה של התלמידים לשתף באופן שווה את האחריות ליזום ולהגיב להצעות של JVA. במילים אחרות, קבוצות בהן אותו אדם יזם תמיד רגעים של JVA היו פחות סביר ללמוד (איור 8, צד ימין) וקבוצות שבו אחריות זו היה משותף באותה מידה היה סביר יותר ללמוד. ממצא זה מראה כי אנחנו יכולים ללכת מעבר רק לכמת JV, ולמעשה לזהות דינמיקה קבוצתית ופרודוקטיביות באמצעות נתונים כפול מעקב העין.

Figure 1
איור 1: כל משתתף יוצר שני הזנות וידאו עם הקואורדינטות X, Y של המבט שלהם על כל מסגרת וידאו. כתובות מתודולוגיה זו מסנכרנות את הנתונים באופן זמני ובאופן שולי בין המשתתפים. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

Figure 2
איור 2: מתודולוגיה לסנכרון שתי ערכות הנתונים. מציג בקצרה סמן fiducial ייחודי על מסך מחשב כדי לתייג את ההתחלה ואת סוף הפעילות. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

Figure 3
איור 3: שימוש בסמנים fiducial המופץ בסביבה כדי למפות מחדש את המשתתפים ' מביט על תוכנית משותפת (צד שמאל). קווים לבנים מציינים סמנים fiducial שזוהו בשתי התמונות. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

Figure 4
איור 4: דוגמאות לאיכות נתונים ירודה. משמאל: מסגרת מטושטשת מן הווידאו מעקב העין הנגרמת על ידי תנועה פתאומית ראש. לא היתה אפשרות לזהות סמני Fiducial בתמונה זו. מימין: הומוגרפיה נכשלה, כאשר נתוני הסמן הfiducial לא סונכרנו כראוי עם הזנת הווידאו. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

Figure 5
איור 5: מפות חום. משמאל: מפת החום של נתוני מעקב העין הועברו לזירה הניסיונית. פריט חזותי זה שימש כבדיקת שפיות עבור ההומוגרפיה. מימין: קבוצה שחסרה להם מידע רב מדי והייתה צריכה להיפטר ממנו. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

Figure 6
איור 6: גרף הישנות לחצות שנוצר משלושה דיפרסומות כדי להמחיש את JVA. P1 מייצגת את הזמן עבור המשתתף הראשון, P2 מייצגת את הזמן עבור המשתתף השני. ריבועים שחורים להראות JVA; ריבועים אפורים להראות רגעים שבו המשתתפים מסתכלים על מקומות שונים; ריבועים לבנים מציגים נתונים חסרים. ריבוע לאורך האלכסון הראשי מציין רגעים בהם המשתתפים הסתכלו באותו מקום בו זמנית. פריט חזותי זה שימש כבדיקת שפיות עבור מדדים של JVA מתוך נתונים משולבים עין מעקב. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

Figure 7
איור 7: מסגרת וידאו שבה התגלתה JVA בין שני משתתפים (נקודות אדומות). ריצ'רדסון ואח '11 ממליצים להסתכל על חלון זמן של +/ -2 כאשר מחשבים את jva. בנוסף, החוקרים צריכים להגדיר את המרחק המינימלי בין שני נקודות מבט לספור כמו JVA. רדיוס של 100 פיקסלים נבחר בתמונה האמצעית לעיל. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

Figure 8
איור 8: דוגמאות לתוצאות. נתונים מתוך שניידר ואח '12 בו אחוז הזמן הנראה באותו מקום בו זמנית היה תואם לאיכות שיתוף הפעולה של המשתתפים: r (24) = 0.460, P = 0.018 (צד שמאל) וחוסר איזון בייזום/תגובה להצעות של jva היה בקורלציה עם רווחי הלמידה שלהם: r (24) =-0.47, p = 0.02 אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

המתודולוגיה המתוארת במאמר זה מספקת דרך קפדנית ללכוד JVA בתוך dyads ממוקם. עם הופעתה של טכנולוגיית חישה במחיר סביר ואלגוריתמים משופרים לראיית המחשב, כעת ניתן ללמוד אינטראקציות שיתופיות עם דיוק שהיה לא זמין בעבר. מתודולוגיה זו ממנפת סמנים fiducial המופץ בסביבה ומשתמשת הומוגרפיות כדרך למיפוי מחדש של המשתתפים בתוך מישור משותף. זה מאפשר לחוקרים ללמוד בקפדנות JVA בקבוצות ממוקם.

שיטה זו כוללת בדיקות שפיות מרובות שצריך לבצע בשלב שונים של הניסוי. מכיוון שזהו הליך מורכב, החוקרים צריכים לוודא כי ערכות הנתונים שהתקבלו הם שלמים וחוקיים. לבסוף, מומלץ לערוך לימודי פיילוט לפני הניסוי בפועל, ולשחזר את האינטראקציות של המשתתפים, למרות שסרטון וידאו לאחר השלמת איסוף הנתונים (איור 3, איור 4, איור 5, איור 6).

קיימות מספר מגבלות המשויכות לשיטה זו:

ספר המשתתפים. בעוד שמתודולוגיה זו פועלת היטב לשני משתתפים, הניתוח הופך למסובך יותר עם קבוצות גדולות יותר. סמנים Fiducial עדיין ניתן להשתמש כדי למפות מחדש את האמת הקרקע, אבל לדעת איך לזהות JVA הופך להיות תהליך מאוזנת יותר. האם להגדיר את JVA כשעות שבהן כולם מסתכלים באותו מקום בו זמנית, או כאשר שני משתתפים מביטים באותו מקום? בנוסף, פריטים חזותיים כמו גרף מופע חוזר הופכים להיות לא מעשי עם יותר מ-2-3 אנשים.

הגדרות. השיטה המתוארת במאמר זה מתאימה להגדרות קטנות ומבוקרות (למשל, לימודי מעבדה). הגדרות פתוחות, כגון בחוץ או חללים גדולים, הם בדרך כלל מסובכים מדי מכשיר עם סמנים fiducial ובכך יכול להגביל את התועלת של נתוני מעקב העין. בנוסף, הסמנים הfiducial יכולים להסיח את הדעת ולבלגן את הסביבה. בעתיד, האלגוריתמים של ראיית מחשב טובים יותר יוכלו לחלץ באופן אוטומטי תכונות נפוצות בין שתי נקודות מבט. יש כבר אלגוריתמים שקיימים למטרה זו, אך גילינו שרמת הדיוק עדיין לא הייתה מקובלת על סוג הניסוי המתואר לעיל.

. אני מבין לגבי הנקודה שלעיל, מיחשוב הומוגרפיה וגרף ההישנות החוצה פועלים היטב עם מספר יציב של תחומי עניין, אך יש לעשות תיקונים בעת השוואת משימות שונות עם מספר שונה של תחומי עניין.

שימוש בציוד. מפולשנית עין ניידים יכול להיות מסוגל, להשפיע על התנהגות המשתתפים או להיכשל לעבוד עם פיזיולוגיה עין מסוימת.

לסיכום, המתודולוגיה המתוארת במאמר זה היא דרך מבטיחה ללמוד אינטראקציות ממוקמות. זה מאפשר לחוקרים ללכוד מדד מדויק של JVA, שהוא מבנה קריטי במדעי החברה1. בנוסף, ניתן להבחין באינדיקטורים משובחים יותר של למידה משותפת באמצעותמתודולוגיה זו לעומת ניתוחים איכותיים מסורתיים. בקיצור, זוהי דרך יעילה ומדויקת יותר ללמוד אינטראקציות חברתיות.

יישום פוטנציאלי של שיטה זו כולל עיצוב התערבויות לתמיכה בשיתוף פעולה באמצעות נתונים בזמן אמת מעקב אחר העין. חלק מהעבודה החלוצית הפיקה פריטים חזותיים משותפים באמצעות מראות מרחוק, אשר הוכח לטובת למידה משותפת ממרחק14. Dyads שיכלו לראות את המבט של בן הזוג שלהם בזמן אמת הציגו יותר JVA, שיתף פעולה טוב יותר והשיגה רווחי למידה גבוהה יותר בהשוואה לקבוצת שליטה. עבודה עתידית תבחן אם סוג זה של התערבות יכולה לתמוך בתהליכים שיתופיים בהגדרות ממוקמות (לדוגמה, באמצעות אוזניות וירטואליות או מציאות מורחבת).

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

המחברים מצהירים כי אין להם אינטרסים פיננסיים מתחרים.

Acknowledgments

פיתוח מתודולוגיה זו נתמך על ידי הקרן הלאומית למדע (NSF #0835854), טכנולוגיות הבית המובילות לחינוך לייעוד, הממומן על ידי מזכירות המדינה השווייצרית לחינוך, מחקר וחדשנות, וקרן החינוך הממלכתי של בית הספר של הרווארד.

Materials

Name Company Catalog Number Comments
Tobii Glasses 2 Tobii N/A https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/
Fiducial markers Chili lab – EPFL, Switzerland N/A https://github.com/chili-epfl/chilitags

DOWNLOAD MATERIALS LIST

References

  1. Tomasello, M. Joint attention as social cognition. Joint attention: Its origins and role in development. Moore, C., Dunham, P. J. , Lawrence Erlbaum Associates, Inc. Hillsdale, NJ, England. 103-130 (1995).
  2. Mundy, P., Sigman, M., Kasari, C. A longitudinal study of joint attention and language development in autistic children. Journal of Autism and Developmental Disorders. 20, 115-128 (1990).
  3. Clark, H. H., Brennan, S. E. Grounding in communication. Perspectives on socially shared cognition. Resnick, L. B., Levine, J. M., Teasley, S. D. , American Psychological Association. Washington, DC, US. 127-149 (1991).
  4. Siposova, B., Carpenter, M. A new look at joint attention and common knowledge. Cognition. 189, 260-274 (2019).
  5. Gergle, D., Clark, A. T. See What I'm Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference. Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. , ACM. New York, NY, USA. 435-444 (2011).
  6. Renner, P., Pfeiffer, T., Wachsmuth, I. Spatial References with Gaze and Pointing in Shared Space of Humans and Robots. Spatial Cognition IX. Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. , Springer International Publishing. 121-136 (2014).
  7. Shvarts, A. Y. Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology. The Russian Journal of Cognitive Science. 5, 4 (2018).
  8. Bonnard, Q., et al. Chilitags: Robust Fiducial Markers for Augmented Reality [software]. , Available from: https://github.com/chili-epfl/qml-chilitags (2013).
  9. Jermann, P., Mullins, D., Nüssli, M. -A., Dillenbourg, P. Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice. CSCL2011 Conference Proceedings., Volume I - Long Papers. , 184-191 (2011).
  10. Richardson, D. C., Dale, R. Looking To Understand: The Coupling Between Speakers' and Listeners' Eye Movements and Its Relationship to Discourse Comprehension. Trends in Cognitive Sciences. 29, 1045-1060 (2005).
  11. Richardson, D. C., Dale, R., Kirkham, N. Z. The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue. Psychological Science. 18, 407-413 (2007).
  12. Schneider, B., et al. Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning. ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).
  13. Meier, A., Spada, H., Rummel, N. A rating scheme for assessing the quality of computer-supported collaboration processes. Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).
  14. Schneider, B., Pea, R. Real-time mutual gaze perception enhances collaborative learning and collaboration quality. Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).

Tags

התנהגות סוגיה 155 מחקר חינוכי למידה משותפת מעקב אחר עיניים ניידות תשומת לב משותפת ויזואלית ניתוח למידה רב-מודאליות
מתודולוגיה ללכידת תשומת לב ויזואלית משותפת באמצעות עוקבים אחר העין הניידת
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Schneider, B. A Methodology for… More

Schneider, B. A Methodology for Capturing Joint Visual Attention Using Mobile Eye-Trackers. J. Vis. Exp. (155), e60670, doi:10.3791/60670 (2020).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter