שילוב נתוני מעקב אחר עיניים באמצעות ניתוח של תוכן וידאו מחינם-צפייה בסרטון וידאו של טיול בסביבה של פארק עירוני

Summary

מטרת הפרוטוקול היא לפרט כיצד לאסוף נתוני וידאו לשימוש במעבדה; כיצד להקליט נתוני מעקב אחר עיניים של משתתפים התבוננות בנתונים וכיצד לנתח ביעילות את התוכן של קטעי וידאו שהם מחפשים באמצעות טכניקת לימוד מכונה.

Abstract

כמו אנשים חיים יותר ויותר בערים, שיטות ללמוד את התנועות היומיומיות שלהם ואת הנתונים שניתן לאסוף הופך חשוב ויקר. אינפורמטיקה מעקב אחר העין ידועים להתחבר למגוון של רגשות, תנאי בריאות, מצבים נפשיים ופעולות. אבל מכיוון שחזון הוא תוצאה של תנועות עיניים מתמדת, להקניט מה חשוב ממה שרעש הוא מורכב ומידע אינטנסיבי. יתרה מזאת, אתגר משמעותי הוא שליטה על מה שאנשים מסתכלים לעומת מה שמוצג להם.

הבאים מציגים מתודולוגיה לשילוב וניתוח של מעקב אחר העיניים בווידאו של סצנה טבעית ומורכבת עם טכניקת למידה ממוחשבת לניתוח תוכן הווידאו. בפרוטוקול אנו מתמקדים בניתוח נתונים מסרטוני וידאו שצולמו, כיצד ניתן להשתמש בווידאו כדי להקליט את נתוני מעקב העיניים של המשתתפים, ולחשוב על האופן שבו ניתן לנתח את תוכן הווידאו ולשלבו עם נתוני המעקב אחר העין. אנו מציגים תקציר קצר של התוצאות ודיון בפוטנציאל השיטה למחקרים נוספים בסביבות מורכבות.

Introduction

החוויות היומיומיות שלנו בסביבות עירוניות משפיעות מאוד על הבריאות והרווחה שלנו. הרווחה שלנו יכולה להיות תלויה בכמות החללים הירוקים שאנו רואים וחווים^1,2,3, ותצוגות אלה ניתן לכמת באמצעות ציוד מעקב אחר העין כדי להנחות את קבלת החלטות בנוגע לעיצוב הפארק. עם זאת, מתעוררת בעיה עם הנפח של נתוני מעקב אחר העין הנוצרת ומקבלת תחושה של נתונים אלה. כאשר הציוד להקלטת הנתונים מבט במעבדה או הגדרה טבעית הופך להיות קל יותר לשימוש וחזק יותר, החוקרים צריכים לשקול כיצד נוכל לאסוף ולנתח נתונים ובאופן מוחלט כדי לעזור עם שאלות לקבלת ההחלטות.

עד כה, מחקר מחקרי עיניים רב השתמש בתצלומים בסקר או בקביעת מעבדה⁴. בעוד מתודולוגיה זו מאפשרת מידה רבה של שליטה והקפדה על תוצאות, זה לא יכול לנצל את ההתקדמות העדכנית ביותר בטכנולוגיה מעקב העין הכוללים את השימוש וידאו לבישים מעוקבים העין ניידים. יתר על כן, היינו טוענים כי הפעולה של הליכה ורוגע הוא בהכרח דינמי במיוחד כאשר מונחה לקראת משימה כגון למצוא⁵. לכן הבנה מדעית מלאה של הגדרות אלה צריכה להתרחש מחוץ למעבדה. עם זאת, כרגע, מעקב אחר העין במסגרת המציאות הטבעית הופך את השוואת החוויה בין הנושאים לקשה מאוד. לדוגמה, אם היינו רוצים להשוות בין אם המשיב האחד מסתכל על עצים יותר מאשר אחר, כיצד יכולנו לשלוט על העובדה שנקודת המבט שלהם תהיה משתנה ללא הרף לעומת אחרים או שהראש שלהם אולי התהפך. ניתוח מפורט בתנאים אלה הוא כמעט בלתי אפשרי עם טכניקות ניתוח נוכחיות. היינו טוענים כי חשוב לשלוט על אזורי הצפייה הזמינים לאדם ללמוד בניתוח כדי להיות מסוגל להסביר את הסצינה הכוללת הנצפים בכל נקודה אחת בזמן.

יש סדרה של תיאוריות לקשר רמות הלחץ ותפיסות של בטיחות לנוף נוף התפתח היטב אמצעים של לחץ^6,7. הייתה גם עלייה מהירה בתחכום של ציוד מעקב עיניים כדי למדוד מבט⁸. מעקב אחר העין חשוב מכיוון שתנועות עיניים לא רצוניות יכול להיות מחובר יותר באופן אמין להעדפה, מתח ואמצעים אחרים מסורתיים מאשר סקרים פולשנית, בדיקות פיזיולוגיות כגון רמות קורטיזול הרוק. מטרת מחקר זה היא לפתח כלים המאפשרים מדידה מדויקת יותר של נתוני מעקב אחר העין החלים על הגדרות טבעיות יותר, כדי לספק ראיות נוספות עבור או להפריך תיאוריות הנוף ארוכת הטווח אשר הודיעו על עיצוב הפארק עבור עשורים.

מטרת הפרויקט היא לפתח ולבדוק טכניקת ניתוח הרומן שיכולה ליצור נתונים רלוונטיים למעקב אחר עיניים עבור קטעי וידאו שונים של הליכה בפארק סימולציות. העבודה שלנו דיווחה כאן ובמקומות אחרים⁹ מייצגת נקודה בחצי הדרך בין הסביבה הטבעית של מערכת מעקב העין הניידת לחלוטין ומחקרי צילום מבוססי מעבדה המכונה לעיל. בפרט, אנו מתרכזים בשימוש בקטעי וידאו כחומר הגירוי, חקר כיצד ניתן להשתמש בחומר זה כדי לבחון את כמות הקסם שפארקים שונים יוצרים בעיר מלבורן. העבודה שלנו מבוססת על ההנחה כי ניתוח מפורט של קטעי וידאו הוא צעד הכרחי להפר לפני התחייבות מלאה, הערכה טבעית יותר של הפוטנציאל של פארקים כדי לספק שחזור מהלחץ.

במחקר זה, אנו המועסקים שולחן העבודה עין-גשש עם קטעי וידאו של טיולים בפארקים עירוניים וביקשו מהמשתתפים לדמיין שהם לוקחים הליכה רגועה דרך הפארק. אנו מתארים שיטה כדי לאפשר את משך הזמן שהמשתתפים בילו להסתכל על חפצים שונים להיות דומים בין הפארקים. לימודי שולחן העבודה בדרך כלל קלים יותר לשליטה בהשוואה למחקרי ET ניידים ולאפשר ניתוח השוואתי של כל נושא.

התוכנה הסטנדרטית למעקב אחר עיניים משתמשת בתחום הידני של כלי הריבית שבו למפעיל יש אפשרות לצייר באופן ידני גבולות סביב אובייקטים מעניינים בכל סצינה. הדבר מאפשר את משך הזמן שבו המשתתפים השקיעו בחיפוש אחר אובייקטים שונים לספירה אוטומטית. עבור נתוני וידאו, תהליך זה הוא אינטנסיבי העבודה וכפוף המפעיל סובייקטיביות ושגיאה. בגירסאות מאוחרות יותר של תוכנת ניתוח מעקב אחר עיניים, ניתן לעקוב אחר אובייקטים באופן אוטומטי בין מסגרות כאשר הם בגודל זהה בווידאו. זה שיפור, עם זאת, זה נועד רק כדי לשמש מספר קטן של גירויים בכל תמונה וכל תמונה יש לבדוק ואישר.

תיוג ידני של אובייקטים בתמונה נפוץ ונתמך על ידי תוכנת עריכת תמונות כגון תוכנית מניפולציה תמונה של גנו (GIMP). בהינתן כי 1 s מייצרת 30 מסגרות או תמונות, את התיוג הידני של קטעי וידאו אינו מעשי. בנוסף, התוויות AOI על ידי ציור מצולעים וקטור סביב הקצה של אובייקטים מורכבים כגון חופות עץ הוא זמן רב מאוד. לבסוף, כל עוד אפשר לחשב את גודל האובייקטים בשדה תצוגה באמצעות תיוג וקטורי, תכונה זו אינה זמינה כעת.

השיטה שאנו מדווחים עליה מטפלת במגבלות אלה. מחקר זה העסיק תוויות אוטומטי של אובייקטים. אפשרות זו מאפשרת שימוש בטכניקת עיבוד תמונה המוכרת כתוויות סמנטי, שבה לכל פיקסל בכל אחת ממסגרות הווידאו מוקצה תווית המציינת מחלקת אובייקט. למידה ממוחשבת משמשת להפקת מסווג פיקסל עבור כל מחלקת האובייקט של העניין. המותגים האלה מספקים תווית בעלת יכולת מיטבית לכל פיקסל (הידוע כפוטנציאלים אונאריים), אשר מעודנים לאחר מכן בתהליך מיטוב שלאחר מכן כדי להשיג את הפלט הסופי המסומנת בתווית. מידע מסווג זה מלמד גבולות של החלטות סטטיסטיות בין כל מחלקות אובייקטים במרחב של תכונות המחולצות מהתמונה, כולל מרקם, היסטוגרמה של כיוון קצוות, ערכי צבע RGB וקואורדינטות של תמונה מנורמלת. טכניקה מתאימה לכך מיושמת בארגז הכלים של למידה ממוחשבת של דרווין¹⁰ והיא מתוארת להלן.

Protocol

אישור מוסרי לפרויקט זה ניתן על ידי ועדת האתיקה של האוניברסיטה הקתולית האוסטרלית-אישור מספר201500036E. הדבר הבטיח כי הסכמה מושכלת הייתה מושגת מכל המשתתפים וכל המשתתפים השתתפו בהתנדבות ושהמשתתפים בנתונים נותרו אנונימיים וחסויים. בנוסף לכך ניתנה האישור בשל השיטה והציוד לפגישת התקנות בטיחות בתקנים אוסטרליים.

1. צילום סצנות עירוניות שניתן להשתמש בהן במחקר מעקב אחר עיניים

1. השתמש במצלמת וידאו דיגיטלית באיכות גבוהה המצורפת אל מאזנים כדי ליצור וידאו ' הליכה ' או ' ישיבה ' מדומה.
2. להקליט את הסרט עם תנועות נוזל חלק ברזולוציה 4k ב 25 fps ולשמור אותם ב 1920 x 1080 HD.
3. השתמש בחברת צילום מקצועית כדי ליצור סרטים דיגיטליים אם לא מכירים את הגישה לציוד.
4. הסרט לירות באחד לקחת, לאורך אחד על פני כל קטעי וידאו עם נתיבים מוגדרים מראש ומאפיינים מדויקים.
   הערה: פרטי וידאו לדוגמה: כל סרט הליכה מדומה היה 3 דקות 50 s ארוך וכל סרט מדומה בישיבה היה 1 דקה. עבור שני קטעי הווידאו במחקר זה, הסרטונים החלו עם טיפוס מדרגות קצר המוביל לנתיב. השביל היה בדיוק 1 דקות 30 s ולאחר מכן המצלמה עצרה והלכה שמאלה עבור 45-60 מעלות ועצר עבור 15 שניות. המצלמה המשיכה לאורך שביל הליכה עד 3 דקות 25 s סימן, הסתובב שמאלה 40-70 מעלות עבור 15 שניות, המשיך לאורך הנתיב עד 3 דקות 50 s סימן, ואז דהוי לשחור.
5. ודא שהסרטים מקבילים, במילים אחרות, הם אינם מציגים נתוני מבט חדשניים מפני מסלולי הליכה שונים או תנועת מצלמה. סרט אחד נלקח כל הליכה, שתיים בסך הכל.
6. כמו תנועות העין מושפעים קול, להקליט את הקובץ הכללי של הפארק העירוני מתוך אחד ההליכות באותו אורך של הווידאו ללא הפרעות מרעשים רועשים פתאומית מחוץ לפארק (למשל, אזעקות רכב). זה יכול להיות שיחק במקום הפסקול הקיים משני קטעי וידאו, כך ההשפעה החזותית של הווידאו ניתן לבודד.
   הערה: תנועה מוגזמת של כלי רכב ואובייקטים אחרים עלולה להשפיע על תנועות עיניים ולהטות את התוצאות. אם מתרחשות החדירה, הסרט יכול להיות משוחק למשתתפים, אך ייתכן שיהיה צורך להוציא את המסגרות מהניתוח.
7. אם אתם מעוניינים בפעילויות שונות בטיול, כגון הליכה ולאחר מכן יושבים על ספסל, שמרו או ערכו את הסצנות של הישיבה וההליכה כקבצים נפרדים כדי לבחון אותם באופן עצמאי.

2. כיול ההתקנה ושולחן העבודה של ציוד מעקב עין

1. הצג את רצפי שצולמו ליחידים בחדר שבו אור טבעי יכול להיות נשלל כדי למנוע השתקפויות על המסך. להראות להם את זה על מסך גדול ככל האפשר כדי לכבוש את השדה החזותי כמעט, ובכך למנוע הסחת דעת מחוץ לשדה הראייה. מסך רחב (16:9) צג המחשב (22 אינץ ') עם משתתפים במרחק של כ-60 ס מ מן המסך הוא תקן מקובל.
2. בצע כיול על המסך עבור כל משתתף באמצעות כלי הכיול המובנית בתוכנת המעקב אחר העיניים. דורשים מהמשתתפים להסתכל על כדור אדום נע סביב המסך כחלק זה ולעצור ב 5 נקודות כיול מפתח.
3. במהלך הכיול שומרים על המשתתפים ומבטיחים שהם לא מזיזים את ראשם גם הם. אם הם קרובים מדי למסך והמסך גדול מאוד זה יכול להיות בעיה. התאימו את המרחק מהמסך בהתאם.
4. ערוך כל סרט כדי לקבל צלב לבן ממוקם בפינה השמאלית העליונה של המסגרות המוקדמות של הווידאו. ניתן לעשות זאת באמצעות תוכנת עריכת וידאו. הצג מסך זה במשך 3 שניות ואז להתחיל לשחק את ההליכה. הדבר מאפשר לבדוק את כיול מעקב אחר העיניים ולהבטיח שניתן יהיה להתאים את זמני איסוף הנתונים של מעקב העין עם מספרי מסגרת בודדים.

3. גיוס ואתיקה

1. השתמש בחברה לגיוס מחקרים מקצועיים כדי להבטיח התפשטות של מינים שונים, גילאים ועיסוקים בקרב המדגם או גיוס באתר מקרב הסטודנטים והסגל.
2. משתתפי המסך לתנאים מוכרים בעינית או נוירולוגית ו/או פציעות. הם חייבים להיות שואלים אם הם נוטלים תרופות הידועות להשפיע על תנועות עיניים (g. בנזודיאזפינים).
3. התנהלות ליד בדיקות הקריאה ראייה ופנס העט עין תנועה הבדיקה כדי להדגים כי יש להם התנועה העין מלאה טיולים.
4. סקר משתתפי המחקר על גילם, מינו ותדירות השימוש בפארק.

4. התקנה ניסויית של משתתף

1. בקשו מהמשתתפים לדמיין את עצמם זקוקים לשיפוץ. השתמש במשפט המאפשר להם לדמיין את ההקשר של וידאו מעקב אחר העין המשמש כגון: ' תארו לעצמכם שזהו הצהריים ואתם הולכים לבד במלבורן. אתה עייף מנטלית מריכוז אינטנסיבי בעבודה ומחפשים מקום ללכת לטיול, לשבת ולנוח קצת, לפני שחוזרים לעבודה.
2. לשבת משתתפים בנוחות מול מסך המחשב במרחק של 60 – 65 ס מ כדי לצפות בסרטים.
3. באמצעות תוכנית הגיליון האלקטרוני להזמין את הסרטים באופן אקראי לפני ששיחק מול המשתתפים.
4. השתמש ברמקולים כדי להשמיע את אותו שמע עבור כל הסרטים.
5. הקלט את מסלול המבט של המשתתפים באמצעות מערכת שולחנית למעקב אחר עיניים. טען את התקן מעקב העין השולחני לפי הוראות היצרן. זה יכול להיות ממש מתחת למסך על השולחן, או שהוא יכול קליפ לקצה של המסך, על גבי למשל.
6. השתמש ביחידת מעקב אחר עיניים בעלת קצב דגימה של 120 Hz ודיוק של 0.50 °, המאפשרת חופש גדול של תנועות ראש המאפשרות הקלטה בתנועות ראש טבעיות. מעקב בתדר נמוך יותר מקובל גם כן. ב 57.3 ס"מ, 1 ° של זווית חזותית משווה ~ 1 ס מ על המסך.
7. אפשר למשתתפים לצפות בסרטון בצג בחדות גבוהה.
8. הקלטה של תנועות עיניים באמצעות תוכנת המעקב אחר העיניים
9. השתמש במסנן קיבעון כדי להמיר את הנתונים לדוגמה של העין הגולמית לצורך ניתוח. מהתפריט הראשי, לחץ על כלים > הגדרות. בחרו בכרטיסייה ' מסנני קיבוע '. בחר במסנן הקיבוע בהתאם למפרטי היצרן בסוג המסנן הטוב ביותר כדי לצבור את נתוני מעקב העיניים הגולמיים לתיקונים.
10. אם הקלטת נתוני מעקב אחר העיניים באמצעות סרטים מרובים, תן הפסקות בין הפעלות הקלטה בכל פעם שהמשתתפים מבקשים זאת.

5. חיבור פארקים הנצפים כדי רשמים של קטעי וידאו

1. להשוות את המידה שבה אנשים הנצפים חפצים ודעותיהם של קטעי וידאו על ידי שואלים משתתפים לדרג את כל הפארקים בקנה מידה של 1 – 10, ראשית אם הם חשו שהם יוכלו לנוח ולהתאושש בסביבה זו (1 , לא הרבה, עד 10, הרבה מאוד) ושנית כמה הם אהבו את הפארק (1, לא הרבה, עד 10, מאוד).
2. שאל את המשתתפים אם הם ישתמשו בפארק כדי להירגע או להקל על הלחץ (Y/N) ואם הם זיהו את הפארק הם הסתכל (Y/N) כדי לשלוט על ההשפעה הפוטנציאלית של האגודה הקודמת עם הפארק.
3. הקלט תגובות קצרות של המשתתפים מהמשתתפים כדי להסביר את התרשמותם באמצעות מקליט קול ולאחר מכן לתעתור אותם.

6. ניתוח וידאו אוטומטי לתחום הפקת הריבית

1. בחירת האואוס
   1. בחר פריטים המעניינים את הפארקים, מעצבים עירוניים, מתכננים או אדריכלים, כגון עצים, שיחים, שלטים, בניינים, משטח, שבילים, שלבים וכו '.
   2. לקבלת ביצועים מיטביים ודרישות הכשרה מינימליות (שנדונו עוד להלן), השתמש ברכיבים שניתן להבחין בהם בקלות באופן חזותי זה מזה לעין העירומה, ו/או בעקביות לתפוס אזורים שונים של כל מסגרת וידאו. באופן כללי, דוגמאות הדרכה מספיקות המתארות הבדלים בהבחנה חזותית של כל AOI צריך להספיק לביצועים חזקים.
2. הכשרת מסווג להפקת AOI
   1. בחירת מסגרות ההדרכה לשימוש, מספר ורציונל
      1. בחר מספר מתאים של מסגרות אימונים (מעתה המכונה ' ערכת ההדרכה '). אין מספר קבוע המתאים.
         הערה: על המסגרות לספק כיסוי מספיק של טווח המראה החזותי של כל מחלקת אובייקטים (כלומר, אובייקטים אלה להיות מתויג) בכל רחבי הווידאו. לדוגמה, 40 מסגרות מתוך רצף וידאו של 15,000 מסגרת המתארת סצינה של פארק אחד נמצאו כדי להשיג דיוק מספיק. אם רצף מכיל וריאציה משמעותית לאורך אז ייתכן שיהיה צורך במסגרות נוספות.
      2. שקול את תוכן המסגרת בעת בחירת מסגרות אימון. אלה כוללים: תאורה, צורות ביחס למה שהוא מסווג (למשל, לא רק סוג אחד של עץ אלא מגוון של סוגי עץ, המיקום שלהם בתמונה, הדרך שבה הם מוארים, וכו '), מרקם, וצבע.
      3. שקול גם את מספר המסגרות שיש לכלול. באופן ספציפי, האורך והווריאציה של התנאים החזותיים שהוצגו על פני הווידאו שנותחו, כמו גם את מספר מחלקות האובייקטים שיש לזהות ואת תדירות הופעתם.
   2. תיוג פיקסלים ידני למסגרות הדרכה
      הערה: תיוג ידני של מסגרות ההדרכה ישייך פיקסלים למחלקות אובייקטים מעניינים.
      1. תוויות פיקסלים של מסגרות הדרכה
         1. בתורו, לפתוח כל מסגרת הכשרה מתוך וידאו בתוכנת עריכת תמונה.
         2. עבור כל מסגרת אימון מהווידאו, שכבת שכבת תמונה שקופה על התמונה שנטענה לתיוג ויצירת לוח צבעים, מתן צבע אחד לכל מחלקת האובייקט הנתון של עניין (כלומר, aoi).
         3. ודא שלוח הצבעים ומיפוי הצבע למחלקות אובייקטים זהה לאורך תהליך התיוג.
         4. בחר את הצבע עבור הדוגמה AOI.
         5. אזורים צבע של לדוגמה AOIs על ידי בחירה, עם לחץ על העכבר וגרור, פיקסלים בתוך האזור כדי "צבע ב" באמצעות בחירת הצבעים המתאים.
            הערה: ניתן לצבוע עצמים גדולים בimprecisely. עם זאת, עבור אובייקטים דקים/קטנים של רוחב פיקסלים בודדים בלבד, נקוט בזהירות רבה יותר כדי לוודא שתיוג ידני לוכד במדויק את המראה החזותי של האובייקט.
         6. לאחר השלמת התוויות של מסגרת, יצא שכבת השכבות כקובץ תמונה נפרד. ודא ששם קובץ הבסיס תואם לשם קובץ הבסיס המקורי של המסגרת, אך עם הצירוף "c" לסוף. לדוגמה, אם שם הקובץ המקורי של המסגרת היה "1234. png", אזי השם של שכבת התווית צריך להיות "1234c. png".
         7. ודא שכל התמונות המסומנות בתווית נשמרות בתיקיה אחת.
      2. תוויות פיקסלים של מסגרות אימות
         הערה: כדי לאמת את הדיוק של המסווג המיומן, יש ליצור קבוצה נוספת של מסגרות שסומנו בתווית.
         1. בחר מסגרות מרצף הווידאו המקורי שכבר לא נבחרו להיכלל בערכת ההדרכה. עבור 5 דקות וידאו, אלה לא צריכים להיות יותר מ 20 מסגרות, אבל יש לדגום בצורה אחידה מעבר לרצף וידאו כדי להבטיח כיסוי מספיק.
         2. סמן פיקסלים בכל אחת מהמסגרות באמצעות אותו ההליך המתואר להכנת מסגרות ההדרכה (6.2.2). עם זאת, הפעם להיות מדויק ומקיף ככל האפשר עם תיוג כמו זה ישמש כהשוואה אמת הקרקע.
         3. כאשר התוויות של מסגרת מלאה, השתמש באותה מוסכמה למתן שמות לצורך אימון, עם זאת, להבטיח שהקבצים יישמרו בתיקיה נפרדת של מסגרות אימות.
   3. תוויות פיקסלים אוטומטיות של רצף הווידאו
      1. הורד את ספריית התוכנה של דרווין מhttp://drwn.anu.edu.au.
         הערה: המערכת המתוארת במאמר זה יושמה בסביבת לינוקס, ולכן יש להוריד ולהתקין את מהדורת לינוקס של דרווין, בעקבות ההוראות מהאתר.
      2. השקת GUI דרווין
      3. ב-GUI של דרווין, לחץ על הטען תוויות הדרכה.
      4. באמצעות תיבת הדו של סייר הקבצים המופיעה, בחר את התיקיה המכילה את תמונות ההדרכה המסומנות בתווית עבור רצף הווידאו הרלוונטי.
      5. לחץ על טעינת מסגרות וידאו ובצע את אותו ההליך כמו 6.2.3.2 כדי לבחור את התיקייה המכילה את כל המסגרות המקוריות של רצף הווידאו. זוהי תיקיה של תמונות, שבה כל שם קובץ של מסגרת הוא מספר המסגרת שברצף הווידאו (לדוגמה, מסגרת 1234 תיקרא 1234. png)
      6. לחץ על לחצן הרכבת. האלגוריתם יבדוק כעת כל מסגרת הדרכה בתווית ולמד מודל של מראה עבור סיווג פיקסלים לכל אחד ממחלקות האובייקטים שצוינו בעניין.
   4. אימות המסווג המיומן
      1. לאחר השלמת האימון, לחץ על לחצן האימון אימות .
      2. באמצעות תיבת הדו של סייר הקבצים, בחר את התיקיה המכילה את כל תמונות האימות המסומנות בתווית עבור רצף הווידאו הרלוונטי. המסווג המיומן ישמש כעת לסיווג פיקסלים בכל אחת מהמסגרות הנקראות בערכת האימות. השווה את הקובץ לתוויות האמת הקרקעיות המסופקות בתיקיית האימות.
         הערה: לאחר השלמתו, GUI תציג סטטיסטיקת דיוק, כולל אחוז הפיקסלים המסומנים כראוי עבור כל מסגרת בערכת האימות, כמו גם לאורך כל ערכת האימות.
      3. כדי לאמת חזותית את התוויות שנוצרו, לחץ על לחצן אימות חזותי . אם לחצת, כל תמונה שנוצרת בתווית מוצגת ליד מסגרת האימות המקורית.
         הערה: הדבר עשוי להיות מאלף בזיהוי היכן שהסיווגים מתרחשים על האובייקט. לדוגמה, בדיקה חזותית עשויה לציין ששגיאות מתרחשות בעקביות על-פני חלק מסוים של מחלקת אובייקט, ומציע תיוג משופר בערכת ההדרכה. לחילופין, הבדיקה עשויה להראות כי שגיאות מתרחשות רק בנקודת זמן מסוימת בווידאו, המציעה דוגמאות להדרכה נוספות נדרשות מאותו פרק זמן בווידאו.
      4. אם הדיוק שנצפה באימות כמותי או איכותי יורד מתחת לרמות מקובלות, לאחר מכן כלול דוגמאות נוספות להדרכה. במקרה זה, חזור על כל הצעדים מ6.2.2 כדי לכלול מסגרות אימונים נוספות, הפעל מחדש את המסווג לאחר הצעדים ב6.2.3, ואמת מחדש את השלבים הבאים ב6.2.4.
   5. תיוג פיקסלים בווידאו
      1. לאחר ששלב ההכשרה והאימות של המסווג הושלם, לחץ על מסגרות תוויות ב-GUI של דרווין כדי להתחיל את התוויות המלאות של כל המסגרות ברצף הווידאו באמצעות המסווג המיומן.
      2. בצע את ההנחיה כדי לבחור תיקיית יעד עבור כל מסגרות הפלט, אשר יהיו בצורת תמונות המסומנות בתווית באמצעות לוח צבעים זהה לשימוש בתרגול.

7. רישום נתוני מעקב העין לתוכן וידאו

1. בתוכנת מעקב העין על הקובץ ≫ ייצוא... יצא את קובץ מעקב העין כקובץ CSV.
2. פתח את הקובץ בתוכנית גיליון אלקטרוני.
3. מתוך רצף וידאו לזהות את הזמן שבו הצלב הלבן על היד השמאלית העליונה של המסגרת (ראה 2.3) נעלמת. השתמש בזמן זה כדי לזהות את מעקב העיניים באמצעות העמודה הרלוונטית בתוצאת המעקב אחר העין. זוהי תחילתה של איסוף הנתונים למעקב אחר עיניים.
4. הוסף עמודה לנתוני מעקב אחר העיניים.
5. שימוש בתווית עמודה חדשה זו מהווה כל נקודת נתונים של שורה או מעקב אחר עיניים עם מספר מסגרת המתחיל במספר 1.

8. הצגת פרק הזמן שהמשתתפים בחנו מחלקות שונות של אובייקטים בסרטונים

הערה: בשל הגודל העצום של נתוני מעקב אחר העין, השפה התכנות פיתון משמש טוב יותר עבור שלבים עד 8.4, למרות תוכנית עיבוד נתונים יכול לשמש גם.

1. באמצעות קוד פיתון כלול, לחשב את כמות החפיפה בין האובייקטים של הריבית ואת הזמן קיבוע העין והתדירות.
2. סכם נתונים אלה כדי להבין את משך הזמן שבו המשתתפים השקיעו בחיפוש אחר אובייקטים שונים.
3. השתמש בהיסטוגרמה כדי להציג את משך הזמן הכולל שבו האובייקטים כבשו את המסך.
4. השווה את זה עם המשך הזמן הכולל שהמשתתפים הביטו באובייקטים שונים.
5. כדי לייצר מפת חום בתוכנת המעקב אחר העיניים לחץ על אחד הפארק ללכת קטעי וידאו באמצעות התיבה שנתות.
6. לחץ על הכרטיסיה ' מפת חום '.
7. כוונן את הצבע ותכונות אחרות של מפת החום כרצונך באמצעות המשתנים של ' Count ' (מספר כולל של תיקונים שבוצעו על-פני חלון הזמן), ' משך מוחלט ' (משך הקיבעון המצטבר) ו-' משך יחסי ' (משך הזמן המושקע בהסתכלות ב האובייקט מחולק במשך הזמן המושקע בהסתכלות בסצינה).
8. יצא את התמונה או הווידאו הכוללים את מפת החום כקובץ JPEG או כקובץ וידאו.

Representative Results

איור 1 ו- איור 2 מראים את התוצאה של נטילת כל נתוני העין לאורך כל המשתתפים והפקת מפת חום; זוהי הגישה הסטנדרטית הזמינה בחבילות תוכנה למעקב אחר עיניים. על-ידי השוואת איור 1 ואיור 2 ניתן לזהות שבמשתתפים הממוצעים נסרק שמאלה וימינה על קואורדינטת x של הווידאו באיור 1 בהשוואה לאיור 2, המציגה צורה מלאה בסיבובים. זה בגלל שלאיור 1 היו אלמנטים אופקיים יותר לאורך הווידאו בהשוואה לפארק באיור 2. התמונה מאחורי מפת החום היא מסגרת אחת ואינה מייצגת את התוכן המלא של הווידאו.

מערכת המעקב אחר העיניים והתוכנה של שולחן העבודה סופרת רק תוצאות בהן ניתן למקם את שתי העיניים בו. במילים אחרות, אם לא ניתן לאתר מעין אחת או את שתי העיניים, הנתונים נספרים כאבודים. במקרה שלנו מעקב העין נתונים נתפס עבור > 80% מהזמן.

איור 3 ואיור 4 מראים את התוצאה של שימוש בפרוטוקול ושימוש בלמידה ממוחשבת כדי לנתח את תוכן הסרטונים. איור 3 מראה את הצמחייה הצפופה של הגנים פיצרוי לעומת הצמחייה הדלילה יחסית של רויאל פארק (איור 4). במקרה האחרון, יותר שמים גלויים, יותר מבין הסצינות נשלטים על ידי צמחייה שיחים. איור 5 מציג את זמן הקיבוע% על האובייקטים השונים במהלך הווידאו עבור אחד המשתתפים. זה מראה כי למרות שהנתיב נראה בבירור במהלך הווידאו, המשתתף רק מסתכל על תכונה זו מדי פעם, אבל בנקודות מפתח. באופן דומה, כמו איור 6 מראה, למרות חלק קטנטן של התוכן של הווידאו ברויאל פארק מתייחס אובייקטים מלאכותיים, המשתתף במחקר בוחן את התכונות הללו במידה רבה יחסית.

הממצאים באיור3, איור 4, איור 5, ואיור 6 ניתן לסכם באיור 7 ואיור 8 עבור כל 39 המשתתפים אשר הנתונים שימשו במחקר זה. איור 7 מציג את הזמן להתעכב עבור כל המשתתפים כאשר מסתכלים על אובייקטים לאורך הווידאו. איור 8 מראה את אותם נתונים מחולקים על ידי כמות הזמן והמרחב כי אובייקטים שונים אלה שנכבשו בווידאו. ערך של 1 מציין שניתן להתייחס לזמן ההתעכב על-ידי כמות האובייקט בווידאו. איור 7 מראה שחפצים מלאכותיים כגון מנורות רחוב וספסלים מושכן במידה רבה יותר בהשוואה לחפצים אחרים (> 1). איור 7 גם מראה כי אובייקטים שהיו פחות רלוונטיים, כגון השמים בשתי התמונות, נצפו יחסית פחות (< 1).

איור 1: מפת חום לדוגמה המופקת עבור הווידאו כולו של אחד הפארקים. זה מראה איפה הרוב של פסי העין היו ממוקמים. שים לב לצורה האופקית של מפת החום בשל הדומיננטיות של רכיבים אופקיים בווידאו. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

איור 2: מפת החום לדוגמה המופקת עבור הווידאו כולו של אחד הפארקים האחרים. שים לב לצורה המעוגל יותר בשל נוכחותם של רכיבים אנכיים ואופקיים בווידאו. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

איור 3: היסטוגרמה של תוכן בוידאו של פיטזרוי גרדנס שנותחו באמצעות טכניקת הלמידה של המכונה. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

איור 4: היסטוגרמה של תוכן וידאו של רויאל פארק ניתח באמצעות טכניקת למידה מכונה. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

איור 5: מעקב העין זמן קיבעון בילה מסתכל על חפצים בגני פיטזרוי. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

איור 6: הזמן קיבעון מעקב העין בילה להסתכל על חפצים ברויאל פארק. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

איור 7: מעקב מצטבר של העיניים פעמים עבור כל המשתתפים והאובייקטים עבור שני הפארקים. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

איור 8: מעקב מצטבר של שעות העיניים ביחס לתוכן עבור כל המשתתפים והאובייקטים עבור שני הפארקים. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

Discussion

באופן כללי, בחבילות תוכנה סטנדרטיות לניתוח נתוני מעקב אחר עיניים, נעשה שימוש בווקטור AOI. אפילו עבור תמונה בודדת, לא ניתן למדוד בקלות את גודל הווקטור. יתרה מזאת, כולל כל האואוס בתמונה וחישוב הכמויות היחסיות של האואוס הוא מפרך. כמעט בלתי אפשרי לעשות זאת באופן ידני על וידאו ללא טכניקת למידה מכונה כמו זו שתוארה. זו הייתה הצהרה פשוטה יחסית. שיכולה להיות מקרה של צפייה בחינם תרחיש מדויק הרבה יותר יכול לשמש תיאורים תרחיש שונה לפני גירוי זהה יכול גם להשפיע על תנועות העין¹¹.

המחקר שלנו השתמש בשיטה לסיווג במדויק אובייקטים בווידאו וניתוח המידה שבה אלה היו גלויים לעין. השיטה מייצגת אמצעי חשבונאות אחד במידה שבה תנועות העין מקושרות לאובייקטי עניין. פעולה זו מאפשרת את המידה שבה אובייקטים של עניין נמצאים בשדה תצוגה שניתן לשלוט בהם בעת השוואת מעקב אחר העין מנושאים שונים באמצעות מכשיר למעקב אחר עיניים, או מיקומים שונים בעת שימוש במערכת מבוססת שולחן עבודה. שיקולים שיכולים להשפיע על הסיווג האוטומטי של אובייקטים באמצעות לימוד המכונה שאנו מעסיקים כוללים תאורה, צורות ביחס למה שהוא מסווג (למשל לא רק סוג אחד של עץ אלא מגוון של סוגי עצים, המיקום שלהם ב תמונה, האופן שבו הם מוארים וכו '.), מרקם וצבע. שיקולים לגבי מספר המסגרות כוללים את האורך והווריאציה של התנאים החזותיים הוצגו על פני הווידאו שנותחו, כמו גם את מספר מחלקות האובייקטים שיש לזהות ואת תדירות הופעתם. המסגרות משתנות כל 1/25 שניות, אך מעקב אחר העין עם התוכנה מתרחשת ב-1/120 (120 Hz). מסיבה זו, נתוני מעקב אחר העין ייאספו ב-4.8 פעמים בקצב שבו מופיע מסגרת חדשה. לא ניתן לתייג את התווית באופן מדויק לחלוטין, אך התוויות של המסגרות אמורות להשתנות כל 5 פעמים. לדוגמה, נתוני מעקב אחר עיניים במהלך 99 עד 101 s כבר נחשב עבור המסגרת של השניה ה-100 של הווידאו.

יתרון משמעותי של חבילות הנוכחי מעקב העין הוא שהם מוגדרים כדי לאפשר למשתמשים לסקור את הסרט של שלהם מעקב העין שלהם מסלולים ולתאר למה הם הסתכלו על אובייקטים מסוימים. התוצאה היא ערכת נתונים איכותית שיכולה לגלות מדוע נושאים בודדים חושבים שהם הסתכלו על אובייקטים מסוימים. הארכה של הפרויקט תהיה גם להראות להם את כמות הזמן שהם בילו הסתכלות על אובייקטים בזמנים שונים ביחס לתוכן, למשל המידע באיור 8. עם זאת, ביצוע פעולה זו על-ידי שליטה במספר האובייקטים בסצינה במהירות מספקת כעת אינו אפשרי.

לדוגמה, ניתן לבקש מהמשתתפים לצפות בנתיבי המבט שלהם שנרשמו ולתאר מדוע הם הסתכלו על האובייקטים המיוחדים¹². במקרה שלנו, בסוף כל המשתתפים הסרט נשאלו לדרג את כל הפארקים בקנה מידה של 1-10, ראשית אם הם חשו שהם יוכלו לנוח ולהתאושש בסביבה הזאת (1, לא הרבה, עד 10, מאוד) ושנית כמה הם אוהבים את פארק (1, לא הרבה, עד 10, הרבה).

Materials

Name	Company	Catalog Number	Comments
12 mm lens	Olympus		Lens
Panasonic GH4	Panasonic		Video Camera
Tobii Studio version (2.1.14)	Tobii		Software
Tobii x120 desktop eye-tracker	Tobii		Eye-tracker