מיפוי תלת מימדי של סיבוב אובייקטים וירטואליים אינטראקטיביים עם נתוני מעקב עיניים

Summary

פיתחנו שיטה פשוטה, ניתנת להתאמה אישית ויעילה לרישום נתונים תהליכיים כמותיים ממשימות מרחביות אינטראקטיביות ולמיפוי נתוני סיבוב אלה עם נתוני מעקב עיניים.

Abstract

אנו מציגים שיטה להקלטה בזמן אמת של אינטראקציה אנושית עם אובייקטים וירטואליים תלת מימדיים (3D). הגישה מורכבת משיוך נתוני סיבוב של האובייקט המניפולטיבי עם מדדים התנהגותיים, כגון מעקב עיניים, כדי להסיק מסקנות טובות יותר על התהליכים הקוגניטיביים הבסיסיים.

המשימה מורכבת מהצגת שני מודלים זהים של אותו אובייקט תלת-ממדי (מולקולה), המוצגים על מסך מחשב: אובייקט מסתובב ואינטראקטיבי (iObj) ואובייקט מטרה סטטי (tObj). המשתתפים חייבים לסובב iObj באמצעות העכבר עד שהם מחשיבים את הכיוון שלו זהה לזה של tObj. המחשב עוקב אחר כל נתוני האינטראקציה בזמן אמת. נתוני המבט של המשתתף נרשמים גם באמצעות מעקב עיניים. תדר המדידה הוא 10 הרץ במחשב ו- 60 הרץ במעקב העיניים.

נתוני ההתמצאות של iObj ביחס ל- tObj נרשמים בקווטרניונים סיבוביים. נתוני המבט מסונכרנים לכיוון של iObj ומופנים באמצעות אותה מערכת. שיטה זו מאפשרת לנו לקבל את ההדמיות הבאות של תהליך האינטראקציה האנושית עם iObj ו- tObj: (1) פער זוויתי המסונכרן עם נתונים אחרים תלויי זמן; (2) מסלול סיבוב תלת-ממדי בתוך מה שהחלטנו לכנות "כדור סיבובים"; (3) מפת חום של קיבוע תלת-ממדי. כל שלבי הפרוטוקול השתמשו בתוכנה חופשית, כגון גנו אוקטבה ו-Jmol, וכל הסקריפטים זמינים כחומר משלים.

בעזרת גישה זו, אנו יכולים לערוך מחקרים כמותיים מפורטים של תהליך פתרון המשימות הכולל רוטציות מנטליות או פיזיות, ולא רק את התוצאה שהושגה. ניתן למדוד בדיוק עד כמה כל חלק במודלים התלת-ממדיים חשוב למשתתף בפתרון משימות, ובכך לקשר את המודלים למשתנים רלוונטיים כגון מאפייני האובייקטים, יכולות קוגניטיביות של הפרט ומאפייני ממשק אדם-מכונה.

Introduction

סיבוב מנטלי (MR) הוא יכולת קוגנטיבית המאפשרת לאנשים לבצע מניפולציות מנטליות ולסובב אובייקטים, מה שמקל על הבנה טובה יותר של התכונות והיחסים המרחביים שלהם. זוהי אחת היכולות החזותיות-מרחביות, קבוצה קוגניטיבית בסיסית שנחקרה כבר בשנת 1890¹. יכולות חזותיות-מרחביות הן מרכיב חשוב ברפרטואר הקוגניטיבי של הפרט המושפע הן מגורמים תורשתיים והן מגורמים סביבתיים 2,3,4,5. העניין ביכולות חזותיות-מרחביות גדל במהלך המאה העשרים בשל עדויות מצטברות לחשיבותן במקצועות מפתח כגון הזדקנות⁶ והתפתחות⁷, ביצועים במדע, טכנולוגיה, הנדסה ומתמטיקה (STEM)^8,9, יצירתיות¹⁰ ותכונות אבולוציוניות¹¹.

הרעיון העכשווי של MR נובע מהעבודה החלוצית שפרסמו שפרד ומצלר (SM) בשנת 1971¹². הם פיתחו שיטה כרונומטרית באמצעות סדרה של משימות "זהות או שונות", המציגות שתי הקרנות של אובייקטים תלת-ממדיים מופשטים המוצגים זה לצד זה. המשתתפים היו צריכים לסובב מנטלית את האובייקטים על ציר כלשהו ולהחליט אם הקרנות אלה מציגות את אותו אובייקט מסובב באופן שונה או אובייקטים נפרדים. המחקר גילה מתאם ליניארי חיובי בין זמן התגובה (RT) לבין הפער הזוויתי (AD) בין ייצוגים של אותו אובייקט. מתאם זה ידוע בשם אפקט פער הזווית (ADE). ADE נחשב לביטוי התנהגותי של MR והפך נפוץ במספר מחקרים משפיעים הבאים בתחום 13,14,15,16,17,18,19,20,21,22,23,24,25. העצמים התלת-ממדיים ששימשו במחקר SM הורכבו מ-10 קוביות רציפות שנוצרו על ידי חלוץ הגרפים הממוחשבים מייקל נול במעבדות בל²⁶. הם מכונים דמויות SM והם נמצאים בשימוש נרחב במחקרי MR.

שתי התפתחויות היו בעלות חשיבות רבה בעבודתם המכוננת של שפרד ומצלר; ראשית, בהתחשב בתרומות בתחום הערכות MR. בשנת 1978 פיתחו ונדרברג וקוזה²⁷ מבחן פסיכומטרי בן 20 פריטים בעיפרון ונייר המבוסס על דמויות SM "זהות או שונות" שנודע בשם מבחן הסיבוב המנטלי (VKMRT). כל פריט בדיקה מציג גירוי מטרה. על המשתתפים לבחור מבין ארבעה גירויים, אילו מהם מייצגים את אותו אובייקט המתואר בגירוי המטרה, ואילו לא. VKMRT שימש לחקר המתאם בין יכולת MR לבין גורמים שונים אחרים, כגון הבדלים הקשורים למין ^{6,21,24,28,29,30}, הזדקנות והתפתחות ^6,31,32, ביצועים אקדמיים^8,33, ומיומנויות במוסיקה ובספורט³⁴. בשנת 1995, פיטרס ואחרים פרסמו מחקר עם נתונים משורטטים מחדש עבור VKMRT^35,36. באופן דומה, בעקבות תכנון המשימה "זהה או שונה", מגוון ספריות אחרות של גירויים שנוצרו על ידי מחשב שימשו לחקר תהליכי MR ולהערכת יכולות MR (גרסאות תלת-ממדיות של גירויי SM המקוריים 19,22,23,37,38, גוף האדם המחקה דמויות SM 25,39,40, מצולעים שטוחים לסיבוב דו-ממדי^{41, 42}, אנטומיה ואיברים⁴³, צורות אורגניות⁴⁴, מולקולות^45,46, בין היתר²¹). מבחן ההדמיה המרחבית של Purdue (PSVT) שהוצע על ידי גואי בשנת 1976⁴⁷ רלוונטי גם הוא. זה כרוך בסוללה של בדיקות, כולל MR (PSVT:R). תוך שימוש בגירויים שונים מאלה של VKMRT, PSVT:R דורש מהמשתתפים לזהות פעולת סיבוב בגירוי מודל וליישם אותה מנטלית על גירוי אחר. PSVT:R נמצא גם בשימוש נרחב, במיוחד במחקרים שחקרו את התפקיד של MR בהשגת STEM 48,49,50.

ההתקדמות השנייה בעלת חשיבות רבה בעבודתם המכוננת של שפרד ומצלר כוללת את התרומות להבנת תהליך ה- MR, בפרט, עם השימוש במכשירי מעקב עיניים. בשנת 1976, Just and Carpenter¹⁴ השתמשו בציוד מעקב עיניים אנלוגי מבוסס וידאו כדי לערוך מחקר המבוסס על ניסוי ADE של שפרד ומצלר. מהתוצאות שלהם על תנועות עיניים סקאדיות ו- RTs, הם הציעו מודל של תהליכי MR המורכב משלושה שלבים: 1) שלב החיפוש, שבו חלקים דומים של הדמויות מזוהים; 2) שלב הטרנספורמציה וההשוואה, שבו אחד החלקים המזוהים מסובב מנטלית; 3) שלב האישור, שבו מחליטים אם הנתונים זהים או לא. השלבים חוזרים על עצמם באופן רקורסיבי עד לקבלת החלטה. כל צעד מתאים לדפוסי תנועת עיניים סקאדיים וקיבועים ספציפיים ביחס הדוק ל- ADEs שנצפו. לפיכך, על ידי התאמה בין פעילות העיניים לנתונים כרונומטריים, ג'אסט וקרפנטר סיפקו חתימה קוגניטיבית לחקר תהליכי MR. עד כה, מודל זה, אם כי עם התאמות, אומץ במספר מחקרים 15,42,46,51,52,53.

בעקבות מסלול זה, מספר מחקרים עוקבים אחר התנהגות 18,19,22,23,25,34,40,54,55 ופעילות מוחית 20,22,56,57 נערכו תפקודים במהלך סיבוב גירויים. ממצאיהם מצביעים על שיתוף פעולה בין MR לבין תהליכים מוטוריים. יתר על כן, יש עניין גובר בחקירת אסטרטגיות לפתרון בעיות הקשורות ל- MR ביחס להבדלים אינדיבידואליים 15,41,46,51,58.

בסך הכל, ניתן לחשוב כי תכנון מחקרים המכוונים להבנת תהליכי MR מבוסס על הצגת משימה עם גירויים חזותיים המבקשת מהמשתתפים לבצע פעולת MR הכרוכה בתגובה מוטורית. אם תגובה זו מאפשרת סיבוב של הגירויים, זה נקרא לעתים קרובות סיבוב פיזי (PR). בהתאם למטרות הספציפיות של כל מחקר, אסטרטגיות ומכשירים שונים שימשו לרכישת נתונים וניתוח של MR ויחסי ציבור. בשלב הצגת גירוי המשימה, ניתן לשנות את סוגי הגירויים (כלומר, דוגמאות שהובאו בעבר); ההקרנה (תמונות שנוצרו על ידי מחשב בתצוגות מסורתיות 22,23,25,29,40,41,59, כמו גם בסטריאוסקופים¹⁹ וסביבות וירטואליות ⁶⁰ ומציאות מעורבת⁴³); והאינטראקטיביות של הגירויים (תמונות סטטיות ^12,27,36, אנימציות⁶¹, ואובייקטים וירטואליים אינטראקטיביים 19,22,23,43,53,59).

MR מוסק בדרך כלל ממדדי RTs (ADE), כמו גם פעילות עינית ומוחית 25,46,62. פעילות העין נמדדת באמצעות נתוני מעקב עיניים המורכבים מתנועות סקאדיות וקיבוע 14,15,42,51,52,54,58,60, וכן אישונים⁴⁰. נתוני RT נובעים בדרך כלל מנתוני תגובת מנוע שנרשמו בעת הפעלת מכשירים שונים כגון מנופים¹³, כפתורים ומתגים ^14,53, דוושות⁵³, ידיות סיבוביות¹⁹, ג'ויסטיקים³⁷, מקלדת⁶¹ ועכבר 29,58,60, גלגלי הנעה⁵³, חיישנים אינרציאליים^22,23, מסכי מגע^52,59ומיקרופונים²²., כדי למדוד יחסי ציבור, בנוסף ל- RTs, תכנון המחקר יכלול גם הקלטת סיבובים ידניים של גירויים אינטראקטיביים בזמן שהמשתתפים מבצעים את משימת MR 22,23,52,53.

בשנת 1998, Wohlschläger ו-Wohlschläger¹⁹ השתמשו במשימות "זהות או שונות" עם גירויי SM וירטואליים אינטראקטיביים עם ידית, עם סיבובים מוגבלים לציר אחד לכל משימה. הם מדדו RT ואת התיעוד המצטבר של סיבובים פיזיים שבוצעו במהלך המשימות. הם השוו מצבים עם ובלי סיבוב בפועל של הגירויים האינטראקטיביים, והגיעו למסקנה כי MR ויחסי ציבור חולקים תהליך משותף הן לסיבובים דמיוניים והן לביצוע בפועל.

בשנת 2014 נערכו שני מחקרים שעסקו באותו סוג של משימות עם גירויים אינטראקטיביים וירטואליים^22,23. עם זאת, האובייקטים עברו מניפולציה באמצעות חיישנים אינרציאליים שלכדו תנועה בחלל תלת ממדי. בשני המקרים, בנוסף ל- RTs, נרשמו מסלולי סיבוב - התפתחות הבדלי סיבוב בין התייחסות לגירויים אינטראקטיביים במהלך המשימות. ממסלולים אלה ניתן היה לחלץ הן מידע מצטבר (כלומר, מספר הסיבובים הכולל, ביחידות קווטרניוניות) והן מידע מפורט על אסטרטגיות פתרון. Adams et ^al.23 חקרו את ההשפעה השיתופית בין MR ויחסי ציבור. בנוסף RTs, הם השתמשו אינטגרל של מסלולי סיבוב כפרמטר של דיוק ואובייקטיביות של רזולוציה. פרופילי עקומות פורשו על פי מודל^{תלת שלבי 63} (תכנון, סיבוב גדול, התאמה עדינה). התוצאות מצביעות על כך של-MR ול-PR אין בהכרח גורם משותף אחד. Gardony et ^al.22 אספו נתונים על RT, דיוק וסיבוב בזמן אמת. בנוסף לאישור הקשר בין MR ויחסי ציבור, ניתוח מסלולי הסיבוב גילה כי המשתתפים תמרנו את הנתונים עד שיכלו לזהות אם הם שונים או לא. אם הם היו זהים, המשתתפים היו מסובבים אותם עד שהם נראו אותו דבר.

בהמשך לאסטרטגיה זו, בשנת 2018, Wetzel ו- Bertel⁵² השתמשו גם בדמויות SM אינטראקטיביות במשימות "זהות או שונות" באמצעות טאבלטים עם מסך מגע כממשק. בנוסף, הם השתמשו במכשיר מעקב עיניים כדי להשיג נתונים מצטברים על זמן קיבוע ומשרעת סקאדית כפרמטרים של העומס הקוגניטיבי המעורב בפתרון משימות MR. המחברים אישרו את המחקרים הקודמים שנדונו לעיל בנוגע ליחסים בין MR ויחסי ציבור ותהליכי פתרון המשימות. עם זאת, במחקר זה, הם לא השתמשו במיפוי קיבוע ונתוני סקאדות עבור הגירויים.

גישות מתודולוגיות למיפוי נתוני מעקב עיניים על פני אובייקטים תלת-ממדיים וירטואליים הוצעו ושופרו ללא הרף, בדרך כלל על ידי חוקרים המעוניינים לחקור את הגורמים הקשורים לתשומת לב חזותית בסביבות וירטואליות⁶⁴. למרות שהן זולות ומשתמשות במכשירי מעקב עיניים דומים, ככל הנראה, שיטות אלה לא שולבו ביעילות ברפרטואר הניסויי המשמש במחקרי סיבוב מנטלי עם אובייקטים תלת-ממדיים אינטראקטיביים כמו אלה שהוזכרו קודם לכן. לעומת זאת, לא מצאנו מחקרים בספרות המדווחים על מיפוי בזמן אמת של נתוני קיבוע ותנועת סקאדה על עצמים תלת-ממדיים אינטראקטיביים. נראה שאין שיטה נוחה לשלב נתוני פעילות עיניים עם מסלולי סיבוב בקלות. במחקר זה אנו שואפים לתרום להשלמת פער זה. ההליך מוצג בפירוט, החל מרכישת נתונים ועד ליצירת פלט גרפי.

במאמר זה אנו מתארים בפירוט שיטה לחקר תהליכי סיבוב מנטליים עם אובייקטים תלת-ממדיים וירטואליים אינטראקטיביים. ההתקדמות הבאה מודגשת. ראשית, הוא משלב מוטוריקה התנהגותית כמותית (סיבוב אובייקטים ידני באמצעות ממשק מחשב) ואיסוף נתונים עיני (מעקב עיניים) במהלך מפגשי אינטראקציה עם מודלים וירטואליים תלת-ממדיים. שנית, הוא דורש רק ציוד מחשב קונבנציונלי והתקני מעקב עיניים לתכנון משימות חזותיות, רכישת נתונים, הקלטה ועיבוד. שלישית, הוא מייצר בקלות פלט גרפי כדי להקל על ניתוח נתונים - פער זוויתי, סיבוב פיזי, מסלולי סיבוב קווטרניוניים, ומיפוי פגעים של נתוני מעקב עיניים על אובייקטים וירטואליים תלת ממדיים. לבסוף, השיטה דורשת רק תוכנה חופשית. כל הקוד והסקריפטים שפותחו זמינים ללא תשלום (https://github.com/rodrigocnstest/rodrigocnstest.github.io).

Protocol

1. הכנת כלים לאיסוף נתונים

1. הגדר את איסוף הנתונים המקוון (אופציונלי).
   הערה: שלב זה מתאר כיצד להגדיר שכפול הניתן להתאמה אישית של קוד הפרויקט ודף האינטרנט הפועל (עיין במאמר קובץ משלים 1). שלב זה הותאם מהערכות הלימוד הזמינות ב- https://pages.github.com/ וב- https://github.com/jamiewilson/form-to-google-sheets. אם משתמשים מעוניינים רק בשיטת עיבוד הנתונים ולא בהקלטת הנתונים, הם יכולים להשתמש בדף האינטרנט https://rodrigocnstest.github.io/iRT_JoVE.html, יחד עםטבלה משלימה S1 ואת קבצי המאגר ב- https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave, ודלג על שלבים 1.1, 1.2 ושלבי המשנה שלו.
   1. היכנס ב- GitHub (https://github.com/).
   2. צור שכפול ציבורי של מאגר דפי GitHub המקורי.
      1. לחץ על ייבוא מאגר https://github.com בזמן שאתה מחובר לחשבון.
      2. בשדה כתובת URL לשכפול של המאגר הישן שלך , הדבק את https://github.com/rodrigocns/rodrigocns_JoVE כתובת ה- URL בשדה שם המאגר , הקלד username.github.io, כאשר username הוא שם המשתמש המשמש בחשבון וודא שהאפשרות Public מופעלת. לאחר מכן, לחץ על הכפתור הירוק התחל לייבא.
         הערה: המאגר מכיל כעת את רוב הקבצים הדרושים לשארית הגדרה זו, וכל השינויים שיבוצעו במאגר יעודכנו באתר האינטרנט לאחר מספר דקות. לדוגמה, משתמש בשם rodrigocnstest ייגש לדף שלו ב-https://rodrigocnstest.github.io ולמאגר GitHub שלו ב-https://github.com/rodrigocnstest/rodrigocnstest.github.io.
   3. הגדר גיליון אלקטרוני בענן לאחסון נתוני הניסוי באופן מקוון.
      1. הירשמו לחשבון Google או התחברו אליו.
      2. בזמן שאתה מחובר לחשבון, עבור אל הקובץ הנקי של הגיליונות האלקטרוניים של iRT הזמין בכתובת https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
         Ops1wZrXI/edit?usp=sharing.
      3. בתוך גיליון אלקטרוני זה, לחץ על קובץ | צור עותק. יופיע חלון אישור קטן.
      4. בתוך החלון הקטן, תן שם לקובץ ולחץ על כפתור צור עותק .
   4. הגדירו סקריפט של Google Apps כדי להפוך את אחסון הנתונים בתוך הגיליון האלקטרוני שיצרתם לאוטומטי.
      1. בתוך קובץ הגיליון האלקטרוני, לחץ על האפשרות הרחבה | קובץ Script של יישומים.
         הערה: יש ליצור קובץ script זה או לגשת אליו מתוך הגיליון האלקטרוני כך שהוא ישויך אליו. ייתכן שניסיון ליצור קובץ Script חיצוני לא יפעל.
      2. לחץ על הפעל כפתור להפעלת הסקריפט בפעם הראשונה.
      3. לחץ על כפתור סקירת הרשאות . יופיע חלון חדש. לחץ על אותו חשבון המשמש בעת יצירת הגיליון האלקטרוני.
         הערה: אם זו הפעם הראשונה שמבצעת שלב זה, עשויה להופיע התראת בטיחות המזהירה את המשתמש לגבי האפליקציה המבקשת גישה למידע מהחשבון. זה בטוח מכיוון שהאפליקציה מנסה להגיע לתוכן הגיליון האלקטרוני ומבקשת רשות למלא אותו בנתונים. אם לא מופיעות אזהרות, ניתן לדלג על שלב 1.1.4.4.
      4. לחץ על מתקדם | עבור אל מ-iRT ל-sheets (לא בטוח) | לחצן 'אפשר '.
         הערה: לאחר הביצוע, הודעה המציינת שהביצוע הושלם אמורה להופיע ביומן הביצוע.
      5. בחלונית ההזזה השמאלית, לחץ על כפתור טריגרים (הסמל הרביעי מלמעלה למטה) | + הוסף כפתור טריגר .
      6. תחת בחר איזו פונקציה להפעיל, בחר doPost; תחת בחר מקור אירוע, בחר מתוך גיליון אלקטרוני; תחת בחר סוג אירוע, בחר בעת שליחת טופס. לאחר מכן, לחץ על שמור. אם מופיעים פריטים מוקפצים של הרשאות, בצע את השלבים 1.1.4.3-1.1.4.4. אם הדפדפן חוסם בסופו של דבר את החלון הקופץ, בטל את חסימתו.
      7. לחץ על הלחצן הנפתח פרוס | פריסה חדשה.
      8. רחף עם העכבר מעל סמל גלגל השיניים וודא שהאפשרות Web App נבחרה.
      9. כתוב תיאור בשדה תיאור חדש , כגון פריסה 1; בשדה למי יש גישה , בחר כל אחד ולאחר מכן לחץ על לחצן פריס .
         הערה: מטרת השדה תיאור חדש היא לארגן פריסות script של אחד. ניתן לקרוא לו כרצון הקורא, כגון פריסה ראשונה. השדה בצע כ אמור להופיע כבר כאני(דואר אלקטרוני), כאשר דואר אלקטרוני הוא הדואר האלקטרוני ששימש עד כה.
      10. בתוך החלון המוקפץ החדש, העתק את כתובת ה- URL של יישום האינטרנט של פריסת קובץ ה- Script.
          הערה: אם מסיבה כלשהי, בסופו של דבר אתה מאבד את כתובת ה- URL של יישום האינטרנט שהועתק, אחזר אותה על-ידי לחיצה על התפריט הנפתח פריסה | נהל פריסות. כתובת ה- URL של יישום האינטרנט אמורה להיות שם.
      11. עבור אל הדף בכתובת https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js שבו rodrigocnstest הוא שם המשתמש המשמש ב- GitHub. החלף את כתובת ה- URL הקיימת בשורה 5 עבור כתובת ה- URL המועתקת של יישום האינטרנט בשלב 1.1.4.10 ולחץ על הלחצן הירוק בצע שינויים....
          הערה: ערך כתובת ה- URL המועתק צריך להישאר בין מרכאות בודדות ' ' או כפולות " ". בדוק שוב שכתובת ה- URL שהועתקה היא הנכונה מיישום האינטרנט.
      12. לבסוף, לחץ על בצע שינויים כפתור אישור באמצע המסך.
   5. ודא שהתהליך הושלם כראוי ושהדף פועל.
      1. עבור אל המאגר בכתובת https://github.com/username/username.github.io/, כאשר username הוא שם המשתמש המשמש ב- GitHub, ובדוק אם הפריסה עודכנה לאחר השינויים שבוצעו בשלב 1.4.14.
      2. נווט אל דף האינטרנט בכתובת https://username.github.io/iRT_JoVE, שנה את שם המשתמש לשם המשתמש המשמש ב- GitHub ולאחר מכן לחץ על הבא.
      3. לחץ על Go, בצע אינטראקציה כלשהי על-ידי לחיצה וגרירה של האובייקט משמאל עם העכבר ולאחר מכן לחץ על הלחצן DONE! .
      4. חזור לקובץ הגיליון האלקטרוני שהוגדר בשלבים 1.1.3 ו- 1.1.4, ואמת את הנוכחות של שורת נתונים חדשה שנוספה עבור כל לחיצה על לחצן סיום .
2. הגדר רכישת נתונים לא מקוונת (אופציונלי).
   הערה: השיטה המיועדת להפעלה ולרכישה של נתוני משימת הסיבוב האינטראקטיבית (iRT) היא מקוונת באמצעות שירותי הענן שהוגדרו בשלבים המתוארים לעיל. אם תרצה בכך (מכיוון שהחיבור לאינטרנט עשוי להוות בעיה או שיש דרך חלופית להפעיל אותו), ניתן גם להפעיל את הבדיקה באופן מקומי עם או בלי חיבור לאינטרנט במקום שבו הבדיקה תבוצע. השלבים הבאים הם חלופה אופציונלית ומתארים כיצד להשיג זאת. אחרת, דלג לשלב 1.3.
   1. גש למאגר GitHub בקישור: https://github.com/rodrigocnstest/rodrigocnstest.github.io. לחץ על הכפתור הירוק < > קוד | הורד את ZIP ולאחר מכן, בטל את דחיסת הקבצים שהורדת.
      הערה: שינויים שיבוצעו בקבצים המאוחסנים באופן מקומי לא ישנו את הקבצים במאגר ולהיפך. יש להחיל את כל השינויים המיועדים לשתי הגירסאות על שני המיקומים, באמצעות העתקה ידנית של הקבצים המעודכנים או באמצעות שימוש בשולחן העבודה של git/GitHub.
   2. קבל את הגרסה העדכנית ביותר של Mozilla Firefox דרך הקישור: https://www.mozilla.org/en-US/firefox/new/.
   3. פתח את דפדפן Mozilla Firefox, הזן "about:config" בחריץ כתובת האתר, הזן "security.fileuri.strict_origin_policy" בשדה החיפוש ושנה את ערכו ל- false. הערה: כעת, Mozilla Firefox במערכת ההפעלה Windows אמור להיות מסוגל לגשת באופן מקומי לקבצי דפי האינטרנט שהורדו במחשב שלך. ניתן להגדיר דפדפנים ומערכות הפעלה אחרים לעבודה מקומית, כל אחד עם ההתקנה שלו המתוארת בקישור http://wiki.jmol.org/index.php/Troubleshooting/Local_Files.
3. הגדר את כלי עיבוד הנתונים.
   1. הורד והתקן את הגרסה העדכנית ביותר של GNU Octave בשעה https://octave.org/download.
4. הגדר את מכשיר המעקב אחר העיניים.
   1. ודא שתוכנת מערכת ההקלטה מותקנת במחשב הנייד.
   2. ודא כי חדר המחקר נקי ומאורגן היטב כדי למנוע הסחות דעת.
   3. השתמשו בתאורה מלאכותית בחדר כדי לשמור על תאורה עקבית לאורך כל היום.
   4. התקן את המחשב על שולחן וודא שהמשתתף יכול להזיז את העכבר בנוחות.
   5. ספקו כיסא נוח למבחן, רצוי כיסא קבוע, כדי למזער את התנועה במהלך המבחן.
   6. חבר כבל USB אחד כדי להפעיל את תאורת האינפרא-אדום וכבל USB נוסף בין המחשב הנייד למחשב לבין עוקב העיניים של המצלמה.
   7. מקם את מעקב העיניים מתחת למסך.

2. איסוף נתונים

1. אתחל את תוכנת איסוף הנתונים.
   1. הפעל את תוכנת המעקב אחר העיניים במחשב כדי לקבל נתונים מעוקב העיניים.
   2. בחר באפשרות לכידת מסך בחלון הראשי של התוכנה כדי ללכוד מבט במהלך הניסוי (ניתן גם להשתמש בתוכנה זו להדמיית מפת חום ונתוני ייצוא גולמיים).
   3. לחץ על פרוייקט חדש כדי ליצור פרוייקט חדש ותיקיית פרוייקט שבה יש לשמור את הנתונים.
   4. פתח את דף הבדיקה בשעה https://rodrigocnstest.github.io/iRT_JoVE.html אם אתה משתמש בדף המוצע כדוגמה או בדף שנוצר בשלב 1.1. לחלופין, פתח את קובץ iRT_JoVE.html באופן מקומי מהדפדפן שהוגדר בעבר בשלב 1.2.
   5. במידת הצורך, מלא את שדות השם והדואר האלקטרוני כדי לסייע בזיהוי נתונים, וסמן את התיבה כדי להוריד עותק גיבוי של הנתונים המיוצרים.
      הערה: אם אתה משתמש בשיטה לא מקוונת (שלב 1.2), מומלץ להוריד את עותקי הגיבוי.
   6. נסה להפעיל את הניסוי פעם אחת כדי לוודא שהדפדפן יטען את הרכיבים כראוי, ואין בעיות במשימות המוצגות או ברכישת הנתונים.
2. הפעל את הניסוי.
   1. הסבירו למשתתף את מטרת הניסוי, את הטכנולוגיה שבה נעשה שימוש ואת קריטריוני ההכללה/אי-הכללה. ודא שהמשתתף הבין הכל. בקש מהמשתתף למלא את טופס ההסכמה.
   2. בקשו מהמשתתף לשבת מול מערכת מעקב העיניים ולהרגיש בנוח ככל האפשר.
   3. הזיזו את הכיסא כדי להבטיח מרחק אופטימלי בין המשתתף למצלמה (האורך האידיאלי הוא 65 ס"מ מעוקב העיניים לעיני המשתתף).
   4. בקשו מהמשתתף להישאר דומם ככל האפשר במהלך הניסוי. כוונן את גובה המצלמה כדי ללכוד כראוי את האישונים של המשתתף (תוכנות מסוימות מדגישות את האישון כדי להראות את השתקפות הקרנית).
   5. לחץ על Enable Auto Gain כדי למטב את מעקב האישונים על ידי שינוי מרווח המצלמה עד למציאת האישונים (תוכנות מסוימות אינן כוללות אפשרות זו).
   6. בקשו מהמשתתפים להסתכל על סדרה של נקודות על המסך ולעקוב אחר תנועת הנקודה מבלי להזיז את ראשם.
   7. לחץ על כיול כדי להתחיל בכיול (זה יבטיח שעוקב העיניים יוכל לעקוב אחר המקום שבו המשתתף מסתכל על המסך).
      הערה: המסך יתרוקן וסמן כיול (נקודה) יעבור בין חמישה מיקומים על המסך.
   8. לאחר הכיול, אומדן נקודת מבט חזותית ישורטט על המסך כדי לבדוק את דיוק הכיול. בקשו מהמשתתף להסתכל על נקודה מסוימת בתצוגה כדי לראות אם המבט יוצג כראוי.
   9. אם הכיול אינו משביע רצון, כוונן את המצלמה ונסה שוב את הכיול עד שהמערכת עוקבת אחר המבט כראוי.
   10. לחץ על כפתור איסוף נתונים בצד ימין של תוכנת מעקב העיניים (התפריט הראשי) כדי להפעיל את מצב איסוף הנתונים. התצוגה בזמן אמת של המסך שצולם תוצג עם נתוני מבט המוצגים בחלון התצוגה הראשי.
   11. לחץ על כפתור הווידאו מבט בתפריט הראשי כדי להציג את פני המשתמש שנלכדו על ידי מעקב העיניים. לאחר מכן, לחץ על התחל רשומה כדי להתחיל את הניסוי.
       הערה: במהלך הניסוי, האישון של המשתתפים מודגש, ועינו מוצגת כנקודה הנעה על פני מסך המחשב הנייד. ודא שעוקב העיניים עוקב אחר האישון והעין לאורך המסך.
   12. אם הנקודה נעלמת או מהבהבת לעתים קרובות, עצרו את הניסוי ונסו לכייל שוב.
   13. פתחו את חלון ה-iRT שנפתח בעבר ואמרו למשתתף ללחוץ על הבא.
   14. תן את ההוראות הבאות למשתתף: "בחלק זה, תבצע שלוש משימות סיבוב. כאשר אתה לוחץ על GO! שני אובייקטים יופיעו משני צדי המסך. המטרה שלך היא לסובב את האובייקט מימין עד שהוא יתאים ככל האפשר לאובייקט משמאל. כדי לסובב את האובייקט, לחץ עליו וגרור את העכבר מעליו. כשתסיים כל אחת משלוש המשימות, לחץ על בוצע! לסיכום".
       הערה: עבור כל משימה, נתוני iRT מעבר לסימן 5 הדקות (327^השנייה בדיוק) עלולים ללכת לאיבוד. ככל שאנו מפתחים את השיטה עוד יותר, יש להרחיב גבול זה.
   15. בסוף הניסוי, ודא שעוקב העיניים כבוי מהכבל המאריך והחזיר את מכסה העדשה למצלמה.
3. חלץ את הנתונים.
   1. לאחר השלמת איסוף נתוני מעקב העיניים, לחץ על נתח נתונים כדי לגשת לנתונים שנאספו.
   2. ייצא קובץ .csv עם כל הנתונים שנרשמו עבור המשתמש.
      הערה: העמודה הראשונה של נתוני מעקב עיניים חייבת להיות תקופת UNIX של הנתונים, מכיוון שזו הדרך היחידה להתאים ערכות נתונים שונות כראוי בזמן. אם הקובץ אינו מכיל קובץ כזה, יש להמיר אותו מכל תקן זמן אחר שנעשה בו שימוש. הקובץ יכול להיות בפורמט ".csv" או ".xlsx".
   3. אם אתה משתמש בגרסה המקוונת של דף משימות הסיבוב האינטראקטיבי (שלב 1.1), פתח את קובץ Google Sheets המשמש לקבלת הנתונים המקוונים (שנוצר בשלב 1.1.3) והורד אותו על ידי לחיצה על קובץ | הורדה | Microsoft Excel (.xlsx).
      הערה: נתונים אלה ארוזים כדי להקל על העברת הנתונים (כל משימה מתאימה לשורה אחת מלאה בנתונים). כדי לעבד את הנתונים בפנים, יש "לפרק" תחילה כל שורה של נתונים ארוזים.

3. עיבוד וניתוח נתונים

1. בטל את האריזה, מזג ועבד את הנתונים.
   הערה: השלבים הבאים מתארים כיצד לעבד את הנתונים באמצעות קבצי ה-script שסופקו (עיין בקובץ משלים 2). סקריפטים של GNU Octave ינחו את המשתמש קלט לגבי הקבצים שלו. אם הקלט נשלח כריק, ערכי ברירת המחדל, המפנים לנתונים לדוגמה שסופקו אם אף נתוני משתמש לא החליפו אותם, ישמשו במקום זאת. לאחר שהסקריפט מסיים לפעול, ניתן לסגור אותו.
   1. הורד ובטל את דחיסת המאגר שבו נעשה שימוש (של המשתמש עצמו או של המקור ב- https://github.com/rodrigocns/rodrigocns_JoVE) אם הוא עדיין לא הורד.
   2. ודא שקבצי ה- Script 1.unpacking_sheets.m, 2.data_merge_and_process.m 3.3D- rotational trajectory.m ודגמי התיקיות נמצאים בתוך המאגר שהורדת בתיקיה Octave, והעבר את קבצי הנתונים שהורדו משלבים 2.3.2 ו- 2.3.3 לאותה תיקיה שבה נמצאים סקריפטים של אוקטבות.
      הערה: ייתכן שכל הקבצים הקיימים שכבר נמצאים בתיקיה עם שמות זהים לאלה של הקבצים החדשים שנכתבו יוחלפו. שנה את שם הקבצים או העבר אותם לתיקיה אחרת בהתאם.
   3. פתח את הסקריפט 1.unpacking_sheets.m עם GNU Octave Launcher. בכרטיסייה עורך , הפעל את הסקריפט על ידי לחיצה על הירוק שמור קובץ והפעל כפתור, כדי לפרק את הנתונים למבנה קריא יותר.
      הערה: אם אחד מקבצי הנתונים המבוקשים פתוח באופן מקומי, זכור לסגור אותם לפני הפעלת קובץ ה-script. כל קובצי הסקריפט מסוג .m בוצעו באמצעות GNU Octave Launcher.
   4. שתי הנחיות יופיעו, בזו אחר זו. הזן את שם הקובץ שהורדת בתוך הבקשה הראשונה ואת שם הקובץ הלא ארוז בתוך השדה השני. לחלופין, השאר את שני שדות הבקשה ריקים כדי להשתמש בשמות ברירת המחדל המיועדים לקבצים לדוגמה הכלולים. המתן מספר דקות (בהתאם לעוצמת הקול של הנתונים) עד שחלון קופץ יודיע למשתמש שהתהליך הושלם ושהקובץ החדש נכתב.
   5. פתח והפעל את קובץ ה- Script 2.data_merge_and_process.m כדי למזג את הנתונים משניהם, מעקב אחר העיניים ו- iRT.
      הערה: למרות שסקריפט זה מורכב, וכולל מאות שורות קוד, הוא מחולק לשלושה חלקים עיקריים: הגדרות, פונקציות וסקריפטים. כולם הם העירו ביסודיות והוסברו, להקל על שינויים עתידיים, במידת הצורך.
   6. יופיעו ארבע הנחיות. הזן את הערך sessionID, ערך taskID (שניהם מטבלת הנתונים iRT), שם קובץ נתוני iRT לא ארוזים (נכתב בשלב 3.1.5) ושם קובץ נתוני מעקב עיניים (מיוצא בשלב 2.3.2) או השאר את כולם ריקים כדי להשתמש בערכי ברירת המחדל.
      הערה: לאחר מספר דקות, חלון מוקפץ של עזרה יציין שהסקריפט השלים את החישוב ואת שמות הקבצים שבהם נעשה שימוש ונוצרו. בתהליך התסריט יופיעו שלוש חלקות לדוגמה של פער זוויתי: עלילה פשוטה, עלילה עם נתוני מבט צבעוני ועלילה עם נתוני קוטר אישון. שני הקבצים שנוצרו הם פלט מיזוג X Y.xlsx ופלט jmol קונסולת X Y.xlsx, כאשר X הוא הערך sessionID , ו - Y הוא הערך taskID , שניהם נכתבו בתחילת שלב 3.1.6.
2. רינדור תמונות מסלול סיבוב תלת-ממדי.
   1. פתח והפעל את קובץ ה- Script 3.3D מסלול הסיבוב.m.
   2. יופיעו שלוש הנחיות. הזן את הערך sessionID, ערך taskID ושם קובץ נתוני iRT לא ארוזים, או השאר אותם ריקים כדי להשתמש בערכי ברירת המחדל.
      הערה: יופיע גרף תלת-ממדי. הגרף המעובד הוא מסלול הסיבוב התלת-ממדי של ההפעלה והמשימה שצוינו.
3. הפעל שוב את ההנפשות.
   1. כדי להפעיל מחדש את אינטראקציית המשימות של המשתתף, תחילה, עבור אל דף האינטרנט של המשימה האינטראקטיבית, התחל את הבדיקה (המציגה את שני המודלים התלת-ממדיים), הזז את מצביע העכבר בפינה השמאלית העליונה של המסך עד שסמל העכבר ישתנה לטקסט, כמתואר בקובץ משלים 2, ולאחר מכן לחץ על הטקסט הבלתי נראה של איתור באגים , והפעל את מצב איתור הבאגים.
   2. מהכפתורים המופיעים בין הדגמים, לחץ על כפתור timerStop כדי להפריע למשימה ולחץ על כפתור הקונסולה כדי לפתוח את קונסולת JSmol של הדגם מימין. אם המשימה מהאינטראקציה של עניין לא היה הראשון, לחץ על הכפתורים הממוספרים בתוך אזור ניפוי הבאגים העליון כדי לשנות את המשימה המוצגת על המסך.
      הערה: JSmol היא תוכנת המידול המולקולרי המשמשת בדף האינטרנט.
   3. פתח את פלט הקובץ jmol console.xlsx והעתק את כל הדף של פקודות Jmol.
      הערה: כל עמוד מכיל פקודות עבור סצינה או הנפשה אחרת.
   4. בתוך מסוף JSmol, הדבק את רשימת הפקודות שהועתקו ולחץ על לחצן הפעל או הקש Enter במקלדת כדי לבצע אותו.
   5. אם תרצה, צור הנפשה .gif. כתוב את הפקודה לכידת "filename" SCRIPT "פלט" בתוך מסוף JSmol, כאשר filename הוא שם הקובץ .gif שיש ליצור ופלט הוא כל רשימת הפקודות שהועתקו בשלב 3.3.3, תוך שמירה על שתיהן בתוך המרכאות הכפולות.
      הערה: ככל שהפקודות מורכבות יותר, עם דגמים גדולים יותר או שינויים רבים יותר בזמן, וככל שהמפרט של המחשב שבו נעשה שימוש פחות חזק, כך ההנפשה תהיה איטית יותר. Jmol מתמקדת בהדמיה של תרכובות כימיות ותגובות, וסוג האנימציות המיוצרות במחקר שלנו מותח את גבולות יכולות העיבוד של Jmol. נקודות אלה יש לשקול ולקחת בחשבון בעת ביצוע כל מדידה כמותית עם אנימציה זו.

4. התאמה אישית של משימות

הערה: כל החלק הזה הוא אופציונלי ומומלץ רק למי שאוהב להתנסות או להבין כיצד לתכנת. להלן, תוכלו למצוא כמה מהאפשרויות הרבות הניתנות להתאמה אישית הזמינות, ואפשרויות נוספות יהיו זמינות ככל שנפתח את השיטות הלאה.

1. קביעת תצורה של משימות חדשות או קיימות.
   1. הגדר כמה משימות אינטראקטיביות יבוצעו על ידי המשתתף ותן שם לכל אחת מהן בקובץ object_configs.js בתוך המערך task_list החלפת שמות הפריטים הקיימים או הוספת פריטים נוספים. ודא שכל שם הוא ייחודי מכיוון שהם משמשים מאוחר יותר כמזהים.
   2. בחר קובצי קואורדינטות תלת-ממד תואמי JSmol כדי לבצע את המשימות האינטראקטיביות (http://wiki.jmol.org/index.php/File_formats). העתק קבצים אלה לתיקייה models.
      הערה: קבצי ה- Script הכלולים במאמר זה ממוטבים עבור מודלים אסימטריים המשתמשים בתבנית הקובץ xyz. בעת בחירת קובצי קואורדינטות, הימנע מסימטריה של סיבוב מכיוון שיש להם פתרונות מעורפלים⁶⁵.
   3. הגדר את הגדרות הרינדור של אובייקטים תלת-ממדיים בתוך הפונקציה prepMolecule(num).
      הערה: כל השינויים ממשימה אחת לאחרת המבוצעים על-ידי JSmol עוברים לכאן: שינוי תבנית הצבע, שינוי הגודל או אופן עיבוד הרכיבים הגרפיים, התמצאות, תרגום, הסתרת חלקים מהאובייקט, טעינת מודלים תלת-ממדיים חדשים וכו' (לדוגמאות נוספות, ראה https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm). כל משימה בשם task_list מתאימה לאירוע. כל פקודה לביצוע JSmol עוקבת אחר המבנה: Jmol.script( jsmol_obj , " jsmol_command1; jsmol_command2 "); כאשר jsmol_obj מתייחס לשינוי האובייקט (jsmol_ref ו- jsmol_obj כברירת המחדל עבור היעד ואובייקטים אינטראקטיביים) ואחריו פקודה אחת או יותר המופרדות על ידי ";".
2. צור מודלים חדשים.
   1. השתמש בכל מודל .xyz שהורד באינטרנט או נבנה על ידי עורכים מולקולריים כגון Avogadro (https://avogadro.cc/).

Results

אבולוציה של פער זוויתי ומשתנים אחרים
כפי שמתואר בשלב 3.3.1 בקובץ משלים 2, שני קנבסים מוצגים למשתתף על מסך צג הווידאו, ומציגים עותקים של אותו אובייקט וירטואלי תלת-ממדי בכיוונים שונים. בבד הציור השמאלי, אובייקט היעד (tObj) נשאר סטטי ומשמש כמיקום היעד או כמיקום tObj. בבד הציור הימני, האובייקט האינטראקטיבי (iObj) מוצג במיקום שונה ומאפשר למשתתף להזיז אותו לאורך זמן סביב מרכז סיבוב קבוע באמצעות עכבר (רק סיבובים; תרגומים מושבתים). המשימה העומדת על הפרק כוללת התאמת iObj כך שיתאים באופן הדוק ל- tObj בהתבסס על שיקול דעתו של המשתתף. ניתן לראות את שלושת העצמים התלת-ממדיים שבהם נעשה שימוש באיור 1. תהליך הפתרון, אם כי מורכב, ניתן לרשום בקפידה לניתוח הבא. הקלטה זו חורגת מעבר לצילומי וידאו בלבד, שכן כל מיקום לאורך זמן נלכד במרווחים קבועים של 0.1 שניות כקווטרניון, ויוצר סדרת זמן המאפשרת שחזור מלא של התהליך כולו. בכל מיקום, קיים סיבוב ייחודי סביב ציר מסוים, הנע בין 0° עד 180°, שהופך ישירות את מיקום tObj למצב iObj. בעוד שסיבוב זה מופשט ואינו קשור ליחסי הציבור של המשתתף במהלך המשימה, הוא מציין במדויק את מיקום ה- iObj המדויק ביחס ל- tObj. AD היא הזווית של סיבוב זה וניתן לחשב אותה מהקווטרניון המתאים. כאשר מיקום iObj מתקרב למיקום tObj, ערך זה מתקרב לאפס.

לאחר שלב 3.1.6 של המקטע עיבוד וניתוח נתונים, נוצרו שני קבצים: פלט מיזוג X Y.xlsx ופלט מסוף jmol X Y.xlsx, כאשר X הוא ערך sessionID ו- Y הוא ערך taskID . אם אתה משתמש בערכי ברירת המחדל על-ידי השארת שדות הקלט ריקים, הקבצים צריכים להיקרא פלט מיזוג 1682707472090 bolaBastao_c.xlsx ופלט jmol console 1682707472090 bolaBastao_c.xlsx. קובצי מיזוג X Y.xlsx של הפלט מכילים את נתוני מעקב העיניים שנבחרו שמוזגו לתוך נתוני ה-iRT, המיושרים לפי זמן תקופת UNIX, בדומה לאיור 2A אם הכל התנהל כשורה, או לאיור 2B אם אירעה בעיה כלשהי.

קבצי הפלט של jmol console X Y.xlsx מכילים עד חמש כרטיסיות מלאות בפקודות מסוף Jmol, שכאשר הן מודבקות במסוף Jmol, ישחזרו את תנועות המשתתף בעת פתרון המשימה: הפעלה חוזרת של סיבוב משחזרת את סיבובי iObj שבוצעו על ידי המשתתף; מבט חוזר int משחזר את סיבובי iObj עם מפת חום קיבוע נוספת על האובייקט בזמן באמצעות קנה מידה שקיפות/אטום; מבט חוזר tgt מראה רק את מפת חום קיבוע 3D של tObj במהלך המשימה; Gaze frame int ו- gaze frame tgt מציגים את מיפוי הקיבוע הכולל של התהליך כולו הן עבור iObj והן עבור tObj. כולם מתוארים באיור 3A-F. Jmol ו-JSmol זהים במהותם, Jmol הוא התוסף המבוסס בשפת התכנות Java, ו-JSmol בשפת התכנות JavaScript, שניהם בעלי אותן פונקציות ונמצאים בשימוש לסירוגין.

איור 4 מדגים את האבולוציה של פער זוויתי כפונקציה של זמן עבור שישה תרחישים שונים הכוללים שני משתתפים ושלושה אובייקטים. משך התהליך יכול להשתנות באופן משמעותי בהתאם לביצועי המשתתף עם אובייקט המשימה האינטראקטיבי. בכל משימה שהושלמה כראוי על ידי המשתתף, AD נוטה לאפס בסוף. אם אותו גרף אינו מציג אופן פעולה זה, המשתתף לא הצליח להשלים את המשימה מכיוון שהתייאש או הגיע למגבלת הזמן לכל משימה (כ- 5 דקות), או שאירעה שגיאה בעיבוד הנתונים.

התוצאות המשולבות של רשומות יחסי הציבור של iObj והנתונים שהתקבלו ממדידות מעקב העיניים מוצגות באיור 5. השונות בפער הזוויתי בין המטרה לבין העצמים האינרציאליים כפונקציה של הזמן מצביעה על שלושה שלבים נפרדים בתהליך פתרון המשימה שניתנה: תצפית ראשונית על המודלים; סיבוב בליסטי של המודל האינטראקטיבי; כוונון עדין של סיבוב המודל האינטראקטיבי. איור 5A מראה את המבט לסירוגין בין המודלים בשלב הראשוני, וליתר דיוק, בשלב הכוונון העדין (fine-tuning). איור 5B מראה שהאישון נשאר מורחב יותר בשלב הראשוני ובשלב הכוונון העדין שלהם. בשלב הכוונון העדין, תקופת הקיבוע הארוכה במודל האינטראקטיבי (40-47 שניות באיור 5A) מקבילה לרמה בקוטר האישון (40-47 שניות, איור 5B).

תוצאות אלה מצביעות על כך שהנתונים המתקבלים בשיטה המוצעת כאן עולים בקנה אחד עם המודל של פתרון בעיות סיבוב מנטלי המוצע על בסיס נתוני קיבוע מבט עבור מודלים סטטיים^14,66 ועבור מודלים אינטראקטיביים²³. מודל כזה יכלול שלושה שלבים: חיפוש, טרנספורמציה והשוואה, ואישור התאמה או אי התאמה בין המודלים. נוסף על כך, חילופי הקיבעונות בין המטרה לבין מודלים אינטראקטיביים בשלבי ההשוואה שנצפו באיור 5A עקביים עם התוצאות שהתקבלו במבחנים מסוג שפרד ומצלר המשתמשים בתמונות סטטיות^42,66. עם זאת, במקרה של מודלים אינטראקטיביים, סביר להניח כי שלבים אלה של חיפוש, טרנספורמציה, השוואה ואישור מתרחשים ברציפות באמצעות אינטראקציה ומיקום מחדש של המודל האינטראקטיבי.

מסלולי סיבוב תלת-ממדיים
כל סיבוב במרחב תלת-ממדי מ-0° עד 180° יכול להיות מתורגם לנקודה בתוך כדור (המובנת כנפח בתוך כדור) ברדיוס השווה ל-180°. איור 6 מדגים התאמה זו עם שלושה סיבובים לדוגמה. המרחק של הנקודה למרכז הכדור הוא פער זווית iObj ממיקום tObj, והווקטור המצביע ממרכז הכדור לנקודה הוא כיוון הסיבוב, הסיבוב נעשה במובן השעון הצופה מהמרכז. תרגום זה של סיבובים לנקודות בכדור מאפשר למישהו לדמיין ישירות, בציור תלת ממדי יחיד, את כל מסלול הסיבובים שנעשו על ידי המשתתף במשימה. אנו קוראים לציור זה מסלול הסיבוב התלת-ממדי.

באופן אנלוגי למדד AD, עבור כל משימה שהושלמה כראוי על ידי המשתתף, המסלול צריך להתקרב, בסופו של דבר, למרכז הכדור. אם המסלול מגיע לגבול הכדור בסיבוב של 180°, הוא יתעטף לנקודה האנטיפודלית על הכדור. איור 7 ממחיש את מסלול הסיבוב של שני המשתתפים שהוזכרו לעיל שביצעו את המשימה השלישית (C1 ו-C2 באיור 4), שנצפו הן בפרספקטיבה והן בתחזיות על שלושת מישורי הקואורדינטות. ברור מהאיור שלמרות הזינוק הקטן יחסית קרוב ל-45°, משתתף 1 סטה בתחילה ממיקום היעד לפני שמצא נתיב סופי לפתרון, בניגוד למשתתף 2, שהשלים את המשימה מהר יותר.

מפת חום של קיבוע תלת ממדי
במהלך תהליך פתרון הבעיות, המשתתף מחליף את מבטו בין tObj ו- iObj תוך אינטראקציה עם iObj. בעזרת נתוני מעקב העיניים, אנו יכולים לחלץ את מיקום המבט של המשתתף וליצור מפת חום של אזורי המסך שלכדו את מירב תשומת הלב והכי פחות תשומת לב של המשתתף בכל פרק זמן נתון. אם נלך רחוק יותר, כאשר גם נתוני מעקב העיניים וגם נתוני הקווטרניון של iRT מסונכרנים, אנו יכולים למפות בו זמנית במרחב תלת-ממדי ובזמן, כמה תשומת לב מקבל כל אחד מקודקודי האובייקט, אפילו עבור אובייקטים המסובבים בזמן.

באיור 3, תשומת הלב הניתנת לעצם מיוצגת על-ידי רמת האטימות של כל קודקוד. ככל שהוא קרוב יותר למבטו של המשתתף וככל שהוא נשאר זמן רב יותר בקרבה, כך הוא מקבל יותר תשומת לב, וכתוצאה מכך אטימות גבוהה יותר באזור זה של האובייקט. הירידה המרחבית בקשב מעוצבת באמצעות פונקציית גאוס הומוגנית דו-משתנית עבור מיקום המבט ופונקציית גאוס הומוגנית פשוטה המיושמת עבור הזמן שחלף. סטיית התקן של גאוסיאנים אלה נבחרה בהנחה של זווית ראייה של 2 מעלות⁶⁷ וזיכרון חזותי לטווח קצר של 10 s⁶⁸. כדי למנוע תוצרים חזותיים בשיטה זו, נתוני קרבת המבט מוגדרים לאפס בזמן שהמבט נמצא מחוץ לבד הציור של האובייקט (iObj אינו מקבל תשומת לב שיורית כאשר המבט נמצא בתוך בד הציור tObj או מחוץ לשניהם). איור 3 מציג פריים בודד מכל אובייקט של הנפשה שלמה של הפעלה חוזרת ואת אותן מסגרות עם מפת החום של הקיבוע התלת-ממדי. ניתן לראות השוואה אפשרית בין tObj ו-iObj על-ידי המשתתף במהלך תהליך הפתרון (איור 3C,D) כאשר המשימה מתקרבת לסיומה (זמן = 6.3 שניות). ניתן לראות את התהליך כולו כסרטון וידאו משלים S1. אנו מדווחים על תוצאות הסיבוב בתיווך מחשב של מודלים תלת-ממדיים המוצגים למשתתפים כמשימה שנלקחה בתנאים רגילים.

איור 1: אובייקטי יעד שבהם נעשה שימוש. תמונה של מודלים תלת-ממדיים הנמצאים בשימוש במשימות דף האינטרנט. (A) מולקולה עם ייצוג כדור ומקל; (B) אותה מולקולה עם מצולעים מלאים, ללא מימן, ומיוצגת על ידי מקלות בלבד; (C) פוליקובייה הדומה לאחת הדמויות של שפרד ומצלר¹³, שנגזרת מספריית הגירויים של פיטרס ובטיסטה³⁶. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

איור 2: השוואת גיליונות. (A,B) התמונות נלקחות ממיזוג פלט הגיליון האלקטרוני 1682707472090 bolaBastao_c.xlsx. עמודות A עד G מכילות ערכי נתוני iRT, ואילו עמודות H עד N מכילות ערכי נתוני מעקב עיניים. ב- (A), הכל נכון, ואילו ב- (B), בעמודות מעקב העיניים, כל הערכים קבועים ואינם תואמים לערכי הזמן של מערכת iRT. אם מתרחשת בעיה כלשהי בתהליך סינכרון הנתונים, סביר להניח ששגיאה זו תתרחש. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

איור 3: מפת חום של קיבוע תלת-ממדי. קיבוע מפת חום על פני האובייקט התלת-ממדי באמצעות סולם אטימות, שבו יותר אטום מתואם עם זמן רב יותר לבלות ליד מבט המשתתף. (A,B) תמונות tObj ו- iObj של המשימה הנפתרת על ידי המשתתף בסימן 6.3 שניות. (ג,ד) אותן תמונות כמו (A,B) באותו רגע עם סולם האטימות הנוסף של מפת החום. (ה,ו) תמונות מפת חום קיבוע בהתחשב בכל התקופה שבה המשתתף יכול היה לראות את האובייקטים. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

איור 4: רשת AD. שרטט רשת של פער זוויתי בין שני משתתפים ושלוש משימות. עמודות מייצגות את המשתתפים 1 ו-2, ושורות מייצגות את המשימות שהמשתתפים פתרו באמצעות שלושת האובייקטים המתוארים באיור 3. שימו לב שבעוד שאלצהיימר משתנה בין 0° ל-180°, טווח הזמן אינו קבוע ומשתנה בהתאם לביצועי המשתתפים ולהחלטתם להפסיק את התהליך. כאשר המשתתף מסובב את iObj, ה-AD בין tObj ל-iObj משתנה ככל שהזמן מתקדם, ובסופו של דבר המשתתף בוחר את כיוון ה-iObj הנוכחי כקרוב ביותר ל-tObj. במשימות^{1 ו-2}, נראה היה ששני המשתתפים התקדמו באופן דומה, אך למשתתף 1 לקח חצי זמן מאשר למשתתף 2. ובמשימה^{השלישית}, למרות שלמשתתף 2 לקח פחות זמן להשלים את המשימה, משתתף 1 כבר פתר את המשימה לפני סימן 20 שניות והמשיך לבצע התאמות קטנות כדי להתאים טוב יותר את iObj ל- tObj. קיצור: AD = פער זוויתי. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

איור 5: אלצהיימר עם נתוני מעקב עיניים. אבולוציה של פער זוויתי בשילוב עם נתוני מעקב עיניים. (A) פער זוויתי ומיקום מבט, התפתחות הפער הזוויתי בין tObj ו- iObj, יחד עם נתוני קיבוע אזוריים עבור כל מודל. הגרף מראה באיזה אזור נמצא מבטו של המשתתף: אדום כאשר הוא נמצא בתוך בד iObj, כחול כאשר הוא נמצא בתוך בד tObj ואפור כאשר הוא נמצא מחוץ לשניהם, כשהוא מביט באלמנט אחר על המסך או מסיט את מבטו ממנו. (B) פער זוויתי וקוטר אישון. פער זוויתי, בכחול, יחד עם נתוני קוטר אישון, בכתום. קוטר אישון הוא הערך הממוצע של אישונים שמאליים וימניים בכל נקודת זמן. קיצור: AD = פער זוויתי. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

איור 6: כדור סיבובים. איור זה ממחיש כיצד כל מיקום סיבוב אפשרי של אובייקט מעמדת ייחוס יכול להיות מיוצג כנקודה בכדור ברדיוס של 180°, המאפשר ייצוג מלא של מיקום הסיבוב של האובייקט בכל שלושת הצירים. כאן, כדור מובן כנפח התחום על ידי כדור. (A) החפץ המשמש כדוגמה הוא איחוד א-סימטרי של שבע קוביות, המתוארות למעלה, משמאל. שלושה סיבובים פשוטים הממוספרים I, II ו- III מוחלים על אובייקט זה, כפי שמוצג מימין. הם, בהתאמה, +90° על ציר x, -60° על ציר z, ו 180° על ציר בין +x ו -y, ב 45° משני הצירים. (B) כדור הסיבוב מוצג עם הנקודות המתאימות לסיבובים I, II ו-III. המרחק למרכז הכדור הוא פער הזווית. כאשר III משיג את זווית הסיבוב המרבית (180°), הוא מיוצג גם בנקודה האנטיפודלית שלו, מכיוון שהם זהים במהותם. סיבוב II, בהיותו נגד כיוון השעון ביחס לכיוון החיובי של ציר z, מופיע בצד השלילי. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

איור 7: מסלול סיבוב תלת-ממדי. מסלול הסיבוב בתוך כדור הסיבובים שביצעו שני המשתתפים במשימה השלישית, נצפה הן בפרספקטיבה (A) והן בתחזיות על מישורי הקואורדינטות (B-D). עובי הקו פוחת עם הזמן. כל עמודה מתאימה למשתתף (v1 ו- v2). ככל שהמסלולים מתקרבים למרכז הכדור, המשתתפים קרובים יותר לפתרון המשימה. '0' מציין את המיקום הראשוני של המשימה. המספרים הבאים מציינים נקודות שבהן המסלול מגיע לקצה הכדור וממשיך דרך הנקודה האנטיפודלית בצד הנגדי (1 עד 2, 2 עד 3, 3 עד 4 וכו'). אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

טבלה משלימה S1: כותרות גיליון. רשימת כותרות בקובץ הגיליון המשוכפל. כל כותרת מתאימה לשם משתנה ותקבל נתונים ממשתנה זה היוצרים עמודה של ערכים המשמשים לעיבוד וניתוח הנתונים שלנו. אנא לחץ כאן כדי להוריד קובץ זה.

קובץ משלים 1: מדריך שלב 1 לפרוטוקול. רשימה של צילומי מסך המנחים את השלבים של שיטת הפרוטוקול "1. הכנת כלים לאיסוף נתונים". אנא לחץ כאן כדי להוריד קובץ זה.

קובץ משלים 2: מדריך שלב 3 לפרוטוקול. רשימה של צילומי מסך המנחים את השלבים של שיטת הפרוטוקול "3. עיבוד וניתוח נתונים". אנא לחץ כאן כדי להוריד קובץ זה.

סרטון משלים 1: שידור חוזר של מיפוי קיבוע. דוגמה לשידורים חוזרים מונפשים של מיפוי הקשב הזמני בתלת-ממד מ-iObj ו-tObj בו זמנית. הוקלט באמצעות אולפני OBS ועובד באמצעות OpenShot Video Editor. אנא לחץ כאן כדי להוריד קובץ זה.

Discussion

כאמור, מאמר זה נועד להציג הליך מפורט של מיפוי בזמן אמת של נתוני קיבוע ותנועת סקאדה על אובייקטים תלת-ממדיים אינטראקטיביים, הניתן להתאמה אישית בקלות ומשתמש רק בתוכנה הזמינה בחינם, ומספק הוראות שלב אחר שלב כדי לגרום לכל דבר לעבוד.

בעוד שמערך ניסיוני זה כלל משימה אינטראקטיבית ביותר, כגון הזזת אובייקט תלת-ממדי כדי להתאים את הכיוון של אובייקט אחר ליחסי ציבור בשניים מתוך שלושת הצירים האפשריים, הבטחנו תיעוד יסודי של הסקריפטים שלנו באמצעות הערות מתאימות כדי להקל על כל התאמה אישית. ניתן לתכנן סוגים שונים אחרים של ניסויים, כאשר מכשיר מעקב העיניים הוא רק אחד ממכשירים אפשריים רבים אחרים המשמשים לרכישת נתונים זמניים.

הכותרות בקובץ המועתק משלב 1.1.3.3 מגדירות את התוכן והמיקום שבו הנתונים ייאספו באופן מקוון. טבלה משלימה S1 מפרטת את שמות המשתנים (כולם תלויי רישיות) ואת משמעותם. משתנים אלה משקפים את אלה הנמצאים בקובצי JavaScript במאגר GitHub. יש לשנות את סוג ומגוון הנתונים ושמות המשתנים, הן מגיליון זה והן מקבצי JavaScript, בהתאם להיקפו ולדרישות המחקר.

הקלטת נתוני סיבוב בקווטרניונים מאפשרת לחוקר לשחזר את אותן תנועות שנעשו על ידי המשתתפים במהלך המשימות, מה שמקל על ניתוח התהליך ושימוש בשטח אחסון בצורה יעילה הרבה יותר בהשוואה ללכידת מסך. ניתוח מפורט יותר, כגון מסלול סיבוב תלת-ממדי, המוצג באיור 7 באמצעות כדור הסיבובים, אפשרי רק באמצעות נתוני הקווטרניון הפנימיים של האובייקטים האינטראקטיביים. גרף חדש זה, המתרחב מתרשים AD לאורך זמן על ידי גרדוני²² ואדמס²³, מספק מידע מפורט יותר, עם קואורדינטות הסיבוב התלת-ממדיות בפועל בזמן.

יתרון נוסף נובע משימוש במדד זמן סטנדרטי לסנכרון כל מקורות הנתונים. מיזוג שכבות שונות של מידע תלוי זמן עם זה נעשה הרבה יותר קל, כמו למשל הנחת גרפים עם מקורות נתונים מרובים, כמו באיור 5B עם מדידת התרחבות האישונים, או באיור 5A עם פסים אנכיים צבעוניים, המציינים דפוסים אפשריים בתהליך הפתרון של המשתתפים, אפילו בזמן שכמעט ולא התרחש סיבוב ב- iObj. מפת החום של הקיבוע התלת-ממדי המוצגת באיור 3 אפשרית רק מנתוני קווטרניונים ומסנכרון נתונים.

חיוני להשתמש בסנכרון באמצעות מדד זמן סטנדרטי כדי להבטיח כל שילוב של נתונים זמניים. תקן הזמן שנבחר לפרויקט שלנו היה UNIX Epoch, המשמש ב- JavaScript וברוב שפות התכנות האחרות. סוג כלשהו של תקן זמן ידוע חייב להיות בשימוש עבור כל ערכת נתונים, גם אם תקן אחר, שניתן להמיר מאוחר יותר, לתקופת UNIX. נתונים זמניים שאינם משתמשים בתקנים כלשהם בוודאי לא יהיו מסוגלים לסנכרון ויאבדו את התועלת שלהם.

מגבלה נוספת היא התדר הנמוך יחסית של 10 הרץ המשמש בבדיקות iRT ביחס לתדר מעקב העיניים של 60 הרץ. זה קורה בחלקו בגלל מגבלות עיבוד והעברת נתונים בתוך הדפדפן, שכן כל תדירות גבוהה יותר בשימוש תפחית באופן יחסי את מגבלת הזמן המקסימלית של כל משימה, כרגע 327 שניות. בנוסף, עיבוד חלק של אנימציות מורכבות ב- Jmol בקצב פריימים זה כבר הציב אתגרים. וידאו משלים S1 הוא הקלטת וידאו של Jmol עיבוד שידור חוזר עם שינוי האטימות בזמן, מיפוי כמות המיקוד כל קודקוד קיבל. בעוד משך הווידאו הוא כמעט 2 דקות, המשימה בפועל הושלמה ב 63 שניות. פיתוחי תוכנה עתידיים המותאמים במיוחד לפונקציות כאלה במקום להתאים פונקציות קיימות, יכולים להתמודד עם מגבלות אלה ולשפר את יכולות איסוף הנתונים והניתוח.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (קוד פתוח)		כל דפדפן מודרני מעודכן התואם ל-WebGL (https://caniuse.com/webgl), ובתורו ל-Jmol, ניתן להשתמש
ב-GNU Octave	Open Source		https://octave.org/
Google Apps Script	Google LLC
script.google.com-Google Sheets	Google LLC		https://www.google.com/sheets/about/
מחשב נייד			כל מחשב שיכול להריץ את תוכנת מערכת המעקב אחר העיניים.
Mangold Software Suite	Mangold		ממשק תוכנה המשמש למכשיר המעקב אחר העיניים. ניתן להשתמש בכל תוכנה המוציאה את הנתונים עם ערכי זמן מערכת.
עכבר			כל עכבר המסוגל ללחוץ ולגרור בתנועות פשוטות צריך להיות תואם. ממשקים אנושיים המקבילים לעכבר עם אותן יכולות, כגון מסך מגע או מצביע, צריכים להיות תואמים, אך עשויים להתנהג אחרת.
מערכות דיגיטליות		Vt3mini	60 הרץ. כל מכשיר מעקב עיניים פעיל צריך להיות תואם.