הערכת ממדים המרובים של אירוסין לאפיין למידה: הנוירופיזיולוגי פרספקטיבה

המטרה הכוללת של הליך זה היא לאסוף ולסנכרן נתונים על מעורבות התנהגותית, רגשית וקוגניטיבית במהלך משימות למידה. דבר זה מושג תחילה על ידי חיבור כל מערכות איסוף הנתונים באמצעות התקן סנכרון שישלח סימון זמן בתוך הנתונים הנאספים. השלב השני הוא איסוף נתונים של מעקב עיניים ואינטראקציות תוכנה לצורך בחינת המעורבות ההתנהגותית.

בשלב הבא, נאספו נתוני EEG לצורך אפיון מעורבות קוגניטיבית. השלב הסופי הוא איסוף נתוני מעורבות רגשית המגיעים מפעילות ELECTRODERMAL או ED למדידת עוררות, וזיהוי אוטומטי של רגשות פנים או A FER ליצירת נתוני ערכיות (valence). בסופו של דבר, מדדים אלה המאפיינים את שלושת ממדי המעורבות יסונכרנו מחדש בתוכנת סנכרון בהתאם לסימני הזמן שנשלחו בתחילה על ידי מכשיר הסנכרון.

היתרון המרכזי של טכניקה זו הוא שהיא מכמתת שלושה ממדים של מעורבות הלומדים במהלך משימת למידה, בניגוד לשיטות מחקר קלאסיות המתמקדות אך ורק בכלי הערכה עצמית של מעורבות לאחר ביצוע המשימות. שיטה זו יכולה לסייע במתן תשובות לשאלות מפתח בתחום הלמידה, כגון מהי הדינמיקה המשפיעה על הקוגניציה בסביבות למידה מורכבות שונות, ומהי ההשפעה של הגדרות פדגוגיות שונות על הרגש והקוגניציה? לטכניקה זו ישנן השלכות גם בתחומים אחרים.

לדוגמה, בתחום טכנולוגיית המידע, אנו משתמשים בטכניקה זו כדי למדוד את רמת המעורבות של משתמש בזמן גלישה באתר אינטרנט או בשימוש באפליקציית תוכנה. טכניקה זו ได้השראה מעבודות אחרונות בתחום הנוירו-אומיקה (neuro-omics), שבהן נאספו נתוני ערנות של נהגים בנסיעות ארוכות באמצעות מכשירי EEG. את הפרוצדורה זו תדגים גבריאל זו, עוזרת מחקר במעבדת Tech three של HEC Montreal, יחד עם איגו ויג, עוזרי מחקר ממעבדת Neuro Lab. התחלנו בהפעלת עוקב העיניים, מגבר ה-EEG, המחשבים להקלטה והרמקולים.

הכינו את תמיסת ה-EEG עם החומרים הנדרשים בהתאם לנהלי היצרן המומלצים. לאחר מכן, הכינו את תוכנת ה-EEG ומעקב העיניים עבור המשתתף הבא. הפעילו את תוכנת הקלטת הווידאו ואת המצלמות, והפעילו את תוכנת הסנכרון עם תת-השגרה הספציפית שנוצרה עבור הפרויקט, המאפשרת שליחת סימני סנכרון בכל 60 שניות.

לאחר מכן, הפעילו את התוכנה למדידה פיזיולוגית ופתחו את הפריסה הספציפית שנוצרה עבור הפרויקט. לאחר מכן, הכניסו את המשתתף לחדר איסוף הנתונים ואתרו את מיקום אלקטרודת cz על ראשו של המשתתף בהתאם למערכת הייחוס 10 20. הניחו את רשת ה-EEG על ראשו של המשתתף וודאו שכל אלקטרודה ממוקמת בניצב לפני השטח של הראש.

חברו את מחבר הרשת ובצעו בדיקת עכבה (impedance) עם סף של 40 kilo ohms. לבסוף, מקמו שני חיישנים פיזיולוגיים על גב ידה השמאלית של הנבדק. התחילו באיסוף הנתונים.

ברגע שכל תוכנות ההקלטה ב-Synchrony מוכנות להפעלה, בצעו הליך כיול תשע נקודות ועקבו אחר המשתתף בזמן שהוא עוקב אחר הנקודות האדומות על המסך. חזרו על הליך זה עד להשגת דיוק מספק בהתאם לסטנדרטים של היצרן, ולאחר מכן הנחו את המשתתף לפתור 10 בעיות בפיזיקה ניוטונית במחשב. הפסיקו את איסוף הנתונים בכל המחשבים.

עם סיום המשימה, הסר את כל החיישנים מהנבדק. ראשית, ייבא את נתוני ה-EEG לתוכנה לניתוח נתוני EEG. לאחר מכן, לחץ על file, לאחר מכן על new project, ובחר את מיקום הנתונים הגולמיים על ידי לחיצה על browse.

בחר את תיקיית נתוני הגלם שנוצרה כעת. בחר באופן דומה את המיקום של שתי תיקיות נוספות בשם history ו-export. לאחר מכן לחץ על אישור.

בשלב הבא, לחצו על transformations ו-IIR filters כדי לבצע עיבוד מקדמי של אות המוח באמצעות החלת פילטר ופילטר חסם (notch) בחלון התוכנה. הגדירו את גבולות החיתוך (cutoff limits) ל-1.5 ו-50 hertz עם שיפוע של 12 decibels לכל אחד, והפעילו notch בתדר של 60 hertz. לאחר מכן, בצעו הסרת מגמה של DC (DC detrend) לאות על ידי לחיצה על transformations ו-DC detrend.

בחר את האפשרות המבוססת על זמן של 100 milliseconds לפני הסימון ו-100 milliseconds לפני חיבור ה-DC. בצע בדיקת נתונים גולמיים על ידי לחיצה על transformations ו-raw data inspection. בחר בבדיקה חצי-אוטומטית ובחר את הפרמטרים עבור מתח, מקסימום, מינימום ואמפליטודה כפי שמוצגים כאן.

בצעו ניתוח רכיבים בלתי תלויים (ICA) אוטומטי עם sphere קלאסי להסרת מצמוצי עיניים על ידי לחיצה על transformations ולאחר מכן על ICA. בצעו את ה-inverse ICA על ידי לחיצה על transformations, לאחר מכן ICA, ואז inverse ICA.

לבסוף, ייצאו את האות ואת הסימונים על ידי לחיצה על export ולאחר מכן על generic data export. סמנו את התיבות המסומנות כ-right header file ו-right marker file. בנוסף, בחרו ב-text format לצורך בנייה עתידית של מדד המעורבות (engagement index) ב-MATLAB.

בשלב הבא, ייבאו את אות ה-EEG ל-matlab. לשם כך, הפעילו את הסקריפט E-E-G-L-A-B, כך שייפתח ממשק המשתמש (GUI) של ה-EEG lab ב-matlab.

ייבאו את הנתונים עבור משתתף אחד בכל פעם על ידי בחירה בייבוא קבצים באמצעות הפונקציות והתוספים של EEG lab, ומתוך קובץ brain vis rec VDR הדביקו סקריפט בחלון הפקודות שיפיק מדד מעורבות (engagement index). סקריפט זה ייצור קובץ טקסט. פתחו את קובץ הטקסט של מדד המעורבות ב-Microsoft Excel.

בצע נורמליזציית Z-score לנתוני ה-EEG כדי לאפשר השוואה בין נבדקים. לאחר השלמת עיבוד המקדמים של ה-EEG, בצע עיבוד מקדמים לנתונים הפיזיולוגיים על ידי ייבוא פעילות ה-ELECTRODERMAL או נתוני ה-EDA לתוכנה לניתוח נתונים פיזיולוגיים.

לאחר מכן, בצעו נורמליזציה של ציון z (z-score normalization) על נתוני ה-EDA באמצעות לחיצה על transformation ו-waveform math כדי לאפשר השוואה בין נבדקים. פעולה זו מתבצעת בשני שלבים. ראשית, בחרו את ערוץ ה-EDA עבור source one, את סימן המינוס בחלון ה-mathematical operation, ואת K עבור source two.

לאחר מכן, בחרו ב-new בתפריט היעד. הזינו את ערך הממוצע של ערוץ ה-EDA ובחרו ב-transform entire wave. לחצו על okay לשלב השני, פתחו שוב את transformation waveform math, ובחרו בערוץ ה-EDAK כמקור ראשון (source one), בסימן החילוק בחלון הפעולה המתמטית וב-K כמקור שני (source two).

לאחר מכן, בחרו באפשרות new בתפריט destination. הזינו את ערך סטיית התקן של ערוץ ה-EDA ובחרו ב-transform entire wave. לבסוף, לחצו על okay לשלב העיבוד המקדים האחרון.

ייבא את נתוני הווידאו ממקליט המדיה לתוכנה לזיהוי אוטומטי של רגשות פנים על ידי לחיצה על file new ולאחר מכן על participant. בחר משתתף חדש בתפריט הפרויקט. לאחר מכן לחץ על file new analysis ועל video.

לחצו על זכוכית המגדיל שליד ניתוח מספר אחת ובחרו את קובץ הווידאו הרצוי. השלימו את הפעולה על ידי חישוב ה-zco של נתוני הערכיות (valence) ב-SPSS, באמצעות לחיצה על analyze, לאחר מכן descriptive statistics ואז descriptives. בחרו ב-save standardized values ב-variables, ועמודה עם Z-score תופיע.

התחילו בייבוא סרטוני המעקב I על ידי לחיצה על file, לאחר מכן import, ובחירה ב-video בתצפית (observation) חדשה. תנו שם לתצפית החדשה ובחרו את קובץ הווידאו הרצוי לייבוא. ייבאו את כל הנתונים החיצוניים על ידי לחיצה על file, לאחר מכן import, ובחירה ב-external data.

כלול את ה-Z-score של אות ה-EEG, את ה-zco של אות ה-EDA ואת ה-Z-score של נתוני הוולנס (valence). במידת הצורך, הוסף סמני אירועים (event markers) לצורך ניתוח נוסף. כדי לסנכרן את התזמון בין מחשבים, פתח את תפריט ההיסט (offset) על ידי לחיצה על control shift וסימן השווה, ובחר בהיסט מספרי (numerical offset) כדי להזין את הזמן בשניות בין כל זוג מקורות נתונים.

לחצו על אישור. לאחר מכן, בחרו את המשתנים המעניינים שיופיעו בדוח על ידי לחיצה על analyze select data ולאחר מכן על new data profile. בחרו את האירוע הרצוי לניתוח ולחצו על אישור.

לאחר מכן, הוסיפו קו קישור בין טבלת ההתחלה לטבלת הקינון (nest), וכן בין טבלת הקינון לטבלת התוצאות. הפקו את הדוח על ידי לחיצה על analyze numerical analysis, ולאחר מכן לחיצה על statistics וסימון תיבת הסימון ליד mean תחת תפריט ה-external data. לאחר מכן לחצו על okay.

לחצו על layout וודאו שהנתונים החיצוניים (external data) מופיעים בעמודות ומיכלי התוצאות (result containers) מופיעים בשורות. סיימו בלחיצה על Okay. לבסוף, לחצו על כפתור calculate כדי שהתוכנה תעדכן את החישובים הכלולים בדוח הנוצר.

בניסוי זה מסונכרנים ממדים רבים של נתוני מעורבות, כולל נתונים התנהגותיים, קוגניטיביים ורגשיים, וזאת באמצעות שימוש במספר מחשבים. על מנת לקבוע את קו הבסיס של הנבדק, מומלץ להשתמש בנתונים מנקודה במשימה שבה קיימת הפסקה, ובאופן ספציפי בסופה של הפסקה זו. המעורבות הקוגניטיבית ב-EEG עולה מעט בציפייה למשימה הבאה, בעוד שהעוררות עדיין יורדת.

נתוני הערכיות (Valence) חסרים מכיוון שעיני המשתתף עצומות במהלך משימת פתרון הבעיה. בעוד הנבדק קורא את השורה השלישית, ניתן לראות שעוררותו הגיעה לשיאה. הערכיות הרגשית היא ניטרלית, והמעורבות הקוגניטיבית ב-EEG נמצאת בשיאה לאחר השליטה בחומר.

טכניקה זו כוללת כ-30 דקות של הכנת הנבדק לפני תחילת הניסוי. לאחר פיתוחה, טכניקה זו תסלול את הדרך עבור חוקרים ואנשי מקצוע לא רק בתחום של טכנולוגיית המידע, אלא גם בתעשיית משחקי הווידאו, לניטור בזמן אמת של ההיבטים ההתנהגותיים, הרגשיים והקוגניטיביים של המשתמשים. שלב מפתח בכל גישה של ויסות הוא סנכרון, ויש לבחון את דיוקו של הליך זה לפני ואחרי כל ניסוי כדי להבטיח תזמון מדויק בין כל המכשירים.

לאחר צפייה בסרטון זה, אמורה להיות לכם הבנה טובה לגבי האופן שבו אוספים נתונים פסיכופיזיולוגיים מסונכרנים, במטרה להבין טוב יותר את דינמיקת האינטראקציה של ממדים התנהגותיים, רגשיים וקוגניטיביים של מעורבות במהלך משימת למידה.