Method Article

מערכת מבוססת בינה מלאכותית לאיתור רמות קשב אצל תלמידים

DOI:

10.3791/65931

December 15th, 2023

In This Article

Summary

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מאמר זה מציע מערכת מבוססת בינה מלאכותית כדי לזהות באופן אוטומטי אם התלמידים שמים לב לכיתה או מוסחים. מערכת זו נועדה לסייע למורים לשמור על תשומת הלב של התלמידים, לייעל את השיעורים שלהם ולהכניס שינויים באופן דינמי על מנת שהם יהיו מרתקים יותר.

Abstract

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

ניתן לשפר את רמת הקשב של התלמידים בכיתה באמצעות שימוש בטכניקות בינה מלאכותית (AI). על ידי זיהוי אוטומטי של רמת הקשב, מורים יכולים להשתמש באסטרטגיות כדי להחזיר את המיקוד של התלמידים. ניתן להשיג זאת באמצעות מקורות מידע שונים.

מקור אחד הוא לנתח את הרגשות המשתקפים על פניהם של התלמידים. בינה מלאכותית יכולה לזהות רגשות, כגון ניטרלי, גועל, הפתעה, עצב, פחד, שמחה וכעס. בנוסף, כיוון המבט של התלמידים יכול גם להצביע על רמת הקשב שלהם. מקור נוסף הוא התבוננות בתנוחת הגוף של התלמידים. באמצעות מצלמות וטכניקות למידה עמוקה, ניתן לנתח יציבה כדי לקבוע את רמת הקשב. לדוגמה, תלמידים שרועים או מניחים את ראשם על שולחנם עשויים להיות בעלי רמה נמוכה יותר של תשומת לב. שעונים חכמים המופצים לתלמידים יכולים לספק נתונים ביומטריים ואחרים, כולל מדידת דופק ומדידות אינרציאליות, שיכולים לשמש גם כאינדיקטורים לתשומת לב. על ידי שילוב מקורות מידע אלה, ניתן לאמן מערכת AI לזהות את רמת הקשב בכיתה. עם זאת, שילוב סוגי הנתונים השונים מציב אתגר הדורש יצירת ערכת נתונים מתויגת. מומחים ומחקרים קיימים מתייעצים לגבי תיוג מדויק. במאמר זה, אנו מציעים שילוב של מדידות כאלה ויצירת מערך נתונים ומסווג תשומת לב פוטנציאלי. כדי לספק משוב למורה, אנו חוקרים שיטות שונות, כגון שעונים חכמים או מחשבים ישירים. ברגע שהמורה הופך מודע לבעיות קשב, הוא יכול להתאים את גישת ההוראה שלו כדי לעורר מחדש מעורבות ולהניע את התלמידים. לסיכום, טכניקות AI יכולות לזהות באופן אוטומטי את רמת הקשב של התלמידים על ידי ניתוח רגשותיהם, כיוון מבטם, תנוחת הגוף ונתונים ביומטריים. מידע זה יכול לסייע למורים לייעל את תהליך ההוראה-למידה.

Introduction

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

במסגרות חינוכיות מודרניות, הערכה מדויקת ושמירה על תשומת הלב של התלמידים היא חיונית להוראה וללמידה אפקטיביות. עם זאת, שיטות מסורתיות למדידת מעורבות, כגון דיווח עצמי או תצפיות סובייקטיביות של מורים, גוזלות זמן רב ומועדות להטיות. כדי להתמודד עם אתגר זה, טכניקות בינה מלאכותית (AI) התגלו כפתרונות מבטיחים לזיהוי קשב אוטומטי. היבט משמעותי אחד של הבנת רמות המעורבות של התלמידים הוא זיהוי רגש1. מערכות AI יכולות לנתח הבעות פנים כדי לזהות רגשות, כגון ניטרלי, גועל, הפתעה, עצב, פחד, שמחה וכעס2.

כיוון המבט ותנוחת הגוף הם גם אינדיקטורים מכריעים לתשומת הלב של התלמידים3. על ידי שימוש במצלמות ואלגוריתמים מתקדמים של למידת מכונה, מערכות AI יכולות לעקוב במדויק לאן התלמידים מסתכלים ולנתח את תנוחת הגוף שלהם כדי לזהות סימנים של חוסר עניין או עייפות4. יתר על כן, שילוב נתונים ביומטריים משפר את הדיוק והאמינות של זיהוי קשב5. על ידי איסוף מדידות, כגון קצב לב ורמות ריווי חמצן בדם, באמצעות שעונים חכמים שענדו התלמידים, ניתן להשיג אינדיקטורים אובייקטיביים של תשומת לב, המשלימים מקורות מידע אחרים.

מאמר זה מציע מערכת המעריכה את רמת הקשב של הפרט באמצעות מצלמות צבע וחיישנים שונים אחרים. הוא משלב זיהוי רגשות, ניתוח כיוון מבט, הערכת תנוחת גוף ונתונים ביומטריים כדי לספק למחנכים סט מקיף של כלים לייעול תהליך ההוראה-למידה ושיפור מעורבות התלמידים. על ידי שימוש בכלים אלה, מחנכים יכולים להשיג הבנה מקיפה של תהליך ההוראה-למידה ולשפר את מעורבות התלמידים, ובכך לייעל את החוויה החינוכית הכוללת. על ידי יישום טכניקות AI, ניתן אפילו להעריך נתונים אלה באופן אוטומטי.

המטרה העיקרית של עבודה זו היא לתאר את המערכת המאפשרת לנו ללכוד את כל המידע, ולאחר שנלכד, לאמן מודל AI המאפשר לנו להשיג את תשומת הלב של כל הכיתה בזמן אמת. למרות שעבודות אחרות כבר הציעו ללכוד תשומת לב באמצעות מידע חזותי או רגשי6, עבודה זו מציעה שימוש משולב בטכניקות אלה, המספקת גישה הוליסטית המאפשרת שימוש בטכניקות AI מורכבות ויעילות יותר. יתר על כן, מערכי הנתונים הזמינים עד כה מוגבלים לסט סרטונים או אחד של נתונים ביומטריים. הספרות אינה כוללת מערכי נתונים המספקים נתונים מלאים עם תמונות של פני התלמיד או גופו, נתונים ביומטריים, נתונים על עמדת המורה ועוד. עם המערכת המוצגת כאן, ניתן ללכוד סוג זה של מערך נתונים.

המערכת משייכת רמת קשב לכל תלמיד בכל נקודת זמן. ערך זה הוא ערך הסתברותי של קשב בין 0% ל-100%, אשר יכול להתפרש כרמת קשב נמוכה (0%-40%), רמת קשב בינונית (40%-75%) ורמת קשב גבוהה (75%-100%). לאורך כל הטקסט, הסתברות זו של תשומת לב מכונה רמת הקשב, תשומת הלב של התלמידים, או אם התלמידים מוסחים או לא, אבל כל אלה קשורים לאותו ערך פלט של המערכת שלנו.

במהלך השנים, תחום זיהוי המעורבות האוטומטי גדל באופן משמעותי בשל הפוטנציאל שלו לחולל מהפכה בחינוך. חוקרים הציעו גישות שונות לתחום מחקר זה.

Ma et al.7 הציגו שיטה חדשנית המבוססת על מכונת טיורינג עצבית לזיהוי אוטומטי של מעורבות. הם חילצו תכונות מסוימות, כגון מבט עיניים, יחידות פעולה בפנים, תנוחת ראש ותנוחת גוף, כדי ליצור ייצוג מקיף של זיהוי מעורבות.

EyeTab8, מערכת חדשנית נוספת, השתמשה במודלים כדי להעריך לאן מישהו מסתכל בשתי עיניו. זה נעשה במיוחד כדי לעבוד בצורה חלקה על לוח סטנדרטי ללא שינויים. מערכת זו רותמת אלגוריתמים מוכרים לעיבוד תמונות ולניתוח ראייה ממוחשבת. צינור הערכת המבט שלהם כולל גלאי עיניים מבוסס תכונות דמוי Haar, כמו גם גישת התאמת אליפסת לימבוס מבוססת RANSAC.

Sanghvi et al.9 מציעים גישה המסתמכת על טכניקות מבוססות ראייה כדי לחלץ באופן אוטומטי תכונות יציבה אקספרסיביות מסרטונים שהוקלטו ממבט רוחבי, ולוכדים את התנהגות הילדים. הערכה ראשונית מבוצעת, הכוללת אימון של מודלים מרובים לזיהוי באמצעות ביטויי יציבה רגשית הקשרית. התוצאות שהתקבלו מראות כי דפוסי התנהגות יציבה יכולים לחזות ביעילות את מעורבות הילדים עם הרובוט.

בעבודות אחרות, כגון Gupta et al.10, משתמשים בשיטה מבוססת למידה עמוקה כדי לזהות את המעורבות בזמן אמת של לומדים מקוונים על ידי ניתוח הבעות הפנים שלהם וסיווג רגשותיהם. הגישה משתמשת בזיהוי רגשות פנים כדי לחשב מדד מעורבות (EI) המנבא שני מצבי מעורבות: מעורב ומנותק. מודלים שונים של למידה עמוקה, כולל Inception-V3, VGG19 ו- ResNet-50, מוערכים ומושווים כדי לזהות את מודל הסיווג החיזוי היעיל ביותר לזיהוי מעורבות בזמן אמת.

ב- Altuwairqi et al.11, החוקרים מציגים גישה רב-מודאלית אוטומטית חדשנית להערכת רמות מעורבות התלמידים בזמן אמת. כדי להבטיח מדידות מדויקות ומהימנות, הצוות שילב וניתח שלוש שיטות שונות שלוכדות את התנהגויות התלמידים: הבעות פנים לרגשות, הקשות מקלדת ותנועות עכבר.

Guillén et al.12 מציעים פיתוח של מערכת ניטור המשתמשת אלקטרוקרדיוגרפיה (ECG) כאות פיזיולוגי ראשוני לנתח ולחזות את נוכחותה או היעדרה של תשומת לב קוגניטיבית אצל אנשים בעת ביצוע משימה.

Alban et al.13 משתמשים ברשת עצבית (NN) כדי לזהות רגשות על ידי ניתוח ערכי קצב הלב (HR) והפעילות האלקטרודרמלית (EDA) של משתתפים שונים הן בתחום הזמן והן בתחום התדר. הם מצאו כי עלייה בריבוע השורש-ממוצע של הבדלים עוקבים (RMSDD) וסטיית התקן בין המרווחים נורמליים לנורמה (SDNN), יחד עם ירידה בדופק הממוצע, מצביעים על פעילות מוגברת במערכת העצבים הסימפתטית, הקשורה לפחד.

Kajiwara et al.14 מציעים מערכת חדשנית המשתמשת בחיישנים לבישים ורשתות עצביות עמוקות כדי לחזות את רמת הרגש והמעורבות של העובדים. המערכת עוקבת אחר תהליך בן שלושה שלבים. בתחילה, חיישנים לבישים לוכדים ואוספים נתונים על התנהגויות וגלי דופק. לאחר מכן, תכונות סדרות הזמן מחושבות בהתבסס על הנתונים ההתנהגותיים והפיזיולוגיים שנרכשו. לבסוף, רשתות עצביות עמוקות משמשות כדי להזין את תכונות סדרת הזמן ולבצע תחזיות על הרגשות ורמות המעורבות של הפרט.

במחקר אחר, כגון Costante et al.15, מוצעת גישה המבוססת על אלגוריתם למידה מדדי העברה חדשני, המשתמש בידע מוקדם של קבוצה מוגדרת מראש של מחוות כדי לשפר את הזיהוי של מחוות המוגדרות על ידי המשתמש. שיפור זה מושג תוך הסתמכות מינימלית על דגימות אימון נוספות. באופן דומה, מסגרת זיהוי פעילות אנושית מבוססת חיישנים16 מוצגת כדי לטפל במטרה של זיהוי לא אישי של פעילויות אנושיות מורכבות. נתוני אותות הנאספים מחיישנים הנענדים על פרק כף היד משמשים במסגרת זיהוי הפעילות האנושית שפותחה, תוך שימוש בארבעה דגמי DL מבוססי RNN (זיכרונות לטווח ארוך-קצר, זיכרונות דו-כיווניים לטווח ארוך-קצר, יחידות חוזרות מגודרות ויחידות חוזרות מגודרות דו-כיווניות) כדי לחקור את הפעילויות המבוצעות על ידי המשתמש במכשיר הלביש.

Access restricted. Please log in or start a trial to view this content.

Protocol

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

הפרוטוקול הבא עוקב אחר הנחיות ועדת האתיקה למחקר אנושי של אוניברסיטת אליקנטה עם מספר הפרוטוקול המאושר UA-2022-11-12. התקבלה הסכמה מדעת מכל המשתתפים לניסוי זה ולשימוש בנתונים כאן.

1. חומרה, תוכנה והגדרת מחלקה

  1. הגדר נתב עם יכולות WiFi (הניסויים בוצעו באמצעות DLink DSR 1000AC) במיקום הרצוי, כך שהטווח שלו מכסה את כל החדר. כאן, 25 מ'2 כיתות עם 30 תלמידים כוסו.
  2. הגדר שעון חכם אחד (כאן Samsung Galaxy Smartwatch 5) ומצלמה אחת (כאן Logitech C920 מצלמות) עבור כל מיקום סטודנט. הגדר התקן מוטבע אחד לכל שני תלמידים. תקנו שתי מצלמות על שתי חצובות וחברו אותן למכשיר משובץ אחר (להלן מצלמות זניטל).
  3. חבר את המצלמות להתקנים המשובצים המתאימים באמצעות קישור USB והפעל אותן. הפעל גם את השעונים החכמים. חבר כל מכשיר מוטבע ושעון חכם לרשת ה- WiFi של הנתב שהוגדר בשלב 1.1.
  4. מקמו את המצלמות בפינת שולחנו של כל תלמיד וכוונו אותן קדימה ומוטות מעט כלפי מעלה כך שפני התלמיד ייראו בבירור בתמונות.
  5. מקמו את שתי החצובות עם המצלמות מול השולחנות הקרובים ביותר למעברים בשורת המושבים הראשונה של הכיתה. הזיזו את הגבהת החצובה למקום הגבוה ביותר כך שהמצלמות יוכלו לראות בבירור את רוב התלמידים. כל מכשיר משובץ יוכל לנהל תלמיד אחד או שניים, יחד עם המצלמות והשעונים שלהם. ההגדרה מתוארת באיור 1.
  6. הפעל את תוכנת הלכידה בשעונים החכמים ובהתקנים המשובצים כך שיהיו מוכנים לשלוח את התמונות ואת מד התאוצה, הג'ירוסקופ, הדופק ונתוני התאורה. הפעל את תוכנת השרת שאוספת את הנתונים ומאחסנת אותם. תרשים של כל האלמנטים האלה ניתן לראות באיור 2.
  7. יש לוודא שהמצלמות שולטות בזירה כך שתהיה להן ראייה ברורה של גופם של התלמידים. הציבו מצלמה אישית נוספת לפני כל תלמיד.
  8. תנו לתלמידים לשבת במקומותיהם, הודיעו להם על מטרות הניסוי והורו להם לענוד את השעונים החכמים על היד הדומיננטית שלהם ולא לתקשר עם אף אחד ממרכיבי המערך.
  9. התחל את הלכידה והאיסוף של הנתונים בשרת וחדש את שיעורי הכיתה כרגיל.

figure-protocol-1
איור 1: צינור חומרה ונתונים. נתוני המצלמות והשעונים החכמים נאספים ומוזנים לאלגוריתמים של למידת המכונה שיש לעבד. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

figure-protocol-2
איור 2: מיקום החיישנים, המורה והתלמידים. דיאגרמה המציגה את מיקומי המצלמות, השעונים החכמים וממשק המשתמש הגרפי בכיתה עם המורה והתלמידים. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

2. צינור לכידה ועיבוד נתונים

הערה: כל השלבים הללו מבוצעים באופן אוטומטי על-ידי עיבוד תוכנה שנפרסה בשרת. היישום ששימש לניסויים בעבודה זו נכתב בפייתון 3.8.

  1. איסוף הנתונים הנדרשים על ידי איסוף כל התמונות והנתונים הביומטריים מהשעון החכם עבור כל תלמיד ובניית מסגרת נתונים הכוללת נתונים משנייה אחת. מסגרת נתונים זו מורכבת מתמונה אחת מהמצלמה הבודדת, תמונה אחת מכל מצלמה (שתיים במקרה זה), חמישים אוגרים של שלושת ערכי הג'ירוסקופ, חמישים אוגרים של שלושת ערכי מד התאוצה, ערך דופק אחד וערך תנאי אור אחד.
  2. כדי לחשב את כיוון הראש, הצעד הראשון הוא להשתמש במצלמת האינטרנט שמכוונת לפניו של התלמיד ולשלוף תמונה. לאחר מכן, תמונה זו מעובדת על ידי אלגוריתם הערכת ציון הדרך BlazeFace17 . הפלט של אלגוריתם כזה הוא רשימה של נקודות מפתח דו-ממדיות המתאימות לאזורים ספציפיים של הפנים.
  3. על ידי שימוש במיקום המשוער של העיניים, האף, הפה והסנטר המסופק על ידי האלגוריתם, פתור את בעיית נקודת הפרספקטיבה n באמצעות השיטה cv::SolvePnPMethod של ספריית OpenCV, הגדרת פנים קנונית. מטריצת הסיבוב המגדירה את כיוון הראש מתקבלת כתוצאה מהליך זה.
  4. חשב את תנוחת הגוף על ידי העברת התמונה הזניטלית ממסגרת הנתונים שבה התלמיד מתואר לאלגוריתם הערכת ציון הדרך BlazePose18 ואחזר רשימה של קואורדינטות דו-ממדיות של מפרקי הגוף המתוארים בתמונה. רשימת ציוני דרך זו מתארת את תנוחת התלמיד.
    הערה: תנוחת הגוף חשובה מכיוון שהיא יכולה לייצג במדויק את מעורבותו של התלמיד בפעילויות שונות במהלך השיעור. לדוגמה, אם התלמיד יושב באופן טבעי עם ידיו על השולחן, זה יכול להיות שהוא רושם הערות. לעומת זאת, אם הם מזיזים את זרועותיהם ללא הרף, זה יכול להיות שהם מדברים עם מישהו.
  5. השג את תמונת פניו של התלמיד ובצע עיבוד מקדים ליישור. אחזר את נקודות המפתח של העיניים מהרשימה המחושבת בשלב 2.3 והקרן אותן למישור התמונה כך שיתקבל מיקום העיניים.
  6. עקוב אחר וקטור וירטואלי המצטרף למיקום שתי העיניים. חשב את הזווית בין וקטור זה לקו האופקי ובנה מטריצה הומוגרפית כדי להחיל את הזווית ההפוכה על התמונה ועל נקודות המפתח כך שהעיניים מיושרות אופקית.
  7. חתוך את הפנים באמצעות נקודות המפתח כדי לזהות את גבולותיו ולהזין את הטלאי לרשת העצבית קונבולוציונית לזיהוי רגשות19. שלפו את הפלט מהרשת, שהיא וקטור בעל 7 עמדות, כאשר כל עמדה נותנת את ההסתברות שהפנים יראו אחד משבעת הרגשות הבסיסיים: ניטרלי, שמח, נגעל, כועס, מפוחד, מופתע ועצוב.
  8. מדוד את רמת הקשב על-ידי קבלת נתוני מד התאוצה, הג'ירוסקופ והדופק ממסגרת הנתונים (איור 3).
  9. הזינו את המודל מבוסס הלמידה העמוקה שנבנה והוכשר בהתאמה אישית מאפס המתואר בתוצאות המייצגות עם זרם נתוני מד התאוצה והג'ירוסקופ. אחזר את הפלט מהמודל, שהוא וקטור עם 4 מצבים, כאשר כל מיקום נותן את ההסתברות שהנתונים מייצגים אחת מהפעולות האפשריות הבאות: כתב יד, הקלדה על מקלדת, שימוש בטלפון נייד או מנוחה, כפי שמוצג באיור 4.
  10. הזן את מסווג הקשב הסופי עם ליניאריזציה של כל התוצאות מהמערכות הקודמות על ידי מיזוג כיוון הראש, פלט זיהוי הרגש, תנוחת הגוף ונתוני הג'ירוסקופ, מד התאוצה והדופק. אחזר את התוצאות ממסווג סופי זה, שהוא ציון מ- 0 עד 100. סווג ערך מתמשך זה לאחת משלוש קטגוריות אפשריות של תשומת לב בדידה: רמה נמוכה של תשומת לב (0-40%), רמה בינונית של תשומת לב (40%-75%) ורמה גבוהה של תשומת לב (75% - 100%). מבנה מערך הנתונים שנוצר מוצג בטבלה 1.
  11. הצג את תוצאות רמות הקשב למורה באמצעות ממשק המשתמש הגרפי (GUI) ממחשב המורה, הנגיש מדפדפן אינטרנט רגיל.

figure-protocol-3
איור 3: נתונים שנלכדו על-ידי השעון החכם. השעון החכם מספק גירוסקופ, מד תאוצה, דופק ומצב אור כזרמי נתונים. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

figure-protocol-4
איור 4: דוגמאות לקטגוריות שנלקחו בחשבון על-ידי מודל זיהוי הפעילות. ארבע פעולות שונות מזוהות על ידי מודל זיהוי הפעילות: כתב יד, הקלדה על מקלדת, שימוש בסמארטפון ותנוחת מנוחה. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

Access restricted. Please log in or start a trial to view this content.

Results

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

קבוצת היעד של מחקר זה היא סטודנטים לתואר ראשון ושני, ולכן קבוצת הגיל העיקרית היא בין 18 ל -25 שנים. אוכלוסייה זו נבחרה מכיוון שהם יכולים להתמודד עם מכשירים אלקטרוניים עם פחות הסחות דעת מאשר תלמידים צעירים. בסך הכל כללה הקבוצה 25 איש. קבוצת גיל זו יכולה לספק את התוצאות האמינות ביותר כדי לבחון את ההצעה.

לתוצאות רמת הקשב המוצגת למורה יש 2 חלקים. חלק א' של התוצאה מציג מידע פרטני על רמת הקשב הנוכחית של כל תלמיד. חלק ב' נועד להשיג את תשומת הלב הממוצעת של כל הכיתה ואת ההיסטוריה הזמנית שלה לאורך השיעו...

Access restricted. Please log in or start a trial to view this content.

Discussion

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

עבודה זו מציגה מערכת המודדת את רמת הקשב של תלמיד בכיתה באמצעות מצלמות, שעונים חכמים ואלגוריתמים של בינה מלאכותית. מידע זה מוצג לאחר מכן למורה כדי שיהיה להם מושג על המצב הכללי של הכיתה.

אחד השלבים הקריטיים העיקריים של הפרוטוקול הוא סנכרון של מידע השעון החכם עם תמונת המצלמה הצבעונית, שכן אלה יש תדרים שונים. זה נפתר על ידי פריסת פטל כשרתים שמקבלים מידע מהשעון החכם והמצלמות עם חותמות הזמן שלהם בהתאמה ומבצעים התאמה גסה של מידע זה. לבסוף, מידע זה נשלח לשרת מרכזי לעיבוד נוסף. השלב הקריטי השני של הפרו...

Access restricted. Please log in or start a trial to view this content.

Disclosures

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המחברים מצהירים כי אין להם אינטרסים כלכליים מתחרים ידועים או קשרים אישיים שיכלו להשפיע לכאורה על העבודה המדווחת במאמר זה.

Acknowledgements

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

עבודה זו פותחה במימון Programa Prometeo, מזהה פרויקט CIPROM/2021/017. פרופ' רוזבל רויג היא יו"ר אונסק"ו "חינוך, מחקר והכללה דיגיטלית".

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
4 מעבדים גרפיים  Nvidia A40 AmpereNVIDIATCSA40M-PBGPU לשרת עיבוד דגמים מרכזי
FusionServer 2288H V5X-Fusion02311XBKפלטפורמה הכוללת ספק כוח ולוח אם לעיבוד דגמים מרכזי שרת
זיכרון Evo Plus 128 ג'יגה בייטSamsungMB-MC128KA/EUכרטיס זיכרון להפעלת Raspberry Pi 4B 2GB.  אחד לכל פטל. 
NEMIX RAM - 512 ג'יגה בייט ערכת DDR4-3200 PC4-25600 8Rx4 ECNEMIXM393AAG40M32-CAERAM לשרת עיבוד מודלים מרכזי
מעבד Intel Xeon Gold 6330מעבד IntelCD8068904572101לשרת מרכזי לעיבוד דגמים
Raspberry PI 4B 2GBRaspberry1822095שרת מקומי המקבל בקשות מהשעונים ושולח אותן לשרת הכללי. אחד מכל שני תלמידים.
שעון גלקסי סמסונג 5 (40 מ"מ)שעון SM-R900NZAAPHE של סמסונגהעוקב אחר הפעילות של כל תלמיד. לכל תלמיד. 
סמסונג MZQL23T8HCLS-00B7C PM9A3 3.84Tb Nvme U.2 PCI-Express-4 x4 2.5inch SsdסמסונגMZQL23T8HCLS-00B7Cאחסון פנימי לשרת עיבוד דגמים
מרכזי WebCam HD Pro C920 מצלמת אינטרנט FullHDLogitech960-001055מצלמת אינטרנט HD. אחד לכל תלמיד ועוד שניים לתנוחות התלמידים.
כרטיס

References

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Hasnine, M. N., et al. Students' emotion extraction and visualization for engagement detection in online learning. Procedia Comp Sci. 192, 3423-3431 (2021).
  2. Khare, S. K., Blanes-Vidal, V., Nadimi, E. S., Acharya, U. R. Emotion recognition and artificial intelligence: A systematic review (2014-2023) and research recommendations. Info Fusion. 102, 102019(2024).
  3. Bosch, N. Detecting student engagement: Human versus machine. UMAP '16: Proc the 2016 Conf User Model Adapt Personal. , 317-320 (2016).
  4. Araya, R., Sossa-Rivera, J. Automatic detection of gaze and body orientation in elementary school classrooms. Front Robot AI. 8, 729832(2021).
  5. Lu, Y., Zhang, J., Li, B., Chen, P., Zhuang, Z. Harnessing commodity wearable devices for capturing learner engagement. IEEE Access. 7, 15749-15757 (2019).
  6. Vanneste, P., et al. Computer vision and human behaviour, emotion and cognition detection: A use case on student engagement. Mathematics. 9 (3), 287(2021).
  7. Ma, X., Xu, M., Dong, Y., Sun, Z. Automatic student engagement in online learning environment based on neural Turing machine. Int J Info Edu Tech. 11 (3), 107-111 (2021).
  8. Wood, E., Bulling, A. EyeTab: model-based gaze estimation on unmodified tablet computers. ETRA '14: Proc Symp Eye Tracking Res Appl. , 207-210 (2014).
  9. Sanghvi, J., et al. Automatic analysis of affective postures and body motion to detect engagement with a game companion. HRI '11: Proc 6th Int Conf Human-robot Interact. , 205-211 (2011).
  10. Gupta, S., Kumar, P., Tekchandani, R. K. Facial emotion recognition based real-time learner engagement detection system in online learning context using deep learning models. Multimed Tools Appl. 82 (8), 11365-11394 (2023).
  11. Altuwairqi, K., Jarraya, S. K., Allinjawi, A., Hammami, M. Student behavior analysis to measure engagement levels in online learning environments. Signal Image Video Process. 15 (7), 1387-1395 (2021).
  12. Belle, A., Hargraves, R. H., Najarian, K. An automated optimal engagement and attention detection system using electrocardiogram. Comput Math Methods Med. 2012, 528781(2012).
  13. Alban, A. Q., et al. Heart rate as a predictor of challenging behaviours among children with autism from wearable sensors in social robot interactions. Robotics. 12 (2), 55(2023).
  14. Kajiwara, Y., Shimauchi, T., Kimura, H. Predicting emotion and engagement of workers in order picking based on behavior and pulse waves acquired by wearable devices. Sensors. 19 (1), 165(2019).
  15. Personalizing a smartwatch-based gesture interface with transfer learning. Costante, G., Porzi, L., Lanz, O., Valigi, P., Ricci, E. 22nd European Signal Processing Conference (EUSIPCO), Lisbon, Portugal, , 2530-2534 (2014).
  16. Mekruksavanich, S., Jitpattanakul, A. Deep convolutional neural network with RNNs for complex activity recognition using wrist-worn wearable sensor data. Electronics. 10 (14), 1685(2021).
  17. Bazarevsky, V., Kartynnik, Y., Vakunov, A., Raveendran, K., Grundmann, M. BlazeFace: Sub-millisecond Neural Face Detection on Mobile GPUs. arXiv. , (2019).
  18. Bazarevsky, V., et al. BlazePose: On-device Real-time Body Pose tracking. arXiv. , (2020).
  19. Mejia-Escobar, C., Cazorla, M., Martinez-Martin, E. Towards a better performance in facial expression recognition: a data-centric approach. Comput Intelligence Neurosci. , In press (2023).
  20. El-Garem, A., Adel, R. Applying systematic literature review and Delphi methods to explore digital transformation key success factors. Int J Eco Mgmt Engi. 16 (7), 383-389 (2022).
  21. Using electroencephalography to determine student attention in the classroom. Indumathi, V., Kist, A. A. IEEE Global Engineering Education Conference (EDUCON, Kuwait, Kuwait, , 1-3 (2023).
  22. Ma, X., Xie, Y., Wang, H. Research on the construction and application of teacher-student interaction evaluation system for smart classroom in the post COVID-19. Studies Edu Eval. 78, 101286(2023).
  23. Andersen, D. Constructing Delphi statements for technology foresight. Futures Foresight Sci. 5 (2), e144(2022).
  24. Khodyakov, D., et al. Disciplinary trends in the use of the Delphi method: A bibliometric analysis. PLoS One. 18 (8), e0289009(2023).
  25. Martins, A. I., et al. Consensus on the Terms and Procedures for Planning and Reporting a Usability Evaluation of Health-Related Digital Solutions: Delphi Study and a Resulting Checklist. J Medical Internet Res. 25, e44326(2023).
  26. Dalmaso, M., Castelli, L., Galfano, G. Social modulators of gaze-mediated orienting of attention: A review. Psychon Bull Rev. 27 (5), 833-855 (2020).
  27. Klein, R. M. Thinking about attention: Successive approximations to a productive taxonomy. Cognition. 225, 105137(2022).
  28. Schindler, S., Bublatzky, F. Attention and emotion: An integrative review of emotional face processing as a function of attention. Cortex. 130, 362-386 (2020).
  29. Zaletelj, J., Košir, A. Predicting students' attention in the classroom from Kinect facial and body features. J Image Video Proc. 80, (2017).
  30. Strauch, C., Wang, C. A., Einhäuser, W., Van der Stigchel, S., Naber, M. Pupillometry as an integrated readout of distinct attentional networks. Trends Neurosci. 45 (8), 635-647 (2022).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Artificial IntelligenceAttention DetectionStudent EngagementEmotion RecognitionBody Pose EstimationGaze DirectionBiometric Data AnalysisDeep LearningSmartwatch MonitoringClassroom Analytics

Related Articles