מאמר זה מציע מערכת מבוססת בינה מלאכותית כדי לזהות באופן אוטומטי אם התלמידים שמים לב לכיתה או מוסחים. מערכת זו נועדה לסייע למורים לשמור על תשומת הלב של התלמידים, לייעל את השיעורים שלהם ולהכניס שינויים באופן דינמי על מנת שהם יהיו מרתקים יותר.
Method Article
מאמר זה מציע מערכת מבוססת בינה מלאכותית כדי לזהות באופן אוטומטי אם התלמידים שמים לב לכיתה או מוסחים. מערכת זו נועדה לסייע למורים לשמור על תשומת הלב של התלמידים, לייעל את השיעורים שלהם ולהכניס שינויים באופן דינמי על מנת שהם יהיו מרתקים יותר.
ניתן לשפר את רמת הקשב של התלמידים בכיתה באמצעות שימוש בטכניקות בינה מלאכותית (AI). על ידי זיהוי אוטומטי של רמת הקשב, מורים יכולים להשתמש באסטרטגיות כדי להחזיר את המיקוד של התלמידים. ניתן להשיג זאת באמצעות מקורות מידע שונים.
מקור אחד הוא לנתח את הרגשות המשתקפים על פניהם של התלמידים. בינה מלאכותית יכולה לזהות רגשות, כגון ניטרלי, גועל, הפתעה, עצב, פחד, שמחה וכעס. בנוסף, כיוון המבט של התלמידים יכול גם להצביע על רמת הקשב שלהם. מקור נוסף הוא התבוננות בתנוחת הגוף של התלמידים. באמצעות מצלמות וטכניקות למידה עמוקה, ניתן לנתח יציבה כדי לקבוע את רמת הקשב. לדוגמה, תלמידים שרועים או מניחים את ראשם על שולחנם עשויים להיות בעלי רמה נמוכה יותר של תשומת לב. שעונים חכמים המופצים לתלמידים יכולים לספק נתונים ביומטריים ואחרים, כולל מדידת דופק ומדידות אינרציאליות, שיכולים לשמש גם כאינדיקטורים לתשומת לב. על ידי שילוב מקורות מידע אלה, ניתן לאמן מערכת AI לזהות את רמת הקשב בכיתה. עם זאת, שילוב סוגי הנתונים השונים מציב אתגר הדורש יצירת ערכת נתונים מתויגת. מומחים ומחקרים קיימים מתייעצים לגבי תיוג מדויק. במאמר זה, אנו מציעים שילוב של מדידות כאלה ויצירת מערך נתונים ומסווג תשומת לב פוטנציאלי. כדי לספק משוב למורה, אנו חוקרים שיטות שונות, כגון שעונים חכמים או מחשבים ישירים. ברגע שהמורה הופך מודע לבעיות קשב, הוא יכול להתאים את גישת ההוראה שלו כדי לעורר מחדש מעורבות ולהניע את התלמידים. לסיכום, טכניקות AI יכולות לזהות באופן אוטומטי את רמת הקשב של התלמידים על ידי ניתוח רגשותיהם, כיוון מבטם, תנוחת הגוף ונתונים ביומטריים. מידע זה יכול לסייע למורים לייעל את תהליך ההוראה-למידה.
במסגרות חינוכיות מודרניות, הערכה מדויקת ושמירה על תשומת הלב של התלמידים היא חיונית להוראה וללמידה אפקטיביות. עם זאת, שיטות מסורתיות למדידת מעורבות, כגון דיווח עצמי או תצפיות סובייקטיביות של מורים, גוזלות זמן רב ומועדות להטיות. כדי להתמודד עם אתגר זה, טכניקות בינה מלאכותית (AI) התגלו כפתרונות מבטיחים לזיהוי קשב אוטומטי. היבט משמעותי אחד של הבנת רמות המעורבות של התלמידים הוא זיהוי רגש1. מערכות AI יכולות לנתח הבעות פנים כדי לזהות רגשות, כגון ניטרלי, גועל, הפתעה, עצב, פחד, שמחה וכעס2.
כיוון המבט ותנוחת הגוף הם גם אינדיקטורים מכריעים לתשומת הלב של התלמידים3. על ידי שימוש במצלמות ואלגוריתמים מתקדמים של למידת מכונה, מערכות AI יכולות לעקוב במדויק לאן התלמידים מסתכלים ולנתח את תנוחת הגוף שלהם כדי לזהות סימנים של חוסר עניין או עייפות4. יתר על כן, שילוב נתונים ביומטריים משפר את הדיוק והאמינות של זיהוי קשב5. על ידי איסוף מדידות, כגון קצב לב ורמות ריווי חמצן בדם, באמצעות שעונים חכמים שענדו התלמידים, ניתן להשיג אינדיקטורים אובייקטיביים של תשומת לב, המשלימים מקורות מידע אחרים.
מאמר זה מציע מערכת המעריכה את רמת הקשב של הפרט באמצעות מצלמות צבע וחיישנים שונים אחרים. הוא משלב זיהוי רגשות, ניתוח כיוון מבט, הערכת תנוחת גוף ונתונים ביומטריים כדי לספק למחנכים סט מקיף של כלים לייעול תהליך ההוראה-למידה ושיפור מעורבות התלמידים. על ידי שימוש בכלים אלה, מחנכים יכולים להשיג הבנה מקיפה של תהליך ההוראה-למידה ולשפר את מעורבות התלמידים, ובכך לייעל את החוויה החינוכית הכוללת. על ידי יישום טכניקות AI, ניתן אפילו להעריך נתונים אלה באופן אוטומטי.
המטרה העיקרית של עבודה זו היא לתאר את המערכת המאפשרת לנו ללכוד את כל המידע, ולאחר שנלכד, לאמן מודל AI המאפשר לנו להשיג את תשומת הלב של כל הכיתה בזמן אמת. למרות שעבודות אחרות כבר הציעו ללכוד תשומת לב באמצעות מידע חזותי או רגשי6, עבודה זו מציעה שימוש משולב בטכניקות אלה, המספקת גישה הוליסטית המאפשרת שימוש בטכניקות AI מורכבות ויעילות יותר. יתר על כן, מערכי הנתונים הזמינים עד כה מוגבלים לסט סרטונים או אחד של נתונים ביומטריים. הספרות אינה כוללת מערכי נתונים המספקים נתונים מלאים עם תמונות של פני התלמיד או גופו, נתונים ביומטריים, נתונים על עמדת המורה ועוד. עם המערכת המוצגת כאן, ניתן ללכוד סוג זה של מערך נתונים.
המערכת משייכת רמת קשב לכל תלמיד בכל נקודת זמן. ערך זה הוא ערך הסתברותי של קשב בין 0% ל-100%, אשר יכול להתפרש כרמת קשב נמוכה (0%-40%), רמת קשב בינונית (40%-75%) ורמת קשב גבוהה (75%-100%). לאורך כל הטקסט, הסתברות זו של תשומת לב מכונה רמת הקשב, תשומת הלב של התלמידים, או אם התלמידים מוסחים או לא, אבל כל אלה קשורים לאותו ערך פלט של המערכת שלנו.
במהלך השנים, תחום זיהוי המעורבות האוטומטי גדל באופן משמעותי בשל הפוטנציאל שלו לחולל מהפכה בחינוך. חוקרים הציעו גישות שונות לתחום מחקר זה.
Ma et al.7 הציגו שיטה חדשנית המבוססת על מכונת טיורינג עצבית לזיהוי אוטומטי של מעורבות. הם חילצו תכונות מסוימות, כגון מבט עיניים, יחידות פעולה בפנים, תנוחת ראש ותנוחת גוף, כדי ליצור ייצוג מקיף של זיהוי מעורבות.
EyeTab8, מערכת חדשנית נוספת, השתמשה במודלים כדי להעריך לאן מישהו מסתכל בשתי עיניו. זה נעשה במיוחד כדי לעבוד בצורה חלקה על לוח סטנדרטי ללא שינויים. מערכת זו רותמת אלגוריתמים מוכרים לעיבוד תמונות ולניתוח ראייה ממוחשבת. צינור הערכת המבט שלהם כולל גלאי עיניים מבוסס תכונות דמוי Haar, כמו גם גישת התאמת אליפסת לימבוס מבוססת RANSAC.
Sanghvi et al.9 מציעים גישה המסתמכת על טכניקות מבוססות ראייה כדי לחלץ באופן אוטומטי תכונות יציבה אקספרסיביות מסרטונים שהוקלטו ממבט רוחבי, ולוכדים את התנהגות הילדים. הערכה ראשונית מבוצעת, הכוללת אימון של מודלים מרובים לזיהוי באמצעות ביטויי יציבה רגשית הקשרית. התוצאות שהתקבלו מראות כי דפוסי התנהגות יציבה יכולים לחזות ביעילות את מעורבות הילדים עם הרובוט.
בעבודות אחרות, כגון Gupta et al.10, משתמשים בשיטה מבוססת למידה עמוקה כדי לזהות את המעורבות בזמן אמת של לומדים מקוונים על ידי ניתוח הבעות הפנים שלהם וסיווג רגשותיהם. הגישה משתמשת בזיהוי רגשות פנים כדי לחשב מדד מעורבות (EI) המנבא שני מצבי מעורבות: מעורב ומנותק. מודלים שונים של למידה עמוקה, כולל Inception-V3, VGG19 ו- ResNet-50, מוערכים ומושווים כדי לזהות את מודל הסיווג החיזוי היעיל ביותר לזיהוי מעורבות בזמן אמת.
ב- Altuwairqi et al.11, החוקרים מציגים גישה רב-מודאלית אוטומטית חדשנית להערכת רמות מעורבות התלמידים בזמן אמת. כדי להבטיח מדידות מדויקות ומהימנות, הצוות שילב וניתח שלוש שיטות שונות שלוכדות את התנהגויות התלמידים: הבעות פנים לרגשות, הקשות מקלדת ותנועות עכבר.
Guillén et al.12 מציעים פיתוח של מערכת ניטור המשתמשת אלקטרוקרדיוגרפיה (ECG) כאות פיזיולוגי ראשוני לנתח ולחזות את נוכחותה או היעדרה של תשומת לב קוגניטיבית אצל אנשים בעת ביצוע משימה.
Alban et al.13 משתמשים ברשת עצבית (NN) כדי לזהות רגשות על ידי ניתוח ערכי קצב הלב (HR) והפעילות האלקטרודרמלית (EDA) של משתתפים שונים הן בתחום הזמן והן בתחום התדר. הם מצאו כי עלייה בריבוע השורש-ממוצע של הבדלים עוקבים (RMSDD) וסטיית התקן בין המרווחים נורמליים לנורמה (SDNN), יחד עם ירידה בדופק הממוצע, מצביעים על פעילות מוגברת במערכת העצבים הסימפתטית, הקשורה לפחד.
Kajiwara et al.14 מציעים מערכת חדשנית המשתמשת בחיישנים לבישים ורשתות עצביות עמוקות כדי לחזות את רמת הרגש והמעורבות של העובדים. המערכת עוקבת אחר תהליך בן שלושה שלבים. בתחילה, חיישנים לבישים לוכדים ואוספים נתונים על התנהגויות וגלי דופק. לאחר מכן, תכונות סדרות הזמן מחושבות בהתבסס על הנתונים ההתנהגותיים והפיזיולוגיים שנרכשו. לבסוף, רשתות עצביות עמוקות משמשות כדי להזין את תכונות סדרת הזמן ולבצע תחזיות על הרגשות ורמות המעורבות של הפרט.
במחקר אחר, כגון Costante et al.15, מוצעת גישה המבוססת על אלגוריתם למידה מדדי העברה חדשני, המשתמש בידע מוקדם של קבוצה מוגדרת מראש של מחוות כדי לשפר את הזיהוי של מחוות המוגדרות על ידי המשתמש. שיפור זה מושג תוך הסתמכות מינימלית על דגימות אימון נוספות. באופן דומה, מסגרת זיהוי פעילות אנושית מבוססת חיישנים16 מוצגת כדי לטפל במטרה של זיהוי לא אישי של פעילויות אנושיות מורכבות. נתוני אותות הנאספים מחיישנים הנענדים על פרק כף היד משמשים במסגרת זיהוי הפעילות האנושית שפותחה, תוך שימוש בארבעה דגמי DL מבוססי RNN (זיכרונות לטווח ארוך-קצר, זיכרונות דו-כיווניים לטווח ארוך-קצר, יחידות חוזרות מגודרות ויחידות חוזרות מגודרות דו-כיווניות) כדי לחקור את הפעילויות המבוצעות על ידי המשתמש במכשיר הלביש.
Access restricted. Please log in or start a trial to view this content.
הפרוטוקול הבא עוקב אחר הנחיות ועדת האתיקה למחקר אנושי של אוניברסיטת אליקנטה עם מספר הפרוטוקול המאושר UA-2022-11-12. התקבלה הסכמה מדעת מכל המשתתפים לניסוי זה ולשימוש בנתונים כאן.
1. חומרה, תוכנה והגדרת מחלקה

איור 1: צינור חומרה ונתונים. נתוני המצלמות והשעונים החכמים נאספים ומוזנים לאלגוריתמים של למידת המכונה שיש לעבד. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

איור 2: מיקום החיישנים, המורה והתלמידים. דיאגרמה המציגה את מיקומי המצלמות, השעונים החכמים וממשק המשתמש הגרפי בכיתה עם המורה והתלמידים. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.
2. צינור לכידה ועיבוד נתונים
הערה: כל השלבים הללו מבוצעים באופן אוטומטי על-ידי עיבוד תוכנה שנפרסה בשרת. היישום ששימש לניסויים בעבודה זו נכתב בפייתון 3.8.

איור 3: נתונים שנלכדו על-ידי השעון החכם. השעון החכם מספק גירוסקופ, מד תאוצה, דופק ומצב אור כזרמי נתונים. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

איור 4: דוגמאות לקטגוריות שנלקחו בחשבון על-ידי מודל זיהוי הפעילות. ארבע פעולות שונות מזוהות על ידי מודל זיהוי הפעילות: כתב יד, הקלדה על מקלדת, שימוש בסמארטפון ותנוחת מנוחה. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.
Access restricted. Please log in or start a trial to view this content.
קבוצת היעד של מחקר זה היא סטודנטים לתואר ראשון ושני, ולכן קבוצת הגיל העיקרית היא בין 18 ל -25 שנים. אוכלוסייה זו נבחרה מכיוון שהם יכולים להתמודד עם מכשירים אלקטרוניים עם פחות הסחות דעת מאשר תלמידים צעירים. בסך הכל כללה הקבוצה 25 איש. קבוצת גיל זו יכולה לספק את התוצאות האמינות ביותר כדי לבחון את ההצעה.
לתוצאות רמת הקשב המוצגת למורה יש 2 חלקים. חלק א' של התוצאה מציג מידע פרטני על רמת הקשב הנוכחית של כל תלמיד. חלק ב' נועד להשיג את תשומת הלב הממוצעת של כל הכיתה ואת ההיסטוריה הזמנית שלה לאורך השיעו...
Access restricted. Please log in or start a trial to view this content.
עבודה זו מציגה מערכת המודדת את רמת הקשב של תלמיד בכיתה באמצעות מצלמות, שעונים חכמים ואלגוריתמים של בינה מלאכותית. מידע זה מוצג לאחר מכן למורה כדי שיהיה להם מושג על המצב הכללי של הכיתה.
אחד השלבים הקריטיים העיקריים של הפרוטוקול הוא סנכרון של מידע השעון החכם עם תמונת המצלמה הצבעונית, שכן אלה יש תדרים שונים. זה נפתר על ידי פריסת פטל כשרתים שמקבלים מידע מהשעון החכם והמצלמות עם חותמות הזמן שלהם בהתאמה ומבצעים התאמה גסה של מידע זה. לבסוף, מידע זה נשלח לשרת מרכזי לעיבוד נוסף. השלב הקריטי השני של הפרו...
Access restricted. Please log in or start a trial to view this content.
המחברים מצהירים כי אין להם אינטרסים כלכליים מתחרים ידועים או קשרים אישיים שיכלו להשפיע לכאורה על העבודה המדווחת במאמר זה.
עבודה זו פותחה במימון Programa Prometeo, מזהה פרויקט CIPROM/2021/017. פרופ' רוזבל רויג היא יו"ר אונסק"ו "חינוך, מחקר והכללה דיגיטלית".
Access restricted. Please log in or start a trial to view this content.
| Name | Company | Catalog Number | Comments |
|---|---|---|---|
| 4 מעבדים גרפיים Nvidia A40 Ampere | NVIDIA | TCSA40M-PB | GPU לשרת עיבוד דגמים מרכזי |
| FusionServer 2288H V5 | X-Fusion | 02311XBK | פלטפורמה הכוללת ספק כוח ולוח אם לעיבוד דגמים מרכזי שרת |
| זיכרון Evo Plus 128 ג'יגה בייט | Samsung | MB-MC128KA/EU | כרטיס זיכרון להפעלת Raspberry Pi 4B 2GB. אחד לכל פטל. |
| NEMIX RAM - 512 ג'יגה בייט ערכת DDR4-3200 PC4-25600 8Rx4 EC | NEMIX | M393AAG40M32-CAE | RAM לשרת עיבוד מודלים מרכזי |
| מעבד Intel Xeon Gold 6330 | מעבד Intel | CD8068904572101 | לשרת מרכזי לעיבוד דגמים |
| Raspberry PI 4B 2GB | Raspberry | 1822095 | שרת מקומי המקבל בקשות מהשעונים ושולח אותן לשרת הכללי. אחד מכל שני תלמידים. |
| שעון גלקסי סמסונג 5 (40 מ"מ) | שעון SM-R900NZAAPHE של סמסונג | העוקב אחר הפעילות של כל תלמיד. לכל תלמיד. | |
| סמסונג MZQL23T8HCLS-00B7C PM9A3 3.84Tb Nvme U.2 PCI-Express-4 x4 2.5inch Ssd | סמסונג | MZQL23T8HCLS-00B7C | אחסון פנימי לשרת עיבוד דגמים |
| מרכזי WebCam HD Pro C920 מצלמת אינטרנט FullHD | Logitech | 960-001055 | מצלמת אינטרנט HD. אחד לכל תלמיד ועוד שניים לתנוחות התלמידים. |
Access restricted. Please log in or start a trial to view this content.
Request permission to reuse the text or figures of this JoVE article
Request Permission