Name: מערכת מבוססת בינה מלאכותית לאיתור רמות קשב אצל תלמידים (וידאו) | JoVE Journal
Uploaded: 2023-12-15T14:10:00.000+00:00
Duration: 6 min 37 s
Description: חקור מערכת בינה מלאכותית לאיתור רמות קשב של תלמידים בכיתה בזמן אמת. השיטה משתמשת באלגוריתמים מותאמים אישית לניתוח תנוחת גוף, הבעות פנים ונתונים ביומטריים כדי לסייע למורים לשפר מעורבות ולהתאים שיטות הוראה דינמית.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

עבודה זו פותחה במימון Programa Prometeo, מזהה פרויקט CIPROM/2021/017. פרופ' רוזבל רויג היא יו"ר אונסק"ו "חינוך, מחקר והכללה דיגיטלית".

הפרוטוקול הבא עוקב אחר הנחיות ועדת האתיקה למחקר אנושי של אוניברסיטת אליקנטה עם מספר הפרוטוקול המאושר UA-2022-11-12. התקבלה הסכמה מדעת מכל המשתתפים לניסוי זה ולשימוש בנתונים כאן.
1. חומרה, תוכנה והגדרת מחלקה
<ol><li>הגדר נתב עם יכולות WiFi (הניסויים בוצעו באמצעות DLink DSR 1000AC) במיקום הרצוי, כך שהטווח שלו מכסה את כל החדר. כאן, 25 מ'2 כיתות עם 30 תלמידים כוסו.</li>
	<li>הגדר שעון חכם אחד (כאן Samsung Galaxy Smartwatch 5) ומצלמה אחת (כאן Logitech C920 מצלמות) עבור כל מיקום סטודנט. הגדר התקן מוטבע אחד לכל שני תלמידים. תקנו שתי מצלמות על שתי חצובות וחברו אותן למכשיר משובץ אחר (להלן מצלמות זניטל).</li>
	<li>חבר את המצלמות להתקנים המשובצים המתאימים באמצעות קישור USB והפעל אותן. הפעל גם את השעונים החכמים. חבר כל מכשיר מוטבע ושעון חכם לרשת ה- WiFi של הנתב שהוגדר בשלב 1.1.</li>
	<li>מקמו את המצלמות בפינת שולחנו של כל תלמיד וכוונו אותן קדימה ומוטות מעט כלפי מעלה כך שפני התלמיד ייראו בבירור בתמונות.</li>
	<li>מקמו את שתי החצובות עם המצלמות מול השולחנות הקרובים ביותר למעברים בשורת המושבים הראשונה של הכיתה. הזיזו את הגבהת החצובה למקום הגבוה ביותר כך שהמצלמות יוכלו לראות בבירור את רוב התלמידים. כל מכשיר משובץ יוכל לנהל תלמיד אחד או שניים, יחד עם המצלמות והשעונים שלהם. ההגדרה מתוארת באיור 1.</li>
	<li>הפעל את תוכנת הלכידה בשעונים החכמים ובהתקנים המשובצים כך שיהיו מוכנים לשלוח את התמונות ואת מד התאוצה, הג'ירוסקופ, הדופק ונתוני התאורה. הפעל את תוכנת השרת שאוספת את הנתונים ומאחסנת אותם. תרשים של כל האלמנטים האלה ניתן לראות באיור 2.</li>
	<li>יש לוודא שהמצלמות שולטות בזירה כך שתהיה להן ראייה ברורה של גופם של התלמידים. הציבו מצלמה אישית נוספת לפני כל תלמיד.</li>
	<li>תנו לתלמידים לשבת במקומותיהם, הודיעו להם על מטרות הניסוי והורו להם לענוד את השעונים החכמים על היד הדומיננטית שלהם ולא לתקשר עם אף אחד ממרכיבי המערך.</li>
	<li>התחל את הלכידה והאיסוף של הנתונים בשרת וחדש את שיעורי הכיתה כרגיל.</li>
</ol><img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/65931/65931fig01.jpg"> איור 1: צינור חומרה ונתונים. נתוני המצלמות והשעונים החכמים נאספים ומוזנים לאלגוריתמים של למידת המכונה שיש לעבד. <a href="https://www.jove.com/files/ftp_upload/65931/65931fig01large.jpg" target="_blank">אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/65931/65931fig02.jpg"> איור 2: מיקום החיישנים, המורה והתלמידים. דיאגרמה המציגה את מיקומי המצלמות, השעונים החכמים וממשק המשתמש הגרפי בכיתה עם המורה והתלמידים. <a href="https://www.jove.com/files/ftp_upload/65931/65931fig02large.jpg" target="_blank">אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.</a>
2. צינור לכידה ועיבוד נתונים
הערה: כל השלבים הללו מבוצעים באופן אוטומטי על-ידי עיבוד תוכנה שנפרסה בשרת. היישום ששימש לניסויים בעבודה זו נכתב בפייתון 3.8.
<ol><li>איסוף הנתונים הנדרשים על ידי איסוף כל התמונות והנתונים הביומטריים מהשעון החכם עבור כל תלמיד ובניית מסגרת נתונים הכוללת נתונים משנייה אחת. מסגרת נתונים זו מורכבת מתמונה אחת מהמצלמה הבודדת, תמונה אחת מכל מצלמה (שתיים במקרה זה), חמישים אוגרים של שלושת ערכי הג'ירוסקופ, חמישים אוגרים של שלושת ערכי מד התאוצה, ערך דופק אחד וערך תנאי אור אחד.</li>
	<li>כדי לחשב את כיוון הראש, הצעד הראשון הוא להשתמש במצלמת האינטרנט שמכוונת לפניו של התלמיד ולשלוף תמונה. לאחר מכן, תמונה זו מעובדת על ידי אלגוריתם הערכת ציון הדרך BlazeFace17 . הפלט של אלגוריתם כזה הוא רשימה של נקודות מפתח דו-ממדיות המתאימות לאזורים ספציפיים של הפנים.</li>
	<li>על ידי שימוש במיקום המשוער של העיניים, האף, הפה והסנטר המסופק על ידי האלגוריתם, פתור את בעיית נקודת הפרספקטיבה n באמצעות השיטה cv::SolvePnPMethod של ספריית OpenCV, הגדרת פנים קנונית. מטריצת הסיבוב המגדירה את כיוון הראש מתקבלת כתוצאה מהליך זה.</li>
	<li>חשב את תנוחת הגוף על ידי העברת התמונה הזניטלית ממסגרת הנתונים שבה התלמיד מתואר לאלגוריתם הערכת ציון הדרך BlazePose18 ואחזר רשימה של קואורדינטות דו-ממדיות של מפרקי הגוף המתוארים בתמונה. רשימת ציוני דרך זו מתארת את תנוחת התלמיד. הערה: תנוחת הגוף חשובה מכיוון שהיא יכולה לייצג במדויק את מעורבותו של התלמיד בפעילויות שונות במהלך השיעור. לדוגמה, אם התלמיד יושב באופן טבעי עם ידיו על השולחן, זה יכול להיות שהוא רושם הערות. לעומת זאת, אם הם מזיזים את זרועותיהם ללא הרף, זה יכול להיות שהם מדברים עם מישהו.</li>
	<li>השג את תמונת פניו של התלמיד ובצע עיבוד מקדים ליישור. אחזר את נקודות המפתח של העיניים מהרשימה המחושבת בשלב 2.3 והקרן אותן למישור התמונה כך שיתקבל מיקום העיניים.</li>
	<li>עקוב אחר וקטור וירטואלי המצטרף למיקום שתי העיניים. חשב את הזווית בין וקטור זה לקו האופקי ובנה מטריצה הומוגרפית כדי להחיל את הזווית ההפוכה על התמונה ועל נקודות המפתח כך שהעיניים מיושרות אופקית.</li>
	<li>חתוך את הפנים באמצעות נקודות המפתח כדי לזהות את גבולותיו ולהזין את הטלאי לרשת העצבית קונבולוציונית לזיהוי רגשות19. שלפו את הפלט מהרשת, שהיא וקטור בעל 7 עמדות, כאשר כל עמדה נותנת את ההסתברות שהפנים יראו אחד משבעת הרגשות הבסיסיים: ניטרלי, שמח, נגעל, כועס, מפוחד, מופתע ועצוב.</li>
	<li>מדוד את רמת הקשב על-ידי קבלת נתוני מד התאוצה, הג'ירוסקופ והדופק ממסגרת הנתונים (איור 3).</li>
	<li>הזינו את המודל מבוסס הלמידה העמוקה שנבנה והוכשר בהתאמה אישית מאפס המתואר בתוצאות המייצגות עם זרם נתוני מד התאוצה והג'ירוסקופ. אחזר את הפלט מהמודל, שהוא וקטור עם 4 מצבים, כאשר כל מיקום נותן את ההסתברות שהנתונים מייצגים אחת מהפעולות האפשריות הבאות: כתב יד, הקלדה על מקלדת, שימוש בטלפון נייד או מנוחה, כפי שמוצג באיור 4.</li>
	<li>הזן את מסווג הקשב הסופי עם ליניאריזציה של כל התוצאות מהמערכות הקודמות על ידי מיזוג כיוון הראש, פלט זיהוי הרגש, תנוחת הגוף ונתוני הג'ירוסקופ, מד התאוצה והדופק. אחזר את התוצאות ממסווג סופי זה, שהוא ציון מ- 0 עד 100. סווג ערך מתמשך זה לאחת משלוש קטגוריות אפשריות של תשומת לב בדידה: רמה נמוכה של תשומת לב (0-40%), רמה בינונית של תשומת לב (40%-75%) ורמה גבוהה של תשומת לב (75% - 100%). מבנה מערך הנתונים שנוצר מוצג בטבלה 1.</li>
	<li>הצג את תוצאות רמות הקשב למורה באמצעות ממשק המשתמש הגרפי (GUI) ממחשב המורה, הנגיש מדפדפן אינטרנט רגיל.</li>
</ol><img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/65931/65931fig03.jpg"> איור 3: נתונים שנלכדו על-ידי השעון החכם. השעון החכם מספק גירוסקופ, מד תאוצה, דופק ומצב אור כזרמי נתונים. <a href="https://www.jove.com/files/ftp_upload/65931/65931fig03large.jpg" target="_blank">אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/65931/65931fig04.jpg"> איור 4: דוגמאות לקטגוריות שנלקחו בחשבון על-ידי מודל זיהוי הפעילות. ארבע פעולות שונות מזוהות על ידי מודל זיהוי הפעילות: כתב יד, הקלדה על מקלדת, שימוש בסמארטפון ותנוחת מנוחה. <a href="https://www.jove.com/files/ftp_upload/65931/65931fig04large.jpg" target="_blank">אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.</a>

שיפור המעורבות בכיתה: ניתוח מבוסס בינה מלאכותית של רמות הקשב של התלמידים

<ol><li>Hasnine, M. N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Students%27+emotion+extraction+and+visualization+for+engagement+detection+in+online+learning%5BTitle%5D)+AND+%22Procedia+Comp+Sci%22%5BJournal%5D)">Students' emotion extraction and visualization for engagement detection in online learning.</a> Procedia Comp Sci. 192, 3423-3431 (2021).</li>
<li>Khare, S. K., Blanes-Vidal, V., Nadimi, E. S., Acharya, U. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Emotion+recognition+and+artificial+intelligence%3A+A+systematic+review+%282014-2023%29+and+research+recommendations%5BTitle%5D)+AND+%22Info+Fusion%22%5BJournal%5D)">Emotion recognition and artificial intelligence: A systematic review (2014-2023) and research recommendations.</a> Info Fusion. 102, 102019(2024).</li>
<li>Bosch, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Detecting+student+engagement%3A+Human+versus+machine%5BTitle%5D)+AND+%22UMAP+%2716%3A+Proc+the+2016+Conf+User+Model+Adapt+Personal%22%5BJournal%5D)">Detecting student engagement: Human versus machine.</a> UMAP '16: Proc the 2016 Conf User Model Adapt Personal. , 317-320 (2016).</li>
<li>Araya, R., Sossa-Rivera, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+detection+of+gaze+and+body+orientation+in+elementary+school+classrooms%5BTitle%5D)+AND+%22Front+Robot+AI%22%5BJournal%5D)">Automatic detection of gaze and body orientation in elementary school classrooms.</a> Front Robot AI. 8, 729832(2021).</li>
<li>Lu, Y., Zhang, J., Li, B., Chen, P., Zhuang, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Harnessing+commodity+wearable+devices+for+capturing+learner+engagement%5BTitle%5D)+AND+%22IEEE+Access%22%5BJournal%5D)">Harnessing commodity wearable devices for capturing learner engagement.</a> IEEE Access. 7, 15749-15757 (2019).</li>
<li>Vanneste, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Computer+vision+and+human+behaviour%2C+emotion+and+cognition+detection%3A+A+use+case+on+student+engagement%5BTitle%5D)+AND+%22Mathematics%22%5BJournal%5D)">Computer vision and human behaviour, emotion and cognition detection: A use case on student engagement.</a> Mathematics. 9 (3), 287(2021).</li>
<li>Ma, X., Xu, M., Dong, Y., Sun, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+student+engagement+in+online+learning+environment+based+on+neural+Turing+machine%5BTitle%5D)+AND+%22Int+J+Info+Edu+Tech%22%5BJournal%5D)">Automatic student engagement in online learning environment based on neural Turing machine.</a> Int J Info Edu Tech. 11 (3), 107-111 (2021).</li>
<li>Wood, E., Bulling, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((EyeTab%3A+model-based+gaze+estimation+on+unmodified+tablet+computers%5BTitle%5D)+AND+%22ETRA+%2714%3A+Proc+Symp+Eye+Tracking+Res+Appl%22%5BJournal%5D)">EyeTab: model-based gaze estimation on unmodified tablet computers.</a> ETRA '14: Proc Symp Eye Tracking Res Appl. , 207-210 (2014).</li>
<li>Sanghvi, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+analysis+of+affective+postures+and+body+motion+to+detect+engagement+with+a+game+companion%5BTitle%5D)+AND+%22HRI+%2711%3A+Proc+6th+Int+Conf+Human-robot+Interact%22%5BJournal%5D)">Automatic analysis of affective postures and body motion to detect engagement with a game companion.</a> HRI '11: Proc 6th Int Conf Human-robot Interact. , 205-211 (2011).</li>
<li>Gupta, S., Kumar, P., Tekchandani, R. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Facial+emotion+recognition+based+real-time+learner+engagement+detection+system+in+online+learning+context+using+deep+learning+models%5BTitle%5D)+AND+%22Multimed+Tools+Appl%22%5BJournal%5D)">Facial emotion recognition based real-time learner engagement detection system in online learning context using deep learning models.</a> Multimed Tools Appl. 82 (8), 11365-11394 (2023).</li>
<li>Altuwairqi, K., Jarraya, S. K., Allinjawi, A., Hammami, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Student+behavior+analysis+to+measure+engagement+levels+in+online+learning+environments%5BTitle%5D)+AND+%22Signal+Image+Video+Process%22%5BJournal%5D)">Student behavior analysis to measure engagement levels in online learning environments.</a> Signal Image Video Process. 15 (7), 1387-1395 (2021).</li>
<li>Belle, A., Hargraves, R. H., Najarian, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+automated+optimal+engagement+and+attention+detection+system+using+electrocardiogram%5BTitle%5D)+AND+%22Comput+Math+Methods+Med%22%5BJournal%5D)">An automated optimal engagement and attention detection system using electrocardiogram.</a> Comput Math Methods Med. 2012, 528781(2012).</li>
<li>Alban, A. Q., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Heart+rate+as+a+predictor+of+challenging+behaviours+among+children+with+autism+from+wearable+sensors+in+social+robot+interactions%5BTitle%5D)+AND+%22Robotics%22%5BJournal%5D)">Heart rate as a predictor of challenging behaviours among children with autism from wearable sensors in social robot interactions.</a> Robotics. 12 (2), 55(2023).</li>
<li>Kajiwara, Y., Shimauchi, T., Kimura, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Predicting+emotion+and+engagement+of+workers+in+order+picking+based+on+behavior+and+pulse+waves+acquired+by+wearable+devices%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Predicting emotion and engagement of workers in order picking based on behavior and pulse waves acquired by wearable devices.</a> Sensors. 19 (1), 165(2019).</li>
<li>Personalizing a smartwatch-based gesture interface with transfer learning. Costante, G., Porzi, L., Lanz, O., Valigi, P., Ricci, E. 22nd European Signal Processing Conference (EUSIPCO), Lisbon, Portugal, , 2530-2534 (2014).</li>
<li>Mekruksavanich, S., Jitpattanakul, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+convolutional+neural+network+with+RNNs+for+complex+activity+recognition+using+wrist-worn+wearable+sensor+data%5BTitle%5D)+AND+%22Electronics%22%5BJournal%5D)">Deep convolutional neural network with RNNs for complex activity recognition using wrist-worn wearable sensor data.</a> Electronics. 10 (14), 1685(2021).</li>
<li>Bazarevsky, V., Kartynnik, Y., Vakunov, A., Raveendran, K., Grundmann, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((BlazeFace%3A+Sub-millisecond+Neural+Face+Detection+on+Mobile+GPUs%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">BlazeFace: Sub-millisecond Neural Face Detection on Mobile GPUs.</a> arXiv. , (2019).</li>
<li>Bazarevsky, V., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((BlazePose%3A+On-device+Real-time+Body+Pose+tracking%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">BlazePose: On-device Real-time Body Pose tracking.</a> arXiv. , (2020).</li>
<li>Mejia-Escobar, C., Cazorla, M., Martinez-Martin, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Towards+a+better+performance+in+facial+expression+recognition%3A+a+data-centric+approach%5BTitle%5D)+AND+%22Comput+Intelligence+Neurosci%22%5BJournal%5D)">Towards a better performance in facial expression recognition: a data-centric approach.</a> Comput Intelligence Neurosci. , In press (2023).</li>
<li>El-Garem, A., Adel, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Applying+systematic+literature+review+and+Delphi+methods+to+explore+digital+transformation+key+success+factors%5BTitle%5D)+AND+%22Int+J+Eco+Mgmt+Engi%22%5BJournal%5D)">Applying systematic literature review and Delphi methods to explore digital transformation key success factors.</a> Int J Eco Mgmt Engi. 16 (7), 383-389 (2022).</li>
<li>Using electroencephalography to determine student attention in the classroom. Indumathi, V., Kist, A. A. IEEE Global Engineering Education Conference (EDUCON, Kuwait, Kuwait, , 1-3 (2023).</li>
<li>Ma, X., Xie, Y., Wang, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+on+the+construction+and+application+of+teacher-student+interaction+evaluation+system+for+smart+classroom+in+the+post+COVID-19%5BTitle%5D)+AND+%22Studies+Edu+Eval%22%5BJournal%5D)">Research on the construction and application of teacher-student interaction evaluation system for smart classroom in the post COVID-19.</a> Studies Edu Eval. 78, 101286(2023).</li>
<li>Andersen, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Constructing+Delphi+statements+for+technology+foresight%5BTitle%5D)+AND+%22Futures+Foresight+Sci%22%5BJournal%5D)">Constructing Delphi statements for technology foresight.</a> Futures Foresight Sci. 5 (2), e144(2022).</li>
<li>Khodyakov, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Disciplinary+trends+in+the+use+of+the+Delphi+method%3A+A+bibliometric+analysis%5BTitle%5D)+AND+%22PLoS+One%22%5BJournal%5D)">Disciplinary trends in the use of the Delphi method: A bibliometric analysis.</a> PLoS One. 18 (8), e0289009(2023).</li>
<li>Martins, A. I., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Consensus+on+the+Terms+and+Procedures+for+Planning+and+Reporting+a+Usability+Evaluation+of+Health-Related+Digital+Solutions%3A+Delphi+Study+and+a+Resulting+Checklist%5BTitle%5D)+AND+%22J+Medical+Internet+Res%22%5BJournal%5D)">Consensus on the Terms and Procedures for Planning and Reporting a Usability Evaluation of Health-Related Digital Solutions: Delphi Study and a Resulting Checklist.</a> J Medical Internet Res. 25, e44326(2023).</li>
<li>Dalmaso, M., Castelli, L., Galfano, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Social+modulators+of+gaze-mediated+orienting+of+attention%3A+A+review%5BTitle%5D)+AND+%22Psychon+Bull+Rev%22%5BJournal%5D)">Social modulators of gaze-mediated orienting of attention: A review.</a> Psychon Bull Rev. 27 (5), 833-855 (2020).</li>
<li>Klein, R. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Thinking+about+attention%3A+Successive+approximations+to+a+productive+taxonomy%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Thinking about attention: Successive approximations to a productive taxonomy.</a> Cognition. 225, 105137(2022).</li>
<li>Schindler, S., Bublatzky, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Attention+and+emotion%3A+An+integrative+review+of+emotional+face+processing+as+a+function+of+attention%5BTitle%5D)+AND+%22Cortex%22%5BJournal%5D)">Attention and emotion: An integrative review of emotional face processing as a function of attention.</a> Cortex. 130, 362-386 (2020).</li>
<li>Zaletelj, J., Košir, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Predicting+students%27+attention+in+the+classroom+from+Kinect+facial+and+body+features%5BTitle%5D)+AND+%22J+Image+Video+Proc%22%5BJournal%5D)">Predicting students' attention in the classroom from Kinect facial and body features.</a> J Image Video Proc. 80, (2017).</li>
<li>Strauch, C., Wang, C. A., Einhäuser, W., Van der Stigchel, S., Naber, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Pupillometry+as+an+integrated+readout+of+distinct+attentional+networks%5BTitle%5D)+AND+%22Trends+Neurosci%22%5BJournal%5D)">Pupillometry as an integrated readout of distinct attentional networks.</a> Trends Neurosci. 45 (8), 635-647 (2022).</li>
</ol>

המחברים מצהירים כי אין להם אינטרסים כלכליים מתחרים ידועים או קשרים אישיים שיכלו להשפיע לכאורה על העבודה המדווחת במאמר זה.

עבודה זו מציגה מערכת המודדת את רמת הקשב של תלמיד בכיתה באמצעות מצלמות, שעונים חכמים ואלגוריתמים של בינה מלאכותית. מידע זה מוצג לאחר מכן למורה כדי שיהיה להם מושג על המצב הכללי של הכיתה.
אחד השלבים הקריטיים העיקריים של הפרוטוקול הוא סנכרון של מידע השעון החכם עם תמונת המצלמה הצבעונית, שכן אלה יש תדרים שונים. זה נפתר על ידי פריסת פטל כשרתים שמקבלים מידע מהשעון החכם והמצלמות עם חותמות הזמן שלהם בהתאמה ומבצעים התאמה גסה של מידע זה. לבסוף, מידע זה נשלח לשרת מרכזי לעיבוד נוסף. השלב הקריטי השני של הפרו...

במסגרות חינוכיות מודרניות, הערכה מדויקת ושמירה על תשומת הלב של התלמידים היא חיונית להוראה וללמידה אפקטיביות. עם זאת, שיטות מסורתיות למדידת מעורבות, כגון דיווח עצמי או תצפיות סובייקטיביות של מורים, גוזלות זמן רב ומועדות להטיות. כדי להתמודד עם אתגר זה, טכניקות בינה מלאכותית (AI) התגלו כפתרונות מבטיחים לזיהוי קשב אוטומטי. היבט משמעותי אחד של הבנת רמות המעורבות של התלמידים הוא זיהוי רגש1. מערכות AI יכולות לנתח הבעות פנים כדי לזהות רגשות, כגון ניטרלי, גועל, הפתעה, עצב, פחד, שמחה וכעס2.
כיוון המבט ותנוחת הגוף הם גם אינדיקטורים מכריעים לתשומת הלב של התלמידים3. על ידי שימוש במצלמות ואלגוריתמים מתקדמים של למידת מכונה, מערכות AI יכולות לעקוב במדויק לאן התלמידים מסתכלים ולנתח את תנוחת הגוף שלהם כדי לזהות סימנים של חוסר עניין או עייפות4. יתר על כן, שילוב נתונים ביומטריים משפר את הדיוק והאמינות של זיהוי קשב5. על ידי איסוף מדידות, כגון קצב לב ורמות ריווי חמצן בדם, באמצעות שעונים חכמים שענדו התלמידים, ניתן להשיג אינדיקטורים אובייקטיביים של תשומת לב, המשלימים מקורות מידע אחרים.
מאמר זה מציע מערכת המעריכה את רמת הקשב של הפרט באמצעות מצלמות צבע וחיישנים שונים אחרים. הוא משלב זיהוי רגשות, ניתוח כיוון מבט, הערכת תנוחת גוף ונתונים ביומטריים כדי לספק למחנכים סט מקיף של כלים לייעול תהליך ההוראה-למידה ושיפור מעורבות התלמידים. על ידי שימוש בכלים אלה, מחנכים יכולים להשיג הבנה מקיפה של תהליך ההוראה-למידה ולשפר את מעורבות התלמידים, ובכך לייעל את החוויה החינוכית הכוללת. על ידי יישום טכניקות AI, ניתן אפילו להעריך נתונים אלה באופן אוטומטי.
המטרה העיקרית של עבודה זו היא לתאר את המערכת המאפשרת לנו ללכוד את כל המידע, ולאחר שנלכד, לאמן מודל AI המאפשר לנו להשיג את תשומת הלב של כל הכיתה בזמן אמת. למרות שעבודות אחרות כבר הציעו ללכוד תשומת לב באמצעות מידע חזותי או רגשי6, עבודה זו מציעה שימוש משולב בטכניקות אלה, המספקת גישה הוליסטית המאפשרת שימוש בטכניקות AI מורכבות ויעילות יותר. יתר על כן, מערכי הנתונים הזמינים עד כה מוגבלים לסט סרטונים או אחד של נתונים ביומטריים. הספרות אינה כוללת מערכי נתונים המספקים נתונים מלאים עם תמונות של פני התלמיד או גופו, נתונים ביומטריים, נתונים על עמדת המורה ועוד. עם המערכת המוצגת כאן, ניתן ללכוד סוג זה של מערך נתונים.
המערכת משייכת רמת קשב לכל תלמיד בכל נקודת זמן. ערך זה הוא ערך הסתברותי של קשב בין 0% ל-100%, אשר יכול להתפרש כרמת קשב נמוכה (0%-40%), רמת קשב בינונית (40%-75%) ורמת קשב גבוהה (75%-100%). לאורך כל הטקסט, הסתברות זו של תשומת לב מכונה רמת הקשב, תשומת הלב של התלמידים, או אם התלמידים מוסחים או לא, אבל כל אלה קשורים לאותו ערך פלט של המערכת שלנו.
במהלך השנים, תחום זיהוי המעורבות האוטומטי גדל באופן משמעותי בשל הפוטנציאל שלו לחולל מהפכה בחינוך. חוקרים הציעו גישות שונות לתחום מחקר זה.
Ma et al.7 הציגו שיטה חדשנית המבוססת על מכונת טיורינג עצבית לזיהוי אוטומטי של מעורבות. הם חילצו תכונות מסוימות, כגון מבט עיניים, יחידות פעולה בפנים, תנוחת ראש ותנוחת גוף, כדי ליצור ייצוג מקיף של זיהוי מעורבות.
EyeTab8, מערכת חדשנית נוספת, השתמשה במודלים כדי להעריך לאן מישהו מסתכל בשתי עיניו. זה נעשה במיוחד כדי לעבוד בצורה חלקה על לוח סטנדרטי ללא שינויים. מערכת זו רותמת אלגוריתמים מוכרים לעיבוד תמונות ולניתוח ראייה ממוחשבת. צינור הערכת המבט שלהם כולל גלאי עיניים מבוסס תכונות דמוי Haar, כמו גם גישת התאמת אליפסת לימבוס מבוססת RANSAC.
Sanghvi et al.9 מציעים גישה המסתמכת על טכניקות מבוססות ראייה כדי לחלץ באופן אוטומטי תכונות יציבה אקספרסיביות מסרטונים שהוקלטו ממבט רוחבי, ולוכדים את התנהגות הילדים. הערכה ראשונית מבוצעת, הכוללת אימון של מודלים מרובים לזיהוי באמצעות ביטויי יציבה רגשית הקשרית. התוצאות שהתקבלו מראות כי דפוסי התנהגות יציבה יכולים לחזות ביעילות את מעורבות הילדים עם הרובוט.
בעבודות אחרות, כגון Gupta et al.10, משתמשים בשיטה מבוססת למידה עמוקה כדי לזהות את המעורבות בזמן אמת של לומדים מקוונים על ידי ניתוח הבעות הפנים שלהם וסיווג רגשותיהם. הגישה משתמשת בזיהוי רגשות פנים כדי לחשב מדד מעורבות (EI) המנבא שני מצבי מעורבות: מעורב ומנותק. מודלים שונים של למידה עמוקה, כולל Inception-V3, VGG19 ו- ResNet-50, מוערכים ומושווים כדי לזהות את מודל הסיווג החיזוי היעיל ביותר לזיהוי מעורבות בזמן אמת.
ב- Altuwairqi et al.11, החוקרים מציגים גישה רב-מודאלית אוטומטית חדשנית להערכת רמות מעורבות התלמידים בזמן אמת. כדי להבטיח מדידות מדויקות ומהימנות, הצוות שילב וניתח שלוש שיטות שונות שלוכדות את התנהגויות התלמידים: הבעות פנים לרגשות, הקשות מקלדת ותנועות עכבר.
Guillén et al.12 מציעים פיתוח של מערכת ניטור המשתמשת אלקטרוקרדיוגרפיה (ECG) כאות פיזיולוגי ראשוני לנתח ולחזות את נוכחותה או היעדרה של תשומת לב קוגניטיבית אצל אנשים בעת ביצוע משימה.
Alban et al.13 משתמשים ברשת עצבית (NN) כדי לזהות רגשות על ידי ניתוח ערכי קצב הלב (HR) והפעילות האלקטרודרמלית (EDA) של משתתפים שונים הן בתחום הזמן והן בתחום התדר. הם מצאו כי עלייה בריבוע השורש-ממוצע של הבדלים עוקבים (RMSDD) וסטיית התקן בין המרווחים נורמליים לנורמה (SDNN), יחד עם ירידה בדופק הממוצע, מצביעים על פעילות מוגברת במערכת העצבים הסימפתטית, הקשורה לפחד.
Kajiwara et al.14 מציעים מערכת חדשנית המשתמשת בחיישנים לבישים ורשתות עצביות עמוקות כדי לחזות את רמת הרגש והמעורבות של העובדים. המערכת עוקבת אחר תהליך בן שלושה שלבים. בתחילה, חיישנים לבישים לוכדים ואוספים נתונים על התנהגויות וגלי דופק. לאחר מכן, תכונות סדרות הזמן מחושבות בהתבסס על הנתונים ההתנהגותיים והפיזיולוגיים שנרכשו. לבסוף, רשתות עצביות עמוקות משמשות כדי להזין את תכונות סדרת הזמן ולבצע תחזיות על הרגשות ורמות המעורבות של הפרט.
במחקר אחר, כגון Costante et al.15, מוצעת גישה המבוססת על אלגוריתם למידה מדדי העברה חדשני, המשתמש בידע מוקדם של קבוצה מוגדרת מראש של מחוות כדי לשפר את הזיהוי של מחוות המוגדרות על ידי המשתמש. שיפור זה מושג תוך הסתמכות מינימלית על דגימות אימון נוספות. באופן דומה, מסגרת זיהוי פעילות אנושית מבוססת חיישנים16 מוצגת כדי לטפל במטרה של זיהוי לא אישי של פעילויות אנושיות מורכבות. נתוני אותות הנאספים מחיישנים הנענדים על פרק כף היד משמשים במסגרת זיהוי הפעילות האנושית שפותחה, תוך שימוש בארבעה דגמי DL מבוססי RNN (זיכרונות לטווח ארוך-קצר, זיכרונות דו-כיווניים לטווח ארוך-קצר, יחידות חוזרות מגודרות ויחידות חוזרות מגודרות דו-כיווניות) כדי לחקור את הפעילויות המבוצעות על ידי המשתמש במכשיר הלביש.

<table><tbody><tr><td>4 מעבדים גרפיים&nbsp; Nvidia A40 Ampere</td><td>NVIDIA</td><td>TCSA40M-PB</td><td>GPU לשרת עיבוד דגמים מרכזי</td></tr><tr><td>FusionServer 2288H V5</td><td>X-Fusion</td><td>02311XBK</td><td>פלטפורמה הכוללת ספק כוח ולוח אם לעיבוד דגמים מרכזי שרת</td></tr> כרטיס <tr><td>זיכרון Evo Plus 128 ג'יגה בייט</td><td>Samsung</td><td>MB-MC128KA/EU</td><td>כרטיס זיכרון להפעלת Raspberry Pi 4B 2GB.&nbsp; אחד לכל פטל.&nbsp;</td></tr><tr><td>NEMIX RAM - 512 ג'יגה בייט ערכת DDR4-3200 PC4-25600 8Rx4 EC</td><td>NEMIX</td><td>M393AAG40M32-CAE</td><td>RAM לשרת עיבוד מודלים מרכזי</td></tr><tr><td>מעבד Intel Xeon Gold 6330</td><td>מעבד Intel</td><td>CD8068904572101</td><td>לשרת מרכזי לעיבוד דגמים</td></tr><tr><td>Raspberry PI 4B 2GB</td><td>Raspberry</td><td>1822095</td><td>שרת מקומי המקבל בקשות מהשעונים ושולח אותן לשרת הכללי. אחד מכל שני תלמידים.</td></tr><tr><td>שעון גלקסי סמסונג 5 (40 מ"מ)</td><td>שעון SM-R900NZAAPHE של סמסונג</td><td></td><td>העוקב אחר הפעילות של כל תלמיד. לכל תלמיד.&nbsp;</td></tr><tr><td>סמסונג MZQL23T8HCLS-00B7C PM9A3 3.84Tb Nvme U.2 PCI-Express-4 x4 2.5inch Ssd</td><td>סמסונג</td><td>MZQL23T8HCLS-00B7C</td><td>אחסון פנימי לשרת עיבוד דגמים</td></tr><tr><td>מרכזי WebCam HD Pro C920 מצלמת אינטרנט FullHD</td><td>Logitech</td><td>960-001055</td><td>מצלמת אינטרנט HD. אחד לכל תלמיד ועוד שניים לתנוחות התלמידים.</td></tr></tbody></table>

מערכת מבוססת בינה מלאכותית לאיתור רמות קשב אצל תלמידים

Artificial Intelligence-Based System for Detecting Attention Levels in Students

ניתן לשפר את רמת הקשב של התלמידים בכיתה באמצעות שימוש בטכניקות בינה מלאכותית (AI). על ידי זיהוי אוטומטי של רמת הקשב, מורים יכולים להשתמש באסטרטגיות כדי להחזיר את המיקוד של התלמידים. ניתן להשיג זאת באמצעות מקורות מידע שונים.
מקור אחד הוא לנתח את הרגשות המשתקפים על פניהם של התלמידים. בינה מלאכותית יכולה לזהות רגשות, כגון ניטרלי, גועל, הפתעה, עצב, פחד, שמחה וכעס. בנוסף, כיוון המבט של התלמידים יכול גם להצביע על רמת הקשב שלהם. מקור נוסף הוא התבוננות בתנוחת הגוף של התלמידים. באמצעות מצלמות וטכניקות למידה עמוקה, ניתן לנתח יציבה כדי לקבוע את רמת הקשב. לדוגמה, תלמידים שרועים או מניחים את ראשם על שולחנם עשויים להיות בעלי רמה נמוכה יותר של תשומת לב. שעונים חכמים המופצים לתלמידים יכולים לספק נתונים ביומטריים ואחרים, כולל מדידת דופק ומדידות אינרציאליות, שיכולים לשמש גם כאינדיקטורים לתשומת לב. על ידי שילוב מקורות מידע אלה, ניתן לאמן מערכת AI לזהות את רמת הקשב בכיתה. עם זאת, שילוב סוגי הנתונים השונים מציב אתגר הדורש יצירת ערכת נתונים מתויגת. מומחים ומחקרים קיימים מתייעצים לגבי תיוג מדויק. במאמר זה, אנו מציעים שילוב של מדידות כאלה ויצירת מערך נתונים ומסווג תשומת לב פוטנציאלי. כדי לספק משוב למורה, אנו חוקרים שיטות שונות, כגון שעונים חכמים או מחשבים ישירים. ברגע שהמורה הופך מודע לבעיות קשב, הוא יכול להתאים את גישת ההוראה שלו כדי לעורר מחדש מעורבות ולהניע את התלמידים. לסיכום, טכניקות AI יכולות לזהות באופן אוטומטי את רמת הקשב של התלמידים על ידי ניתוח רגשותיהם, כיוון מבטם, תנוחת הגוף ונתונים ביומטריים. מידע זה יכול לסייע למורים לייעל את תהליך ההוראה-למידה.

קבוצת היעד של מחקר זה היא סטודנטים לתואר ראשון ושני, ולכן קבוצת הגיל העיקרית היא בין 18 ל -25 שנים. אוכלוסייה זו נבחרה מכיוון שהם יכולים להתמודד עם מכשירים אלקטרוניים עם פחות הסחות דעת מאשר תלמידים צעירים. בסך הכל כללה הקבוצה 25 איש. קבוצת גיל זו יכולה לספק את התוצאות האמינות ביותר כדי לבחון את ההצעה.
לתוצאות רמת הקשב המוצגת למורה יש 2 חלקים. חלק א' של התוצאה מציג מידע פרטני על רמת הקשב הנוכחית של כל תלמיד. חלק ב' נועד להשיג את תשומת הלב הממוצעת של כל הכיתה ואת ההיסטוריה הזמנית שלה לאורך השיעו...

מאמר זה מציע מערכת מבוססת בינה מלאכותית כדי לזהות באופן אוטומטי אם התלמידים שמים לב לכיתה או מוסחים. מערכת זו נועדה לסייע למורים לשמור על תשומת הלב של התלמידים, לייעל את השיעורים שלהם ולהכניס שינויים באופן דינמי על מנת שהם יהיו מרתקים יותר.

The attention level of students in a classroom can be improved through the use of Artificial Intelligence (AI) techniques. By automatically identifying ...

המחקר שלנו מתמקד בבחינת ההיתכנות של שימוש בבינה מלאכותית כדי למדוד ולזהות את רמת הקשב של התלמיד במסגרת כיתתית. אנו בודקים אם אלגוריתמים ומתודולוגיות שפותחו בהתאמה אישית יכולים להעריך ביעילות את מעורבות התלמידים במהלך השיעורים. הגישות האחרונות מבוססות על בינה מלאכותית.באופן ספציפי, האלגוריתמים הלומדים הם משוכללים. סוג זה של אלגוריתם משתמש בכמויות עצומות של נתונים כדי לאמן את המודלים הפנימיים שלהם, ואז ניתן להשתמש בהם כדי לסווג תמונות, להעריך את התנוחה של אדם, או לבצע מגוון של משימות מעניינות אחרות. יש לנו שני אתגרים קריטיים עיקריים במחקר שלנו.ראשית, יש עניינים טכניים שצריך לפתור. למשל, איך להגדיר את המכשירים, איך להעריך את התנועה מהתמונה, את התנוחה ועוד שאר הפרמטרים שאנחנו לוקחים בחשבון בגישה שלנו. ויש ענף סובייקטיבי שכן לא ברור אם כל הפרטים מבטאים את רמת תשומת הלב באותו אופן.הנקודה החזקה ביותר של המערכת שלנו היא שאנו משתמשים בגישה רב-מודאלית. אנו מנתחים קלטים שונים, רגש פנים, תנוחת גוף, תנוחת ראש, נתוני מאיץ וקצב לב כדי לסווג באופן אוטומטי את רמת הקשב. בנוסף, השיטות שלנו מסתמכות במידה רבה על בינה מלאכותית, אשר על פי הדיווחים נעשה בה שימוש בהצלחה רבה בתחומי מחקר קשורים אחרים.

artificial-intelligence-based-system-for-detecting-attention-levels

Research

JoVE Journal

Engineering

הנדסה

כדי לשכפל הגדרות מעבדה, שיטות איסוף נתונים מקוונות למשימות חזותיות דורשות בקרה הדוקה על הצגת הגירוי. אנו מתארים שיטות לשימוש ביישום אינטרנט לאיסוף נתוני ביצועים בשני מבחנים של קשב חזותי.

שיטות לבדיקת קשב חזותי באינטרנט

טכניקת פסיבציה פני נוזל RT לחקור את פעילות רקומבינציה של פגמי סיליקון תפזורת מתוארת. לטכניקה כדי להצליח, שלושה שלבים קריטיים נדרשים: ניקוי (i) כימי ותחריט של סיליקון, (ii) טבילה של סיליקון ב -15% חומצה הידרופלואורית (iii) תאורה 1 דקות.

פסיבציה אור משופרת חומצה הידרופלואורית: טכניקה רגישה לגילוי פגמים הסיליקון גורף

סורק הדמית חלקיקים מגנטיים בדגימות מישוריים פותח באמצעות תדר מישוריים ערבוב טכניקת זיהוי מגנטי. תגובת מוצר intermodulation המגנטית מן המגנטיזציה הקוי nonhysteretic של החלקיקים נרשמה עם עירור שתי בתדירות. ניתן להשתמש בו כדי לצלם תמונות 2D של דגימות ביולוגיות דקות.

תדירות ערבוב סורק זיהוי מגנטי הדמית חלקיקים מגנטיים בדגימות מישורים

פרוטוקול לקבלת פרופיל כלוריד מסיסים במים באמצעות דיוק גבוהה כרסום השיטה מוצגת.

זיהוי ההתפלגות כלוריד מסיסים במים של מלט הדבקה בדרך ברמת דיוק גבוהה

פרוטוקול להעריך פתרונות המבוססים על wearables שורש כף היד (מיטות) מסחרי---מהמדף כדי להעריך מתח סטודנטים מוצע. הפרוטוקול מתבצעת בשני שלבים, מבחן אינדוקציה הלחץ ההתחלתי מבוסס המעבדה, שלב המעקב המתרחשים בכיתה בזמן שהתלמיד מבצע פעילות אקדמית.

הערכה של Wearables היד מסחרי---מהמדף כדי להעריך את הלחץ על הסטודנטים

כאן, אנו מציגים פרוטוקול לגדול LSMO חלקיקים, (Gd) בוסקו סרטים על SrTiO (001)3 (STO) מצעים יחיד-קריסטל על ידי גלי רדיו (RF)-התזה.

תדר רדיו מגנטרון התזה של GdBa2Cu3O7−אלפא/ La0.67Sr0.33המפעילים הוירטואליים ובעלי התשתית3 bilayer קוואזי סרטים על מצעים יחיד-קריסטל3 (STO) SrTiO

כאן, אנו מציגים פרוטוקול לבניית מודל מתמטי ברמת רכיב עבור מנוע מחזור משתנה.

שיטה מהירה למידול מנוע מחזור משתנה

צמתים מבוזרים רובוט לספק רצפים של גירויים אור כחול כדי לנווט את מסלולי הצמיחה של צמחי טיפוס. על ידי הפעלת phototropism טבעי, הרובוטים מדריך את הצמחים באמצעות שמאל בינארי החלטות הזכות, גדל אותם דפוסים מוגדרים מראש, כי בניגוד אינם אפשריים כאשר הרובוטים רדומים.

הקצאת חישה רובוטית וגירויים לגידול הצמח המודרך

פרוטוקול זה מספק רשימה מפורטת של שלבים שיש לבצע עבור הייצור, בקרה והערכה של ביצועי הטיפוס של רובוט רך בהשראת שממית.

ייצור, בקרה והערכת ביצועים של רובוט רך בהשראת שממית

מחקר זה מציג פרוטוקולים ניסיוניים עבור מזל"ט גילוי ריח ביו-היברידי המבוסס על אנטנות משי. הפעלת מכשיר אלקטרואנטנוגרם ניסיוני עם אנטנות משי מוצגת, בנוסף למבנה של מזל"ט ביו-היברידי המיועד לוקליזציה של מקור ריח באמצעות אלגוריתם נחשול הספירלה.

רחפן גילוי ריח ביו-היברידי מבוסס אלקטרואנטנוגרפיה באמצעות אנטנות Silkmoth עבור לוקליזציה של מקור ריח

חקור מערכת בינה מלאכותית לאיתור רמות קשב של תלמידים בכיתה בזמן אמת. השיטה משתמשת באלגוריתמים מותאמים אישית לניתוח תנוחת גוף, הבעות פנים ונתונים ביומטריים כדי לסייע למורים לשפר מעורבות ולהתאים שיטות הוראה דינמית.

מערכת מבוססת בינה מלאכותית לאיתור רמות קשב אצל תלמידים

גלה סרטונים נוספים