הערכת מעורבות התנהגותית בכיתות האוניברסיטה באמצעות זיהוי אובייקטים מבוסס למידה עמוקה באמצעות וידאו

סיכום

מחקר זה מעריך את המעורבות ההתנהגותית של התלמידים על ידי זיהוי התנהגויותיהם בסרטוני כיתה באוניברסיטה באמצעות אלגוריתם למידה עמוקה. זוהו שבע התנהגויות שמקושרות באופן חיובי למעורבות בלמידה, ומודל ניקוד משמש להערכת המעורבות הכוללת של תלמידים והכיתה.

תקציר

מחקר זה שואף להעריך את מעורבות הלמידה של הסטודנטים בכיתות האוניברסיטה באמצעות זיהוי אובייקטים וידאו מבוסס למידה עמוקה. לשם כך, באמצעות ניתוח קורלציה, המחקר זיהה תחילה שבעה התנהגויות בכיתה המציגות מתאם חיובי מאוד עם מעורבות למידה כמדדים למדידת מעורבות הלמידה של התלמידים; לאחר מכן אסף 30 סרטונים מסונכרנים של הוראה אמיתית בכיתה מ-6 כיתות מאוניברסיטת שאנדונג למדעים וטכנולוגיה (SDUST) וחילק אותם לסט הדרכה וסט מבחן. לאחר ששבעת ההתנהגויות סומנו ידנית בנתוני האימון, אלגוריתם למידת מכונה אומן באופן מפוקח על קבוצה זו. לאחר האימון, המודל יצר הערות ראשוניות לנתונים שנותרו ללא תוויג. כדי להשיג זיהוי התנהגותי בכיתה מדויק ויעיל יותר, המחקר בחר שני אלגוריתמים מייצגים, Faster R-CNN ו-YOLOv5s, לניסויים בזיהוי התנהגות. בהתבסס על השוואת ביצועי הגילוי שלהם מבחינת דיוק ועלות זמן, נבחרו YOLOv5s לגילוי התנהגות בכיתה במחקר זה. לבסוף, מחקר זה השתמש בשיטת קבוצת המיקוד כדי להקצות ציונים לכל התנהגות ולפתח מודל ניקוד למעורבות למידה בשלוש רמות. בהתבסס על נתוני התנהגות נמדדים אוטומטית, המודל מאפשר הערכה אוטומטית בזמן אמת של מעורבות בלמידה הן ברמת הפרט והן ברמת הכיתה.

מבוא

מעורבות למידה, המתייחס להשתתפות, ריכוז ומאמצי התלמידים בלמידה, מורכבת ממעורבות התנהגותית, מעורבות רגשית ומעורבות קוגניטיבית¹. מעורבות הלמידה של התלמידים חושפת את מצב הלמידה שלהם ועוזרת למורים להתאים את אסטרטגיות ההוראה². עם זאת, מעורבות בלמידה בכיתה מוערכת בעיקר על ידי דיווחים עצמיים של התלמידים ותצפיות מורים³. היחס הגבוה בין מורים לתלמידים באוניברסיטאות בסין גורם לכך שמורים דורשים הרבה זמן ומאמץ להשתמש בשיטות ידניות מסורתיות להערכת מעורבות למידה.

בשנים האחרונות, עם העלייה בפופולריות של כיתות הקלטה ושידור חכמות בסין, מדידה אוטומטית של מעורבות למידה בהתבסס על סרטוני כיתה הפכה לאפשרית⁴. מנקודת מבט של הוראה בכיתה עם טכנולוגיה חכמה משודרגת, מחקר זה יישם שיטות למידה עמוקה לזיהוי התנהגויות סטודנטים בסרטוני כיתה באוניברסיטה והציע מודל ניקוד למדידה אוטומטית של מעורבות התנהגותית של התלמידים.

סקירה קצרה של מחקרי מעורבות התנהגותית
ישנם שלושה רמות עיקריות של מעורבות התנהגותית: (1) ברמת בית הספר, זה מתייחס להתלהבות של התלמידים להשתתף בפעילויות חוץ-לימודיות⁵. (2) ברמת הכיתה, זה כולל התנהגויות חיוביות של תלמידים בכיתה, כגון ציות להוראות הכיתה, והתנהגויות הרסניות, כמו הברחה מהשיעור או דיבור בכיתה^ו'. (3) ברמת תהליך הלמידה, המונח מתייחס להשתתפות ולהתנהגויות התלמידים במשימות למידה, כגון שאלת שאלות והשלמת שיעורי בית⁷. כיום, שיטות להערכת מעורבות התנהגותית ניתנות לסיווג כללי לשלוש קטגוריות: ידניות, חצי-אוטומטיות ואוטומטיות⁸.

שיטות ידניות, כולל דיווח עצמי, ראיונות, תצפית מורים ושיטות הערכה מסורתיות נוספות, הן עתירות עבודה וקשה להבטיח אובייקטיביות ודיוק. ניתוח לוגים הוא שיטת הערכה חצי-אוטומטית מייצגת שמנתחת בעיקר נתוני יומן הלמידה של התלמידים שנאספו מפלטפורמות למידה, כולל מדדים כמו תדירות התחברות, משך זמן אונליין ודיוק התשובות. שיטה זו יכולה להעריך את מעורבות הלמידה של התלמידים באופן אובייקטיבי יותר; עם זאת, הנפח הגדול והמורכבות של הנתונים מציבים אתגרים לעיבוד עתידי⁴. השיטה האוטומטית מבוססת על ראיית מחשב, תוך שימוש במכשירים חכמים, כגון פלטפורמות הקלטה ושידור, ללכידת הבעות פנים, תנועות, התנהגויות ורמזים חזותיים אחרים בכיתה, בעיקר להערכת התנהגות בכיתה. בהשוואה לשתי השיטות הקודמות, גישה זו מאפשרת מדידה מהירה של מעורבות התנהגותית באמצעות מחשבים ואלגוריתמים ופחות פגיעה להפרעות סובייקטיביות⁹.

סקירה קצרה של הערכת מעורבות התנהגותית המבוססת על זיהוי עצמים
עם עליית הלמידה העמוקה, טכניקות זיהוי עצמים מיושמות יותר ויותר בניתוח מעורבות בלמידה. אלגוריתמים לזיהוי עצמים מבצעים סיווג ולוקליזציה של אובייקטים בתמונות המבוססות על רשתות עצביות קונבולוציוניות. בכיתות חכמות המצוידות במערכות הקלטת וידאו, אלגוריתמים כאלה יכולים לזהות מידע חזותי הקשור ליציבות, מחוות והבעות פנים של התלמידים מסרטוני כיתה, ובכך לאפשר זיהוי אוטומטי של התנהגויות התלמידים ולהעריך את מעורבותם ההתנהגותית. כתוצאה מכך, מצב הלמידה בכיתה המשתקף בהתנהגויות הלא-מילוליות של התלמידים יכול להיות מפורש ביעילות⁹.

מגוון ציוד ואלגוריתמים שימשו לאיסוף וזיהוי התנהגויות לא-מילוליות מרובות של תלמידים מסרטונים. רחמן ואח' ¹⁰ וזלטלג' וקושיר¹¹ השתמשו בחיישני Kinect לאיסוף קו הראייה של התלמידים, מידע פנים, תווי יציבה גופניים ועוד, וניתחו את רמת הקשב שלהם באמצעות אלגוריתמים של למידת מכונה. ווייטהיל ואח^' השתמשו במצלמת רשת של אייפד כדי להקליט את הבעות הפנים של התלמידים ולאמן מודל זיהוי, מה שהוכיח שטכניקת למידת המכונה שווה לתצפית אנושית בדיוק בהערכת מעורבות בלמידה. סוקומארן ומנוהארן¹² זיהו את מעורבות התלמידים באמצעות אותות EGG. אשווין וגודטי¹³ השתמשו ברשתות עצביות קונבולוציונליות לניתוח סרטונים בכיתה במעבדה, במטרה לזהות התנהגויות לא מילוליות, כגון הבעות פנים, תנוחות ידיים ותנוחות גוף, כדי להעריך מעורבות בלמידה. באי ^{ואחרים.14} השתמשו ב-Faster R-CNN עם מיזוג תכונות מרובה כדי להשיג זיהוי התנהגויות בכיתה, כגון לימוד, שינה וראש למטה, באמצעות למידת העברה. דנג ואח^' ניתחו סרטוני כיתה מרחוק על ידי שילוב טכניקות למידה עמוקה מהירה יותר של R-CNN והציעו שיטה להשגת זיהוי התנהגותי ומדידת מעורבות בכיתה בהתבסס על יציבות הראש, היד והגוף של התלמידים.

מחקרים מוקדמים נערכו בעיקר במעבדה, רבים מהם התמקדו באדם אחד בתרחיש אחד 10,11,12,13, בעוד שמחקרים עדכניים יותר בחנו יותר ויותר סביבות כיתה אמיתיות 9,14,15,16,17,18,19 . בנוסף, טווח ההתנהגויות שנבדקו הפך למגוון יותר ויותר. לדוגמה, באי ואח' ¹⁴ ואויאנג ואח' ¹⁵ ניתחו סרטונים בכיתה שבהם זוהו רק שתי התנהגויות — ראש למעלה וראש למטה. דנג ואח^{' חקרו} סרטוני כיתה בבית ספר יסודי והרחיבו את קטגוריות ההתנהגות שזוהו מתנועות ראש לכלול תנועות ידיים וגוף. ג'אנג ועמיתיו¹⁶ אספו חמישה סוגי התנהגויות של תלמידים, כולל מבט למעלה, מבט מטה, שינה, הסתכלות סביב ופיהוק.

עם זאת, מאחר שהנתונים נאספו מכיתות בית ספר יסודי, שבהן התלמידים בדרך כלל יושבים בעמדות קבועות, טווח ההתנהגויות הנראות נותר מוגבל יחסית. לכן, מחקרים מאוחרים יותר התמקדו יותר ויותר בכיתות האוניברסיטאות. רבות מהכיתות באוניברסיטה גדולות, עם כ-100 סטודנטים שיושבים לעיתים באקראי, מה שמקשה על זיהוי התנהגות הסטודנטים. יתרה מזאת, בכיתה אמיתית באוניברסיטה, התלמידים מפגינים גיוון התנהגותי ואינטראקטיביות רבה יותר, כולל אינטראקציות עם מורים, חברי כיתה, לוחות וספרי לימוד. יאן ואח^' הציעו שיטת זיהוי יציבה מבוססת למידה עמוקה, BetaPose, שנועדה לשפר את דיוק זיהוי היציבה בסצנות כיתות צפופות. Tan ^{ואחרים.18} שילבו מודול קשב קואורדינטות (CA) ברשת YOLOv9, ומודל CA-YOLOv9 שנוצר יושם לזיהוי שבע התנהגויות כיתתיות בסביבות כיתה אוניברסיטאיות מורכבות עם אוכלוסיות סטודנטים גדולות. Wang ואחרים ^הציעו רשת דו-כיוונית להרחבת תכונות (BATNet) לזיהוי התנהגויות תלמידים בכיתות אינטליגנטיות, במיוחד עבור מטרות קטנות וחסומות.

עם פיתוח האלגוריתמים, מהירות ודיוק זיהוי ההתנהגות השתפרו משמעותית; עם זאת, מחקרים עדכניים התעלמו מההסבר האם יש קשר בין התנהגויות שזוהו בכיתה לבין מעורבות התלמידים, והשאירו שאלות כמו האם ניתן להשתמש בהתנהגויות מסוימות כפרמטרים למדידת מעורבות התנהגותית, ואילו התנהגויות יכולות לשקף באופן יעיל מעורבות ללמידה, ללא מענה. בנוסף, יש למצוא דרך להראות מעורבות התנהגותית של התלמידים במפורש. לכן, מחקר זה זיהה התנהגויות בכיתה הקשורות מאוד למעורבות הלמידה של התלמידים באמצעות ניתוח קורלציה; בינתיים, פותחה מערכת ניקוד לבניית מודל הערכה של מעורבות התנהגותית. כתוצאה מכך, ניתן להשיג מדידה אוטומטית של מעורבות התנהגותית הן עבור תלמידים בודדים והן עבור הכיתה כולה.

פרוטוקול

כל הסרטונים הושגו ושימשו בהתאם לפרקטיקות אתיות עכשוויות של מחקר אנושי כפי שנקבע על ידי אוניברסיטת שאנדונג למדע וטכנולוגיה. האישור התקבל לשימוש בנתונים.

ראשית, בוצע ניתוח קורלציה לזיהוי התנהגויות תלמידים שיכולות לשמש כאינדיקטורים למעורבות התנהגותית. לאחר שהמאגר נקבע באמצעות חילוץ מסגרות וחולק לקבוצת אימון ומערך בדיקות, הופעלו במערכת האימון שני אלגוריתמים מייצגים לזיהוי אובייקטים והושוו מבחינת דיוק ויעילות. לבסוף, האלגוריתם עם ביצועים טובים יותר (YOLO-v5s) נבחר לפעול על מערכת הבדיקה לביצוע זיהוי התנהגות. איור 1 מציג את תרשים הזרימה של תהליך זיהוי וזיהוי התנהגויות התלמידים.

איור 1. תרשים זרימה של זיהוי וזיהוי התנהגויות התלמידים. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

זיהוי מדדים
לפני ביצוע ניסויי זיהוי עצמים, היה צורך לזהות התנהגויות לא מילוליות שמצביעות על מעורבות התנהגותית של התלמידים. עד כה, מחקרים על מעורבות התנהגותית המבוססת על זיהוי עצמים השיגו הצלחה בזיהוי מגוון התנהגויות לא-מילוליות, כולל קו ראייה, מידע על פנים ויציבת גוף 9,10,11,12,13,14. עם זאת, עדיין לא נדון האם התנהגויות מסוימות מוצדקות כמדדים למעורבות ההתנהגותית של התלמידים. לכן, במחקר זה, נעשה שימוש בניתוח קורלציה בין התנהגויות התלמידים לרמת המעורבות ההתנהגותית שלהם לזיהוי התנהגויות המעידות על מעורבות התנהגותית.

(1) מבחן מעורבות התנהגותית
מחקר זה בחר 122 סטודנטים לתואר ראשון מארבע מחזורים טבעיים של סטודנטים שאינם אנגלית ב-SDUST-Jinan כמדגם למחקר קורלציוני. ראשית, נעשה שימוש בסולמות דיווח עצמי לאיסוף נתוני מעורבות התנהגותית מ-122 תלמידים, במטרה להבין את מצב המעורבות ההתנהגותית שלהם מנקודת מבט של חוויה פנימית. בהינתן שנתוני הווידאו בכיתה למחקר זה נלקחו מכיתות "אנגלית אקדמית", אומץ כלי ההערכה הרב-ממדי למעורבות בלמידה בכיתות אנגלית במכללות, שפותח על ידי רן צ'ינגמיי²⁰ . כלי זה מיועד במיוחד לסביבת הוראת שפות זרות בסינית ומשתמש באותו סיווג קלאסי של מעורבות בלמידה כמו במחקר זה, הכולל שלושה ממדים: מעורבות התנהגותית, רגשית וקוגניטיבית. ביניהם, כלי המעורבות ההתנהגותית מורכב מתשעה פריטים, המתאימים לאינטראקציה בין מורה לתלמיד (למשל, "אני עונה באופן פעיל על שאלות שהמורה שואל בכיתה באנגלית"), מאמץ אישי (למשל, "אני שוקל בקפידה את הקשיים שנתקלים בהם במהלך לימודי האנגלית"), אינטראקציה עם חברים (למשל, "אני משתף פעולה עם תלמידים אחרים להשלמת משימות לימוד בכיתת אנגלית"), ועוד. כל פריט מוצג בפורמט של Likert בסולם 5 נקודות, עם אפשרויות תגובה של "כמעט אף פעם, לעיתים קרובות, תמיד", עם ציון בין 1 ל-5, ודורש מהתלמידים לבחור את האפשרות שהכי מתאימה לחוויית הלמידה שלהם. סטודנטים שקיבלו 15 נקודות או פחות סווגו כסטודנטים עם מעורבות נמוכה, כסטודנטים עם מעורבות בינונית בין 16 ל-30 נקודות, וכאלה שקיבלו 31-45 נקודות כסטודנטים בעלי מעורבות גבוהה. לבסוף, נאספו 120 סולמות תקפים, כאשר 17 תלמידים בקטגוריית מעורבות נמוכה, 45 בקטגוריית מעורבות בינונית, ו-58 בקטגוריית מעורבות גבוהה.

(2) זיהוי התנהגות
בינתיים, נאספו ארבעה סרטונים מוקלטים בסך כולל של 50 דקות משיעורי "אנגלית אקדמית" שהשתתפו במלואם בארבע השיעורים הללו. עם פריים שצויר כל 15 שניות, הוצאו לבסוף 200 תמונות לתצפית. בהתבסס על צפיות חוזרות בדוגמאות הווידאו על ידי שלושה תלמידים, המחקר זיהה בתחילה 12 סוגי התנהגויות של תלמידים בכיתה: הסתכלות סביב, שימוש בטלפון נייד, דיון, שיטוט, הסתובבות, אכילה או שתייה, רישום הערות או קריאה, הקשבה קפדנית, עמידה (כדי לענות על שאלה), פיהוק, שינה ושימוש במחשב. דוגמאות ל-12 ההתנהגויות מוצגות באיור 2.

איור 2. דוגמאות ל-12 התנהגויות. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

כל סוג לווה בתיאורים מפורטים של מאפיינים ויזואליים והקשר מרחבי-זמן, ויצר את נוהל הפעולה הסטנדרטי להערות התנהגות בכיתה, שהבטיח עקביות מושגית בין ההערות. טבלה 1 מציגה את 12 הקטגוריות של התנהגות התלמידים ואת התיאורים של כל התנהגות.

הסתכלות סביב כללה סיבוב משמעותי של הראש שמאלה, ימינה ואחורה. תלמידים נחשבו לשיחה אם הם סובבו את ראשם ופתחו את הפה. בסיטואציה בכיתה, הקשבה קפדנית הייתה קשורה להסתכלות ישירה על הלוח או על המורה שעומד מולו; כשהמבט הופנה למקום אחר, סביר מאוד שהתלמיד נודד. כאשר התלמיד הראה יציבה עם ראש למטה, והיה חפץ כמו ספר או מחברת, התנהגות זו יכולה להיות מזוהה ככתיבה של הערות או קריאת ספר. כאשר ההתנהגות כללה עמידה והתלמיד עמד במקומו עם פיו פתוח, הוא/היא נחשב לעונה על שאלה בעמידה; אם התלמיד לא היה בכיסאו, הוא נחשב כמי שמסתובב, מה שעשוי להעיד שהסטודנט איחר לשיעור או עזב את הכיתה, וכדומה. כאשר תלמיד הניח את ראשו על השולחן, זוהה כמי שישן. כאשר תלמיד החזיק אוכל או שתייה בידיו, ההתנהגות זוהתה כאכילה או שתייה. פה פתוח לרווחה או תנוחת מתיחה של הגוף סימנו שהתלמיד מפהק.

קטגוריית התנהגות	תיאור התנהגות
מסתכל סביב	תנועה ברורה של הראש ימינה, שמאלה או אחורה
שימוש בטלפון נייד	לגעת בטלפון נייד עם הידיים
דיון	פה פתוח, מלווה בתנועת ראש
נדודים	מבט מזוגג למקומות לא רלוונטיים
מסביב	המעבר מהמושב
אכילה או שתייה	הפה פתוח ובמגע עם אוכל או מים
רישום הערות או קריאה	לרשום הערות או להסתכל על ספר
הקשבה היטב	מביט בלוח השחור או במורה
לעמוד (לענות על שאלות)	עומד במושב עם פה פתוח
פיהוק	פה פתוח או מתיחות גוף
שינה	ראש על השולחן
שימוש במחשב	מחשב פתוח על השולחן

טבלה 1: קטגוריות ותיאורים של התנהגויות התלמידים.

(3) ניתוח קורלציה
בהתבסס על הקריטריונים הנ״ל, הוזמנו 12 מורים מנוסים לצפות בסרטונים של 120 התלמידים ולתעד את סוגי ההתנהגות והתדירות שלהם. ההתנהגויות זוהו לפי טבלה 1. המורים חולקו לארבע קבוצות, עם שלושה מורים בכל קבוצה. כל קבוצה הייתה אחראית להקליט 30 תלמידים, כאשר כל אחד משלושת המורים תיעד באופן עצמאי התנהגות של 30 תלמידים. האלפא של קרונבך (המכונה α) הוא אינדיקטור למדידת העקביות הפנימית של סולם או שאלון. טווח הערכים של האלפא של קרונבך הוא 0 ל-1, ו-0.8 α ≥ בדרך כלל מתפרש כעקביות פנימית טובה²¹. אם הייתה רמת עקביות גבוהה (α > 0.8, כלומר רמת עקביות גבוהה) בתדירות סוג התנהגות מסוים בין שלושת המורים, תדירות ההתנהגות נרשמה כממוצע של שלוש התדרים. בהמשך, כאשר הנתונים מייצגים מצד אחד את תדירות ההתנהגויות השונות של כל תלמיד, ומצד שני את רמות המעורבות ההתנהגותית שלהם, נערך ניתוח מתאם בין שני הגורמים. התוצאה מוצגת בטבלה 2.

התנהגויות		מעורבות התנהגותית
אכילה או שתייה	קורלציה של פירסון	.319**
	סיג (דו-זנב)	0.004
	N	120
פיהוק	קורלציה של פירסון	-.335**
	סיג (דו-זנב)	0
	N	120
דיון	קורלציה של פירסון	.546**
	סיג (דו-זנב)	0
	N	120
מסביב	קורלציה של פירסון	-.774**
	סיג (דו-זנב)	0
	N	120
נדודים	קורלציה של פירסון	.293**
	סיג (דו-זנב)	0.008
	N	120
מסתכל סביב	קורלציה של פירסון	-.834**
	סיג (דו-זנב)	0
	N	120
קריאה או רישום הערות	קורלציה של פירסון	.912**
	סיג (דו-זנב)	0
	N	120
הקשבה היטב	קורלציה של פירסון	.881**
	סיג (דו-זנב)	0
	N	120
עמידה	קורלציה של פירסון	.330**
(כדי לענות על שאלה)	סיג (דו-זנב)	0
	N	120
שינה	קורלציה של פירסון	-.411**
	סיג (דו-זנב)	0
	N	120
שימוש	קורלציה של פירסון	.591**
טלפון נייד	סיג (דו-זנב)	0
	N	120
שימוש במחשב	קורלציה של פירסון	.362**
	סיג (דו-זנב)	0.001
	N	120

טבלה 2: תוצאות ניתוח קורלציה.

בניתוח קורלציה, r הוא מקדם המתאמ, המתייחס לדרגת המתאם הליניארית בין שני משתנים, הנעה בין −1 ל-1. בהתאם למידת הקשר, ניתן לסווג את הקורלציה לסוגים הבאים:
מתאם גבוה (│r│ ≥ 0.70)
מתאם בינוני (0.40 ≤ │r│ ≤ 0.70)
קורלציה נמוכה (│r│ ≤ 0.40)

בהתאם לכיוון הקשר, ניתן לסווג אותו לסוגים הבאים:
קורלציה חיובית (r > 0)
קורלציה שלילית (r < 0)
אין מתאם (r = 0)

מטבלה 1 ניתן לראות שבע התנהגויות, כולל הסתכלות סביב (r = −0.834**, p < 0.05), שימוש בטלפון סלולרי (r = 0.591**, p < 0.05), דיון (r = 0.546, p < 0.05), סיבוב (r = −0.774**, p < 0.05), רישום הערות או קריאה (r = 0.912**, p < 0.05), הקשבה קפדנית (r = −0.881**, p < 0.05), ושינה (r = −0.411**, p < 0.05), היו בעלי מתאם גבוה או בינוני עם מעורבות התנהגותית, בעוד שהתנהגויות כמו אכילה או שתייה (r = 0.319**, p = 0.04), עמידה (לענות על שאלה) (r = 0.330**, p = 0.00), פיהוק (r = −0.335**, p < 0.05), שיטוט (r = 0.293, p > 0.05), ושימוש במחשב (r = 0.362, p < 0.05) הציגו מתאם נמוך או ללא קשר עם מעורבות התנהגותית. בהתבסס על ניתוח המתאמים, מחקר זה זיהה שבע התנהגויות כאינדיקטורים למעורבות בלמידה: הסתכלות סביב, שימוש בטלפון נייד, דיון, הסתובבות, רישום הערות או קריאה, הקשבה קפדנית ושינה.

הקמת מאגר הנתונים
נתוני הווידאו ששימשו במחקר זה נאספו מפלטפורמת ההקלטה הישירה של SDUST, שסיפקה סרטונים מסונכרנים של הוראה אמיתית בכיתה של הקורס "אנגלית אקדמית". נאספו עשרה סרטונים מארבע כיתות של סטודנטים שאינם סטודנטים לאנגלית, כל אחד באורך של כ-50 דקות, כדי לקבוע מאגר נתונים ניתן לאימון של התנהגות הסטודנטים בכיתה. עם פריים שצויר כל 15 שניות, הופקו בסופו של דבר 2,000 תמונות ברזולוציה של 1,920 ×-1,080.

פיצול מערך הנתונים
הניסוי חילק את מאגר הנתונים של התנהגות התלמידים לשני חלקים עצמאיים לחלוטין: סט אימון ומערך בדיקות, כפי שמוצג בטבלה 3, ללא תמונות משותפות. מאגר הנתונים כלל את כל שבעת התנהגויות התלמידים. סט האימון וסט הבדיקה שימשו לפרמטרי מודל אימון ולהערכת דיוק, בהתאמה. פרמטרי האימון נקבעו כפי שמוצג בטבלה 4.

מערך נתונים	מספר התמונות
סך הכל	2830
סט אימונים	2111
סט מבחן	719

טבלה 3: פיצול מאגר נתוני התנהגות תלמידים.

פרמטר	ערך
קצב למידה	0.01
תנע	0.937
ירידה במשקל	0.0005
אפוק	100
גודל אצווה	16

טבלה 4: קביעת הפרמטרים הניסיוניים.

כדי למנוע דליפת נתונים הנגרמת מהופעת אותו תלמיד בתת-קבוצות שונות ולשמירה על הרצף הזמני הטבעי של ההתנהגויות, אומצה שיטת "פיצול זמני שכבתית".

ניתוק נושא: מערך הנתונים חולק לפי מזהי סטודנטים ייחודיים, כדי להבטיח שהתלמידים במערכי ההכשרה, האימות והבדיקה יהיו סותרים זה את זה.

חלוקה זמנית: הסרטונים סודרו לפי סדר כרונולוגי. 70% הראשונים של הקטעים הזמניים שימשו לאימון, 15% הנותרים לאימות, וה-15% האחרונים לבדיקה. שיטה זו סימלה טוב יותר הכללה זמנית בעולם האמיתי לעומת פיצול אקראי.

איזון מעמדים: בקטגוריות מיוצגות פחות כמו "ישן" ו"שימוש בטלפון סלולרי", יושם דגימה יתר מתונה במערך האימון כדי להבטיח שהמודל ילמד תכונות מכל הקטגוריות.

הערות של מאגר הנתונים של אימון
כלי הערות בקוד פתוח שימש לסימון ידני של נתוני האימון. הכלי שימש להוספת קופסאות קשורות. זרימת העבודה הספציפית הייתה כדלקמן: (1) פריימים מרכזיים הופקו בקצב קבוע (1 פריים לשנייה) מסרטוני אבטחה שמכסים בתי ספר שונים, משבצות זמן וסוגי קורסים שונים, ואחריהם עיבוד אנונימיזציה כמו טשטוש פנים; (2) לאחר SOP של ההערות, המערכים השתמשו בקופסאות מלבניות כדי להגדיר במדויק את התלמיד המבצע התנהגות מסוימת והקצו את תווית הקטגוריה המתאימה; (3) הערות יוצאו כקבצי XML בפורמט PASCAL VOC.

כדי להבטיח את איכות התווית, במיוחד כדי למנוע טעויות בהבחנה בין התנהגויות עמומות (למשל, דיון מול נדודי), יושם מנגנון שיתופי של "תיאור-בוררות תלת-שלבים":

הערה ראשונית: כל מסגרת מפתח סומנה באופן עצמאי על ידי שלושה מערינים מיומנים. כל תווית מורכבת מתווית קטגוריה ותיבת הגבלה.

אימות עקביות: חישוב חיתוך על איחוד ועקביות קטגוריות בין ההערות. תיבות הגבול, שהן תוצאות של הערות ראשוניות עם IoU > 0.8 ותוויות קטגוריות זהות, נחשבו ל"הערות עקביות". תיבות גבולות עם תוויות IoU ≤ 0.8 או לא זהות נחשבו ל"הערות לא עקביות".

בוררות מומחה: לגבי הערות לא עקביות (למשל, מקרים עמומים כמו "הסתכלות סביב" לעומת "דיון"), פאנל מומחים עם ניסיון בהוראה קיבל את ההחלטה הסופית בהתבסס על קטע הווידאו, ההקשר ההתנהגותי והידע הקודם הפדגוגי הקודם. ההחלטה הסופית מתבצעת על ידי אימות דיוק התווית באמצעות בדיקת קטע וידאו המקור של פריים המפתח.

ההערה גילתה כי התנהגות התלמידים התאפיינה במטרות מרובות, אינטנסיביות וקטנות, כפי שמוצג באיור 3.

איור 3. דוגמה להערות תמונות בכיתה. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

התלמידים בכיתה הראו התנהגויות כמו הקשבה בקפידה, שימוש בטלפון נייד, קריאה או כתיבת הערות לעיתים קרובות, בעוד שהתדירות של הסתובבות, שיטוטים וכו' הייתה נמוכה יחסית. איור 4 מציג את התפלגות ההתנהגויות בכיתה במאגר הנתונים של ההדרכה.

איור 4. התפלגות ההתנהגויות במאגר הנתונים של האימון. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

זיהוי התנהגויות התלמידים
מסגרות זיהוי אובייקטים מבוססות למידה עמוקה חולקו בעיקר לשתי קטגוריות²²: שיטות דו-שלביות, המיוצגות על ידי סדרת Faster R-CNN, ושיטות חד-שלביות, המיוצגות על ידי YOLO. בקטגוריה הראשונה, שיטות הזיהוי הדו-שלביות יצרו תחילה הצעות אזוריות באמצעות רשת הצעת אזור (RPN) לפני ביצוע חישובי הסתברות מפורטים של המחלקה ורגרסיית תיבת הגבול. בקטגוריה השנייה, שיטות חד-שלביות ייעלו את תהליך הגילוי על ידי חיזוי בו-זמנית של מחלקות אובייקטים ותיבות גבולות בשלב אחד. בעוד ששיטות דו-שלביות הופיעו מוקדם יותר בהתפתחות התחום, גישות חד-שלביות זכו לפופולריות בזכות הארכיטקטורה הפשוטה והיעילות החישובית שלהן. כדי להשיג זיהוי התנהגותי בכיתה מדויק ויעיל יותר, המחקר בחר אלגוריתמים מייצגים משתי הקטגוריות, כלומר Faster R-CNN^23,24 ו-YOLO-v5 ^25,26, לביצוע ניסויי זיהוי התנהגות בכיתה, והשווה את תוצאות הזיהוי של שני האלגוריתמים לפני שהחליט סופית על האלגוריתם לזיהוי התנהגות במחקר זה.

כדי להעריך ביעילות את תוצאות הניסוי, הושם הדגש על דיוק הגילוי הכולל לעומת עלות הזמן של כל מודל אלגוריתמי. דיוק ממוצע ממוצע (mAP) וזמן אימון (h) שימשו למדידת שני המודלים.

שבע קטגוריות של התנהגויות זוהו לזיהוי באמצעות שתי השיטות, וערכי דיוק הגילוי הממוצעים (AP) נרשמו בטבלה 5. ביניהם, YOLO-v5s עקפו את Faster R-CNN בזיהוי שלוש קטגוריות של פעולות: הסתובבות, הקשבה קפדנית להרצאות ושימוש בטלפונים סלולריים, עם ערכי AP של 100%, 62.7% ו-31.8%, בהתאמה.

מודל הרשת	דיון	מסביב	הקשבה קפדנית	מסתכלים סביב	שינה	כתיבת הערות או קריאה	שימוש בטלפון נייד
R-CNN מהיר יותר	32.6	99.5	45.4	9.3	22	52.6	26.8
YOLO-v5s	17.8	100	62.7	3.8	19	51	31.8

טבלה 5: הדיוק הממוצע של שני האלגוריתמים עבור מחלקה אחת.

זמן האימון ודיוק הגילוי הממוצע של שתי רשתות הגילוי הקלאסיות בקבוצת הבדיקה ב-IoU של 0.5 מוצגים בטבלה 6. למרות שרשת Faster R-CNN הייתה מדויקת יותר, זמן הריצה שלה היה יחסית ארוך. בהשוואה, ל-YOLO-v5 היה זמן ריצה קצר ב-30% עם ירידה של 0.3% בלבד בדיוק, מה שמראה שיפור גדול יותר ביעילות. בהתחשב בצורך בזיהוי בזמן אמת של התנהגות תלמידים בכיתה במחקר זה, ציפו שזמן ההכשרה ברשת יהיה קצר ככל האפשר. בהתחשב הן בדיוק הגילוי והן בעלות הזמן של המודלים שאומנו על סט האימון, מאמר זה קבע כי YOLO-v5s מתאים יותר לזיהוי התנהגות תלמידים בכיתה.

מודל הרשת	h	mAP@0.5 (%)
R-CNN מהיר יותר	2.88	41.17
YOLO-v5s	2.016	40.87

טבלה 6: השוואת ביצועי גילוי.

לכן, נבחר YOLO-v5s לבצע זיהוי התנהגות בכיתה במחקר זה. תוצאות הגילוי שהופקו על ידי YOLO-v5 מוצגות באיור 5, המראות זיהוי התנהגות מרובה מטרות רציף יחד עם תוויות מתאימות.

איור 5. דוגמאות לתוצאות גילוי של קבוצת הבדיקות. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

(1) הגדלת נתונים ועיבוד מוקדם
כדי לשפר את עמידות המודלים וההכללה, שימשה במהלך ההדרכה אסטרטגיית הגדלת נתונים מורכבת, שכללה טרנספורמציות אפיניות אקראיות, רעידות צבע והסתרה אקראית. כל התמונות שונו בגודל אחיד ל-640 × 640 פיקסלים.

(2) אסטרטגיית אימון
תהליך ההכשרה חולק לשלושה שלבים:
שלב עמוד השדרה הקפוא (Epochs 1-100): רשת עמוד השדרה הייתה קפואה, ורק ראש הגילוי אומן, תוך שימוש בקצב למידה נמוך לחימום.
שלב כוונון מלא לרשת (Epochs 101-250): כל שכבות הרשת שוחררו מהקפאה. מתזמן אנילינג קוסינוס התאים את קצב הלמידה.
שלב שיפור (תקופות 251-300): יושם ממוצע נע מעריכי לייצוב האימון, ועוצמת ההגברת הנתונים הופחתה לצורך שיפור המודלים.

כדי להתמודד עם חוסר איזון מחלקה, הוחלו משקלים ספציפיים למחלקה, הפרופורציונליים הפוך לתדריותיהן בסט האימונים, על פונקציית האובדן.

(3) עיבוד לאחר ואופטימיזציה זמנית
כדי לשמור על עקביות זמנית בהתנהגויות כיתה, הוחל מסנן עקביות זמן לאחר הסקת המודל. בפרט, עבור מטרה שזוהתה ברצף וידאו, היה צורך לזהות את קטגוריית ההתנהגות שלה לפחות בשלושה פריימים רצופים כדי לאשר אותה, ובכך סינון חיוביים שגויים חולפים.

הקמת שיטת ניקוד מעורבות התנהגותית
מחקר זה השתמש בשיטת קבוצת המיקוד כדי להקצות ציונים לכל התנהגות. עשרים מורים באוניברסיטה מהשורה הראשונה הוזמנו לדרג את מעורבות שבע קטגוריות ההתנהגות בהתבסס על ניסיונם בניהול כיתה. כל 20 המורים לימדו כבר יותר מ-10 שנים ולימדו מגוון רחב של קורסים במגוון תחומים. ציוני הקרב נעו בין 0 ל-3, כאשר 0-1 מציין מעורבות נמוכה, 1-2 מצביע על מעורבות בינונית, ו-2-3 מצביע על מעורבות גבוהה. אם הייתה רמת עקביות גבוהה (α > 0.8) בדירוגים של מספר מעריכים לסוג התנהגות מסוים, המעורבות בהתנהגות זו נמדדה על ידי ממוצע דירוגי המורים הבודדים. הדירוגים הסופיים לכל סוג התנהגות מוצגים בטבלה 7.

סוג התנהגות	מסתכלים סביב	שימוש בטלפון סלולרי	דיונים	מסתובב	רישום הערות או קריאה	הקשבה בקפידה	ישן
ציון מעורבות	0.9	1.2	1.9	0.6	2.7	2.8	0.2

טבלה 7: דירוגי התנהגות.

הנוסחה למעורבות התנהגותית של כל תלמיד היא

E_Si= מעורבות התנהגותית של התלמיד, S_j = ציון התנהגות, f_j = תדירות ההתנהגות j.

בהנחה שמספר ההתנהגויות שזוהו אצל תלמיד בכיתה היה 100, כולל 4 "דיון", 68 "הקשבה קשבה", 25 "קריאה/רישום הערות" ו-3 "הסתכלות סביב", ציון המעורבות האישית הכולל של התלמיד היה (1.9 × 4 + 2.8 × 68 + 2.7 × 25 + 0.9 × 3) / 100 = 2.68. בהתייחסות להרצאה כולה כמדד, המעורבות ההתנהגותית חולקה לארבע רמות לפי חלוקה שווה-אינטרוולים בסולם 0-3: ציון מתחת ל-0.75 הוגדר כ"לא מעורב", 0.76-1.5 כ"מעורב מעט", 1.6-2.25 כ"מעורב", ו-2.26-3 כ"מעורב מאוד"; לכן, התלמיד הוערך כ"מעורב מאוד" בכיתה.

המעורבות ההתנהגותית של כל הכיתה התייחסה לציון הממוצע של כל התלמידים. הנוסחה למעורבות התנהגותית של המחלקה היא:

E_c = מעורבות התנהגותית של הכיתה, E_S = מעורבות התנהגותית של תלמיד מסוים, n=מספר תלמידים

תוצאות

על ידי זיהוי התנהגויות ושימוש במודל הניקוד, הושגה מדידה אוטומטית של מעורבות ההתנהגות של התלמידים. אם לוקחים קורס אחד בסרטון כדוגמה, ניתן לחשב את המעורבות ההתנהגותית בזמן אמת של כל תלמיד בהתבסס על תוצאות זיהוי התנהגותי ומודל הניקוד. איור 6 ממחיש את המעורבות ההתנהגותית של שני תלמידים בכיתה זו, ומציג את רמות המעורבות שלהם בנקודות זמן שונות. נמצא כי בממוצע, תלמיד א' הפגין רמת מעורבות גבוהה יותר מאשר תלמיד ב' לאורך כל הכיתה. שני התלמידים הראו מעו...

דיון

מחקר זה הביא לזיהוי ומדידה אוטומטית של מעורבות התנהגותית. בהשוואה למחקרים קודמים, ההתנהגויות שזוהו היו מייצגות יותר כיתות לימוד באוניברסיטה (כמו שימוש בטלפון סלולרי), והערכת המעורבות ההתנהגותית הוצגה בנתונים, מה שהפך אותה לאינטואיטיבית לראות. גישה אוטומטית זו אפשרה למורים להעריך בצורה יעילה וברורה את מעורבות התלמידים ושל הכיתה כולה, ובכך לתמוך בהוראה מותאמת אישית ולשפר את יעילות ההוראה בכיתה. לדוגמה, באיור 7 ניתן לראות ששתי הכיתות היו בתחילת הפתיחה מוצלחת שת...

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה

שם	חברה	מספר קטלוג	הערות
סרטוני כיתה			נתוני הווידאו ששימשו במחקר זה נאספים מפלטפורמת ההקלטה הישירה של אוניברסיטת שאנדונג למדע וטכנולוגיה (SDUST), שהם סרטונים מסונכרנים של הוראה אמיתית בכיתה בקורס אנגלית אקדמית. נאספו 30 סרטונים מ-6 כיתות של סטודנטים שאינם לימודי אנגלית, כ-50 דקות כל אחד, כדי להקים מאגר נתונים שניתן להכשיר של סטודנטים התנהגות כיתה.
IBM SPSS סטטיסטיקה 26	IBM		SPSS עבור Windows היא חבילת תוכנה מודולרית המשלבת פונקציות של הזנת נתונים, ארגון וניתוח. הפונקציות הבסיסיות שלו כוללות ניהול נתונים, ניתוח סטטיסטי, ניתוח תרשימים, ניהול פלט ועוד. SPSS משמש בעיקר לניתוח עקביות וניתוח קורלציה במאמר זה.
תיוג 1.8.6			תיוג הוא כלי להערות תמונה ויזואלית. הוא כתוב בפייתון ומשתמש ב-Qt לממשק הגרפי שלו. הערות נשמרות כקבצי XML בפורמט PASCAL VOC, המשמש את ImageNet. בנוסף, הוא תומך בפורמט YOLO. הוא משמש למערכי נתונים הנדרשים לרשתות זיהוי אובייקטים כמו Faster R-CNN, YOLO ו-SSD כדי להוסיף הערות לאובייקטים בתמונות.
MMDetection 2.22.0			MMDetection, 2.22.0, MMDetection הוא ארגז כלים לזיהוי אובייקטים הכולל שיטות עשירה לזיהוי אובייקטים, סגמנטציה של מופעים, ושיטות סגמנטציה פנורמית, וכן רכיבים ומודולים קשורים.