הכללת משתתפים, שלמות הנתונים ואמינות הציונים
קוהורט ראשוני של 204 סטודנטים מכל מקטעי הקורס הוזמנו להשתתף, מהביא ל-198 אנשים שנתנו את הסכמתם. ארבעה עשר מקרים הוצאו לאחר מכן בשל נשירה מהקורס במהלך חלון הפרוטוקול או קישור נתונים חסר בין רשומות התצפית, הרפלקסיה והפלטפורמה. כתוצאה מכך, המדגם האנליטי הסופי כלל 184 סטודנטים. מאפייני המשתתפים, שיעורי ההשלמה השבועיים ושלמות הנתונים הכללית מפורטים בטבלה 3.
במהלך התוכנית שנמשכה 4 שבועות, נצפו 24 מפגשי לימוד, אשר יצרו רשומת אנליטיקת-למידה מסונכרנת עבור כל משתתף. מתוך 736 דוחות רפלקטיביים צפויים, 701 הוגשו בתוך חלון הזמן של 72-h, 18 הוגשו באיחור, ו-17 היו חסרים. בסופו של דבר, 171 סטודנטים השלימו בהצלחה את כל הרפלקסיות השבועיות בזמן. נתוני אנליטיקת למידה הופקו במלואם עבור 184 המשתתפים הסופיים, לאחר סינון חשבונות של מרצים, רשומות כפולות ופעילויות שבוצעו מחוץ לחלון הזמן.
הקידוד התצפיתי נותר יציב מאוד לאורך תקופת הפרוטוקול. מהימנות בין-שופטים עבור ששת המדדים ההתנהגותיים של תצפית בכיתה הראתה ערכי Cohen's kappa הנעים בין 0.76 ל-0.84, כאשר ההסכמה הכוללת במהלך מבחני סחף (drift tests) עלתה על 86%. עבור ציוני הביטוי הרפלקסיבי, מקדמי מתאם תוך-מעמדיים (ICCs) בארבעת הממדים השתנו בין 0.82 ל-0.89. טבלה 4 מציגה את הסטטיסטיקה התיאורית ומדדי המהימנות עבור משתני המחקר העיקריים.
תצפית התנהגותית בכיתה
ההתנהגויות שנצפו בכיתה הראו שיפור הדרגתי לאורך הפרוטוקול שנמשך 4 שבועות. כפי שמוצג ב-איור 2, הקשבה למשימה, השתתפות מילולית ושיתוף פעולה עם עמיתים היו גבוהים משמעותית בשבוע 4 בהשוואה לשבועות הראשונים. באופן ספציפי, ההשתתפות המילולית עלתה מ-0.18 ± 0.09 בשבוע הראשון ל-0.24 ± 0.10 עד השבוע הרביעי (p < 0.05). שיתוף הפעולה עם עמיתים עלה באופן דומה מ-0.29 ± 0.11 ל-0.35 ± 0.12 (p = 0.006). הקשבה למשימה הראתה שיפור משמעותי מאוד, עם שינוי מ-0.71 ± 0.12 ל-0.76 ± 0.11 (p < 0.001).
לעומת זאת, סימון הערות ממוקד-משימה או שימוש במכשיר הראו עליות שבועיות שוליות בלבד שלא הגיעו למובהקות סטטיסטית (p = 0.08). התנהגות של בקשת עזרה נותרה נמוכה באופן עקבי לאורך תקופת התצפית, ולא הראתה השפעת זמן מובהקת (p = 0.21). הסחות דעת שאינן קשורות למשימה פחתו באופן מובהק מ-0.14 ± 0.08 בשבוע 1 ל-0.11 ± 0.07 בשבוע 4 (p = 0.03). באופן כללי, מדד המעורבות הכיתתית הנצפית המורכב עלה באופן מובהק מ-0.52 ± 0.10 במהלך השבוע הראשון ל-0.58 ± 0.11 עד השבוע האחרון (p < 0.001).
ביטויים רפלקסיביים לאורך הפרוטוקול של 4 שבועות
הביטוי הרפלקסיבי התפתח במהלך תקופת המחקר, אם כי עוצמת השינוי הייתה שונה בין תתי-הממדים שלו. כפי שמוצג ב-איור 3, ציון הרפלקסיה הכולל עלה משבוע 1 ל-7.2 ± 1.9 עד שבוע 4 (p < 0.001).
העומק האנליטי היה גדול באופן ניכר בסוף השבוע ה-4 בהשוואה לשבועיים הראשונים (p < 0.001). באופן דומה, המשמעות החברתית-פרו-סוציאלית עלתה מ-1.08 ± 0.55 ל-1.54 ± 0.60 (p < 0.001), והנטייה לוויסות עצמי עלתה מ-1.42 ± 0.63 ל-1.69 ± 0.65 (p < 0.05). לעומת זאת, ספציפיות תיאורית הראתה מגמה קלה של עלייה, מ-2.14 ± 0.57 ל-2.24 ± 0.55, דבר שלא היה מובהק סטטיסטית (p = 0.09).
הגשות אלוK เฉลี่ย בין 223 ל-231 מילים לכל רשומה לאורך הפרוטוקול. מתוך 736 דוחות רפלקסיביים צפויים, 18 הוגשו באיחור ו-17 היו חסרים; רשומות עם מידע מועט ותגובות שהשמיטו את ההנחיה לגבי הגורם ההקשרי או הפעולה העתידית/ההשפעה החברתית סומנו במסד הנתונים. מקרים אלה נשמרו כאינדיקטורים להיתכנות, והוחרגו רק ממודלים של איכות רפלקסיה ספציפיים לשבוע כאשר לא ניתן היה להקצות את הניקוד הרלוונטי.
דפוסי אנליטיקה של למידה במהלך חלון המחקר
מדדי פעילות בפלטפורמה הראו שונות בין-אינדיבידואלית ניכרת לאורך חלון הזמן של 4 שבועות, כפי שמוצג ב-איור 4.
במהלך התקופה הכוללת, הסטודנטים רשמו בממוצע 9.7 ± 2.4 ימים פעילים בפלטפורמה. מספר הצפיות הממוצע במשאבים שונים היה 27.3 ± 8.6, כאשר הסטודנטים פתחו שיעור ממוצע של 0.81 ± 0.14 מהמשאבים שהוקצו. יתרה מכך, מספר התגובות הממוצע לדיונים היה 4.8 ± 2.7. העמידה הממוצעת בלוחות הזמנים של ההגשות ושיעור השלמת הסרטונים הממוצע היו 0.86 ± 0.18 ו-0.79 ± 0.17, בהתאמה. שיעור הגישה לפלטפורמה בשעות הלילה המאוחרות עמד בממוצע על 0.12 ± 0.09.
ראוי לציין כי תגובות לדיונים ועמידה בלוחות הזמנים של הגשת המטלות הראו מתאמים חיוביים בולטים יותר עם מדדי השתתפות אחרים, וזאת למרות ההתפלגות הרחבה של ציוני העמידה בלוחות הזמנים.
הצלבה של תצפיות, רפלקסיות ונתוני למידה
שלושת מקורות הנתונים הדגימו קשרים משמעותיים, אם כי לא אחידים. כפי שמוצג ב-איור 5, סטודנטים עם מדדי מעורבות כיתתית נצפית גבוהים יותר נטו להשיג ציוני רפלקסיה כוללים גבוהים יותר. במודל המתואם לפי קבוצות (section-adjusted model), המעורבות הכיתתית הנצפית ניבאה באופן חיובי את ציון הרפלקסיה הכולל (β = 0.34, p < 0.001).
מבין המשתנים של אנליטיקת למידה, תשובות לדיונים ועמידה בלוחות הזמנים של הגשת מטלות נמצאו במתאם חיובי ומובהק עם איכות הרפלקציה. כפי שפורט ב- טבלה 5, תשובות לדיון ניבאו באופן חיובי את הניקוד הכולל של הרפלקסיה (β = 0.19, p = 0.013), וכך גם עמידה בלוחות הזמנים של הגשת המטלות (β = 0.17, p = 0.028). בעוד שבעוד שתצפיות בשימוש גולמי במשאבים ובשיעור המשאבים שהוקצו אשר נפתחו הראו קשרים חיוביים בתחילה, מתאמים אלה נחלשו באופן משמעותי לאחר התאמה למשתנים מתערבים. שיעור הגישה בשעות הלילה המאוחרות לא הראה קשר מובהק לציון הכולל של הרפלקסיה (p = 0.18).
הנתונים חשפו גם מתאמים צולבים קלים בין ההתנהגות שנצפתה בכיתה לבין פעילויות ספציפיות בפלטפורמה; לדוגמה, צפיות במשאבי גלם היו במתאם שולי בלבד עם מדד המעורבות הנצפה בכיתה. יתרה מכך, סטודנטים שהשתתפו בתדירות גבוהה יותר בדיונים קבוצתיים הפגינו תקשורת מילולית גבוהה יותר, בעוד שאלו עם ויסות התנהגותי גבוה יותר הפגינו פחות דחיינות בהגשת המטלות.
שינויים בכוונות פרו-סוציאליות
כוונות פרו-סוציאליות הראו עלייה משמעותית מקו הבסיס למבחן שלאחר ההתערבות. ציון הכוונות הפרו-סוציאליות הממוצע עלה מ-3.61 ± 0.53 בקו הבסיס ל-3.84 ± 0.50 לאחר הפרוטוקול בן ה-4 שבועות (p < 0.001). איור 6 ממחיש את ההתפלגות הזוגית ואת הקשרים המותאמים.
במודל המתואם הסופי, מדד מעורבות בכיתה נצפית (Observed Classroom Engagement Index) גבוה יותר ניבא עלייה גדולה יותר בכוונות פרו-סוציאליות לאחר הפרוטוקול ביחס לציון הבסיס (β = 0.21, p < 0.05). מבין הממדים הרפלקסיביים, המשמעות החברתית-פרו-סוציאלית הפעילה את ההשפעה העצמאית המשמעותית ביותר על כוונות פרו-סוציאליות לאחר הפרוטוקול (β = 0.29, p < 0.001). למרות שהשתתפות מילולית הראתה מתאם חיובי לא מתואם עם תוצאות פרו-סוציאליות במבחן שלאחר ההתערבות, קשר זה איבד את המשמעות הסטטיסטית לאחר בקרה על ערכי הבסיס (p = 0.09). לבסוף, שיעור הגישה בשעות הלילה המאוחרות נותר חסר קשר לכוונות פרו-סוציאליות לאחר הפרוטוקול (p = 0.27).
מגבלות יישום שנצפו וממצאים אפסיים
המחקר שיושם הניב מספר תוצאות תת-אופטימליות אך אינפורמטיביות, ולא כשלים שהובילו להפסקת הפרוטוקול. אף מפגש שנצפה לא דרש החרגה בשל מקדם קאפה של צופה הנמוך מ-0.70, שום שדה של ניתוח למידה (learning-analytics) לא נותר לא זמין לאחר הייצוא הסופי, ואף בעיית נראות לא עלתה על סף החסר שנקבע מראש. המגבלות שנצפו התרכזו בהשלמת רפלקסיות ובממצאים התנהגותיים אפסיים או שוליים: 18 רפלקסיות הוגשו באיחור, 17 רפלקסיות צפויות היו חסרות, סימון הערות/שימוש במכשיר הממוקדים במשימה הראו עלייה שולית בלבד (p = 0.08), חיפוש עזרה לא הראה השפעת זמן מובהקת (p = 0.21), וגישה בשעות הלילה המאוחרות לא הייתה קשורה לציון הרפלקסיה הכולל או לכוונה פרו-סוציאלית לאחר הפרוטוקול.
ממצאים אלו נשמרו כיוון שהם מתארים את היתכנות היישום ואת תנאי הסף של הפרוטוקול. השתקפויות מאוחרות או חסרות דווחו בסיכומי זרימת המשתתפים והשלמות הנתונים; קשרים שוליים או אפסיים דווחו ללא השמטה סלקטיבית; ונהלי פתרון הבעיות בסעיף הפרוטוקול מפרטים כיצד יש לטפל בכישלונות היפותטיים, כגון סטיית צופה (observer drift), חסימת נראות או שדות LMS חסרים, ביישומים עתידיים.
קבצי ניתוח ללא פרטים מזהים, מילון הנתונים, סקריפטים לניתוח, טפסי קידוד ריקים, הנחיות לרפלקסיה, רובריקת רפלקסיה ושאלון כוונות פרו-סוציאליות הופקדו ב-Zenodo: https://zenodo.org/records/20607517. סרטוני כיתה גולמיים מזוהים, שמות, מזהים מוסדיים וטקסט רפלקסיבי שלא נערך לא פורסמו באופן ציבורי.

איור 1: זרימת העבודה של המחקר ופרוטוקול אינטגרציית נתונים ממקורות מרובים. (A) גיוס משתתפים, איסוף הסכמות והקצאת מזהי מחקר (study-ID) בשני קורסים לתואר ראשון ובשישה מדורי לימוד. (B) מחזור איסוף הנתונים בן 4 השבועות: תצפית שבועית בכיתה, משימת כתיבה רפלקסיבית וחלון לכידה מסונכרן של אנליטיקה של למידה. (C) שלושה זרמי נתונים מקבילים: תצפית התנהגותית בכיתה, ניקוד ביטוי רפלקסיבי ורישומי פלטפורמת למידה אנונימיים. (D) בניית מערך הנתונים הראשי ברמת המשתתף ומסד נתונים בפורמט ארוך ברמת השבוע, המניבים את תוצרי המחקר העיקריים: מדד מעורבות בכיתה שנצפה, ציון רפלקסיה וכוונות פרו-סוציאליות. אנא לחצו כאן כדי לצפות בגרסה מורחבת של איור זה.

איור 2: שינויים שבועיים בהתנהגות נצפית בכיתה במהלך הפרוטוקול בן ה-4 שבועות. (A) קשב ממוקד במשימה. (B) השתתפות מילולית. (C) שיתוף פעולה בין עמיתים. (D) סיכום ממוקד משימה או שימוש במכשיר ממוקד משימה. (E) הסחת דעת. (F) בקשת עזרה. הערכים הם ציוני פרופורציה שבועיים ברמת הסטודנט, הנגזרים מתצפיות בכיתה מבוססות מרווחי זמן. הנקודות מציינות ממוצעים שבועיים, וסטיות התקן מצוינות על ידי פסי השגיאה. אנא לחץ כאן כדי להציג גרסה מוגדלת של איור זה.

איור 3: שינויים שבועיים בביטוי רפלקטיבי לאורך ארבע ההגשות הרפלקטיביות. (A) ספציפיות תיאורית. (B) עומק אנליטי. (C) נטייה לוויסות עצמי. (D) משמעות חברתית-פרוסוציאלית. (E) ציון רפלקציה כולל. ציוני הרפלקציה הוקצו על ידי שני מקודדים מסוככים באמצעות המחוון שהוגדר מראש. הנקודות מציינות ממוצעים שבועיים, וסטיות התקן מצוינות על ידי פסי השגיאה. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

איור 4: התפלגות של מדדי אנליטיקה של למידה במהלך חלון המחקר בן 4 השבועות. (A) ימים פעילים בפלטפורמת הלמידה. (B) צפיות במשאבים. (C) חלק המשאבים שהוקצו ונפתחו. (D) תגובות שפורסמו בדיונים. (E) שיעור ממוצע של השלמת סרטונים. (F) עמידה בלוחות זמנים של הגשת מטלות. (G) חלק הגישות בשעות הלילה המאוחרות. כל הערכים חושבו לאורך אותו חלון של 4 שבועות ששימש לצפייה בכיתה ולכתיבה רפלקטיבית. תרשימי כינור מראים התפלגויות ברמת הסטודנט, ותרשימי קופסה מציינים חציונים וטווחים בין-רבעוניים. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

איור 5: קשרים בין מעורבות כיתתית נצפית, ביטוי רפלקסיבי ומדדי אנליטיקה של למידה נבחרים. (A) קשר בין מדד המעורבות הכיתתית הנצפית לבין הניקוד הכולל של הרפלקסיה. (B) קשר בין מספר התגובות שפורסמו בדיונים לבין הניקוד הכולל של הרפלקסיה. (C) קשר בין עמידה בזמני הגשת מטלות לבין הניקוד הכולל של הרפלקסיה. (D) קשר בין השתתפות מילולית לבין הניקוד הכולל של הרפלקסיה. קווי המגמה מייצגים קשרים ליניאריים מותאמים; פסים מוצלים מציינים רווחי סמך של 95%. אנא לחצו כאן להצגת גרסה מוגדלת של איור זה.

איור 6: שינוי בכוונות פרו-סוציאליות והקשרים שלהן למעורבות בכיתה ומשמעות רפלקסיבית. (A) התפלגות מזווגת של ציוני כוונות פרו-סוציאליות בנקודת הבסיס ולאחר הפרוטוקול. הקווים מחברים ציוני לפני/אחרי מזווגים מאותו תלמיד. (B) הקשר בין מדד המעורבות הנצפית בכיתה לבין כוונות פרו-סוציאליות לאחר הפרוטוקול, לאחר בקרה על ציון נקודת הבסיס. (C) הקשר בין משמעות חברתית-פרו-סוציאלית לבין כוונות פרו-סוציאליות לאחר הפרוטוקול. (D) הקשר בין השתתפות מילולית לבין כוונות פרו-סוציאליות לאחר הפרוטוקול. רצועות מוצללות בפנלים B-D מציינות רווחי סמך של 95%. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.
טבלה 1: מדדי תצפית בכיתה ברמת התלמיד וכללי קידוד. הטבלה מפרטת את ההגדרות האופרטיביות וקריטריוני הקידוד עבור קשב ממוקד במשימה, השתתפות מילולית, שיתוף פעולה עם עמיתים, סיכום או שימוש במכשיר ממוקד משימה, הסחת דעת, ובקשת עזרה. חלון הקידוד של 70 min, מחזור סריקה של 20-s/רישום של 10-s, נוהל סריקת אשכולות, כלל נראות חסרה ונוסחת ה-OCEI מתוארים בסעיף הפרוטוקול. אנא לחצו כאן להורדת טבלה זו.
טבלה 2: מסגרת ניקוד לביטוי רפלקטיבי, דוגמאות לרמות ניקוד והגדרות למשתני אנליטיקה של למידה. הטבלה מפרטת את מחוון הניקוד לטקסטים רפלקטיביים, כולל דוגמאות לניקוד 0, 1, 2 ו-3 עבור כל ממד רפלקטיבי, ואת ההגדרות האופרטיביות למשתני אנליטיקה של למידה שהופקו. הרכיבים הרפלקטיביים כוללים ספציפיות תיאורית, עומק אנליטי, נטייה לוויסות עצמי, משמעות חברתית-פרוסוציאלית, ציון רפלקציה כולל, מספר מילים וסטטוס הגשה. האנליטיקה של הלמידה כוללת ימים פעילים, צפיות במשאבים, שיעור המשאבים שהוקצו ונפתחו, תגובות שפורסמו בדיונים, שיעור השלמת סרטונים ממוצע, עמידה בלוחות זמני הגשה ושיעור גישה בשעות הלילה המאוחרות. אנא לחצו כאן להורדת טבלה זו.
טבלה 3: מאפייני משתתפים, זרימת הכללה והשלמות נתונים. הטבלה מסכמת את זכאות המשתתפים, שיעורי הסכמה, קריטריוני הדרה, גודל המדגם הסופי והשלמות הנתונים בשלושת מקורות הנתונים. היא מדווחת על מאפיינים דמוגרפיים בנקודת הבסיס לצד רשומות רפלקסיה צפויות, הגשות בזמן, הגשות מאוחרות, רפלקסיות חסרות וחילוצים מוצלחים של אנליטיקת למידה. ערכים מוצגים כ-n (%) אלא אם צוין אחרת. עיגול עלול להוביל לאחוזים שאינם מסתכמים בדיוק ל-100%. בהתאם לפרוטוקול, רפלקסיות מאוחרות נשמרות בארכיון אך מוחרגות מניתוחי רפלקסיה ספציפיים לשבוע. חילוץ מלא של אנליטיקת למידה מציין שליפה מוצלחת של רשומות מחלון המחקר לאחר הסרת חשבונות מרצים, רשומות כפולות ואירועים מחוץ לחלון הזמן. אנא לחצו כאן כדי להוריד טבלה זו.
טבלה 4: סטטיסטיקה תיאורית ומדדי מהימנות של משתני המחקר העיקריים. הטבלה מציגה ערכי ממוצע, סטיות תקן ומדדי מהימנות ספציפיים לשבוע עבור התנהגות בכיתה שנצפתה, ביטוי רפלקסיבי, אנליטיקת למידה וכוונות פרו-סוציאליות. מהימנות נתוני התצפיות בכיתה מוערכת באמצעות Cohen's kappa. מהימנות ניקוד הרפלקסיה מוצגת כמקדמי מתאם תוך-מחלקיים (ICCs) עבור טקסטים שנוקדו פעמיים. העקביות הפנימית של מדד הכוונות הפרו-סוציאליות מדווחת באמצעות Cronbach's α. משתני אנליטיקת הלמידה חושבו על פני אותה תקופה של 4 שבועות ששימשה לתצפיות ולרפלקסיות. אנא לחצו כאן להורדת טבלה זו.
טבלה 5: קשרים רב-משתניים בין מעורבות כיתתית נצפית, ביטוי רפלקטיבי, אנליטיקת למידה וכוונה פרו-סוציאלית. הטבלה מפרטת את המודלים ההסקיים ששימשו בניתוחים המרכזיים. מוצגים מנבאים רב-משתניים של הניקוד הכולל של הרפלקסיה, מנבאים מתוקננים של כוונה פרו-סוציאלית לאחר הפרוטוקול (בבקרה על רמות הבסיס), וקשרים נבחרים שאינם מתוקננים. ערכי β מייצגים מקדמי רגרסיה לא מתוקננים. כל המודלים הרב-משתניים מתוקננים לפי חטיבת הכיתה. שגיאות תקן (SE), רווחי סמך של 95% (CI) וערכי p מסופקים עבור כל ההערכות. אנא לחצו כאן להורדת טבלה זו.