פרוטוקול זה משלב רצף של תחרות אבחון-החלטה-הגנה בתוך הוראת ניהול אסטרטגי לתואר ראשון, באמצעות משימות צוות מדורגות, משוב מובנה, הכשרת מעריכים, ניטור נאמנות לביצוע (implementation-fidelity) וסקירה נפרדת של תוצאות ברמת הסטודנט וברמת הצוות.
מאמר שיטה
שילוב תחרויות מבוססות-קורס בהוראה של ניהול אסטרטגי: פרוטוקול שמיש לשיפור קורס
במאמר זה
סיכום
תקציר
הוראה בניהול אסטרטגי דורשת מהסטודנטים ליישם מסגרות אנליטיות במצבים עסקיים המאופיינים באי-ודאות, במגבלות משאבים ובטרייד-אופים (trade-offs). תחרויות במסגרת הקורס יכולות לתמוך בתהליך זה כאשר הן מאורגנות כמערכת הוראה מובנית ולא כפעילות של פרזנטציה בודדת. מאמר זה מתאר פרוטוקול הניתן לשחזור לשילוב תחרות בת שלושה שלבים בתוך קורס לניהול אסטרטגי לתואר ראשון. הפרוטוקול עוקב אחר רצף של 16 שבועות הכולל הערכת בסיס, הוראה ליבנית, הצגת מקרה בוחן ארגוני, גיבוש צוותים, אבחנה אסטרטגית, סימולציית החלטות אסטרטגיות או מילוי גיליון החלטות, הגנה סופית על האסטרטגיה, הערכה לאחר הקורס וסקירת הקורס. המנגנון ההוראתי משלב תרגול מדורג, חשיפה למקרי בוחן ארגוניים, משוב מעצב מובנה, אחריות צוותית, הגנה בעל פה ודירוג מבוסס רובריקה. מדדי תהליך מיושמים מקומית כדי לנטר את האינטראקציה בכיתה, את שלמות עיצוב מקרי הבוחן, את עמידת המשוב בלוחות הזמנים, את ההלימה בין המשימה לרובריקה, את מעורבות הסטודנטים ואת נאמנות היישום. תוצאות ברמת הסטודנט, תוצאות התחרות ברמת הצוות, הסכמה בין מעריכים, דפוסי נתונים חסרים, גילוי על שימוש בבינה מלאכותית ודפוסי אזהרה על ניפוח ציונים מנותחים בנפרד כדי למנוע בעיות של יחידת ניתוח. תוצאות מייצגות, כאשר הן מדווחות, צריכות להתפרש כתוצרי יישום תלויי-הקשר מתוך השוואה רטרוספקטיבית של רשומות חינוכיות לא אקראיות, ולא כראיה ליעילות סיבתית. הפרוטוקול מספק הליך בר-ביקורת לתכנון, יישום, תיעוד, הערכה ושכלול של הוראה בניהול אסטרטגי המשולבת בתחרות, כחלק ממחזור שיפור קורסים.
מבוא
קורסים בניהול אסטרטגי דורשים מהסטודנטים להתרחב מעבר לשליפה מושגית. על הסטודנטים ליישם רעיונות כגון מבנה התעשייה, יתרון תחרותי, הקצאת משאבים, בחירה אסטרטגית ויישום תחת תנאים של מידע חסר וסדרי עדיפויות מתחרים. מיקום תחרותי מסביר כיצד חברות בוחרות מיקומים תחת אילוצים חיצוניים1, בעוד שהגישה מבוססת המשאבים שמה דגש על משאבים ויכולות ספציפיים לחברה המעצבים את האפשרויות האסטרטגיות2. פרספקטיבות אלו הופכות את הניהול האסטרטגי למתאים לעיצובים לימודיים יישומיים שבהם הסטודנטים מאבחנים סיטואציה עסקית, מקבלים החלטה אסטרטגית, מנמקים את הבחירה ומתקנים את הנימוקים שלהם לאחר קבלת משוב. הרצאות ודיוני מקרה מבודדים נותרים מועילים, אך ייתכן שהם אינם חושפים באופן מלא כיצד סטודנטים מנתחים אי-ודאות, פשרות ואילוצי יישום. תחרות מבוססת-קורס יכולה ליצור סביבת למידה תובענית יותר רק כאשר היא מקושרת למטרות הקורס, לרצף המטלות, לקריטריוני הניקוד ולסבבי המשוב. ללא מרכיבים אלו, התחרות עלולה לתגמל ביטחון בהצגה או חלוקת משימות במקום חשיבה אסטרטגית.
עבודות קודמות על משחקים וסימולציות עסקיות הראו כי פעילויות אלו דורשות כללים מפורשים, מחזורי קבלת החלטות, ראיות להערכה ודיבריפינג (תחקיר) כדי שיתפקדו כשיטות לימודיות ולא כבידור בכיתה3,4. למידה פעילה תלויה גם בעיצוב המשימה ולא רק בפעילות עצמה. סטודנטים עשויים להיראות מעורבים בעודם מיישמים מושגים באופן שטחי בלבד. לפיכך, תחרות מובנית בניהול אסטרטגי צריכה לדרוש מהסטודנטים לנתח סיטואציה, לנמק החלטה, לקבל משוב מעצב, לעדכן את הטיעונים שלהם ולהגן על תוכנית יישום. רצף זה משקף עקרונות של למידה פעילה כיוון שהסטודנטים מייצרים, בוחנים ומדייקים את הנימוקים שלהם במקום רק להקשיב להוראות5. הוא משקף גם למידה חוויתית, כיוון שמחזור התחרות מקשר בין חשיפה למקרה קונקרטי, ניתוח רפלקסיבי, קבלת החלטות ופעולה מעודכנת6.
דוחות על סימולציות עסקיות ותחרויות שפורסמו נחלקים באופן רחב ברמת הפירוט הפרוצדורלי שלהם. חלקם מתארים את השימוש בסימולציה או בתחרות, אך מספקים מידע מוגבל לגבי הרכבת הצוותים, שלבי המשימות, תזמון המשוב, הכשרת המדרגים, בניית המחוון (rubric), הטיפול בנתונים חסרים או ההפרדה בין תוצאות אישיות לתוצאות צוותיות. סקירות וטקסונומיות קודמות הראו גם כי משחקים עסקיים אינם מהווים שיטת הוראה אחת; הם נבדלים זה מזה בחוקים, ברמת הנאמנות למציאות (fidelity), בתפקידי הלומדים, במבנה קבלת ההחלטות, בשימוש בטכנולוגיה, בעיצוב ההערכה ובנהלי התוך (debriefing)7,8. לכן, פרוטוקול ניהול אסטרטגי שניתן לשחזור צריך לפרט לא רק את העובדה שנתקיימה תחרות, אלא גם כיצד התחרות שולבה בתוך הקורס וכיצד נוטרר היישום שלה.
פרוטוקול זה נתפס בצורה המיטבית כחבילה רב-מרכיבית לשיפור קורס המשלבת תחרות. לא ניתן לייחס את ההשפעה הלימודית הצפויה לתחרות בלבד, שכן הפרוטוקול כולל גם חשיפה למקרי בוחן עסקיים, תרגול חוזר, משוב מובנה, אחריות צוותית, הגנה פומבית, כיול מעריכים וסקירה שיטתית של הקורס. אלמנט התחרות הוא מועיל מבחינה חינוכית מכיוון שהוא יוצר דדליינים, השוואה, אחריות והצדקה פומבית, אך אלמנטים אלו משולבים במכוון עם משימות למידה מדורגות ובקרות הערכה. ההליך שונה מהוראה קונבנציונלית בניהול אסטרטגי המבוססת על למידה חווייתית, סימולציות או תחרות בשלושה היבטים. ראשית, התחרות מחולקת לשלבי אבחון, קבלת החלטות והגנה סופית, במקום להיות מרוכזת במצגת סופית אחת. שנית, נאמנות היישום (implementation fidelity) מנוטרת לפני פרשנות של תוצאות הלמידה. שלישית, תוצאות הלמידה ברמת הסטודנט מופרדות מתוצאות התחרות ברמת הצוות. הבחנה זו חשובה כיוון שצוות עשוי להפגין ביצועים טובים בהגנה הסופית בעוד שחלק מחבריו יראו למידה אינדיבידואלית מוגבלת. למידה צוותית דורשת אחריות, אינטראקציה וחשיבה משותפת, ולא רק חברות בקבוצה9. לפיכך, הפרוטוקול משתמש באמנות צוות, יומני תהליך, טפסי תרומה של עמיתים, הכשרת מעריכים, בדיקות הסכמה בין מעריכים וכללים לאזהרה מפני ניפוח ציונים.
הפרוטוקול הוטמע כפעילות הוראה שגרתית בקורס לתואר ראשון בניהול אסטרטגי בבית הספר למנהל עסקים, Zhuhai College of Science and Technology, סין. קבוצת הפרוטוקול למדה במדור הקורס SM-2025-F01 במהלך סמסטר הסתיו של שנת הלימודים 2025-2026. קבוצת ההשוואה הייתה קבוצה היסטורית שלמדה במדור הקורס SM-2024-F01 במהלך סמסטר הסתיו של שנת הלימודים 2024–2025. במדור קורס הפרוטוקול נרשמו 96 סטודנטים; 94 סטודנטים סיפקו הסכמה בכתב או באופן אלקטרוני לשימוש מחקרי ברשומות קורס אנונימיות לאחר קבלת אישור אתי ולפני הכללתם במערך הנתונים המחקרי, 2 סטודנטים הוצאו מהמחקר עקב נשירה מהקורס לפני שבוע 8 או היעדר תוצאה תקפה לאחר הקורס, ו-92 סטודנטים הרכיבו את קבוצת הפרוטוקול האנליטית הסופית. במדור ההשוואה ההיסטורי נרשמו 92 סטודנטים; 90 סטודנטים הסכימו לשימוש מחקרי ברשומות קורס אנונימיות לאחר קבלת אישור אתי ולפני חילוץ רטרוספקטיבי של הנתונים, 2 הוצאו לאחר החלת אותם כללי נשירה ונתונים חסרים, ו-88 סטודנטים הרכיבו את קבוצת ההשוואה האנליטית הסופית.
שתי קבוצות הנבדקים הורכבו מסטודנטים לתואר ראשון במנהל עסקים בשנה השלישית. תחומי ההתמחות כללו מנהל עסקים, שיווק, מסחר אלקטרוני ועסקים בינלאומיים. קבוצת הפרוטוקול כללה 51 סטודנטיות ו-41 סטודנטים, עם גיל ממוצע של 20.4 ± 0.7 שנים. קבוצת ההשוואה כללה 49 סטודנטיות ו-39 סטודנטים, עם גיל ממוצע של 20.5 ± 0.8 שנים. ניסיון קודם בתחרויות דווח על ידי 27 סטודנטים בקבוצת הפרוטוקול ו-24 סטודנטים בקבוצת ההשוואה. שיעור הנשירה לפני הניתוח הסופי היה 4.2% בקבוצת הפרוטוקול ו-4.3% בקבוצת ההשוואה. מספר הנתונים החסרים בקבוצת הפרוטוקול עמד על 2 מבחני ידע בבסיס (baseline), 3 מבחני ידע לאחר הקורס, 4 סקרי למידה לאחר הקורס, ו-4 רשומות לא מלאות של משימות התחרות. מספר הנתונים החסרים בקבוצת ההשוואה עמד על 3 מבחני ידע בבסיס, 4 מבחני ידע לאחר הקורס, 5 סקרי למידה לאחר הקורס, ו-70 רשומות לא מלאות של משימות התחרות, מכיוון שהקורס ההיסטורי לא כלל את תהליך התחרות המלא בן שלובי השלבים.
קבוצת ההשוואה קיבלה הוראה קונבנציונלית בניהול אסטרטגי המבוססת על מקרי בוחן, ללא רצף התחרות המלא בן שלושת השלבים. אותו מרצה לימד את שתי הקבוצות. שתי הקבוצות השתמשו בתוצרי למידה דומים של הקורס, נושאי ליבה בניהול אסטרטגי, כיסוי של הערכת ידע, הערכת ניתוח מקרי בוחן אישית ומבנה ציונים סופי של הקורס. קבוצת הפרוטוקול קיבלה בנוסף את חבילת מקרי בוחן הארגוניים, משימות תחרות מדורגות, מחזורי משוב מובנים, תיעוד רשמי של תהליכי צוות, נהלי הכשרת מעריכים וניטור של נאמנות היישום. מאמר זה מתאר את הפרוטוקול כשיטה ניתנת לשחזור לשיפור הקורס, ולא כטענה ליעילות סיבתית. התוצאות המייצגות מראות את סוגי הפלטים של היישום, איכות ההוראה, רמת הסטודנט, רמת הצוות, מהימנות הניקוד, נתונים חסרים ופתרון בעיות שהופקו על ידי הפרוטוקול. מכיוון שההשוואה היא היסטורית, לא אקראית ותלוית הקשר, יש לפרש הבדלים בין הקבוצות כראיות לשיפור הקורס בתוך הקשר יישום אחד, ולא כהוכחה לכך שתחרות מבוססת קורס כשלעצמה גרמה לתוצאות שנצפו.
המטרה הרחבה של הפרוטוקול היא לסייע למרצים לתכנן, לתעד, להעריך ולשפר הוראה בניהול אסטרטגי המשלבת תחרות. הוא תומך בהבטחת למידה על ידי קישור בין פעילויות הוראה, תוצרי סטודנטים, מחווני ניקוד (rubrics), רשומות יישום והחלטות לבדיקת הקורס10. הפרוטוקול מתייחס גם לחששות במחקרי גיימיפיקציה ולמידה תחרותית, לפיהם אלמנטים דמויי-משחק עשויים להניב תוצאות מעורבות כאשר שמים דגש על מוטיבציה ללא תשומת לב מספקת לתכנון המשימה, לאיכות המשוב ולתוקף ההערכה11,12. התוצרים הצפויים כוללים רשומות יישום, מדדי איכות הוראה שהופעלו ברמה המקומית, תוצרי למידה ברמת הסטודנט, תוצרי תחרות ברמת הצוות, ראיות להסכמה בין מעריכים, גילויים על שימוש בבינה מלאכותית, תיעוד של נתונים חסרים ורשומות פתרון בעיות.
פרוטוקול
השימוש המחקרי ברשומות חינוכיות שזוהו מחוץ להקשר (de-identified) משתי הקבוצות אושר על ידי ועדת אתיקה למחקרי הוראה של Zhuhai College of Science and Technology, ז'והאי, סין (מספר אישור 2026050701; תאריך אישור: 7 במאי 2026). האישור כיסה את קבוצת הפרוטוקול ואת קבוצת ההשוואה ההיסטורית, כולל רשומות קורס שגרתיות, סקרים, תצפיות בכיתה, רשומות של תהליכי עבודת צוות, ציוני תחרות, ציוני מעריכים, רשומות מפלטפורמת למידה ומשתנים מתוך ספר ציונים שזוהו מחוץ להקשר. הקורס שנמשך 16 שבועות הועבר כחלק מהוראת ניהול אסטרטגי שגרתית לפני הפקת הנתונים למחקר, ולא הופק, קודד, נותח או דווח אף סט נתונים מחקרי מזוהה לפני קבלת האישור האתי. הסכמה בכתב או אלקטרונית לשימוש מחקרי ברשומות קורס שזוהו מחוץ להקשר התקבלה לאחר האישור האתי ולפני הכללה במערך הנתונים. ההשתתפות בקורס הופרדה מהשימוש בנתונים למטרות מחקר; סטודנטים שלא נתנו את הסכמתם השלימו את הקורס באופן רגיל אך הוצאו מניתוח המחקר. רשומות ההסכמה אוחסנו בנפרד מספר הציונים, הגישה לקובץ המקשר בין הקוד לזהות הוגבלה למנהל הנתונים, ומערך הנתונים המוכן לניתוח נוצר רק לאחר הגשת הציונים, אימות ההסכמה, הקצאת הקודים והסרת מזהים ישירים והערות טקסט חופשי מזוהות.
1. ביסוס פרוטוקול לשיפור קורס באמצעות שילוב תחרות.
- הגדירו את הפרוטוקול כתהליך שיפור קורס בן 16 שבועות המשלב תחרות, עבור קורס לתואר ראשון בניהול אסטרטגי. המנגנון ההוראתי הוא מחזור מדורג של אבחון-החלטה-הגנה, המקשר בין ניתוח אסטרטגי, קבלת החלטות מבוססת ראיות, משוב, אחריות צוותית, הגנה בעל פה וסקירת הקורס.
- הגדירו איכות הוראה באמצעות אינטראקציה בכיתה, שלמות תכנון המקרה, עמידה בלוחות זמנים של משוב, התאמה בין המטלה למחוון ומעורבות סטודנטים. הגדירו נאמנות ביצוע (implementation fidelity) באמצעות השלמת פעילויות מתוכננות, השלמת מפגש מקרה או מפגש ארגוני, השלמת מטלות, זמן תגובה למשוב, השלמת מחוונים, השלמת תצפיות והשלמת הכשרת מעריכים. תמצמו מדדים רק כאשר המהימנות והראיות ממדיות תומכות באיחודם.
- יש להתאים בין תוצאי הלמידה, פעילויות ההוראה, משימות התחרות, המחוונים (rubrics), נקודות המשוב ומדדי התוצאה לפני העברת הקורס, וזאת כדי לשמור על התאמה קונסטרוקטיבית (constructive alignment).13.
- הקצו את התפקידים של מדריך הקורס, רכז התחרות, מקשר לארגונים, משקיף כיתה, רכז המדרגים ומנהל הנתונים. ניתן לשלב תפקידי הוראה בתוכניות קטנות, אך מנהל הנתונים צריך להישאר נפרד מהמתן הציונים הסופיים ומהכנת מערכי הנתונים למחקר ככל שניתן.
- הכינו תיקייה ליישום הקורס עם בקרת גרסאות, המכילה את הסילבוס, קובצי מקרי בוחן, מדריך, תבניות למשימות, מחוונים, טפסי תצפית, סקרים, רישומי צוותים, טפסי ניקוד, יומני משוב, טפסי גילוי שימוש ב-AI ורישומי בקרת גרסאות. לאחר קבלת אישור אתי, צרו תיקייה לשחזור מחקרי המכילה את רישום האישור, רישום אימות הסכמה, יומן דה-אידנטיפיקציה (הסרת זיהוי), מערכי נתונים דה-אידנטיפיקטורים, מילון נתונים, יומן ניקוי נתונים, סקריפטים של ניתוח, פלטים סטטיסטיים, קובצי מקור של איורים, טבלאות וקבצים משלימים (איור 1 ומה* טבלת חומרים; תבניות תפעוליות מסופקות ב- קובץ משלים 1).
איור 1תהליך העבודה של פרוטוקול שיפור קורס לניהול אסטרטגי המשלב תחרות. תהליך העבודה מציג את הרצף החל מההכנה לקורס, דרך יישום שגרתי של הקורס לאורך 16 שבועות, הפקה שגרתית של רישומי לימודים, הגשת ציונים, הכנה לשימוש מחקרי מאושר אתית, אימות הסכמה, דה-אידנטיפיקציה (הסרת זיהוי), נעילת מערך הנתונים, ניתוח, דיווח, פתרון בעיות ושיפור הקורס. האיור מפריד בין פעילויות ההוראה השגרתיות לבין חילוץ וניתוח נתוני מחקר לאחר הגשת הציונים. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.
2. גיוס קבוצת הסטודנטים והכנת מערך נתוני המחקר.
- כללו סטודנטים הרשומים רשמית לקורס ניהול אסטרטגי (Strategic Management) במסלול התואר הראשון הנבחר. רשמו את המוסד, השנה האקדמית, הסמסטר, הקבוצה, סוג הקוהורט, החוג, שנת הלימודים, שבועות ההוראה, שעות הפגישות, מספר הרשומים, המדגם שהסכים להשתתף, החרגות, המדגם האנליטי הסופי, דמוגרפיה, ניסיון קודם בתחרויות, נשירה ומספרי נתונים חסרים.
- הגדירו את קוהורט הפרוטוקול ככיתה שקיבלה את הפרוטוקול המלא המשולב בתחרות, ואת קוהורט ההשוואה ככיתה היסטורית שקיבלה הוראה קונבנציונלית של ניהול אסטרטגי מבוססת מקרי בוחן, ללא רצף התחרות המלא בן שלושת השלבים. רשמו האם אותו מרצה לימד את שני הקוהורטים והאם תוצאות הלמידה, כיסוי ההערכה, דרישות ניתוח מקרי בוחן פרטניים ומבנה הציונים היו דומים.
- לאחר קבלת אישור מהוועדה לאתיקה, ודאו את ההסכמות, הקצו קודים לא מזוהים לסטודנטים ולצוותים, הסירו מזהים ישירים והחילו את כללי ההכללה, ההחרגה והנתונים החסרים המופיעים בטבלה 1.
- כללו סטודנטים שהסכימו להשתתף ושיש להם לפחות תוצאה אחת תקפה לאחר הקורס. הגבירו סטודנטים מניתוח ידע מוצלב כאשר אחד ממבחני הידע חסר, ומניתוח הקשור לתחרות כאשר כל שלושת רשומות המשימות חסרות. שמרו רשומות זמינות עבור ניתוחים זכאים אחרים.
- קודדו נתוני מחקר חסרים כ-NA. אל תקצבו אפס אלא אם כן האפס משקף ציון קורס ממשי על פי מדיניות הקורס המאושרת. צרו רשומת זרימת משתפים עבור כל קוהורט.
| פריט | הגדרה אופרציונלית | כלל יישום | משתנה של מערך נתונים | השלכות הניתוח |
| הקורס המיועד | קורס ניהול אסטרטגי לתואר ראשון המועבר בסמסטר שנבחר | כלול סטודנטים הרשומים רשמית לקבוצת הקורס שנבחרה | מקטע קורס | מגדירה את אוכלוסיית ההוראה הזכאית |
| קוהורט של פרוטוקול | כיתה שקיבלה את הפרוטוקול המלא לשיפור קורס המשולב בתחרות | קוד כ-1 | סוג קוהורט | קבוצת פרוטוקול |
| קוהורט השוואה היסטורי | קבוצת ביקורת היסטורית שקיבלה הוראה קונבנציונלית בניהול אסטרטגי המבוססת על מקרי בוחן, ללא תהליך התחרות המלא בן שלו השלבים | קוד כ-0 | סוג קוהורט | קבוצת השוואה היסטורית שאינה אקראית |
| רישום רשמי | הסטודנט מופיע ברשימת הקורס הרשמית | סינון כבעלי פוטנציאל להתאימות | סטטוס זכאות | נדרש לפני סריקה לשימוש מחקרי |
| הסכמה למחקר | הסטודנט מספק הסכמה בכתב או באופן אלקטרוני לשימוש ברשומות קורס לאחר הסרת פרטים מזהים, וזאת לאחר קבלת אישור מהוועדה לאתיקה | הכלל רק סטודנטים שהסכימו להשתתף במערך הנתונים של המחקר | סטטוס הסכמה | סטודנטים שלא נתנו את הסכמתם ישלימו את הקורס כסדרו, אך יוחרגו מניתוח המחקר |
| השתתפות בקורס | פעילויות למידה שגרתיות במסגרת הקורס שהושלמו ללא קשר להסכמה למחקר | אפשר לכל הסטודנטים הרשומים להשתתף בשיעורים, להצטרף לצוותים, להשלים משימות בקורס ולקבל ציונים | סטטוס השתפות בקורס | מפריד בין השתפות בהוראה לבין השתתפות במחקר |
| תוצאה תקפה לאחר הקורס | לפחות תוצאה אחת תקפה לאחר הקורס זמינה | כלול בניתוחים עבורם התוצאה הרלוונטית זמינה | תוצאה זמינה | מאפשר ניתוח של מקרי-בקרה זמינים |
| נסיגה מקורס לפני נקודת האמצע | סטודנט נסוג לפני שבוע 8 | הוצא מהמאגר הסופי של נתוני המחקר | סטטוס נסיגה | מפחית הטיות הנובעות מחשיפה חלקית |
| מבחן חסר לידע מקדימה | מבחן הידע של שבוע 1 חסר | קודד כ-NA | חסרים ידע מקדים | הוצא מהניתוח של ידע מצומד בלבד |
| מבחן ידע חסר לאחר הקורס | מבחן הידע של שבוע 16 חסר | סמן כ-NA | חסר ידע לאחר-מבחן | החרג רק מניתוח ידע מזווג |
| שני מבחני הידע חסרים | חסרים הן ציוני הידע בנקודת ההתחלה והן ציוני הידע לאחר הקורס | הוצא מניתוח מדד הידע | סטטוס זוג הידע | שמור לניתוחים זכאים אחרים במידה והנתונים זמינים |
| סקר לאחר קורס חסר | סקר סוף-קורס אנונימי חסר | קוד כ-NA | סקר חסר | שימור בניתוחים אובייקטיביים של ביצועים |
| חסרים רשומות של משימה אחת או שתיים מהתחרות | רשומה אחת או שתיים של משימה או של פרויקט ממופה חסרות | סמן רשומות חסרות כ-NA, אלא אם כן מדיניות הקורס קובעת ציון אפס | ציון משימה חסר | שמור רשומות של משימות זמינות או פרויקטים שמופו |
| חסרים כל שלושת רשומות המשימות של התחרות | אין רשומות תקפות עבור משימה 1, משימה 2 או משימה 3 | הוצאה מניתוחים הקשורים לתחרות | השלמת תחרות | שמור לניתוחי אי-תחרות (non-competition) אם קיימות תוצאים אחרים |
| רשומת כפולה | מופיעה יותר משורה אחת עבור אותו קוד סטודנט | שמור את הרשומה הסופית המאושרת לאחר בדיקת קובץ המקור | בדיקת כפילויות | יש להפריד לפני הניתוח |
| דליפת מזהים | שם, מספר סטודנט, מספר טלפון, דוא"ל, חשבון פלטפורמה, מזהה מכשיר, או הערה מזוהה בטקסט חופשי מופיעים | הסר את המזהה לפני הניתוח | בדיקת מזהה | לא ניתן לנתח את מערך הנתונים עד להסרת פרטים מזהים |
| מדגם אנליטי סופי | סטודנטים שנתנו הסכמה עם נתונים שמישים לאחר יישום כללי ההדרה ונתונים חסרים | דווח על המספר הסופי ועל סיבות ההוצאה מהניסוי | דגימת ניתוח | נדרש לצורך דיווח על זרימת המשתתפים |
טבלה 1: מבנה העוקבה, קריטריוני הכללה, קריטריוני החרגה וכללים לנתונים חסרים. טבלה זו מגדירה את עוקבת הפרוטוקול, עוקבת ההשוואה ההיסטורית, קריטריוני סף, אישורי שימוש למחקר, קריטריוני החרגה, טיפול בנתונים חסרים ובניית מדגם הניתוח.
3. יישום רצף הקורס למשך 16 שבועות.
- העבירו את הקורס על פני 16 שבועות הוראה, הכוללים 32 שעות פנים-כיתתיות וכ-24-30 שעות של עבודת צוות עצמאית. רשמו בנפרד את שעות ההוראה, זמן עבודת הצוות, האינטראקציה עם המקרה, משוב, חזרות וזמן הערכה.
- בשבוע 1, ערכו את תדריך הקורס, מבחן ידע בסיסי וסקר מעורבות בסי כפעילויות שגרתיות של הקורס. הסבירו את תהליך הקורס, רצף המשימות, כללי ההערכה, עקרונות הגנת המידע והשימוש המחקרי העתידי ברשומות אנונימיות. העבירו את ההוראה הבסיסית בניהול אסטרטגי בשבועות 2–3 וחיזוק קצר של מושגים במהלך שבועות 4–15.
- בשבוע 4, הציגו את חבילת המקרה הארגוני ואת מדריך התחרות, כולל רצף המשימות, כללי הגשה, מחווני הערכה (rubrics), לוחות זמנים למשוב, אחריות הצוות, כללי יושרה אקדמית, גילוי שימוש ב-AI, הליך בדיקה בעל-פה ותהליך ערעורים.
- בצעו את משימה 1 בשבועות 5–6 והחזירו משוב תוך 7 ימי לוח בשבוע 7. דרשו עדכון של הצהרת הסוגיה האסטרטגית לפני משימה 214. בצעו את משימה 2 בשבועות 8–10, ליווי של מנטור ארגוני או אימון מובנה על המקרה בשבוע 11, ואת משימה 3 בשבועות 12–15.
- בשבוע 16, ערכו את מבחן הידע שלאחר הקורס, סקר סיום הקורס, ביקורת נתונים וסקירת הקורס כפעילויות שגרתיות של הקורס. ייצאו, קדדו, אנונימיזו ונתחו את הרשומות לשימוש מחקרי רק לאחר קבלת אישור אתי, אימות הסכמה והגשת ציונים (ראו Table 2).
נקודת עצירה: עצרו לאחר שבוע 4 אם הקצאת הצוותים, קבצי המקרה, המדריך, המחוונים, טופס הגילוי של AI, תבניות המשימות או טפסי רישום הנתונים אינם מלאים. לצורך דיווח מחקרי, השהו את הניתוח עד להשלמת האישור האתי, אימות ההסכמה, הגשת הציונים, אנונימיזציה ונעילת מערך הנתונים.
| שבוע | פעילות | מיקוד הדרכה | תוצר סטודנט או צוות | רשומה נדרשת | בקרת איכות |
| שבוע 1 | תדריך קורס והערכה ראשונית | תהליך הקורס, כללי הערכה, מבחן ידע בסי, סקר מעורבות בסי | מבחן ידע מקדים; סקר מקדים | נוכחות; קובץ מבחן בסיס; קובץ סקר בסיס; רישום תדריך קורס | יש לאשר את השלמת הערכת הבסיס ואת הפרדת רישומי הקורס השגרתיים משימושים מחקריים מאוחרים יותר |
| שבוע 2 | הוראה בניהול אסטרטגי מרכזי I | ניתוח סביבתי, ניתוח תעשייה, ניתוח מתחרים | דף עבודה לכיתה | נוכחות; רישום גיליון עבודה | בדיקת השלמת גיליון העבודה |
| שבוע 3 | הוראה בניהול אסטרטגי בסיסי II | ניתוח משאבים פנימיים, בחירה אסטרטגית, תכנון יישום, הערכת ביצועים | תגובה קצרה לדיון במקרה | נוכחות; תיעוד דיון במקרה | אישור מושגי יסוד לפני השקת התחרות |
| שבוע 4 | מבוא למקרה בוחן עסקי ותדריש לתחרות | חבילת מקרה, מדריך, רצף משימות, מחווני הערכה, גילוי שימוש בבינה מלאכותית, כללי צוות, הליך ערעור | רשימת צוות; אמנת צוות; הצהרת שימוש ב-AI | רשימת צוות; כתב עקרונות של הצוות; רישום גישה למדריך; רישום גישה למקרה | עצור אם תיקי מקרה, מדריכים, מחווני הערכה (רובריקות), רשומות צוות, תבניות משימה או טפסי שימוש ב-AI אינם מלאים |
| שבוע 5 | משימה 1 מתחילה | מבנה דוח אבחון אסטרטגי ודרישות לראיות | טיוטה לדוח אבחנה אסטרטגית | יומן תהליכי צוות; רישום התייעצויות | אישור הקצאת תפקידי צוות |
| שבוע 6 | הגשת משימה 1 | אבחנה אסטרטגית, ניתוח תעשייה וניתוח פנימי, שימוש בראיות | דו"ח סופי למשימה 1 | רשומת הגשה; קובץ דוח | זיהוי הגשות חסרות או כאלה שפורמטו באופן שגוי |
| שבוע 7 | משוב למשימה 1 | משוב מבוס מחוון והנחיות לתיקון | הצהרה מעודכנת של סוגיה אסטרטגית | יומן משוב; רישום זמני תגובה למשוב | עצור אם >15% מהדיווחים אינם עומדים במבנה הנדרש |
| שבוע 8 | משימה 2 מתחילה | גיליון החלטות, הנחות סימולציה, משתני החלטה | גיליון החלטות אסטרטגיות ראשוני | יומן תהליכי צוות; רשומת תצפית | אישור הבנת משתני ההחלטה |
| שבוע 9 | זיקוק קבלת החלטות אסטרטגיות | מיצוב שיווקי, הקצאת משאבים, סדר מימוש, הנחות סיכון | גיליון החלטה מעודכן | תיעוד אימון; רשימת תצפית | בדוק הצדקה מבוססת ראיות |
| שבוע 10 | הגשה של משימה 2 | לוגיקה של קבלת החלטות אסטרטגית סופית | גיליון החלטות סופי למשימה 2 | ציון משימה 2; רשומת הגשה; קובץ דף החלטה | בדיקת שלמות ההגשה |
| שבוע 11 | אימון מבוס מקרים מובנים או ארגוניים | משוב מבוס-מקרה או משוב על ידי מנטור בנוגע לדילמות אסטרטגיות | דף רפלקסיה למנטור; תוכנית תיקון של הצוות | יומן מעורבות ארגונית; שאלות סטודנטים; רשומת רפלקסיה | אישור נוכחות והשלמת רפלקסיה |
| שבוע 12 | משימה 3 מתחילה | פורמט הגנה סופית, סיכום מנהלים, מבנה שקפים, שאלות ותשובות&כללים | טיוטת ראשי פרקים למצגת | יומן תהליכי צוות; עדכון גילוי שימוש ב-AI | בדיקת איזון עומסי העבודה באמצעות טופס תרומה של עמיתים |
| שבוע 13 | הכנה להגנה סופית | קוהרנטיות אסטרטגית, היתכנות, בקרת סיכונים, שימוש בראיות | טיוטת מצגת; סיכום מנהלים | יומן אימון; רשימת תבדיקה לתצפית | אישור הקישור בין אבחנה, בחירה ויישום |
| שבוע 14 | חזרה וכיול מעריכים | הגנה בח rehearsal (סימולציה) והכשרת מדרגים | מצגת חזרה | רישום הכשרת מעריכים; בדיקת רובריקה ראשונית | אישור כיול הניקוד |
| שבוע 15 | הגנה סופית על האסטרטגיה | מצגת של 8 דקות ו-5 דקות לשאלות ותשובות&A | מצגת סופית; סיכום מנהלים; הגנה בעל פה | ציוני משימה 3; ציוני מעריכים; Q&הערות | חישוב ICC עבור דירוג סובייקטיבי חופף |
| שבוע 16 | הערכה לאחר הקורס וסקירת הקורס | מבחן ידע לאחר הקורס, סקר לאחר הקורס, סקירת קורס, ביקורת נתונים שגרתית | מבחן ידע לאחר הקורס; סקר לאחר הקורס | קובץ מבחן מסיום הקורס; קובץ סקר; רשומת ביקורת קורס | השעה את ניתוח המחקר עד להשלמת הגשת הציונים, קבלת אישור אתי, אימות הסכמה, הסרת זיהוי ונעילת מערך הנתונים |
טבלה 2: לוח זמנים ליישום של 16 שבועות עבור פרוטוקול קורס ניהול אסטרטגי משולב בתחרות. טבלה זו מסכמת את פעילויות הפרוטוקול השבועיות, מיקוד ההוראה, תוצרי הסטודנטים או הצוותים, הרישומים הנדרשים ונקודות הבקרה לאבטחת איכות לאורך קורס של 16 שבועות.
4. הכנת מקרי בוחן עסקיים וחומרי תחרות.
- בחרו מקרה ארגוני מרכזי אחד ושני מקרי תמיכה אופציונליים מחומרי לימוד ציבוריים, אנונימיים או כאלה שאושרו על ידי הארגון. סננו כל מקרה בהתאם להקשר התעשייתי, בעיית קבלת החלטות ניהולית, מגבלת משאבים, טרייד-אוף (trade-off) אסטרטגי, אתגר יישום ותוצאה מדידה. השתמשו במושג "שלמות עיצוב המקרה" במקום "אותנטיות המקרה", אלא אם כן זמינה אימות עצמאי.
- הכינו מקרה מודל אנונימי כאשר חומרים מאושרים מהארגון אינם זמינים. הגדירו את התעשייה, גודל החברה, פלח הלקוחות, הלחץ התחרותי, מגבלת המשאבים, ההחלטה האסטרטגית, סיכון היישום והתוצאה הצפויה. הסירו מידע ארגוני חסוי, כולל שמות חברות, נתונים פינסיים מדויקים, מידע על לקוחות, מידע על עובדים, נתונים קנייניים ומסמכים אסטרטגיים ללא אישור בכתב. תבנית המקרה מסופקת בSupplementary File 1.
- הכינו את מדריך ההדרכה, תבניות המשימות, טופס תרומה של עמיתים, יומן תהליכי צוות, יומן משוב, טופס גילוי שימוש ב-AI, טופס רישום בדיקה בעל פה, מחווני הערכה (rubrics) וטבלת בקרת גרסאות. התירו שימוש מוצהר ב-AI לצורך ליטוש שפה, עיצוב, בדיקת דקדוק, סיעור מוחות כללי ושיפור פריסת שקופיות. אסרו שימוש ב-AI שמחליף אבחון שנוצר על ידי סטודנטים, בחירת ראיות, הצדקת החלטות, ניתוח סיכונים, תכנון יישום או הגנה בעל פה.
- עצבו מחווני הערכה שיתנו עדיפות לחשיבה אסטרטגית על פני טקסט מלוטש. דרגו את השימוש בראיות, הנימוקים לטרייד-אוף, היתכנות היישום, העקביות הפנימית וההגנה בעל פה בנפרד מסגנון הפרזנטציה. העלו את המדריך, התבניות, המחוונים, חומרי המקרה, כללי השימוש ב-AI והליך הערעור לפני שבוע 4.
5. הקימו צוותי סטודנטים והקצו תפקידים בצוות.
- הקימו צוותים של 4–6 סטודנטים. השתמשו בחלוקה שכבתית כאשר ביצועי הבסיס בקורס, תחום ההתמחות, המגדר או ניסיון קודם בתחרויות זמינים ומותרים על פי מדיניות הקורס המוסדית.
- הקצו תפקיד מרכזי אחד לכל סטודנט לפני משימה 1. דרושו מכל צוות להגיש אמנה צוותית ולנהל יומן תהליך המתעד את הקצאת התפקידים, כללי התקשורת, ציפיות לתרומה, דדליינים, אחריות לשימוש ב-AI, נוכחות, החלטות, ראיות שנבדקו, בעיות שלא נפתרו ופעולות להמשך.
- אספו ציוני תרומה מהעמיתים בנקודת האמצע ובשלב הסופי כדי לזהות חוסר איזון בתרומה. בצעו בדיקות בעל פה אישיות במהלך האימון, החזרה או ההגנה הסופית, על ידי בקשה מסטודנטים נבחרים להסביר במילותיהם שלהם את האבחנה של הצוות, את בסיס הראיות, את הלוגיקה של קבלת ההחלטות, את הנחות הסיכון או את תוכנית היישום.
6. ביצוע הערכת בסיס.
- העבירו את מבחן הידע הבסי בניהול אסטרטגי בשבוע 1, לפני הצגת מקרה הבוחן הארגוני ומשימות התחרות, כחלק מהערכה שגרתית של הקורס.
- השתמשו במבחן בן 24 פריטים המדורג מ-0 עד 10, המכסה ניתוח סביבתי, ניתוח תעשייה ומתחרים, ניתוח משאבים פנימיים, בחירה אסטרטגית, תכנון יישום והערכה אסטרטגית. המתווה, כללי פיתוח הפריטים, טופס הביקורת וכללי הניקוד מופיעים בSupplementary File 1.
- פתחו את טופס א' וטופס ב' כגרסאות שקולות אך לא זהות, ההתואמות בכיסוי הנושאים, בפורמט הפריטים, ברמה הקוגניטיבית, בטווח הציונים, בקושי הצפוי ובכללי הניקוד. שני מרצי ניהול אסטרטגי וסוקר אחד של הערכות בחינוך עסקי יעריכו את רלוונטיות הפריטים, הבהירות, הרמה הקוגניטיבית וכיסוי הנושאים. בצעו פיילוט של שני הטפסים עם 24 סטודנטים מחוץ למדגם האנליטי.
- שמרו פריטים עם ערכי קושי של 0.30–0.80 וערכי הבחנה של הפריט מעל 0.20 במידת האפשר. הגדירו את העקביות הפנימית כמקובלת כאשר KR-20 או אלפא של כרונבך הם ≥0.70. הגדירו את הטפסים כמקובלים לשימוש בזיווג כאשר הפרש הממוצע בפיילוט הוא ≤3 נקודות וההפרש הסטנדרטי הוא <0.20.
- בצעו איזון נגדי (Counterbalance) של הטפסים במידת האפשר. הקצו מחצית מהסטודנטים לטופס א' בבסיס ולטופס ב' לאחר הקורס, ואת המחצית השנייה לטופס ב' בבסיס ולטופס א' לאחר הקורס. אם נעשה שימוש בסדר קבוע אחד, רשמו זאת כמגבלה.
- העבירו את סקר המעורבות הבסי לאחר מבחן הידע. השתמשו בפריטים בדירוג של 5 נקודות כדי לתעד עניין בניהול אסטרטגי, רלוונטיות מעשית נתפסת, ביטחון בניתוח מקרי בוחן, נכונות להשתתף במשימות צוות, מוכנות לעבודת צוות וניסיון קודם בתחרות. נתחו פריטים השונים מושגית בנפרד, אלא אם כן ראיות למהימנות ולממדיות תומכות בציון משולב.
- תעדו נוכחות בבסיס, השלמת מבחן הידע, השלמת הסקר וגרסת הטופס במהלך העברת הקורס השגרתית. ייצאו את נתוני הבסיס לשימוש מחקרי רק לאחר אישור אתי, אימות הסכמה, הקצאת קוד והסרת מזהים ישירים.
7. העברת הוראה בניהול אסטרטגי המבוססת על מקרי בוחן ארגוניים.
- העבירו הוראה מבוססת מקרי בוחן באמצעות הרצאות קצרות, דיון מודרך, דפי עבודה קבוצתיים ותרגילים קצרים לקבלת החלטות. השתמשו במשימות למידה פעילה כדי להוביל את הסטודנטים מקליטת מושגים לניתוח, קבלת החלטות, דיון קבוצתי ורפלקציה15.
- הזמינו מנהלי ארגונים, יזמים או מנטורים מהתעשייה במידה והם זמינים. ספקו את מטרות הקורס, רמת הסטודנטים, נושא המקרה, דרישות סודיות, מיקוד הדיון וההתחייבות בזמן לפחות 7 ימים לפני המפגש. השתמשו בתדריך מקרה אנונימי או ציבורי כאשר מנטור חי אינו זמין.
- הציגו בעיה אסטרטגית אחת שאינה סודית, הכוללת אי-ודאות בשוק, לחץ תחרותי, התאמת מודל עסקי, מגבלות משאבים, חסמי יישום או בקרת סיכונים. דרשו מכל צוות לזהות את הבעיה, את בסיס הראיות, חלופות, סיכונים והחלטה מומלצת באמצעות דף עבודה מובנה.
- דרשו מכל צוות להגיש רפלקציה בת 30–50 מילים המקשרת בין בעיית המקרה למושג אחד של ניהול אסטרטגי (Strategic Management) ולהחלטת תחרות פעילה אחת. רשמו את רקע המנטור, מקור המקרה, נוכחות, שאלות סטודנטים, השלמת דפי העבודה והגשת הרפלקציה ביומן מעורבות הארגון. קשרו בין החשיפה למקרה, הרפלקציה, קבלת ההחלטות והבחינה מחדש לאורך מחזור התחרות באמצעות פעילויות למידה חווייתית16.
8. יישום תחרות ההוראה התלת-שלבית.
- קיימו את תדרוך התחרות הרשמי בשבוע 4. הסבירו את רצף המטלות, לוחות הזמנים, המחוונים (rubrics), כללי המשוב, דרישות היושרה האקדמית, הגילוי לגבי שימוש ב-AI, נוהל הבדיקה בעל פה ונוהל הערעורים.
- הטמיעו את מטלה 1 בשבועות 5–6 כדו"ח אבחון אסטרטגי בהיקף של 1,50–2,00 מילים, שיכסה ניתוח תעשייה, ניתוח מתחרים, ניתוח משאבים פנימיים, אבחון סוגיות אסטרטגיות, שימוש בראיות והמלצה ראשונית. החזירו משוב תוך 7 ימי לוח והשתמשו בניסוח המעודכן של הסוגיה האסטרטגית כנקודת מוצא למטלה 2.
- הטמיעו את מטלה 2 בשבועות 8–10 כסימולציית קבלת החלטות אסטרטגיות או גיליון החלטות מובנה, שיכסה מיצוב בשוק, הקצאת משאבים, לוגיקת תמחור או עלויות, רצף יישום, הנחות סיכון ותוצאה צפויה.
- הטמיעו את מטלה 3 בשבועות 12–15 כהגנה סופית על האסטרטגיה. דרשו מצגת של 8–12 שקפים, סיכום מנהלים של 1,0–1,500 מילים, פרזנטציה של 8 דקות ו-5 דקות של שאלות. ודאו שההגנה מקשרת בין האבחון ממטלה 1, לוגיקת ההחלטה ממטלה 2, תוכנית היישום, בקרת סיכונים והתוצאה הצפויה.
- דרגו את שלוש המטלות באמצעות מחוונים של 10 נקודות והחילו את המבנה וממדי הניקוד המופיעים בטבלה 3.
נקודת עצירה: עצרו לאחר ניקוד מטלה 1 כאשר יותר מ-15% מההגשות אינן עומדות במבנה הנדרש או כאשר המדרגים מזהים תיאורים לא ברורים. עדכנו את הנחיות המטלה או את הנחיות המדרגים לפני מטלה 2.
| משימה | שבועות | פלט נדרש | תוכן מרכזי | ציון | מדדי ניקוד |
| משימה 1: דוח אבחנה אסטרטגית | שבועות 5–6 | דו"ח צוות בן 1,50–2,00 מילים | ניתוח תעשייה, ניתוח מתחרים, ניתוח משאבים פנימיים, אבחון סוגיות אסטרטגיות, שימוש בראיות, המלצה ראשונית | 100 | ניתוח תעשייה ושוק, 20 |
| ניתוח משאבים פנימיים, 20 | |||||
| אבחון סוגיה אסטרטגית, 20 | |||||
| שימוש בראיות, 20 | |||||
| לוגיקה ובהירות הכתיבה, 20 | |||||
| משימה 2: סימולציית החלטות אסטרטגיות או גיליון החלטות | שבועות 8–10 | דף קבלת החלטות צוותי מובנה | מיצוב שיווקי, הקצאת משאבים, לוגיקת תמחור או עלויות, רצף יישום, הנחות סיכון, תוצאה צפויה | 100 | קוהרנטיות אסטרטגית, 25 |
| לוגיקת שוק, 20 | |||||
| היתכנות תפעולית, 20 | |||||
| ניתוח סיכונים, 20 | |||||
| הצדקה להחלטה, 15 | |||||
| משימה 3: הגנה סופית על האסטרטגיה | שבועות 12–15 | מצגת של 8–12 שקופיות, סיכום מנהלים של 1,0–1,500 מילים, פרזנטציה של 8 דקות, 5 דקות לשאלות ותשובות&A | אבחנה אסטרטגית, בחירה אסטרטגית, תוכנית יישום, בקרת סיכונים, ביצועים צפויים | 100 | אבחנה אסטרטגית, 20 |
| בחירה אסטרטגית, 25 | |||||
| היתכנות יישום, 20 | |||||
| חדשנות, 15 | |||||
| שימוש בראיות, 10 | |||||
| הגנה בעל פה, 10 |
טבלה 3: מבנה תחרות ההוראה התלת-שלבית וממדי הניקוד. טבלה זו מגדירה את שלוש משימות התחרות, שבועות הביצוע, התוצרים הנדרשים, דרישות התוכן המרכזיות, הניקוד הכולל וממדי הניקוד.
9. תיקנון הניקוד והכשרת מעריכים.
- גייסו לפחות שני מעריכים לצורך דירוג סובייקטיבי כאשר כוח האדם מאפשר זאת; תיעדו דירוג על ידי מעריך יחיד כאשר לא ניתן להשיג מעריך שני.
- הכשיר את המדרגים באמצעות מחוונים, תיאורים, הגשות לכיול, טעויות ניקוד נפוצות, כללי גילוי שימוש ב-AI וקריטריונים לבדיקה בעל פה. המדרגים ידרגו באופן עצמאי שתי הגשות לכיול וידונו בהפרשי ניקוד העולים על 10 נקודות.
- הקפיאו את מחוון ההערכה (rubric) לאחר ההדרכה והשתמשו באותה גרסה לאורך כל מחזור היישום. חשבו את מקדם המתאם הפנים-שופטי (ICC) כאשר שני מעריכים או יותר מדרגים את אותה הגשה. התייחסו ל-ICC ≥ 0.75 כערך מקובל, ובצעו התאמה של הציונים כאשר ה-ICC הוא <0.75 או כאשר פערים בציונים עולים על 10 נקודות. יש לשמר ציונים גולמיים, ציונים תואמים והערות התאמה.
- השתמשו בדירוג מבוס מחוון (rubric) כדי להבהיר ציפיות ולתמוך בהערכה מעצבת17יש לפעול לפי הליך הכשרת המדרגים, הסכמת הניקוד והגישור המפורטים ב- טבלה משלימה S1.
10. איסוף נתוני איכות ההוראה ונאמנות היישום.
- מדוד את איכות ההוראה באמצעות אינטראקציה בכיתה, שלמות עיצוב המקרה, עמידה בלוחות זמנים במתן משוב, התאמה בין המטלה למחוון ומעורבות סטודנטים. נתח את המדדים בנפרד, אלא אם כן ראיות למהימנות ולמדיות תומכות באיחודם.
- השתמש במונח "שלמות תכנון המקרה" (case-design completeness) במקום ב-"אותנטיות המקרה" (case authenticity), אלא אם כן זמינה תיקוף אותנטיות עצמאי.
- מדוד את נאמנות היישום באמצעות השלמת פעילויות מתוכננות, השלמת מיזם או מפגש-מקרה, הגשת משימות, זמן תגובה למשוב, השלמת מחוון (rubric), השלמת תצפית והשלמת הדרכת מעריכים.
- טפל טבלה 4 ספי שכוון ככללי בקרת איכות תפעולית שהוגדרו מראש, ולא כנקודות חיתוך שתוקפו חיצונית. הספים נקבעו לפני ניתוח המחקר בהתבסס על היתכנות פיילוט, הסכמה של צוות ההוראה ומגבלות עומס עבודה.
- השתמש במדדים, במקורות הנתונים, בספי שסבילות, בכללי האזהרה ובפעולות המתקנות ב- טבלה 4נוהלי פתרון בעיות נוספים מופיעים ב- טבלה משלימה S2.
- הגדירו את היישום כהולם כאשר ≥85% מהפעילויות השבועיות המתוכננות הושלמו, ≥85% מהסטודנטים בקבוצת הפרוטוקול השלימו את כל שלושת המטלות, ≥80% מהמשובים הוחזרו תוך 7 ימי לוח, כל המחוונים המרכזיים הושלמו, ותצפיות נדרשות זמינות. הגדירו את היישום כסוב-אופטימלי כאשר השלמת המטלות היא <75%, משוב העולה על 14 ימי לוח עבור >ב-20% מההגשות, ה-ICC הוא <0.75, או >25% מהתצפיות המתוכננות חסרות.
| קטגוריה | מדד | מקור נתונים | נקודת זמן | סקאלה | אות חיובי או סף | כלל התראה | פעולה מתקנת |
| נאמנות ליישום | השלמת פעילות מתוכננת | יומן יישום הקורס | שבועות 1–16 | % השלמה | ≥85% מהפעילויות המתוכננות הושלמו | <85% השלמה | בדיקת מפגשים שהוחמצו ועדכון בקרת לוח הזמנים |
| נאמנות ליישום | מפגש מקרה מובנה או ארגוני | יומן מעורבות ארגונית | שבוע 1 | יושם / לא יושם | המפגש המתוכנן יושם או הוחלף באימון מקרה מובנה | מפגש מתוכנן חסר ללא תחליף | שימוש במפגש מקרה אנונימי או באימון מקרה מובנה |
| נאמנות ליישום | השלמת רצף של שלושה מטלות | רישומי הגשה | שבועות 6, 10, 15 | % סטודנטים | ≥85% מהסטודנטים בקבוצת הפרוטוקול השלימו את כל שלוש המטלות | <75% השלימו את כל המטלות | פישוט ההוראות והוספת בדיקות התקדמות |
| נאמנות ליישום | עמידה בזמני משוב | יומן משובים | שבועות 7, 10, 15 | ימים קלנדריים | ≥80% מהמשובים הוחזרו תוך 7 ימים | >20% מהמשובים הוחזרו לאחר 14 ימים | קיצור טופס המשוב ופיזור עומס הניקוד |
| נאמנות ליישום | השלמת תצפיות | טפסי תצפית | שבועות 1–16 | % תצפיות מתוכננות | ≥75% מהתצפיות המתוכננות הושלמו | >25% מהתצפיות המתוכננות חסרות | הוספת תצפית גיבוי ולוח זמנים קבוע לתצפיות |
| איכות הניקוד | הסכמה בין מדרגים | ציוני מדרגים | תת-קבוצה של מטלה 1 והגנה על מטלה 3 | ICC | ICC ≥0.75 | ICC <0.75 | הדרכה מחדש של המדרגים, הבהרת תיאורי הניקוד וסנכרון ציונים שנפגעו |
| איכות ההוראה | אינטראקציה בכיתה | צ'ק-ליסט תצפית | מפגשים נבחרים | ציון 1–5 | ממוצע ≥3.50 או עלייה של ≥0.30 | ממוצע <3.50 | חיזוק הנחיות הדיון וההנחיה |
| איכות ההוראה | שלמות עיצוב המקרה | צ'ק-ליסט מקרה | לפני שבוע 4 | ציון 0–5 או 1–5 | ממוצע ≥4.0 | ממוצע <3.50 | עדכון הקשר המקרה, בעיית ההחלטה, המגבלות והתוצאות |
| איכות ההוראה | התאמה בין המטלה למחוון | צ'ק-ליסט התאמה | לפני שבוע 4 ובסקירה לאחר הקורס | ציון 0–5 או 1–5 | ממוצע ≥4.0 | ממוצע <3.50 | עדכון ההתאמה בין המטלה, התוצר, המחוון והמשוב |
| איכות ההוראה | מעורבות סטודנטים | נוכחות, השתפות, יומנים, סעיפי סקר | שבועות 1–16 | ציון ברמת סעיף או ציון 1–5 | עלייה של ≥0.30 נקודות | ירידה של >0.30 נקודות | הפחתת עומס, הבהרת ציפיות והגברת תמיכה מעצבת |
| תוצאת למידה | ידע בניהול אסטרטגי | מבחני בסיס ומבחנים לאחר הקורס | שבועות 1 ו-16 | 0–10 | עלייה ממוצעת של ≥5 נקודות | עלייה של <3 נקודות | בדיקת כיסוי ההוראה, התאמת הסעיפים ושקילות המבחנים |
| תוצאת למידה | ניתוח מקרה אישי | מחוון ניתוח מקרה | סוף הסמסטר | 0–10 | יתרון של קבוצת הפרוטוקול ≥3 נקודות | אין יתרון או שיש ירידה | הוספת תרגול בניתוח מקרים ודוגמאות עם הערות |
| תוצאה צוותית | ביצועים בתחרות צוותית | מחווני תחרות | שבועות 6, 10, 15 | 0–10 | שיפור הדרגתי לאורך המטלות | ציון סופי גבוה עם ראיות חלשות בשלבים מוקדמים | בדיקת ניפוח ציונים ואיזון מחדש של המחוון לכיוון הנימוק |
| תפיסת סטודנטים | שביעות רצון | סקר לאחר הקורס | שבוע 16 | ציון 1–5 | ממוצע ≥4.0 | ממוצע <3.50 | בדיקת עומס העבודה, בהירות המטלות, איכות המשוב ותיאום צוותי |
| תפיסת סטודנטים | רלוונטיות מעשית | סקר לאחר הקורס | שבוע 16 | ציון 1–5 | ממוצע ≥4.0 | ממוצע <3.50 | הגברת הספציפיות של המקרים והקישורים להחלטות אסטרטגיות ממשיות |
| בטיחות עומס עבודה | לחץ תחרותי | סקר לאחר הקורס | שבוע 16 | ציון 1–5 או % | לחץ גבוה בקרב ≤20% מהסטודנטים | לחץ גבוה בקרב >20% מהסטודנטים | הפחתת חפיפת מטלות והתאמת המרווחים בין דדליינים |
| אזהרת פרשנות | אפקט תקרה | מבחן בסיס וסקר | שבוע 1 | 0–10 או 1–5 | ידע בסיס ≤85 ושביעות רצון ≤4.50 | ידע >85 או שביעות רצון >4.50 | פרשנות זהירה של שיפורים קטנים |
| אזהרת פרשנות | ניפוח ציונים | תוצאות צוותיות ואישיות | סוף סמסטר | שיפוט דפוסים | הישגי צוות המלווים בראיות ללמידה אישית | ציוני צוות משתפרים אך הלמידה האישית אינה משתפרת | הגברת האחריות האישית וניקוד מבוס נימוקים |
| תהליך צוותי | איזון תרומה בין עמיתים | טופס תרומת עמיתים | שלב אמצע ושלב סופי | ציון 1–5 | אין חוסר איזון משמעותי חוזר | חבר אחד או יותר קיבלו באופן עקבי ציון נמוך מאוד | דרישה להקצאה מחדש של תפקידים ובדיקה של המדריך |
| יושרה אקדמית | שקיפות בשימוש ב-AI | הצהרת AI ובדיקה בעל פה | כל מטלה מרכזית | הוצהר / לא הוצהר | שימוש ב-AI הוצהר בהתאם לכללי המוסד | שימוש ב-AI שלא הוצהר או שימוש לא הולם | יישום הליך היושרה האקדמית של המוסד והבהרת כללי ה-AI |
טבלה 4: מדדי נאמנות ליישום, איכות הוראה, פרשנות תוצאות ופתרון בעיות. טבלה זו מפרטת מדדי נאמנות ליישום, מדדי איכות הוראה, מדדי תוצאה ברמת התלמיד וברמת הצוות, מדדי איכות ניקוד, ספי תוצאות לפרשנות, כללי אזהרה ופעולות תיקון.
11. איסוף נתוני תוצאות לאחר הקורס.
- העבירו את מבחן הידע בניהול אסטרטגי לאחר הקורס בשבוע 16, תוך שימוש בטופס מקביל לטופס הבסיס ולא בטופס הבסיס המדויק.
- אספו את ציון ניתוח המקרה האישי מסוף הסמסטר באמצעות רובריקה המכסה זיהוי בעיות, שימוש בראיות, לוגיקה אסטרטגית, היתכנות ובהירות הכתיבה. דווחו על כך כמדד ביצועים לאחר הקורס, אלא אם כן בוצעה הערכה של ניתוח מקרה כנקודת בסיס אמית.
- אספו את ציוני הצוותים ממשימות 1–3 והפרידו אותם מתוצרי הלמידה ברמה האישית.
- אספו נתונים על שביעות רצון, רלוונטיות מעשית נתפסת, תועלת המשוב, שיתוף פעולה צוותי, לחץ תחרותי, עומס עבודה ושיפור נתפס באמצעות סקר אנונימי לאחר הקורס. אין לאחד פריטים לציון אחד, אלא אם כן ראיות של מהימנות וממדיות תומכות במד משולב.
- אספו את הציוני הסופיים של הקורס רק לאחר הגשת הציונים. ייצאו רשומות של סוף הקורס לשימוש מחקרי רק לאחר קבלת אישור אתי, אימות הסכמה, הקצאת קוד והסרה של מזהים ישירים והערות המאפשרות זיהוי.
נקודת עצירה: השעו את הניתוח המחקרי עד להגשת הציונים הסופיים, קבלת אישור אתי, השלמת אימות ההסכמה, הפרדת רשימת ההסכמות ממאגר הנתונים המחקרי ואישור ביצוע אנונימיזציה.
12. נקה ואחד את מערך הנתונים לאחר הסרת זיהוי.
- לאחר קבלת אישור אתי ואימות הסכמה, צרו מערכי נתונים אנונימיים ברמת התלמיד, ברמת הצוות וברמת מפגש הכיתה. בדקו רשומות כפולות, ערכים בלתי אפשריים, קודים חסרים, קודי צוותים שאינם עקביים ומזהים ישירים.
- מזג את הנתונים ברמת התלמיד וברמת הצוות לפי קוד הצוות בלבד. נקו וקודדו את כל מערכי הנתונים באמצעות התבנית ב-Supplementary File 1 ומילון המשתנים ב-Supplementary Table S3.
- קודדו ערכים חסרים כ-NA. אין להחליף תוצאות חסרות אלא אם כן מדיניות הקורס מגדירה מבחן השלמה או ציון אפס עבור דרישה ספציפית. השמיעו תלמידים שחסר להם מבחן הידע רק מניתוח הידע הצמוד, והשמיעו תלמידים שחסרות להם שלוש משימות התחרות מניתוחים הקשורים לתחרות. שמרו רשומות זמינות עבור ניתוחים זכאים אחרים.
- שמרו את מערך הנתונים הנקי, מילון הנתונים, יומן הניקוי, קובץ המוכנה לניתוח וקובץ הפלט הנעול. בצעו שינויים בנתונים הנעולים רק באמצעות יומן תיקונים מתוארך.
13. נתחו את נאמנות היישום, איכות ההוראה ותוצאות הלמידה.
- נתחו את נאמנות היישום (implementation fidelity) לפני פרשנות של תוצאות הלמידה. פשרו את ההבדלים בתוצאות בזהירות כאשר ספי נאמנות היישום אינם מתמלאים.
- דווחו סטטיסטיקה תיאורית עבור משתנים רציפים ותדירויות עבור משתנים קטגוריאליים, כולל סוג קבוצת המחקר (cohort), קבוצה עיקרית, ניסיון קודם בתחרויות, השלמת משימות, קטגוריית נתונים חסרים ורמת הפרס של קבוצת הפרוטוקול. דווחו את רמת הפרס עבור קבוצת הפרוטוקול בלבד, אלא אם כן קבוצת ההשוואה השתמשה במבנה פרסים זהה.
- השוו מאפיינים בסיים (baseline) באמצעות מבחני t למדגמים בלתי תלויים, מבחני chi-square או מבחני Fisher’s exact, לפי העניין, כדי לתאר דמיון בסיסי ולא שקילות סיבתית.
- השוו שינוי בידע בתוך קבוצה באמצעות מבחני t למדגמים מזווגים או מבחני Wilcoxon signed-rank. השוו תוצאות לאחר הקורס בין קבוצות באמצעות מבחני t למדגמים בלתי תלויים, מבחני Mann-Whitney U, ANCOVA או מודלי רגרסיה המתואמים להבדלים בסיסיים. פשרו את כל ההשוואות בין הקבוצות כניתוחים של רשומות חינוכיות תלוי-הקשר, ולא כהערכות סיבתיות.
- השתמשו במודלים של מדידות חוזרות (repeated-measures) או במודלי אפקטים מעורבים (mixed-effects) כאשר מנתחים נקודות זמן מרובות. שלבו אפקטים אקראיים ברמת הסטודנט עבור מדידות חוזרות, ואפקטים אקראיים ברמת הצוות או טעויות תקן חסינות-לאשכולות (cluster-robust standard errors) כאשר סטודנטים מושבצים בתוך צוותים.
- נתחו תוצאות ברמת הצוות בנפרד מתוצאות ברמת הסטודנט. אל תתייחסו לציוני צוות כתצפיות אינדיבידואליות בלתי תלויות אלא אם כן הטיפול באשכולות (clustering) בוצע.
- דווחו ערכי Cohen’s d עבור הבדלי ממוצעים משמעותיים, כאשר 0.20, 0.50 ו-0.80 יפורשו כאפקט קטן, בינוני וגדול, בהתאמה. דווחו רווחי סמך של 95% במידת האפשר והשוו תוצאות של מקרים מלאים (complete-case) מול תוצאות של מקרים זמינים (available-case) בניתוחי רגישות.
- שמרו את הסקריפט הסטטיסטי, את פלט התוכנה, את קובצי המקור של האיורים ואת הטבלאות הסופיות. הגישו את כל הטבלאות כקבצים נפרדים הניתנים לעריכה וארחבו את נתוני המקור של האיורים.
14. פרשנות של יישום מוצלח ובלתי אופטימלי.
- הגדירו הצלחה בביצוע לפני פרשנות של התוצאות הסופיות. הגדירו את הפרוטוקול ככזה שבוצע בהצלחה כאשר ספי המהימנות (fidelity thresholds) המרכזיים ב- טבלה 4 הם מולאו.
- פרש את תוצאות הלמידה רק לאחר בדיקת המהימנות (fidelity), אמינות הניקוד, דפוסי נתונים חסרים, השוואתיות של קו הבסיס ויחידת הניתוח.
- יש להתייחס לעלייה של $\ge$5 נקודות בידע לאחר הקורס, ליתרון של $\ge$3 נקודות בניתוח מקרה אישי בסוף הסמסטר, או לעלייה של $\ge$0.30 במד תהליך הוראה בסולם של 5 נקודות, כסימן למימוש חיובי כאשר הנאמנות לביצוע (fidelity) היא הולמת.
- הגדרת תבניות אזהרה לפני הניתוח: אפקט תקרה כאשר הידע הבסי עולה על 85/10 או כאשר שביעות הרצון הבסיסית עולה על 4.50/5; ניפוח ציונים כאשר ציוני הצוות משתפרים ללא ראיות ללמידה אינדיבידואלית; לחץ תחרותי מופרז כאשר שביעות הרצון פוחתת ב- >0.30 נקודות או >20% מהסטודנטים מדווחים על לחץ גבוה מעומס העבודה.
- יש לפרש את ההערכה כתהליך רב-שכבתי, החל מנאמנות היישום (implementation fidelity), דרך תגובת התלמידים, ראיות ללמידה ועד לשיפור הקורס, ולא כציון בודד18יש להימנע מניסוחים המעידים על קשר סיבתי, כיוון שהמערך משתמש בקבוצות לימודיות שגרתיות, קבוצת השוואה היסטורית ורשומות קורס רטרוספקטיביות ללא פרסונליזציה, ולא בהקצאה אקראית.
15. ביצוע פתרון בעיות, התאמה וחזרתיות של הקורס.
- בחנו את נאמנות הביצוע (fidelity) לאחר כל משימה מרכזית וזהו משוב מאוחר, השתפות נמוכה של הצוות, הנחיות לא ברורות, טפסי ניקוד חסרים, תצפיות חסרות, חוסר שלמות בעיצוב המקרה, חילוקי דעות בין המדרגים או שימוש לא הולם ב-AI.
- החילו את פעולות התיקון המופיעות ב-טבלה משלימה S2, כולל עדכון הנחיות, אימון נוסף, הכשרה מחדש של המדרגים, הקצאה מחדש של תפקידים, התאמת עומס העבודה או סקירה מוסדית של יושרה אקדמית.
- בסמסטרים קצרים יותר, שלבו את משימות 1 ו-2 לכדי תדריך קצר של החלטת אבחנה, תוך שימור ההגנה הסופית, רישום המשוב ובדיקות נאמנות הביצוע. עבור מסירה מקוונת, היברידית או רב-סקציונית גדולה, השתמשו בתדריכים דיגיטליים, יומני הגשה, בדיקות בעל פה מקוונות, תבניות משוב סטנדרטיות, רובריקות משותפות, הכשרה מאוחדת למדרגים, משקיפים ברמת הסקציה, לוחות בקרה (dashboards) צוותיים וניהול נתונים מרכזי.
- לאחר שבוע 16, סקרו את נאמנות הביצוע, מדדי התהליך, תוצאות הסטודנטים, הערות המדרגים, דפוסי נתונים חסרים, רישומי שימוש ב-AI, הערות סטודנטים והרהורים של המרצה. עדכנו את המדריך, חבילת המקרה, הרובריקות, התבניות, לוח זמני המשוב וטפסי רישום הנתונים לפני המחזור הבא.
- לאחר קבלת אישור אתי והכנת נתוני המחקר, ארחבו את מפת הפרוטוקול, לוח הזמנים, המדריך, קבצי המקרה, הרובריקות, טפסי התצפית, כלי הסקר, מערך הנתונים ללא זיהוי, מילון הנתונים, סקריפט הניתוח, הפלט הסטטיסטי, קבצי המקור של האיורים, הטבלאות והחומרים המשלימים. רשמו את כל העדכונים בטבלת בקרת הגרסאות.
תוצאות
התוצאות המייצגות מציגות את התפוקים שהופקו מפרוטוקול שיפור קורס לניהול אסטרטגי המשולב בתחרות לאורך 16 שבועות. התוצאות מאורגנות לפי נאמנות ליישום, איכות ההוראה, תוצאות ברמת הסטודנט, תוצאות ברמת הצוות ודפוסי אזהרה שהוגדרו מראש. מכיוון שהנתונים הגיעו מקבוצות לימודיות שגרתיות עם קבוצת השוואה היסטורית ולא מהקצאה אקראית, יש לפרש את כל התוצאות כפלטורי יישום והערכה תלויי-הקשר, ולא כראיות סיבתיות ליעילות.
נאמנות הביצוע ואיכות ההוראה
מערך הנתונים הזמין של הרשומות הלימודיות כלל 8 סטודנטים בקבוצת ההשוואה ההיסטורית ו-92 סטודנטים בקבוצת הפרוטוקול. מערך הנתונים ברמת הצוות כלל 2 צוותים מקבוצת ההשוואה ו-23 צוותים מקבוצת הפרוטוקול. לאחר יישום הכלל של מבחני ידע מצומדים לפני ואחרי, נשמרו 79 סטודנטים מקבוצת ההשוואה ו-84 סטודנטים מקבוצת הפרוטוקול לצורך ניתוח רכישת הידע.
נבדקה נאמנות היישום (Implementation fidelity) לפני פרשנות תוצאות הלמידה. קבוצת הפרוטוקול השלימה 15 מתוך 16 פעילויות שבועיות מתוכננות (93.8%), בעוד שקבוצת ההשוואה השלימה 13 מתוך 16 (81.3%). מפגש המקרה המובנה או הארגוני הושלם בקבוצת הפרוטוקול, אך לא היה חלק ממבנה ההשוואה ההיסטורי המלא. בקבוצת הפרוטוקול, 8 מתוך 92 סטודנטים השלימו את כל שלוש משימות התחרות, המהוות 95.7%. בקבוצת ההשוואה, ל-18 מתוך 8 סטודנטים היו רשומות מלאות לשלוש הערכות דומות מבוסות-פרויקט, המהוות 20.5%; רשומות אלו נשמרו להשוואה תיאורית בלבד, מכיוון שהקורס ההיסטורי לא יישם את רצף התחרות המלא. משוב נמסר בתוך 7 ימי לוח עבור 243 מתוך 268 הגשות של קבוצת הפרוטוקול, המהוות 90.7%, בהשוואה ל-49 מתוך 6 הגשות של קבוצת ההשוואה, המהוות 74.2%. זמן ההמתנה הממוצע למשוב היה 5.8 ± 1.9 ימים ו-8.4 ± 2.7 ימים, בהתאמה. השלמת התצפיות הגיעה ל-81.3% ו-62.5%. מדד ה-ICC של שני מעריכים בקבוצת הפרוטוקול עבור ניקוד סובייקטיבי חופף היה 0.82, ובכך עלה על סף ה-0.75 שהוגדר מראש. באופן כללי, קבוצת הפרוטוקול עמדה ב-5 מתוך 5 מדדי ליבה של נאמנות היישום, בעוד שקבוצת ההשוואה עמדה ב-2 מתוך 5.
מדדי איכות ההוראה היו גבוהים יותר בקבוצת הפרוטוקול. האינטראקציה בכיתה הייתה 3.70 ± 0.44 בקבוצת הפרוטוקול ו-3.15 ± 0.48 בקבוצת ההשוואה. שלמות עיצוב המקרה הייתה 4.08 ± 0.36 ו-3.23 ± 0.42. ההלימה בין המטלה לרובריקה הייתה 4.01 ± 0.39 ו-2.30 ± 0.51. מעורבות סטודנטים עלתה ב-0.42 ± 0.41 נקודות בקבוצת הפרוטוקול, ובכך חרגה מסף האות שהוגדר מראש של 0.30 נקודות, בעוד שבקבוצת ההשוואה היא עלתה ב-0.07 ± 0.34 נקודות. הנוכחות הייתה דומה בין הקבוצות: 89.6% ± 5.8% ו-89.1% ± 6.2%. טבלה 5 מסכמת מדדים אלו.
| אינדיקטור | מקור נתונים | סף שנקבע מראש | קוהורט השוואה היסטורי | קוהורט הפרוטוקול | פירוש |
| השלמת פעילות שבועית מתוכננת | יומן יישום הקורס | ≥85% | 13/16 שבועות, 81.3% | 15/16 שבועות, 93.8% | הושג בקבוצת הפרוטוקול |
| יישום של סשן מקרה (case-session) מובנה או ארגוני | יומן מעורבות ארגונית | סשן אחד לפחות שיושם | 0/1 מפגש, 0.0% | סשן 1/1, 10.0% | הושג בקבוצת הפרוטוקול |
| השלמת משימה או השלמת רישום פרויקט ממופה | רשומות הגשה | ≥85% | 18/8 סטודנטים, 20.5% | 8/92 סטודנטים, 95.7% | הושג בקבוצת הפרוטוקול; רשומות היסטוריות הן לתיאור בלבד |
| משוב שיוגש תוך 7 ימים | יומן משוב | ≥80% | 49/66 הגשות, 74.2% | 243/268 הגשות, 90.7% | הושג בקבוצת הפרוטוקול |
| השלמת רשימת תבדיקים לתצפית | טפסי תצפית | ≥75% | 10/16 מפגשים, 62.5% | 13/16 מפגשים, 81.3% | הושג בקבוצת הפרוטוקול |
| הסכמה בין שני מעריכים | ציוני המדרגים | ICC ≥0.75 | לא נדרש | ICC = 0.82 | הושג בקבוצת הפרוטוקול |
| זמן תגובה למשוב | יומן משוב | מועדף ממוצע של ≤7 ימים | 8.4 ± 2.7 ימים | 5.8 ± 1.9 ימים | בתוך הטווח המועדף בקבוצת הפרוטוקול |
| אינטראקציה בכיתה | רשימת תצפיות (Checklist) | ממוצע ≥3.50 או עלייה ≥0.30 | 3.15 ± 0.48 | 3.70 ± 0.44 | גבוה יותר בקבוצת הפרוטוקול |
| שלמות תכנון המקרה | רשימת תבדיקה לתכנון מקרי בוחן | ממוצע $\ge$ 4.0 מועדף | 3.23 ± 0.42 | 4.08 ± 0.36 | גבוה יותר בקבוצת הפרוטוקול |
| התאמה בין המשימה למחוון | רשימת בדיקה ליישור | ממוצע ≥4.0 | 2.30 ± 0.51 | 4.01 ± 0.39 | הושג בקבוצת הפרוטוקול |
| שיפור במעורבות סטודנטים | נוכחות, יומנים, פריטי סקר | עלייה של ≥0.30 נקודות | +0.07 ± 0.34 | +0.42 ± 0.41 | הושג בקבוצת הפרוטוקול |
| שיעור נוכחות | רישום נוכחות | תיאורי | 89.1% ± 6.2% | 89.6% ± 5.8% | דומה בין קוהורטות |
| סיכום ליבת נאמנות היישום | מדדי יישום | מרבית ספי thresholds הליבה הושגו | 2/5 ספים הושגו | הושגו 5/5 ספים | הפרוטוקול בוצע כמתוכנן |
טבלה 5: מדדי איכות הוראה ונאמנות יישום מייצגים. טבלה זו מדווחת על תוצרי נאמנות יישום ואיכות הוראה מייצגים עבור קבוצת ההשוואה ההיסטורית וקבוצת הפרוטוקול, ומציינת האם הושגו ספי המבצע שהוגדרו מראש.
איור 2 מציג את פרופיל נאמנות היישום ואיכות ההוראה. איור 2A מראה את השלמת הפעילות השבועית המתוכננת. איור 2B מראה את השלמת רצף שלושה מטלות. איור 2C מראה משוב שהוחזר בתוך 7 ימי לוח. איור 2D מראה אינטראקציה בכיתה, שלמות עיצוב המקרה, התאמה של מחוון המטלה ושיפורים במעורבות התלמידים. איור 2E מראה השלמת תצפית והשלמת מפגש מקרה ארגוני או מובנה. מדדי נאמנות מבוססי אחוזים ומדדי הוראה מבוססי סולם יש להתפרש במסגרת סולמות המדידה שלהם.
איור 2פרופיל נאמנות היישום ואיכות ההוראה. איור זה מסכם את מדדי נאמנות היישום (implementation fidelity) ואיכות ההוראה עבור קבוצת ההשוואה ההיסטורית וקבוצת הפרוטוקול.A) השלמת פעילות שבועית מתוכננת. (Bהשלמת משימה או השלמת רישום פרויקט ממופה, תוך הבחנה בין הרצף המלא של שלוש המשימות של קבוצת הפרוטוקול לבין רישומי פרויקטים ממופים בקבוצת ההשוואה ההיסטורית.C(משוב יוחזר תוך 7 ימי לוח, כאשר זמן המענה למשוב יוצג כמידע תומך. (Dמדדי איכות להוראה, הכוללים אינטראקציה בכיתה, שלמות תכנון המקרה, התאמה בין המשימה לרובריקה, ועלייה במעורבות התלמידים.ה'השלמת רשימת תצפית ויישום של מפגש מקרה ארגוני או מובנה. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.
תוצאי למידה ברמת הסטודנט
תוצאות ברמת התלמיד נבחנו בנפרד מתוצאות התחרות ברמת הצוות. ציוני הידע הבסיים היו 64.18 ± 8.74 בקבוצת הפרוטוקול ו-62.37 ± 8.91 בקבוצת ההשוואה, עם הפרש בסי קטן של 1.81 נקודות (d = 0.21). ציוני הידע לאחר הקורס היו 71.08 ± 8.58 ו-6.41 ± 9.06, עם הפרש של 4.67 נקודות (d = 0.53). השיפור בידע היה 6.90 ± 5.41 נקודות ו-4.04 ± 5.26 נקודות, עם הפרש של 2.86 נקודות (d = 0.54). קבוצת הפרוטוקול עלתה על רף הסיגנל שהוגדר מראש לשיפור בידע של 5 נקודות.
הביצועים בניתוח מקרה אישי בסוף הסמסטר היו 82.31 ± 7.06 בקבוצת הפרוטוקול ו-76.42 ± 7.38 בקבוצת ההשוואה, עם הפרש של 5.89 נקודות (d = 0.82). תוצאה זו פורשה כמדד ביצועים לאחר הקורס ולא כשיפור מצמידי, כיוון שלא נערך הערכת בסיס אמית של ניתוח מקרה. רמת השביעות הייתה 3.6 ± 0.58 ו-3.34 ± 0.62 (d = 0.53). הרלוונטיות המעשית הנתפסת הייתה 3.91 ± 0.5 ו-3.41 ± 0.59 (d = 0.8). לחץ התחרות היה גבוה יותר בקבוצת הפרוטוקול, 3.12 ± 0.76, בהשוואה ל-2.48 ± 0.71 (d = 0.87), אך לחץ עומס עבודה גבוה דווח על ידי 13 מתוך 92 סטודנטים מקבוצת הפרוטוקול, המהווים 14.1%, ערך הנמוך מסף האזהרה שהוגדר מראש של 20%. ציון הקורס הסופי נחשב כתוצאה חינוכית משנית והיה 87.20 ± 6.10 בקבוצת הפרוטוקול ו-84.80 ± 6.70 בקבוצת ההשוואה (d = 0.37). טבלה 6 מסכמת את התוצאות ברמת הסטודנט וברמת הצוות.
| תוצאה | רמה | קבוצת השוואה היסטורית | קבוצת הפרוטוקול | הפרש | גודל אפקט | פרשנות |
| מדגם רשומות חינוכיות זמין | סטודנט | n = 8 | n = 92 | — | — | רשומות קורס אנונימיות שמישות |
| מדגם ניתוח ידע צמוד | סטודנט | n = 79 | n = 84 | — | — | סטודנטים עם ציוני ידע בקו הבסיס ואחרי הקורס |
| ציון ידע בקו הבסיס | סטודנט | 62.37 ± 8.91 | 64.18 ± 8.74 | 1.81 | 0.21 | הפרש קו בסיס קטן |
| ציון ידע לאחר הקורס | סטודנט | 6.41 ± 9.06 | 71.08 ± 8.58 | 4.67 | 0.53 | גבוה יותר בקבוצת הפרוטוקול |
| שיפור בידע | סטודנט | 4.04 ± 5.26 | 6.90 ± 5.41 | 2.86 | 0.54 | קבוצת הפרוטוקול עלתה על סיגנל של 5- נקודות ומעלה |
| ציון ניתוח מקרה פרטני | סטודנט | 76.42 ± 7.38 | 82.31 ± 7.06 | 5.89 | 0.82 | עלתה על סיגנל ניתוח מקרה של 3- נקודות ומעלה |
| שיפור במעורבות סטודנטים | סטודנט | +0.07 ± 0.34 | +0.42 ± 0.41 | +0.35 | 0.93 | עלתה על סיגנל של 0.30- נקודות ומעלה |
| ציון שביעות רצון | סטודנט | 3.34 ± 0.62 | 3.6 ± 0.58 | 0.32 | 0.53 | גבוה יותר בקבוצת הפרוטוקול |
| רלוונטיות מעשית נתפסת | סטודנט | 3.41 ± 0.59 | 3.91 ± 0.5 | 0.5 | 0.8 | גבוהה יותר בקבוצת הפרוטוקול |
| ציון לחץ תחרותי | סטודנט | 2.48 ± 0.71 | 3.12 ± 0.76 | 0.64 | 0.87 | לחץ גבוה יותר בקבוצת הפרוטוקול |
| לחץ עומס עבודה גבוה | סטודנט | לא הוערך כלחץ תחרותי | 13/92, 14.1% | — | — | מתחת לסף האזהרה של 20% |
| ציון סופי של הקורס | סטודנט | 84.80 ± 6.70 | 87.20 ± 6.10 | 2.4 | 0.37 | תוצאה חינוכית משנית |
| מספר צוותים | צוות | n = 22 | n = 23 | — | — | ניתוחים ברמת צוות דווחו בנפרד |
| חשיפה לסבבי החלטה | צוות | 0.7 ± 0.81 סבבים | 5.09 ± 0.79 סבבים | 4.32 | לא הוערך | מדד חשיפה ליישום |
| ציון למשימה 1 או אבחנה ממופה | צוות | 69.84 ± 6.45 | 72.18 ± 6.28 | 2.34 | 0.37 | הפרש צנוע ברמת הצוות |
| ציון למשימה 2 או החלטה ממופה | צוות | 71.09 ± 6.12 | 73.52 ± 5.91 | 2.43 | 0.4 | הפרש צנוע ברמת הצוות |
| ציון למשימה 3 או הגנה סופית ממופה | צוות | 72.71 ± 6.36 | 7.20 ± 6.04 | 4.49 | 0.72 | הפרש הגדול ביותר ברמת הצוות |
| ציון צוות סופי | צוות | 71.21 ± 5.81 | 74.30 ± 5.52 | 3.09 | 0.5 | הפרש בינוני ברמת הצוות |
| מימד אבחנה אסטרטגית | צוות | 14.60 ± 1.80 | 15.60 ± 1.70 | 1 | — | מימד רוביקת הגנה סופית |
| מימד בחירה אסטרטגית | צוות | 17.90 ± 2.20 | 19.10 ± 2.10 | 1.2 | — | מימד רוביקת הגנה סופית |
| מימד ישימות יישום | צוות | 14.40 ± 1.90 | 15.50 ± 1.80 | 1.1 | — | מימד רוביקת הגנה סופית |
| מימד חדשנות | צוות | 10.80 ± 1.60 | 1.50 ± 1.50 | 0.7 | — | מימד רוביקת הגנה סופית |
| מימד שימוש בראיות | צוות | 7.10 ± 1.0 | 7.50 ± 0.90 | 0.4 | — | מימד רוביקת הגנה סופית |
| מימד הגנה בעל פה | צוות | 7.91 ± 1.10 | 8.0 ± 1.0 | 0.09 | — | מימד רוביקת הגנה סופית |
| ממוצע תרומת עמיתים | צוות | 3.72 ± 0.41 | 3.91 ± 0.36 | 0.19 | 0.49 | אין כשל משמעותי בתהליכי צוות |
| צוותים עם חוסר איזון בתרומה | צוות | 4/22, 18.2% | 3/23, 13.0% | −5.2 נקודות אחוז | — | אין דפוס חוסר איזון סיסטמטי |
| חלוקת פרסים | צוות | לא רלוונטי | 10 ללא; 8 מקום שלישי; 2 מקום שני; 3 מקום ראשון | — | — | קבוצת הפרוטוקול בלבד |
| דפוס אזהרת ניפוח ציונים | צוות | לא רלוונטי | 2/23 צוותים, 8.7% | — | — | סומן לצורך פתרון בעיות |
טבלה 6: תוצאות מייצגות ברמת הסטודנט וברמת הצוות. טבלה זו מציגה תוצאות מייצגות ברמת הסטודנט וברמת הצוות, כולל מדגם רשומות לימודיות זמין, מדגם ניתוח ידע מזווג, ציוני ידע, שיפור בידע, ציון ניתוח מקרה אישי, מעורבות, שביעות רצון, רלוונטיות מעשית נתפסת, לחץ עומס עבודה, ציון סופי בקורס, ציוני משימות צוות, ציוני מממדי מחוון הגנה סופית, תרומת עמיתים, חלוקת פרסים ומדדי אזהרה.
איור 3 מציג תוצאות ברמת סטודנט, כולל הערכות אי-ודאות במידת הצורך. איור 3A מציג את ציוני הידע בקו הבסיס ואחרי הקורס. איור 3B מראה על רכישת ידע. איור 3C מציג ביצועי ניתוח של מקרים בודדים. איור תלת-מדי מראה עלייה במעורבות, בשביעות רצון וברלוונטיות מעשית נתפסת. איור 3E מציג את הציון הסופי בקורס כתוצאה משנית.
איור 3תוכניות למידה מייצגות ברמת הסטודנט. איור זה מציג תוצאות ברמה האישית בנפרד מתוצאות התחרות ברמת הצוות.A) ציוני ידע בניהול אסטרטגי בקו הבסיס ולאחר הקורס. (B) רכישת ידע מהערכה ראשונית להערכה שלאחר הקורס. (C) ציון ניתוח מקרה אישי מסוף הסמסטר. (ד'מדדי עלייה במעורבות ותפיסות מהסקר, כולל שביעות רצון ורלוונטיות מעשית נתפסת, מוצגים בסולמות נפרדים במידת הצורך.ה) ציון קורס סופי כתוצאה חינוכית משנית, ולחץ עבודה גבוה של קבוצת הפרוטוקול ביחס לסף האזהרה שהוגדר מראש. ערכים מוצגים כממוצע ± SD במקומות שבהם מופיעים ערכי ±, וסבילי השגיאה מייצגים SD. ב- (ה.), קו הייחוס המקווקו מצביע על סף אזהרת לחץ עומס-עבודה גבוה שהוגדר מראש של 20%. אנא לחצו כאן כדי להציג גרסה גדולה יותר של איור זה.
תוצאות תחרות ברמת הצוות
תוצאות ברמת הצוות נותחו בנפרד מתוצאות ברמת התלמיד. לצורך דיווח תיאורי, רישומי פרויקטי-מקרה של קבוצת ההשוואה הותאמו לנקודות הערכה מקבילות כאשר היו זמינות, אך רישומים אלו לא ייצגו השלמה של רצף התחרות המשולב המלא. חשיפה לסב החלטות דווחה כאינדיקטור לחשיפה ליישום ולא כהערכה של אפקט למידה. קבוצת הפרוטוקול השלימה 5.09 ± 0.79 סבבי החלטה, בעוד שקבוצת ההשוואה השלימה 0.7 ± 0.81 סבבים תואמים.
בקוהורט הפרוטוקול, ציון הממוצע במשימה 1 היה 72.18 ± 6.28, ציון הממוצע במשימה 2 היה 73.52 ± 5.91, וציון הממוצע במשימה 3 היה 7.20 ± 6.04. הציונים הממופים המתאימים בקוהורט ההשוואה היו 69.84 ± 6.45, 71.09 ± 6.12, ו-72.71 ± 6.36. ציון הצוות הסופי היה 74.30 ± 5.52 בקוהורט הפרוטוקול ו-71.21 ± 5.81 בקוהורט ההשוואה. מדדי הרובריקה של הגנה סופית או פרויקט סופי ממופה היו כדלקמן: אבחנה אסטרטגית, 15.60 ± 1.70 ו-14.60 ± 1.80; בחירה אסטרטגית, 19.10 ± 2.10 ו-17.90 ± 2.20; היתכנות יישום, 15.50 ± 1.80 ו-14.40 ± 1.90; חדשנות, 1.50 ± 1.50 ו-10.80 ± 1.60; שימוש בראיות, 7.50 ± 0.90 ו-7.10 ± 1.0; והגנה בעל פה, 8.0 ± 1.0 ו-7.91 ± 1.10, בהתאמה.
חלוקת הפרסים דווחה עבור קבוצת הפרוטוקול בלבד, מאחר שקבוצת ההשוואה לא השתמשה במבנה התחרות המלא המבוס על פרסים. בקבוצת הפרוטוקול, 10 צוותים לא קיבלו פרס, 8 קיבלו פרס שלישי, 2 קיבלו פרס שני ו-3 קיבלו פרס ראשון. תרומת העמיתים הממוצעת הייתה 3.91 ± 0.36 בקבוצת הפרוטוקול ו-3.72 ± 0.41 בקבוצת ההשוואה. חוסר איזון בתרומה זוה ב-3 מתוך 23 צוותים בקבוצת הפרוטוקול וב-4 מתוך 2 צוותים בקבוצת ההשוואה. דפוס אזהרה על ניפוח ציונים זוה ב-2 מתוך 23 צוותים בקבוצת הפרוטוקול, המהווה 8.7%.
איור 4 מציג תוצאות ברמת הצוות ותבניות אזהרה. איור 4A מציג את ציוני הצוותים במשימה 1, משימה 2 ומשימה 3. איור 4B מציג את הציונים לפי ממדי המחוון של ההגנה הסופית. איור 4C מציג רק את התפלגות הפרסים לפי מחזור הפרוטוקול. איור 4D מציג מקרי אזהרה על ניפוח ציונים. איור 4E מציג את מאזן תרומת העמיתים ומספר מקרים של חוסר איזון בתרומה.
איור 4תוצאות תחרות ברמת הצוות ותבניות אזהרה. איור זה מציג תוצאות ברמת הצוות בנפרד מתוצאות למידה ברמת הסטודנט.Aציוני צוותים בשלבי המטלה עבור מטלה 1: אבחון אסטרטגי, מטלה 2: החלטה אסטרטגית, ומטלה 3: הגנה סופית, כאשר ציוני הפרויקט הממופים מוצגים עבור קבוצת ההשוואה ההיסטורית במקומות שבהם הם זמינים.B(ציוני ממדי רובריקת הגנה סופית, כולל אבחון אסטרטגי, בחירה אסטרטגית, היתכנות יישום, חדשנות, שימוש בראיות והגנה בעל פה. (C(חלוקת פרסים לקבוצת הפרוטוקול בלבד, מכיוון שקבוצת ההשוואה ההיסטורית לא השתמשה במבנה התחרות המלא המבוס על פרסים. (ד׳דפוס אזהרה של ניפוח ציונים, המוגדר כביצועים גבוהים בשלב ההגנה הסופי ללא תמיכה בעוצמה דיאגנוסטית או בראיות ללמידה אינדיבידואלית.הציון תרומת עמיתים ומספרי חוסר-איזון בתרומה מוצגים כאינדיקטורים נפרדים ברמת הצוות. אנא לחצו כאן כדי לצפות בגרסה מורחבת של איור זה.
דפוסים תת-אופטימליים ואינדיקטורים לפתרון בעיות
שתיים מתוך 23 צוותי קבוצת הפרוטוקול הראו דפוס אזהרה מוגדר מראש של ניפוח ציונים. לצוותים אלה היו ציוני הגנה סופיים גבוהים יחסית, אך ציוני אבחון חלשים יותר במשימה 1 ושיפורים נמוכים מהממוצע בידע האישי. דפוס זה סומן למעקב באיטרציה הבאה של הקורס, במקום להתפרש כראיה לשיפור בלמידה. לא נצפתה אזהרה משמעותית של אפקט תקרה, כיוון שציוני הידע הבסיים היו נמוכים מ-85 מתוך 10, והשביעות הרצון הבסיסית הייתה נמוכה מ-4.50 מתוך 5. הנוכחות הייתה דומה בין הקבוצות, ולא נצפה חוסר איזון שיטתי בתרומת הצוותים, אם כי שלושה צוותים מקבוצת הפרוטוקול דרשו ניטור.
באופן כללי, התוצאות המייצגות הראו כי הפרוטוקול הניב פלטים הניתנים לפירוש בשלוש רמות: נאמנות היישום, ראיות ללמידה ברמת התלמיד וביצועים תחרותיים ברמת הצוות. מקרי האזהרה תמכו בשימוש בפרוטוקול לצורך ניטור הקורס, פתרון בעיות ושיפור עוקב של הקורס.
מערך הנתונים שעבר דה-אידנטיפיקציה ותומך במחקר זה הופקד ב-figshare.com וזמין בכתובת https://doi.org/10.6084/m9.figshare.3094931. מערך הנתונים כולל רשומות ברמת התלמיד, רשומות תחרות ברמת הצוות, מדדי יישום, רשומות זרימת משתפים, רשומות ביקורת של נתונים חסרים ורשומות ציוני מעריכים. מזהי תלמידים, רשומות הסכמה, קובצי קישור והערות בטקסט חופשי המאפשרות זיהוי אינם כלולים.
טבלה משלימה S1: הדרכת המדרגים, הסכמת ניקוד ונוהל ליישוב הפרשים בניקוד. טבלה זו מפרטת את הקצאת המדרגים, בדיקת העצמאות, ההכוונה למחוון, דירוג הכיול, בדיקת ההסכמה על הדירוגים, כלל פער הדירוג, הליך הפשרה, ביקורת הזנת הנתונים, נעילת הדירוגים והליך הארכיון.אנא לחצו כאן כדי להוריד קובץ זה.
טבלה משלימה S2: מטריצת פתרון בעיות עבור חריגות מהפרוטוקול ויישום תת-אופטימלי. טבלה זו מפרטת סטיות מהפרוטוקול ודפוסי יישום תת-אופטימליים, כולל כללי הפעלה, פעולות מתקנות, רשומות נדרשות והערות פרשנות.אנא לחצו כאן להורדת קובץ זה.
טבלה משלימה S3: מבנה מערך הנתונים ומילון משתנים עבור מערך הנתונים החינוכי המזוה באופן חלקי (de-identified). טבלה זו מגדירה משתנים ברמת התלמיד, ברמת הצוות וברמת המפגש הכיתתי, כולל קודי משתנים, תיאורים, סוגי נתונים, טווחי קידוד, מקורות נתונים וכללים לנתונים חסרים.אנא לחצו כאן להורדת קובץ זה.
קובץ משלים 1: תבניות תפעוליות, חומרי הערכה ומחברת נתונים ללא זיהוי. קובץ משלים זה מספק את תבניות התפעול, חומרי ההערכה, טפסי הניקוד, פריטי הסקר, את בדיקת תכנון המקרה, את כללי הנתונים החסרים, את מבנה ספריית הנתונים בעומד אנונימי, את יומן הניקוי, תבנית סיכום הניתוח ורישום בקרת הגרסאות ששימשו לתמיכה בשחזור.אנא לחצו כאן להורדת קובץ זה.
דיון
פרוטוקול זה מספק גישה ניתנת לשחזור להטמעת רצף של הוראה-תחרות בתוך קורס לניהול אסטרטגי לתואר ראשון. מטרתו אינה להוסיף אירוע תחרותי לקורס קיים, אלא להפוך את התחרות לתהליך מובנה לשיפור הקורס, המקשר בין אבחון אסטרטגי, קבלת החלטות, משוב מעצב, הגנה סופית והערכה לאחר הקורס. לפיכך, הערך הלימודי תלוי בתכנון הרצף ולא בעצם קיומה של תחרות בלבד. פעילויות מבוססות-תחרות או מבוססות-משחק עשויות להגביר את ההשתתפות, אך הערכן החינוכי הופך לקשה לפירוש כאשר מטרות הלמידה, תוצרי המשימה, קריטריוני הניקוד ותיעוד הנתונים אינם מוגדרים בבירור19. פרוטוקול זה נותן מענה לבעיה זו על ידי הגדרת רצף ההוראה, מחווני הניקוד (rubrics), חלון המשוב, תיעוד היישום ומבנה נתונים אנונימי הדרושים לשחזור.
עקרון העיצוב המרכזי הוא סנכרון. כל משימה מקושרת לתוצאת קורס, לנושא כיתתי, לתפוקת סטודנט ולקריטריון ניקוד. משימה 1 דורשת מהסטודנטים לאבחן בעיה אסטרטגית, משימה 2 דורשת מהם לבחור ולהצדיק החלטה אסטרטגית, ומשימה 3 דורשת מהם להגן על האסטרטגיה הסופית באמצעות ראיות בכתב ובעל פה. רצף זה של אבחון-החלטה-הגנה נועד למנוע מהסטודנטים להתייחס לתחרות כתרגיל פרזנטציה בלבד. הוא גם מעניק לסטודנטים הזדמנויות חוזרות ללטש את הנימוקים שלהם לפני ההגנה הסופית. מבנה זה עולה בקנה אחד עם מחקרים על למידה חווייתית ולמידה נתמכת-סימולציה, המצביעים על כך שלמידה יישומית היא יעילה יותר כאשר סטודנטים משתתפים במחזורי החלטה פעילים, מקבלים משוב ומסבירים את בחירותיהם, במקום רק לצפות בתרחיש או לשחק אותו20,21.
מספר שלבי בקרת איכות נחוצים כדי שהפרוטוקול יעבוד כמתוכנן. ראשית, המשוב חייב להינתן בעיתוי המאפשר השפעה על המטלה הבאה. לכן, חלון המשוב של 7 ימים משמש כדרישה של עיצוב לימודי, ולא רק כיעד אדמיניסטרטיבי. שנית, יש לנטר את איכות הניקוד. מחווני הערכה (Rubrics) יכולים לשפר את השקיפות, אך זאת רק כאשר המדרגים חולקים הבנה משותפת של התיאורים ושל דרישות הראיות22. מסיבה זו, הפרוטוקול כולל הכשרת מדרגים, ניקוד כיול, בדיקות פערים בניקוד, ניטור ICC, הערות התאמה ונעילת ניקוד. שלישית, יש להפריד בין ביצועי הצוות לבין ראיות ללמידה אינדיבידואלית. ציון הגנה סופי גבוה עשוי לשקף את איכות הפרזנטציה או תרומה לא שוויונית של חברי הצוות, במקום למידה אינדיבידואלית רחבה. לפיכך, הפרוטוקול מנתח בנפרד ציוני ידע, ציוני ניתוח מקרה אינדיבידואליים, תפיסות סטודנטים, תרומת עמיתים וציוני צוות.
הפרוטוקול כולל גם כללי פתרון בעיות, מכיוון שהוראה המשלבת תחרות עלולה להיכשל בדרכים צפויות. המשוב עשוי להתעכב, התרומות של חברי הצוות עלולות להיות לא מאוזנות, סטודנטים עלולים להסתמך יתר על המידה על ליטוש המצגת, וציוני הקבוצות עשויים להשתפר ללא ראיות תואמות ללמידה אינדיבידואלית. סיכונים אלו מנוטרים באמצעות יומני משוב, רישומי תרומה של עמיתים, טפסי גילוי על שימוש ב-AI, בדיקות בעל פה, פלטי הסכמה בין מעריכים וכללי אזהרה מפני ניפוח ציונים. מרכיבי הגילוי על שימוש ב-AI והבדיקות בעל פה חשובים במיוחד, שכן סטודנטים עשויים להשתמש בכלים דיגיטליים לליטוש שפה, עיצוב או סיעור מוחות, אך עדיין נדרשים להוכיח את החשיבה האסטרטגית שלהם. הפרוטוקול אינו אוסר על כל סיוע של AI, אך הוא דורש גילוי ומגן על משימת הלמידה המרכזית: על הסטודנטים להיות מסוגלים להסביר את האבחנה, הראיות, הלוגיקה של קבלת ההחלטות, סיכוני היישום וההמלצה הסופית.
הפרוטוקול ניתן להתאמה בין מוסדות שונים, אך יש לשמור על רצף הליבה. אם פלטפורמת סימולציה עסקית אינה זמינה, ניתן להשתמש בגיליון קבלת החלטות מובנה כתחליף לסבב הסימולציה. במקרה שחונכים מהתעשייה אינם יכולים להשתתף, ניתן להשתמש במקרה אנונימי, בתדריך מקרה ציבורי או בהערת חונך מוקלטת. כיתות גדולות עשויות לדרוש קבוצות שיפוט מקבילות ותבניות משוב סטנדרטיות, בעוד שכיתות קטנות יותר עשויות לאפשר מפגשי הגנה ארוכים יותר. יש לתעד התאמות אלו, כיוון שפרוטוקולים לשיפור הקורס תלויים לא רק ברעיון ההוראתי אלא גם בנאמנות היישום, בתמיכת המרצה, בתנאי ההערכה ובשלמות הנתונים23. הדרישה החיונית היא שהקורס ישמר את הרצף המקושר של אבחנה, החלטה, הגנה, משוב והערכה.
יש להכיר במספר מגבלות. פרוטוקול זה נועד לשיפור הקורס, ולא מדובר בניסוי מבוקר אקראי. לפיכך, следует לפרש הבדלים בין קבוצת הפרוטוקול לקבוצת ההשוואה כתוצאי יישום והערכה מייצגים, ולא כהוכחה סיבתית ליעילות. קבוצות השוואה היסטוריות או מקבילות עשויות להיות שונות בהרכב הסטודנטים, בדינמיקה של הכיתה, בתזמון המוסדי או בתנאי ההערכה. ציוני הקורס הסופיים הם גם תוצאים משניים, מכיוון שהם עשויים לכלול מרכיבי קורס שגרתיים מעבר למשימות התחרות. בנוסף, לא ניתן להשתמש בתוצאות ברמת הצוות כתחליף לתוצאי למידה ברמת הסטודנט. מגבלות אלו מטופלות על ידי דיווח נפרד של נאמנות היישום, מדדי איכות הוראה, תוצאות ברמת הסטודנט, תוצאות ברמת הצוות, עומס עבודה ותבניות אזהרה24.
הפרוטוקול מתאים ביותר לקורסים שבהם סטודנטים נדרשים לחבר בין ידע מושגי לבין שיקול דעת ניהולי יישומי. ניהול אסטרטגי הוא מסגרת טבעית לכך, שכן הסטודנטים מצופים לנתח סביבות, להעריך משאבים, להשוות אפשרויות אסטרטגיות ולהצדיק בחירות של יישום. ניתן להתאים את אותה המבנה גם ליזמות, אסטרטגיית שיווק, ניהול חדשנות, עיצוב מודלים עסקיים וקורסי ניהול אחרים הדורשים קבלת החלטות מבוססת ראיות. תרומתו הרחבה יותר היא מעשית: הוא מספק למרצים דרך הניתנת לביקורת לתיעוד האופן שבו פעילות לשיפור הקורס יושמה, נוטרה, דורגה, עברה אנונימיזציה, נותחה ותוקנה. בחינוך ניהולי, למידה חוויתית מוערכת לעיתים קרובות בשל הריאליזם שלה, אך נהליה אינם מדווחים תמיד בפירוט מספיק כדי לאפשר שחזור. פרוטוקול זה נותן מענה לפער זה על ידי שילוב של נאמנות ליישום (implementation fidelity), עקביות בדירוג, ממשל נתונים ופתרון תקלות לתהליך שחזור יחיד25.
גילויים
למחברים אין ניגודי עניינים להצהיר עליהם.
תודות
המחברים מודים לסטודנטים ולסגל ההוראה שהשתתפו ותמכו ביישום פעילויות התחרות המבוססות על הקורס. המחברים מודים גם לבית הספר למנהל של Zhuhai College of Science and Technology על מתן תמיכה מוסדית לא-כספית עבור יישום ההוראה השוטפת, תיאום הקורס וארגון הנתונים. מחקר זה נתמך על ידי פרויקט איכות ההוראה ורפורמת ההוראה באוניברסיטאות לתואר ראשון של מחוז גואנגדונג לשנת 2024 במסגרת רפורמת הוראת ההשכלה הגבוהה (מענק מס׳ 1174).
חומרים
| שם | חברה | מספר קטלוג | הערות |
|---|---|---|---|
| טופס גילוי על שימוש ב-AI | פותח על ידי המחבר | גילוי-AI-v1.0; קובץ משלים 1 | הרישומים חשפו שימוש ב-AI עבור כל הגשה עיקרית |
| מבחן ידע בסיסי בניהול אסטרטגי | פותח על ידי המחבר | SMKT-Pre-v1.0; קובץ משלים 1 | מדידת ידע בסיס בשבוע 1 |
| רשימת תבדיקה לתצפית בכיתה | פותח על ידי המחבר | תצפית-v1.0; קובץ משלים 1 | מתעד את איכות האינטראקציה בכיתה ואת איכות תהליך ההוראה |
| יומן ניקיון | פותח על ידי המחבר | יומן-ניקוי-v1.0; קובץ משלים 1 | בדיקות נתונים, תיקונים, החרגות ונעילת סט נתונים של רשומות |
| מדריך לתחרות | פיתוח המחבר | מדריך-v1.0; קובץ משלים 1 | מגדיר את רצף המשימות, כללי ההגשה, מחווני הערכה (רובריקות), גילוי שימוש בבינה מלאכותית, בדיקות בעל-פה, ערעורים ומועדי הגשה |
| מילון נתונים | פותח על ידי המחבר | מילון נתונים-v1.0; טבלה משלימה 2 | מגדיר משתנים, טווחי קידוד, מקורות נתונים וכללים לנתונים חסרים |
| חוברת עבודה של מערך נתונים שעבר ד-אידנטיפיקציה (הסרת פרטים מזהים) | פותח על ידי המחבר | ספר עבודה של מערך נתונים-v1.0; קובץ משלים 1 | מאחסן משתנים ברמת הסטודנט, ברמת הצוות וברמת מפגש הכיתה |
| חבילת מקרי בוחן ארגונית או אנונימית | פותח על ידי המחבר או מאושר על ידי הארגון | CasePack-v1.0; קובץ משלים 1 | מספק את ההקשר לקבלת החלטות אסטרטגיות |
| תבנית שקופיות להגנה סופית | פותח על ידי המחבר | FSD-Template-v1.0; קובץ משלים 1 | מבנה מצגת עבור משימה 3 במדריכים |
| טופס ניקוד להגנה סופית על אסטרטגיה | פותח על ידי המחבר | FSDSF-v1.0; קובץ משלים 1 | מתעד את ציוני המדרגים ומעני את משימה 3&הערכת amp;A |
| IBM SPSS Statistics | IBM | גרסה 27.0; רישיון מוסדי או אישי | סטטיסטיקה תיאורית, השוואות בין קבוצות, גודלי אפקט וניתוח ICC |
| דף משימה לניתוח מקרה פרטני | פותח על ידי המחבר | ICATS-v1.0; קובץ משלים 1 | מגדיר את דרישות ניתוח המקרה הפרטני ואת תחומי הניקוד |
| מפתח תשובות למבחן ידע | פותח על ידי המחברים | SMKT-Key-v1.0; קובץ משלים 1 | תומך בדירוג מבחני ידע |
| Microsoft Excel | Microsoft | Excel 2021; רישיון מוסדי או אישי | הזנת נתונים, מילון נתונים, יומן ניקוי, הכנת טבלה ובדיקות נתוני מקור |
| טופס רישום לבדיקה פומית | פותח על ידי המחבר | Oral-Check-v1.0; קובץ משלים 1 | מתעד שאלות ותשובות של בדיקות בעל פה פרטניות |
| טופס תרומת עמיתים | פותח על ידי המחבר | PCF-v1.0; קובץ משלים 1 | מתעד תרומה של עמיתים וחוסר איזון בתרומה |
| סקר למידה לאחר הקורס | פותח על ידי המחבר | PCLS-v1.0; קובץ משלים 1 | מדד של שביעות רצון, רלוונטיות, תועלת של משוב, שיתוף פעולה, עומס עבודה ושיפור נתפס |
| מבחן ידע בניהול אסטרטגי לאחר הקורס | פותח על ידי המחבר | SMKT-Post-v1.0; קובץ משלים 1 | מדידת הידע לאחר הקורס בשבוע 16 באמצעות טופס מקביל |
| קובץ הדרכת מעריכים | פותח על ידי המחבר | הדרכת מעריכים-v1.0; קובץ משלים 1 | מספק קבצי כיול, מתאריים, דוגמאות ושגיאות ניקוד נפוצות |
| קובץ פלט סטטיסטי | נוצר באמצעות תוכנה | פלט-סטטיסטי-v1.0; ארכב עם תיקיית ניתוח נעולה | שומר את פלטי הסטטיסטיקה יחד עם קובץ הניתוח וגרסת סט הדאטה |
| גיליון קבלת החלטות אסטרטגיות | פותח על ידי המחבר | SDS-v1.0; קובץ משלים 1 | פלט החלטת המדריכים למשימה 2 |
| תבנית לדוח אבחון אסטרטגי | פותח על ידי המחבר | SDR-Template-v1.0; קובץ משלים 1 | מבנה דוח משימה 1 למדריכים |
| קובץ קישור לקודי סטודנטים | קובץ מוגבל שפותח על ידי המחבר | קישור-סטודנט-קוד-v1.0; נשמר בנפרד על ידי מנהל הנתונים | מקשר בין זהות הסטודנט לבין קוד המחקר לפני הסרת זיהוי |
| רשימת תיקוף להתאמה בין המטלה למחוון | פותח על ידי המחבר | יישור-v1.0; קובץ משלים 1 | בודק התאמה בין תוצרי הלמידה, תוצרי המטלה, קריטריוני הניקוד ונקודות המשוב |
| תבנית לאמנת צוות | פותח על ידי המחבר | אמנת צוות-v1.0; קובץ משלים 1 | מתעד את הקצאת התפקידים, כללי התקשורת, דדליינים וציפיות לתרומה |
| יומן תהליכי צוות | פותח על ידי המחבר | יומן-תהליכי-צוות-v1.0; קובץ משלים 1 | מתעד נוכחות בישיבות, החלטות, התקדמות, בעיות ופעולות להמשך |
| טבלת בקרת גרסאות | פותח על ידי המחבר | גרסה-בקרת-v1.0; קובץ משלים 1 | עוקב אחר מספר גרסה, תאריך, עורך, סיבה וסטטוס אישור |
| פלטפורמת הסקרים המקוונת Wenjuanxing | Wenjuanxing | פלטפורמה מבוססת רשת; גישה באמצעות חשבון מוסדי או חשבון משתמש | סקר בסיס, סקר סוף קורס, טופס תרומת עמיתים וייצואי גילוי שימוש ב-AI |
מקורות
- Porter ME. Competitive strategy: techniques for analyzing industries and competitors. Free Press; New York; 1980.
- Barney J. Firm resources and sustained competitive advantage. J Manage. 1991;17(1):99-120.
- Keys JB, Wolfe J. The role of management games and simulations in education and research. J Manage. 1990;16(2):307-36.
- Crookall D. Serious games, debriefing, and simulation/gaming as a discipline. Simul Gaming. 2010;41(6):898-920.
- Prince M. Does active learning work? A review of the research. J Eng Educ. 2004;93(3):223-31.
- Morris TH. Experiential learning: a systematic review and revision of Kolb’s model. Interact Learn Environ. 2020;28(8):1064-77.
- Greco M, Baldissin N, Nonino F. An exploratory taxonomy of business games. Simul Gaming. 2013;44(5):645-82.
- Vlachopoulos D, Makri A. The effect of games and simulations on higher education: a systematic literature review. Int J Educ Technol High Educ. 2017;14:22.
- Johnson DW, Johnson RT, Smith KA. Cooperative learning returns to college: what evidence is there that it works? Change. 1998;30(4):26-35.
- Martell K. Assessing student learning: are business schools making the grade? J Educ Bus. 2007;82(4):189-95.
- Hamari J, Koivisto J, Sarsa H. Does gamification work? A literature review of empirical studies on gamification. In: Proceedings of the 47th Hawaii International Conference on System Sciences. IEEE; 2014. p. 3025-34.
- Buckley P, Doyle E. Gamification and student motivation. Interact Learn Environ. 2016;24(6):1162-75.
- Biggs J, Tang C. Teaching for quality learning at university: what the student does. 4th ed. Open University Press; Maidenhead; 2011.
- Hattie J, Timperley H. The power of feedback. Rev Educ Res. 2007;77(1):81-112.
- Freeman S, et al. Active learning increases student performance in science, engineering, and mathematics. Proc Natl Acad Sci U S A. 2014;111(23):8410-5.
- Kolb DA. Experiential learning: experience as the source of learning and development. 2nd ed. Pearson FT Press; Upper Saddle River; 2014.
- Panadero E, Jonsson A. The use of scoring rubrics for formative assessment purposes revisited: a review. Educ Res Rev. 2013;9:129-44.
- Frye AW, Hemmer PA. Program evaluation models and related theories: AMEE Guide No. 67. Med Teach. 2012;34(5):e288-99.
- Garris R, Ahlers R, Driskell JE. Games, motivation, and learning: a research and practice model. Simul Gaming. 2002;33(4):441-67.
- Sitzmann T. A meta-analytic examination of the instructional effectiveness of computer-based simulation games. Pers Psychol. 2011;64(2):489-528.
- Shute VJ. Focus on formative feedback. Rev Educ Res. 2008;78(1):153-89.
- Jonsson A, Svingby G. The use of scoring rubrics: reliability, validity, and educational consequences. Educ Res Rev. 2007;2(2):130-44.
- O’Donnell CL. Defining, conceptualizing, and measuring fidelity of implementation and its relationship to outcomes in K-12 curriculum intervention research. Rev Educ Res. 2008;78(1):33-84.
- Marsden E, Torgerson CJ. Single group, pre- and post-test research designs: some methodological concerns. Oxf Rev Educ. 2012;38(5):583-616.
- Gosen J, Washbush J. A review of scholarship on assessing experiential learning effectiveness. Simul Gaming. 2004;35(2):270-93.