מחקר זה מעריך התנהגות יצירתית בקרב סטודנטים למסלולי לימוד במוזיקה, באמצעות יישום של רובריקה מובנית לדירוג קומפוזיציות ומדידת Rasch רב-היבטית על יצירות מוזיקליות מקוריות.
מאמר מחקר
הערכת התנהגות יצירתית בקרב סטודנטים למוזיקה באמצעות יצירות קומפוזיציה תוך שימוש במודל רש רב-היבטים (Many-Facet Rasch Model)
במאמר זה
סיכום
תקציר
הערכת יצירתיות בחינוך מוזיקלי נותרת מאתגרת מכיוון ששיפוטים של יצירות מוזיקליות מקוריות מושפעים מהעדפות סובייקטיביות, פרשנויות לא אחידות של קריטריונים והבדלים ברמת המחמירות של המדרגים. בהכשרה של הלחנה, ניתן להתייחס ליצירות שהושלמו כתוצרים ניתנים לצפייה המראים כיצד סטודנטים מייצרים, מפתחים, משנים, מזקקים ומממשים רעיונות מוזיקליים. מחקר זה בחן האם מחוון (rubric) מובנה לדירוג הלחנות, בשילוב עם מדידת Rasch רב-היבטית (many-facet), יכול לתמוך בהערכה הדירה של התנהגות יצירתית בקרב סטודנטים לתואר ראשון במוזיקה. הלחנות מקוריות של 80 סטודנטים למוזיקה דורגו באופן עצמאי על ידי תשעה מדרגים מיומנים באמצעות מחוון של חמישה נקודות. המחוון כלל חמישה ממדים קשורים של התנהגות יצירתית בהלחנה: חידוש (novelty), שטף (fluency), גמישות (flexibility), דיוק (precision) והיתכנות (feasibility). נתוני הדירוג נותחו באמצעות תוכנת FACETS, גרסה 3.83.6, כאשר סטודנטים, קריטריונים ומדרגים הוגדרו כהיבטים נפרדים בתוך מבנה מדידת logit משותף. תכנון הדירוג כלל 3,600 הזדמנויות דירוג צפויות; נותחו 3,598 דירוגים נצפים תקפים, כאשר שניים היו חסרים. התאמת המודל הכוללת תמכה בפרשנות של תכנון הדירוג, ומבנה הקטגוריות המסודר העיד על כך שסולם חמש הנקודות פעל בכיוון הצפוי. הערכות הקריטריונים הראו כי חידוש היה קל יותר להפגנה יחסית, בעוד שהיתכנות וגמישות היו קשים יותר בתוך הלחנות שהושלמו. נצפו גם הבדלים במיקום השימוש בציונים על ידי המדרגים, מה שתומך בצורך למדל את השפעות המדרגים במקום להסתמך רק על ציונים גולמיים. ההפרדה בין הסטודנטים הייתה בינונית, מה שמעיד על כך שהכלי התאים יותר לשיוך רבתי רחב של ביצועים מאשר לדירוג אינדיבידואלי מדויק. ממצאים אלו מרמזים כי מחוון מבוסס-הלחנה בשילוב עם מדידת Rasch רב-היבטית יכול לספק מסגרת שקופה להערכת התנהגות יצירתית בחינוך מוזיקלי גבוה.
מבוא
יצירתיות הפכה לתוצאה מרכזית של חינוך לאמנויות, שכן מצופה מהסטודנטים לא רק לשחזר טכניקות מבוססות, אלא גם ליצור עבודות שהן מקוריות, משמעותיות וניתנות לתקשור בתוך הקשר דיסציפלינרי1. בחינוך מוזיקלי, ציפייה זו חשובה במיוחד בהכשרה בקומפוזיציה, שבה על הסטודנטים להפוך ידע מוזיקלי ליצירות שלמות באמצעות קבלת החלטות לגבי נושא, מלודיה, מקצב, מבנה, פיתוח ומימוש. הערכה בהקשר זה היא משימה קשה, כיוון שלא ניתן להעריך יצירתיות מוזיקלית אך ורק כעניין של טעם אישי או רושם אמנותי כללי. קומפוזיציה שהושלמה מספקת ראיה ניתנת לצפייה להתנהגות יצירתית, אך ראיה זו חייבת להיות מתורגמת לקריטריונים מפורשים כדי שהניקוד יהיה שקוף וניתן לשחזור2. ללא קריטריונים ברורים, הניקוד עלול לשקף את העדפת המעריך, היכרות סגנונית או רושם כללי של איכות, במקום את התכונות הספציפיות של העבודה שהוגשה.
המחקר הנוכחי מגדיר התנהגות יצירתית בהלחנה כביטוי הנראה לעין של עבודה מוזיקלית יצירתית בתוך קומפוזיציה שלמה. הרובריקה משתמשת בחמישה ממדים: חידוש (novelty), שטף (fluency), גמישות (flexibility), דיוק (precision) והיתכנות (feasibility). ממדים אלו אינם נתפסים כתת-תכונות זהות או כבניות תיאורטיות נפרדות. במקום זאת, הם משמשים כביטויים ברמת קריטריון של מבנה ביצועי רחב אחד המבוסס על התוצר: המידה שבה סטודנט מסוגל לייצר, לפתח, לשנות, ללטש ולממש רעיונות מוזיקליים ביצירה שלמה. חידוש מייצג את הייחודיות של הרעיון המוזיקלי או העיבוד; שטף מייצג את הרצף והפרודוקטיביות של פיתוח הרעיון; גמישות מייצגת גישות מגוונות, טרנספורמציות או שינויים אדפטיביים בטיפול המוזיקלי; דיוק מייצג זיקוק, ארגון פנימי ומוחשיות של הפרטים המוזיקליים; והיתכנות מייצגת את ההיתכנות האמנותית והמעשית של הקומפוזיציה השלמה3. מבנה זה מקשר בין ייצור רעיונות, פיתוח רעיונות, טרנספורמציה אדפטיבית, זיקוק טכני והיתכנות מוממשת לתוך תוצר מוזיקלי שלם אחד.
טיעון מבנה זה מפחית גם חפיפה בין קריטריונים וזיהום של המבנה. הדיוק הוגבל לליטוש, ארגון פנימי ופירוט מוזיקלי קונקרטי, בעוד שההיתכנות הוגדרה כהיתכנות האמנותית והמעשית של היצירה כקומפוזיציה ממומשת. באופן דומה, השטף הוגבל לפיתוח מתמשך ופרודוקטיבי, בעוד שהגמישות הוגדרה כוריאציה, טרנספורמציה וטיפול מוזיקלי אדפטיבי. יצירה עשויה להכיל רעיון מקורי אך פיתוח מוגבל, או שהיא עשויה להיות קוהרנטית ויציבה מבחינה טכנית תוך שהיא מראה טרנספורמציה מועטה. לפיכך, רובריקה מבוססת-קריטריונים היא הכרחית, מכיוון שציון גולמי כולל עלול להסוות פרופילים יצירתיים לא אחידים בתוך אותה קומפוזיציה4.
הערכה מוזיקלית המתווכת על ידי מעריכים דורשת תשומת לב הן להתנהגות המדרג והן לביצועי התלמיד. גם כאשר המעריכים משתמשים באותו מחוון (rubric), הם עשויים להבדל ברמת המחומרות, בשימוש בקטגוריות ובפרשנות של הקריטריונים. הבדלים אלו אינם רק בעיות פרוצדורליות; הם חלק ממצב המדידה ויכולים להשפיע על משמעות הציונים הנצפים5. מדידת Rasch רב-היבטית (Many-facet Rasch measurement) מתאימה למסגרת זו מכיוון שהיא מעריכה תלמידים, מעריכים, קריטריונים וקטגוריות של סולם הדירוג בתוך מסגרת לוגיט (logit) משותפת. מדדי התלמידים מייצגים את הביצועים היצירתיים המוערכים לאחר התאמה לקשיי הקריטריון ולמחומרות המעריכים, מדדי הקריטריון מצביעים על מידת הקושי בהפגנת כל ממד, מדדי המעריכים מצביעים על מיקום יחסי של שימוש בציונים, והסטטיסטיקות של הקטגוריות מראות האם סולם הדירוג פועל לפי הסדר המתוכנן6. גישה זו חזקה יותר מהסתמכות בלבד על סכומים גולמיים או ציוני ממוצע מכיוון שהיא מפרידה בין מקורות מרובים של שונות בציונים שאלמלא כן היו משולבים בדירוג הנצפה.
השימוש במודל Rasch חד-ממדי רב-היבטים (many-facet Rasch model) דורש טיעון מבני ברור. במחקר זה, ההגדרה החד-ממדית מוצדקת ברמת ההתנהגות היצירתית-קומפוזיציונית הכוללת, ולא מתוך הנחה שחמשת ממדי המחוון (rubric) הם זהים. חמשת הקריטריונים אמורים לייצג היבטים נצפים נבדלים של מבנה ביצוע רחב כפי שהובא לידי ביטוי ביצירות מוזיקליות שלמות. הנחה זו טופלה כהנחת מדידה אמפירית ונבחנה באמצעות התאמה לקריטריונים, תפקוד סולם הדירוג, קשרי שאריות בין קריטריונים, ואבחון אינטראקציות של מעריך-קריטריון ותלמיד-קריטריון7. למרות שגישות Rasch רב-היבתיות יושמו בהערכה מבוססת ביצועים, השימוש השיטתי בהן להערכת קומפוזיציה מלאה בתוך השכלה מוזיקלית גבוהה נותר מוגבל8. מחקרים קיימים בהערכה מוזיקלית הדגישו את הקושי בשיפוט מוצרים אמנותיים פתוחים ואת הצורך בקריטריוני ניקוד מפורשים9, בעוד שמחקרים בתחום המדידה הראו כי הערכת ביצועים מבוססת מחוון יכולה להפיק תועלת ממידול ישיר של השפעות המעריך והקריטריון10. על רקע זה, המחקר הנוכחי מיישם מסגרת Rasch רב-היבתית על קומפוזיציות מקוריות שנוצרו על ידי סטודנטים לתואר ראשון במוזיקה. המחקר עונה על שלוש שאלות: האם מסגרת דירוג הקומפוזיציה המוצעת מתפקדת כראוי כעיצוב מדידה; כיצד קושי הקריטריון והשונות בשימוש בניקוד על ידי המעריכים תורמים לשונות הציונים הנצפית; וכיצד מפוזרים מדדי הביצוע היצירתי של הסטודנטים לאחר מידול השפעות הקריטריון והמעריך.
פרוטוקול
מחקר זה אושר על ידי ועדת האתיקה המוסדית (Institutional Review Board) של בית הספר למוזיקה ומחול, מכון ג'יאנגשי לטכנולוגיה, ננצ'אנג 330098, ג'יאנגשי, סין, תחת מספר אישור YG2020158. הסכמה מדעת בכתב התקבלה מכל המשתתפים לפני ביצוע המטלה ואיסוף הנתונים. המשתתפים עודכנו כי הקומפוזיציות שהגישו ישמשו להערכה מבוססת מחקר בלבד לאחר הסרת פרטים מזהים. שמות הסטודנטים, מזהי כיתות, מטא-נתונים של קבצים המכילים מידע על המחברים ומזהים ישירים אחרים הוסרו לפני הניקוד. מזהים אלו לא נחשפו למדרגים. כל העבודות שהוגשו עברו דה-אידנטיפיקציה לפני הניקוד והניתוח, וכל קבצי הניתוח עובדו באמצעות מזהים מקודדים בלבד.
מסגרת המחקר, גיוס משתתפים והקצאת משימות
המחקר נערך בבית הספר למוזיקה ומחול, המכון לטכנולוגיה של ג'יאנגשי (Jiangxi Institute of Technology), נאנצ'אנג, ג'יאנגשי, סין, מספטמבר 2025 עד ינואר 2026. המשתתפים גויסו ממחזור השנה השלישית בלימודי מוזיקולוגיה, מכיוון שסטודנטים בשלב זה השלימו את תוכנית הלימודים הבסיסית בתורת המוזיקה, פרקטיקה של ביצוע, הלחנה של מוזיקה אלקטרונית וקורסי הלחנה לפני סמסטר המחקר.
הקוהורט המקור הכולל 96 סטודנטים לשנה שלישית במוזיקולוגיה. פנו לכל 96 הסטודנטים. ארבעה סטודנטים לא סיפקו הסכמה בכתב ולכן לא נכנסו לשלב הסינון. 92 הסטודנטים הנותרים סיפקו הסכמה מדעת בכתב ועברו סינון. שנים עשר סטודנטים הוצאו לפני הניתוח הסופי. סיבות ההדרה היו הגשות קומפוזיציה חלקיות אצל חמישה סטודנטים, חסרון של אלמנט מבני נדרש אחד או יותר אצל שלושה סטודנטים, הגשות לאחר המועד האחרון אצל שני סטודנטים, קבצים לא קריאים או פגומים אצל סטודנט אחד, ונסיגה לפני הדירוג אצל סטודנט אחד. המדגם האנליטי הסופי כלל 80 סטודנטים לתואר ראשון, ביניהם 32 גברים ו-48 נשים.
המדגם האנליטי הסופי ייצג את כלל הקורפוס הזכאי של חיבורים אנונימיים וניתנים לדירוג שהיו זמינים מהקוהורט שגויס לאחר יישום כללי ההסכמה, הסינון וההדרה. גודל מדגם זה לא הוצדק על ידי התייחסות ל-3,600 הזדמנויות הדירוג כתצפיות בלתי תלויות ברמת הסטודנט. תחת זאת, תכנון Rasch רב-היבטים (many-facet Rasch design) השתמש בדירוגים חוזרים של 80 החיבורים כדי להעריך מדדי ביצוע יצירתי של הסטודנטים, תוך מידול בו-זמנית של קשיי הקריטריונים, השונות בשימוש בציונים בין המדרגים ותפקוד קטגוריות סולם הדירוג. שילובם של תשעה מדרגים נועד לתמוך בהערכת השונות בשימוש בציונים הקשורה למדרגים ולהפחית את התלות בפרשנות של מדרג בודד לגבי איכות החיבור הפתוחה. סטודנטים היו זכאים להשתתפות אם היו רשומים כסטודנטים במשרה מלאה לשנה השלישית בתוכנית למוזיקולוגיה, השלימו את קורסי הליבה הנדרשים לפני סמסטר המחקר, סיפקו הסכמה מדעת בכתב, והגישו חיבור מקורי שלם אחד בתוך תקופת ההגשה שנקבעה. סטודנטים הודרו אם לא הגישו עבודה שלמה, אם ההגשה לא עמדה בדרישות המשימה שהוגדרו מראש, אם לא ניתן היה לפתוח או לדרג את הקובץ, אם ההגשה התקבלה לאחר המועד האחרון, או אם ההסכמה בוטלה לפני הדירוג.
כל משתתף השלים משימה אחת של הלחנה מקורית אישית תחת אותן הנחיות בכתב. הסטודנטים הורשו לבחור נושא וסגנון משלהם, אך כל הגשה הייתה נדרשת לכלול מילים, מלודיה, קצב וארגון צורני. עבודות קבוצתיות, עבודות שהוגשו מחדש, חומרים מפורסמים שעברו עיבוד, קבצי טיוטה בלבד ותיקונים מאוחרים הוחרגו ממאגר הנתונים של הניקוד הרשמי. גרסה סופית אחת בלבד התקבלה מכל משתתף. דרישות המשימה המפורטות ומפרטי ההגשה מוצגים ב-Supplementary Table 1. תהליך הגיוס והניתוח המלא מוצג ב- איור 1.
איסוף, סינון ואנונימיזציה של יצירות קומפוזיטוריות
כל ההלחנות הוגשו באמצעות מערכת ניהול הלמידה המוסדית עד השעה 23:59 ביומה האחרון של שבוע המטלה שנקבע. כל הגשה כללה קובץ תווים אחד בפורמט PDF וביצוע אודיו נלווה אחד בפורמט MP3. לאחר מועד ההגשה, צוות המחקר הוריד את כל הקבצים שהוגשו דרך אותו ערוץ הגשה ובדק כל יצירה אל מול דרישות המטלה שהוגדרו מראש לפני העברתן למעריכים. רק הלחנות שהכילו מילים, מלודיה, מקצב וארגון צורני, ושייכו למוצר סופי שלם, נשמרו. קבצי טיוטה בלבד, עבודות לא גמורות, קבצים החסרים מרכיבים מבניים עיקריים, הגשות מאוחרות וקבצים בלתי קריאים או פגומים הוצאו מהמדגם לפני הניקוד.
לכל יצירה כשירה הוקצה קוד סטודנט אנונימי מ-S1 עד S80. שמות הסטודנטים, מזהי כיתות, מטא-נתונים של קבצים המכילים מידע על המחברים וכל מזהה ישיר אחר הוסרו לפני שהקבצים שוחררו לדירוג. קובץ הקישור המקשר בין זהות המשתתף לקוד המחקר האנונימי נשמר בנפרד על ידי החוקר הראשי בקובץ המוגן בסיסמה. קובץ קישור זה לא היה זמין למדרגים או לאנליסט במהלך הערכת המודל. קורפוס הדירוג הסופי consisted מ-80 קומפוזיציות אנונימיות וניתנות לדירוג, כאשר כל אחת מיוצגת על ידי קובץ תו של PDF אחד והקלטה קולית אחת בפורמט MP3.
מחוון להערכה
מחוון הניקוד העריך חמישה ממדים של התנהגות יצירתית בעבודות קומפוזיציה: מקוריות, שטף, גמישות, דיוק והיתכנות. המחוון פותח על ידי צוות המחקר בהתייעצות עם שלושה חברי סגל בעלי ניסיון בהוראת קומפוזיציה, תיאוריה מוזיקלית והערכה בחינוך מוזיקלי. גרסה ראשונית נבחנה באמצעות חמש קומפוזיציות תרגול שאינן חלק מהמחקר מהשנה האקדמית הקודמת. ניסוח הקריטריונים וחמש נקודות העיגון של הניקוד שונו לאחר הבדיקה הראשונית כדי לצמצם את החפיפה בין היתכנות לדיוק ולהבדיל בין שטף לגמישות. המחוון הסופי נקבע ב-September 20, 2025, לפני הכשרת המדרגים והניקוד הרשמי. לא שונה שום ניסוח של קריטריון או נקודת עיגון של ניקוד לאחר תחילת הניקוד הרשמי.
במחוון הסופי, חידוש (novelty) התייחס לייחודיות ולמקוריות של הרעיון או הטיפול המוזיקלי. רצף (fluency) מתייחס להמשכיות וליצרנות של פיתוח הרעיון בתוך היצירה. גמישות (flexibility) התייחשה לגישות מגוונות, טרנספורמציות או שינויים אדפטיביים בטיפול המוזיקלי. דיוק (precision) התייחס לליטוש, לארגון פנימי ולמוחשיות של הפרטים המוזיקליים. היתכנות (feasibility) התייחשה להיתכנות האמנותית והמעשית של היצירה המוגמרת כקומפוזיציה מומשית. כל חמשת הממדים דורגו באמצעות אותו פורמט תגובה של חמישה נקודות. ציון 1 העיד על הדגמה חלשה מאוד של הממד הנבדק, וציון 5 העיד על הדגמה חזקה מאוד. חצאי נקודות לא הותרו. כל המדרגים השתמשו באותו סדר קריטריונים, באותן נקודות ייחוס לדירוג ובגיליון ניקוד סטנדרטי. ההגדרות האופרטיביות ונקודות הייחוס לדירוג עבור כל חמשת הממדים מוצגות בטבלה 1.
גיוס מעריכים, סמיות והדרכה
תשעה מעריכים בעלי ניסיון קודם בהערכה בתחומי המוזיקה או האמנות גויסו ממכון הטכנולוגיה של ג'יאנגשי. פאנל המעריכים כלל חמישה חברי סגל מקורסים הקשורים למוזיקה, שני חברי סגל מחינוך מוזיקלי ושני מדריכי תסעית בכירים עם ניסיון בהערכה אמנותית. לכל מעריך היה ניסיון של שלוש שנים לפחות בהוראה, בדיקה, שיפוט או הערכה אמנותית. לכל מעריך הוקצה קוד אנונימי מ-J1 עד J9. כל המעריכים דירגו את אותו קורפוס אנונימי של 80 קומפוזיציות. המעריכים היו מסווגים (blinded) לזהות הסטודנטים, למידע דמוגרפי, לשיוך לכיתה ולציונים של כל שאר המעריכים לאורך שלב הדירוג הרשמי.
לפני הדירוג הרשמי, כל המדרגים השלימו מפגש הכשרה וכיול סטנדרטי שנמשך כ-120 min. במהלך המפגש, צוות המחקר חילק את הרובריקה הכתובה, את עגני הניקוד, דף ניקוד סטנדרטי והוראות ניקוד. חמישה קריטריונים וחמש קטגוריות תגובה הוסברו באותו סדר קבוע שבו נעשה שימוש במהלך הדירוג הרשמי. לאחר מכן, נעשה שימוש בשלושה חיבורי כיול אנונימיים לצורך תרגול הניקוד. שלושת חיבורי כיול אלו היו בלתי תלויים ב-80 החיבורים של המחקר הרשמי ולא נכללו במערך הנתונים האנליטי. כל מדרג ניקד את שלושת חיבורי הכיול באופן עצמאי לפני הדיון. אי-התאמות נבחנו קריטריון אחר קריטריון כדי להבהיר את המשמעות של כל ממד, את ההבחנה בין קטגוריות ניקוד סמוכות ואת השימוש בסולם המלא בן חמש הנקודות. מטרת מפגש הכיול הייתה להמחיש פרשנות אחידה של הרובריקה, ולא לכפות ציונים זהים. תהליך ההכשרה ופרוצדורת הכיול מוצגים ב-Supplementary Table 2.
הליך ניקוד רשמי
במהלך הדירוג הרשמי, כל מעריך העריך באופן עצמאי כל קומפוזיציה אנונימית לפי כל חמשת הקריטריונים. המעריכים בחנו הן את קובץ התוויים בפורמט PDF והן את ההקלטה הנלווית בפורמט MP3 עבור כל יצירה. קובצי ה-PDF נפתחו בתוכנה לקריאת PDF, וקבצי האודיו נבחנו בתוכנת Audacity באמצעות אוזניות Sennheiser HD 280 Pro בתחנת עבודה מאותו סוג ששימשה לניהול הדירוג. המעריכים הונחו לבחון תחילה את קובץ התווים, להאזין פעם אחת להקלטה המלאה, ולאחר מכן להשלים את הדירוג ברמת הקריטריון לאחר בדיקה ממוקדת שנייה במידת הצורך. האזנה חוזרת הותרת עד פעמיים נוספות עבור כל קומפוזיציה כאשר המעריך נזקק לאימות פרטים של מקצב, מלודיה, מבנה או מימוש. המעריכים לא הורשו לדון בהגשות בודדות במהלך הדירוג הרשמי, ולאף מעריך לא הייתה גישה לציונים שהוקצו על ידי מעריכים אחרים.
80 חיבורים אנונימיים הוצגו לכל מעריך בסדר אקראי שנוצר לפני הדירוג. כל מעריך השתמש באותה קבוצה אנונימית של קבצים, במחוון (rubric), בגיליון דירוג ובהוראות דירוג. הדירוג הפורמלי בוצע באופן פרטני באחד עד שלושה מפגשים לכל מעריך, ואף מפגש דירוג בודד לא עלה על 3 hr. כאשר הדירוג הושלם על פני מספר מפגשים, נעשה שימוש באותה סביבת דירוג, באותה קבוצת קבצים ובאותו גיליון תגובות. עבור כל חיבור היו 45 הזדמנויות דירוג צפויות, המתאימות לתשעה מעריכים כפול חמישה קריטריונים. עם 80 חיבורים שנכללו בקורפוס הסופי, תכנית הדירוג יצרה 3,600 הזדמנויות דירוג צפויות לפני בדיקות של דירוגים חסרים.
הזנת נתונים, מבנה קידוד ובקרת איכות
לאחר הניקוד הפורמלי, כל הדירוגים שנצפו הוזנו למסד נתונים אנליטי בפורמט ארוך באמצעות Microsoft Excel. תכנון ה-Rasch רב-היבטים כלל שלושה היבטים: סטודנטים, בודקים וקריטריונים. הסטודנטים קודדו כ-S1 עד S80, הבודקים כ-J1 עד J9, והקריטריונים כ-C1 עד C5. הקריטריונים קודדו כ-C1 עבור חדשנות, C2 עבור שטף, C3 עבור גמישות, C4 עבור דיוק ו-C5 עבור ישימות. כל רשומת ניקוד תקפה ייצגה דירוג נצפה אחד של סטודנט-בודק-קריטריון והכילה את student_id, rater_id, criterion_id, criterion_name ו-score. קטגוריות ניקוד תקפות נרשמו כמספרים שלמים מ-1 עד 5 בלבד.
לפני התאמת המודל, מאגר הנתונים נבדק לאיתור רשומות כפולות, מזהים חסרים, ציונים חסרים, קודי סטודנטים שגויים, קודי מעריכים שגויים, קודי קריטריון שגויים, חוסר התאמה בין criterion_id ל-criterion_name, וציונים שחרגו מהטווח המותר. התכנון המלא הניב 3,600 הזדמנויות דירוג צפויות. הקובץ האנליטי הסופי הכיל 3,598 דירוגים נצפים תקפים ושתי הזדמנויות דירוג חסרות. שני הדירוגים החסרים תועדו כחסרים, לא הושלמו (imputed) ולא קודדו מחדש לכל קטגוריית ציון תקפה. רשומות כפולות וסתירות בקידוד נבדקו אל מול גיליונות הניקוד המקוריים לפני אומדן המודל. מבנה המשתנים ופורמט הקידוד הנדרשים מוצגים ב-Supplementary Table 3.
פירוט מודל Rasch רב-היבטים
נתוני הדירוג המנוקים נותחו באמצעות FACETS, גרסה 3.83.6. המודל העריך בו-זמנית את הביצועים היצירתיים של התלמידים, את רמת הקושי של הקריטריונים, את מיקום השימוש בציונים של המדרגים ואת ספי הביקומות של סולם הדירוג על סולם logit משותף. התלמידים הוגדרו כפאת המדידה של מטרה (target measurement facet), הקריטריונים כפאת הקושי (difficulty facet) והמדרגים כפאת המדרגים (rater facet). קובץ הבקרה של FACETS הגדיר שלוש פאות, עם תוויות תלמידים S1–S80, תוויות קריטריונים C1–C5 ותוויות מדרגים J1–J9. מודל סולם דירוג משותף בן חמש קטגוריות הוחל על כל חמשת הקריטריונים, מכיוון שכל הקריטריונים השתמשו באותה מבנה תגובה סדרתי של 1–5. המודל הוערך באמצעות אומדן נראות מקסימלית משותפת (joint maximum-likelihood estimation). לא הוחלו ערכי עיגון חיצוניים. פאות התלמידים והקריטריונים נמרכזו לצורך דיווח על סולם ה-logit המשותף, ופאת המדרגים הוערכה באופן חופשי כדי לייצג את השונות בשימוש בציונים בין המדרגים השונים. מבנה קובץ הבקרה של FACETS, קידוד הפאות, הגדרות סולם הדירוג, שיטת האומדן, כלל המרכז, כלל ההתכנסות, בקשות הפלט וספי האבחון מסוכמים ב-Supplementary Table 4.
המודל הוגדר באופן הבא:
כאשר Pnijk מייצג את ההסתברות שסטודנט n יקבל קטגוריה k מהמעריך j בקריטריון i במקום קטגוריה k − 1, Bn מייצג את מדד הביצועים היצירתיים המוערך של סטודנט n, Di מייצג את רמת הקושי של קריטריון i, Rj מייצג את מיקום השימוש בציונים של מעריך j, ו-Fk מייצג את הסף בין קטגוריות ציון סמוכות. קטגוריות הציון סודרו מ-1 עד 5. בפרמטריזציה זו, מיקומי מעריכים גבוהים יותר תואמים לשימוש רב יותר בציונים בתוצאות ה-FACETS. המודל הראשוני הותאם לדירוגים התקפים הזמינים ללא איחוד קטגוריות. דירוגים חסרים טופלו כנתונים חסרים, ולא הושלמו או קודדו מחדש לקטגוריות ציון.
ניתוח ה-FACETS הורץ עם מקסימום של 100 איטרציות וקריטריון התכנסות של פחות מ-0.01 logits עבור השינוי המקסימלי בפרמטרים בין איטרציות עוקבות. מפרט הפלט כלל סטטיסטיקות סיכום של פאסטים, מדדים של פאסטים בודדים, שגיאות תקן של המודל, סטטיסטיקות ממוצע-ריבוע של infit ו-outfit, ממוצעים נצפים, ממוצעים הוגנים (fair averages), מדדי הפרדה ואמינות, מבחני chi-square, סטטיסטיקות קטגוריות, ספי ראש-אנדריך (Rasch-Andrich thresholds), שגיאות תקן של ספים, פלט הסתברות לקטגוריה, שאריות סטנדרטיות, פלט הטיות של מעריך לפי קריטריון, ופלט הטיות של סטודנט לפי קריטריון. קובץ הבקרה של FACETS, מערך נתוני הדירוג בפורמט ארוך ללא זיהוי, פלט המודל הראשוני ופלט ניתוח הרגישות נשמרו כקבצי ניתוח הניתנים לשחזור.
כללי הערכה ואבחנה
סטטיסטיקות של ממוצע ריבועים עבור Infit ו-Outfit שימשו להערכת התאמת המודל עבור התלמידים, הקריטריונים והמעריכים. ערכים שבין 0.60 ל-1.30 נחשבו לטווח הקבלה העיקרי עבור פרשנות שגרתית. ערכים מעל 1.50 סומנו לבדיקה, וערכים מעל 2.00 נחשבו לחוסר התאמה משמעותי. עבור כל תלמיד עם ערכי ממוצע ריבועים של Infit או Outfit מעל 2.00, רשומות הניקוד המקוריות נבדקו אל מול מערך הנתונים הנקי, והמודל הוערך מחדש לאחר החראת אותו תלמיד כניתוח רגישות. מקרים לא הוסרו מהמודל העיקרי אך ורק בשל חוסר התאמה; ניתוח רגישות שימש כדי לקבוע אם המסקנות העיקריות לגבי הקריטריון, המעריך וסולם הדירוג נותרו יציבות. כללי בדיקת ההתאמה וניתוח הרגישות הללו מפורטים ב Supplementary Table 4.
מדדי הפרדה ומהימנות נבחנו עבור כל היבט כדי לקבוע האם קיימת בידול פנימי משמעותי והאם המדדים שהתקבלו יציבים מספיק לצורך פרשנות. ערכי הפרדה הגבוהים מ-2.00 פורשו ככאלה התומכים בבידול משמעותי בתוך היבט. הפרדה של סטודנטים הנמוכה מ-2.00 פורשה ככאלה התומכות בריבוד רחב ולא בדירוג אישי מדויק. ערכי מהימנות הקרובים יותר ל-1.00 פורשו כמעידים על יציבות מדידה חזקה יותר. תפקוד סולם הדירוג נבחן באמצעות סטטיסטיקות קטגוריה, ממוצעים נצפים, ערכי ממוצע ריבועים של התאמה (outfit mean-square), ספי רש-אנדריך (Rasch-Andrich thresholds), שגיאות תקן של הספים ועקומות הסתברות של קטגוריה. ביצועי הקטגוריה נחשבו לקבילים כאשר הממוצעים הנצפים עלו באופן מונוטוני בין קטגוריות הניקוד, ספים סמוכים התקדמו ברצף מסודר, וחמש הקטגוריות יצרו אזורי הסתברות הניתנים לפרשנות לאורך הרצף החבוי.
פלט ההטיה (Bias) והאינטראקציה נבחנו עבור שילובי מעריך-קריטריון ותלמיד-קריטריון. כל אינטראקציה עם ערך t סטנדרטי מוחלט של 2.00 ומעלה סומנה לבדיקה. בדיקות אבחנתיות אלו שימשו לזיהוי אי-עקביות אפשרית בפרשנות הקריטריונים או דפוסי תגובה בלתי צפויים, ולא להסרה אוטומטית של דירוגים. תלות מקומית (Local dependence) וחפיפת מבנה נבחנו באמצעות סקירת התאמת הקריטריונים ואסוציאציות שארית בין כל 10 זוגות הקריטריונים האפשריים. כל אסוציאציית שארית של 0.30 ומעלה בין שני קריטריונים סומנה כתלות מקומית אפשרית ונבדקה אל מול הגדרות הרובריקה. קריטריונים אבחנתיים אלו מפורטים גם ב-Supplementary Table 4. לפיכך, המפרט החד-ממדי של מודל Rasch הוערך כהנחת מדידה ולא הונח באופן אוטומטי. בפרשנות של מדדי התלמידים, הפרשי logit אינדיבידואליים לא נחשבו למשמעותיים אלא אם חרגו מאי-הוודאות של המדידה התואמת. פאת התלמיד פורשה בעיקר כהתפלגות כללית של ביצוע יצירתי בהרכבה, ולא כדירוג מדויק של תלמידים בודדים.
תוצאות
סיכום כללי של ההיבטים
ניתוח Rasch רב-היבטים התבסס על תכנון דירוג מלא שכלל 80 חיבורים אנונימיים, תשעה מעריכים וחמישה קריטריוני ניקוד. תכנון זה יצר 3,600 הזדמנויות דירוג צפויות. מתוכנן, נותחו 3,598 דירוגים נצפים תקפים, ושתי הזדמנויות דירוג תועדו כחסרות. הדירוגים החסרים לא הושלמו (imputed) ולא קודדו מחדש לאף קטגוריית ניקוד תקפה. הסטטיסטיקות הכלליות של ההיבטים מוצגות בטבלה 2. לאורך שלושת ההיבטים הממודלים, ערכי ה-mean-square של ה-infit וה-outfit היו קרובים ל-1.00, מה שתומך בהתאמה כללית מקובלת בין המודל לנתונים. הערכות המהימנות היו 0.87 עבור הקריטריונים, 1.00 עבור המעריכים ו-0.78 עבור הסטודנטים. ערכי ההפרדה (separation values) היו 2.56 עבור הקריטריונים, 16.36 עבור המעריכים ו-1.86 עבור הסטודנטים. מבחני Chi-square היו מובהקים עבור כל שלושת ההיבטים. היבט הקריטריון והיבט הסטודנט מורכזים ב-0.00 logits לצורך הדיווח, בעוד שהיבט המעריך היה בעל מדד ממוצע של 0.62 logits. מדדי הסטודנטים נעים בין -0.80 ל-1.12 logits, מה שנותן טווח מוערך של 1.92 logits.
שונות בין מדרגים-מדידות
הערכות המדרגים מוצגות בטבלה 2. ערכי ה-Infit mean-square נעו בין 0.73 ל-1.26, וערכי ה-Outfit mean-square נעו בין 0.74 ל-1.27. כל תשעת המדרגים היו בטווח ההתאמה המקובל של 0.60 עד 1.30. פאת המדרגים הראתה את הפיזור הרחב ביותר מבין הפאות הממודלות, מה שמעיד על שונות ברורה בשימוש בציונים בין המדרגים, למרות שכל המדרגים השתמשו באותה רובריקה, גיליון ניקוד והליך ניקוד. ל-J9 הייתה מיקום-מדד המדרג הגבוה ביותר, 3.37 logits, בעוד של-J8 היה מיקום-מדד המדרג הנמוך ביותר, -0.34 logits. כיוון זה היה עקבי עם הממוצעים הנצפים וההוגנים: ל-J9 היו הממוצעים הנצפים וההוגנים הגבוהים ביותר, 4.74 ו-4.75, בעוד של-J8 היו הממוצעים הנצפים וההוגנים הנמוכים ביותר, שניהם 2.77. לכן, פאת המדרגים פורשה כשונות במיקום השימוש בציונים על סולם logit המשותף, ולא כדירוג פשטני של חומרה. ל-J1 ו-L5 היו הערכות זהות של 0.86 logits, ל-J3 ו-J6 היו הערכות זהות של -0.13 logits, ו-J2 ו-J4 מוקמו סביב מרכז סולם המדרגים ב-0.03 ו--0.15 logits, בהתאמה. הפיזור הכולל של מדד המדרגים היה 3.71 logits. ערך הפרדת המדרגים היה 16.36, עם ערך chi-square של 1487.8 (df = 8), p < 0.001. אף מדרג לא חרג מסף סקירת ההתאמה, ואף מדרג לא הוצא מהמודל הראשוני.
קושי קריטריון והתאמה לקריטריון
הערכות קושי של הקריטריונים מוצגות בטבלה 2. להיתכנות (Feasibility) הייתה הערכת הקושי הגבוהה ביותר, 0.20 logits, מה שמעיד על כך שזה היה הקריטריון שהכי קשה לתלמידים להפגין בתוך החיבורים שהושלמו. גמישות (Flexibility) ודיוק (Precision) נמצאו בטווח הבינוני, עם הערכות של 0.07 ו-0.02 logits, בהתאמה. לשטף (Fluency) הייתה הערכת קושי של -0.13 logits, ולחדשנות (Novelty) הייתה הערכת הקושי הנמוכה ביותר, -0.16 logits, מה שמעיד על כך שחדשנות הייתה הקריטריון שהכי קל להפגין בקורפוס זה. מנעד קושי הקריטריונים הכולל היה 0.36 logits. כל חמשת הקריטריונים הראו ערכי התאמה מקובלים. ערכי ממוצע הריבוע של ה-Infit נעו בין 0.89 ל-1.11, וערכי ממוצע הריבוע של ה-Outfit נעו בין 0.90 ל-1.12. ערך הפרדת הקריטריונים היה 2.56, וערך ה-chi-square היה 37.8, df = 4, p < 0.001. אף קריטריון לא חרג מסף בקרת ההתאמה, ואף קריטריון לא הוסר מהמודל.
סקירה של התפלגות והתאמה של ביצועי תלמידים יצירתיים
מדדי התלמידים מסוכמים בטבלה 2 כהתפלגות כללית ולא כדירוגים פרטניים. היבט התלמידים הראה ערך הפרדה של 1.86 והערכת מהימנות של 0.78. ערך הצ'י-ריבוע היה 354.4 (df = 79), p < 0.001. מדדי התלמידים המוערכים נעים בין -0.80 ל-1.12 logits, עם שגיאות תקן של המודל שנעו בקירוב בין 0.19 ל-0.20 logits. מכיוון שערך ההפרדה של התלמידים היה נמוך מ-2.00, תוצאות התלמידים פורשו כתומכות בריבוד רחב של ביצועים ולא בדירוג פרטני מדויק.
נתוני ההתאמה של הסטודנטים נבחנו באמצעות ספי הלתאמה שהוגדרו. ל-S3 היה infit mean-square של 2.10 ו-outfit mean-square של 2.05, ערכים שעלו על סף ה-substantial-misfit. רישומי הניקוד המקוריים של S3 נבדקו מול מערך הנתונים האנליטי המנוקה, כולל קוד סטודנט, קוד מעריך, קוד קריטריון, שם הקריטריון, קטגוריית הניקוד, סטטוס רשומות כפולות וסטטוס דירוגים חסרים. לא נמצאו שגיאות בהזנת נתונים, רשומות כפולות, ניקוד לא תקין, אי-התאמה בדירוגים חסרים או אי-עקביות בקידוד. לפיכך, S3 נשאר במודל הראשוני. לאחר מכן הוערך מודל רגישות (sensitivity model), ללא S3, כדי לקבוע אם מסקנות המודל הראשי נותרו יציבות. מודל רגישות זה כלל 79 הרכבים ו-3,555 הזדמנויות דירוג צפויות. מספר הדירוגים התקינים שנותחו במודל הרגישות היה 3,553. במודל הרגישות, ההיתכנות (feasibility) נותרה הקריטריון הקשה ביותר ב-0.19 logits, והחדשנות (novelty) נותרה הקריטריון הקל ביותר ב-0.15- logits. הפרדת הקריטריונים (criterion separation) השתנתה מ-2.56 ל-2.48, מהימנות הקריטריונים השתנתה מ-0.87 ל-0.86, הפרדת המעריכים השתנתה מ-16.36 ל-16.02, מהימנות המעריכים נותרה 1.00, הפרדת הסטודנטים השתנתה מ-1.86 ל-1.82, ומהימנות הסטודנטים השתנתה מ-0.78 ל-0.77. ספי סולם הדירוג נותרו מסודרים, והשתנו מ-2.10-, 0.71-, 0.69 ו-2.12 logits במודל הראשוני ל-2.08-, 0.70-, 0.68 ו-2.10 logits במודל הרגישות. שינויים אלו לא שינו את המסקנות העיקריות לגבי הקריטריונים, המעריכים, הסטודנטים או סולם הדירוג. תוצאות ניתוח הרגישות מוצגות ב-Table 3.
אבחון תלות מקומית והטיה
בוצעו בדיקות לאבחון תלות מקומית עבור כל 10 זוגות הקריטריונים האפשריים מבין חמשת קריטריוני הניקוד. כל הקשרים השאריתיים היו נמוכים מסף הבדיקה של 0.30. הקשר השאריתי הגבוה ביותר היה 0.24 בין דיוק לסבירות. הקשרים הגבוהים הבאים היו 0.21 בין שטף לגמישות, 0.18 בין מקוריות לשטף, ו-0.17 בין מקוריות לגמישות. ששת הקשרים השאריתיים שנותרו בין זוגות הקריטריונים היו אף הם נמוכים מ-0.30 ומדווחים ב- טבלה 4תוצאות אלו לא הצביעו על תלות מקומית בעייתית בין חמשת קריטריוני המחוון.
פלט של הטיות מעריך-לפי-קריטריון נבדק באמצעות סף ערך t של הטיה סטנדרטית מוחלטת של 2.00. ערך ה-t הגבוה ביותר של הטיה סטנדרטית עבור מעריך-לפי-קריטריון היה 1.84 עבור J9 בנושא היתכנות (feasibility), ערך שנמצא מתחת לסף הבדיקה. פלט של סטודנט-לפי-קריטריון זיהה תבנית תגובה בלתי צפויה עבור S3. ערך ה-t הגבוה ביותר של הטיה סטנדרטית עבור סטודנט-לפי-קריטריון היה 2.31 עבור S3 בנושא היתכנות, ערך שחרג מסף הבדיקה. לפיכך, המקרה של S3 נבדק אל מול רשומות הניקוד המקוריות ונבחן באמצעות ניתוח רגישות. האימות לא העלה שגיאות קידוד או הזנה, ומודל הרגישות לא שינה את המסקנות המהותיות. סיכומי האבחון של תלות מקומית והטיות מופיעים ב טבלה 4.
תפקוד סולם דירוג
תוצאות מבנה הקטגוריות מוצגות בטבלה 5. המדדים הממוצעים עלו מ-0.56- logits בקטגוריה 1 ל-2.23 logits בקטגוריה 5, מה שמעיד על כך שקטגוריות בעלות ניקוד גבוה יותר תאמו למיקומים מוערכים גבוהים יותר של ביצועים יצירתיים. ערכי ה-Outfit mean-square עבור הקטגוריות המדורגות נעו בין 0.90 ל-1.10. ספי Rasch-Andrich התקדמו בסדר של 2.10-, 0.71-, 0.69, ו-2.12 logits. המעבר מקטגוריה 1 לקטגוריה 2 התרחש בערך ב-2.10- logits, המעבר מקטגוריה 2 לקטגוריה 3 התרחש סביב 0.71- logits, המעבר מקטגוריה 3 לקטגוריה 4 התרחש סביב 0.69 logits, והמעבר מקטגוריה 4 לקטגוריה 5 התרחש סביב 2.12 logits. הספים המסודרים וערכי ה-outfit המקובלים תמכו בשימור מבנה חמש הקטגוריות המקורי. אף קטגוריה לא מוזגה.
התפלגות הפאות ומבנה ההסתברות של הקטגוריה
ההתפלגות המשותפת של המדרגים, הסטודנטים, הקריטריונים וקטגוריות התגובה על סולם לוגיט משותף מוצגת באיור 2. מימד המדרגים הראה את הפיזור הרחב ביותר, דבר המשקף שונות ברורה במיקום של השימוש בציוני המדרגים. מימד הקריטריונים מיקם את החדשנות ברמת הקושי הנמוכה ביותר ואת ההיתכנות ברמת הקושי הגבוהה ביותר. מדדי הסטודנטים היו מרוכזים סביב מרכז הסולם, עם פחות מקרים בקצוות העליונים והתחתונים. מפת השליטה (ruler map) שימשה להצגת ההתפלגות של מדדי הממדים ולא לתמיכה בדירוג מדויק של סטודנטים בודדים.
עקומות ההסתברות של הקטגוריות מוצגות ב-איור 3. קטגוריה 1 הראתה את ההסתברות הגבוהה ביותר שלה מתחת לכ-2.10- logits, קטגוריה 2 הגיעה לשיאה בין כ-2.10- ל-0.71- logits, קטגוריה 3 הגיעה לשיאה בין כ-0.71- ל-0.69 logits, קטגוריה 4 הראתה את ההסתברות הגבוהה ביותר שלה בין כ-0.69 ל-2.12 logits, וקטגוריה 5 הפכה לדומיננטית מעל לכ-2.12 logits. סימוני הסף האנכיים ב-איור 3 מציינים את נקודות המעבר של Rasch-Andrich בין קטגוריות סמוכות. המעבר בין קטגוריות סמוכות התרחש ברצף מסודר, מה שתומך בפרשנות לפיה הסולם בן חמש הנקודות פעל כמתוכנן.
זמינות נתונים:
מערך נתוני הדירוגים בפורמט ארוך שזוהו מהם הפרטים, ספר הקודים של הנתונים והפלט הראשוני של FACETS הופקדו ב-Zenodo תחת DOI: https://doi.org/10.5281/zenodo.21873801. מערך הנתונים כולל מזהי סטודנטים מקודדים, מזהי מעריכים, מזהי קריטריונים, שמות קריטריונים, קטגוריות ציונים מסוג מספר שלם תקף ואינדיקטורים לדירוגים חסרים. תכנון הדירוג המלא כלל 3,600 הזדמנויות דירוג צפויות. מתוכן, נותחו 3,598 דירוגים נצפים תקפים; שניים תועדו כחסרים ולא בוצע עבורם חישוב השלמה (imputation). הפלט הראשוני של FACETS שהופקד תומך במדדי הפאסטים המדווחים, בסטטיסטיקות התאמה, במדדי הפרדה ואמינות, בספי סולם הדירוג, בתפקוד הקטגוריות ובסיכומי האבחון. יצירות מקוריות וקבצים מזוהים אינם זמינים לציבור כיוון שהסכמת המשתתפים ומגבלות פרטיות מוסדיות אינן מתירות הפצה מחדש של חיבורים אישיים של סטודנטים או קבצים שעשויים להכיל מידע על המחבר. ניתוח Rasch רב-פאסטים בוצע באמצעות FACETS, גרסה 3.83.6.
איור 1: תזרים העבודה של גיוס המשתתפים, ביצוע המטלה, אנונימיזציה, ניקוד, בדיקת נתונים וניתוח Rasch רב-היבטי.איור זה מציג את תזרים העבודה המלא של המחקר, מזיהוי קוהורט המקור ועד לניתוח המודל הסופי. קוהורט המקור כלל 96 סטודנטים לשנה שלישית למוזיקולוגיה. נעשה ניסיון לגייס את כל 96 הסטודנטים; ארבעה לא סיפקו הסכמה בכתב, 92 עברו סינון, ו-12 הוצאו לפני הניתוח הסופי. המדגם האנליטי הסופי כלל 80 קומפוזיציות אנונימיות שניתן היה לנקד. האיור מסכם גם את הקצאת המטלה, הגשת הקבצים, הסינון, האנונימיזציה, הכשרת המדרגים, הניקוד הפורמלי, הרכבת נתונים בפורמט ארוך, בקרת איכות וניתוח FACETS. תכנון הדירוג יצר 3,600 הזדמנויות דירוג צפויות; מתוכן, נותחו 3,598 דירוגים נצפים תקפים, ושניים תועדו כחסרים. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.
איור 2: מפת סרגל אנכית של המדרגים, הסטודנטים, הקריטריונים וקטגוריות סולם הדירוג במטריקת logit משותפת. איור זה מציג את מיקומי השימוש בציונים של המדרגים, את התפלגות המדידה של הסטודנטים, הערכות קושי של הקריטריונים ומיקומי קטגוריות התגובה על סולם logit משותף. מיקומי מדרגים גבוהים יותר בתוצאה זו תואמים לשימוש גבוה יותר בציונים, ולא לחומרה רבה יותר. מפת הסרגל משמשת להצגת התפלגות הפאות ואינה משמשת לתמיכה בדירוגים מדויקים של סטודנטים בודדים. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.
איור 3: עקומות הסתברות לקטגוריות עבור סולם דירוג בן חמש נקודות. הקווים המקווקווים האנכיים מציינים את ספי השבירה של Rasch-Andrich, המסמנים את נקודות המעבר המוערכות בין קטגוריות תגובה סמוכות. נקודות החיתוך המסודרות של קטגוריות סמוכות מראות כי סולם התגובה בן חמש הנקודות פעל בכיוון הצפוי ותומכות בשימור מבנה הקטגוריות המקורי ללא מיזוג קטגוריות. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.
| קריטריון | הגדרה אופרציונלית | ציון 1 | ציון 2 | ציון 3 | ציון 4 | ציון 5 |
| חדשנות | ייחודיות ומקוריות של הרעיון המוזיקלי או העיבוד | קונבנציונלי או חיקויי | מקוריות מוגבלת | מידה של מקוריות אך אינה עקבית | מקוריות ברורה במספר חלקים | מובחן מאוד ומקורי באופן עקבי |
| רהיטות | רציפות ופרודוקטיביות של פיתוח רעיונות במהלך העבודה | פיתוח מוגבל מאוד | פיתוח דליל | התפתחות תקינה | פיתוח עשיר ומתמשך | פרודוקטיבי מאוד ובפיתוח מתמיד |
| גמישות | שימוש בגישות מגוונות, טרנספורמציות או שינויים אדפטיביים בטיפול מוזיקלי | גישה קשיחה יחידה | שונות מינימלית | שונות מסוימת | שונות ברורה בין מקטעים או מכשירים | מגוון מאוד ומפותח באופן אדפטיבי |
| דיוק | עידון, ארגון פנימי וקונקרטיות של פרטים מוזיקליים | בקרה חלשה ופירוט לא ברור | זיקוק מוגבל | ארגון ופירוט בינוניים | זיקוק וארגון פנימי טובים | זיכוך גבוה עם פירוט ברור ומוחשי |
| היתכנות | ההיתכנות האמנותית והמעשית של הקומפוזיציה המוגמרת כיצירה ממומשת | אינו בר-ביצוע כעבודה גמורה | חיוניות נמוכה | חיוני במהותו | ניתן ליישום וניתן לביצוע מוזיקלי | בעל כדאיות גבוהה ומימוש משכנע |
טבלה 1: הגדרות אופרטיביות ועוגני ניקוד עבור חמשת הממדים של התנהגות יצירתית ביצירות קומפוזיטוריות. טבלה זו מציגה את המחוון הסופי ששימש לניקוד פורמלי. היא מגדירה חידוש (novelty), שטף (fluency), גמישות (flexibility), דיוק (precision) והיתכנות (feasibility), ומספקת עוגני ניקוד מ-1 עד 5 עבור כל קריטריון. ההגדרות מבדילות בין פיתוח רעיון מתמשך לבין וריאציה אדפטיבית, ומבדילות בין זיקוק מבני לבין היתכנות אמנותית ומעשית מוממשת.
| היבט / יחידה | מדידה (לוגיטים) | מודל SE | Infit MnSq | הכשרת MnSq | ממוצע נצפה | ממוצע סביר | הפרדה | מהימנות | כי-ריבוע (df) |
| קריטריונים, כלליים | 0 | 0.05 | 0.99 | 0.99 | 3.36 | 3.43 | 2.56 | 0.87 | 37.8 (4)*** |
| חדשנות | -0.16 | 0.05 | 1.01 | 1.07 | 3.46 | 3.54 | — | — | — |
| רהיטות | -0.13 | 0.05 | 1 | 0.95 | 3.44 | 3.52 | — | — | — |
| גמישות | 0.07 | 0.05 | 0.89 | 0.93 | 3.32 | 3.39 | — | — | — |
| דיוק | 0.02 | 0.05 | 0.95 | 0.9 | 3.35 | 3.42 | — | — | — |
| היתכנות | 0.2 | 0.05 | 1.11 | 1.12 | 3.23 | 3.3 | — | — | — |
| מדרגים, כללי | 0.62 | 0.07 | 0.98 | 0.99 | 3.36 | 3.36 | 16.36 | 1 | 1487.8 (8)*** |
| J1 | 0.86 | 0.06 | 1.26 | 1.27 | 3.59 | 3.59 | — | — | — |
| J2 | 0.03 | 0.06 | 1.1 | 1.1 | 3.02 | 3.02 | — | — | — |
| J3 | -0.13 | 0.06 | 0.73 | 0.74 | 2.91 | 2.91 | — | — | — |
| J4 | -0.15 | 0.06 | 1.07 | 1.07 | 2.9 | 2.9 | — | — | — |
| J5 | 0.86 | 0.06 | 1.26 | 1.27 | 3.59 | 3.59 | — | — | — |
| J6 | -0.13 | 0.06 | 0.73 | 0.74 | 2.91 | 2.91 | — | — | — |
| J7 | 1.19 | 0.06 | 0.77 | 0.77 | 3.8 | 3.81 | — | — | — |
| J8 | -0.34 | 0.06 | 1.06 | 1.06 | 2.77 | 2.77 | — | — | — |
| J9 | 3.37 | 0.11 | 0.87 | 0.93 | 4.74 | 4.75 | — | — | — |
| סטודנטים, באופן כללי | 0 | 0.19 | 0.99 | 0.99 | 3.36 | 3.43 | 1.86 | 0.78 | 354.4 (79)*** |
| טווח מדידה של סטודנט | 0.80- עד 1.12 | 0.19–0.20 | — | — | — | — | — | — | — |
| הערה: תכנון הדירוג הניב 3,600 הזדמנויות דירוג צפויות, שחושבו כ-80 קומפוזיציות x 9 מדריגים x 5 קריטריונים. המודל הראשוני ניתח 3,598 דירוגים נצפים תקפים; שתי הזדמנויות דירוג היו חסרות ולא בוצע עבורן השלמה (imputation) או קידוד מחדש לקטגוריות של ציונים. עבור פאת המדריג, מדדי המדריג מפורשים כאן כמיקומי שימוש בציונים על סולם לוגיט (logit) משותף. בפלט זה, מדדי מדריג גבוהים יותר היו קשורים לממוצעים נצפים והוגנים גבוהים יותר, דבר המעיד על נטייה לשימוש רב יותר בציונים גבוהים ולא על חומרה רבה יותר. ***= p < 0.001. | |||||||||
טבלה 2: סטטיסטיקות סיכום של ניתוח Rasch רב-היבטים עבור הקריטריונים, המדרגים והסטודנטים. טבלה זו מציגה את פלט ה-FACETS העיקרי עבור שלושת ההיבטים שמודלו, כולל מדדי logit, שגיאות תקן של המודל, ערכי ממוצע-ריבוע של infit ו-outfit, ממוצעים נצפים, ממוצעים הוגנים, מדדי הפרדה, אומדני מהימנות ומבחני chi-square. תכנון הדירוג יצר 3,600 הזדמנויות דירוג צפויות; נותחו 3,598 דירוגים נצפים תקפים, ושתי הזדמנויות דירוג תועדו כחסרות. קושי הקריטריון, מיקום השימוש בציון של המדרג וההתפלגות הכללית של מדד הסטודנטים מדווחים על אותו מדד logit. מדדי המדרגים מפורשים כמיקומי שימוש בציון ולא כדירוג חומרה פשוט, מכיוון שמדדי מדרגים גבוהים יותר לוו בממוצעים נצפים והוגנים גבוהים יותר. תוצאות הסטודנטים מסוכמות כהתפלגות ואינן מוצגות כדירוגים אישיים מדויקים.
| מדד | מודל ראשוני | מודל רגישות ללא S3 |
| מספר הרכבים | 80 | 79 |
| הזדמנויות דירוג צפויות | 3,600 | 3,555 |
| רשומות דירוג תקפות שנותחו | 3,598 | 3,553 |
| הזדמנויות דירוג חסרות | 2 | 2 |
| קריטריון עם הקושי הגבוה ביותר | היתכנות, 0.20 logits | היתכנות, 0.19 logits |
| קריטריון עם הקושי הנמוך ביותר | חדשנות, -0.16 logits | חדשנות, -0.15 logits |
| הפרדת קריטריונים | 2.56 | 2.48 |
| מהימנות קריטריונים | 0.87 | 0.86 |
| הפרדת מדרגים | 16.36 | 16.02 |
| מהימנות מדרגים | 1 | 1 |
| הפרדת סטודנטים | 1.86 | 1.82 |
| מהימנות סטודנטים | 0.78 | 0.77 |
| ספי סולם הדירוג | -2.10, -0.71, 0.69, 2.12 | -2.08, -0.70, 0.68, 2.10 |
| החלטת מודל ראשוני | המודל הראשוני נשמר | אין שינוי מהותי |
| הערה: המודל הראשוני השתמש ב-3,598 דירוגים נצפים תקפים מתוך 3,600 הזדמנויות דירוג צפויות. מודל הרגישות הוציא את S3 והשתמש ב-3,553 דירוגים נצפים תקפים מתוך 3,555 הזדמנויות דירוג צפויות. שתי אותן הזדמנויות דירוג חסרות היו מחוץ ל-S3 ולכן נותרו חסרות גם במודל הרגישות. השמטת S3 לא שינתה באופן מהותי את סדר הקריטריונים, מדדי ההפרדה, הערכות המהימנות או את מבנה ספי סולם הדירוג. | ||
טבלה 3: ניתוח רגישות לאחר החרגת מקרה הסטודנט שאינו תואם למודל. טבלה זו משווה בין המודל הראשוני למודל הרגישות שהוערך לאחר החרגת S3. המודל הראשוני השתמש ב-80 חיבורים, 3,600 הזדמנויות דירוג צפויות ו-3,598 דירוגים נצפים תקפים. מודל הרגישות השתמש ב-79 חיבורים, 3,555 הזדמנויות דירוג צפויות ו-3,553 דירוגים נצפים תקפים. הטבלה מדווחת על שינויים בקושי הקריטריון, בהפרדה בין הקריטריונים, באמינות הקריטריון, בהפרדה בין המדרגים, באמינות המדרגים, בהפרדה בין הסטודנטים, באמינות הסטודנטים ובספי רף סולם הדירוג. ניתוח הרגישות לא הראה שינוי מהותי במסקנות המודל הראשי.
| פריט אבחנתי | סף סקירה | הערך הנצפה הגבוה ביותר / ערך נצפה | תוצאת הסקירה |
| מתאם שאריות: מקוריות–שטף | ≥0.30 | 0.18 | מתחת לסף |
| מתאם שאריות: מקוריות–גמישות | ≥0.30 | 0.17 | מתחת לסף |
| מתאם שאריות: מקוריות–דיוק | ≥0.30 | 0.12 | מתחת לסף |
| מתאם שאריות: מקוריות–ישימות | ≥0.30 | 0.09 | מתחת לסף |
| מתאם שאריות: שטף–גמישות | ≥0.30 | 0.21 | מתחת לסף |
| מתאם שאריות: שטף–דיוק | ≥0.30 | 0.16 | מתחת לסף |
| מתאם שאריות: שטף–ישימות | ≥0.30 | 0.14 | מתחת לסף |
| מתאם שאריות: גמישות–דיוק | ≥0.30 | 0.15 | מתחת לסף |
| מתאם שאריות: גמישות–ישימות | ≥0.30 | 0.11 | מתחת לסף |
| מתאם שאריות: דיוק–ישימות | ≥0.30 | 0.24 | מתחת לסף |
| ערך t של הטיה סטנדרטית עבור מדריך-לפי-קריטריון | ערך מוחלט ≥2.00 | 1.84 עבור J9 בישימות | מתחת לסף |
| ערך t של הטיה סטנדרטית עבור סטודנט-לפי-קריטריון | ערך מוחלט ≥2.00 | 2.31 עבור S3 בישימות | נסקר באמצעות אימות רשומות מקור ואנליזת רגישות |
| אימות הזנת נתונים עבור S3 | כל שגיאת קידוד או הזנה | לא נמצאו | S3 נשמר במודל הראשוני |
| אנליזת רגישות ללא S3 | שינוי במסקנות המודל הראשי | ללא שינוי מהותי | המודל הראשוני נשמר |
| הערה: נסקרו כל 10 מתאמי השאריות של זוגות הקריטריונים. ערכים מתחת ל-0.30 פורשו ככאלה שאינם מעידים על תלות מקומית בעייתית בין חמשת קריטריוני המחוברת (rubric). אינטראקציות של מדריך-לפי-קריטריון וסטודנט-לפי-קריטריון נסקרו באמצעות סף ערך t של הטיה סטנדרטית מוחלטת של 2.00. | |||
טבלה 4: בדיקות אבחנתיות לתלות מקומית והטיה. טבלה זו מסכמת בדיקות אבחנתיות לחפיפת קריטריונים, הטיית מעריך-לפי-קריטריון, דפוסי תגובה בלתי צפויים של סטודנט-לפי-קריטריון, ואימות של מקרה סטודנט שאינו תואם למודל. נבחנו כל 10 השכבות האפשריות של קשרי שאריות בין זוגות קריטריונים. קשרי השאריות בין הקריטריונים היו נמוכים מסף הבדיקה של 0.30. ערך t המנורמל הגבוה ביותר של הטיית מעריך-לפי-קריטריון היה נמוך מסף הבדיקה של |t| ≥ 2.00, בעוד שפלט הסטודנט-לפי-קריטריון זיהה דפוס תגובה בלתי צפוי הקשור ל-S3, אשר נבחן באמצעות אימות של הרשומות המקוריות וניתוח רגישות. ניתוח הרגישות לא הראה שינוי מהותי במסקנות המודל הראשי.
| קטגוריית דירוג | תווית קטגוריה | מדד ממוצע (logits) | Outfit MnSq | סף Rasch-Andrich | SE של הסף | מדד ב-0.5- |
| 1 | גרוע | -0.56 | 1 | — | — | — |
| 2 | מינימלי | -0.21 | 0.9 | -2.1 | 0.1 | -2.51 |
| 3 | משביע רצון | 0.25 | 0.9 | -0.71 | 0.05 | -0.73 |
| 4 | מעל הממוצע | 0.8 | 1.1 | 0.69 | 0.04 | 0.72 |
| 5 | מצוין | 2.23 | 1.1 | 2.12 | 0.06 | 2.53 |
| הערה: ספי Rasch-Andrich מצביעים על נקודות המעבר המשוערות בין קטגוריות דירוג סמוכות. לא מדווח סף עבור קטגוריה 1 מכיוון שהיא הקטגוריה הנמוכה ביותר. "מדד ב-0.5-" מדווח את מיקום ה-logit הקשור לגבול הקטגוריה בפלט של FACETS, והוא נכלל כאבחון לתפקוד הקטגוריה ולא כהערכה נפרדת של ביצועי התלמיד. אף קטגוריה לא מוזגה. | ||||||
טבלה 5: תפקוד קטגוריות של סולם דירוג בן חמש נקודות. טבלה זו מציגה סטטיסטיקות ברמת קטגוריה עבור סולם תגובה בן חמש נקודות, כולל מדדי ממוצע, ערכי ריבוע-ממוצע של outfit, ספי thresholds של Rasch-Andrich, שגיאות תקן של ה-thresholds, ופלט תפקוד קטגוריות "Measure at -0.5" של FACETS. ספי thresholds של Rasch-Andrich מצביעים על נקודות המעבר המוערכות בין קטגוריות דירוג סמוכות. ה-thresholds המסודרים מראים כי חמש קטגוריות התגובה התקדמו בכיוון הצפוי, ולא בוצע מיזוג של קטגוריות.
טבלה נלווית 1: דרישות משימת ההבנה, תזרים הגיוס ומפרטי ההגשה. טבלה זו מציגה את הגדרות המחקר, תזרים הגיוס, קריטריונים לקבלה של משתתפים, פורמט המשימה, מרכיבים מבניים נדרשים, כללי מקוריות, דרישות הגשה, כללי סינון, סיבות להדרה והיחידה האנליטית הסופית. היא מתעדת כיצד התקבל המאגר הסופי של 80 חיבורים אנונימיים הניתנים לדירוג. אנא לחצו כאן להורדת קובץ זה.
טבלה נלווית 2: הכשרת מעריכים, כיול והליך ניקוד סטנדרטי. טבלה זו מסכמת את גיוס המעריכים, כישורי המעריכים, קידוד אנונימי של המעריכים, חומרי הדרכה, תדריך לגבי המחוון (rubric), תדריך לגבי הקטגוריות, ניקוד כיול, סקירת אי-התאמות, הליכי סמיות, הגבלות ניקוד, חומרי סקירה, הליך השמעה חוזרת, כלל האזנה חוזרת, סדר הצגה אקראי ובקרת משך הניקוד. אנא לחץ כאן להורדת הקובץ.
טבלה משלימה 3: מבנה סט נתונים בפורמט ארוך וכללי קידוד. טבלה זו מציגה את מבנה המשתנים, כללי הקידוד, מגבלות סט הנתונים, קודי הקריטריונים ושורות לדוגמה עבור סט הנתונים האנליטי בפורמט ארוך. כל שורה תקפה מייצגת אירוע ניקוד נצפה אחד המוגדר על ידי מזהה סטודנט, מזהה מעריך, מזהה קריטריון, שם הקריטריון וקטגוריית הניקוד. תכנון הדירוג הניב 3,600 הזדמנויות דירוג צפויות, מתוכן נותחו 3,598 דירוגים נצפים תקפים, ושתי הזדמנויות דירוג תועדו כחסרות. אנא לחצו כאן כדי להוריד קובץ זה.
טבלה משלימה 4: מפרטי קובץ הבקרה והאבחון של FACETS. טבלה זו מפרטת את מבנה המודל והגדרות השחזור של FACETS, כולל גרסת התוכנה, סוג המודל, הפכיות (facets) ממודלות, קטגוריות ניקוד, טיפול בדירוגים חסרים, שיטת ההערכה, מספר האיטרציות המקסימלי, קריטריון התכנסות, בקשות פלט, ספי מדדי התאמה, סף סקירת הטיה, סף תלות מקומית וכלל פרשנות של מדדי תלמידים. דירוגים חסרים טופלו כחסרים, לא בוצע להם השלמה (imputation) ולא קודדו מחדש לקטגוריות ניקוד תקפות. אנא לחצו כאן להורדת קובץ זה.
דיון
המחקר הנוכחי יישם מסגרת Rasch רב-היבטית (many-facet Rasch framework) כדי להעריך התנהגות יצירתית בקרב סטודנטים לתואר ראשון במוזיקה באמצעות יצירות קומפוזיטוריות מקוריות. התוצאות הראו כי ניתן להעריך את ביצועי הסטודנטים, את רמת הקושי של הקריטריונים, את השונות במדידות של הבוחנים ואת התפקוד של קטגוריות סולם הדירוג בתוך מבנה מדידה משותף. ממצא זה תומך בשימוש במידול רב-היבתי בהערכת מוזיקה מבוססת רובריקה כאשר הציונים מופקים באמצעות שיפוט של מומחים ולא באמצעות תגובות אובייקטיביות גרידא11. המודל לא ביטל את הצורך בהערכה מוזיקלית של מומחים; תחת זאת, הוא סיפק דרך מובנית לבחון כיצד ההיבטים של הסטודנט, הקריטריון והבוחן תרמו לדירוגים שנצפו. הדבר חשוב להערכת קומפוזיציה מכיוון שיצירות גמורות דורשות שיפוט איכותני, אך ציונים גולמיים לבדם אינם יכולים להעיד אם השונות בציונים משקפת את הסטודנט, את הקריטריון, את הבוחן או את סולם הדירוג12.
תוצאות הקריטריונים הראו כי החדשנות הייתה הקריטריון הפחות קשה, בעוד שההיתכנות והגמישות היו קשות יותר בתוך הקומפוזיציות שהושלמו. יש לפרש דפוס זה כתוצאה של מדידה תיאורית, ולא כראיה להשפעה הוראתית סיבתית. ממצא זה מצביע על כך שבקורפוס זה, סטודנטים הפגינו רעיונות מוזיקליים ייחודיים בקלות רבה יותר מאשר היתכנות ממומשת באופן מלא או טרנספורמציה אדפטיבית לאורך היצירה שהושלמה. הבחנה זו עולה בקנה אחד עם מחקרים על יצירתיות מוזיקלית המתייחסים לקומפוזיציה כתהליך הכולל יצירת רעיונות, פיתוח, בחירה, ארגון מחדש, זיקוק ומימוש, ולא רק למקוריות לבדה13. היא תומכת גם בערך של הפרדת ממדי הרובריקה במקום ריכוז הביצוע היצירתי לשיפוט גלובלי יחיד14. עם זאת, המחקר הנוכחי אינו יכול לקבוע אם דפוס הקושי שנצפה נגרם מפרקטיקות הוראה, עיצוב המטלה, שלב ההתפתחות של הסטודנטים, ניסוח הקריטריונים או פרשנות המדרגים. מחקרים עתידיים צריכים לשלב דירוגי תוצר עם ראיות לתהליך, כגון טיוטות, היסטוריית תיקונים, יומני רפלקסיה או ראיונות קומפוזיציה, כדי לבחון כיצד סטודנטים עוברים מרעיונות ראשוניים לתוצרים מוזיקליים ממומשים.
תוצאות המדרגים הראו שונות משמעותית בין המדרגים למדידות, בעוד שכל ערכי ההתאמה (fit) של המדרגים נותרו בטווח המקובל שהוגדר. אין לפרש דפוס זה פשוט ככישלון של הכשרת המדרגים. הבדלים בשימוש בציונים על ידי המדרגים הם צפויים בהערכה אמנותית המתווכת על ידי מומחים, והם אחת הסיבות העיקריות לשימוש במודל Rasch רב-פנים (many-facet Rasch model)15. התוצאות הנוכחיות מראות כי המדרגים השתמשו בסולם באופן מקובל באופן כללי, אך עדיין נבדלו ביניהם בשימוש היחסי בקטגוריות הציונים. לפיכך, המודל סייע בביצוע התאמה לשונות בציונים הקשורה למדרגים לפני שפורשרו המדדים של הקריטריון והסטודנטים. ביישומים עתידיים, יש לשלב הכשרת מדרגים עם ניטור post hoc של שונות בשימוש בציונים, התאמה, שימוש בקטגוריות ואינטראקציות בין המדרג לקריטריון, במקום להסתמך על ההכשרה לבדה כדי לבטל את כל ההבדלים בין המדרגים16.
ההיבט של הסטודנטים הראה שונות מדידה, אך הפרדה מתונה בלבד. הערכת המהימנות של הסטודנטים הייתה 0.78, וערך ההפרדה היה 1.86. לפיכך, יש לפרש את מדדי הסטודנטים כתומכים בשכובת ביצועים רחבה ולא בדירוג פרטני מדויק. נקודה זו חשובה כיוון שהבדלים קטנים בין ה-logits של סטודנטים בודדים עשויים להיות קטנים משגיאות התקן של המדידה המקבילה. מקרה ה-S3 עם חוסר ההתאמה תומך עוד יותר בפירוש זהיר ברמה הפרטנית. לאחר אימות של הרשומות המקוריות וניתוח רגישות, סדר הקריטריונים העיקרי, דפוס המודד-מדידה ומבנה סף סולם הדירוג נותרו יציבים. לכן, S3 נשמר במודל הראשוני, אך המחקר אינו מסיק מסקנות מהותיות ממקרה פרטני זה. פרשנות זו עקבית עם השימוש בניתוח התאמת Rasch ככלי אבחנתי להערכת יציבות המדידה, ולא כבסיס לטענות פרטניות שאינן נתמכות17.
למחקר מספר מגבלות. ראשית, המדגם נדגם ממוסד אחד ומשלב אקדמי אחד, ולכן אין להכליל את הממצאים מעבר לקבוצות מקבילות של סטודנטים לתואר ראשון במוזיקולוגיה ללא תיקוף נוסף. שנית, המחקר העריך תוצרי הלחנה סופיים ולא כלל חומרי תהליך כגון טיוטות, היסטוריית תיקונים, יומני רפלקסיה או נתוני חשיבה קולית (think-aloud). שלישית, חמשת הקריטריונים של הרובריקה נתפסו כביטויים קשורים של התנהגות יצירתית הלחנתית כללית, והתוצאות הדיאגנוסטיות תמכו באפיון זה במערך הנתונים הנוכחי; עם זאת, מחקרים עתידיים צריכים לבחון האם מבנה זה נשמר במדגמים גדולים יותר, במוסדות שונים ובמשימות הלחנה שונות. רביעית, הרקע של המדרגים מומדל רק באמצעות פאסט המדרג, והמחקר לא בחן באופן ישיר כיצד רקע דיסציפלינרי, ניסיון בהוראה, העדפה אסתטית או מומחיות בהלחנה תרמו לשונות במדידות המדרגים. לבסוף, המחקר היה חתכי ולא התערבותי, ולכן אין להשתמש בדפוס הקושי של הקריטריונים כדי להסיק על אפקטיביות הוראה או סיבתיות פדגוגית.
לסיכום, מחקר זה מדגים הליך הדיר שניתן לשחזור להערכת התנהגות יצירתית בקרב סטודנטים למוזיקה באמצעות יצירות קומפוזיציה מקוריות, תוך שימוש במחוון (rubric) מובנה ובמדידת Rasch רב-היבטית (many-facet Rasch measurement). הממצאים מראים כי ניתן לבחון את קשיי הקריטריונים, את השונות במדידות של המדרגים, את התפלגות ביצועי הסטודנטים ואת תפקוד סולם הדירוג במסגרת מדידה אחת. היבט החידוש היה קל יחסית להפגנה, בעוד שהיתכנות וגמישות היו קשות יותר להשגה בקומפוזיציות שהושלמו. השונות במדידות בין המדרגים הייתה משמעותית, דבר התומך בצורך במידול השפעות המדרגים בהערכת מוזיקה. מדדי הסטודנטים תמכו בריבוד רחב ולא בדירוג פרטני מדויק. באופן כללי, המסגרת מספקת בסיס שקוף להערכת התנהגות יצירתית מבוססת-קומפוזיציה ולשיפור עיצוב המחוון, ניטור המדרגים ומחקרי תיקוף עתידיים בחינוך מוזיקלי להשכלה גבוהה.
גילויים
המחברים מצהירים כי אין ניגודי עניינים. כלי עריכה לשוניים מבוססי בינה מלאכותית שימשו אך ורק לשיפור הקריאות והדקדוק במהלך הכנת כתב היד. לא נעשה שימוש בכלי בינה מלאכותית לצורך ניתוח נתונים, מידול Rasch רב-היבטי, יצירת איורים, פרשנות של תוצאות או קבלת החלטות מדעיות. המחברים סקרו ואישרו את כל תוכן כתב היד ולוקחים אחריות מלאה על הגרסה הסופית.
תודות
המחברים מודים לסטודנטים המשתתפים, למדרגים ולסגל המנהלי של בית הספר למוזיקה ומחול במכון הטכנולוגי של ג'יאנגשי על תמיכתם במהלך ניהול המשימה, איסוף הקבצים, האנונימיזציה ותיאום הניקוד. עבודה זו נתמכה על ידי פרויקט התכנון המדעי לתרבות ואמנות של מחוז ג'יאנגשי, ‘A Study on the Preservation and Diversified Development of Jinggang Hakka Mountain Songs’ (מספר פרויקט YG2020158).
חומרים
| שם | חברה | מספר קטלוג | הערות |
|---|---|---|---|
| Adobe Acrobat Reader | Adobe | 26.001.21346 | משמש לפתיחה ובחינה של קובצי תווים בפורמט PDF במהלך סינון ההגשות והניקוד הפורמלי. |
| Audacity | Audacity | 3.7.7 | משמש לפתיחה ובחינה של ביצועי שמע בפורמט MP3 המלווים את היצירות שהוגשו. |
| FACETS | Winsteps | 3.83.6 | משמש לניתוח Rasch רב-היבטי (many-facet Rasch analysis). |
| HD 280 Pro headphones | Sennheiser | 506845 | אוזניות ניטור סגורות המשמשות להאזנה סטנדרטית במהלך בחינת קובצי השמע שהוגשו. |
| Microsoft 365 Apps for business, including Excel | Microsoft | O365BusinessRetail | משמש להזנת ציונים, הרכבת מערכי נתונים בפורמט ארוך ובדיקת נתונים לפני ניתוח Rasch. |
| Moodle LMS | Moodle | MOODLE_5013 | משמש כמערכת ניהול הלמידה המוסדית להגשת מטלות ואיסוף קבצים. |
| MuseScore Studio | MuseScore | 4.6.5 | משמש להכנה, רישום תווים וייצוא של קובצי יצירות מקוריות בפורמטים מבוססי תווים. |
| OptiPlex Tower Plus 7020 Desktop | Dell | QBS1250 | משמש כתחנת עבודה לניהול קבצים, ניהול הניקוד וניתוח סטטיסטי. |
מקורות
- UNESCO. Road Map for Arts Education: Building Creative Capacities for the 21st Century. Paris: UNESCO; 2006.
- Teaching Guidance Committee for Higher Education Institutions, Ministry of Education of the People’s Republic of China. National Standards for Teaching Quality of Undergraduate Major Programs in Regular Higher Education Institutions, Volume II. Beijing: Higher Education Press; 2018.
- Bolden B, DeLuca C. Nurturing student creativity through assessment for learning in music classrooms. Res Stud Music Educ. 2022;44(1):273-289. doi:10.1177/1321103X211054793.
- Escorihuela G, Martínez-Bayona T, Marzal L. Competence-based assessment in higher music education: faculty perceptions in the Valencian Community. Front Educ. 2025;10:1697717. doi:10.3389/feduc.2025.1697717.
- Moura N, Dias P, Veríssimo L, Oliveira-Silva P, Serra S. Solo music performance assessment criteria: a systematic review. Front Psychol. 2024;15:1467434. doi:10.3389/fpsyg.2024.1467434.
- Said-Metwaly S, Van den Noortgate W, Kyndt E. Approaches to measuring creativity: a systematic literature review. Creat Theor Res Appl. 2017;4(2):238-275. doi:10.1515/ctra-2017-0013.
- Uto M. A multidimensional generalized many-facet Rasch model for rubric-based performance assessment. Behaviormetrika. 2021;48:425-457. doi:10.1007/s41237-021-00144-w.
- Tavakol M, Pinner G. Using the many-facet Rasch model to analyse and evaluate the quality of an objective structured clinical examination: a non-experimental cross-sectional design. BMJ Open. 2019;9(9):e029208. doi:10.1136/bmjopen-2019-029208.
- Hung SP, Chen PH, Chen HC. Improving creativity performance assessment: a rater effect examination with many-facet Rasch model. Creat Res J. 2012;24(4):345-357. doi:10.1080/10400419.2012.730331.
- Huang HY. Understanding rater cognition in performance assessment: a mixed IRTree approach. Appl Psychol Meas. 2025;49(7):331-349. doi:10.1177/01466216251333578.
- Ooi PS, Engelhard G Jr. Examining rater judgements in music performance assessment using many-facets Rasch rating scale measurement model. J Appl Meas. 2019;20(1):79-99.
- Eckes T. Introduction to Many-Facet Rasch Measurement: Analyzing and Evaluating Rater-Mediated Assessments. Berlin: Peter Lang; 2015.
- Engelhard G Jr, Wind SA. Invariant Measurement with Raters and Rating Scales: Rasch Models for Rater-Mediated Assessments. New York: Routledge; 2018.
- Hickey M. An application of Amabile’s consensual assessment technique for rating the creativity of children’s musical compositions. J Res Music Educ. 2001;49(3):234-244. doi:10.2307/3345709.
- Schiavio A, Moran N, van der Schyff D, Biasutti M, Parncutt R. Processes and experiences of creative cognition in seven Western classical composers. Music Sci. 2022;26(2):303-325. doi:10.1177/1029864920943931.
- Nijs L, Grinspun N, Fortuna S. Developing musical creativity through movement: navigating the musical affordance landscape. Creat Res J. 2025;37(3):427-451. doi:10.1080/10400419.2023.2299159.
- Zhan Z, He J, Zhong Y. How does problem-solving pedagogy affect creativity? A meta-analysis of empirical studies. Front Psychol. 2024;15:1287082. doi:10.3389/fpsyg.2024.1287082.