תיקוף איכותי וכמותי של כלים עם סולמות דירוג שמטרתם להעריך את איכות למידת השירות באוניברסיטה

בתחום המתפתח של למידת שירות באוניברסיטאות, חסרים לנו כלים סטנדרטיים המשלבים אמינות ותוקף, איכותיים וכמותיים, וקצרים מספיק כדי להשתמש בהם בקלות. שילוב הדירוג והסולמות מאפשר השוואה בין אנשי מקצוע כדי להעריך את איכות למידת השירות באוניברסיטה. נכון לעכשיו, אין מכשיר אחר שמשיג זאת.

QaSLu הוא המכשיר הראשון שנוצר באמצעות תהליך אימות איכותי וכמותי קפדני המונחה על ידי עקרון החסכנות. הוא קצר, אך חזק מאוד מבחינה מדעית. פרוטוקול זה מתווה את הדרך קדימה למכשירים מדעיים חדשים שהם תקפים, חזקים ומעשיים.

לא רק ללמידת שירות, אלא גם בתחום החינוך בכלל. אנו מתכננים ליצור דירוג וסולמות חדשים עבור קבוצות שונות אחרות ולהרחיב את המדגם המשתתפים כדי לשפר את הערכת השווי של QaSLu, ולהפוך אותו לשימושי בהקשרים שונים. כדי להתחיל, צור את הטיוטה הראשונה של QaSLu על שולחן העבודה.

בצע ניתוח תוכן של פריטים מכלים עיקריים המוכרים להערכת חוויות למידת שירות. סקור פריטים מכלים בינלאומיים המגדירים סטנדרטים לאיכות ומהרובריקות העיקריות המוכרות על ידי קהילת המומחים ללמידת שירות. סווג את כל הפריטים לפי השלבים הכרוכים בעיצוב חווית למידת שירות, כמו עיצוב, יישום והערכה.

לאחר מכן סווג את כל הפריטים לפי יישום למידת שירות, כמו שלב ראשוני, תכנון, ביצוע, סגירה ושכפול. בחר מדגם גדול של מומחים בלימוד שירות אוניברסיטאי כדי להעריך את טיוטת המכשיר. הגדר את קבוצת המומחים הסופית להערכת הכלי הסופי להערכת USL, במטרה לקבל רשימה של מומחים עם גיוון אקדמי ומקצועי, גיוון גיאוגרפי וגיוון מגדרי.

לאחר קבלת הנתונים מהמומחים בסבב 1, חשב את מקדם ההתאמה של קנדל לרלוונטיות על ידי לחיצה רציפה על ניתוח, בדיקות לא פרמטריות, דיאלוגים מדור קודם ודגימות קשורות K. בחר את ה-W של קנדל תחת סוג בדיקה. לאחר מכן בחר את כל התגובות מהמומחים לגבי רלוונטיות ובהירות.

העבר פריטים לרשימה משתני בדיקה ולחץ על אישור כדי להפעיל את הניתוח. לאחר קבלת משוב המומחים של סבב 2, העריכו מחדש את מקדם ההתאמה של קנדל מוקדם יותר והסירו פריטים שדורגו כלא רלוונטיים ביותר. לנסח מחדש פריטים הנחשבים רלוונטיים ביותר אך לא ברורים כדי לשפר את הניסוח והדיוק כדי להניב את הגרסה הסופית של השאלון להערכה עצמית של חוויות למידה בשירות האוניברסיטאי, QaSLu-45.

לאחר שהתקבלו מספיק שאלונים מלאים, העריכו את העקביות הפנימית של השאלון באמצעות חבילת תוכנה סטטיסטית ראשונה. לחץ על ניתוח, לאחר מכן קנה מידה, ולאחר מכן ניתוח מהימנות. בחר אלפא בתיבת הדו-שיח, ולאחר מכן העבר את כל המשתנים הרלוונטיים לתיבת הדו-שיח ניתוח מהימנות ולחץ על אישור כדי ליצור את הפלט.

בצע ניתוח גורמי גישוש בחבילת התוכנה הסטטיסטית הראשונה על ידי פתיחת ניתוח, ולאחר מכן לחץ על הפחתת מימדים, ואחריו פקטור. בדיאלוג ניתוח גורמים, העבירו את כל פריטי השאלון לתיבה משתנים, ולאחר מכן לחצו על תיאורים ו-KMO ומבחן הכדוריות של בארטלט ובחרו תיאורים חד-משתנים. לחץ על המשך.

לאחר מכן, לחץ על חילוץ ובחר רכיבים עיקריים כשיטת החילוץ. בדוק את האפשרויות עבור פתרון גורם לא מסובב ועלילת Scree, ולאחר מכן לחץ על המשך ולחץ על אישור כדי ליצור את הפלט. זהה את הפריטים להסרה המציגים קשר גומלין הפוך עם הרכיב הראשי.

באמצעות מטריצת הרכיבים המתקבלת בתוצאות ניתוח גורמי הגישוש, סמן פריטים עם עומסים שליליים על הגורם העיקרי והוציא אותם מגרסת הגורם היחיד המופחתת והאופטימלית של QaSLu. לאחר מכן, בצע ניתוח גורמים מאשרים עם חבילת תוכנה סטטיסטית שתיים כדי להעריך את מידת ההתאמה של מודל הגורם האחד. בחר Read Data, לחץ על Browse בתיבת הדו-שיח Sample ובחר את קובץ נתוני ASCII שנוצר קודם לכן.

ודא שמספר המשתתפים והמשתנים מוצג בירוק תחת גודל מטריצות נתונים. כעת לחץ על פתח מערך נתונים של קבוצה בודדת וחזור לתפריט הראשי. לחץ על הגדר ניתוח בתפריט הראשי, לאחר מכן סמן ניתוח גורם מאשר בתפריט הדו-שיח ולחץ על אישור, בחלון תצורת ניתוח CFA:Factor.

קבל את הגדרות ברירת המחדל ולחץ על אישור כדי לחזור לתפריט הראשי. כאשר ההודעה, ניתוח גורמים מאשרים מוכן! מופיע, לחץ על כפתור המחשוב והמתן לתוצאות.

לאחר מכן, פתח את חבילת התוכנה הסטטיסטית השנייה כדי לבצע ניתוח גורמי גישוש חזק ללא משוקלל של ריבועים מינימליים. בחר/י ״קריאת נתונים״ ולאחר מכן לחץ/י על ״עיון״ בתיבת הדו-שיח ״דוגמה״ ובחר/י את קובץ ה-ASCII שנוצר קודם לכן. מספר המשתתפים והמשתנים יוצג בירוק בסעיף גודל מטריצות הנתונים.

כעת, לחץ על סמל פתח מערך נתונים של קבוצה בודדת כדי לחזור לתפריט הראשי. בתפריט הראשי, לחץ על הגדר ניתוח, ולאחר מכן בחר ניתוח גורמי גישוש בתפריט הדו-שיח ולחץ על כפתור אשר. בתפריט תצורת ניתוח גורמי גישוש, בחר את הפריטים שזוהו כבעלי קשר גומלין הפוך לרכיב הראשי והעבר אותם לתיבה משתנים לא נכללים.

כעת, בדוק את אפשרויות מטריצת המתאם של פירסון וניתוח מקביל, הגדר את מספר הגורמים או הרכיבים ל-1 ובחר ניתוח גורמים חזק. לחץ על אשר כדי לחזור לתפריט הראשי ולאחר מכן לחץ על מחשוב כדי להפיק את התוצאות. כדי לזהות פריטים להסרה שיש להם מדד של הלימות דגימה או ציון MSA מתחת ל-0.49, סקור את התוצאות שהתקבלו מניתוח גורמי הגישוש של RULS עם חבילת תוכנה סטטיסטית שנייה, במיוחד מיקום הפריט ומדדי הלימות הפריט, והוצא אותם מהגרסה האופטימלית המופחתת של הגורם היחיד של QaSLu.

צור משתנה חדש בחבילת תוכנה סטטיסטית אחת ללא הפריטים שהושמטו על ידי בחירה בתפריט טרנספורמציה ולחיצה על משתנה מחשוב. תן למשתנה החדש שם SUM 27 ולאחר מכן בחר את הפונקציה SUM והשלם את הביטוי המספרי עם רשימת הפריטים הממוטבת. לחץ על אישור כדי ליצור את המשתנה החדש, SUM 27.

חשב אחוזונים עבור SUM 27 על-ידי בחירה באפשרות ניתוח, ולאחר מכן סטטיסטיקה תיאורית ותדירות. העבר את SUM 27 לתיבה משתנים ולאחר מכן לחץ על סמל הסטטיסטיקה. בחר אחוזונים והוסף 1, 5, 15, 25, 35, 45, 55, 65, 75, 85, 95 ו- 99.

לחץ על המשך ואז על אישור כדי ליצור אחוזונים. חזור על הליך האחוזון עבור כל סולם דירוג על ידי לחיצה על פיצול קובץ סמל ובחירת כל משתנה רלוונטי, ולאחר מכן בחר ארגן פלט לפי קבוצות. לחץ על לחצן החץ ולחץ על אישור כדי ליצור אחוזונים מקובצים עבור SUM 27.

כדי ליצור טבלה עבור כל סולם דירוג, הוסף תחילה שורת כותרת ושורות עבור הרמות נמוך, בינוני/נמוך, בינוני, בינוני/גבוה וגבוה עם שורות המשנה של האחוזון שצוינו. בשורת הכותרת, הוסף עמודת רמה, עמודת אחוזון ועמודות נוספות עבור התנאים של המשתנה שנבחר. השלם כל טבלה עם טווחי ניקוד הממופים לאחוזונים המחושבים.

התוצאות שהתקבלו מהמדגם המשתתף מוצגות להשוואות מבוססות על סולמות הדירוג ששימשו במחקר. הדרגות השונות לכל קטגוריה הורכבו מנקודות הביניים ביניהן. לדוגמא, האחוזון ה-50 הושגו מציוני האחוזון ה-45 והאחוזון ה-54.

כל הדרגות מלבד האחוזון הראשון וה-99 מציגות טווחים מוגבלים לחלוטין התואמים את האחוזון הרביעי וה-95 בתוספת כל התאמות ניקוד אפשריות. כל אחד מהסולמות הללו מאפשר להשוות את הציונים של כל משתמש פרספקטיבה על ידי בחירת סולם הדירוג המתאים בהתאם למאפייניו.