מאמר שיטה

תיקוף איכותי וכמותי של כלים עם סולמות דירוג שמטרתם להעריך את איכות למידת השירות באוניברסיטה

DOI:

10.3791/68648

⸱

29 באוגוסט 2025

 ,  ,  , 
1Faculty of Education and Teacher Training, Autonomous University of Madrid

במאמר זה

סיכום

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מאמר זה מתאר את הפרוטוקול לאימות איכותי וכמותי של מכשיר למידת שירות אוניברסיטאי, בהתאם לקריטריון החסכון כדי ליצור את הגרסה החזקה והאופטימלית ביותר האפשרית. שיטת האימות האיכותית של דלפי וניתוח גורמי גישוש של ריבועים מינימליים לא משוקללים, כשיטת אופטימיזציה של פריטים כמותיים, משמשים למטרה זו.

תקציר

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

למידת שירות (SL) הפכה בשנים האחרונות למתודולוגיית למידה יעילה ביותר, המגשרת על הפער בין תיאוריה לפרקטיקה תוך יצירת הקשר ללמידה בתרחישים בעולם האמיתי. הוא יושם בהצלחה בכל רמות ההשכלה הגבוהה, וכתוצאה מכך שיפורים ניכרים במיומנויות הסטודנטים באוניברסיטה. עם זאת, כמתודולוגיה טרנספורמטיבית, SL עדיין בשלבי פיתוח מוקדמים מבחינת שיטות הערכה. כתוצאה מכך, קיים צורך דחוף לתכנן ולאמת מכשירי מדידה אמינים ומעל לכל, תקפים, שכן היישום של SL בהקשרים בעולם האמיתי הוא הערך העיקרי שלו. מאמר זה מדגים כיצד לתכנן ולאמת באופן אופטימלי מכשירי SL אוניברסיטאיים כדי להעריך את איכות חוויות ה-SL ברמת האוניברסיטה מנקודת מבטם של פרופסורים באוניברסיטה, בהנחיית עקרון החסכנות. שיטת דלפי המקוונת, ניתוח גורמי גישוש של ריבועים מינימליים לא משוקללים וניתוח גורמים מאשרים יושמו ליצירת מכשיר חדש, ה-QaSLu-27, שאומת באמצעות מדגם של 16 מומחים המשתמשים בשיטת דלפי המקוונת ו-118 מורים באוניברסיטה המיישמים פרויקטים של SL. התוצאות מראות תנאים פסיכומטריים אופטימליים עבור הכלי החדש (W = 0.11; α = 0.92; CMIN/DF=1.027; CFI = 0.979; WRMR= 0.0985; RMSEA= 0.046), מה שמוביל לפיתוח סולמות דירוג חדשים המאפשרים השוואה בין משתמשים עתידיים במתודולוגיה זו, בהתחשב במאפיינים הייחוסיים והדמוגרפיים שלהם. תכנון מכשירים מאומתים חדשים, המסוגלים לשמש בעולם האמיתי ולאפשר יצירת סולמות, יהיה שימושי מאוד למדידת יישום חוויות חדשות ב- SL, להעריך את התקדמותם, את המשתתפים שלהם, את מנהליהם ואת המפקחים שלהם, לתרום לביסוס תחום לימוד זה במסגרת האקדמית הנוכחית וביצירת ידע מדעי חדש.

מבוא

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

למידת שירות (SL), גישה חינוכית המשלבת למידה אקדמית עם שירות קהילתי, זכתה להכרה הולכת וגוברת בחינוך העכשווי. גישה פדגוגית זו מאפשרת לתלמידים ליישם ידע בכיתה לאתגרים בעולם האמיתי, תוך טיפוח אחריות אזרחית ומעורבות קהילתית1. לא ניתן להפריז בחשיבותו של SL בחינוך הנוכחי, מכיוון שהוא מצייד את התלמידים במיומנויות מקצועיות מעשיות, מקדם מעורבות אזרחית ומספק הבנה מעמיקה יותר של סוגיות חברתיות2.

המחקר האחרון על SL גדל משמעותית, מונע על ידי הכרה גוברת בפוטנציאל שלו לשפר הן את הלמידה האקדמית והן את המעורבות הקהילתית. צמיחה זו מונעת על ידי הביקוש הגובר למודלים חינוכיים שלא רק מקדמים התפתחות אקדמית אלא גם מתמודדים עם אתגרים חברתיים3. התלמידים חקרו את ההשפעות המגוונות של SL, החל מקידום צדק חברתי ועד טיפוח חשיבה אזרחית בקרב תלמידים4. בנוסף, מחקר למידת שירות התמקד יותר ויותר ביישומו בתחומים ספציפיים כגון STEM, בריאות ומדעי הסביבה, שבהם פתרון בעיות בעולם האמיתי הוא קריטי 5,6,7. ככל שגוף הספרות מתרחב, חוקרים מתחילים גם לחקור כיצד למידת שירות יכולה לגשר ביעילות על הפער בין תיאוריה לפרקטיקה בדרכים משמעותיות הן לתלמידים והן לקהילותשהם משרתים.

עם זאת, למרות תפקידו ההולך וגדל, נותרו אתגרים משמעותיים במדידת האפקטיביות של תוכניות SL9. ישנן הצעות שונות בצורת רובריקה, כמו אלה של פורקו10, מרטין ואחרים 11, לורנצו ובלנדו-מונטורו12, שק ואחרים 13, או לו ולמברייט14, שלמרות התועלת המוכחת שלהם במחקרי שדה, עדיין לא אומתו. מצד שני, ישנן הצעות אחרות, כגון אלה של Escofet-Roig et al.15, Rodríguez-Izquierdo16, León-Carrascosa et al.17, Ruiz-Ordoñez et al.18, Santos-Pastor et al.19, או Gul et al.20 שחסרות תיקוף איכותי או מציגות תיקוף כמותי מוגבל מאוד. חסרונות נוספים שנצפו בכלי הערכה קודמים הם היעדר אופטימיזציה של גורמים ופריטים כדי לעמוד בעקרון החסכנות והיעדר מוחלט של סולמות דירוג. מצב זה נפוץ בתחומים מדעיים חדשים והוא התהליך הטבעי שעוברים כל תחומי המחקר כדי להשיג מכשירים אופטימליים לשימוש נרחב.

בזמן יצירת השאלון להערכה עצמית של חוויות למידה בשירות האוניברסיטאי (QaSLu), כלי להערכת איכות חוויות ה-SL ברמת האוניברסיטה מנקודת מבטם של פרופסורים באוניברסיטה, הכלים המוכרים ביותר שהגדירו את הסטנדרטים להבטחת איכות חוויות ה-SL היו הבאים: Campo (2015)21, Europe Engage (2017)22, GREM (2014)23, RMC Research Corporation (2008)24, Puig-Rovira, Martín, and Rubio-Serrano (2017)25, ו-Rubio-Serrano, Puig-Rovira, Martín, and Palos (2015)26. בעוד שישנם כיום כלים נוספים, מכשירי המדידה הנוכחיים לרוב אינם מצליחים ללכוד כראוי את תוצאות הלמידה הרחבות והניואנסים הקשורות לתוכניות אלה, במיוחד במונחים של צמיחה אישית ארוכת טווח, השפעה קהילתית, כאשר חלקן נמצאו כלליות מדי או אינן מבוססות על מסגרות מדעיות קפדניות 9,27. פער זה בכלי המדידה מעכב הבנה מקיפה ואופטימיזציה של השפעת SL הן על התלמידים והן על הקהילות.

השלב הבא בקידום מחקר SL כולל פיתוח מכשירי מדידה קפדניים מבחינה מדעית. כלים אלה צריכים להיות מתוכננים לא רק כדי ללכוד תוצאות אקדמיות אלא גם כדי להעריך את ההשפעות האישיות והחברתיות שיכולות להיות ל-SL על התלמידים והקהילות שהם משרתים. המחקר שלנו נועד לטפל בפער זה על ידי יצירת מכשיר המבוסס על קפדנות מדעית, המציע הערכה מקיפה יותר של פרויקטי SL והנחיית יישומם העתידי.

בנוסף ליצירת המכשיר, הוא יאושר, תחילה איכותית ולאחר מכן כמותית. לצורך האימות הראשוני, ייעשה שימוש בשיטת דלפי המקוונת ששונתה28. המונח "שונה" מתייחס להצעתו של קברו להגביל את שיטת דלפי לשני סבבי התייעצות, ובכך למנוע נשירה בקרב חברי קבוצת המומחים. המונח "מקוון" הוצג על ידי קרוז-רמירז ורואה ואסקז29 כדי להדגיש כי ההתייעצויות נערכו באמצעות דואר אלקטרוני, מכיוון שהאינטרנט מסייע להתגבר על מגבלות מסוימות הטבועות בדלפי המסורתית, כגון חשיבה קבוצתית או השפעת חוות דעת מומחים דומיננטיות, שעלולות להשפיע על בחירת הפריט 30,31.

באמצעות שיטת דלפי המקוונת המתוקנת, יוערכו שני סוגים של תוקף: תוקף מבנה, בהתאם לתהליך המתואר במחקר32 של Bakieva et al., שבו מתייעצים עם מומחים לגבי הרלוונטיות של כל פריט, ותוקף תוכן, המבוסס על עבודתם של גיל ופסקואל-אזמה33, המעריך את הבהירות של כל פריט באמצעות התייעצות עם מומחה.

למומחים יסופק סולם ליקרט המכיל ארבע אפשרויות תגובה (אין, מעט, די הרבה, הרבה). על ידי אי הצגת חלופות ביניים כלשהן, מומחים נדרשים לנקוט עמדה נחרצת בעד או נגד כל פריט34, ובכך להקל על תהליך קבלת ההחלטות אם להשאיר או להסיר פריטים בשאלון.

לגבי אימות כמותי, הוא מבוסס על חוק החסכנות, עיקרון בסיסי במדע הקובע כי בהינתן בעיה מדעית, בתנאים שווים, עדיף הפתרון הקצר ביותר 35,36. לכן, החיפוש אחר המכשיר התקף הקצר והמותאם ביותר מציע את אותן ערבויות מדעיות, בהיותו מעשי יותר, ניתן לייצוא וכללי לשימוש יומיומי בהקשרים אמיתיים מבלי לוותר על אמינות או תוקף. ניתוח גורמים מאשרים (CFA)37 וניתוח גורמי גישוש חזקים ללא משוקלל (RULS)38,39 ישמשו כטכניקות אנליטיות להפחתת פריטים מיותרים ולאמת את המבנה הסופי של המכשיר. מדדי התאמה ואמינות משמשים כאינדיקטורים לתוקף המבנה החדש ביחס לקודמו, תוך התייחסות לשמירה או שיפור האמינות והתוקף של המכשיר המותאם ברמות המבטיחות את הלימות והחוסן של המבנה החדש של השאלון המופחת והמותאם.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

פרוטוקול

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

פרוטוקול זה אושר אתית בשנת 2020 על ידי הוועדה הלאומית למחקר מדעי וטכנולוגי של צ'ילה (CONICYT Fondecyt/Initiation) תחת מספר אישור: 11170623. קבוצה של מומחים חיצוניים בדקה ואישרה את התהליך כולו. בהתאם להצהרת הלסינקי40, המשתתפים נדרשו לספק הסכמה מדעת בכתב להשתתף במחקר, והובהר בבירור שהם לא יהיו מעורבים בשום מצב ניסוי.

1. עיצוב הטיוטה הראשונה של QaSLu

  1. בצע ניתוח תוכן של הפריטים מהכלים העיקריים המוכרים להערכת חוויות SL. כדי להשיג זאת, נסקרו הפריטים מכלים בינלאומיים המגדירים סטנדרטים להבטחת איכות חוויות SL, כמו גם הרובריקות העיקריות המוכרות על ידי קהילת מומחי SL.
    הערה: כתוצאה מסקירה זו, QaSLu מתייחס במפורש לצדק חברתי, מוקד אופייני של SLu האירופי.
  2. סווג את כל הפריטים לקטגוריות על סמך השלבים הכרוכים בעיצוב חוויות SL (1. עיצוב, 2. יישום, 3. הערכה) ויישום חוויות SL (א. שלב ראשוני, ב. תכנון, ג. ביצוע, ד. סגירה ושכפול).
    הערה: כדי להבטיח את מהימנות הסיווג, נעשה שימוש בהסכמה בין מעריכים מוחלטת, שקיבלה רק את הקטגוריות שבהן כל המחברים הסכימו.
  3. בחר את הפריטים הסופיים לטיוטה הראשונה של הכלי להערכת למידת השירות האוניברסיטאי (USL).
    1. תחילה, הסר פריטים כפולים בכל קטגוריה, הן בשלבים הקשורים לעיצוב וליישום של חוויות SL.
    2. שנית, הסרת פריטים לא רלוונטיים שאינם תואמים את מטרות המכשיר החדש מוסרים.
    3. לבסוף, צור או התאם פריטים כך שיתאימו לאוכלוסיית היעד (סגל האוניברסיטה) ומטרות המחקר (הערכת איכות חוויות SL).
      הערה: QaSLu מיועד ללימוד שירות באוניברסיטה. בעוד שרוב הכלים העריכו את איכות ה-SLu ברמת האוניברסיטה, היה צורך לנסח מחדש כמה פריטים מכלים קודמים, ונוצרו פריטים חדשים כדי להבטיח ש-QaSLu מותאם באופן מלא להקשר האוניברסיטאי.
  4. עצב את הטיוטה הראשונה של השאלון כך שתעמוד ביעדי המחקר.
    הערה: הטיוטה של QaSLu נוצרה באמצעות Microsoft Word כדי להקל על השיתוף והשינוי. בתחילה, הוא כלל 54 פריטים שנענו באמצעות סולם ליקרט בן 5 נקודות (אף פעם, לעתים רחוקות, לפעמים, כמעט תמיד, תמיד). השאלון תוכנן תוך מחשבה על גורם יחיד או מבנה מרכיב עיקרי כך שניתן יהיה להשתמש בציון הסופי שלו כדי להשוות משתמשים על פי מאפייניהם באמצעות סולמות דירוג סטנדרטיים.

2. בחירת קבוצת המומחים לשיטת דלפי

  1. בחר מדגם גדול של מומחים ב-USL שיכולים להעריך את המכשיר שתוכנן בעבר. בתהליך זה, קבע קריטריונים חיוניים להכללה: 1. מינימום ארבע שנות ניסיון במחקר ועיצוב/יישום חוויות USL; 2. חברות בגוף אקדמי אוניברסיטאי; ו-3. להיות מועמד לדוקטורט או בעל תואר דוקטור.
    הערה: בהתבסס על קריטריוני ההכללה, נוצרה רשימה של 20 מומחים שיכולים למלא תפקיד בולט בקהילת USL.
  2. שלח דוא"ל לכל המומחים שנבחרו בשלב 2.1, המסביר את מטרות המחקר, שלבי שיטת דלפי, לוחות הזמנים הצפויים, קריטריוני ההכללה, ושואל לגבי זמינותם ונכונותם להשתתף בתהליך האימות, יחד עם קבלתם את ההסכמה המודעת בכתב.
    הערה: כל המומחים הסכימו להשתתף.
  3. הגדר את קבוצת המומחים הסופית להערכת הכלי הסופי להערכת USL. קבע את קריטריוני ההכללה החדשים על סמך מאפייני המומחים שהסכימו להשתתף. התצורה הסופית של קבוצת המומחים מכוונת ל: 1. גיוון אקדמי ומקצועי, כלומר ייצוג משכבות אקדמיות שונות; 2. גיוון גיאוגרפי במקומות שבהם נערכו חוויות SL; ו-3. גיוון מגדרי.
    הערה: שישה עשר מומחי USL התחייבו והשלימו את התהליך במלואו. קבוצת המומחים הסופית כללה 75% נשים ו-25% גברים.

3. אימות איכותי של שאלון QaSLu באמצעות שיטת דלפי מקוונת מותאמת

  1. שלח דוא"ל לכל חבר בקבוצת המומחים עם תבנית להערכת פריטי הטיוטה הראשונה של המכשיר להערכת USL, יחד עם ההוראות הרלוונטיות (סיבוב 1 של שיטת דלפי).
    הערה: המומחים מעריכים את הרלוונטיות (תוקף הבנייה) והבהירות (תוקף התוכן) של כל פריט באמצעות סולם ליקרט בן 4 נקודות, כאשר 1 מייצג "לא רלוונטי או לא ברור" ו-4 מייצג "רלוונטי מאוד או ברור מאוד". ליד כל פריט, יש תיבה אחת להערכת רלוונטיות ואחרת לבהירות - שבה המומחים חייבים לדרג כל פריט בסולם מ-1 עד 4. מתחת לתיבות אלה, סעיף נוסף מאפשר להם להסביר באופן איכותי את הערכתם ולהציע תיקונים אפשריים לפריטים (ראה טיוטה לדוגמה של השאלון המסופק כקובץ משלים 1). על ידי אי הכללת אפשרויות תגובת ביניים, המומחים נאלצו לנקוט עמדה נחרצת, מה שהקל על תהליך קבלת ההחלטות לגבי שמירה או הסרה של פריטים בשאלון.
  2. אסוף את התגובות מהמומחים לסבב 1 של התייעצות דלפי בקובץ אחד.
    הערה: למומחים ניתנו שבועיים להשלים את הערכת הרלוונטיות (תוקף הבנייה) והבהירות (תוקף התוכן) של 54 הפריטים בתבנית.
  3. חשב את מקדם קנדל כדי לקבוע את רמת ההסכמה בין תגובות המומחים לגבי רלוונטיות ובהירות.
    1. ראשית גשו לתפריט ניתוח > בדיקות לא-פרמטריות > תיבות דו-שיח מדור קודם > K דוגמאות קשורות (ראה איור 1). בחר את כל התגובות מהמומחים לגבי רלוונטיות ובהירות. עשו זאת בנפרד, תחילה רלוונטיות ולאחר מכן בהירות.
    2. העברת פריטים לתיבה רשימת משתני בדיקה. במקטע סוג בדיקה, בחר באפשרות W של קנדל. לבסוף, לחץ על אישור כדי להפעיל את הניתוח ולקבל את התוצאות המתאימות.
      הערה: ניתוח הקונקורדנציה גילה כי הייתה הסכמה מובהקת סטטיסטית בין המומחים שנשאלו לגבי רלוונטיות (תוקף מבנה) ובהירות (תוקף תוכן).
  4. העריכו את תוקף המבנה (רלוונטיות) ותוקף התוכן (בהירות).
    1. לבצע ניתוח תיאורי באמצעות חבילת תוכנה סטטיסטית 1. תחילה, בחר בתפריט ניתוח > סטטיסטיקה תיאורית > תדרים, ובתיבת הדו-שיח תדירויות , בחר את ציוני הרלוונטיות עבור כל פריטי הכלי והוסף אותם לתיבה משתנים על-ידי לחיצה על סמל החץ.
    2. לאחר מכן, לחץ על סמל סטטיסטיקה , סמן את התיבה אחוזונים והוסף את האחוזונים 25, 50 ו- 75 לתיבת הדו-שיח תדירויות: סטטיסטיקה ולאחר מכן לחץ על המשך כדי לחזור לתיבת הדו-שיח תדירויות .
    3. לבסוף, לחץ על אישור סמל כדי ליצור את האחוזונים הרצויים עבור כל פריט (ראה איור 2). לאחר הפלט, עבור אל ניתוח סטטיסטיקה תיאורית > > תיאורי, ובתיבת הדו-שיח תיאורים , בחר את ציוני הניקיון עבור כל פריטי המכשיר והוסף אותם לתיבה משתנים על ידי לחיצה על סמל החץ (ראה איור 3). לבסוף, לחץ על אישור כדי להפיק את התוצאות.
  5. הסר את כל הפריטים ש-75% מהמומחים מחשיבים כלא רלוונטיים ביותר ונסח מחדש פריטים שדורגו כרלוונטיים ביותר אך לא ברורים.
    הערה: לאחר סבב ההתייעצויות הראשון, הוסרו 10 פריטים מהטיוטה הראשונית של QaSLu: פריטים 4, 5, 9, 16, 27, 45, 51, 52, 53 ו-54. בנוסף, נוסחו מחדש 16 פריטים מהטיוטה הראשונה של QaSLu: פריטים 1, 2, 10, 13, 14, 15, 23, 30, 31, 33, 37, 41, 42, 43, 48 ו-49. הניסוח מחדש או הניסוח מחדש התבססו על הצעות המומחים.
  6. הכינו דוח תוצאות לסבב הראשון של הייעוץ הכולל את הדברים הבאים: 1. התוצאה לגבי רמת ההסכמה על רלוונטיות או תוקף המבנה (מקדם קנדל); 2. הקריטריונים לקבלת החלטות שנקבעו; 3. מספר הפריטים המאומתים; 4. מספר הפריטים שהוסרו; 5. מספר הסעיפים שנוסחו מחדש שעדיין נמצאים בבדיקה; ו-6. הגרסה המעודכנת של המכשיר להערכת USL.
    הערה: מטרת יצירת דוח זה הייתה ליידע את קבוצת המומחים מבלי להציף אותם בנתונים מוגזמים ומבלי להשפיע על הערכותיהם העתידיות.
  7. שלח דוא"ל לכל חבר בקבוצת המומחים עם הדוח על תוצאות סבב 1 של הייעוץ, יחד עם תבנית להערכת הפריטים המנוסחים מחדש בגרסה המעודכנת של המכשיר להערכת USL, עם הוראות ספציפיות (סיבוב 2 של שיטת דלפי).
    הערה: המומחים מעריכים את הבהירות (תוקף התוכן) של כל פריט מנוסח מחדש באמצעות סולם ליקרט בן 4 נקודות, כאשר 1 מייצג "לא רלוונטי או לא ברור" ו-4 מייצג "רלוונטי מאוד או ברור מאוד". ליד כל פריט יש תיבה לבהירות דירוג עם מספר מ-1 עד 4, ואחריו סעיף נוסף שבו הם יכולים להסביר באופן איכותי את הערכתם ולהציע תיקונים נוספים אפשריים לפריט (ראה טיוטה לדוגמה של השאלון המסופק כקובץ משלים 2). בכך שלא הציגו אפשרויות תגובה ביניים, המומחים נאלצו לנקוט עמדה נחרצת, בעד או נגד הפריטים. זה הקל על תהליך קבלת ההחלטות לגבי הכללה או אי הכללה של פריטים מהשאלון.
  8. רכז את תגובות המומחים בסבב 2 של התייעצות דלפי לקובץ אחד.
    הערה: למומחים ניתנו שוב שבועיים להשלים את הערכתם לגבי הבהירות (תוקף התוכן) של 16 הפריטים בתבנית.
  9. חזור על השלבים ב-3.3, אך הפעם בחר רק את ציוני הניקיון עבור הפריטים המנוסחים מחדש של הכלי ושלב אותם בתיבה משתנים .
  10. חזור על השלבים ב-3.4, והסר את כל הפריטים שדורגו כנברורים ביותר על ידי 75% מהמומחים.
    הערה: לאחר סבב ההתייעצות השני, הוסרו הסעיפים הבאים: פריטים 1, 23, 31 ו-41.
  11. כלול מספר פריטי בקרה במטרה להעריך עקביות פנימית בעתיד (מומלץ לכלול בערך פריט בקרה אחד לכל 10 פריטים).
    הערה: ארבעה פריטי בקרה נוספו לגרסה זו של המכשיר.
  12. להכין דוח תוצאות לסבב 2 של הייעוץ, הכולל את הדברים הבאים: 1. התוצאה לגבי רמת ההסכמה על בהירות או תוקף התוכן (מקדם קנדל); 2. הקריטריונים לקבלת החלטות שנקבעו; 3. מספר הפריטים המאומתים; 4. מספר הפריטים שבוטלו; 5. מספר הפריטים הכלולים כפריטי בקרה; ו-6. הגרסה המעודכנת של ה-QaSLu-45 (41 פריטים מאומתים + 4 פריטי בקרה).
    הערה: הגרסה הסופית של השאלון נבנתה באופן הבא: 1) מטרת השאלון, הסכמה מדעת בכתב והוראות; 2) ארגון או מוסד, מגדר, גיל, רמת השכלה ושנות ניסיון מקצועי בלמידת שירות של המשיב (מידע זה אינו מאפשר זיהוי משתתף); 3) נתונים על חווית למידת השירות; 4) 45 פריטים להערכה עצמית של חוויות למידת שירות; ו-5) הערכה על ההשתתפות (טיוטה לדוגמה של השאלון מסופקת כקובץ משלים 3).
  13. שלחו את דו"ח התוצאות מסבב הייעוץ השני לקבוצת המומחים, המכיל את הגרסה הסופית של השאלון המעוצב (QaSLu-45), והודו להם על השתתפותם בשיטת דלפי המקוונת המותאמת.

figure-protocol-1
איור 1: חישוב המקדם של קנדל בחבילת התוכנה הסטטיסטית 1. (1) לחץ על סמל K דוגמאות קשורות; (2) בחר את ה-W של קנדל; (3) לחץ על הסמל OK. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

figure-protocol-2
איור 2: חילוץ אחוזונים בחבילת תוכנה סטטיסטית 1. (1) לחץ על סמל התדרים; (2) לחץ על סמל הסטטיסטיקה; (3) בתיבת הדו-שיח תדרים: סטטיסטיקה, הוסף את האחוזונים. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

figure-protocol-3
איור 3: חילוץ תיאורים בחבילת תוכנה סטטיסטית 1. (1) לחץ על הסמל התיאורי; (2) הוסף את המשתנה/ים; (3) לחץ על הסמל OK.

4. התאמת השאלון לאפיון המקוון של שרת מאובטח

  1. עבור נווט לדף הראשי של פלטפורמת התוכנה כשירות (SaaS) עם שרת פרטי (ראה טבלת החומרים) כמשתמש רשום. יש להשלים את ההרשמה מראש על ידי מסירת נתונים אישיים. לאחר ההרשמה, בחר צור את הסקר שלך מאפס (ראה איור 4).
  2. צור את העמוד הראשון, שחייב לכלול קבלה חובה והסכמה מדעת להמשיך.
  3. צור את העמוד השני עם שאלות ייחוס משתתפים, שישמשו במחקר כמשתנים מתערבים או שולטים במחקר.
    הערה: מחקר זה כולל ניתוח של שלושה משתנים כמותיים בדידים וחמישה משתנים קטגוריים נומינליים. להלן התיאור התפעולי של שמונת המשתנים הללו שנכללו במחקר:
    מין: משתנה נומינלי, ייחוסי ודיכוטומי בעל שתי רמות (זכר/נקבה).
    גיל: משתנה כמותי נפרד הקובע את גיל המשתתף במחקר.
    חווית USL: משתנה כמותי נפרד המודד את חווית למידת השירות של המשתתף. הסולם מתחיל ב-0, המייצג פחות משנה של ניסיון בלמידת שירות (שאינו שווה ערך ל'אין ניסיון'), ללא גבול עליון.
    רמה אקדמית: משתנה נומינלי דיכוטומי בעל שתי רמות (דוקטורט/לא דוקטורט), המשקף אם המשתתף מחזיק בתואר דוקטור מקצועי.
    ארגון משתף פעולה לפעילות USL: משתנה נומינלי עם חמש רמות (מרכזים חברתיים, ארגונים לא ממשלתיים, קרנות, בתי ספר, בריתות עם מוסדות להשכלה גבוהה או אוניברסיטאות, מינהלים ציבוריים ממשלתיים, מרכזים בכירים ומרכזים אחרים הקשורים לבריאות). משתנה זה מזהה את סוג הארגון או המוסד איתו המשתתף משתף פעולה בחוויית למידת השירות.
    קבוצת יעד של פעילות USL: משתנה נומינלי עם חמש רמות (קבוצות עם מוגבלות, סטודנטים, מיעוטים אתניים, קשישים, קבוצות מוחלשות בסיכון חברתי). משתנה זה מזהה את קבוצת הנהנים העיקרית מפעילות למידת השירות.
    אופן ההתערבות בפעילות USL: משתנה נומינלי ודיכוטומי (למידת שירות פנים אל פנים בלבד / כולל פעילויות מקוונות כולן או חלקן). משתנה זה מציין אם פעילות למידת השירות כוללת מרכיב מקוון.
  4. צור מספר עמודים לשאלון שתוכנן בעבר, כולל השאלות והתשובות האפשריות, באמצעות פלטפורמת SaaS עם שרת פרטי.
  5. לאחר יצירת הסקר ושמירתו (ראו את השאלון הסופי בקובץ משלים 2), חזרו לתפריט הראשי של הפלטפורמה, בחרו את השאלון ולחצו על הסמל פתח > סגור סקר ציבורי כדי להנגיש אותו למשתתפים. לאחר מכן, לחץ על הסמל קבל קישור לסקר , ובחר מבין מספר אפשרויות לגישה למשתתפים (למשל, קישור המוטמע בדוא"ל או באתר, iframe באתר, חלון קופץ באתר אינטרנט או קישור המסופק למחשבים של מוקד טלפוני, ראה איור 5).
    הערה: הגרסה הסופית של השאלון נבנתה באופן הבא: 1) מטרת השאלון, הסכמה מדעת בכתב והוראות; 2) פרטי המשתתף (מוסד או ארגון, גיל, מין, רמת השכלה ושנות ניסיון מקצועי בלמידת שירות). מידע זה מבטיח את אנונימיות המשתתפים; 3) נתונים על חווית למידת השירות; 4) 45 פריטים להערכה עצמית של חוויות למידת שירות; ו-5) קטע המביע הכרת תודה על ההשתתפות.

figure-protocol-4
איור 4: יצירת השאלון מאפס. (1) לחץ על סמל הסקר החדש ; (2) בחר צור את הסקר שלך מאפס. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

figure-protocol-5
איור 5: עיצוב השאלון. (1) עריכת הסקר; (2) להוסיף ולהגדיר דפים ושאלות; (3-5) פתח דפים, שאלות ותשובות. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

5. שיטת דגימה

  1. סקור את כל ההליכים מכנסים שאורגנו על ידי הרשת הספרדית ללימוד שירות אוניברסיטאי במהלך 3 השנים האחרונות. ערכו רשימה של מחברים שעבדו על למידת שירות בשנים האחרונות ואספו את כתובות הדוא"ל שלהם.
    הערה: הדגימה הייתה מקרית ואופורטוניסטית.
  2. שלח דוא"ל לכל המחברים והזמינו אותם להשתתף במחקר. שלח שוב את הדוא"ל שבוע ושבועיים לאחר מכן.
    הערה: הודעת הדואר האלקטרוני עודדה את הנמענים להעביר אותה לאנשי קשר שעשויים להיות מעוניינים להשתתף. לפיכך, שיטת הדגימה המקרית הושלמה על ידי טכניקת דגימת כדור שלג.
  3. גש לדף הראשי של פלטפורמת SaaS כמשתמש רשום, בחר את השאלון שנוצר ולחץ על תוצאות. בתפריט המוקפץ, לחץ על סמל השאלון כדי לגשת ישירות לשאלונים שמולאו. הסר כל תגובה לא שלמה או שגויה באמצעות פלטפורמת SaaS (ראה איור 6).
  4. לאחר שהשאלונים מגיעים למספר המינימלי הנדרש של משתתפים (>100), לאחר אי הכללת תשובות לא מלאות, יש לנווט לדף הראשי של פלטפורמת SaaS כמשתמש רשום, לבחור את השאלון וללחוץ על סמל פתיחה/סגירה של סקר ציבורי כדי לסגור את הסקר ולמנוע השתתפות נוספת (ראה שוב שלב 1 באיור 5 ).
    הערה: בסך הכל השתתפו 118 אנשי חינוך מ-43 מוסדות להשכלה גבוהה, כאשר 67.80% הזדהו כנשים ו-32.20% כגברים. הגיל הממוצע היה 46.16 שנים (SD = 9.60), עם גילאים שנעו בין 24 ל-65. מבחינת הכישורים האקדמיים, רוב משמעותי (76.3%) החזיקו בתואר דוקטור, בעוד ששאר המשתתפים היו בעלי תואר ראשון לפחות. במונחים של ניסיון בלמידת שירות, הממוצע היה 6.69 שנים (SD = 5.39 שנים), כאשר הנמוך ביותר נרשם בחצי שנה והגבוה ביותר ב-34 שנים. בין המוסדות שעמם שיתפו האוניברסיטאות המשתתפים פעולה היו מרכזים חינוכיים (כולל אוניברסיטאות אחרות), מרכזים חברתיים, מרכזים לאזרחים ותיקים, מרכזי בריאות, ארגונים לא ממשלתיים, קרנות וגופים ממשלתיים כגון עיריות ומועצות. שותפויות שירות-למידה נוצרו עם שני סוגים של מוסדות: מרכזי חינוך פורמלי, המהווים 50.85% מהמדגם, ומרכזי חינוך בלתי פורמלי, המהווים את 49.15% הנותרים. באשר לאופן חוויות הלמידה, 64.41% היו פנים אל פנים, בעוד ש-35.59% כללו צורה כלשהי של פעילות וירטואלית.

figure-protocol-6
איור 6: קבלת קישור לסקר. (1) פתח את הסקר; (2) לחץ על השג קישור לסמל הסקר ; (3) בחר את השיטה הרצויה. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

6. תיקוף כמותי של השאלון על ידי ניתוח גורמים

  1. נווט לדף הראשי של פלטפורמת SaaS כמשתמש רשום, בחר את הסקר שנוצר ולחץ על סמל התוצאות . בתפריט המוקפץ, לחץ על יצוא ובחר את אפשרויות הדוח המפורטות (פורמט גיליון אלקטרוני מתקדם), בטקסט, עם סיומת ערכים מופרדים בפסיק (.csv) (ראה איור 7). לאחר שהמשתתפים ישלימו את השאלונים, ייצאו את הנתונים לחשבון דוא"ל בפורמט .csv, וודא שהם מאוחסנים במקום מאובטח, פרטי ומוגן.
  2. פתח את חבילת התוכנה הסטטיסטית 1 (ראה טבלת חומרים) ובחר בתפריט קובץ > ייבוא נתונים > נתוני CSV. בחר את קובץ .csv הקודם שנשמר. תהליך זה הופך את הנתונים האנונימיים לפורמט הניתוח הנדרש עבור חבילת תוכנה סטטיסטית 1 (ראה איור 8).
  3. בחר את המשתנים שיש לנתח סטטיסטית (מין, גיל, השכלה, ארגון משתף פעולה של פעילות USL, קבוצת יעד של פעילות USL, אופן ההתערבות לפעילות USL ו-45 הפריטים מ-QaSLu), והסר כל מידע לא רלוונטי שיובא דרך קובץ .sav שנוצר על ידי חבילת תוכנה סטטיסטית 1.
  4. להעריך את העקביות הפנימית של שאלון QaSLu-45 באמצעות אלפא של קרונבך עם חבילת תוכנה סטטיסטית 1. לשם כך, בחר בתפריט ניתוח > קנה מידה > ניתוח מהימנות והעבר את כל המשתנים הרלוונטיים לתיבת הדו-שיח ניתוח מהימנות . לבסוף, לחץ על OK כפתור כדי ליצור את הפלט הרצוי (ראה איור 9).
    הערה: השאלון הראה אמינות גבוהה ועקביות פנימית, כפי שנמדד על ידי אלפא קרונבך (α = 0.917).
  5. בצע את ניתוח גורמי הגישוש באמצעות חבילת תוכנה סטטיסטית 1.
    1. כדי לבצע ניתוח זה, בחר ניתוח תפריט > גורם הפחתת ממד >. בתיבת הדו-שיח ניתוח גורמים, בחר את כל הפריטים מהשאלון, ולאחר מכן לחץ על תיאורים ובחר תיאורים חד-משתנים ומבחן הכדוריות של KMO ובארטלט.
    2. לחץ על המשך כדי לחזור לתפריט הראשי של תיבת הדו-שיח ניתוח גורמים . לאחר מכן, לחץ על חילוץ ובחר רכיבים עיקריים כשיטת החילוץ.
    3. סמן את האפשרויות עבור פתרון גורם לא מסובב ועלילת Scree, ולאחר מכן לחץ על המשך שוב כדי לחזור לתפריט הראשי של תיבת הדו-שיח ניתוח גורמים. לבסוף, לחץ על הסמל אישור כדי ליצור את הפלט (ראה איור 10).
      הערה: המשמעות של מבחן הכדוריות של בארטלט (χ2 = 2689.72; p = 0.00) ומבחן הלימות הדגימה של קייזר-מאייר-אולקין (KMO) (KMO = 0.793) מאשרים את ההתאמה של ניתוח גורמים זה בשל העיצוב החזק של הפריטים והדגימה לאימות של QaSLu-45. תוצאות ניתוח הרכיבים העיקריים חשפו 13 רכיבים עם ערכים עצמיים גדולים מ-1.0, המסבירים 69.95% מהשונות הכוללת. עם זאת, תרשים ה-scree (ראה איור 11) מראה שלרכיב הראשון יש רלוונטיות כה לא פרופורציונלית עד שהמשמעות של שאר הרכיבים הופכת לזניחה. לכן, מומלץ לצמצם את ה-QaSLu-45 לרכיב יחיד, ובכך לקבל ציון סופי ייחודי עבור ה-QaSLu-45 המתוכנן.
  6. המר את קובץ התוצאות של השאלון, למעט משתני תכונה, לפורמט קבוע ASCII (dat), התואם לחבילת תוכנה סטטיסטית 2 (ראה טבלת חומרים).
    1. ראשית הסר את כל משתני התכונה, והשאיר רק את פריטי השאלון כמשתנים בחבילת התוכנה הסטטיסטית 1. לאחר מכן, בחר תפריט קובץ > ייצוא נתונים > טקסט קבוע (ראה איור 12).
    2. שמור את הקובץ במיקום מאובטח עם שם שניתן לזהותו. תהליך זה הופך את הנתונים האנונימיים לפורמט הנדרש לניתוח בחבילת תוכנה סטטיסטית 2.
  7. בצע ניתוח גורמים מאשרים (CFA) עם חבילת תוכנה סטטיסטית 2 כדי לקבוע את מידת ההתאמה למודל הגורם היחיד של השאלון.
    1. כדי לבצע ניתוח זה, בחר קרא נתונים ולאחר מכן, בתיבת הדו-שיח דוגמה, לחץ על עיון ובחר את קובץ ה- ASCII שנוצר קודם לכן. מספר המשתתפים והמשתנים יוצג בירוק בסעיף גודל מטריצות הנתונים .
    2. לאחר מכן, לחץ על הסמל פתח מערך נתונים של קבוצה אחת וחזור לתפריט הראשי של חבילת התוכנה הסטטיסטית 2. בתפריט הראשי, לחץ על קביעת תצורה של ניתוח. בתפריט הדו-שיח , סמן ניתוח גורמים מאשרים ולחץ על כפתור אשר .
    3. בחלון CFA: Factor Analysis Configuration , קבל את הגדרות ברירת המחדל ולחץ על אישור כדי לחזור לתפריט הראשי. לבסוף, הודעה "ניתוח גורמים מאשרים מוכן" תופיע בתפריט הראשי; לאחר מכן, לחץ על כפתור החישוב (ראה איור 13) והמתן לתוצאות.
      הערה: פריטי ה-QaSLu-45 הפגינו התאמה חזקה מצוינת כפי שהוערך על ידי מדדי ההתאמה של מודל CFA. על פי הקריטריון המוצע של קלי, מדד ההתאמה ההשוואתית של פריטי QaSLu-45 היה >0.95 (CFI = 0.973) מכיוון שההפרש המינימלי-מקסימלי ב-CFA/דרגות חופש היה בין 1 ל-3 (CMIN/DF = 1.053), שגיאת השורש הריבועית הממוצעת של הקירוב הייתה <0.06 (RMSEA = 0.042), ושארית השורש הממוצע הריבועי המשוקלל הייתה <1.0 (WRMR = 0.0978).

figure-protocol-7
איור 7: ייצוא נתונים לשימוש בחבילות תוכנה סטטיסטיות 1 ו-2. (1) לחץ על סמל התוצאות ; (2) לחץ על סמל שאלונים ; (3) בחר טקסט ו-CSV באפשרות המפורטת. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

figure-protocol-8
איור 8: ייבוא נתונים לחבילת תוכנה סטטיסטית 1. בחר בתפריט קובץ > ייבוא נתונים > נתוני CSV. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

figure-protocol-9
תרשים 9: הערכת העקביות הפנימית של השאלון. בחר בתפריט ניתוח > קנה מידה > ניתוח מהימנות. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

figure-protocol-10
איור 10: ביצוע ניתוח הגורמים האקספלורטיביים עם חבילת תוכנה סטטיסטית 1. (1) לחץ על סמל הגורמים ; (2) לחץ על סמל תיאורים ; (3) בחר KMO ואת מבחן הכדוריות של בארטלט באפשרות המפורטת; (4) לחץ על סמל החילוץ ; (5) בחר Scree Plot באפשרות המפורטת; (6) לחץ על הסמל OK . אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

figure-protocol-11
איור 11: גרף משקעים של ניתוח הגורם המרכיב העיקרי בגרסה הראשונית של 45 פריטים. שימו לב כיצד רכיב מספר 1, על פי ניתוח גורמי הגישוש, בולט מאוד ביחס לשאר, ומדגיש כי הרלוונטיות שלו גדולה בהרבה מזו של שאר המרכיבים ביחד, ומאמת כי מבנה הגורם היחיד הוא המתאים ביותר לשאלון. טבלה זו פורסמה מחדש מ-López-de-Arana Prado et al.9. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

figure-protocol-12
איור 12: המרת קובץ תוצאות לפורמט ASCII בפורמט קבוע. (1) לחץ על סמל הטקסט הקבוע ; (2) בחר ASCII קבוע בתפריט שמור כסוג; (3) לחץ על הסמל שמור . אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

figure-protocol-13
איור 13: ביצוע ניתוח גורמים מאשרים עם חבילת תוכנה סטטיסטית 2. (1) לחץ על סמל קריאת הנתונים ; (2) בחר את קובץ ה-ASCII בתפריט לדוגמה; (3) לחץ על סמל פתיחת מערך נתונים של קבוצה אחת ; (4) לחץ על סמל הגדר ניתוח ; (5) בחר ניתוח גורמים מאשרים באפשרות המפורטת; (6) לחץ על הסמל OK ; (7) לחץ על סמל המחשוב . אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

7. אופטימיזציה של השאלון למרכיב עיקרי יחיד, הפחתת הפריטים העודפים על פי עקרון הצמצום

  1. זהה פריטים להסרה בגרסה האופטימלית של השאלון שיש להם קשר הפוך עם המרכיב העיקרי.
    1. סקור את מטריצת הרכיבים שהושגה בשלב 6.5 באמצעות חבילת תוכנה סטטיסטית 1 כדי לקבוע אילו פריטים מציגים קשר הפוך עם הגורם העיקרי. אל תכלול פריטים אלה בגרסה המוקטנת והמותאמת של השאלון עבור גורם יחיד.
      הערה: בהתבסס על מטריצת הניקוד של כל פריט עבור הרכיב העיקרי, פריטים 6, 16, 28 ו-35 נמחקו מהתצורה הסופית מכיוון שהם הראו קשר הפוך עם המרכיב העיקרי. מכיוון שהשאלון מציע ציון סופי יחיד, יש לבטל את הפריטים ההפוכים מכיוון שהם מסווים את ההבדלים האמיתיים בין המשתמשים בשאלון.
  2. בצע ניתוח גורמי גישוש חזק לא משוקלל (RULS) עם חבילת תוכנה סטטיסטית 2.
    1. כדי לבצע ניתוח זה, בחר קרא נתונים, ולאחר מכן בתיבת הדו-שיח לדוגמה, לחץ על עיון ובחר את קובץ ה-ASCII שנוצר בעבר. מספר המשתתפים והמשתנים יוצג בירוק בסעיף גודל מטריצות הנתונים .
    2. לאחר מכן, לחץ על הסמל פתח מערך נתונים של קבוצה אחת וחזור לתפריט הראשי של חבילת התוכנה הסטטיסטית 2. בתפריט הראשי, לחץ על קביעת תצורה של ניתוח. בתפריט הדו-שיח , בחר Explorative Factor Analysis ולחץ על הלחצן Firm .
    3. בתפריט תצורת ניתוח גורמי גישוש , בחר את הפריטים עם קשר הפוך לרכיב העיקרי בהתאם לניתוח גורמי הגישוש שנערך עם חבילת תוכנה סטטיסטית 1 והעבר אותם לתיבה עם תיבת המשתנים הלא נכללים.
    4. לאחר מכן בדוק את אפשרויות מטריצת המתאם של פירסון וניתוח מקביל, שנה את מספר הגורמים/רכיבים ל-1 ובחר ניתוח גורמים חזק (ראה איור 14). לבסוף, לחץ על כפתור האישור כדי לחזור לתפריט הראשי ולאחר מכן לחץ על מחשוב כדי ליצור את התוצאות.
  3. זהה פריטים להסרה מהגירסה המותאמת של השאלון שיש להם מדד הלימות דגימה (MSA) מתחת ל-0.49 MSA. לשם כך, סקור את התוצאות שהתקבלו מניתוח גורמי הגישוש של RULS עם חבילת תוכנה סטטיסטית 2, במיוחד מדדי מיקום הפריט והולמות הפריט.
    הערה: ניתוח גורמי הגישוש של RULS מציע להשליך 14 פריטים כדי להתאים את העיצוב למרכיב עיקרי אחד: 1, 4, 7, 8, 9, 11, 18, 20, 23, 25, 31, 38, 41 ו-42. התוצאה היא תצורה סופית של 27 פריטים, המותאמת למרכיב עיקרי יחיד, עם חוסן פסיכומטרי נלווה גבוה. גרסה זו נקראה QaSLu-27 (טיוטה לדוגמה של השאלון מסופקת כקובץ משלים 4).

figure-protocol-14
איור 14: ביצוע ריבועים מינימליים לא משוקללים חזקים עם חבילת תוכנה סטטיסטית 2. (1) לחץ על סמל קריאת הנתונים ; (2) בחר את קובץ ה-ASCII בתפריט לדוגמה; (3) לחץ על סמל פתיחת מערך נתונים של קבוצה אחת ; (4) לחץ על סמל הגדר ניתוח ; (5) בחר ניתוח גורמי גישוש באפשרות המפורטת; (6) בדוק את אפשרויות מטריצת המתאם של פירסון וניתוח מקביל ; (7) לשנות את מספר הגורמים/רכיבים ל-1; (8) לבדוק ניתוח גורמים חזקים באופציות; (9) לחץ על כפתור אשר ; (10) לחץ על סמל המחשוב . אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

8. סקירת הלימות המאפיינים הפסיכומטריים של ה-QaSLu-27 ביחס ל-QaSLu-45.

  1. החל מחדש את שלב 6.4, לא כולל בניתוח פריטים שאינם חלק מהגרסה האופטימלית של השאלון.
  2. החל מחדש את שלב 6.5, לא כולל בניתוח פריטים שאינם חלק מהגרסה האופטימלית של השאלון.
  3. החל מחדש את שלב 6.7, לא כולל בניתוח פריטים שאינם חלק מהגרסה האופטימלית של השאלון.
  4. השווה את הלימות המאפיינים הפסיכומטריים של הגרסה האופטימלית של השאלון לגרסה המקורית בפורמט טבלה.
    הערה: שיפור משמעותי נצפה במבחן הלימות הדגימה של KMO (KMO = 0.863) ובמבחן הכדוריות של בארטלט (χ2 = 1447.76; p = 0.000). ניתוח הגורם המרכיב העיקרי עם QaSLu-27 חשף שבעה רכיבים עם ערכים עצמיים > 1.0, המהווים 65.59% מהשונות הכוללת. סטטיסטיקת ההתאמה החזקה, שנקבעה באמצעות CFA, הראתה תוצאות משופרות מעט, והאמינות שנמדדה על ידי אלפא קרונבך עלתה (α = 0.92), למרות שה-QaSLu-27 הכיל רק 27 פריטים במקום 45. ממצאים אלה תומכים במסקנה כי התוקף והחוסן של התצורה הסופית גבוהים משמעותית מאלו של גרסת 45 הפריטים.

9. פיתוח סולמות דירוג

  1. צור משתנה חדש על ידי סיכום הציונים של כל הפריטים בגרסה המותאמת של השאלון.
    1. בחר Transform Menu > Compute Variable, ותן למשתנה החדש את השם SUM27 בתיבת הדו-שיח Compute Variable .
    2. בחר את הפונקציה Sum והשלם את הביטוי המספרי, כולל הפריטים מהגרסה המותאמת של השאלון. לבסוף, לחץ על אישור סמל כדי ליצור את המשתנה החדש SUM27 (ראה איור 15).
  2. חשב את האחוזונים השונים של התוצאה הסופית מהגרסה האופטימלית של השאלון.
    1. בחר Analyze Menu > Descriptive Statistics > Frequency, ובתיבת הדו-שיח Frequency , בחר את המשתנה SUM27 והעבר אותו לתיבה Variable(s) בלחיצה על סמל החץ.
    2. לאחר מכן, לחץ על סמל סטטיסטיקה, בחר אחוזונים והוסף את האחוזונים הבאים: 1, 5, 15, 25, 35, 45, 55, 65, 75, 85, 95 ו- 99. לחץ על סמל המשך כדי לחזור לתיבת הדו-שיח תדרים. לבסוף, לחץ על הסמל אישור כדי ליצור את האחוזונים הרצויים עבור SUM27 (ראה איור 1).
    3. חזור על תהליך זה עבור כל סולם דירוג על-ידי החלת מסננים בהתאם למשתנים שנוספו. לשם כך, לחץ על סמל הקובץ המפוצל , בחר כל משתנה נומינלי או סידורי שנחשב רלוונטי, בחר ארגן פלט לפי קבוצות, לחץ על סמל החץ ולבסוף, לחץ על סמל אישור כדי ליצור את האחוזונים הרצויים עבור SUM27, מסוננים לפי כל משתנה.
  3. צור טבלה עבור כל סולם דירוג.
    1. צור שורה לכותרות הטבלה, ולאחריה שורה עבור Low (עם שורות משנה לאחוזונים 1, 10 ו- 20), בינוני/נמוך (עם שורות משנה לאחוזונים 30 ו- 40), בינוני (אחוזון 50), בינוני/גבוה (עם שורות משנה לאחוזונים 60 ו- 70) וגבוה (עם שורות משנה לאחוזונים 80, 90 ו- 99).
    2. בשורת הכותרת, צור מספר עמודות: הראשונה עם התווית רמה (עם שמות הרמות המפורטים להלן), השנייה עם התווית אחוזון (כאשר כל אחוזון מפורט להלן), ומהעמודה השלישית ואילך, פרט את שמות התנאים השונים של המשתנה שנבחר עבור כל טבלה.
    3. השלם את הטבלה עם טווח הניקוד עבור האחוזונים שחושבו קודם לכן. כלומר, אחוזון 1 = 0 -, אחוזון 4, אחוזון 10 = אחוזון 5 - אחוזון 14, אחוזון 20 = אחוזון 15 - אחוזון 24, אחוזון 30 = אחוזון 25 - אחוזון 34, אחוזון 40 = אחוזון 35 - אחוזון 44, אחוזון 50 = אחוזון 45 - אחוזון 54, אחוזון 60 = אחוזון 55 - אחוזון 64, אחוזון 70 = אחוזון 65 - אחוזון 74, אחוזון 80 = אחוזון 75 - אחוזון 84, אחוזון 90 = אחוזון 85 - אחוזון 94, אחוזון 90 = אחוזון 85 - אחוזון 94, ואחוזון 99 = אחוזון 95 -אחוזון 99. חזור על תהליך זה עבור כל סולם דירוג עם המשתנים הנומינליים או הסידוריים שנבחרו.

figure-protocol-15
איור 15: יצירת משתנה חדש על ידי סיכום הציונים של כל הפריטים בחבילת תוכנה סטטיסטית 1. (1) לחץ על סמל משתנה החישוב ; (2) בחר את הפונקציה Sum; (3) להשלים את הביטוי המספרי עם כל הפריטים; (4) להקצות שם למשתנה החדש; (5) לחץ על הסמל OK . אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

תוצאות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

בעקבות פרוטוקול אימות איכותני-כמותי קפדני זה, פיתחנו כלי חזק, מותאם וחסכוני להערכה עצמית של חוויות למידת שירות באוניברסיטה, בשם QaSLu (שאלון להערכה עצמית של חוויות למידת שירות בהשכלה גבוהה). מכשיר סופי זה קיבל אישור איכותי מ-16 מומחי SL בשיטת דלפי, עם שני סבבים של התייעצויות והתאמות מקוונות, כמו גם אימות כמותי חזק באמצעות ניתוח גורמים מאשר, וניתוח גישוש של גורם ריבועים מינימליים לא משוקלל 38,41,42

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

דיון

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

השיטות המשמשות לאימות מכשירים מציעות מספר יתרונות. שיטת דלפי אפשרה איסוף תובנות מפאנל מומחים, ואפשרה ארגון שיטתי של מידע זה לניתוח. הוא איפשר בחירה וליטוש של תגובות על סמך הערכות והצעות מומחים 32,47,48,49. יתר על כן, גישה זו הניבה תוצאות משמעותיותבתוך מסגרת זמן קצרה יחסית. חוץ מזה, שיטת דלפי "המקוונת" המותאמת הופעלה בשלב הביצוע של סבבי ה...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

גילויים

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

למחברים אין מה לחשוף.

תודות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המחברים מבקשים להביע את תודתם לוועדה הלאומית למחקר מדעי וטכנולוגי של צ'ילה (CONICYT Fondecyt/Initiation), כמו גם לכל המומחים שהשתתפו באימות האיכותי באמצעות שיטת דלפי ולכל המשתתפים באימות הכמותי והניקוד.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה
שםחברהמספר קטלוגהערות
Encuestafacil.com SaasEncuestafacil.com2025תוכנה כשירות בשרת הנתונים הפרטי Encuestafacil.com
ניתוח גורמיםUniversitat Rovira i Virgili12.06.07חבילת תוכנה המשמשת לניתוח פקטוריאלי של נתונים
חבילה סטטיסטית למדעי החברה (SPSS)יבמ24חבילת תוכנה המשמשת לניתוח סטטיסטי של נתונים

מקורות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Furco, A., Norvell, K. What is Service Learning? Making Sense of the Pedagogy and Practice. Embedding Service Learning in European Higher Education. , Roultledge. London and New York. (2019).
  2. Salam, M., Awang Iskandar, D. N., Ibrahim, D. H. A., Farooq, M. S. Service learning in higher education: A systematic literature review. Asia Pac Educ Rev. 20 (4), 573-593 (2019).
  3. Mabborang, J. M., Dumlao, D., Cusap, K. W. Effect of servicelearning program on student's outcomes. Int J Res Innov Soc Sci. 8 (8), 2580-2589 (2024).
  4. Albanesi, C., Compare, C. Integrating academic learning: Promoting civic engagement, responsibility, and social justice through servicelearning. Form@re - Open J per la form in rete. 23 (2), 80-92 (2023).
  5. Stewart, T., Wubbena, Z. An overview of infusing servicelearning in medical education. Int J Med Educ. 5, 147-156 (2014).
  6. Mahmud, S. N. D., Ismail, N. K. STEM service learning in higher education: A systematic literature review. Eurasia J Math Sci Technol Educ. 20 (12), em2549(2024).
  7. Cebrián, G., Fernández, M., Fuertes, M. T., Moraleda, Á, Segalàs, J. La influencia del aprendizajeservicio en el desarrollo de competencias en sostenibilidad en estudiantes universitarios. Bordón Rev Pedagogía. 71 (3), 151-167 (2019).
  8. Resch, K., Schrittesser, I. Using the servicelearning approach to bridge the gap between theory and practice in teacher education. Int J Inclus Educ. 27 (10), 1118-1132 (2023).
  9. LópezdeArana Prado, E., Aramburuzabala, P., Cerrillo, R., SánchezCabrero, R. Validation and standardization of a questionnaire for the selfassessment of servicelearning experiencesin higher education (QaSLu27). Educ Sci. 14 (6), 615(2024).
  10. Furco, A. Self-assessment rubric for the institutionalization of service-learning in higher education (2003 revision). International Journal of Research in Global and Development Education. , https://dialnet.unirioja.es/servlet/articulo?codigo=6368177 (2011).
  11. MartínGarcía, X., Puig Rovira, J. M., Palos Rodríguez, J., Rubio Serrano, L. Improving the quality of service-learning practices. Teaching & Teaching: Interuniversity Journal of Didactics. 36 (1), 111(2018).
  12. Lorenzo, M., BelandoMontoro, M. R. Service-Learning. The challenges of assessment. Madrid: Narcea. Theory of Education. Interuniversity Journal. 31, 71-80 (2019).
  13. Shek, D. T. L., Li, X., Yu, L., Lin, L., Chen, Y. Evaluation of electronic servicelearning (eservicelearning) projects in Mainland China under COVID19. Appl Res Qual Life. 17 (5), 3175-3198 (2022).
  14. Lu, Y., Lambright, K. T. Looking beyond the undergraduate classroom: Factors influencing service learning's effectiveness at improving graduate students' professional skills. College Teach. 58 (4), 118-126 (2010).
  15. EscofetRoig, A., Folgueiras Bertomeu, P., LunaGonzález, E., PalouJulián, B. Elaboration and Validation of a Questionnaire for the Evaluation of Service-Learning Projects. Revista Mexicana de Investigación Educativa. , https://diposit.ub.edu/dspace/handle/2445/149639 (2016).
  16. RodríguezIzquierdo, R. M. Service learning and academic commitment in higher education. Journal of Psychodidactics. 25 (1), 45-51 (2020).
  17. LeónCarrascosa, V., SánchezSerrano, S., BelandoMontoro, M. R. Design and validation of a questionnaire to evaluate the Service-Learning methodology. Studies on Education. 39, 247-266 (2020).
  18. RuizOrdóñez, Y., SalcedoMateu, A., Turbi, Á, Novella, C., MoretTatay, C. VALU: Psychometric properties of a values and civic attitudes scale for university students' servicelearning. Psicol Reflex Crít. 35 (1), 3(2022).
  19. SantosPastor, M. L., Cañadas, L., Muñoz, L. F. M., Rico, L. G. Design and validation scale to assess university service-learning in physical activity and sports. Educ XX1. 23 (2), (2020).
  20. Gul, D. R., Ahmad, D. I., Tahir, D. T., Ishfaq, D. U. Development and factor analysis of an instrument to measure servicelearning management. Heliyon. 8 (4), e09205(2022).
  21. Campo, L. A rubric for assessing and improving service learning projects at university. RIDAS Rev Iberoam AprendizajeServicio. 1, 91-111 (2015).
  22. Europe Engage Quality Standards for Service Learning Activities. , At https://ec.europa.eu/programmes/erasmus-plus/project-result-content/4676aec5-7f74-4a0c-bdff-cda07beb4892/guidelines-euengage-2.pdf (2017).
  23. Martín, X. Tools for improving service-learning projects. RIDAS Ibero-American Journal of Learning and Service. 14, 61-84 (2022).
  24. Pickeral, T., Lennon, T., Piscatelli, J. ServiceLearning policies and practices: A researchbased advocacy paper. , National Service Learning Clearinghouse. https://www.ecs.org/clearinghouse/78/58/7858.pdf (2008).
  25. PuigRovira, J. M., MartínGarcía, X., RubioSerrano, L. How to evaluate service learning projects. Voices of Education. 2 (4), 122-132 (2017).
  26. RubioSerrano, L., PuigRovira, J. M., MartínGarcía, X., PalosRodríguez, J. Analyzing, Rethinking, and Improving Projects: A Rubric for Self-Assessment of Service-Learning Experiences. Profesorado, Journal of Curriculum and Teacher Training. 19 (1), 111-126 (2015).
  27. Hallinger, P., Narong, D. K. A bibliometric review of service learning research, 1950-2022. J Experiential Educ. 47 (4), 566-590 (2024).
  28. LópezdeArana, E., Higuera, P. A., Carvajal, H. O. Design and validation of a questionnaire for self-assessment of university service-learning experiences. Educ XX1. 23 (1), (2020).
  29. CruzRamírez, M., RúaVásquez, J. A. Emergence and development of the Delphi method: a scientometric perspective. Biblios J Librarianship Inf Sci. 71, 90-107 (2018).
  30. Donohoe, H., Stellefson, M., Tennant, B. Advantages and limitations of the eDelphi technique: Implications for health education researchers. Am J Health Educ. 43 (1), 38-46 (2012).
  31. von der Gracht, H. A. Consensus measurement in Delphi studies: Review and implications for future quality assurance. Technol Forecast Soc Change. 79 (8), 1525-1536 (2012).
  32. Bakieva, M., Meliá, J. M. J., GonzálezSuch, J., Barajas, Y. E. L. Teacher collegiality: logical validation of the teacher self-assessment instrument in Spain and Mexico. Studies on Education. 34, 99-127 (2018).
  33. Gil, B., PascualEzama, D. The Delphi methodology as a technique for studying content validity. Ann Psychol. 28 (3), 1011-1020 (2012).
  34. Abal, F. J. P., Auné, S. E., Lozzia, G. S., Attorresi, H. F. Functioning of the Central Category in Confidence Items for Mathematics. Evaluate Magazine. 17 (2), (2017).
  35. Shulman, L. S., Elstein, A. S. Studies of problem solving, judgment, and decision making: Implications for educational research. Rev Res Educ. 3, 3-42 (1975).
  36. Bardach, E., Patashnik, E. M. A Practical Guide for Policy Analysis: The Eightfold Path to More Effective Problem Solving. , CQ Press. Washington, D.C. (2023).
  37. Marsh, H. W., Morin, A. J. S., Parker, P. D., Kaur, G. Exploratory structural equation modeling: An integration of the best features of exploratory and confirmatory factor analysis. Annu Rev Clin Psychol. 10 (1), 85-110 (2014).
  38. LorenzoSeva, U., Ferrando, P. J. Robust Promin: A method for diagonally weighted factor rotation. Liberabit. 25 (1), 99-106 (2019).
  39. SánchezCabrero, R., SandovalMena, M., SaezSuanes, G. P., Prado, E. L. A. Design and validation of the classroom climate for an inclusive education questionnaire (CCIEQ). Environ Soc Psychol. 9 (5), (2024).
  40. WMA Declaration of Helsinki-Ethical principles for medical research involving human subjects At . , World Medical Association. At https://www.wma.net/policies-post/wma-declaration-of-helsinki-ethical-principles-for-medical-research-involving-human-subjects (2013).
  41. Schreiber, J. B. Issues and recommendations for exploratory factor analysis and principal component analysis. Res Soc Admin Pharmacy. 17 (5), 1004-1011 (2021).
  42. Ferrando, P. J., HernándezDorado, A. A simple twostep procedure for fitting fully unrestricted exploratory factor analytic solutions with correlated residuals. Struct Eq Modeling: A Multidiscip J. 31 (3), 420-428 (2024).
  43. Hu, L., Bentler, P. M. Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Struct Eq Modeling: A Multidiscip J. 6 (1), 1-55 (1999).
  44. LorenzoSeva, U., Ferrando, P. J. MSA: The forgotten index for identifying inappropriate items before computing exploratory item factor analysis. Methodology. 17 (4), 296-306 (2021).
  45. MartínAntón, L. J., Almedia, L. S., SáizManzanares, M. C., ÁlvarezCañizo, M., Carbonero, M. A. Psychometric properties of the academic procrastination scale in Spanish university students. Assess Eval High Educ. 48 (5), 642-656 (2023).
  46. SánchezCabrero, R., Lópezde Arana Prado, E., Aramburuzabala, P., Cerrillo, R. Dataset on the validation and standardization of the questionnaire for the selfassessment of servicelearning experiences in higher education (QaSLu). Data. 9 (9), 108(2024).
  47. Almenara, J. C. University teacher training in ICT. Application of Delphi Method for the selection of training content. Educ XX1. 17 (1), 111-132 (2014).
  48. GeorgeReyes, C. E., TrujilloLiñán, L. Application of the Modified Delphi Method for the validation of a questionnaire on the incorporation of ICT in teaching practice. Ibero American Journal of Eductaional Evaluation. 11 (1), 113-135 (2018).
  49. LópezMeneses, E. J., BernalBravo, C., LeivaOlivencia, J. J., MartínPadilla, A. H. Validation of the CUVOMOOC® educational tool for assessing digital observatories on MOOCs using the Delphi Method. Virtual Campuses. 7 (1), 95-110 (2018).
  50. Hung, H. L., Altschuld, J. W., Lee, Y. F. Methodological and conceptual issues confronting a crosscountry Delphi study of educational program evaluation. Eval Program Planning. 31 (2), 191-198 (2008).
  51. Linstone, H., Turoff, M. Delphi: A brief look backward and forward. Technol Forecast Soc Change. 78, 1712-1719 (2011).
  52. Rowe, G., Wright, G. The Delphi technique: Past, present, and future prospects - Introduction to the special issue. Technol Forecast Soc Change. 78 (9), 1487-1490 (2011).
  53. Steurer, J. The Delphi method: An efficient procedure to generate knowledge. Skeletal Radiol. 40 (8), 959-961 (2011).
  54. Aramburuzabala, P., Gezuraga, M., LópezdeArana, E. How to approach evaluation in Service-Learning projects . Service-Learning: The Challenges of Evaluation. Chapter 9, 27-37 (2018).
  55. PuigRovira, J. M. 11 Key Ideas: How to Implement a Service-Learning Project. , Grao, Barcelona. (2015).
  56. Eyler, J., Giles, D. E. Where's the Learning in ServiceLearning. JosseyBass Higher and Adult Education Series. , JosseyBass, Inc. San Francisco, CA. (1999).

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

הדפסות חוזרות והרשאות

בקש הרשאה לשימוש חוזר בטקסט או באיורים של מאמר JoVE זה

בקש הרשאה

תגיות

מאמרים קשורים