מאמר שיטה

תהליכי עבודה ניתנים לשחזור בניקוד סקרים ועץ החלטות C5.0 לסיווג חשיבה מדרגה גבוהה מדווחת עצמית בלמידה גנרטיבית הנתמכת על ידי בינה מלאכותית

DOI:

10.3791/71447

⸱

5 ביוני 2026

 ,  ,  , 
1School of Educational Science, Yili Normal University, 2Vocational Education Research Institute, Liuzhou Polytechnic University, 3School of Education, Liupanshui Normal University

במאמר זה

סיכום

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

פרוטוקול זה מציג תהליך עבודה שניתן לשחזור לאיסוף נתוני סקר בדיווח עצמי, דירוג משתנים הקשורים ללומד, דיכוטומיה של ציוני חשיבה מסדר גבוה, ויישום עץ החלטות C5.0 להדגמת סיווג לומד שניתן לפרש בלמידה אקדמית הנתמכת על ידי בינה מלאכותית גנרטיבית.

תקציר

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

בינה מלאכותית גנרטיבית משמשת יותר ויותר בהשכלה הגבוהה, אך חוקרים עדיין זקוקים להליכים שקופים לאיסוף, דירוג וארגון נתוני סקרים ברמת לומד בהקשר המשתנה במהירות הזה. מאמר זה מציג תהליך ציוני סקרים ועץ החלטות C5.0 שניתן לשחזור עליו לסיווג חשיבה מדרגה גבוהה מדווחת בעצמם בקרב סטודנטים שהשתמשו בכלי בינה מלאכותית גנרטיבית ללמידה אקדמית. הפרוטוקול כולל גיוס משתתפים, ניהול שאלונים, סינון איכות תגובה, חישוב ניקוד מורכב, קידוד בינארי, חלוקת בדיקות אימון, בניית עץ C5.0, גיזום, ייצוא פלט מודל, ופרשנות מסלולי סיווג מבוססי צמתים. תהליך העבודה מודגם באמצעות מערך נתונים של סקר אוניברסיטאי יחיד של 776 סטודנטים לתואר ראשון שנאספו בסין בין 7 במרץ ל-15 במרץ 2023. חשיבה מדרגה גבוהה מופעלת כציון שאלון מדווח עצמית ולא כביצועים קוגניטיביים שנצפו ישירות. במאגר הנתונים ההדגמה, עץ הגזום שמר על שמונה משתנים הקשורים ללומד: חרדת בינה מלאכותית גנרטיבית, אמון בבינה מלאכותית גנרטיבית, שימוש בעייתי בסמארטפון, דחיינות אקדמית, הישגים אקדמיים, חינוך הורי, רגשות שליליים ועמדות כלפי בינה מלאכותית גנרטיבית. המודל שנשמר השיג דיוק של 89.52% בתת-קבוצת האימון ו-86.21% דיוק בתת-קבוצת הבדיקות. עם זאת, ההערכה הספציפית לקטגוריה הראתה ביצועים לא אחידים, עם קריאה חלשה משמעותית למחלקת Low-HOT מאשר למחלקת High-HOT. לכן, יש לפרש את העץ כהדגמה עזרה וניתנת לפרשנות של זרימת עבודה ולא ככלי סינון מאומת. פרוטוקול זה עשוי לתמוך בחוקרים הזקוקים להליך מתועד וניתן לחזרה לפרופיל לומדים מבוסס סקרים בסביבות למידה הנתמכות על ידי בינה מלאכותית גנרטיבית.

מבוא

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

חשיבה ברמה גבוהה היא דאגה מרכזית בהשכלה הגבוהה, משום שלמידה באוניברסיטה צפויה להתקדם מעבר לזכירת ידע עובדתי אל ניתוח, הערכה, הרהור, פתרון בעיות ויצירת ידע. גרסאות מאוחרות יותר של הטקסונומיה של בלום הבהירו עוד שלמידה מתקדמת כוללת לא רק זיכרון והבנה, אלא גם יישום, ניתוח, הערכה ויצירת ידע בהקשרים הולכים ומתרכבים2. הבחנה זו חשובה לפרוטוקול הנוכחי משום שחשיבה ברמה גבוהה אינה נחשבת לציון הישג פשוט, אלא כמבנה ברמת לומד שדורש הפעלה מדויקת לפני שניתן לנתח אותה. במחקר חינוכי, חשיבה ברמה גבוהה נקשרה גם לחשיבה ביקורתית, ניטור מטאקוגניטיבי והעברת הלמידה בין הקשרים של בעיה3. ללמידה הנתמכת על ידי טכנולוגיה, נושא זה הופך לחשוב במיוחד כי תלמידים לעיתים קרובות צריכים לחבר מושגים, להעריך מידע שנוצר ולקבל החלטות במהלך פעילויות פתרון בעיות, במקום פשוט לקבל תוכן הוראה4.

ההתפשטות המהירה של בינה מלאכותית גנרטיבית הפכה את מדידת החשיבה ברמה גבוהה למורכבת יותר. כלי בינה מלאכותית גנרטיבית יכולים להפיק טקסט, קוד, תמונות, הסברים, סיכומים וצורות תמיכה אקדמיות נוספות מתוך דפוסים שנלמדו ממאגרי נתונים רחבי היקף5. מודלים לשוניים גדולים, כולל ChatGPT, הפכו לבולטים במיוחד בהשכלה הגבוהה בתקופת האימוץ הציבורית המוקדמת בסוף 2022 ותחילת 2023. במסגרות אקדמיות, הסטודנטים עשויים להשתמש בכלים אלו לחיפוש מידע, הסבר מושגים, פיתוח מתווה, יצירת רעיונות, עריכת משימות, תמיכה בתרגום ופעילויות נוספות הקשורות לקורסים. שימושים אלו עשויים להפחית את עומס העבודה השגרתי, אך הם עשויים גם לשנות את האופן שבו התלמידים מחלקים תשומת לב, שופטים את איכות המידע ומווסתים את המאמץ הקוגניטיבי שלהם. מסיבה זו, מחקר בלמידה הנתמכת בבינה מלאכותית גנרטיבית דורש נהלים המתעדים בבירור כיצד משתנים ברמת לומד נאספים, מדורגים, מקודדים ומפורשים.

מחקרים קודמים על למידה דיגיטלית ומשולבת הראו שטכנולוגיה יכולה לתמוך בחשיבה ברמה גבוהה כאשר התלמידים נשארים מעורבים באופן פעיל במשימות הלמידה במקום להשתמש בסביבה באופן פסיבי7. מחקרים בלמידה מובייל וטכנולוגית הציעו גם הם כי אינטראקציה בין עמיתים, תפיסת הלמידה ומעורבות פעילה רלוונטיים לנטיות החשיבה הגבוהות של התלמידים8. גישות כריית נתונים שימשו גם לבחינת האופן שבו התנהגויות למידה מקוונות קשורות לכישורי חשיבה ברמה גבוהה, ומראות את הערך שבארגון הנתונים החינוכיים לדפוסי למידה ניתנים לפרשנות9. חלק משמעותי ממחקר השימוש בטכנולוגיה הושפע ממודל קבלת הטכנולוגיה, שמסביר התנהגות שימוש דרך תועלת נתפסת וקלות שימוש נתפסת10. עם זאת, למידה בתמיכת בינה מלאכותית גנרטיבית שונה מהקשרים מוקדמים של למידה דיגיטלית, משום שהתלמידים מתקשרים עם מערכות שמייצרות תגובות פתוחות, מעצבות ביטחון עצמי, ועשויות לעורר או להפחית מעורבות ביקורתית. לכן, פרוטוקול לנושא זה צריך לא רק לתעד האם התלמידים מקבלים את הטכנולוגיה, אלא גם לתעד כיצד מדדים רגשיים, התנהגותיים, אקדמיים והקשריים מוכנים לניתוח.

מספר משתנים הקשורים ללומד רלוונטיים במיוחד בסביבה זו. אמון בבינה מלאכותית עשוי להשפיע על השאלה האם תלמידים מסתמכים על תוצרים שנוצרו, שואלים אותו, או שילבו בזהירות בעבודה אקדמית11. החרדה כלפי טכנולוגיה או בינה מלאכותית עשויה גם היא להיות משמעותית, אם כי אין לפרש אותה בכיוון אחד ללא זהירות אמפירית12. שימוש בעייתי בסמארטפון הוא אינדיקטור התנהגותי רלוונטי נוסף, משום שריכוז מפוצל והסחת דעת הקשורה למכשיר עלולים להפריע למעורבות קוגניטיבית מתמשכת במהלך מחקר13. מחקר למידה כללי יותר מציע שאסטרטגיות למידה מווסתות בעצמן קשורות להישגים אקדמיים בסביבות מקוונות וטכנולוגיות14. מחקר מבוסס חקירה ולמידה שיתופית מצביע גם על כך שלמידה משמעותית תלויה באופן שבו תלמידים משתתפים במשימות הלמידה, מארגנים ראיות ובונים הסברים15. שיקולים אלה תומכים בשימוש בתהליך עבודה של סקר רב-משתני במקום מדד צר לחשיפה לבינה מלאכותית גנרטיבית בלבד.

תיאוריית העומס הקוגניטיבי מספקת סיבה נוספת לתיעוד אינדיקטורים רגשיים והתנהגותיים באותו תהליך עבודה. מכיוון שזיכרון העבודה מוגבל, מידע מופרז או מאורגן בצורה לקויה עלול להפריע ללמידה ולפתרון בעיות16. בלמידה הנתמכת על ידי בינה מלאכותית גנרטיבית, הבעיה הזו מתגלה כאשר התלמידים נתקלים בכמות מספקת של תוצרים שנוצרים, הסברים לא עקביים, הצעות לא רלוונטיות או מקורות מידע מתחרים. פעילות רגשית הוכחה גם כקשורה לעומס קוגניטיבי במהלך למידה מולטימדיה, מה שמרמז שמצבים רגשיים עשויים לעצב את האופן שבו לומדים מעבדים מידע בסביבות עשירות בטכנולוגיה17. במקביל, הדיונים הנוכחיים על בינה מלאכותית כללית וחינוך עתידי הדגישו כי בינה מלאכותית עשויה לשנות את שיטות הלמידה מהר יותר ממה שמערכות הוראה מסורתיות יכולות להתאים את עצמן. תנאים אלו מחייבים שימוש בשיטה שתיעדה לא רק עמדות טכנולוגיות, אלא גם מצבים רגשיים, ויסות עצמי, רקע אקדמי ומשתנים הקשריים. בתהליך העבודה הנוכחי, משתנים אלה מטופלים כמדדי סקר לדיווח עצמי, ולא כעקבות התנהגותיים או מנגנוני סיבתיות שנצפו ישירות.

בעיה מתודולוגית היא שפרופילי הלומדים כמעט ולא נוצרים על ידי משתנה אחד בלבד. נתוני סקרים חינוכיים מכילים לעיתים קרובות שילובים שכבתיים של מדדים רגשיים, התנהגותיים, אקדמיים, הקשרים וטכנולוגיים. מודלים רגרסיה קונבנציונליים שימושיים להערכת אסוציאציות נטו, אך הם פחות אינטואיטיביים כאשר המטרה היא להציג הסתעפות מותנית, דיפרנציאציה של תת-קבוצות וסיווג מבוסס כללים. ניתוח עץ ההחלטות מספק גישה משלימה משום שהוא מחלק רקורסיבית מקרים לענפים ניתנים לפרשנות והופך את רצף הסיווג לגלוי דרך מבני צומת19. בהשוואה למודלים מורכבים יותר של למידת מכונה, עץ החלטות יחיד קל יותר לבדיקה, הסבר וייצוא כחלק מזרימת עבודה שניתנת לשחזור. בהשוואה למידול ליניארי סטנדרטי, הוא יכול להראות כיצד שילובים של מדדי לומדים יוצרים מסלולי סיווג מעשייםבנתונים חינוכיים. עם זאת, עץ בודד רגיש גם לאי-איזון מחלקה, החלטות חלוקה, הגדרות גיזום ומאפייני דגימה. מסיבה זו, עץ ההחלטה בפרוטוקול זה משמש כשלב סיווג עזרי שניתן לפרש, ולא כמנוע חיזוי אוניברסלי או כמודל סיבתי21.

מאמר זה מציג תהליך ציוני סקרים ועץ החלטות C5.0 שניתן לשחזור עליו לסיווג חשיבה מדרגה גבוהה שמדווחת על עצמה בלמידה אקדמית הנתמכת על ידי בינה מלאכותית גנרטיבית. תהליך העבודה מודגם באמצעות מערך נתונים של סקר אוניברסיטאי יחיד של 776 סטודנטים לתואר ראשון שנאספו בסין בין 7 במרץ ל-15 במרץ 2023. התוצאה היא ציון שאלון חשיבה מדרגה גבוהה שדווח על עצמו, שמחולק לסיווג עזר; זה אינו מדד ישיר לביצועים קוגניטיביים מוכחים. החשיפה לבינה מלאכותית גנרטיבית בהדגמה זו מתייחסת לשימוש מדווח עצמי של הסטודנטים בכלי בינה מלאכותית גנרטיבית לפעילויות אקדמיות הקשורות לקורס בארבעת השבועות שקדמו לכך, כולל חיפוש מידע, הסבר מושגים, יצירת רעיונות, ניסוח מתווה ועריכת מטלות. השימוש בכלי לא אומת באמצעות יומני פלטפורמה, היסטוריית פרומפטים או מעקבי פעילות בזמן אמת.

מטרת הפרוטוקול אינה לטעון שהעץ המוחזק מתפשט לכל המוסדות, הקבוצות או סביבות הבינה המלאכותית הגנרטיבית הנוכחית. זהירות זו נחוצה משום שנתוני ההדגמה נאספו באוניברסיטה אחת במהלך חלון זמן קצר בתחילת 2023, כאשר חשיפת הסטודנטים לבינה מלאכותית גנרטיבית עדיין התפתחה במהירות. במקום זאת, התרומה של המאמר טמונה בהפיכת ההליך המלא לניתן לחזרה: הגדרת הקשר של הסקר, ניהול השאלון, סינון תגובות, דירוג, תיעוד אמינות, יישום כלל קידוד קבוע, חלוקת מערך הנתונים, אימון וגיזום עץ C5.0, ייצוא פלטי מודל, ופרשנות מסלולי סיווג מבוססי צמתים תוך התחשבות בביצועים ספציפיים למחלקה. תהליך עבודה ממוקד שיטה זה עשוי לסייע לחוקרים חינוכיים, חוקרים בכיתה ואנליסטים הוראה לשחזר או להתאים גישה שקופה לפרופיל לומדים מבוסס סקרים בלמידה גנרטבית הנתמכת על ידי בינה מלאכותית.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

פרוטוקול

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה, שכלל משתתפים אנושיים, נבדק ואושר על ידי ועדת האתיקה של בית הספר למדעי החינוך, אוניברסיטת יילי נורמל (מספר הפניה LZEDU2023003). המחקר נערך בין 7 ל-15 במרץ 2023. הוועדה קבעה כי המחקר זכאי לפטור אתי משום שהוא כלל רק נהלי שאלון אנונימיים ווולונטריים, ללא כל נזק פיזי, נפשי או חברתי למשתתפים. כל המשתתפים סיפקו הסכמה מדעת אלקטרונית לפני מילוי השאלון.

לפני הניתוח, החלף את רשומות המשיבים במספרי תיקים שאינם הפיכים והסירו את כל המזהים הישירים. אין לשמור שמות, מספרי זיהוי סטודנטים, מספרי טלפון, שמות חשבונות, מזהי כיתות, כתובות פרוטוקול אינטרנט, מזהי מכשירים או סימני חשבון פלטפורמה גולמיים בקובץ האנליטי. השתמש במידע בקרה כפול רק לסינון תגובה, ואז הסר אותו לפני נעילת מערך הנתונים האנליטי.

1. קבעו את הגדרת הסקר ונהלי הדגימה

  1. הגדר את סביבת המחקר וקריטריוני הזכאות
    1. ערכו את הסקר באוניברסיטת הפוליטכניקה ליוזואו, אזור גואנגשי ג'ואנג האוטונומי, סין, מה-7 במרץ עד ה-15 במרץ 2023.
    2. הגדר את אוכלוסיית היעד כסטודנטים לתואר ראשון רשומים כיום באוניברסיטה המשתתפת.
    3. כלול סטודנטים שדיווחו על שימוש לפחות בכלי בינה מלאכותית גנרטיבית אחד ללמידה אקדמית הקשורה לקורס במהלך ארבעת השבועות שקדמו לכך.
    4. הגדר שימוש אקדמי זכאי כחיפוש מידע, הסבר מושגים, יצירת רעיונות, ניסוח מתווה, תיקון משימות, תמיכה בתרגום, סיוע בקוד או משימות נוספות הקשורות לקורס.
    5. החריגו סטודנטים המדווחים רק על שימוש בידור, שיחות מזדמנות, ניסויים שאינם לימודים או שימוש שאינו קשור לקורס.
    6. החריגו משיבים שאינם סטודנטים נוכחיים, אינם מדווחים על שימוש אקדמי בבינה מלאכותית גנרטיבית, סירבו להסכמה מדעת אלקטרונית, או מגישים שאלונים לא תקפים לפי כללי הסינון להלן.
    7. רשמו חשיפה לבינה מלאכותית גנרטיבית באמצעות פריטי דיווח עצמי הכוללים קטגוריית כלי או שם כלי, תדירות שימוש משוערת בארבעת השבועות שקדמו לכך, ומשימות אקדמיות הנתמכות על ידי הכלי. אל תתייחס לנתוני החשיפה הללו כרשומות שימוש מאומתות בפלטפורמה.
  2. בנו את מסגרת הדגימה וגייסו משתתפים
    1. קבל את מסגרת הדגימה המוסדית לתואר ראשון מהאוניברסיטה המשתתפת. המסגרת מכסה יותר מ-15,000 סטודנטים ב-46 תחומי לימוד.
    2. יש ליישם דגימה אקראית מדורגת לפי קטגוריה ראשית ורמת שכבה כדי לציין את רשימת ההזמנות, כך שסטודנטים מתחומים שונים ושלבים לימודיים ייצגו במדגם המוזמן.
    3. החלו דגימה אקראית מדורגת לפי קטגוריה עיקרית ורמת שנה כדי לצייר את רשימת ההזמנות.
    4. הזמינו 800 סטודנטים נבחרים באמצעות הודעת גיוס סטנדרטית.
    5. הפצה את קוד התגובה המהירה של שאלון פלטפורמת השאלונים המקוונת רק לתלמידים מוזמנים בתקופות שאינן לימודיות, כגון הפסקות שיעורים או מפגשי ייעוץ לתלמידים.
    6. רשמו את כל תהליך הגיוס והסינון. בתהליך זה, הוזמנו 800 סטודנטים והוחזרו 792 שאלונים. שישה-עשר שאלונים הוצאו: 4 עבור שימוש לא מתאים בבינה מלאכותית גנרטיבית, 3 עבור הגשה כפולה, 5 עבור זמן סיום מתחת לסף המינימלי, ו-4 עבור דפוסי תגובה בקו ישר לא תקפים. המדגם האנליטי הסופי כלל 776 שאלונים תקפים.

2. הגדרת נהלי ניהול שאלונים ופרטיות נתונים

  1. הגדר את השאלון המקוון
    1. בנו והפיצו את השאלון באמצעות פלטפורמת השאלונים המקוונת, הידועה גם בשם Questionnaire Star.
    2. אפשר הפצת קוד תגובה מהירה, תגובות חובה לפריטי קנה מידה, ייצוא בזמן הגשה, בדיקת שליטה כפולה וייצוא גיליון אלקטרוני.
    3. נעל את השאלון הפונה למשיבים לפני קבלת התשובה הראשונה התקפה. שמרו על נוסח פריטים, סדר פריטים, עוגני תגובה, הוראות, תוויות קנה מידה, נוסח ההסכמה ונתיב הגישה ללא שינוי לאורך תקופת הסקר.
    4. הגדר את כל הפריטים בקנה מידה כפריטים נדרשים. אל תשתמש באימות פוסט-הוק לתגובות לסולם.
    5. הפעל שליטה בהגשה אחת דרך אפשרות הפלטפורמה הפחות מזוהה הקיימת. השתמש בסמנים שנוצרו ברמת החשבון, ברמת המכשיר או פלטפורמה רק לבדיקות כפולות.
  2. תקנון תנאי ההשלמה
    1. בקש מהמשיבים למלא את השאלון באופן אישי, בישיבה אחת, וללא דיון עמיתים.
    2. הנחו את המשיבים לענות לפי השימוש האקדמי שלהם בבינה מלאכותית גנרטיבית במהלך ארבעת השבועות שקדמו לכך.
    3. בקש מהמשיבים למלא את השאלון בשקט ולהימנע מהחלפת מכשירים, הפסקות ממושכות או גישה חוזרת לאחר ההגשה.
    4. קבע את חלון זמן ההשלמה הצפוי ל-530 דקות. השתמש בזמן ההשלמה רק כמדד לאיכות תגובה.

3. מסך תגובות ונעילת מערך הנתונים האנליטי

  1. ייצוא קובץ התגובה הגולמי
    1. ייצא את קובץ השאלון הגולמי מפלטפורמת השאלונים המקוונת לאחר סגירת חלון הסקר.
    2. שמרו על הייצוא הגולמי לפני החרבה, ניקוד, קידוד או בניית מודלים.
    3. הקצה מספרי תיקים שאינם מזוהים לכל הרשומות שהוחזרו לפני הסינון. בתהליך עבודה זה, הקצה מספרי מקרים ל-792 השאלונים שהוחזרו.
  2. החלת כללי אי-החרגה לאיכות תגובה
    1. החריג רשומות ללא הסכמה מדעת אלקטרונית.
    2. החריגו רשומות שאינן עומדות במעמד הסטודנט הנוכחי או בזכאות אקדמית.
    3. החריג רשומות עם תגובות חסרות בסולם שאינו דמוגרפי לאחר ייצוא. בתהליך עבודה זה, הגדרות תגובה חובה מנעו תגובות בקנה מידה חסר.
    4. השתמש בסף זמן סיום ממוצע של 2 שניות לכל פריט סגור כדי לזהות רשומות שסביר שלא ישקפו קריאה ועיבוד תגובה ברמת הפריט. החריגו רשומות מתחת לסף זה.
    5. בדוק רשומות שהושלמו בפחות מ-5 דקות או יותר מ-30 דקות כתגובות פוטנציאליות באיכות נמוכה או מופרעות. שמור רשומות מחוץ לחלון הזמן הזה רק כאשר בדיקות כפולות ובדיקת דפוסי תגובה אינן מצביעות על סיום שגוי.
    6. השתמש בתגובה בקו ישר כמדד נוסף לאיכות תגובה. החריג רשומות שבהן נבחרה אפשרות תגובה זהה לפחות ל-90% מהפריטים בקנה מידה של לייקרט, שכן דפוס זה מצביע על מעורבות מוגבלת עם תוכן הפריטים.
    7. החריגו הגשות כפולות המבוססות על סימני כפילויות בפלטפורמה ושמרו על הרשומה התקינה המלאה המוקדמת ביותר.
    8. שמור את השאלון הפונה למשיבים כתיק משלים 1.
    9. שמור את יומן הסינון כקובץ משלים 2. יומן הסינון צריך לדווח על סטודנטים מוזמנים, שאלונים שהוחזרו, שאלונים שהוחרגו, סיבות להדרה ומקרים סופיים שנשארו.
  3. צור את מערך הנתונים האנליטי הנעול
    1. שמרו את 776 השאלונים התקפים לאחר הבדיקה. נעול את השאלון הפונה למשיבים ואת מערך הנתונים האנליטי לפני הדירוג, כדי להבטיח שניסוח הפריט, קריטריוני הזכאות, החלטות ההדרה והגדרות המשתנים לא ישתנו לאחר איסוף הנתונים.
    2. הסר מזהים ישירים, חותמות זמן גולמיות, סימני חשבון ברמת החשבון, מעקבים ברמת המכשיר וסמני בקרה כפולים לפני ניתוח. השתמשו בצעד הסרת הזיהוי הזה כדי להגן על אנונימיות המשתתפים ולמנוע קישור של מערך הנתונים האנליטי חזרה לתלמידים בודדים.
    3. שמור את מאגר המקרים הלא מזוהה 776 כמערך נתונים אנליטי נעול.
    4. השתמש במאגר הנתונים האנליטי הנעול כמקור היחיד לניקוד, קידוד וסיווג.

4. מדידת משתנים הקשורים ללומד

  1. ארגן את השאלון
    1. חלק את השאלון לארבעה חלקים: הסכמה מדעת, רקע דמוגרפי ואקדמי, חשיפה לבינה מלאכותית גנרטיבית, וסולמות הקשורים ללומדים.
    2. שיא מגדר, גיל, מגמה, רמת שכבה וביצועים אקדמיים מדווחים בעצמם.
    3. רשמו חשיפה לבינה מלאכותית גנרטיבית לפי קטגוריית כלים, תדירות שימוש משוערת ומשימה אקדמית נתמכת.
    4. מדדו חשיבה מדווחת עצמית, חרדה מבינה מלאכותית גנרטיבית, אמון בבינה מלאכותית גנרטיבית, רגשות שליליים, עמדות כלפי בינה מלאכותית גנרטיבית, שימוש בעייתי בסמארטפון, דחיינות אקדמית וחינוך הורי.
    5. התייחסו לכל המשתנים מבוססי הסקאלה כמדדי סקר לדיווח עצמי, ולא כתצפיות התנהגותיות ישירות או כביצועים קוגניטיביים שנצפו ישירות.
  2. הגדר מדדים שנשמרו
    1. מדדו חשיבה מדווחת עצמית ברמה גבוהה באמצעות כלי שמור בן 23 פריטים הכולל פתרון בעיות, חשיבה ביקורתית, עבודת צוות, תקשורתוחדשנות.
    2. מדדו חרדת בינה מלאכותית גנרטיבית באמצעות סולם חרדה טכנולוגי מותאם בן 11 פריטים23.
    3. מדדו אמון בבינה מלאכותית גנרטיבית עם אמון מותאם בן 12 פריטים באוטומציה בסולם24.
    4. מדד רגשות שליליים באמצעות סולמות מותאם לדיכאון, חרדה ולחץ. סט 21 פריטים המשמש כמדד כללי לרגש שלילי25. אל תפרשו ציון זה כאבחנה קלינית.
    5. מדדו עמדות כלפי בינה מלאכותית גנרטיבית באמצעות סולם טכנולוגיה-גישה מותאמת בן 18 פריטים.26.
    6. מדדו שימוש בעייתי בסמארטפונים באמצעות סולם התמכרות לסמארטפון גרסה קצרה מותאמת להקשר סקר התלמידים27.
    7. מדדו דחיינות אקדמית עם סולם דחיינות אקדמי בן 16 פריטים28.
    8. מדדו את הביצועים האקדמיים עם פריט דיווח עצמי בן 5 נקודות: 1 = הרבה מתחת לממוצע, 2 = מתחת לממוצע, 3 = ממוצע, 4 = מעל הממוצע, ו-5 = מצוין.
    9. מדדו את החינוך ההורי באמצעות פריט ההקשר של 5 נקודות: 1 = מאוד לא תומך, 2 = לא תומך, 3 = ניטרלי או מעורב, 4 = תומך, ו-5 = תומך מאוד.
  3. הגדרת עוגני תגובה ונהלי התאמה
    1. השתמשו בפורמט תגובה מסוג לייקרט 1–5 עבור משתני קנה מידה שנשמרו.
    2. השתמש בעוגנים הכלליים: 1 = לא מסכים בתוקף, 2 = לא מסכים, 3 = ניטרלי או לא ודאי, 4 = מסכים, ו-5 = מסכים מאוד.
    3. יש לנהל את השאלון בסינית כדי להבטיח שהמשיבים ישלימו את כל הפריטים בקנה מידה בהקשר ההוראה והשפה המשמשים באוניברסיטה המשתתפת.
    4. להתאים פריטי מקור באמצעות תרגום קדימה, סקירת מומחים, התאמת ניסוח ללמידה הנתמכת על ידי בינה מלאכותית גנרטיבית, ובדיקת קריאות פיילוט כדי לשמר את משמעות הקונסטרוקטור המיועדת תוך שיפור בהירות ההקשר עבור סטודנטים סינים לתואר ראשון.
    5. השתמשו בסקירת מומחים כדי לבדוק האם הפריטים המותאמים נשארים עקביים עם המבנים המקוריים, עיגוני התגובה, כיוון הניקוד וההקשר המחקרי. תקן רק ניסוחים שעשויים לגרום לעמימות, חוסר התאמה או אי-הבנה בסביבת למידה הנתמכת על ידי בינה מלאכותית גנרטיבית.
    6. כלול נוסח פריטים, עוגנים לתגובה, סדר פריטים, כיוון ניקוד ותוויות משתנים סופיות בקובץ המשלים 1.

5. לדרג מדדים ולאמת את איכות המדידה

  1. הכינו את קובץ העבודה המנומר
    1. פתח את מערך הנתונים האנליטי הנעול ב-IBM SPSS Statistics 26.0.
    2. שמור משיב אחד לכל שורה ופריט או משתנה אחד לכל עמודה.
    3. בדוק ערכים חסרים, טווחי תגובה, תוויות פריטים ושמות משתנים.
    4. שמור מערך נתונים ברמת פריט מסונן לפני חישוב ציונים מורכבים.
  2. חישוב ציונים מורכבים
    1. חשב ציון ממוצע מורכב אחד ברמת המשיב עבור כל מבנה רב-פריטי.
    2. רק פריטים עם ניקוד הפוך שזוהו כמוקד הפוך במפתח הניקוד לפני חישוב הניקוד המורכב.
    3. אין לבצע ציון הפוך לפריטי רגש שלילי שמקורם ב-DASS21 בזרימת עבודה זו, כי כל הפריטים שנשמרו מדורגים באותו כיוון, כאשר ערכים גבוהים יותר מצביעים על חוויה רגשית שלילית חזקה יותר.
    4. אל תחשבו ציונים מורכבים מסולמות שהשתנו חלקית.
    5. שמור קובץ ציונים רציף לאחר חישוב הציון המורכב.
  3. אימות איכות מדידה פנימית
    1. חשב את האלפא של קרונבך עבור כל סולם רב-פריטי שנשמר ב-IBM SPSS Statistics 26.0. השתמש באלפא של קרונבך כמדד עקביות פנימית שמציין האם פריטים באותו סולם מראים מספיק קוהרנטיות לחישוב ציון מורכב.
    2. בדקו מתאמים מתוקנים לסך הפריטים וערכי אלפא-אם-פריט שנמחקו עבור כל סולם שנשמר. השתמש במתאם מתוקן בין פריט לסך הכולל כדי לבדוק האם כל פריט מיושר מספיק עם הציון הכולל של הסולם שלו לאחר שהוצאתי אותו מהחישוב הכולל.
    3. השתמש בערכי אלפא-אם-פריט שנמחקו כדי לזהות פריטים שעלולים להפחית עקביות פנימית אם נשמרים. אל תסיר פריטים אוטומטית רק על בסיס סטטיסטי; לשמור או להסיר פריט רק לאחר בדיקת משמעות המבנה, כיוון הניקוד והעקביות עם השאלון המתאים.
    4. בצע בדיקות בדיקה של קייזר-מאייר-אולקין ובארטלט עבור ערכת הקנה מידה מותאמת.
    5. דווח על ערכי האלפא של קרונבך בטקסט הראשי.
    6. ספק את רשומת הניקוד והמדידה המלאה בטבלה משלימה 1. כלול ספירת פריטים, טווח תגובה, עוגני תגובה, כיוון ניקוד, פריטים עם מפתח הפוך, כלל הניקוד המורכב, אלפא של קרונבך, תוצאות בדיקת קורלציה כוללת של פריט מתוקן, תוצאות בדיקת אלפא-אם-פריט-נמחק, ותווית המשתנה הסופית.

6. המרת ציונים רציפים לקלטי סיווג עזר

  1. יישום קידוד בינארי
    1. השתמש בקובץ העבודה של הניקוד הרציף כקובץ המקור.
    2. תעודת חשיבה מדווחת עצמית מסדר גבוה כמשתנה המטרה הבינארי.
    3. קוד מקבל ציון ≤3 כ-0 וציון >3 כ-1.
    4. החלו את אותו סף על כל המנבאים השמורים לאחר חישוב הציון המורכב.
    5. השתמשו בסף של 3 כנקודת האמצע של סולם התגובה 1–5 כדי ליצור כלל קידוד שקוף וניתן לשחזור.
    6. בצע דיכוטומיזציה רק כדי ליצור קלטים בינאריים להדגמת עץ ההחלטה C5.0.
    7. בדוק את ספירת המחלקות אחרי הדיכוטומיזציה.
    8. שמור את קובץ העבודה הרציף של התווים.
  2. צור את קובץ הניתוח המקודד
    1. יצר קובץ ניתוח בינארי חדש.
    2. לקודד מחדש חרדת בינה מלאכותית גנרטיבית, אמון בבינה מלאכותית גנרטיבית, שימוש בעייתי בסמארטפונים, דחיינות אקדמית, הישגים אקדמיים, חינוך הורים, רגשות שליליים ועמדות כלפי בינה מלאכותית גנרטיבית תוך שימוש באותו סף.
    3. אמת את ספירת המחלקות עבור כל משתנה בינארי.
    4. דווח על כללי הקידוד וספירת המחלקות בטבלה 1.
    5. שמור את קובץ הניתוח המקודד בינארי.
    6. ספק את מבנה קובץ הניתוח המקודד כקובץ משלים 3.

7. לבנות את מסווג עץ ההחלטות C5.0 המסייע

  1. הגדר את סביבת המידול
    1. פתח את IBM SPSS Modeler 18.4 על מערכת הפעלה Windows 10 64 ביט.
    2. ייבא את קובץ הניתוח המקודד בינארי.
    3. הקצה את שדה היעד, חשיבה מדווחת עצמית עצמית כשדה היעד.
    4. הקצו את כל המשתנים הבינאריים השמורים האחרים כשדות קלט.
    5. אמת שמות שדות, תוויות ערך, ותפקידי יעד/קלט.
    6. רשמו את שם התוכנה, הגרסה, מערכת ההפעלה, יישום C5.0, שם קובץ הפרויקט ותאריך הניתוח בטבלה משלימה 2.
  2. חלוקה של מאגר הנתונים
    1. חלק את ה-776 מקרי הבדיקה לחלוקה של 70:30 לבדיקות אימון.
    2. השתמש ב-seed אקראי קבוע 20230307.
    3. החלו חלוקה שכבתית לפי יעד החשיבה הבינארי מסדר גבוה.
    4. הקצה 544 מקרים לתת-קבוצת ההכשרה ו-232 מקרים לתת-הקבוצה של הבדיקה.
    5. אמת את ספירות low-HOT ו-high-HOT בסט הנתונים המלא, תת-קבוצת האימון ותת-הבדיקה.
    6. שמור את רשומת החלוקה בטבלה משלימה 2.
  3. לאמן ולגזום את עץ ה-C5.0
    1. אמן מסווג C5.0 אחד על תת-קבוצת האימון.
    2. השתמש ביחס רווח ככלל הבחירההמפוצלת 29.
    3. הגדר אנטרופיה כך:
      אנטרופיה(D) = −Σpilog2(pi)
      כאשר pi הוא שיעור המקרים במחלקה i בתוך מערך הנתונים D.
    4. הגדר יחס רווח כך:
      יחס הגבר (D, C) = [אנטרופיה(D) − אנטרופיה(D|C)]/SplitInfo (D, C)
      כאשר C הוא משתנה הפיצול המועמדת.
    5. אפשר גיזום להפחית ענפים ספציפיים מדי שעשויים להתאים לרעש תת-קבוצה של אימון.
    6. השתמש בהגדרות C5.0 הבאות: גיזום = מופעל; הגברה = מושבת; מספר הניסויים = 1; עלויות סיווג שגוי = לא יושמו; משקלי מחלקה = לא מיושמים; רשומות מינימליות לכל ענף ילד = 2; גיזום גלובלי = מופעל; הרמת תת-עץ = מופעל; מקדם ביטחון = 0.25; כללי עצירה = הגדרות ברירת מחדל של IBM SPSS Modeler C5.0 אלא אם צוין אחרת.
    7. אל תיישם דגימה סינתטית, משקל מעמד או למידה רגישה לעלות בתהליך העבודה הראשי.
    8. ייצא את העץ הראשוני ואת העץ הגוזם שנשמר.
    9. שמור את מבנה הצומת הסופי, סיכומי הצמתים הסופיים, פלט החשיבות המשתנה, כללי הסיווג והגדרות המודל.
  4. אי-איזון מחלקת המסמכים
    1. חשב את התפלגות HOT נמוך ו-HOT גבוה לפני אימון המודלים.
    2. רשמו את שיעור היעדר המידע כחלק הרוב של המחלקה במערך הנתונים המלא ובתת-הקבוצה של הבדיקות.
    3. פרש את העץ כפלט סיווג עזר שניתן לפרשנות ולא כמודל סינון אופטימלי.
    4. ליישומים עתידיים הממוקדים בסינון, שקלו משקלי מחלקות, למידה רגישה לעלות, דגימה מחדש, חלוקות מבחן רכבת חוזרות, אימות צולב k-fold או התאמת סף.

8. להעריך ולשמר את תוצאות הסיווג

  1. יצוא ביצועי יצוא
    1. החלו את עץ הגיזום השמור על תת-קבוצת האימון.
    2. ייצוא את מטריצת בלבול האימון, דיוק, שחזור ספציפי למחלקה, דיוק ספציפי למחלקה, ויציאת צומת טרמינל.
    3. החלו את אותו עץ על תת-הקבוצה של הבדיקה.
    4. ייצוא את מטריצת הבלבול של הבדיקה, דיוק, שחזור ספציפי למחלקה, דיוק ספציפי למחלקה, ופלט צומת טרמינל.
    5. חשב את הזיכרון כ-TP/(TP + FN).
    6. חשב דיוק כ-TP/(TP + FP).
    7. חשב דיוק כולל כמקרים מסווגים נכון חלקי המקרים הכוללים.
    8. חשב את שיעור חוסר המידע והשווה את דיוק המבחנים לבסיס הרוב במחלקה.
    9. דווח על מדדים ספציפיים למחלקה עם דיוק כללי.
  2. יצוא פלטי פרשנות
    1. ייצא את טבלת החשיבות המשתנה עם ערכים מספריים.
    2. ייצא את דיאגרמת העץ הסופית עם גודל מדגם הצומת, המחלקה החזויה, התפלגות מחלקות והסתברות מחלקה.
    3. אם דיאגרמת העץ המלאה צפופה ויזואלית, ספק איור ראשי מפושט והנח את טבלת הצמתים המלאה בקובץ המשלים 4.
    4. ייצוא סיכומי צמת-טרמינל כולל נתיב כללים, גודל מדגם צומת, מחלקה חזויה, ספירת HOT נמוכה, ספירת HOT גבוהה, וביטחון סיווג.
    5. תאר מסלולי סיווג מייצגים אחד או שניים בתוצאות המייצגות.
  3. שימור חבילת השכפול
    1. שמר את קובץ התגובה הגולמית, רשומת הסרת הזיהוי, יומן הסינון, מערך נתונים ברמת הפריט המצודק, קובץ עבודה רציף של ניקוד, קובץ ניתוח מקודד בינארי, טבלת זרימת דגימה, מפתח ניקוד, טבלת אמינות, קובץ פרויקט C5.0, קובץ עץ התחלתי, קובץ עץ גזום, פלט חשיבות משתנה, טבלת צומת טרמינלית, מטריצות בלבול וסיכומי מודלים מיוצאים.
    2. ספק טבלה משלימה 1 כרשומת הניקוד והמדידה.
    3. ספק טבלה משלימה 2 כרשומת הגדרת המודל והפלט.
    4. ספק את תיק משלים 1 כשאלון הפונה למשיב.
    5. ספק קובץ משלים 2 כדוח סינון לדוגמה.
    6. ספק קובץ משלים 3 כמבנה קובץ ניתוח מקודד.
    7. ספק קובץ משלים 4 כפלט צומת טרמינלי ו-Variable-חשודות.
    8. שמרו על מסלול זרימת העבודה כ: ייצוא שאלון גולמי > יומן הסרת זיהוי וסינון > מערך נתונים ברמת פריט > קובץ עבודה רציף > קובץ ניתוח בינארי מקודד > מחיצת אימון/בדיקה > עץ C5.0 ראשוני > עץ C5.0 גזום > יצוא תוצרי סיווג > חבילת שחזוריות משלימה.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

תוצאות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

סטטיסטיקה תיאורית של משתנים שמורים

טבלה 2 מדווחת על הסטטיסטיקה התיאורית של משתני הסקר העצמיים שנשמרו במאגר הנתונים של הציון הרציף לפני קידוד בינארי. ציון החשיבה מסדר גבוה שדיווח על עצמו היה 3.71 (ציון חשיבה מסדר גבוה = 0.68), שהיה מעל סף נקודת האמצע הקבועה של 3 בסולם התגובות 1–5. האמון בבינה מלאכותית גנרטיבית גם הוא עבר את הסף הזה, עם ממוצע של 3.54 (SD = 0.60), בעוד שהביצועים האקדמיים היו קרובים לסף, עם ממוצע של 3.07 (SD = 1.1...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

דיון

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

פרוטוקול זה מציג תהליך שידור עבודה שניתן לשחזור על ניקוד סקרים ועץ החלטות C5.0 לארגון נתוני לומדים שמדווחים בעצמם בלמידה אקדמית הנתמכת על ידי בינה מלאכותית גנרטיבית. התרומה העיקרית שלה היא מתודולוגית ולא חיזויה. תהליך העבודה מפרט כיצד להגדיר את הקשר הסקר, לסרק תגובות, לדרג מבנים מרובי פריטים, להחיל כלל קידוד קבוע באמצע הנתונים, לחלק את מערך הנתונים, לאמן ולקצץ עץ C5.0, לייצא פלטים ברמת הצמת, ולהעריך ביצועים ספציפיים למחלקה. C5.0 נבחרה משום שהיא מייצרת עץ מבוסס חוקים שניתן לפרש, תומכת בפי...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

גילויים

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המחברים מצהירים כי אין להם אינטרסים פיננסיים מתחרים או מערכות יחסים אישיות שיכלו להיראות כמשפיעות על העבודה המדווחת במאמר זה.

תודות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה נתמך על ידי פרויקט הרפורמה החינוכית של האזור האוטונומי לשנת 2024 "מחקר על מנגנון השיתוף של משאבי חינוך אידיאולוגי ופוליטי איכותיים בתוכניות לימודים בין אוניברסיטאות מזרח ומערב" (פרויקט מס' XJGXJGZH2024011).

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה
שםחברהמספר קטלוגהערות
IBM SPSS Modelerחברת IBMגרסה 18.4משמש לחלוקת נתונים בשכבות 70:30, בניית עץ החלטות C5.0, גיזום, הערכת סיווג וייצוא פלט עץ.
סטטיסטיקות של IBM SPSSחברת IBMגרסה 26.0משמש לבדיקת נתונים, חישוב ניקוד מורכב, ניתוח אמינות, בדיקת תדירות וקידוד בינארי.
מכשיר המשיב המחובר לאינטרנטמכשיר בבעלות המשיבסמארטפון, טאבלט או מחשב נייד עם גישה לדפדפןמשמש את המשיבים למילוי השאלון המקוון. לא סופק מכשיר ייעודי למחקר.
מיקרוסופט אקסלמיקרוסופט קורפ.Microsoft 365 או Excel 2019 או מאוחר יותרמשמש לסקירת יומני סינון, אימות קידוד, עיצוב טבלאות ובדיקת יצוא פלט.
פונקציית הפצת קוד QRוונג'ואנשינג / כוכב השאלוןפונקציית קוד QR מובנית לקישור לשאלוןמשמש למתן גישה סטנדרטית לשאלונים לתלמידים מוזמנים במהלך חלון הסקר.
הגדרת השלמת סקר שקטההאוניברסיטה המשתתפתהפסקת כיתה לא לימודית או סביבת ייעוץ לתלמידיםמשמש להפחתת שונות בין תשובה להקשר במהלך השלמת שאלון בישיבה אחת.
תיקיית אחסון נתונים מאובטחתמחברים / מוסד משתתףאחסון מוסדי מבוקר גישהמשמש לשימור ייצוא גולמי, מערך נתונים מסונן, מערך נתונים מדורג, מערך נתונים מקודד, קבצי מודל, יומנים, ופלטים מיוצאים עם בקרת גרסאות.
Wenjuanxing / פלטפורמת סקרים מקוונת Questionnaire Starצ'אנגשה רנשינג טכנולוגיית מידע בע"מ.פלטפורמה מבוססת רשת; גישה דרך האתר הרשמי של וונג'ואנשינגמשמש לבניית שאלונים, הפצת קוד QR, הגדרות תגובה חובה, בדיקת בקרה כפולה, ייצוא חותמת זמן וייצוא גיליון אלקטרוני.
מערכת ההפעלה Windowsמיקרוסופט קורפ.Windows 10, 64-ביטסביבת התפעול עבור IBM SPSS Statistics 26.0 ו-IBM SPSS Modeler 18.4.

הדפסות חוזרות והרשאות

בקש הרשאה לשימוש חוזר בטקסט או באיורים של מאמר JoVE זה

בקש הרשאה

תגיות

מאמרים קשורים