אישור אתי
לפני הניסוי, קיבלו המחברים אישור (מספר אישור: NBCC-ETH-2026-037) מהמכללה והפיצו מסמכי הסכמה מדעת לכל הסטודנטים שהשתתפו. כל הסטודנטים עודכנו בבירור לגבי מטרות המחקר, ההליכים הניסויים ותקנות השימוש בנתונים. ההשתתפות הייתה וולונטרית, והמשתתפים יכלו לפרוש מהמחקר בכל עת. כל הנתונים האישיים והעבודות הכתובות עברו אנונימיזציה כדי להגן על הפרטיות ושימשו לניתוח אקדמי בלבד. כל 60 המשתתפים חתמו על טופס ההסכמה לפני השתתפותם במחקר. המשתתפים נבחרו משני כיתות כתיבה באנגלית מקבילות לשנה ב' באותה מכללה מקצועית גבוהה, וגויסו באמצעות דגימת נוחות. קריטריוני ההכללה כללו: מעבר מבחן CET-6 עם ציון > 425, ללא היעדרויות בסמסטר זה, וציונים ממוצעים בשני מבחני הכתיבה האחרונים של היחידה. קריטריוני ההחרגה כללו: שימוש ארוך טווח בתוכנות כתיבה באנגלית מבוססות AI מסחריות מחוץ לכיתה ודיסלקסיה חמורה.
השונות עבור כל משתני התוצאה הרציפים דווחה כממוצע ± סטיית תקן (SD). כל הניתוחים בוצעו עם גודל מדגם של n = 30 משתתפים לכל קבוצה (קבוצת ניסוי לעומת קבוצת ביקורת), סך הכל N = 60. עבור נתונים אורכיים של מדידות חוזרות, נעשה שימוש בניתוח שונות למדידות חוזרות (RM-ANOVA) כדי לבחון השפעות עיקריות של הקבוצה והזמן, ואת האינטראקציה בין הקבוצה לזמן. מבחני t למדגמים בלתי תלויים שימשו להשוואות זוגיות post-hoc בנקודות זמן בודדות. קבוצת הביקורת קיבלה הוראת כתיבה מסורתית בתוספת כלי כתיבה גנרי, חינמי ולא מותאם אישית מבוסס AI (ללא הנחיות מדורגות, ללא תבניות מכוונות להעברה). שעות ההוראה, משימות הכתיבה, תדירות המשוב וטקסטים האימון היו זהים לאלו של קבוצת הניסוי, למעט היעדר ההתערבות של שרשרת הנחיות מקננת מותאמת אישית וספריית משימות בעלת חמישה רמות ששימשה במחקר זה. קבוצת הניסוי השתמשה בהוראות המבוססות על מודל DeepSeek כדי למקסם את הוראת הכתיבה, כולל הנחיה של שרשרת הנחיות מקננת, פלט של התאמה בין-תרבותית ומנגנון של "יצירה-רפלקסיה-יצירה מחדש". קבוצת הביקורת, לעומת זאת, השתמשה בשיטות הוראה מסורתיות או בכלים מבוססי AI לא אופטימליים. באמצעות השוואת אפקטיביות ההוראה בין שתי הקבוצות, אומתה היעילות של שיטת אימון ההעברה המבוססת על מודל שפה גדול בשיפור יכולת העברת הכתיבה של התלמידים.
רעיון המחקר הכללי
מחקר זה נועד לשפר את יכולת ההעברה (transfer) של סטודנטים בכתיבה בשפה האנגלית ולפתח שיטות עיצוב לימודי אפקטיביות, תוך התמקדות מיוחדת בהתאמת DeepSeek לשימוש חינוכי. ראשית, הוצעה אסטרטגיה לאופטימיזציה של הוראות לצורך עיצוב מחדש של הפרומפטים (prompts) במודל. הדבר שיפר את התאמת הפלט המופק למספר מטרות העברה בהוראת כתיבה, כולל מבנה תחבירי, לוגיקה של פסקאות וביטוי תרבותי. שנית, מטלות הכתיבה של המורים הומרו לתבניות פרומפטים מובנות ומכוונות מטרה. לאחר מכן נקבע קשר מיפוי בין מטלות ההוראה להתנהגויות המודל. דבר זה שיפר את יכולת השליטה במודל והבטיח שהתוכן המופק רלוונטי מבחינה פדגוגית. לבסוף, פיתח המחקר תהליך אימון העברה בלולאה סגורה: "הפקה–רפלקסיה–שכתוב–הפקה מחדש". תהליך זה עודד סטודנטים לזהות אסטרטגיות העברה וללטש באופן פעיל את הביטוי הלשוני שלהם בתמיכת המודל. באמצעות חזרות חוזרות, יכולות ההעברה של הסטודנטים בכתיבה בין-לשונית ובין-תרבותית התחזקו באופן מתמיד. השלבים לטרנספורמציה של מבנה המשפט מוצגים ב-איור 1A–D.
כדי להבהיר את לוגיקת הפעולה המלאה של מערכת האימון לכתיבה בסיוע AI ולשפר את יכולת השחזור, זרימת העבודה הכוללת של היישום מסוכמת בטבלה 1, המכסה מקשרי ליבה הכוללים קלט גולמי, התערבויות מורה, יישום פרומפטים, פעילויות סטודנטים, תוצרים סופיים ומדדי הערכה תואמים.
אסטרטגיית בניית משימות מכוונת-העברה
מחקר זה התמקד בפיתוח יכולת העברה בכתיבה באנגלית. במסגרתו נבנה נתיב של משימות העברה המתקדם מרמה שטחית לעומק, המנחה את הסטודנטים באופן שיטתי ברכישה ותרגול של אסטרטגיות העברה לשוניות רב-שכבתיות. כדי לתאר את מבנה הנתיב ככלל, הוא הוגדר כמערך משימות בן ארבע רמות:
T = {T1,T2,T3,T4} (1)
T1 מייצג את משימת ההעברה ברמת המשפט, המתמקדת בפעולות מבנה דקדוקיות בסיסיות, כגון הרחבת משפטים קצרים, שינוי סביל/פעיל (voice change) והחלפת פסוקיות, כדי לסייע לתלמידים לשלוט בשיטות מגוונות של מבנה משפט. T2 היא משימת ההעברה ברמת הפסקה, המנחה את התלמידים להקדיש תשומת לב לארגון ולקישור של המידע בתוך הפסקה, ומאמנת אותם לשפר את הבהירות המבנית ואת קוהרנטיות הביטוי של הפסקה באמצעות חילוץ משפט המפתח והתאמת הלוגיקה בין המשפטים. T3 מייצגת את המשימה ברמת השיח (discourse), המתרחבת עוד יותר לפריסה הלוגית הכוללת ולקצב הטיעונים של הפרק, ומנחה את התלמידים לבנות מאמר באנגלית עם מערכת טיעונים שלמה על ידי התאמת סדר הפסקאות ואופטימיזציה של יחסי הסמיכות המבניים. T4 היא משימת ההעברה ברמה התרבותית, הדורשת מהתלמידים לזהות מאפייני ביטוי תרבותיים משתמעים בכתיבה בשפת האם, כגון ניסוחים עקיפים ורמזים סמנטיים, ולהמיר אותם לביטויים ישירים או לצורות לוגיות מפורשות התואמות את תרבות שפת היעד. תהליך ההתפתחות שלה מוצג ב-איור 2. כדי להגביר את הישימות וההערכה של עיצוב המשימות, מחקר זה הגדיר עוד כל רמת משימה כצורה של שלשייה:
Ti = (Si,Gi,Ei) (2)
Sj מייצג את דגימת הקלט של המשימה, Gi מייצג את פעולת ההעברה המיועדת, ו-Ei מייצג את קריטריוני ההערכה התומכים. באמצעות ביטוי מובנה זה, הובטח שכל רמה של המשימה נבנתה על בסיס השליטה באסטרטגיה מהרמה הקודמת, וצויידה בדגימות תואמות, בתיאורי יעד ובקריטריוני ביצוע, ובכך סופק מנגנון להתקדמות עקבית של נתיב ההעברה. בתהליך בניית מערכת אימון ההעברה, כדי להשיג כיסוי סיסטמטי של סוגי משימות וניהול יעיל של קריאות ההוראה, מחקר זה בנה ספריית משימות מובנית המכסה חמישה סוגים של יעדי העברה, בהתבסס על ממדי המרה לשוניים נפוצים בהעברה של כתיבה. ספריית המשימות בוטאה באופן פורמלי כך:
M = {(Dj,TDj)∣j = 1,2,3,4,5} (3)
Dj מתייחס לחמישה ממדי העברה: העברה תחבירית, העברה מבנית, העברה תרבותית, העברת רגיסטר והעברה לוגית; קבוצת המשימות TDj הקשורה לכל ממד מייצגת את תת-קבוצת הפעולות שלו. בתהליך פיתוח ספריית המשימות, ראשית, הכותבים סיכמו וסיווגו קשיים נפוצים בהעברה וסוגי שגיאות לשוניות על בסיס מספר רב של דגימות כתיבה אמיתיות של סטודנטים, ובשילוב עם צרכי ההוראה וסטנדרטי ההערכה בפועל, חילקו את סוגי ההעברה השונים לתחומים פונקציונליים, וקבעו את יעדי האימון המרכזיים ואת דפוסי הפעולה של כל משימה. כל משימה יוצגה באופן מופשט כמבנה של שלשייה כדלקמן:
Ti,j = (Si,j,Gi,j,Ci,j) (4)
Si,j מייצג את דגימת קלט המשימה, Gi,j הוא תיאור יעד ההעברה של המשימה, ו-Ci,j הוא ממד ההערכה והבקרה של המשימה. במשימת ההעברה התחבירית, מחקר זה תכנן רצף ארגון משפטים שהתקדם מפשוט למורכב, וכיסה חיבור משפטים, קינון פסוקיות, המרה לסביל ומושגים קשורים, במטרה לשפר את יכולותי הסטודנטים בהרחבת משפטים וטרנספורמציה דקדוקית. משימת ההעברה המבנית התמקדה באופטימיזציה של לוגיקת הפסקה, חיזוק ארגון המידע ושיפור היכולת לבנייה לוגית באמצעות כתיבה מחדש של המשפט המרכזי, מיון משפטי תמיכה ובנייה מחדש של קשרי סיבה-תוצאה ודוגמאות. משימת ההעברה התרבותית התבססה על קורפוס בין-תרבותי ומטרתה סטיות פרגמטיות, כגון ביטויים משתמעים והפליאציות (euphemisms). היא תכננה המרות ביטוי הקרובות להקשר הממשי כדי לקדם את פיתוח ההסתגלות התרבותית. משימת העברת המשלב (register) הנחתה את הסטודנטים להמיר ביטויים מדוברים לשפה אקדמית ולשלוט באסטרטגיות למעבר בין משלבים. משימת ההעברה הלוגית התמקדה בבניית שרשראות הסקה והבטחת בהירות הביטוי, תוך ביצוע אימון בשימוש במילות קישור, הבהרה של קשרים לוגיים ומעברים בין פסקאות.
על בסיס דוגמאות כתיבה ממשיות של תלמידים, פיתח מחקר זה תהליך להפקת הנחיות (prompts) הקשור באופן הדוק למשימות הוראה, במטרה לשפר את הרלוונטיות של ההנחיות ואת המעשיות של התוכן המופק. התהליך הובל על ידי מורים, שבחרו קטעי טקסט מייצגים של תלמידים במהלך תהליך ההוראה, תוך התמקדות בבעיות העברה טיפוסיות כגון משפטים עודפים, מבנים מבולגנים וביטויים תרבותיים שאינם הולמים. לאחר מכן הם תייגו את הדוגמאות עם סוגי העברה באמצעות ממשק המערכת כדי להבהיר את מטרות האימון. לאחר קבלת מידע התיוג, הפעילה המערכת באופן אוטומטי את מודול זיהוי משימת ההעברה. לאחר מכן היא התאימה את הקלט לספריית המשימות וספריית תבניות ההנחיות שהוגדרו מראש. תהליך ההתאמה שקלל גורמים כגון סוג ההעברה, מאפיינים לשוניים ומבנה הטקסט. על בסיס גורמים אלו, בחרה המערכת בתבנית המתאימה ביותר והפיקה הנחיה ראשונית. המערכת תמכה גם בעיבוד שיפור מובנה. תיוגי המורים הומרו לפורמט סטנדרטי שניתן לפירוש קל על ידי המודל. רמזים הדרכתיים רלוונטיים הוטמעו בהנחיה כדי לסייע למודל להבין במדויק הן את כוונות המורה והן את שאלות התלמיד. כדי לשפר את הגמישות והשליטה בהנחיות, כללה המערכת מודול סיוע למורה. מודול זה אפשר למורים לדייק את ההנחיות על ידי שינוי ההדרכה, התאמת הגדרות ההקשר והתאמה אישית של הטון והסגנון. כתוצאה מכך, המורים זכו לשליטה רבה יותר בתהליך ההפקה והתאימו אותו טוב יותר לתרחישי הוראה שונים.
מנגנון אופטימיזציה של פקודות ב-Deepseek
בהתבסס על הצרכים המעשיים של אימון להעברה (transfer) בכתיבה באנגלית, פיתרה מחקר זה חמישה סוגים של תבניות הנחיה (prompt templates) מוכוונות-העברה. תבניות אלו תוכננו להנחות ולבקר את התנהגות היצירה של מודל השפה הגדול. תבנית ההעברה המבנית התמקדה בארגון הפסקאות ובמבנה השיח. היא סייעה לסטודנטים לארגן מחדש טקסטים באמצעות אימוץ מבנים כגון פתיחה–גוף–סיכום, ועל ידי שיפור הזרימה הלוגית של הרעיונות. תבנית ההעברה התחבירית הדגישה מורכבות ברמת המשפט. היא עודדה שימוש במבנים דקדוקיים מגוונים, כולל סביל, מבנים מקבילים ופסוקיות מורכבות, כדי להגביר את רמת התחככמות של הביטוי הכתוב. תבנית ההעברה התרבותית עסקה בהתאמה תרבותית בכתיבה. היא הנחתה סטודנטים להתאים ביטויים המושפעים משפתם ומתרבותם האם לצורות טבעיות ומקובלות יותר בהקשרים דוברי אנגלית. תבנית העברת המשלב (register) התמקדה בהתאמת סגנון ובבקרת משלב. היא סייעה לסטודנטים להתאים את השימוש בשפה בהתאם למטרות כתיבה, קהלי יעד וסוגי ז'אנרים שונים. תבנית ההעברה הלוגית נועדה לחזק את הארגון הלוגי. היא קידמה שימוש יעיל בקשרים כגון סיבה ותוצאה, השוואה וניגוד, ופיתוח מקבילי, ובכך שיפרה את הלכידות ואת הדיוק הטיעוני. יחד, חמש התבניות הללו כיסו את הממדים העיקריים של העברת הכתיבה. הן סיפקו תמיכה הדרכתית מובנית הן לעיצוב משימות הוראה והן ליצירת טקסט מבוססת-מודל.
כל סוג של תבנית עקב אחר פורמט מאוחד כדי להבטיח את אוניברסליותה ויכולת ההתאמה שלה למצבים לימודיים שונים. התבנית הכילה ארבעה אלמנטים מרכזיים: הראשון היה יעד ההוראה, שציין בבירור את משימת ההעברה הנדרשת; השני היה קלט לדוגמה, שסיפק לסטודנטים מקטעי שפה ממשיים כבסיס למסד הנתונים (corpus) עבור יעילות ההוראה; השלישי היה הפלט המיועד, שהציג את הסגנון הסטנדרטי של פלט שפה אידיאלי לאחר ההעברה, כדי שהסטודנטים יוכלו להשוות ולהשתמש בו לצורך כיוונון המודל; הרביעי היה הצעה לשימוש, שהסבירה את רמת השפה, סוג הטקסט ואסטרטגיית השימוש החלה על התבנית, וסיפקה רמזים לפרמטרים ניתנים לכיוונון כדי לשפר את הבקרת היצירה ואת אפקט ההדרכה הלימודית.
כדי להמחיש עוד יותר את לוגיקת התכנון והיישום המעשי של תבניות ההנחיה (prompt templates), מוצגות להלן דוגמאות מייצגות של חמש הנחיות מוכוונות-העברה. כל התבניות עמדו במסגרת מאוחדת, שהורכבה מיעד להוראה, קלט לדוגמה, פלט יעד והמלצת שימוש. הסטודנטים הונחו להרחיב משפטים פשוטים, להמיר את סוגי הפעיל והסביל במשפטים, ולהטמיע פסוקיות כדי להעשיר את הגיוון התחבירי. לדוגמה, עבור טיוטת הסטודנט "I study English writing. It is very important for cross-cultural communication", הפלט המיטבי הוא "Learning English writing plays a vital role in improving learners’ ability of cross-cultural communication". הנחיה זו התאימה לאימון ברמת המשפט עבור סטודנטים לשנה שנייה למסלול אנגלית ברמת קושי בינונית, תוך התמקדות בשחזור תחבירי בסיסי ובשינוי קול המשפט. סוג אחר של הנחיה התמקד בהעברה תרבותית, במטרה לזהות ביטויי "צ'ינגליש" (Chinglish) המושפעים מחשיבה תרבותית מקומית ולנסח מחדש משפטים לביטויים פרגמטיים טבעיים באנגלית התואמים לנורמות תרבותיות מערביות. כדוגמה למשפט של סטודנט "Many people think you must work hard if you want to succeed", הגרסה המעודכנת הייתה "People generally believe that diligence is the key to success". הנחיה זו יושמה באימון העברה ברמה התרבותית, תוך התמקדות בביטול דפוסי חשיבה סיניים משתמעים וקידום ביטוי מפורש בהקשר של השפה האנגלית.
מחקר זה פיתח גם שרשרת הנחיות מקננת בעלת שלושה שלבים, אשר קיבלה את טיוטות הפסקאות של הסטודנטים כקלט מאוחד והורצה בשלבים עוקבים. השלב הראשון היה ארגון סמנטי, כאשר ההנחיה דרשה מהמשתתף לסדר מחדש את משפטי הפסקה הנתונה, למטב את הסדר הלוגי של הרעיונות, ולבנות פסקה שלמה עם משפטי מפתח ברורים. השלב השני היה תיקון לשוני, אשר ביקש לשכתב את הפסקה המתוקנת לאנגלית אקדמית רשמית, להחליף מילים סלנגיות, ולהשתמש באופן הולם במשפטים מורכבים ובמבני סביל. השלב השלישי היה התאמה תרבותית, שהנחייתו כיוונה את המשתמשים לבדוק ביטויים תרבותיים-פרגמטיים בטקסט, להסיר הפרעות תרבותיות מהשפה האם, וללטש את התוכן כדי שיתאים למוסכמות כתיבה בין-תרבותיות באנגלית. הדוגמאות לעיל הדגימו באופן מלא את מצבי הפעולה של תבניות הנחיה בודדות ושל שרשראות הנחיות מקננות. על בסיס זה, המחקר תכנן שרשרת הנחיות מדורגת ומלאה בשילוב עם ארכיטקטורת ה-MoE של DeepSeek.
כדי להתגבר על המגבלות של הנחיות (prompts) במחזור בודד מבחינת בקרת הייצור ועומק התגובה למשימה, מחקר זה תכנן מבנה של שרשרת הנחיות מקננת בעלת מאפיינים מדורגים ורציפים, המאפשרים הנחיה היררכית ויצירה הדרגתית של משימות תרגום מורכבות. מנגנון זה פירק משימת תרגום מלאה למספר תתי-מטרות ותכנן תבניות הנחיה תואמות לכל תת-מטרה, אשר חוברו בטור לפי הסדר הלוגי של שחזור סמנטי, התאמת סגנון לשוני והסתגלות פרגמטית תרבותית, ובכך נוצרה שרשרת ייצור בעלת תלות בהקשר. מחקר זה יישם אופטימיזציה של שרשרת הנחיות מקננת עבור DeepSeek באמצעות ה-API הפתוח הסטנדרטי שלו. מודל DeepSeek אימץ באופן טבעי ארכיטקטורת Mixture of Experts (MoE) המצוידת במערכת ניתוב מומחים אוטומטית בצד השרת (backend), הפועלת כמודול הסקה פנימי מובנה שאינו תלוי בהנחיות חיצוניות. ההנחיות הרב-שלביות המותאמות אישית שינו רק את מאפייני התוכן של קלטי המודל. בהתאם לדרישות הסמנטיות, הסגנוניות והתרבותיות המוטמעות בקלטים שעברו אופטימיזציה, מנגנון ניתוב ה-MoE המובנה של המודל הפעיל באופן עצמאי את מודולי המומחים המתאימים ביותר במהלך יצירת הטקסט. תכנון ההנחיות התלת-שלבי, המתמקד בארגון מחדש של הסמנטיקה, התאמת סגנון והסתגלות תרבותית, שיפר בלבד את טקסטים הקלט ולא התערב בלוגיקת הבחירה וההקצאה של המומחים הפנימיים במודל.
מבחינת התהליך התפעולי, המערכת קיבלה טקסטים של סטודנטים שהועלו על ידי מורים, העבירה הערות מטרה, וקבעה באופן אוטומטי האם להפעיל את מבנה השלשלת המקונן. אם הופעל, המערכת ביצעה שלושה שלבים ברצף: השלב הראשון היה ארגון סמנטי מחדש, שבו נקראה תבנית העברת המבנה כדי למטב את ארגון הפסקאות ואת הרמזים הלוגיים; השלב השני היה התאמת סגנון השפה, שבו נעשה שימוש בתבנית השפה כדי להמיר ביטויים מדוברים לשפה אקדמית כתובה; השלב השלישי היה התאמה תרבותית, שבו נקראה תבנית ההעברה התרבותית כדי לזהות ולהחליף ביטויים שאינם תואמים את התרבות של שפת המטרה, ובכך נוצר טקסט אותנטי יותר.
כל סבב של יצירה השתמש בפלט של הסבב הקודם כקלט ושמר את זיכרון המטמון של וקטור ההקשר (context vector cache) כדי להבטיח קוהרנטיות סמנטית. המורים התאימו אישית את מבנה שרשרת ההנחיות (prompt chain) בממשק המערכת, כולל בחירת תבנית, שינוי הוראות והתאמת הרצף. המערכת תמכה גם בפונקציית "חבילת שילוב תבניות", שהקל על המורים להשתמש שוב במשימות או להקציבן בקבוצות. בנוסף, המערכת כללה מנגנון מובנה של הפרעה ומשוב דינמיים שסיפק תוצאות ביניים לאחר כל יצירה. המורים ביצעו הערות או התאימו הוראות המשך בזמן אמת, ובכך יצרו לולאה פדגוגית סגורה של "יצירה-התאמה-יצירה מחדש".
יצירת מודל, הערכה
בתהליך יצירת הטקסט והערכתו המבוסס על מודל DeepSeek, מחקר זה בנה מנגנון ניקוד אוטומטי רב-ממדי כדי לנתח באופן שיטתי ולהעריך כמותית טקסטים שנוצרו בשלושה היבטים: מורכבות תחבירית, סטנדרטיזציה מבנית וקוהרנטיות של השיח. מחקר זה השתמש במנתח התלויות (dependency parser) של spaCy ובמודול התוסף לפתרון קו-רפרנס (coreference resolution) של Coreferee לצורך חילוץ מאפייני טקסט והערכה אוטומטית. מנתח התלויות של spaCy ניתח את המבנה התחבירי של הטקסט באנגלית, תוך חילוץ מדדי מפתח כגון אורך משפט ממוצע ומספר פסוקיות מקננות, מה שאיפשר ניתוח כמותי של המורכבות התחבירית. מודול התוסף לפתרון קו-רפרנס של Coreferee, הפועל במסגרת spaCy, זיהה בעיקר קשרי רפרנס פנימיים בטקסט והעריך את קוהרנטיות הרפרנס של השיח, ובכך סיפק תמיכה טכנית לניקוד אוטומטי של איכות הכתיבה. בשל מגבלות רשת, האתרים בקוד פתוח מהחו"ל שהוזכרו לעיל לא היו נגישים.
ראשית, המערכת העריכה את המורכבות התחבירית. היא חילצה מאפיינים כגון אורך משפט ממוצע, עומק של הטמעת פסוקיות ומגוון משפטים. מאפיינים אלה הושגו באמצעות ניתוח תלויות (dependency parsing) ומידול עצי תחביר עמוקים. בהתבסס על התוצאות, המערכת העריכה האם הסטודנטים התקדמו בהצלחה מדפוסי משפטים פשוטים למבנים מורכבים יותר. שנית, המערכת העריכה את ארגון הפסקאות. היא שילבה ייצוגי טקסט מבוססי BERT עם מודלי סיווג כדי לזהות רכיבי פסקה מרכזיים, כולל משפטי נושא, משפטים תומכים ומשפטי סיכום. לאחר מכן נבנה מפה של מבנה הפסקה כדי לקבוע האם הארגון תואם את המוסכמות של כתיבה אקדמית באנגלית. שלישית, המערכת העריכה את הלכידות הטקסטואלית. היא בחנה את השימוש במילות קישור לוגיות, עקביות סמנטית בין משפטים ואת איכות הקישורים הרפרנציאליים לאורך הטקסט. אינדיקטורים אלה שימשו להערכת הבהירות של הפיתוח הלוגי והמעבר החלק בין הרעיונות. כדי למדוד עקביות בנושא, המערכת חישבה דמיון סמנטי באמצעות ייצוגים מבוססי וקטורים. לכידות רפרנציאלית הוערכה באמצעות טכניקות של פתרון קו-רפרנציה (coreference resolution), שסייעו להפחית פערים סמנטיים והפניות מעומבנות. לבסוף, ציונים מכל הממדים שולבו לכדי וקטור ניקוד מאוחד. התוצאות עברו סטנדרטיזציה כדי ליצור מערכת הערכה מקיפה, המאפשרת השוואה מהימנה בין דגימות כתיבה שונות.
בשלב ההערכה הידנית, מחקר זה פיתח מערכת ניקוד תלת-ממדית לאימון בהעברת מיומנויות כתיבה, המקיפה את מידת הבולטות של התנהגות ההעברה, טבעיות הביטוי והסתגלות תרבותית, וזאת כדי להגביר את הרלוונטיות של הערכת המורה ואת האפקטיביות של המשוב ההוראתי. המערכת שילבה את פונקציות העזר שלה כדי להשיג שילוב אורגני בין ניקוד כמותי להערות איכותניות. בממד התנהגות ההעברה, המורים העריכו את השימוש של התלמידים באסטרטגיות העברה בכתיבה מחדש של טקסטים בהתבסס על יעדי משימה שהוגדרו מראש. המערכת סיפקה תצוגת השוואה ראש בראש של הטקסט המקורי לעומת הגרסה הנוצרת, כדי לסייע למורים לזהות אם פעולות כגון התאמת משפטים ושחזור מבני שיקפו ביעילות את סוג ההעברה הנדרש.
הערכת הביטוי הטבעי התמקדה בשטף ובאותנטיות של התוצר הלשוני. המורים השתמשו במדדי השפה שהופקו על ידי המערכת כדי להעריך האם המשפטים תואמים את הרגלי הביטוי של דוברי אנגלית כשפת אם, וכדי לשפוט האם המבנה הדקדוקי, צירופי המילים ומקצב המשפט היו טבעיים ומתאימים. כמו כן, הם הצביעו על בעיות והציעו ביטויים חלופיים באמצעות הערות. ממד ההסתגלות התרבותית התמקד בהתאמה של הפרגמטיקה הבין-תרבותית. המורים נדרשו לזהות האם הטקסט מכיל ביטויים לא הולמים הנובעים מהשפעה של תרבות שפת המקור, כגון עמימות סמנטית, קונפליקטים רטוריים או שיפוטים ערכיים מעורפלים. המערכת סיפקה דוגמאות נפוצות למילים המבטאות סטייה תרבותית ותמכה במורים בהסבר הבסיס לתיקון ודרישות ההקשר התרבותי בתוך ההערות, ובכך הנחתה את התלמידים לשפר את המודעות להעברה תרבותית ואת דיוק הביטוי. כל ממד דורג בסולם של 5 נקודות וכלל מודולים להערות חופשיות ולהצעות למילוי. תוצאות ההערכה הסופיות הוצגו כתרשים רדאר.
כדי לשפר את יעילות ההערכה ולתמוך בשימוש מעשי בכיתה, מחקר זה פיתח מנגנון הערכה שיתופי המשלב ניקוד מבוסס AI עם הערכת מורה. המערכת ביצעה תחילה הערכה רב-ממדית של הטקסט שהופק על ידי DeepSeek. היא העריכה היבטים מרכזיים כגון מורכבות תחבירית, ארגון פסקאות וקוהרנטיות טקסטואלית באמצעות מודול ניקוד אוטומטי. תוצאות הניקוד הוצגו לאחר מכן בזמן אמת בממשק המורה. המורים סקרו את הניקוד המפורט עבור כל ממד וביצעו התאמות במידת הצורך, בהתבסס על שיקול דעתם המקצועי והבנתם את ביצועי ההעברה של התלמידים. כמו כן, הם הוסיפו הערות ממוקדות ישירות לטקסט כדי לספק משוב והצעות להוראה שעשויות שלא להילכד על ידי הניקוד האוטומטי. כל ממד הערכה אימץ סולם דירוג של חמש נקודות. הממשק כלל גם מודולים להערות חופשיות ולהמלצות כדי להקל על מתן משוב מותאם אישית. תוצאות ההערכה הוצגו ויזואלית באמצעות תרשים רדאר, המאפשר למורים לזהות במהירות את נקודות החוזק והחולשה של התלמידים בממדי העברה שונים.
בנוסף, המערכת אפשרה למורים להתאים את השקלול של ממדים ספציפיים או את הציונים הכוללים כדי להביאם בהלימה עם המטרות הלימודיות. תכונה זו הבטיחה שההערכה הסופית תשקף באופן מדויק יותר את ביצועיהם בפועל של התלמידים ואת צרכי הלמידה שלהם. לאחר השלמת הבדיקה הידנית, המערכת שילבה באופן אוטומטי נתוני הערכה שהופקו על ידי המכונה ונתונים שהופקו על ידי המורה. לאחר מכן, היא הפיקה דוח משוב חזותי. הדוח כלל תרשים רדאר של ביצועי העברה (transfer-performance) ותרשים מעקב גרסאות. ויזואליזציות אלו הדגימו בבירור שינויים ביכולות ההעברה של התלמידים לאורך סבבים מרובים של יצירת טקסט ועריכתו, ובכך אפשרו ניטור רציף של התקדמות הלמידה.
תהליך אימון העברה
מחקר זה תכנן תהליך מלא של אימון בהעברה (transfer training). ראשית, המורה הקצה משימות כתיבה ספציפיות באנגלית בהתבסס על יעדי ההוראה והרמה בפועל של התלמידים, והבהיר את סוג ההעברה ואת מוקד האימון. לאחר מכן, המערכת יצרה באופן אוטומטי הנחיות הנחיה (prompt instructions) תואמות בהתבסס על המשימות שהגדיר המורה, והפעילה את מודל ה-DeepSeek כדי ליצור טיוטה ראשונה של הכתיבה, אשר שימשה כחומר הבסיס לשכתוב ולאימון ההעברה של התלמידים. לאחר קבלת הטיוטה הראשונה, התלמידים נדרשו לזהות באופן פעיל את מאפייני ההעברה המשתקפים בטקסט ולשכתב את התוכן באופן ממוקד, תוך שימוש באסטרטגיות ההעברה שלמדו כדי לשפר את ההתאמה של המבנה התחבירי, ארגון הפסקאות והביטוי התרבותי. עם השלמת השכתוב, המורה סיפק סקירה מפורטת של הטקסט שהגיש התלמיד, תוך הדגשת יעילות אסטרטגיית ההעברה והצעת הצעות ספציפיות לשיפור והדרכת כתיבה. בהתבסס על משוב המורה, מודל ה-DeepSeek הופעל מחדש כדי ליצור גרסה אופטימלית, ובכך תמך עוד יותר בתלמידים בליטוש הטקסטים שלהם ובהעמקת התרגול של אסטרטגיות ההעברה. לבסוף, התלמיד השלים את הגשת הטיוטה הסופית, מילא את טבלת הקוגניציה של ההעברה, ביצע הערכה עצמית וסיכם את שיטות ההעברה והשפעותיהן, ובכך קידם את שיפור היכולת המטא-קוגניטיבית ואת הפנמת מיומנויות ההעברה בכתיבה. טבלת הקוגניציה של ההעברה שתוכננה למחקר זה מוצגת ב-Table 2.
כל הפריטים העריכו בסולם דירוג של 1–5, החל מ-1 (חוסר שליטה) ועד 5 (שליטה מלאה). נתוני ההערכה העצמית נאספו לאחר שלושה סבבים של הכשרה רצופה; מדדי הניקוד מתייחסים לתקני פעולת העברה שהוגדרו מראש בספריית המשימות חמשית-הממדים.