כיוונון מדויק של מודלים גדולים של שפה באמצעות אינדקס הזיות של ישויות לסיכום טקסט
9 בינואר 2026
אנו מציעים גישה מדויקת מבוססת חיזוק-למידה עבור מודלים לשוניים גדולים, המשתמשת במדד ההזיה של אנטי (EHI) כאות תגמול להפחתת הזיות ברמת הישות בסיכום טקסט. ניסויים על תמלולי פגישות מראים ששיטה זו משפרת את נאמנות ודיוק הישויות.
מחקר זה עושה שימוש במדד הזיית הישות כאות תגמול להפחתת יצירת ישויות שגויות בטקסט מסוכם על ידי בינה מלאכותית. המדדים הנוכחיים הם שני גסים, הפרוטוקול הזה משתמש בתגמולים מדויקים של ישויות כדי לשפר את העובדות ללא תוויות אנושיות. כדי להתחיל, השתמש בשני קורפוסים עיקריים, כולל מערך נתוני תמלול דיאלוג של תמלילי פגישות מרובי תורות ומדד סיכום XSum News.
נקה כל סט נתונים, שטח את הנתונים, וחלקו אותם ל-80% אימון, 10% אימות ו-10% בדיקות. לבצע טוקניזציה וחילוץ ישויות באמצעות מודל NER מבוסס טרנספורמר D slim/מבוסס BERT NER כדי להבטיח הארקה עמידה. יצירת סיכומים ראשוניים במצב אפס יריות באמצעות חיפוש קרן ברוחב ארבע כדי להעריך את שכיחות ההזיות בבסיס.
חשב את מדד ההזיה של הישויות כמדד ברמת ישות ללא הפניה שמחלק ישויות לחמישה גורמים לכימות נאמנות. תגמל חילוץ והזיות חיוביות ותעניש הזיות שליליות, ישויות מרוכזות יתר על המיקוד ואובדן ריכוז. הגדר את פונקציית התגמול כך שתהיה פרופורציונלית לנאמנות הישות ולמקסם את תגמול ה-EHI הצפוי לאורך הסיכומים שנוצרו.
יישם מנגנון עדכון סגנון מחוזק כדי לאופטימיזציה של פרמטרי המודל למקסום נאמנות הישויות. השתמשו בהתאמת דרגה נמוכה כדי לאפשר כוונון מדויק יעיל בפרמטרים ולעדכן רק את מתאמי LoRA תוך שמירה על משקל הדגם הבסיסי קפוא. לאחר מכן ייסמי עדכוני גרדיאנט מדיניות כדי לעודד תפוקות תגמול גבוהות יותר וליצור סיכומים מחדש על כל 500 עדכונים כדי לרענן את הערכות התגמול.
לבסוף, יצירת סיכומים סופיים באמצעות מודלים מותאמים והשוותם לתוצאות בסיסיות. הערכת מודלים לאינפורמטיביות באמצעות Rouge 1, Rouge 2, ו-Rouge L, שטף ועקביות עובדתית באמצעות Fact CC ו-CAGs. כיוונון EHI הפחית הזיות ושיפר את העובדות בין מודלים ומאגרי נתונים עם הזזות ימינה ב-EHI, והתפלגויות CC עובדות מאשרות נאמנות גופים מוגברת ועקביות עובדתית, בעוד שציוני CAGS נותרו ברובם ללא שינוי.
סוגי ההזיות המזיקות של שליליות, ריכוז יתר ואובדן ריכוז הופחתו במיסטרל לאחר כיוונון עדין, בעוד שגורם ההוצאה כמעט הוכפל. ניתוח קורלציה הראה של-EHI ול-CAGS יש מתאם חלש במיסטרל ו-DistilBART, אך Flan-T5 הראה מתאם חיובי חזק יותר. חוקרים יכולים למדוד נאמנות ברמת הישות ושיעורי הזיות בסיכומים באמצעות אות התגמול האוטומטי של EHI.
האתגר הקריטי ביותר הוא דיוק NER, שכן שגיאות חילוץ עלולות להתפשט לחישובי תגמול שגוי במהלך האימון. מחקרים עתידיים יכולים לשלב פתרון משותף ותגמולי מידע כדי לאזן טוב יותר בין נאמנות לכיסוי סיכום.
צפו בתמליל המלא וקבלו גישה לאלפי סרטונים מדעיים
סקירה כללית
מאמר זה מציג מסגרת חדשנית לכיוונון עדין (fine-tuning) מונחה-תגמול עבור מודלי שפה גדולים (LLMs), שמטרתה להפחית הזיות (hallucinations) ברמת הישות בסיכום נבחרי (abstractive summarization). באמצעות שימוש במדד הזיות הישויות (EHI) כמדד מנחה, גישה זו משפרת את הדיוק העובדתי של הסיכומים הנוצרים מבלי להקריב את מידת המידע או את יכולת ההכללה.
מרכיבי מפתח של המחקר
תחום המדע
- עיבוד שפה טבעית
- למידת מכונה
- סיכום טקסט
רקע
- מודלי שפה גדולים (LLMs) שיפרו משמעותית את איכות הסיכום האבסטרקטיבי.
- הזיות ברמת ישות (Entity-level hallucination), שבהן מופיעות ישויות שגויות או מומצאות בסיכומים, נותרות אתגר מרכזי.
- מודלים קיימים מתקשים לעיתים קרובות לאזן בין רמת המידע לבין דיוק עובדתי.
- מדדים להענשה ישירה של ישויות הזייתיות אינם נחקרים מספיק באימון מודלים.
מטרת המחקר
- פיתוח מסגרת כוונון עדין (fine-tuning) להפחתת הזיות של ישויות במודלים של סיכום טקסט.
- הצגה ושימוש במדד הזיות ישויות (Entity Hallucination Index - EHI) כאות תגמול.
- הוכחת שיפור בעובדות ובחוסן בסיכומים המופקים על ידי מודלי שפה גדולים (LLM).
שיטות שנעשה בהן שימוש
- סיכומים ראשוניים שהופקו באמצעות מודלים מאומנים מראש (למשל, Flan-T5, DistilBART, Mistral) על מערכי נתונים של תמלילים מובנים כגון XSUM.
- חילוץ ישויות בעלות שם (Named entity extraction) הן מהסיכומים שהופקו והן מסיכומי הייחוס (gold reference summaries).
- חישוב EHI על ידי הערכת הדיוק של הישויות והטלת קנס על ישויות מומצאות.
- כוונון עדין (fine-tuning) באמצעות למידה מחוזקת, תוך שימוש במנגנון עדכון מסוג REINFORCE עם EHI כאות התגמול.
תוצאות עיקריות
- מודלים שעברו כוונון עדין (Fine-tuned) הראו שיעורים נמוכים יותר של הזיות ישויות (entity hallucination).
- מידת המידעיות של הסיכומים נשמרה למרות ההפחתה בהזיות.
- מודלים המונחים על ידי EHI הדגימו הכללה טובה יותר במטלות סיכום מחוץ לתחום (out-of-domain).
- חוסן מוגבר ודיוק עובדתי נצפו בהערכות הניסוייות.
מסקנות
- מסגרת התגמול המבוססת על EHI מפחיתה ביעילות הזיות ברמת הישות בסיכומי LLM.
- ניתן למקסם במקביל את העובדתיות ואת רמת המידע באמצעות גישה זו.
- השיטה מציעה כיוון מעשי לשיפור האמינות של מערכות סיכום אוטומטיות.
שאלות נפוצות
רלוונטיות תעשייתית למנהלים
הזיות ברמת הישות (Entity-level hallucination) בסיכום טקסטים באמצעות מודלי שפה גדולים (LLM) מהוות סיכון משמעותי ליושרה של הנתונים ולקבלת החלטות במחקר ופיתוח (R&D) בביופארמה. מסגרת כיוונון עדין (fine-tuning) המונחית על ידי מדד הזיות הישויות (EHI) נותנת מענה ישיר לאתגר זה, ומאפשרת חילוץ אמין יותר של תובנות עובדתיות ממקורות טקסט מדעיים ותפעוליים. שיפור העובדתיות בסיכום אוטומטי תומך בביטחון חיזוי גבוה יותר ומפחית סיכונים בשלבים הבאים של תהליכי עבודה המונחים בידע.
יישומים אסטרטגיים במחקר ופיתוח בביופארמה&ד׳
גילוי מוקדם ותיקוף מטרה
- משפר את דיוק סקירת הספרות וכריית הנתונים לזיהוי מטרות על ידי מזעור ישויות בדויות.
- תומך בהסרת סיכונים מכניסטיים על ידי הבטחה שהישויות שחולצו משקפות קשרים ביולוגיים אמיתיים.
- מאפשר יצירת השערות בביטחון רב יותר מתוך פלטי סיכום טקסט אוטומטיים.
סריקה ופיתוח בדיקות
- מאפשר מיצוי סטנדרטי של יעדי בדיקה ותנאים ממקורות תיעוד מגוונים.
- מפחית את הסיכון להפצת מידע שגוי על ישויות בתוך תהליכי סריקה.
- תומך ביכולת השחזור על ידי שמירה על דיוק הישויות בסיכומי תוכן אוטומטיים.
מחקר תרגומי ופרה-קליני
- משפר את מיפוי הממצאים הפרה-קליניים לישויות הרלוונטיות למחלה על ידי הפחתת הזיות (hallucinations).
- משפר את רציפות מעקב הישויות משלב הגילוי ועד לשלבי התיקוף הפרה-קליני.
- תומך בקידום מותאם סיכון באמצעות אספקת ראיות מהימנות יותר ברמת הישות.
שילוב תהליכי עבודה ומסלולי עיבוד
מסגרת הכיוונון העדין המונחית על ידי EHI משתלבת בשכבת האינפורמטיקה של צינורי תהליכי גילוי, סריקה ומחקר תרגומי, ותומכת בחילוץ ישויות ובסיכום נתונים חסונים.
- ביולוגיה של גילוי: מאפשרת בדיקת השערות והבהרה של מסלולים על ידי הבטחת דיוק של ישויות בסיכומי מידע שחולצו.
- סריקה: מספקת סיכומים הניתנים לשחזור ונאמנים לישויות עבור תיעוד בדיקות והערכת תרכובות.
- אנליטיקה: מספקת מדדי EHI כמותיים להשוואה ובחינה של תוצרי סיכום בתנאים שונים.
- מחקר תרגומי: שומרת על נאמנות לישויות עבור מיפוי סממנים ביולוגיים ומחלות במעבר משלב הגילוי לשלבים פרה-קליניים.
- שימוש חוזר ארגוני: מבססת יכולת סיכום ניתנת להרחבה ומבוססת תגמול עבור מקורות טקסט ביופארמה מגוונים.
השפעה תפעולית וארגונית
- ערך מדעי: מגביר את הביטחון החזוי ומפחית עמימות מכניסטית בתובנות המופקות מטקסטים.
- ערך תפעולי: סטנדרטיזציה של חילוץ ישויות ויצירת סיכומים בין צוותים ופרויקטים שונים.
- ערך אסטרטגי: תומך בקבלת החלטות מושכלת יותר לגבי המשך ביצוע (go/no-go) על ידי שיפור אמינות חילוץ הידע האוטומטי.
- השפעה על הפורטפוליו: מאפשר תיעדוף מותאם סיכונים על ידי הפחתת התפשטות של נתוני ישויות שגויים.
שיקולי יישום
- דורש מומחיות בעיבוד שפה טבעית (NLP) ובלמידה מחוזקת לצורך כיוונון עדין (fine-tuning) של המודל.
- נדרשת גישה למסדי נתונים של תמלילים מובנים ולסיכומי ייחוס המהווים תקן זהב (gold-standard) לצורך חישוב ה-EHI.
- דורש הסכמה בין צוותים שונים על הגדרות ישויות ותקני חילוץ.
- עשוי לדרוש התאמה של ספי EHI עבור תחומים ביו-רפואיים שונים או סוגי מסמכים שונים.
- תלוי באיכות המודלים המאומנים מראש ובנתוני הייחוס לצורך ביצועים אופטימליים.
