מחקר זה מציג מסגרת קלה להפחתת הזיות במודלי שפה גדולים באמצעות אימות ברמת הטענה וסף סטטיסטי אדפטיבי. על ידי תיקון סלקטיבי של טענות שאינן נתמכות באמצעות הסקת מסקנות בשפה טבעית (Natural Language Inference), גישה זו משפרת את הדיוק העובדתי תוך שמירה על השהיית תגובה נמוכה ויעילות פריסה מעשית.
מאמר מחקר
אימות טענות מונחה NLI אדפטיבי עם מודל החלטה סטטיסטי להפחתת הזיות בשהיה נמוכה במודלי שפה גדולים
במאמר זה
סיכום
תקציר
מודלי שפה גדולים (LLMs) מראים נטייה קריטית לייצר פלטים שגויים עובדתית אך רהוטים מבחינה לשונית - תופעה המכונה הזיה (hallucination) - המהווה סיכון חמור ביישומים הדורשים דיוק מרבי. אסטרטגיות הפחתה קיימות, כולל יצירה מוגברתת-שליפה (retrieval-augmented generation) ודגימת עקביות-עצמית (self-consistency sampling), גורמות או לעיכוב משמעותי בזמן ההסקה (inference latency) או תלויות בתשתיות ידע חיצוניות, מה שמגביל את יכולת היישום שלהן בפריסות בזמן אמת. מאמר זה מציע מסגרת קלה לבדיקת טענות בשני שלבים, המפרקת תגובות של LLM לטענות עובדתיות אטומיות ומאמתת באופן עצמאי כל טענה שחולצה אל מול מקור ייחוס שנוצר בנפרד באמצעות הנחיית ייחוס עובדתי מבודדת. אף על פי שהמחולל והמאמת חולקים את אותו מודל שפה בסיסי, הפרדת יצירת התגובה מהייחוס העובדתי מפחיתה את ההתנייה הישירה של התגובה וממזערת הטיות אישור במהלך האימות, תוך שימוש בהסקת שפה טבעית (Natural Language Inference, NLI), ומיישמת סף סטטיסטי אדפטיבי - המוגדר כ-τ = µ + kσ על פני התפלגות ציוני הביטחון של ה-NLI - כדי לתקן באופן סלקטיבי רק טענות שסותרות את המקור. בניגוד לשיטות קודמות המבוססות על NLI הנשענות על גבולי החלטה קבועים, המסגרת המוצעת מתאימה באופן דינמי את סף האימות להתפלגות הביטחון של כל תגובה, ומראה ביצועים עקביים במדדי הייחוס שנבחנו ללא צורך באימון מחדש של המודל. בבדיקה על TruthfulQA ו-FEVER, המסגרת הפחיתה את שיעור ההזיות מ-28% ל-9% ב-TruthfulQA - הפחתה יחסית של 67.9% - תוך הוספה של 160 ms בלבד של שיהוי לעומת ה-LLM הבסיסי, והביאה לביצועים טובים יותר מ-SelfCheckGPT ו-FActScore בדיוק זיהוי ההזיות. תוצאות אלו מעידות כי המסגרת יכולה לספק איזון מיטבי בין מהימנות עובדתית לבין שיהוי תגובה במדדי הייחוס שנבחנו, בעוד שנדרש תיקוף נוסף על פני תחומים והגדרות פריסה שונות.
מבוא
מודלים של שפה רחבה (LLMs) הפכו לרכיבים בסיסיים במערכות בינה מלאכותית מודרניות, והם מפגינים יכולת מרשימה במגוון רחב של משימות שפה טבעית, כולל יצירת טקסט, מענה על שאלות, סיכום והסקה מורכבת1. יכולתם להפיק תגובות שוטפות וקוהרנטיות מבחינה הקשרית האיצה את אימוצם בתחומים בעלי השפעה רבה, כגון תמיכה בהחלטות קליניות, ניתוח משפטי, הנדסת תוכנה וטכנולוגיה חינוכית2. עם זאת, מגבלה קריטית ומתמשכת פוגעת באמינותם בהקשרים אלו: הזיות (hallucinations), שבהן המודלים יוצרים תגובות שוטפות מבחינה לשונית אך שגויות עובדתית, חסרות ביסוס או מומצאות לחלוטין 3. מחקרים אמפיריים מדווחים על שיעורי הזיות הנעים בין 15% ליותר מ-40% בהתאם למשימה ולמודל, כאשר אפילו מערכות מתקדמות כיום כמו GPT-4 מראות חוסר עקביות עובדתי מדיד תחת הערכה ספציפית לתחום2,3. מגבלה זו מהווה סיכון חמור ביישומים הדורשים דיוק גבוה, שבהם פלטים שגויים עלולים להוביל למידע מוטעה, לאבחנה שגויה או לקבלת החלטות פגומות4. הזיות נובעות באופן יסודי מהטבע הפרובביליסטי של מידול שפה - מודלי LLMs מייצרים טוקנים על ידי חיזוי המשכים סבירים סטטיסטית של רצפי קלט, במקום לשלוף או להסיק מידע מתוך ידע עובדתי מאומת5. כתוצאה מכך, פלטים שנוצרו עשויים להטמיע טענות שנשמעות סבירות אך אינן מדויקות, להציג קביעות חסרות ביסוס, או לבלבל בין מושגים הקשוריים סמנטית אך נבדלים עובדתית6.
אסטרטגיות הפחתה קיימות מתמודדות עם בעיה זו באמצעות מספר פרדיגמות, שלכל אחת מהן מגבלות בולטות. יצירה מוגברת באמצעות אחזור (RAG) מפחיתה הזיות על ידי ביסוס התשובות במסמכים שאוחזרו באופן חיצוני, אך היא גורמת לעיכוב משמעותי בזמן התגובה (latency), דורשת גישה למאגרי ידע מתוחזקים, ונותרת פגיעה כשלי-אחזור בתחומים מתמחים או בתחומים בעלי משאבים מוגבלים7,8,9.
למרות שמחולל התגובה ומחולל המקורות מופעלים באמצעות אותו מודל GPT-3.5 Turbo בבסיסם, הם פועלים תחת יעדי הנחיה (prompting) והקשרי ביצוע שונים. מחולל התגובה מייצר תשובה ללא הגבלה לשאילתת המשתמש, בעוד שמחולל המקורות מבצע משימת שליפת עובדות מבודדת ללא גישה לתגובה שנוצרה קודם לכן. הפרדה זו מפחיתה השפעות ישירות של התניית התגובה ומגבילה את הטיית האישור במהלך אימות הטענות. לפיכך, המסגרת מתייחסת למקור שנוצר כבלתי תלוי מבחינה פרוצדורלית ולא כבלתי תלוי מבחינה סטטיסטית.
מחקרים אחרונים בחנו גם אסטרטגיות פענוח קלילות להפחתת הזיות (hallucinations) ביצירת טקסט, מבלי להסתמך על אחזור חיצוני או אימות חוזר. גישה מייצגת אחת היא פענוח באמצעות השוואת שכבות (Decoding by Contrasting Layers - DoLA), המשפרת את העובדתיות על ידי השוואת ייצוגים משכבות ביניים ושכבות סופיות של הטרנספורמר במהלך הפענוח. בניגוד למסגרות אימות שלאחר היצירה, שיטות אלו מתערבות ישירות במהלך יצירת האסימונים (tokens), ולכן הן מבצעות אופטימיזציה לשלב שונה בתהליך יצירת השפה. אסטרטגיות משלימות אלו מוכיחות כי ניתן להפחית הזיות הן במהלך הפענוח והן באמצעות אימות שלאחר היצירה, כאשר כל גישה מציעה פשרות שונות בכל הנוגע למאמץ חישובי, מורכבות יישום ואמינות עובדתית.
שיטות עקביות-עצמית (Self-consistency) משפרות את המהימנות העובדתית על ידי דגימת תגובות מרובות ובחירת הפלט השכיח או הקוהרנטי ביותר, אך העלות החישובית שלהן עולה באופן ליניארי עם מספר הדגימות, מה שהופך אותן לבלתי מתאימות לפריסות הרגישות לשהיית זמן (latency).8גישות של זיכוך איטרטיבי, המעדכנות שוב ושוב את הפלטים באמצעות לולאות של משוב עצמי, מפחיתות באופן הדרגתי את שיעורי השגיאה אך מאריכות באופן משמעותי את זמן ההסקה עם כל מעבר נוסף.9שיטות אימות מבוססות NLI (הסקה לוגית טבעית) מציעות חלופה ממוקדת יותר על ידי הערכת גרירה סמנטית בין טענות שנוצרו לבין טקסטים של ייחוס, אך יישומים קיימים מסתמכים על ספי סגירה קבועים שאינם מסוגלים להסתגל להתפלגויות ביטחון, תחומים או התנהגויות מודל משתנים.10,11בסיכום, גישות אלו מטילות עומס חישובי בלתי קביל, תלויות בתשתית חיצונית, או שחסרה להן הסתגלות הנדרשת לפריסה כללית. השוואה של המאפיינים העיקריים של גישות אלו לאימות הזיות מוצגת ב- טבלה משלימה 1.
מאמר זה מציע מסגרת קלת משקל לאימות טענות בשני שלבים, שנועדה להפחית הזיות (hallucinations) בפלטי LLM תוך שמירה על השהיית תגובה נמוכה. בשלב הראשון, ה-LLM מייצר תגובה ראשונית, אשר מופרקת לאחר מכן לטענות עובדתיות אטומיות. בשלב השני, כל טענה מאומתת באמצעות הסקת מסקנות בשפה טבעית (Natural Language Inference) אל מול ייחוס עובדתי שנוצר בנפרד דרך מעבר הסקה מבודד שאינו ניגש לתגובה המקורית שנוצרה, וסף ביטחון שנגזר סטטיסטית קובע את החלטת ה"קבלה או תיקון" ברמת הטענה. התרומות המרכזיות של עבודה זו הן כדלקמן: (1) צינור אימות דו-שלבי ברמת הטענה המפריד בין יצירת התגובה לבין התיקוף העובדתי, ובכך מאפשר הערכה עצמאית וממוקדת של כל טענה אטומית ללא צורך בשליפה חיצונית או ביצירה מחדש של התגובה המלאה; (2) מנגנון סף סטטיסטי אדפטיבי המבוסס על התפלגות ציוני הביטחון של NLI (τ = µ + kσ), אשר קובע באופן דינמי את גבולות הקבלה והתיקון במקום להסתמך על כללי החלטה קבועים, מה שמשפר את העמידות על פני התפלגויות ביטחון משתנות; (3) אסטרטגיית תיקון סלקטיבית המגבילה את היצירה מחדש רק לאותן טענות שסווגו כסותרות, ובכך מפחיתה משמעותית את העומס החישובים בהשוואה לגישות של דגימה מחדש של התגובה המלאה או זיכוך איטרטיבי; (4) הערכה אמפירית על מדד ממוקד-הזיות המדגימה כי המסגרת המוצעת מפחיתה את שיעורי ההזיות מ-28% ל-9% תוך שמירה על השהיית התגובה בתוך גבולות פריסה מעשיים.
פרוטוקול
מחקר זה לא כלל משתתפים אנושיים, בעלי חיים, דגימות ביולוגיות או נתוני מטופלים. לפיכך, לא נדרשו אישור אתי ממוסד או הסכמה מושכלת.
סקירה כללית של מערך המחקר
מסגרת אימות דו-שלבית הוטמעה כדי לשפר את המהימנות העובדתית של פלטי מודלי שפה גדולים (LLM). הפרוצדורה כללה יצירת תגובה, חילוץ טענות, בניית רפרנס מבודד (Isolated Reference Construction), אימות מבוסס הסקת מסקנות בשפה טבעית (NLI), קבלת החלטות סטטיסטית אדפטיבית, תיקון סלקטיבי והרכבת התגובה הסופית. המסגרת הוערכה באמצעות מערכי נתוני הבנצ'מרק TruthfulQA ו-FEVER.
תהליך העבודה הכללי
שאילתת משתמש → יצירת תגובה ראשונית → חילוץ טענות → יצירת הפניות עצמאית → אימות NLI → חישוב סף סטטיסטי → תיקון טענה → תגובה מאומתת סופית. זרימת העבודה הכללית של מסגרת אימות הטענות האדפטיבית מוצגת ב- איור 1.
הכנת מערך הנתונים
מאגר הנתונים TruthfulQA12, המכיל 817 שאלות מכוונות-עובדות, הורד והוכן להערכה. מאגר הנתונים FEVER13 מורכב מ-185,445 טענות מתויגות המסומנות כנתמכות (Supported), מופרכות (Refuted) או כבעלות מידע לא מספיק (Not Enough Information); ההערכה השתמשה בנתוני הפיתוח המתויגים עם שדות הטענה, הראיות והתווית המהווה את ה-ground-truth. כל טענה הוערכה מול הראיות שסופקו לה, בעוד שתווית ה-FEVER המקורית נשמרה כתוצאת הייחוס לצורך אימות. מאגר הנתונים FEVER, המכיל זוגות של טענה-ראיה לאימות עובדות, נרכש ועבר עיבוד מקדים. שאלות וטענות קלט הומרו לפורמט טקסט סטנדרטי. רשומות כפולות ודגימות לא שלמות הוסרו לפני הניסויים. TruthfulQA חולק לתתי-קבוצות של תיקוף ובדיקה. כ-20% מדגימות TruthfulQA (164 שאלות) שימשו לכיוונון הסף (threshold tuning), בעוד ש-653 השאלות הנותרות נשמרו להערכת הביצועים. עבור FEVER, הטענות שסופקו במדד (benchmark) שימשו ישירות כיחידות אימות ולא עברו את הליך יצירת התגובה וחילוץ הטענות שיושם ב-TruthfulQA. מאפייני מאגרי הנתונים של המדדים ששימשו לפיתוח ולהערכת המסגרת מסוכמים ב-Table 1.
יצירת תגובה ראשונית
כל שאילתה הוגשה למודל השפה הבסיסי. התגובות הופקו באמצעות דגימת גרעין (nucleus sampling) עם טמפרטורה של 0.7 ו-top-p של 0.9. אורך הפלט המקסימלי הוגבל ל-256 טוקנים. התגובות שהופקו נשמרו ללא עיבוד לאחר מכן או שינוי ידני. הטקסט שהופק הועבר ישירות לשלב חילוץ הטענות.
חילוץ טענות
כל תגובה שהופקה פוקקה להצהרות עובדתיות הניתנות לאימות באופן עצמאי. נעשה שימוש בהנחיית פירוק מובנית כדי לזהות טענות אטומיות. הצהרות מורכבות הופרדו ליחידות עובדתיות מינימליות. דעות סובייקטיביות, ביטויים סגנוניים ומילות מילוי שיחתיות הוסרו. כל טענה שהופקה נשמרה כיחידה עצמאית לאימות.
דוגמה:
תגובה מקורית:
"מארי קירי הייתה פיזיקאית וכימיהי born-פולנייה שביצעה מחקרים חלוציים בתחום הרדיואקטיביות."
טענות שהופקו: (1) מארי קירי נולדה בפולין; (2) מארי קירי הייתה פיזיקאית וכימיה; (3) מארי קירי ערכה מחקרים על רדיואקטיביות.
בניית רפרנס מבודד:
עבור כל טענה שהוצאה, נוצר מקור עובדתי עצמאי. מודל האימות קיבל רק את שאילתת המשתמש המקורית. הגישה לתגובה המקורית שהופקה הייתה מוגבלת כדי למנוע הטיות אישור. נעשה שימוש בהנחיית שליפה עובדתית כדי לעודד תגובות תמציתיות ומבוססות ראיות. המקורות שהופקו נשמרו לצורך אימות מאוחר יותר.
אימות הסקת מסקנות בשפה טבעית
כל זוג טענה-מקור הוגש למודל NLI מאומן מראש. מודל ה-NLI סיווג את הקשר כ: גרירה (Entailment), ניטרלי (Neutral), או סתירה (Contradiction). הסתברויות הביטחון עבור שלושת הסיווגים תועדו. הוקצה ציון אימות חתום: ערך חיובי עבור גרירה, אפס עבור ניטרלי, או ערך שלילי עבור סתירה. כל ציוני האימות נאספו לצורך חישוב סף.
חישוב סף סטטיסטי אדפטיבי
ביטחון האימות המופק על ידי מודל ה-NLI משתנה באופן משמעותי בין תשובות שונות, מכיוון ששאילתות שונות מייצרות מספרים שונים של טענות, רמות שונות של מורכבות סמנטית והתפלגויות ביטחון שונות. סף גלובלי קבוע מניח שכל התשובות עוקבות אחר פרופיל ביטחון דומה, דבר שרק לעתים רחוקות נצפה בפועל. כדי להתאים לשונות זו, המסגרה המוצעת מעריכה את גבול ההכרעה באופן פרטני עבור כל תשובה, תוך שימוש בממוצע ובסטיית התקן של ציוני האימות שלה. הממוצע משקף את רמת הביטחון הכללית של התשובה, בעוד שסטיית התקן לוכדת את פיזור ערכי הביטחון בין הטענות שהוצאו. ניסוח אדפטיבי זה מאפשר לקריטריון הקבלה להסתגל לחוסר הוודאות הספציפי של התשובה, במקום להסתמך על סף יחיד עבור כל הקלטים.
חושבו הממוצע (µ) וסטיית התקן (σ) של כל ציוני האימות החתומים.
סף ההחלטה האדפטיבי חושב באופן הבא:
כאשר τ מייצג את הסף האדפטיבי, µ מציין את ציון האימות הממוצע, σ מציין את סטיית התקן, ו-k מייצג את פרמטר הרגישות.
פרמטר הרגישות אותחל ל-0.7. טענות שסווגו כגרירה (Entailment) עם ציונים שווים או גבוהים מ-τ+ התקבלו. טענות שסווגו כסתירה (Contradiction) עם ציונים שווים או נמוכים מ-τ- סומנו לתיקון. טענות עם ציונים בטווח (−τ, +τ) נשמרו כניטרליות.
תיקון סלקטיבי של תביעות
טענה הועברה לתיקון רק כאשר מודל ה-NLI סיווג את זוג הטענה-מקור כסתירה (Contradiction), וציון האימות החתום המתאים לה עמד בקריטריון הסף האדפטיבי si ≤ -τ. לפיכך, ההחלטה על התיקון נקבעה באופן משותף על ידי תגית מחלקת ה-NLI והסף הסטטיסטי הספציפי לתגובה. טענות שסווגו כגרירה (Entailment) עם si ≥ τ התקבלו, בעוד שטענות שנפלו בטווח -τ < si < τ נחשבו לניטרליות ונשמרו ללא תיקון. קריטריון משולב זה הבטיח שהתיקון יוחל רק על טענות המציגות הן סתירה סמנטית והן ראיות אימות שליליות חזקות מספיק.
שחזור תגובה
טענות שהתקבלו ותוקנו סודרו ברצף המקורי שלהן. גבולות המשפטים הוחזרו כדי לשמור על קריאות. התאמות דקדוקיות קלות בוצעו במידת הצורך. הפלט המורכב נשמר כתגובה המאומתת הסופית.
הערכת ביצועים
המסגרת הוערכה באמצעות ארבעה מדדים: (1) דיוק (Accuracy): הפרופורציה של התגובות שנותרו נכונות עובדתית לאחר האימות; (2) מדד F1 (F1 Score): הממוצע ההרמוני של הדיוק (precision) והחזרת (recall) זיהוי ההזיות; (3) השהיית תגובה (Response Latency): זמן העיבוד הכולל מהגשת השאילתה ועד ליצירת התגובה המאושרת; (4) שיעור הזיות (Hallucination Rate)
השיהוי דווח כזמן הביצוע הממוצע על פני מדידות חוזרות. מאחר שערכי השיהוי האישיים לכל הרצה לא נשמרו, לא חושבו סטיות תקן ורווחי ביטחון.
הערכת נכונות ספציפית למדד השוואה (Benchmark)
עבור TruthfulQA, התגובה המאומתת הסופית הושוותה מול התשובות המאושרות על ידי בני אדם של מדד הייחוס (benchmark) ורשימות של תשובות שגויות. תגובה נספרה כנכונה כאשר טענותיה העובדתיות היו עקביות עם המידע המקובל בתשובה ולא הכילה תוכן התואם לתבניות התגובה השגויות שזוהו. עבור FEVER, כל טענה בפלט הסופי הוערכה מול הראיה הקשורה אליה וההערה (annotation) המקורית של FEVER; טענות נתמכות (Supported) נחשבו למאומתות עובדתית, בעוד שטענות שהופרכו (Refuted) נספרו כשגויות. מקרים של "אין מספיק מידע" (Not Enough Information) נשמרו כבלתי קביעים במקום להיחשב כראיה עובדתית חיובית. ההחלטות שהתקבלו ברמת הטענה רכזו לכל מדד ייחוס כדי לחשב את הדיוק (Accuracy) ואת שיעור ההזיות (Hallucination Rate) המדווחים.
סביבה ניסיונית
המסגרת הוטמעה באמצעות Python 3.9. פעולות עיבוד הנתונים בוצעו באמצעות ספריות ניתוח מספריות וטבלאיות. מודל ה-NLI פעל במצב הסקת מסקנות (inference mode) ללא כוונון עדין (fine-tuning) נוסף. הניסויים בוצעו בתחנת עבודה המצוידת במעבד Intel Core i5, זיכרון RAM של 16 GB ומערכת הפעלה של 64-bit. כל ההערכות נערכו בהגדרת הסקה של מעבר יחיד כדי להבטיח פעולה עם שיהוי נמוך. כל הניסויים בוצעו באמצעות תצורות חומרה ותוכנה זהות כדי להבטיח הערכה עקבית בין מאגרי הנתונים לשיטות הבסיס (baseline methods).
תוצאה צפויה
הפרוטוקול נועד להפיק החלטות אימות ברמת הטענה על ידי זיהוי טענות שייתכן שאינן נתמכות, והעברה סלקטיבית של טענות השמריות באופן חריף לצורך תיקון. הפלט הצפוי הוא תגובה מאומתת עם פחות סתירות עובדתיות ומעמס עיבוד נוסף מוגבל, בכפוף לביצועים שנצפו במהלך ההערכה הניסוינית.
תוצאות
יצירת תגובה ראשונית
מודל השפה הבסיסי ייצר תשובות רהוטות ורלוונטיות מבחינה הקשרית לשאלות משני מאגרי נתוני הבנצ'מרק. עם זאת, בדיקה מפורטת חשפה הצהרות לא מבוססות ולא מדויקות עובדתית במספר תגובות. במערך הנתונים TruthfulQA, המערכת הבסיסית הראתה שיעור הזיות של 28%, בעוד שבמערך הנתונים FEVER נצפה שיעור הזיות של 26%. ממצאים אלו אישרו כי יצירת שפה ישירה בלבד אינה מספיקה ליישומים הדורשים אמינות עובדתית גבוהה, והגדירו את מצב הבסיס שביחס אליו הושוו כל הליכי האימות הבאים.
חילוץ טענות
תהליך חילוץ הטענות פירק בהצלחה את התגובות שהופקו ליחידות עובדתיות הניתנות לאימות באופן עצמאי. תגובות מ-TruthfulQA הכילו בממוצע 3.2 טענות אטומיות, בעוד שדגימות מ-FEVER consisted generally מטענה אחת בלבד. תהליך הפירוק בידל טענות עובדתיות מבלי להוסיף מידע נוסף, מה שאפשר להעריך כל הצהרה בנפרד. תצפית זו תמכה בהיפותזה כי אימות ברמת הטענה מספק דיוק גבוה יותר מאשר הערכת תגובות שלמות כיחידה אחת.
בנייה עצמאית של רפרנס
מקורות סימוכין עצמאיים הופקו עבור כל טענה שהוצאה באמצעות תהליך הסקה נפרד, שהתנהל בהתבסס על השאילתה המקורית בלבד. המקורות שהופקו סיפקו תיאורים עובדתיים תמציתיים שהיו שונים דיו מהתגובות המקוריות כדי לשמש כמקורי אימות עצמאיים. תהליך הפקת המקורות היה מבודד מהתגובה הראשונית כדי למנוע התניה ישירה של הסימוכין העובדתיים על פלט קודם של המודל. הפרדה זו נועדה להפחית הטיות אישור פוטנציאליות ולספק בסיס מבוקר לאימות עוקב ברמת הטענה; המחקר אינו מכמת באופן עצמאי את היקף השפעה זו. ההפקה המוצלחת של מקורות סימוכין עצמאיים תמכה בעקרון העיצוב המוצע של הפרדת שליפת הידע מיצירת התגובה.
אימות הסקת מסקנות בשפה טבעית
שלב האימות של ה-NLI סיווג ביעילות זוגות של טענה-מקור לקטגוריות של גרירה (entailment), סתירה וניטרליות. טענות סותרות קיבלו באופן עקבי ציוני אימות שליליים, בעוד שטענות נתמכות עובדתית קיבלו ציונים חיוביים. סיווגים ניטרליים הוקצו לטענות שעבורן לא היה זמין מספיק ראיות תמיכה. התנהגות זו הוכיחה כי הסקה סמנטית יכולה לזהות באופן מהימן הצהרות עובדתיות שאינן נתמכות, וסיפקה את הראיות הנדרשות לתיקון ממוקד. בהשוואה לאסטרטגיה פשוטה של בדיקת עקביות, אימות ה-NLI הפחית את שיעור ההזיות (hallucination rate) מ-20% ל-15%, מה שמעיד על יכולת זיהוי משופרת.
סף סטטיסטי אדפטיבי
היישום של סף סטטיסטי אדפטיבי שיפר עוד יותר את ביצועי האימות על ידי התאמה דינמית של גבולות ההחלטה בהתבסס על התפלגות מדד הביטחון של כל תגובה. ניתוח רגישות הסף הראה כי הביצועים השתפרו ככל שפרמטר הסף עלה מ-0.3 ל-0.7. בערך רגישות של 0.7, המסגרת השיגה דיוק של 0.87 תוך הפחתת ההזיות ל-9% (איור 2). תוצאות ניתוח הרגישות המלאות עבור ערכי k שנבדקו מופיעות ב-טבלה נלווית 2. העלאת הסף מעבר לנקודה זו הניבה שיפורים מינוריים בלבד בדיוק, בעוד שהשהיית התגובה גברה. תצפיות אלו תמכו בהשערה שספים אדפטיביים יעילים יותר מגבולות החלטה קבועים לטיפול בהתפלגויות ביטחון משתנות בין תגובות שונות.
הסף האדפטיבי משקף גם את השונות של מדדי הביטחון בתוך כל תגובה. תגובות עם מדדי אימות עקביים מאוד מייצרות סטיית תקן קטנה יותר, מה שמוביל לגבול החלטה סלקטיבי יותר. לעומת זאת, תגובות המכילות טענות עם ערכי ביטחון הטרוגניים מניבות סטיית תקן גדולה יותר, מה שמוביל לאזור קבלה רחב יותר ומפחית תיקונים מיותרים עבור טענות לא ודאיות. אף על פי שהתנהגות אדפטיבית זו אינה יכולה להעלים כל תוצאה חיובית כוזבת או שלילית כוזבת, היא מאפשרת לגבול ההחלטה להגיב למאפייני האי-ודאות של כל תגובה במקום להחיל קריטריון אחיד על כל הקלטים.
תיקון סלקטיבי של טענות והרכבת תגובה
רק טענות שזוהו כסותרות הוגשו לתיקון, בעוד שטענות נתמכות ונטרליות נשמרו ללא שינוי. אסטרטגיית תיקון סלקטיבית זו צמצמה רגנרציה מיותרת ושימרה את המבנה המקורי של התגובה. לאחר התיקון ושחזור התגובה, שיעור ההזיות (hallucination rate) במערך TruthfulQA ירד מ-28% ל-9%, מה שמהווה הפחתה יחסית של 67.9%. שיפורים דומים נצפו ב-FEVER, שם ירדו ההזיות מ-26% ל-10%. השוואות של הדיוק ושיעור ההזיות בין התצורות שנבחנו מוצגות ב- איורים 3 ו-4בהתאמה.
הערכת ביצועים
הערכה השוואתית הראתה כי המסגרת המוצעת השיגה את הביצועים הכוללים הגבוהים ביותר מבין כל השיטות שנבדקו. ב-TruthfulQA, המסגרת השיגה דיוק של 0.87 וציון F1 של 0.85, תוך עקיפה הן של אימות עם סף קבוע והן של גישות המבוססות על עקביות עצמית (Table 2, Figures 3 and 4). ב-FEVER, המסגרת השיגה דיוק של 0.89 וציון F1 של 0.87 (Table 3, Figures 3 and 4). התרומה המצטברת של רכיבי המסגרת נבחנת באמצעות ניתוח האבלציה המוצג ב-Table 4. שיפורים אלו אישרו כי שילוב של אימות ברמת הטענה עם קבלת החלטות סטטיסטית אדפטיבית שיפר את המהימנות העובדתית על פני מספר מערכי נתונים. דיוק זיהוי הזיות עבור SelfCheckGPT, FActScore והמסגרת המוצעת מושווה ב-Figure 5.
ניתוח זמן השהיה
צינור האימות המלא שמר על תקורה חישובית נמוכה. זמן התגובה הממוצע עלה מ-820 מילי-שניות עבור מודל הבסיס ל-980 מילי-שניות עבור המסגרת המלאה, מה שמייצג רק עלייה צנועה בזמן העיבוד (טבלה 5יצירת התגובה היוותה את מרבית השיהוי הכולל, בעוד ששלבי האימות והתיקון תרמו מעט מאוד תקורה נוספת. פירוט זמני העיבוד ברמת השלב מוצג ב- טבלה נלווית 3בהשוואה למערכות אימות מבוססות שליפה, שדרשו כ-1600 מילי-שניות לכל שאילתה, המסגרת המוצעת השיגה השהיה נמוכה באופן משמעותי תוך שמירה על דיוק עובדתי דומה. ממצאים אלו תמכו בהשערה שניתן להשיג הפחתה של הזיות (hallucinations) מבלי להתפשר על שמישות בזמן אמת.
מכיוון שיצירת התגובה מסתמכת על מודל שפה מבוסס ענן, מדידות השהיה (latency) בודדות כפופות לתנודות הנובעות מתנאי הרשת ומשיבוץ בצד השרת, ולא לזמן ביצוע דטרמיניסטי. לפיכך, נעשה שימוש במדידות חוזרות כדי לקבל ערכי ממוצע מייצגים, ובכך הופחתת השפעתה של שונות ביצוע חולפת תוך שמירה על השוואות יחסיות בין השיטות שנבחנו. ערכי השהיה מדווחים כזמני ביצוע ממוצעים על פני הרצות ניסוי חוזרות. ערכי השהיה בודדים לכל הרצה לא נשמרו; לפיכך, חישוב בדיעבד (post hoc) של שונות, רווחי סמך או מדדי שונות אחרים לא היה אפשרי. בהתאם לכך, ערכי השהיה וההשוואה בין מהירות לדיוק ב-איור 6 מוצגים כהערכות נקודתיות ללא פסי שגיאה.
לסיכום, התוצאות הוכיחו כי שילוב של חילוץ טענות, יצירת מקורות ייחוס עצמאיים, אימות באמצעות הסקה בשפה טבעית (Natural Language Inference), סף סטטיסטי אדפטיבי ותיקון סלקטיבי שיפר את האמינות העובדתית של פלטי מודלי שפה גדולים. המסגרת הפחיתה את שיעור ההזיות מ-28% ל-9% ב-TruthfulQA ומ-26% ל-10% ב-FEVER. התוצאות מעידות כי אימות אדפטיבי ברמת הטענה שיפר את מדדי האמינות העובדתית, תוך הגבלה של השהיית התגובה הנוספת תחת התנאים שנבדקו
זמינות נתונים
מערכי הנתונים שנותחו במחקר זה זמינים לציבור דרך המקורות הרשמיים שלהם. כתב היד מספק את המידע על מערכי הנתונים, את הגדרות המודלים ואת הפרטים המתודולוגיים הדרושים כדי לאפשר שחזור של הניתוחים המתוארים. נתוני הערכה מעובדים ותוצאות משלימות שהופקו במהלך המחקר מופיעים בקובצי ההשלמה.
איור 1: זרימת העבודה של מסגרת אימות הטענות האדפטיבית. תגובה ראשונית שנוצרה על ידי LLM מפורקת לטענות עובדתיות, ולאחר מכן מתבצעו יצירת מקורות עצמאית, אימות מבוסס NLI, דירוג ביטחון וסינון באמצעות סף סטטיסטי. טענות העומדות בקריטריון הקבלה נשמרות, בעוד שטענות העומדות בקריטריון התיקון עוברות תיקון ממוקד לפני הרכבת התגובה הסופית. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.
איור 2: השפעת פרמטר הרגישות (k) על דיוק האימות. דיוק ב-TruthfulQA וב-FEVER עבור ערכי k של 0.3, 0.5, 0.7 ו-1.0. הדיוק עלה עם הגדלת k בשני המאגרי נתונים, כאשר k = 0.7 נבחר להערכה הראשית. אנא לחצו כאן להצגת גרסה גדולה יותר של איור זה.
איור 3: השוואת דיוק בין שיטות אימות שונות. דיוק של מודל השפה הגדול (LLM) הבסיסי, אימות מבוסס NLI, ומסגרת האימות האדפטיבית המוצעת על גבי TruthfulQA ו-FEVER. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.
איור 4: השוואת שיעור הזיות בין שיטות אימות שונות. שיעורי הזיות עבור ה-LLM הבסיסי, אימות מבוסס NLI והמסגרה המוצעת ב-TruthfulQA וב-FEVER. המסגרה המוצעת הפחיתה את השיעור מ-28% ל-9% ב-TruthfulQA ומ-26% ל-10% ב-FEVER. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.
איור 5: דיוק זיהוי הזיות בין שיטות שונות. דיוק הזיהוי של SelfCheckGPT, FActScore והמסגרת המוצעת ב-TruthfulQA וב-FEVER. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.
איור 6: פשרה בין זמן תגובה לדיוק בשיטות אימות שונות. הקשר בין השהיית התגובה לדיוק עבור השיטות שנבחנו ב-TruthfulQA וב-FEVER, הממחיש את הפשרה בין הביצועים להשהיה הקשורה למסגרת המוצעת ולגישות ההשוואה. אנא לחצו כאן להצגת גרסה גדולה יותר של איור זה.
| סט של נתונים | דגימות שנעשה בהן שימוש | תחומים | אורך תגובה ממוצע (אסימונים) | שיעור הזיות בסיסי של מודלי שפה גדולים (LLM) |
| TruthfulQA | 817 | 38 (מדע, היסטוריה, משפט וכו') | 42 | 28% |
| חום | 1,000 | טענות עובדתיות כלליות | 18 | 26% |
טבלה 1: מאפייני מערך הנתונים הייחוס. סיכום של מערכי הנתונים TruthfulQA ו-FEVER ששימשו לפיתוח ולהערכה של המסגרת, כולל מספר הדגימות, דיוק הבסיס, שיעור הזיות הבסיס ומספר טענות ממוצע לדגימה.
| שיטה | דיוק (Accuracy) | דיוק (Precision) | רגישות (Recall) | ציון F1 | % הזיות (Hallucination) |
| LLM בסיסי (הסקה בודדת) | 0.72 | 0.71 | 0.69 | 0.7 | 28% |
| אימות מבוסס NLI (סף קבוע) | 0.82 | 0.815 | 0.785 | 0.8 | 15% |
| SelfCheckGPT | 0.76 | 0.755 | 0.725 | 0.74 | 22% |
| FActScore | 0.85 | 0.8425 | 0.8175 | 0.83 | 11% |
| המסגרה המוצעת (סף סטטיסטי) | 0.87 | 0.86 | 0.84 | 0.85 | 9% |
טבלה 2: השוואת ביצועים ב-TruthfulQA. דיוק (Accuracy), רגישות (precision), כושר השבה (recall), מדד F1 ושיעור הזיות עבור ה-LLM הבסיסי, SelfCheckGPT, FActScore, אימות NLI והמסגרת המוצעת.
| שיטה | דיוק (Accuracy) | דיוק (Precision) | רגישות (Recall) | מדד F1 | % הזיות (Hallucination) |
| SelfCheckGPT | 0.78 | — | — | — | — |
| FActScore | 0.87 | — | — | — | — |
| Baseline LLM† | 0.74 | 0.73 | 0.71 | 0.72 | 26% |
| אימות מבוסס NLI (סף קבוע) | 0.83 | 0.8225 | 0.7975 | 0.81 | 14% |
| המסגרת המוצעת (סף סטטיסטי) | 0.89 | 0.8775 | 0.8625 | 0.87 | 10% |
טבלה 3: השוואת ביצועים ב-FEVER. דיוק (Accuracy), דיוק חזוי (precision), רגישות (recall), מדד F1 ושיעור הזיות עבור ה-LLM הבסיסי, SelfCheckGPT, FActScore, אימות NLI והמסגרה המוצעת.
| תצורה | דיוק | דיוק | רהיקה (Recall) | F1 (נוסף) | שיעור הזיות |
| מודל שפה בסיסי | 0.72 | 0.71 | 0.69 | 0.7 | 28% |
| קו בסיס + בדיקה משנית (ללא NLI) | 0.78 | 0.7725 | 0.7475 | 0.76* | 20% |
| קווי בסיס + אימות מבוסס NLI (סף קבוע) | 0.82 | 0.815 | 0.785 | 0.8 | 15% |
| בסיס + מודול החלטה סטטיסטי (מלא) | 0.87 | 0.86 | 0.84 | 0.85 | 9% |
טבלה 4: ניתוח השפעת רכיבי התשתית (Ablation analysis). שינויים בדיוק, במדד F1 ובשיעור ההזיות בעקבות שילוב רצוף של אימות משני, אימות NLI וסף סטטיסטי אדפטיבי.
| שיטה | זמן תגובה ממוצע (ms) |
| LLM בסיסי (יצירה בודדת) | 820 |
| מנגנון תיקוף עצמי | 910 |
| המסגרת הסטטיסטית המוצעת | 980 |
| אימות מוגבר באחזור (RAG) | 1600 |
טבלה 5: השהיית תגובה בין שיטות האימות השונות. זמן תגובה ממוצע והשהיה נוספת ביחס ל-LLM הבסיסי עבור Self-Validation, המסגרת המוצעת, ואימות מוגבר באמצעות אחזור (retrieval-augmented verification).
טבלה משלימה 1: השוואה בין גישות לאימות הזיות. השוואה בין המסגרת המוצעת לשיטות קיימות במונחים של שליפה חיצונית, אימות ברמת הטענה, סף סתגלני ועיבוד יעיל מבחינת השהייה.אנא לחץ כאן כדי להוריד קובץ זה.
טבלה משלימה 2: ניתוח רגישות של פרמטר הסף (k). מדדי הדיוק (Accuracy), הדיוק (Precision), recall, ציון F1 ושיעור ההזיות (hallucination rate) התקבלו עבור ערכי פרמטר הסף 0.3, 0.5, 0.7 ו-1.0. ערך של k = 0.7 שימש להערכה הראשונית.אנא לחצו כאן להורדת קובץ זה.
טבלה משלימה 3: זמן עיבוד לאורך שלבי צינור האימות. זמן ביצוע ממוצע ואחוז התרומה של יצירת תגובה ראשונית, פירוק טענות, יצירת הפניות, הסקת NLI ותיקון סלקטיבי לזמן התגובה הכולל.אנא לחצו כאן להורדת קובץ זה.
טבלה משלימה 4: התפלגות השגיאות שזוהו במהלך האימות. מספר ואחוז השליליים השקריים, החיוביים השקריים ושגיאות התיקון, יחד עם קטגוריות ההזיות העיקריות הקשורות לכל סוג שגיאה.אנא לחצו כאן להורדת קובץ זה.
דיון
המסגרת המוצעת שיפרה את ביצועי האימות העובדתי תוך הימנעות מדגימה חוזרת ושליפה חיצונית. ב-TruthfulQA, שיעור ההזיות ירד מ-28% עבור ה-LLM הבסיסי ל-9% עם המסגרת המלאה, בעוד שהדיוק עלה מ-0.72 ל-0.87. ב-FEVER, שיעור ההזיות ירד מ-26% ל-10%, והדיוק עלה מ-0.74 ל-0.89. יש לפרש השוואות אלו במסגרת ההגדרות הניסיוניות והמימושים ששימשו במחקר זה, ולא כראיה לעליונות אוניברסלית בכל תנאי פריסה. המסגרת מבצעת אימות ברמת הטענה לאחר היצירה באמצעות ייחוס עובדתי מבודד ותיקון סלקטיבי, ובכך מספקת פשרה בין ביסוס על ידע חיצוני, הסקה חוזרת ואימות קל לאחר היצירה. מחוללי התגובה והייחוס משתמשים באותו מודל GPT-3.5 Turbo בבסיסם, אך פועלים תחת יעדי הנחיה (prompting) שונים והקשרי ביצוע מבודדים. מחולל הייחוס מקבל רק את השאילתה המקורית ואינו ניגש לתגובה שנוצרה קודם לכן. לפיכך, שני תהליכי היצירה הם בלתי תלויים מבחינה פרוצדורלית ולא סטטיסטית, ועשויים לשמר הטיות עובדתיות מתואמות שמקורן במודל האימון המוקדם המשותף שלהם.
השוואה לגישות קיימות
קו הבסיס של NLI עם סף קבוע מחיל סף ביטחון של 0.7 בהתבסס על עבודה קודמת בנושא בדיקת עובדות מבוססת NLI14. SelfCheckGPT15 מייצג גישה לזיהוי הזיות ללא משאבים (zero-resource), המייצרת מספר דגימות סטוכסטיות ומשתמשת ב-NLI כדי לזהות טענות שאינן עקביות. FActScore16 מפרק תגובות שנוצרו לעובדות אטומיות ומאמת אותן מול מקורות שהשולפו ממקור ידע מבוסס ויקיפדיה. בניגוד לכך, המסגרת המוצעת מבצעת אימות ברמת הטענה ללא יצירה חוזרת של התגובה המלאה או שליפה חיצונית.
DoLA היא גישה קלה ומשלימה המשפרת יצירה עובדתית על ידי השוואת הסתברויות טוקנים (tokens) הנגזרות משכבות טרנספורמר שונות במהלך הסקת המסקנות (inference). השוואה ניסיונית ישירה לא נכללה מכיוון ש-DoLA משנה את תהליך יצירת הטוקנים, בעוד שהמסגרה המוצעת מבצעת אימות ברמת הטענה לאחר היצירה ותיקון סלקטיבי. יישום של DoLA ידרוש גישה לייצוגים פנימיים של שכבות הטרנספורמר, אשר אינם חשופים ב-API של GPT-3.5 Turbo ששימש במחקר זה. ההיעדרות של שליפה חיצונית מפחיתה את התלות בשליפה ובדרישות העיבוד הנלוות, אך גם מגבילה את האימות לידע הזמין עבור המודלים הבסיסיים. כתוצאה מכך, בדיו-ניסיונות (fabrications) מלאים או טענות התמחותיות שאינן נכללות בכיסוי הידע של המאמת נותרים קשים לתיקון.
סף סטטיסטי אדפטיבי ותיקון סלקטיבי
סף הסתגלות נגזר מהתפלגות ציוני הביטחון האמפיריים ומבקר את האיזון בין הרגישות (recall) לזיהוי הזיות לבין הדיוק (precision) של התיקון. ניתוח רגישות העריך ערכים של 0.3, 0.5, 0.7 ו-1.0 על קבוצת תיקוף נפרדת של TruthfulQA. ערך של k = 0.7 סיפק את האיזון המאוזן ביותר בין הפחתת הזיות לבין יעילות חישובית עבור מדדי הביצועים שהוערכו.
הסף האופטימלי עשוי להשתנות בין תחומי יישום שונים, מכיוון שההתפלגות של ציוני הביטחון ב-NLI תלויה באופי התוכן הנוצר. לכן, עבור יישום בתחום חדש, ניתן להשתמש במערך תיקוף המשקף את היישום המיועד כדי להעריך ערכים מועמדים ולבחור ערך המאזן בין ביצועי האימות העובדתי, קצב התיקון וזמן השהיית העיבוד. מכיוון שאופטימיזציה של הסף כוללת פרמטר סקאלרי יחיד ולא אימון מחדש של המודלים, ההתאמה אינה דורשת שינוי של המודלים הבסיסיים.
תיקון סלקטיבי מגביל את הרגנרציה לטענות המסווגות כסתירה (Contradiction) ואשר עומדות בקריטריון סף הסטטיסטי. דבר זה מונע עיבוד חוזר של טענות שאינן עומדות בקריטריון התיקון, ומבדיל את המסגרת הזו מגישות של דגימה מחדש של תגובה מלאה (full-response resampling) ומגישות של זיקוק איטרטיבי.
פשרה בין השהיה לביצועים
המסגרת המוצעת השיגה זמן תגובה ממוצע של 980 ms בהשוואה ל-820 ms עבור ה-LLM הבסיסי ו-1600 ms עבור אימות מוגבר באחזור (retrieval-augmented verification). ניתוח ברמת השלב הראה כי יצירת התגובה הראשונית היוותה 83.7% מסך השהייה, בעוד שהסקת NLI תרמה 3.9% ותיקון סלקטיבי תרם פחות מ-1% בממוצע. ערכי השהייה מדווחים כזמני ביצוע ממוצעים לאורך הרצות ניסיוניות חוזרות. ערכי השהייה בודדים לכל הרצה לא נשמרו; לכן, חישוב post hoc של שונות, רווחי סמך או מדדי שונות אחרים לא היה אפשרי. בהתאם לכך, ערכי השהייה והשוואת המהירות–דיוק מוצגים כהערכות נקודתיות ללא פסי שגיאה. ערכי השהייה המדווחים משקפים את הסביבה הניסיונית ששימשה במחקר זה ועשויים להשתנות תחת תנאי פריסה שונים, במיוחד כאשר נעשה שימוש ב-APIs של מודלי שפה מבוססי ענן. שהיית רשת, עומס שרת וזמינות שירות יכולים להשפיע באופן עצמאי על זמני תגובה מוחלטים, ללא קשר למסגרת האימות המוצעת.
ניתוח שגיאות
טענות שטופלו באופן שגוי במערך הבדיקה של TruthfulQA סווגו כביטולים שגויים (false negatives), זיהויים שגויים (false positives) או שגיאות תיקון. התהלוכיות והקטגוריות העיקריות של שגיאות אלו מסוכמות ב- טבלה משלימה 4שליליות שגויות היוו 52.6% מכלל השגיאות והיו קשורות בעיקר להזיות זמניות ולהחלפות עובדתיות דקות. שגיאות זמניות עשויות להישמט כאשר המאמת חולק את נקודת הסיום של האימון (training cutoff) של מודל הבסיס, בעוד שהחלפות עובדתיות דקות עשויות לקבל ציוני NLI בטווח הנייטרלי (Neutral) במקום בטווח הסתירה (Contradiction).
תוצאות חיוביות שגויות היוו 35.9% מהשגיאות והתרחשו בעיקר עבור עובדות שאינן נפוצות, ספציפיות מאוד, או כאלה שנקבעו לאחרונה ומחוץ לכיסוי הידע בעל הביטחון הגבוה של מודל האימות. מקרים אלו הניבו ציוני גרירה (entailment) חלשים של NLI למרות שהטענות היו נכונות עובדתית. שגיאות תיקון היוו 11.5% מכלל השגיאות והתרחשו כאשר זוהו המצאות מוחלטות, אך תהליך התיקון ייצר הצהרה לא מדויקת אחרת בשל כיסוי ידע לא מספיק של המאמת.
ממצאים אלו מעידים כי שגיאות שיריות נובעות הן מאפליrative NLI והן מכיסוי הידע של המאמת, ובמיוחד עבור אי-דיוקים זמניים, החלפות עובדתיות דקות, עובדות לא נפוצות ובדיויים מוחלטים.
ניתוח סטטיסטי
שיעור ההזיות ירד מ-15% באימות NLI עם סף קבוע ל-9% עם המסגרת הסטטיסטית המוצעת, בעוד שהמסגרת המלאה הפחיתה את השיעור מ-28% עבור קו הבסיס ל-9% ב-TruthfulQA. הבדלים אלה מדווחים כשינויים תיאוריים בביצועים, ולא נטענת מובהקות סטטיסטית פורמלית מכיוון שההערכה הנוכחית אינה כוללת את תוצאות המבחן הסטטיסטי ואת הערכות גודל האפקט הנדרשות לתמיכה במסקנה כזו17,18.
מגבלות
ביצועי האימות של המסגרת מוגבלים על ידי היכולת של מודל ה-NLI הבסיסי. DeBERTa-v3-large עשוי להתקשות בהשוואות מספריות מדויקות, בניתוח זמנים ובטענות הדורשות הסקה רב-שלבית (multi-hop inference) על פני עובדות מרובות. מגבלות של מודל ה-NLI נקשרו גם לשלילות שגויות (false negatives) הכוללות החלפות עובדתיות דקות, וחולשות שיטתיות במודל ה-NLI עלולות להשפיע על החלטות האימות.
מחוללי התגובה והסימוכין משתמשים באותו מודל GPT-3.5 Turbo בבסיסם. למרות שמטרות הנחיה שונות והקשרי ביצוע מבודדים מספקים עצמאות פרוצדורלית, שני התהליכים אינם בלתי תלויים מבחינה סטטיסטית ועשויים לשמר הטיות עובדתיות מתואמות מהמודל המאומן מראש המשותף להם.
הצימוד בין המעריך למאמת מהווה מגבלה נוספת. הערכת ההזיות הסופית משתמשת באותו מודל NLI שמאמת את הטענות בתוך תהליך העבודה המוצע. הדבר עלול להוביל להסכמה בין המאמת למעריך ולהשפיע על השיפור הנמדד. לפיכך, יש לפרש את התוצאות המדווחות כביצועים תחת הליך ההערכה המוגדר המבוסס על NLI, ולא כראיה עצמאית לחלוטין להפחתת הזיות. הערכה אנושית עצמאית או מודל הערכה שפותח בנפרד יספקו תיקוף חזק יותר.
שלב פירוק הטענות הוערך אך ורק בשל תרומתו לאימות מקצה לקצה, ולא נבחן באופן עצמאי אל מול גבולות טענות שסומנו על ידי בני אדם. כתוצאה מכך, המחקר אינו מספק הערכה כמותית נפרדת של דיוק הפירוק או של התפשטות השגיאות האינדיבידואלית שלו לשלבי האימות הבאים.
ההערכה הוגבלה למסדי הנתונים TruthfulQA ו-FEVER ולתוכן בשפה האנגלית. לפיכך, הביצועים שנצפו אינם מבססים הכללה לתחומי דעת מיוחדים, הגדרות רב-לשוניות או יצירת תוכן ארוך. ייתכן כי הערך האופטימלי של k ישתנה בין תחומי יישום שונים, מכיוון שהתפלגויות ציוני הביטחון של NLI תלויות באופי התוכן הנוצר. לפיכך, נדרשים כיול ספציפי לתחום והערכה רחבה יותר לפני הרחבת הממצאים מעבר לתנאים שנבחנו במחקר זה.
לבסוף, מדידות השהיה (latency) הן ספציפיות לתצורה הניסיונית ועשויות להשתנות בין סביבות הרצה שונות. מאחר שמדידות השהיה 개נידיבידיואליות לכל הרצה לא נשמרו, לא ניתן היה להעריך את השונות ואת רווחי הסמך בדיעבד. הערכות עתידיות צריכות לשמור מדידות אינדיבידואליות ולכלול אפיון סטטיסטי רחב יותר של השהיה בין סביבות הרצה שונות.
עבודות עתידיות
מחקרים עתידיים צריכים להתייחס למגבלות העיקריות שזוהו במסגרת הנוכחית. נדרש כיול סף מודע-דומיין (domain-aware), מכיוון שהערך הקבוע (k = 0.7) שנבחר באמצעות TruthfulQA עשוי שלא להיות אופטימלי עבור דומיינים ייעודיים עם התפלגויות שונות של מדדי ביטחון (confidence-score) ב-NLI. ניתן להשתמש בנתוני תיקוף ספציפיים לדומיין כדי לכייל את הסף ובמידת הצורך להחיל קנסות אסימטריים על שגיאות של ביטול שגוי (false-negative) וזיהוי שגוי (false-positive)19.
פירוק טענות משופר צריך לכלול הערכה עצמאית באמצעות גבולות טענות שסומנו על ידי בני אדם, כדי לכמת את השלמות, הדיוק וההשפעה של השגחת שגיאות במצב של התפשטות לשלבים הבאים. מודלים של פירוק שעברו כיוון עדין (Fine-tuning) ומדדי ביטחון בפירוק עשויים להפחית עוד יותר שגיאות הנובעות מטענות שסומנּו באופן לקוי. הערכות השוואתיות עתידיות צריכות לכלול גם גישות קלילות המבוססות על פענוח, כגון DoLA, תחת פרוטוקול ניסיוני מאוחד.
העשרה של שליפה קלה עשויה לסייע בטיפול בהמצאות מוחלטות, אשר נותרות קשות לזיהוי כאשר למאמת חסר ידע עובדתי מספיק. מנגנון נסיגה לשליפה ממוקדת עבור טענות סותרות בעלות רמת ביטחון נמוכה עשוי לספק תמיכה עובדתית חיצונית מבלי להצריך שליפה עבור כל טענה20.
נדרשת גם הרחבה רב-לשונית, מכיוון שההערכה הנוכחית מוגבלת למדדי ביצוע (benchmarks) בשפה האנגלית3. מחקרים עתידיים צריכים להעריך מודלי NLI רב-לשוניים, וכן הנחיות (prompts) לפירוק ותיקון טענות ספציפיות לשפה, על גבי מדדי ביצוע רב-לשוניים להזיות (hallucinations).
סיכום
מחקר זה הציג מסגרת אימות טענות דו-שלבית המשלבת פירוק טענות לאטומיות, יצירת ייחוסים עובדתיים באמצעות הנחיה נפרדת, אימות NLI, סף סטטיסטי אדפטיבי ותיקון סלקטיבי. בבדיקה על TruthfulQA, המסגרת הפחיתה את שיעור ההזיות מ-28% ל-9%, בעוד שזמן השהייה הממוצע עלה ב-160 ms ביחס למודל ה-LLM הבסיסי. בבדיקה על FEVER, שיעור ההזיות ירד מ-26% ל-10%.
המסגרת המוצעת השיגה ביצועים תחרותיים באימות עובדות ללא דגימה חוזרת של תגובה מלאה או שליפה חיצונית. סף סתגלני ותיקון סלקטיבי תרמו לביצועים שנצפו תוך הגבלת עומס העיבוד הנוסף. עם זאת, הממצאים מוגבלים למדדי הביצועים ולתנאי הניסוי שנבחנו, והם נותרים תלויים במודל ה-NLI, בזיקה בין המעריך למאמת, באי-ודאות בפירוק הטענות, בכיול סף ספציפי לתחום ובשונות בזמני השהיה. לפיכך, נדרשת הערכה רחבה יותר, עצמאית, ספציפית לתחום ורב-לשונית לפני הרחבת הממצאים למסגרות פריסה נרחבות יותר.
גילויים
המחברים מצהירים כי אין להם ניגודי עניינים.
תודות
המחברים מבקשים להביע את תודתם הכנה למוסדם על אספקת הסביבה האקדמית והמשאבים החישובים שהיו נחוצים לביצוע מחקר זה. המחברים מודים גם למפתחים ולמחזיקים של מערכי נתוני הייחוס הזמינים לציבור ששימשו במחקר זה, ואשר אפשרו הערכה מקיפה של המסגרה המוצעת. תודה מ 특별ת מופנית לעמיתים ולבודקים על משובם הבונה, אשר סייע בשיפור האיכות והבהירות של עבודה זו. כמו כן, המחברים מודים לקהילת המחקר של הקוד הפתוח על אספקת ספריות התוכנה והכלים שהקלש על הניסויים, ניתוח הנתונים והצגת התוצאות. מאמציהם המתמשכים קידמו באופן משמעותי את המחקר בתחום עיבוד השפה הטבעית ובינה מלאכותית מהימנה. המחברים מצהירים כי לא התקבל תמיכה כספית חיצונית או מימון למחקר זה.
חומרים
| שם | חברה | מספר קטלוג | הערות |
|---|---|---|---|
| ערכת נתוני הבנצ'מרק FEVER | משימה משותפת FEVER (Thorne et al.) | https://fever.ai/dataset/fever.html | מאגר נתונים לאימות עובדות הזמין לציבור, המכיל זוגות של טענה-ראיה המשמשים להערכה |
| GPT-3.5 Turbo (מודל שפה גדול B10+2:12:12 | OpenAI | מזהה מודל: gpt-3.5-turbo; https://developers.openai.com/api/docs/models/gpt-3.5-turbo | שמש גם כמחולל התגובות וגם כמחולל הייחוס העצמאי, הגישה אליו התבצעה באמצעות ה-OpenAI API |
| NumPy | מפתחי NumPy (קוד פתוח) | https://numpy.org/ | ספריית חישוב נומרי המשמשת לחישובים סטטיסטיים, כולל ממוצע וסטיית תקן של ציוני אימות NLI |
| Openai (ספריית לקוח Python API) | OpenAI | https://github.com/openai/openai-python | ספריית לקוח ב-Python המשמשת להגשת פרומפטים ולקבלת השלמות מ-GPT-3.5 Turbo |
| פנדות | צוות הפיתוח של pandas (קוד פתוח) | https://pandas.pydata.org/ | ספריית ניתוח נתונים טבלאית המשמשת לעיבוד מקדים של מערכי נתונים ולטיפול בתוצאות |
| מודל סיווג מאומן מראש להסקה בשפה טבעית (NLI) | מרכז המודלים של Hugging Face (מודל שנבנה על ארכיטקטורת DeBERTa-v3-large של Microsoft) | MoritzLaurer/DeBERTa-v3-large-mnli-fever-anli-ling-wanli | נעשה בו שימוש במצב הסקה (inference mode), ללא כיוונון עדין (fine-tuning), כדי לסווג כל זוג של טענה-מקור כאסמכתא (entailment), ניטרלי (neutral) או סתירה (contradiction) |
| פייתון | Python Software Foundation | גרסה 3.9; https://www.python.org/downloads/release/python-390/ | שפת התכנות המרכזית ששימשה ליישום מסגרת האימות |
| SciPy | מפתחי SciPy (קוד פתוח) | https://scipy.org/ | ספריית מחשוב מדעי המשמשת לתמיכה בניתוח סטטיסטי של תוצאות ניסיוניות |
| Transformers (ספריית Hugging Face Transformers) | Hugging Face | https://github.com/huggingface/transformers | ספריית Python המשמשת לטעינה ולהרצה של מודל NLI שאומן מראש |
| סט המערך של מדד TruthfulQA | פורסם במקור על ידי Lin, Hilton, and Evans | https://github.com/sylinrl/TruthfulQA | מדד ייחוס (benchmark) הזמין לציבור הכולל 817 שאלות מונחות-עובדות המשמשות לכוונון סף ולהערכה |
| מחשב תחנה (Workstation) | לא צוין בכתב היד (נא לאשר יצרן/דגם) | מעבד Intel Core i5; זיכרון RAM בנפח 16 GB; מערכת הפעלה של 64 סיביות | חומרה ששימשה לביצוע כל הניסויים תחת תצורות זהות |
| הערה: כל כתובות ה-URL המופיעות לעיל נבדקו ואושרו כפעילות נכון לתאריך של טבלה זו. |
מקורות
- Dai Z, et al. Promptagator: Few-shot dense retrieval from 8 examples [conference presentation]. Presented at: The Eleventh International Conference on Learning Representations; 2022. [https://iclr.cc/virtual/2023/poster/10937]
- Achiam J, et al. GPT-4 technical report. arXiv. 2023;arXiv:2303.08774. [https://arxiv.org/abs/2303.08774]
- Ji Z, et al. Survey of hallucination in natural language generation. ACM Comput Surv. 2023;55(12):1-38.
- Bender EM, McMillan-Major A, Shmitchell S, Gebru T. On the dangers of stochastic parrots: Can language models be too big? [conference presentation]. Presented at: 2021 ACM Conference on Fairness, Accountability, and Transparency; 2021. [https://dl.acm.org/doi/10.1145/3442188.3445922]
- Devlin J, et al. BERT: Pre-training of deep bidirectional transformers for language understanding [conference presentation]. Presented at: 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies; 2019. [https://arxiv.org/abs/1810.04805]
- Maynez J, Narayan S, Bohnet B, McDonald R. On faithfulness and factuality in abstractive summarization [conference presentation]. Presented at: 58th Annual Meeting of the Association for Computational Linguistics; 2020. [https://arxiv.org/abs/2005.00661]
- Brown T, et al. Language models are few-shot learners. Adv Neural Inf Process Syst. 2020;33:1877-901.
- Guu K, et al. Retrieval augmented language model pre-training [conference presentation]. Presented at: International Conference on Machine Learning; 2020. [https://arxiv.org/abs/2002.08909]
- Izacard G, Grave E. Leveraging passage retrieval with generative models for open domain question answering [conference presentation]. Presented at: 16th Conference of the European Chapter of the Association for Computational Linguistics; 2021. [https://arxiv.org/abs/2007.01282]
- Bowman SR, Angeli G, Potts C, Manning CD. A large annotated corpus for learning natural language inference [conference presentation]. Presented at: 2015 Conference on Empirical Methods in Natural Language Processing; 2015. [https://arxiv.org/abs/1508.05326]
- Platt J. Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods. Adv Large Margin Classif. 1999;10(3):61-74.
- Lin S, Hilton J, Evans O. Truthfulqa: Measuring how models mimic human falsehoods. InProceedings of the 60th annual meeting of the association for computational linguistics (volume 1: long papers) 2022 May (pp. 3214-3252).
- Thorne J, Vlachos A, Christodoulopoulos C, Mittal A. FEVER: A large-scale dataset for fact extraction and verification [conference presentation]. Presented at: 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies; 2018. [https://aclanthology.org/N18-1074/]
- Williams A, Nangia N, Bowman SR. A broad-coverage challenge corpus for sentence understanding through inference. arXiv. 2017;arXiv:1704.05426.
- Manakul P, Liusie A, Gales M. SelfCheckGPT: Zero-resource black-box hallucination detection for generative large language models [conference presentation]. Presented at: 2023 Conference on Empirical Methods in Natural Language Processing; 2023.
- Min S, et al. FActScore: Fine-grained atomic evaluation of factual precision in long-form text generation. arXiv. 2023;arXiv:2305.14251.
- Cohen J. Statistical power analysis for the behavioral sciences. Routledge; New York; 2013.
- Kadavath S, et al. Language models (mostly) know what they know. arXiv. 2022;arXiv:2207.05221.
- Hendrycks D, et al. Aligning AI with shared human values. arXiv. 2020;arXiv:2008.02275.
- Lewis P, et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. Adv Neural Inf Process Syst. 2020;33:9459-74.
הדפסות חוזרות והרשאות
