מחקר זה מציג מסגרת קלה להפחתת הזיות במודלי שפה גדולים באמצעות אימות ברמת הטענה וסף סטטיסטי אדפטיבי. על ידי תיקון סלקטיבי של טענות שאינן נתמכות באמצעות הסקת מסקנות בשפה טבעית (Natural Language Inference), גישה זו משפרת את הדיוק העובדתי תוך שמירה על השהיית תגובה נמוכה ויעילות פריסה מעשית.
מאמר מחקר
אימות טענות מונחה NLI אדפטיבי עם מודל החלטה סטטיסטי להפחתת הזיות בשהיה נמוכה במודלי שפה גדולים
במאמר זה
סיכום
תקציר
מודלי שפה גדולים (LLMs) מראים נטייה קריטית לייצר פלטים שגויים עובדתית אך רהוטים מבחינה לשונית - תופעה המכונה הזיה (hallucination) - המהווה סיכון חמור ביישומים הדורשים דיוק מרבי. אסטרטגיות הפחתה קיימות, כולל יצירה מוגברתת-שליפה (retrieval-augmented generation) ודגימת עקביות-עצמית (self-consistency sampling), גורמות או לעיכוב משמעותי בזמן ההסקה (inference latency) או תלויות בתשתיות ידע חיצוניות, מה שמגביל את יכולת היישום שלהן בפריסות בזמן אמת. מאמר זה מציע מסגרת קלה לבדיקת טענות בשני שלבים, המפרקת תגובות של LLM לטענות עובדתיות אטומיות ומאמתת באופן עצמאי כל טענה שחולצה אל מול מקור ייחוס שנוצר בנפרד באמצעות הנחיית ייחוס עובדתי מבודדת. אף על פי שהמחולל והמאמת חולקים את אותו מודל שפה בסיסי, הפרדת יצירת התגובה מהייחוס העובדתי מפחיתה את ההתנייה הישירה של התגובה וממזערת הטיות אישור במהלך האימות, תוך שימוש בהסקת שפה טבעית (Natural Language Inference, NLI), ומיישמת סף סטטיסטי אדפטיבי - המוגדר כ-τ = µ + kσ על פני התפלגות ציוני הביטחון של ה-NLI - כדי לתקן באופן סלקטיבי רק טענות שסותרות את המקור. בניגוד לשיטות קודמות המבוססות על NLI הנשענות על גבולי החלטה קבועים, המסגרת המוצעת מתאימה באופן דינמי את סף האימות להתפלגות הביטחון של כל תגובה, ומראה ביצועים עקביים במדדי הייחוס שנבחנו ללא צורך באימון מחדש של המודל. בבדיקה על TruthfulQA ו-FEVER, המסגרת הפחיתה את שיעור ההזיות מ-28% ל-9% ב-TruthfulQA - הפחתה יחסית של 67.9% - תוך הוספה של 160 ms בלבד של שיהוי לעומת ה-LLM הבסיסי, והביאה לביצועים טובים יותר מ-SelfCheckGPT ו-FActScore בדיוק זיהוי ההזיות. תוצאות אלו מעידות כי המסגרת יכולה לספק איזון מיטבי בין מהימנות עובדתית לבין שיהוי תגובה במדדי הייחוס שנבחנו, בעוד שנדרש תיקוף נוסף על פני תחומים והגדרות פריסה שונות.
מבוא
מודלים של שפה רחבה (LLMs) הפכו לרכיבים בסיסיים במערכות בינה מלאכותית מודרניות, והם מפגינים יכולת מרשימה במגוון רחב של משימות שפה טבעית, כולל יצירת טקסט, מענה על שאלות, סיכום והסקה מורכבת1. יכולתם להפיק תגובות שוטפות וקוהרנטיות מבחינה הקשרית האיצה את אימוצם בתחומים בעלי השפעה רבה, כגון תמיכה בהחלטות קליניות, ניתוח משפטי, הנדסת תוכנה וטכנולוגיה חינוכית2. עם זאת, מגבלה קריטית ומתמשכת פוגעת באמינותם בהקשרים אלו: הזיות (hallucinations), שבהן המודלים יוצרים תגובות שוטפות מבחינה לשונית אך שגויות עובדתית, חסרות ביסוס או מומצאות לחלוטין 3. מחקרים אמפיריים מדווחים על שיעורי הזיות הנעים בין 15% ליותר מ-40% בהתאם למשימה ולמודל, כאשר אפילו מערכות מתקדמות כיום כמו GPT-4 מראות חוסר עקביות עובדתי מדיד תחת הערכה ספציפית לתחום2,3. מגבלה זו מהווה סיכון חמור ביישומים הדורשים דיוק גבוה, שבהם פלטים שגויים עלולים להוביל למידע מוטעה, לאבחנה שגויה או לקבלת החלטות פגומות4. הזיות נובעות באופן יסודי מהטבע הפרובביליסטי של מידול שפה - מודלי LLMs מייצרים טוקנים על ידי חיזוי המשכים סבירים סטטיסטית של רצפי קלט, במקום לשלוף או להסיק מידע מתוך ידע עובדתי מאומת5. כתוצאה מכך, פלטים שנוצרו עשויים להטמיע טענות שנשמעות סבירות אך אינן מדויקות, להציג קביעות חסרות ביסוס, או לבלבל בין מושגים הקשוריים סמנטית אך נבדלים עובדתית6.
אסטרטגיות הפחתה קיימות מתמודדות עם בעיה זו באמצעות מספר פרדיגמות, שלכל אחת מהן מגבלות בולטות. יצירה מוגברת באמצעות אחזור (RAG) מפחיתה הזיות על ידי ביסוס התשובות במסמכים שאוחזרו באופן חיצוני, אך היא גורמת לעיכוב משמעותי בזמן התגובה (latency), דורשת גישה למאגרי ידע מתוחזקים, ונותרת פגיעה כשלי-אחזור בתחומים מתמחים או בתחומים בעלי משאבים מוגבלים7,8,9.
למרות שמחולל התגובה ומחולל המקורות מופעלים באמצעות אותו מודל GPT-3.5 Turbo בבסיסם, הם פועלים תחת יעדי הנחיה (prompting) והקשרי ביצוע שונים. מחולל התגובה מייצר תשובה ללא הגבלה לשאילתת המשתמש, בעוד שמחולל המקורות מבצע משימת שליפת עובדות מבודדת ללא גישה לתגובה שנוצרה קודם לכן. הפרדה זו מפחיתה השפעות ישירות של התניית התגובה ומגבילה את הטיית האישור במהלך אימות הטענות. לפיכך, המסגרת מתייחסת למקור שנוצר כבלתי תלוי מבחינה פרוצדורלית ולא כבלתי תלוי מבחינה סטטיסטית.
מחקרים אחרונים בחנו גם אסטרטגיות פענוח קלילות להפחתת הזיות (hallucinations) ביצירת טקסט, מבלי להסתמך על אחזור חיצוני או אימות חוזר. גישה מייצגת אחת היא פענוח באמצעות השוואת שכבות (Decoding by Contrasting Layers - DoLA), המשפרת את העובדתיות על ידי השוואת ייצוגים משכבות ביניים ושכבות סופיות של הטרנספורמר במהלך הפענוח. בניגוד למסגרות אימות שלאחר היצירה, שיטות אלו מתערבות ישירות במהלך יצירת האסימונים (tokens), ולכן הן מבצעות אופטימיזציה לשלב שונה בתהליך יצירת השפה. אסטרטגיות משלימות אלו מוכיחות כי ניתן להפחית הזיות הן במהלך הפענוח והן באמצעות אימות שלאחר היצירה, כאשר כל גישה מציעה פשרות שונות בכל הנוגע למאמץ חישובי, מורכבות יישום ואמינות עובדתית.
שיטות עקביות-עצמית (Self-consistency) משפרות את המהימנות העובדתית על ידי דגימת תגובות מרובות ובחירת הפלט השכיח או הקוהרנטי ביותר, אך העלות החישובית שלהן עולה באופן ליניארי עם מספר הדגימות, מה שהופך אותן לבלתי מתאימות לפריסות הרגישות לשהיית זמן (latency).8גישות של זיכוך איטרטיבי, המעדכנות שוב ושוב את הפלטים באמצעות לולאות של משוב עצמי, מפחיתות באופן הדרגתי את שיעורי השגיאה אך מאריכות באופן משמעותי את זמן ההסקה עם כל מעבר נוסף.9שיטות אימות מבוססות NLI (הסקה לוגית טבעית) מציעות חלופה ממוקדת יותר על ידי הערכת גרירה סמנטית בין טענות שנוצרו לבין טקסטים של ייחוס, אך יישומים קיימים מסתמכים על ספי סגירה קבועים שאינם מסוגלים להסתגל להתפלגויות ביטחון, תחומים או התנהגויות מודל משתנים.10,11בסיכום, גישות אלו מטילות עומס חישובי בלתי קביל, תלויות בתשתית חיצונית, או שחסרה להן הסתגלות הנדרשת לפריסה כללית. השוואה של המאפיינים העיקריים של גישות אלו לאימות הזיות מוצגת ב- טבלה משלימה 1.
מאמר זה מציע מסגרת קלת משקל לאימות טענות בשני שלבים, שנועדה להפחית הזיות (hallucinations) בפלטי LLM תוך שמירה על השהיית תגובה נמוכה. בשלב הראשון, ה-LLM מייצר תגובה ראשונית, אשר מופרקת לאחר מכן לטענות עובדתיות אטומיות. בשלב השני, כל טענה מאומתת באמצעות הסקת מסקנות בשפה טבעית (Natural Language Inference) אל מול ייחוס עובדתי שנוצר בנפרד דרך מעבר הסקה מבודד שאינו ניגש לתגובה המקורית שנוצרה, וסף ביטחון שנגזר סטטיסטית קובע את החלטת ה"קבלה או תיקון" ברמת הטענה. התרומות המרכזיות של עבודה זו הן כדלקמן: (1) צינור אימות דו-שלבי ברמת הטענה המפריד בין יצירת התגובה לבין התיקוף העובדתי, ובכך מאפשר הערכה עצמאית וממוקדת של כל טענה אטומית ללא צורך בשליפה חיצונית או ביצירה מחדש של התגובה המלאה; (2) מנגנון סף סטטיסטי אדפטיבי המבוסס על התפלגות ציוני הביטחון של NLI (τ = µ + kσ), אשר קובע באופן דינמי את גבולות הקבלה והתיקון במקום להסתמך על כללי החלטה קבועים, מה שמשפר את העמידות על פני התפלגויות ביטחון משתנות; (3) אסטרטגיית תיקון סלקטיבית המגבילה את היצירה מחדש רק לאותן טענות שסווגו כסותרות, ובכך מפחיתה משמעותית את העומס החישובים בהשוואה לגישות של דגימה מחדש של התגובה המלאה או זיכוך איטרטיבי; (4) הערכה אמפירית על מדד ממוקד-הזיות המדגימה כי המסגרת המוצעת מפחיתה את שיעורי ההזיות מ-28% ל-9% תוך שמירה על השהיית התגובה בתוך גבולות פריסה מעשיים.
פרוטוקול
מחקר זה לא כלל משתתפים אנושיים, בעלי חיים, דגימות ביולוגיות או נתוני מטופלים. לפיכך, לא נדרשו אישור אתי מוסדי והסכמה מדעת.
סקירת מערך המחקר
מסגרת אימות דו-שלבית הוטמעה כדי לשפר את המהימנות העובדתית של פלטים ממודלי שפה גדולים (LLM). הפרוצדורה כללה יצירת תגובה, חילוץ טענות, בניית סימוכין מבודדים (Isolated Reference Construction), אימות המבוסס על הסקת מסקנות בשפה טבעית (NLI), קבלת החלטות סטטיסטית אדפטיבית, תיקון סלקטיבי והרכבת התגובה הסופית. המסגרת הוערכה באמצעות מערכי נתוני הבנצ'מרק TruthfulQA ו-FEVER.
זרימת עבודה כללית
שאילתת משתמש ← יצירת תגובה ראשונית ← חילוץ טענות ← יצירת מקורות רפרנס עצמאיים ← אימות NLI ← חישוב סף סטטיסטי ← תיקון טענות ← תגובה מאומתת סופית. זרימת העבודה הכוללת של מסגרת אימות הטענות האדפטיבית מוצגת באיור 1.
הכנת מערך הנתונים
מערך הנתונים TruthfulQA12, המכיל 817 שאלות מבוססות עובדות, הורד והוכן להערכה. מערך הנתונים FEVER13 כולל 185,445 טענות מתויגות המסומנות כנתמכות (Supported), מופרכות (Refuted) או כמי שאין לגביהן מידע מספיק (Not Enough Information); ההערכה השתמשה בנתוני הפיתוח המתויגים עם שדות הטענה, הראיה והתווית של האמת (ground-truth label). כל טענה נערכה אל מול הראיות שסופקו עבורה, בעוד שתווית FEVER המקורית נשמרה כתוצאת הייחוס לצורך אימות. מערך הנתונים FEVER, המכיל זוגות של טענה-ראיה לאימות עובדות, הושג ועבר עיבוד מקדים. שאלות וטענות קלט הומרו לפורמט טקסט סטנדרטי. רשומות כפולות ודגימות חסרות הוסרו לפני הניסויים. TruthfulQA חולק לתתי-קבוצות של תיקוף ובדיקה. כ-20% מהדגימות של TruthfulQA (164 שאלות) שימשו לכוונון סף, בעוד ש-653 השאלות הנותרות נשמרו להערכת ביצועים. עבור FEVER, הטענות שסופקו בבנצ'מרק שימשו ישירות כיחידות אימות ולא עברו את תהליך יצירת התגובה ומיצוי הטענות שיושם על TruthfulQA. מאפייני מערכי נתוני הבנצ'מרק ששימשו לפיתוח ולהערכת המסגרת מסוכמים בTable 1.
יצירת תגובה ראשונית
כל שאילתה הוגשה למודל השפה הבסיסי. התגובות הופקו באמצעות nucleus sampling עם temperature של 0.7 ו-top-p של 0.9. אורך הפלט המקסימלי הוגבל ל-256 tokens. התגובות שהופקו נשמרו ללא עיבוד נוסף או שינוי ידני. הטקסט שהופק הועבר ישירות לשלב חילוץ הטענות.
חילוץ טענות
כל תגובה שהופקה פוּרקה להצהרות עובדתיות הניתנות לאימות עצמאי. נעשה שימוש בהנחיית פירוק מובנית כדי לזהות טענות אטומיות. הצהרות מורכבות הופרדו ליחידות עובדתיות מינימליות. דעות סובייקטיביות, ביטויים סגנוניים ומילות קישור שיחתיות הוסרו. כל טענה שהופקה נשמרה כיחידת אימות עצמאית.
דוגמה:
תגובה מקורית:
"מרי קירי הייתה פיזיקאית וכימיהי בשורשיה פולנית, שביצעה מחקרים חלוציים בתחום הרדיואקטיביות."
טענות שהופקו: (1) מארי קירי נולדה בפולין; (2) מארי קירי הייתה פיזיקאית וכימיה; (3) מארי קירי ערכה מחקרים על רדיואקטיביות.
בניית רצף ייחוס מבודד:
עבור כל טענה שהופקה, נוצר סימוכין עובדתי עצמאי. מודל האימות קיבל אך ורק את שאילתת המשתמש המקורית. הגישה לתשובה המקורית שהופקה הוגבלה כדי למנוע הטיות אישור. נעשה שימוש בהנחיית שליפה עובדתית כדי לעודד תשובות תמציתיות ומבוססות ראיות. הסימוכינים שהופקו נשמרו לצורך אימות עוקב.
אימות הסקה בשפה טבעית
כל זוג של טענה-מקור הוגש למודל NLI שאומן מראש. מודל ה-NLI סיווג את הקשר כ: גרירה (Entailment), ניטרלי (Neutral), או סתירה (Contradiction). הסתברויות הביטחון עבור שלושת הסיווגים נרשמו. הוקצה ציון אימות חתום: ערך חיובי עבור גרירה, אפס עבור ניטרלי, או ערך שלילי עבור סתירה. כל ציוני האימות נאספו לצורך חישוב הסף.
חישוב סף סטטיסטי אדפטיבי
ביטחון האימות המופק על ידי מודל ה-NLI משתנה באופן משמעותי בין תגובות שונות, מכיוון ששאילתות שונות מייצרות מספרים שונים של טענות, רמות שונות של מורכבות סמנטית והתפלגויות ביטחון שונות. סף גלובלי קבוע מניח שכל התגובות עוקבות אחר פרופיל ביטחון דומה, דבר שרק לעיתים רחוקות נצפה בפועל. כדי להתאימה לשונות זו, המסגרת המוצעת מעריכה את גבול ההחלטה באופן פרטני עבור כל תגובה, תוך שימוש בממוצע ובסטיית התקן של ציוני האימות שלה. הממוצע משקף את רמת הביטחון הכללית של התגובה, בעוד שסטיית התקן לוכדת את פיזור ערכי הביטחון בין הטענות שהופקו. ניסוח אדפטיבי זה מאפשר לקריטריון הקבלה להסתגל לאי-ודאות הספציפית לתגובה, במקום להסתמך על סף יחיד עבור כל הקלטים.
חושבו הממוצע (µ) וסטיית התקן (σ) של כל ציוני האימות החתומים.
סף ההחלטה האדפטיבי חושב באופן הבא:
כאשר τ מייצג את הסף האדפטיבי, µ מציין את ציון האימות הממוצע, σ מציין את סטיית התקן, ו-k מייצג את פרמטר הרגישות.
פרמטר הרגישות אותחל ב-0.7. טענות שסווגו כגרירה (Entailment) עם ציונים הגבוהים או השווים ל-τ+ התקבלו. טענות שסווגו כסתירה (Contradiction) עם ציונים הנמוכים או השווים ל-τ- סומנו לתיקון. טענות עם ציונים בטווח (τ+, τ-) נשמרו כניטרליות.
תיקון סלקטיבי של תביעות
טענה הועברה לתיקון רק כאשר מודל ה-NLI סיווג את זוג הטענה-מקור כסתירה (Contradiction), כאשר ציון האימות החתום התואם לה עמד בקריטריון הסף האדפטיבי si ≤ -τ. לפיכך, החלטת התיקון נקבעה באופן משותף על ידי תוויות הסיווג של ה-NLI והסף הסטטיסטי הספציפי לתגובה. טענות שסווגו כגרירה (Entailment) עם si ≥ τ התקבלו, בעוד שטענות שנפלו בטווח -τ < si < τ נחשבו לניטרליות ונשמרו ללא תיקון. קריטריון משולב זה הבטיח שהתיקון יוחל רק על טענות המפגינות הן סתירה סמנטית והן ראיות אימות שליליות חזקות מספיק.
שחזור התגובה
טענות שהתקבלו ותוקנו סודרו ברצפן המקורי שלהן. גבולות המשפטים הוחזרו כדי לשמור על קריאות. התאמות דקדוקיות מינוריות בוצעו במידת הצורך. הפלט המורכב נשמר כתגובה המאומתת הסופית.
הערכת ביצועים
המסגרת הוערכה באמצעות ארבעה מדדים: (1) דיוק (Accuracy): שיעור התגובות שנותרו נכונות עובדתית לאחר האימות; (2) מדד F1 (F1 Score): הממוצע ההרמוני של הדיוק (precision) והרגישות (recall) בזיהוי הזיות; (3) השהיית תגובה (Response Latency): זמן העיבוד הכולל מהגשת השאילתה ועד ליצירת התגובה המאומתת; (4) שיעור הזיות (Hallucination Rate)
השהיה (Latency) דווחה כזמן הביצוע הממוצע על פני מדידות חוזרות. מכיוון שערכי השהיה פרטניים לכל הרצה לא נשמרו, לא חושבו סטיות תקן ומרווחי סמך.
הערכת נכונות ספציפית לבנצ'מרק
עבור TruthfulQA, התגובה המאומתת הסופית הושוותה מול רפרנסים של תשובות מאושרות על ידי בני אדם ומול רשימות של תשובות שגויות השייכות לבנצ'מרק. תגובה נספרה כנכונה כאשר הטענות העובדתיות שלה היו עקביות עם המידע בתשובה המקובלת ולא הכילה תוכן התואם לדפוסי תגובה שגויים שזוהו. עבור FEVER, כל טענה בפלט הסופי הוערכה אל מול הראיות המשויכות אליה והאנוטציה המקורית של FEVER; טענות נתמכות (Supported) נחשבו למאומתות עובדתית, בעוד שטענות שהופרכו (Refuted) נספרו כשגויות. מקרים של "אין מספיק מידע" (Not Enough Information) נשמרו כבלתי ניתנים להכרעה ולא נחשבו כראיה עובדתית חיובית. ההחלטות ברמת הטענה שהתקבלו רוכבו עבור כל בנצ'מרק כדי לחשב את הדיוק (Accuracy) ואת שיעור ההזיות (Hallucination Rate) שדווחו.
סביבה ניסיונית
המסגרת יושמה באמצעות Python 3.9. פעולות עיבוד הנתונים בוצעו באמצעות ספריות ניתוח מספריות וטבלאיות. מודל ה-NLI פעל במצב הסקת מסקנות (inference mode) ללא כוונון עדין (fine-tuning) נוסף. הניסויים בוצעו בתחנת עבודה המצוידת במעבד Intel Core i5, זיכרון RAM בנפח 16 GB ומערכת הפעלה של 64-bit. כל ההערכות בוצעו בהגדרת הסקת מסקנות של מעבר יחיד כדי להבטיח פעולה בעיכוב נמוך (low-latency). כל הניסויים נערכו באמצעות תצורות חומרה ותוכנה זהות כדי להבטיח הערכה עקבית בין מערכי הנתונים לשיטות הבסיס (baseline methods).
תוצאה צפויה
הפרוטוקול תוכנן להפיק החלטות אימות ברמת הטענה על ידי זיהוי טענות שייתכן שאינן נתמכות, והעברה סלקטיבית של טענות עם סתירה חריפה לצורך תיקון. הפלט הצפוי הוא תגובה מאומתת עם פחות אי-עקביות עובדתיות ומעמס עיבוד נוסף מוגבל, בכפוף לביצועים שנצפו במהלך ההערכה הניסויית.
תוצאות
יצירת תגובה ראשונית
מודל השפה הבסיסי ייצר תשובות שוטפות ורלוונטיות מבחינה הקשרית עבור שאלות משני מאגרי נתוני הבנצ'מרק. עם זאת, בדיקה מפורטת חשפה הצהרות לא נתמכות ולא מדויקות עובדתית במספר תשובות. במאגר הנתונים TruthfulQA, המערכת הבסיסית הראתה שיעור הזיות של 28%, בעוד ששיעור הזיות של 26% נצפה במאגר הנתונים FEVER. ממצאים אלו אישרו כי יצירת שפה ישירה לבדה אינה מספיקה עבור יישומים הדורשים אמינות עובדתית גבוהה, וביססו את מצב הבסיס שביחס אליו הושוו כל הליכי האימות הבאים.
חילוץ טענות
הליך חילוץ הטענות פירק בהצלחה את התגובות שנוצרו ליחידות עובדתיות שניתן לאמת באופן עצמאי. תגובות מ-TruthfulQA הכילו בממוצע 3.2 טענות אטומיות, בעוד שדגימות מ-FEVER consisted umumnya מטענה אחת בלבד. תהליך הפירוק בידל טענות עובדתיות מבלי להוסיף מידע נוסף, מה שאיפשר להעריך כל הצהרה בנפרד. תצפית זו תמכה בהשערה שאימות ברמת הטענה מספק דיוק רב יותר מאשר הערכה של תגובות שלמות כיחידה אחת.
בניית רפרנס עצמאי
הפניות עצמאיות הופקו עבור כל טענה שחולצה באמצעות תהליך הסקת מסקנות נפרד, שהותנה אך ורק בשאילתה המקורית. ההפניות שהופקו סיפקו תיאורים עובדתיים תמציתיים שהיו שונים מספיק מהתגובות המקוריות כדי לשמש כמקורות אימות עצמאיים. תהליך הפקת ההפניות הופרד מהתגובה הראשונית כדי למנוע התניה ישירה של ההפניה העובדתית על פלט קודם של המודל. הפרדה זו נועדה להפחית הטיות אישור פוטנציאליות ולספק בסיס מבוקר לאימות הבא ברמת הטענה; המחקר אינו מכמת באופן עצמאי את היקפו של אפקט זה. ההפקה המוצלחת של הפניות עצמאיות תמכה בעקרון התכנון המוצע של הפרדת שליפת הידע מיצירת התגובה.
אימות הסקה בשפה טבעית
שלב אימות ה-NLI סיווג ביעילות זוגות של טענה-מקור לקטגוריות של גרירה (entailment), סתירה וניטרליות. טענות סותרות קיבלו בעקביות ציוני אימות שליליים, בעוד שטענות נתמכות עובדתית קיבלו ציונים חיוביים. סיווגים ניטרליים הוקצו לטענות שעבורן לא היה זמין מספיק ראיות תומכות. התנהגות זו הוכיחה כי הסקה סמנטית יכולה לזהות באופן מהימן הצהרות עובדתיות לא נתמכות, וסיפקה את הראיות הנדרשות לתיקון ממוקד. בהשוואה לאסטרטגיה פשוטה של בדיקת עקביות, אימות NLI הפחית את שיעור ההזיות (hallucinations) מ-20% ל-15%, דבר המעיד על יכולת זיהוי משופרת.
סף סטטיסטי אדפטיבי
יישום של סף סטטיסטי אדפטיבי שיפר עוד יותר את ביצועי האימות על ידי התאמה דינמית של גבולות ההחלטה בהתבסס על התפלגות מדד הביטחון של כל תגובה. ניתוח רגישות של הסף הדגים כי הביצועים השתפרו ככל שפרמטר הסף עלה מ-0.3 ל-0.7. בערך רגישות של 0.7, המסגרת השיגה דיוק של 0.87 תוך הפחתת ההזיות ל-9% (איור 2). תוצאות ניתוח הרגישות המלאות עבור ערכי k שנבחנו מופיעות ב-טבלה נספחת 2. הגדלת הסף מעבר לנקודה זו הניבה שיפורים מינוריים בלבד בדיוק, בעוד שהיא הגבירה את השיהוי (latency). תצפיות אלו תמכו בהיפותזה שספים אדפטיביים יעילים יותר מגבולות החלטה קבועים לטיפול בהתפלגויות ביטחון משתנות בין תגובות שונות.
הסף האדפטיבי משקף גם את השונות של מדדי הביטחון בתוך כל תגובה. תגובות עם ציוני אימות עקביים מאוד מניבות סטיית תקן קטנה יותר, מה שמוביל לגבול החלטה סלקטיבי יותר. לעומת זאת, תגובות המכילות טענות עם ערכי ביטחון הטרוגניים מניבות סטיית תקן גדולה יותר, מה שמוביל לאזור קבלה רחב יותר ומפחית תיקונים מיותרים עבור טענות לא ודאיות. אף על פי שהתנהגות אדפטיבית זו אינה יכולה לבטל כל תוצאה חיובית שגויה (false positive) או שלילית שגויה (false negative), היא מאפשרת לגבול ההחלטה להגיב למאפייני האי-ודאות של כל תגובה במקום להחיל קריטריון אחיד על כל הקלטים.
תיקון סלקטיבי של תביעות והרכבת תגובה
רק טענות שזוהו כסותרות הוגשו לתיקון, בעוד שטענות נתמכות וניטרליות נשמרו ללא שינוי. אסטרטגיית תיקון סלקטיבית זו צמצמה רגנרציה מיותרת ושימרה את המבנה המקורי של התגובה. בעקבות התיקון ושחזור התגובה, שיעור ההזיות ב-TruthfulQA ירד מ-28% ל-9%, מה שמהווה הפחתה יחסית של 67.9%. שיפורים דומים נצפו ב-FEVER, שם שיעור ההזיות ירד מ-26% ל-10%. השוואות של הדיוק ושיעור ההזיות בין התצורות שנבחנו מוצגות ב- איורים 3 ו-4בהתאמה.
הערכת ביצועים
הערכה השוואתית הראתה כי המסגרת המוצעת השיגה את הביצועים הכוללים הגבוהים ביותר מבין כל השיטות שנבדקו. ב-TruthfulQA, המסגרת השיגה דיוק של 0.87 וציון F1 של 0.85, ובכך עלתה בביצועיה הן על אימות מבוסס סף קבוע והן על גישות מבוססות עקביות עצמית (טבלה 2, איורים 3 ו-4). ב-FEVER, המסגרת השיגה דיוק של 0.89 וציון F1 של 0.87 (טבלה 3, איורים 3 ו-4). התרומה ההדרגתית של רכיבי המסגרת נבחנת באמצעות ניתוח הבלבציה (ablation analysis) המוצג בטבלה 4. שיפורים אלו אישרו כי שילוב של אימות ברמת הטענה עם קבלת החלטות סטטיסטית אדפטיבית שיפר את המהימנות העובדתית על פני מספר מאגרי נתונים. דיוק זיהוי ההזיות (hallucination-detection) עבור SelfCheckGPT, FActScore והמסגרת המוצעת מושווה באיור 5.
ניתוח זמן השהיה
צינור האימות המלא שמר על תקורה חישובית נמוכה. זמן התגובה הממוצע עלה מ-820 ms עבור מודל הבסיס ל-980 ms עבור המסגרת המלאה, מה שמהווה עלייה מתונה בלבד בזמן העיבוד (Table 5). יצירת התגובה הייתה אחראית למרבית השהיית הסך הכל, בעוד ששלבי האימות והתיקון תרמו תקורה נוספת מועטה יחסית. פירוט זמן העיבוד ברמת השלב מופיע ב-Supplementary Table 3. בהשוואה למערכות אימות מבוססות אחזור, שדרשו כ-1600 ms לכל שאילתה, המסגרת המוצעת השיגה השהיה נמוכה משמעותית תוך שמירה על דיוק עובדתי דומה. ממצאים אלו תמכו בהשערה שניתן להשיג הפחתה בהזיות ללא פגיעה בישימות בזמן אמת.
מאחר שיצירת התגובה נסמכת על מודל שפה מבוסס ענן, מדידות השהיה (latency) בודדות נתונות לתנודות עקב תנאי רשת ותזמון בצד השרת, ולא לזמן ביצוע דטרמיניסטי. לכן, נעשה שימוש במדידות חוזרות כדי לקבל ערכי ממוצע מייצגים, ובכך הופחת השפעתה של שונות זמנית בביצוע תוך שימור ההשוואות היחסיות בין השיטות שנבחנו. ערכי השהיה מדווחים כזמני ביצוע ממוצעים על פני הרצות ניסיוניות חוזרות. ערכי השהיה בודדים לכל הרצה לא נשמרו; לפיכך, לא היה ניתן לבצע חישוב post hoc של שונות, רווחי סמך או מדדי שונות אחרים. בהתאם לכך, ערכי השהיה וההשוואה בין מהירות לדיוק ב-איור 6 מוצגים כהערכות נקודתיות ללא פסי שגיאה.
לסיכום, התוצאות הדגימו כי שילוב של חילוץ טענות, יצירת מקורות עצמאית, אימות באמצעות הסקת מסקנות בשפה טבעית (Natural Language Inference), סף סטטיסטי אדפטיבי ותיקון סלקטיבי שיפרו את המהימנות העובדתית של פלטי מודלי שפה גדולים. המסגרת הפחיתה את שיעור ההזיות מ-28% ל-9% ב-TruthfulQA ומ-26% ל-10% ב-FEVER. התוצאות מעידות כי אימות אדפטיבי ברמת הטענה שיפר את מדדי המהימנות העובדתית תוך הגבלת השהיית התגובה הנוספת תחת התנאים שנבחנו
זמינות נתונים
מערכי הנתונים שנותחו במחקר זה זמינים לציבור דרך המקורות הרשמיים שלהם. כתב היד מספק את המידע על מערכי הנתונים, את תצורות המודלים ואת הפרטים המתודולוגיים הדרושים לתמיכה בשחזור של הניתוחים המתוארים. נתוני הערכה מעובדים ותוצאות משלימות שהופקו במהלך המחקר מופיעים בקבצים המשלימים.
איור 1: זרימת העבודה של מסגרת אימות הטענות האדפטיבית. תגובה ראשונית שנוצרה על ידי LLM מפורקת לטענות עובדתיות, ולאחריה ביצוע יצירת מקורות עצמאית, אימות מבוסס NLI, ניקוד ביטחון וסף סטטיסטי. טענות העומדות בקריטריון הקבלה נשמרות, בעוד שטענות העומדות בקריטריון התיקון עוברות תיקון ממוקד לפני הרכבת התגובה הסופית. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.
איור 2: השפעת פרמטר הרגישות (k) על דיוק האימות. דיוק ב-TruthfulQA וב-FEVER עבור ערכי k של 0.3, 0.5, 0.7 ו-1.0. הדיוק עלה עם עליית k בשני מאגרי הנתונים, כאשר k = 0.7 נבחר להערכה הראשית. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.
איור 3: השוואת דיוק בין שיטות אימות שונות. דיוק של ה-LLM בשיטת הבסיס, אימות מבוסס NLI ומסגרת האימות האדפטיבית המוצעת על TruthfulQA ו-FEVER. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.
איור 4: השוואת שיעורי הזיות בין שיטות אימות שונות. שיעורי הזיות עבור ה-LLM בסיסי (baseline), אימות מבוסס NLI, והמסגרת המוצעת ב-TruthfulQA וב-FEVER. המסגרת המוצעת הפחיתה את השיעור מ-28% ל-9% ב-TruthfulQA ומ-26% ל-10% ב-FEVER. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.
איור 5: דיוק זיהוי הזיות בשיטות שונות. דיוק הזיהוי של SelfCheckGPT, FActScore והמסגרת המוצעת במאגרי הנתונים TruthfulQA ו-FEVER. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.
איור 6: הפשרה בין זמן התגובה לדיוק בשיטות אימות שונות. הקשר בין השהיית התגובה לבין הדיוק עבור השיטות שנבחנו ב-TruthfulQA וב-FEVER, המדגים את הפשרת הביצועים-שהייה הקשורה למסגרת המוצעת ולגישות ההשוואה. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.
| סט נתונים | דגימות שנעשה בהן שימוש | תחומים | אורך תגובה ממוצע (tokens) | שיעור הזיות של מודל שפה גדול (LLM) בנקודת הייחוס |
| TruthfulQA | 817 | 38 (מדע, היסטוריה, משפט וכו') | 42 | 28% |
| FEVER | 1,000 | טענות עובדתיות כלליות | 18 | 26% |
טבלה 1: מאפייני מערך הנתונים הייחוס. סיכום של מערכי הנתונים TruthfulQA ו-FEVER ששימשו לפיתוח ולהערכה של המסגרת, כולל מספר הדגימות, דיוק הבסיס, שיעור ההזיות בבסיס ומספר הטענות הממוצע לדגימה.
| שיטה | דיוק | דיוק | הסמקה (Recall) | מדד F1 | % הזיות |
| מודל שפה גדול (LLM) בסיסי (הסקה בודדת) | 0.72 | 0.71 | 0.69 | 0.7 | 28% |
| אימות מבוסס NLI (סף קבוע) | 0.82 | 0.815 | 0.785 | 0.8 | 15% |
| SelfCheckGPT | 0.76 | 0.755 | 0.725 | 0.74 | 22% |
| FActScore | 0.85 | 0.8425 | 0.8175 | 0.83 | 11% |
| מסגרת מוצעת (סף סטטיסטי) | 0.87 | 0.86 | 0.84 | 0.85 | 9% |
טבלה 2: השוואת ביצועים ב-TruthfulQA. דיוק (Accuracy), רגישות (Precision), כושר זיהוי (Recall), מדד F1 ושיעור הזיות עבור ה-LLM הבסיסי, SelfCheckGPT, FActScore, אימות NLI והמסגרת המוצעת.
| שיטה | דיוק (Accuracy) | דיוק (Precision) | רגישות (Recall) | מדד F1 | % הזיות (Hallucination) |
| SelfCheckGPT | 0.78 | — | — | — | — |
| FActScore | 0.87 | — | — | — | — |
| Baseline LLM† | 0.74 | 0.73 | 0.71 | 0.72 | 26% |
| אימות מבוסס NLI (סף קבוע) | 0.83 | 0.8225 | 0.7975 | 0.81 | 14% |
| המסגרת המוצעת (סף סטטיסטי) | 0.89 | 0.8775 | 0.8625 | 0.87 | 10% |
טבלה 3: השוואת ביצועים ב-FEVER. דיוק (Accuracy), רמת דיוק (precision), רגישות (recall), מדד F1 ושיעור הזיות עבור מודל ה-LLM הבסיסי, SelfCheckGPT, FActScore, אימות NLI והמסגרת המוצעת.
| תצורה | דיוק | דיוק | הסליקה (Recall) | F1 (נוסף) | שיעור הזיות |
| מודל שפה בסיסי | 0.72 | 0.71 | 0.69 | 0.7 | 28% |
| קו בסיס + בדיקה משנית (ללא NLI) | 0.78 | 0.7725 | 0.7475 | 0.76* | 20% |
| קו בסיס + אימות מבוסס NLI (סף קבוע) | 0.82 | 0.815 | 0.785 | 0.8 | 15% |
| קו הבסיס + מודול לקבלת החלטות סטטיסטיות (מלא) | 0.87 | 0.86 | 0.84 | 0.85 | 9% |
טבלה 4: ניתוח אבלציה (Ablation analysis) של רכיבי התשתית. שינויים בדיוק, במדד F1 ובשיעור ההזיות בעקבות שילוב רצפי של אימות משני, אימות NLI וסף סטטיסטי אדפטיבי.
| שיטה | זמן תגובה ממוצע (ms) |
| מודל שפה גדול (LLM) בסיסי (יצירה בודדת) | 820 |
| מנגנון אימות עצמי | 910 |
| מסגרת סטטיסטית מוצעת | 980 |
| אימות מוגבר באחזור (RAG) | 1600 |
טבלה 5: השהיית תגובה בין שיטות אימות שונות. זמן תגובה ממוצע והשהיה נוספת ביחס ל-LLM הבסיס עבור Self-Validation, המסגרת המוצעת, ואימות מוגבר באמצעות אחזור (retrieval-augmented verification).
טבלה נלווית 1: השוואה בין גישות לאימות הזיות. השוואה בין המסגרת המוצעת לשיטות קיימות במונחים של שליפה חיצונית, אימות ברמת הטענה, סף אדפטיבי ועיבוד יעיל מבחינת השהיה.אנא לחצו כאן להורדת קובץ זה.
טבלה נלווית 2: ניתוח רגישות של פרמטר הסף (k). דיוק (Accuracy), דיוק חזרתי (precision), רגישות (recall), מדד F1 ושיעור הזיות (hallucination rate) התקבלו בערכי פרמטר סף של 0.3, 0.5, 0.7 ו-1.0. ערך של k = 0.7 שימש להערכה הראשית.אנא לחצו כאן להורדת קובץ זה.
טבלה נלווית 3: זמן עיבוד בשלבים השונים של צינור האימות. זמן ביצוע ממוצע ואחוז התרומה של יצירת תגובה ראשונית, פירוק טענות, יצירת מקורות ייחוס, הסקת NLI ותיקון סלקטיבי לזמן התגובה הכולל.אנא לחץ כאן להורדת קובץ זה.
טבלה נלווית 4: התפלגות השגיאות שזוהו במהלך האימות. מספר ואחוז השליליים השגויים, החיוביים השגויים ושגיאות התיקון, יחד עם קטגוריות ההזיות העיקריות הקשורות לכל סוג שגיאה.אנא לחץ כאן להורדת קובץ זה.
דיון
המסגרת המוצעת שיפרה את ביצועי האימות העובדתי תוך הימנעות מדגימה חוזרת ושליפה חיצונית. ב-TruthfulQA, שיעור ההזיות ירד מ-28% עבור ה-LLM הבסיסי ל-9% עם המסגרת המלאה, בעוד שהדיוק עלה מ-0.72 ל-0.87. ב-FEVER, שיעור ההזיות ירד מ-26% ל-10%, והדיוק עלה מ-0.74 ל-0.89. יש לפרש השוואות אלו במסגרת ההגדרות הניסיוניות והמימושים ששימשו במחקר זה, ולא כראיה לעליונות אוניברסלית בכל תנאי פריסה. המסגרת מבצעת אימות ברמת הטענה לאחר היצירה באמצעות ייחוס עובדתי מבודד ותיקון סלקטיבי, ובכך מספקת פשרה בין ביסוס על ידע חיצוני, הסקה חוזרת ואימות קל לאחר היצירה. מחוללי התגובה והייחוס משתמשים באותו מודל GPT-3.5 Turbo בבסיסם, אך פועלים תחת יעדי הנחיה (prompting) שונים והקשרי ביצוע מבודדים. מחולל הייחוס מקבל רק את השאילתה המקורית ואינו ניגש לתגובה שנוצרה קודם לכן. לפיכך, שני תהליכי היצירה הם בלתי תלויים מבחינה פרוצדורלית ולא סטטיסטית, ועשויים לשמר הטיות עובדתיות מתואמות שמקורן במודל האימון המוקדם המשותף שלהם.
השוואה לגישות קיימות
קו הבסיס של NLI עם סף קבוע מחיל סף ביטחון של 0.7 בהתבסס על עבודה קודמת בנושא בדיקת עובדות מבוססת NLI14. SelfCheckGPT15 מייצג גישה לזיהוי הזיות ללא משאבים (zero-resource), המייצרת מספר דגימות סטוכסטיות ומשתמשת ב-NLI כדי לזהות טענות שאינן עקביות. FActScore16 מפרק תגובות שנוצרו לעובדות אטומיות ומאמת אותן מול מקורות שהשולפו ממקור ידע מבוסס ויקיפדיה. בניגוד לכך, המסגרת המוצעת מבצעת אימות ברמת הטענה ללא יצירה חוזרת של התגובה המלאה או שליפה חיצונית.
DoLA היא גישה קלה ומשלימה המשפרת יצירה עובדתית על ידי השוואת הסתברויות טוקנים (tokens) הנגזרות משכבות טרנספורמר שונות במהלך הסקת המסקנות (inference). השוואה ניסיונית ישירה לא נכללה מכיוון ש-DoLA משנה את תהליך יצירת הטוקנים, בעוד שהמסגרה המוצעת מבצעת אימות ברמת הטענה לאחר היצירה ותיקון סלקטיבי. יישום של DoLA ידרוש גישה לייצוגים פנימיים של שכבות הטרנספורמר, אשר אינם חשופים ב-API של GPT-3.5 Turbo ששימש במחקר זה. ההיעדרות של שליפה חיצונית מפחיתה את התלות בשליפה ובדרישות העיבוד הנלוות, אך גם מגבילה את האימות לידע הזמין עבור המודלים הבסיסיים. כתוצאה מכך, בדיו-ניסיונות (fabrications) מלאים או טענות התמחותיות שאינן נכללות בכיסוי הידע של המאמת נותרים קשים לתיקון.
סף סטטיסטי אדפטיבי ותיקון סלקטיבי
סף הסתגלות נגזר מהתפלגות ציוני הביטחון האמפיריים ומבקר את האיזון בין הרגישות (recall) לזיהוי הזיות לבין הדיוק (precision) של התיקון. ניתוח רגישות העריך ערכים של 0.3, 0.5, 0.7 ו-1.0 על קבוצת תיקוף נפרדת של TruthfulQA. ערך של k = 0.7 סיפק את האיזון המאוזן ביותר בין הפחתת הזיות לבין יעילות חישובית עבור מדדי הביצועים שהוערכו.
הסף האופטימלי עשוי להשתנות בין תחומי יישום שונים, מכיוון שההתפלגות של ציוני הביטחון ב-NLI תלויה באופי התוכן הנוצר. לכן, עבור יישום בתחום חדש, ניתן להשתמש במערך תיקוף המשקף את היישום המיועד כדי להעריך ערכים מועמדים ולבחור ערך המאזן בין ביצועי האימות העובדתי, קצב התיקון וזמן השהיית העיבוד. מכיוון שאופטימיזציה של הסף כוללת פרמטר סקאלרי יחיד ולא אימון מחדש של המודלים, ההתאמה אינה דורשת שינוי של המודלים הבסיסיים.
תיקון סלקטיבי מגביל את הרגנרציה לטענות המסווגות כסתירה (Contradiction) ואשר עומדות בקריטריון סף הסטטיסטי. דבר זה מונע עיבוד חוזר של טענות שאינן עומדות בקריטריון התיקון, ומבדיל את המסגרת הזו מגישות של דגימה מחדש של תגובה מלאה (full-response resampling) ומגישות של זיקוק איטרטיבי.
פשרה בין השהיה לביצועים
המסגרת המוצעת השיגה זמן תגובה ממוצע של 980 ms בהשוואה ל-820 ms עבור ה-LLM הבסיסי ו-1600 ms עבור אימות מוגבר באחזור (retrieval-augmented verification). ניתוח ברמת השלב הראה כי יצירת התגובה הראשונית היוותה 83.7% מסך השהייה, בעוד שהסקת NLI תרמה 3.9% ותיקון סלקטיבי תרם פחות מ-1% בממוצע. ערכי השהייה מדווחים כזמני ביצוע ממוצעים לאורך הרצות ניסיוניות חוזרות. ערכי השהייה בודדים לכל הרצה לא נשמרו; לכן, חישוב post hoc של שונות, רווחי סמך או מדדי שונות אחרים לא היה אפשרי. בהתאם לכך, ערכי השהייה והשוואת המהירות–דיוק מוצגים כהערכות נקודתיות ללא פסי שגיאה. ערכי השהייה המדווחים משקפים את הסביבה הניסיונית ששימשה במחקר זה ועשויים להשתנות תחת תנאי פריסה שונים, במיוחד כאשר נעשה שימוש ב-APIs של מודלי שפה מבוססי ענן. שהיית רשת, עומס שרת וזמינות שירות יכולים להשפיע באופן עצמאי על זמני תגובה מוחלטים, ללא קשר למסגרת האימות המוצעת.
ניתוח שגיאות
טענות שטופלו באופן שגוי במערך הבדיקה של TruthfulQA סווגו כביטולים שגויים (false negatives), זיהויים שגויים (false positives) או שגיאות תיקון. התהלוכיות והקטגוריות העיקריות של שגיאות אלו מסוכמות ב- טבלה משלימה 4שליליות שגויות היוו 52.6% מכלל השגיאות והיו קשורות בעיקר להזיות זמניות ולהחלפות עובדתיות דקות. שגיאות זמניות עשויות להישמט כאשר המאמת חולק את נקודת הסיום של האימון (training cutoff) של מודל הבסיס, בעוד שהחלפות עובדתיות דקות עשויות לקבל ציוני NLI בטווח הנייטרלי (Neutral) במקום בטווח הסתירה (Contradiction).
תוצאות חיוביות שגויות היוו 35.9% מהשגיאות והתרחשו בעיקר עבור עובדות שאינן נפוצות, ספציפיות מאוד, או כאלה שנקבעו לאחרונה ומחוץ לכיסוי הידע בעל הביטחון הגבוה של מודל האימות. מקרים אלו הניבו ציוני גרירה (entailment) חלשים של NLI למרות שהטענות היו נכונות עובדתית. שגיאות תיקון היוו 11.5% מכלל השגיאות והתרחשו כאשר זוהו המצאות מוחלטות, אך תהליך התיקון ייצר הצהרה לא מדויקת אחרת בשל כיסוי ידע לא מספיק של המאמת.
ממצאים אלו מעידים כי שגיאות שיריות נובעות הן מאפליrative NLI והן מכיסוי הידע של המאמת, ובמיוחד עבור אי-דיוקים זמניים, החלפות עובדתיות דקות, עובדות לא נפוצות ובדיויים מוחלטים.
ניתוח סטטיסטי
שיעור ההזיות ירד מ-15% באימות NLI עם סף קבוע ל-9% עם המסגרת הסטטיסטית המוצעת, בעוד שהמסגרת המלאה הפחיתה את השיעור מ-28% עבור קו הבסיס ל-9% ב-TruthfulQA. הבדלים אלה מדווחים כשינויים תיאוריים בביצועים, ולא נטענת מובהקות סטטיסטית פורמלית מכיוון שההערכה הנוכחית אינה כוללת את תוצאות המבחן הסטטיסטי ואת הערכות גודל האפקט הנדרשות לתמיכה במסקנה כזו17,18.
מגבלות
ביצועי האימות של המסגרת מוגבלים על ידי היכולת של מודל ה-NLI הבסיסי. DeBERTa-v3-large עשוי להתקשות בהשוואות מספריות מדויקות, בניתוח זמנים ובטענות הדורשות הסקה רב-שלבית (multi-hop inference) על פני עובדות מרובות. מגבלות של מודל ה-NLI נקשרו גם לשלילות שגויות (false negatives) הכוללות החלפות עובדתיות דקות, וחולשות שיטתיות במודל ה-NLI עלולות להשפיע על החלטות האימות.
מחוללי התגובה והסימוכין משתמשים באותו מודל GPT-3.5 Turbo בבסיסם. למרות שמטרות הנחיה שונות והקשרי ביצוע מבודדים מספקים עצמאות פרוצדורלית, שני התהליכים אינם בלתי תלויים מבחינה סטטיסטית ועשויים לשמר הטיות עובדתיות מתואמות מהמודל המאומן מראש המשותף להם.
הצימוד בין המעריך למאמת מהווה מגבלה נוספת. הערכת ההזיות הסופית משתמשת באותו מודל NLI שמאמת את הטענות בתוך תהליך העבודה המוצע. הדבר עלול להוביל להסכמה בין המאמת למעריך ולהשפיע על השיפור הנמדד. לפיכך, יש לפרש את התוצאות המדווחות כביצועים תחת הליך ההערכה המוגדר המבוסס על NLI, ולא כראיה עצמאית לחלוטין להפחתת הזיות. הערכה אנושית עצמאית או מודל הערכה שפותח בנפרד יספקו תיקוף חזק יותר.
שלב פירוק הטענות הוערך אך ורק בשל תרומתו לאימות מקצה לקצה, ולא נבחן באופן עצמאי אל מול גבולות טענות שסומנו על ידי בני אדם. כתוצאה מכך, המחקר אינו מספק הערכה כמותית נפרדת של דיוק הפירוק או של התפשטות השגיאות האינדיבידואלית שלו לשלבי האימות הבאים.
ההערכה הוגבלה למסדי הנתונים TruthfulQA ו-FEVER ולתוכן בשפה האנגלית. לפיכך, הביצועים שנצפו אינם מבססים הכללה לתחומי דעת מיוחדים, הגדרות רב-לשוניות או יצירת תוכן ארוך. ייתכן כי הערך האופטימלי של k ישתנה בין תחומי יישום שונים, מכיוון שהתפלגויות ציוני הביטחון של NLI תלויות באופי התוכן הנוצר. לפיכך, נדרשים כיול ספציפי לתחום והערכה רחבה יותר לפני הרחבת הממצאים מעבר לתנאים שנבחנו במחקר זה.
לבסוף, מדידות השהיה (latency) הן ספציפיות לתצורה הניסיונית ועשויות להשתנות בין סביבות הרצה שונות. מאחר שמדידות השהיה 개נידיבידיואליות לכל הרצה לא נשמרו, לא ניתן היה להעריך את השונות ואת רווחי הסמך בדיעבד. הערכות עתידיות צריכות לשמור מדידות אינדיבידואליות ולכלול אפיון סטטיסטי רחב יותר של השהיה בין סביבות הרצה שונות.
עבודות עתידיות
מחקרים עתידיים צריכים להתייחס למגבלות העיקריות שזוהו במסגרת הנוכחית. נדרש כיול סף מודע-דומיין (domain-aware), מכיוון שהערך הקבוע (k = 0.7) שנבחר באמצעות TruthfulQA עשוי שלא להיות אופטימלי עבור דומיינים ייעודיים עם התפלגויות שונות של מדדי ביטחון (confidence-score) ב-NLI. ניתן להשתמש בנתוני תיקוף ספציפיים לדומיין כדי לכייל את הסף ובמידת הצורך להחיל קנסות אסימטריים על שגיאות של ביטול שגוי (false-negative) וזיהוי שגוי (false-positive)19.
פירוק טענות משופר צריך לכלול הערכה עצמאית באמצעות גבולות טענות שסומנו על ידי בני אדם, כדי לכמת את השלמות, הדיוק וההשפעה של השגחת שגיאות במצב של התפשטות לשלבים הבאים. מודלים של פירוק שעברו כיוון עדין (Fine-tuning) ומדדי ביטחון בפירוק עשויים להפחית עוד יותר שגיאות הנובעות מטענות שסומנּו באופן לקוי. הערכות השוואתיות עתידיות צריכות לכלול גם גישות קלילות המבוססות על פענוח, כגון DoLA, תחת פרוטוקול ניסיוני מאוחד.
העשרה של שליפה קלה עשויה לסייע בטיפול בהמצאות מוחלטות, אשר נותרות קשות לזיהוי כאשר למאמת חסר ידע עובדתי מספיק. מנגנון נסיגה לשליפה ממוקדת עבור טענות סותרות בעלות רמת ביטחון נמוכה עשוי לספק תמיכה עובדתית חיצונית מבלי להצריך שליפה עבור כל טענה20.
נדרשת גם הרחבה רב-לשונית, מכיוון שההערכה הנוכחית מוגבלת למדדי ביצוע (benchmarks) בשפה האנגלית3. מחקרים עתידיים צריכים להעריך מודלי NLI רב-לשוניים, וכן הנחיות (prompts) לפירוק ותיקון טענות ספציפיות לשפה, על גבי מדדי ביצוע רב-לשוניים להזיות (hallucinations).
סיכום
מחקר זה הציג מסגרת אימות טענות דו-שלבית המשלבת פירוק טענות לאטומיות, יצירת ייחוסים עובדתיים באמצעות הנחיה נפרדת, אימות NLI, סף סטטיסטי אדפטיבי ותיקון סלקטיבי. בבדיקה על TruthfulQA, המסגרת הפחיתה את שיעור ההזיות מ-28% ל-9%, בעוד שזמן השהייה הממוצע עלה ב-160 ms ביחס למודל ה-LLM הבסיסי. בבדיקה על FEVER, שיעור ההזיות ירד מ-26% ל-10%.
המסגרת המוצעת השיגה ביצועים תחרותיים באימות עובדות ללא דגימה חוזרת של תגובה מלאה או שליפה חיצונית. סף סתגלני ותיקון סלקטיבי תרמו לביצועים שנצפו תוך הגבלת עומס העיבוד הנוסף. עם זאת, הממצאים מוגבלים למדדי הביצועים ולתנאי הניסוי שנבחנו, והם נותרים תלויים במודל ה-NLI, בזיקה בין המעריך למאמת, באי-ודאות בפירוק הטענות, בכיול סף ספציפי לתחום ובשונות בזמני השהיה. לפיכך, נדרשת הערכה רחבה יותר, עצמאית, ספציפית לתחום ורב-לשונית לפני הרחבת הממצאים למסגרות פריסה נרחבות יותר.
גילויים
המחברים מצהירים כי אין להם ניגודי עניינים.
תודות
המחברים מבקשים להביע את תודתם הכנה למוסדם על אספקת הסביבה האקדמית והמשאבים החישובים שהיו נחוצים לביצוע מחקר זה. המחברים מודים גם למפתחים ולמחזיקים של מערכי נתוני הייחוס הזמינים לציבור ששימשו במחקר זה, ואשר אפשרו הערכה מקיפה של המסגרה המוצעת. תודה מ 특별ת מופנית לעמיתים ולבודקים על משובם הבונה, אשר סייע בשיפור האיכות והבהירות של עבודה זו. כמו כן, המחברים מודים לקהילת המחקר של הקוד הפתוח על אספקת ספריות התוכנה והכלים שהקלש על הניסויים, ניתוח הנתונים והצגת התוצאות. מאמציהם המתמשכים קידמו באופן משמעותי את המחקר בתחום עיבוד השפה הטבעית ובינה מלאכותית מהימנה. המחברים מצהירים כי לא התקבל תמיכה כספית חיצונית או מימון למחקר זה.
חומרים
| שם | חברה | מספר קטלוג | הערות |
|---|---|---|---|
| ערכת נתוני הבנצ'מרק FEVER | משימה משותפת FEVER (Thorne et al.) | https://fever.ai/dataset/fever.html | מאגר נתונים לאימות עובדות הזמין לציבור, המכיל זוגות של טענה-ראיה המשמשים להערכה |
| GPT-3.5 Turbo (מודל שפה גדול B10+2:12:12 | OpenAI | מזהה מודל: gpt-3.5-turbo; https://developers.openai.com/api/docs/models/gpt-3.5-turbo | שמש גם כמחולל התגובות וגם כמחולל הייחוס העצמאי, הגישה אליו התבצעה באמצעות ה-OpenAI API |
| NumPy | מפתחי NumPy (קוד פתוח) | https://numpy.org/ | ספריית חישוב נומרי המשמשת לחישובים סטטיסטיים, כולל ממוצע וסטיית תקן של ציוני אימות NLI |
| Openai (ספריית לקוח Python API) | OpenAI | https://github.com/openai/openai-python | ספריית לקוח ב-Python המשמשת להגשת פרומפטים ולקבלת השלמות מ-GPT-3.5 Turbo |
| פנדות | צוות הפיתוח של pandas (קוד פתוח) | https://pandas.pydata.org/ | ספריית ניתוח נתונים טבלאית המשמשת לעיבוד מקדים של מערכי נתונים ולטיפול בתוצאות |
| מודל סיווג מאומן מראש להסקה בשפה טבעית (NLI) | מרכז המודלים של Hugging Face (מודל שנבנה על ארכיטקטורת DeBERTa-v3-large של Microsoft) | MoritzLaurer/DeBERTa-v3-large-mnli-fever-anli-ling-wanli | נעשה בו שימוש במצב הסקה (inference mode), ללא כיוונון עדין (fine-tuning), כדי לסווג כל זוג של טענה-מקור כאסמכתא (entailment), ניטרלי (neutral) או סתירה (contradiction) |
| פייתון | Python Software Foundation | גרסה 3.9; https://www.python.org/downloads/release/python-390/ | שפת התכנות המרכזית ששימשה ליישום מסגרת האימות |
| SciPy | מפתחי SciPy (קוד פתוח) | https://scipy.org/ | ספריית מחשוב מדעי המשמשת לתמיכה בניתוח סטטיסטי של תוצאות ניסיוניות |
| Transformers (ספריית Hugging Face Transformers) | Hugging Face | https://github.com/huggingface/transformers | ספריית Python המשמשת לטעינה ולהרצה של מודל NLI שאומן מראש |
| סט המערך של מדד TruthfulQA | פורסם במקור על ידי Lin, Hilton, and Evans | https://github.com/sylinrl/TruthfulQA | מדד ייחוס (benchmark) הזמין לציבור הכולל 817 שאלות מונחות-עובדות המשמשות לכוונון סף ולהערכה |
| מחשב תחנה (Workstation) | לא צוין בכתב היד (נא לאשר יצרן/דגם) | מעבד Intel Core i5; זיכרון RAM בנפח 16 GB; מערכת הפעלה של 64 סיביות | חומרה ששימשה לביצוע כל הניסויים תחת תצורות זהות |
| הערה: כל כתובות ה-URL המופיעות לעיל נבדקו ואושרו כפעילות נכון לתאריך של טבלה זו. |
מקורות
- Dai Z, et al. Promptagator: Few-shot dense retrieval from 8 examples [conference presentation]. Presented at: The Eleventh International Conference on Learning Representations; 2022. [https://iclr.cc/virtual/2023/poster/10937]
- Achiam J, et al. GPT-4 technical report. arXiv. 2023;arXiv:2303.08774. [https://arxiv.org/abs/2303.08774]
- Ji Z, et al. Survey of hallucination in natural language generation. ACM Comput Surv. 2023;55(12):1-38.
- Bender EM, McMillan-Major A, Shmitchell S, Gebru T. On the dangers of stochastic parrots: Can language models be too big? [conference presentation]. Presented at: 2021 ACM Conference on Fairness, Accountability, and Transparency; 2021. [https://dl.acm.org/doi/10.1145/3442188.3445922]
- Devlin J, et al. BERT: Pre-training of deep bidirectional transformers for language understanding [conference presentation]. Presented at: 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies; 2019. [https://arxiv.org/abs/1810.04805]
- Maynez J, Narayan S, Bohnet B, McDonald R. On faithfulness and factuality in abstractive summarization [conference presentation]. Presented at: 58th Annual Meeting of the Association for Computational Linguistics; 2020. [https://arxiv.org/abs/2005.00661]
- Brown T, et al. Language models are few-shot learners. Adv Neural Inf Process Syst. 2020;33:1877-901.
- Guu K, et al. Retrieval augmented language model pre-training [conference presentation]. Presented at: International Conference on Machine Learning; 2020. [https://arxiv.org/abs/2002.08909]
- Izacard G, Grave E. Leveraging passage retrieval with generative models for open domain question answering [conference presentation]. Presented at: 16th Conference of the European Chapter of the Association for Computational Linguistics; 2021. [https://arxiv.org/abs/2007.01282]
- Bowman SR, Angeli G, Potts C, Manning CD. A large annotated corpus for learning natural language inference [conference presentation]. Presented at: 2015 Conference on Empirical Methods in Natural Language Processing; 2015. [https://arxiv.org/abs/1508.05326]
- Platt J. Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods. Adv Large Margin Classif. 1999;10(3):61-74.
- Lin S, Hilton J, Evans O. Truthfulqa: Measuring how models mimic human falsehoods. InProceedings of the 60th annual meeting of the association for computational linguistics (volume 1: long papers) 2022 May (pp. 3214-3252).
- Thorne J, Vlachos A, Christodoulopoulos C, Mittal A. FEVER: A large-scale dataset for fact extraction and verification [conference presentation]. Presented at: 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies; 2018. [https://aclanthology.org/N18-1074/]
- Williams A, Nangia N, Bowman SR. A broad-coverage challenge corpus for sentence understanding through inference. arXiv. 2017;arXiv:1704.05426.
- Manakul P, Liusie A, Gales M. SelfCheckGPT: Zero-resource black-box hallucination detection for generative large language models [conference presentation]. Presented at: 2023 Conference on Empirical Methods in Natural Language Processing; 2023.
- Min S, et al. FActScore: Fine-grained atomic evaluation of factual precision in long-form text generation. arXiv. 2023;arXiv:2305.14251.
- Cohen J. Statistical power analysis for the behavioral sciences. Routledge; New York; 2013.
- Kadavath S, et al. Language models (mostly) know what they know. arXiv. 2022;arXiv:2207.05221.
- Hendrycks D, et al. Aligning AI with shared human values. arXiv. 2020;arXiv:2008.02275.
- Lewis P, et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. Adv Neural Inf Process Syst. 2020;33:9459-74.
הדפסות חוזרות והרשאות
מאמר זה פורסם
הסרטון יגיע בקרוב