ضبط نماذج اللغة الكبيرة بدقة باستخدام مؤشر هلوسة الكيان لتلخيص النص

Summary

نقترح نهجا يعتمد على التعلم المعزز لتعديل النماذج اللغوية الكبيرة يستخدم مؤشر هلوسات إنتي (EHI) كإشارة مكافأة لتقليل الهلوسة على مستوى الكيان في تلخيص النصوص. تظهر التجارب على نصوص الاجتماعات أن هذه الطريقة تحسن من أمانة ودقة الكيانات.

Abstract

أدت التطورات الحديثة في نماذج اللغة الكبيرة (LLMs) إلى تحسينات ملحوظة في جودة التلخيص التجريدي. ومع ذلك، يظل الهلوسة - خاصة الهلوسة على مستوى الكيان حيث يتم إدخال كيانات غير موجودة أو غير صحيحة - تحديا حاسما. في هذا العمل، نقترح إطار عمل ضبط دقيق قائم على المكافآت لنماذج التلخيص باستخدام مؤشر هلوسة الكيانات (EHI) كمقياس إرشادي. تبدأ المنهجية هنا بتوليد ملخصات أولية من نماذج مدربة مسبقا مثل Flan-T5 و DistilBART و Mistral (أو نماذج LLM شهيرة أخرى) على مجموعات بيانات النسخ المهيكلة XSUM. نقوم بحساب EHI عن طريق استخراج الكيانات المسماة من الملخصات المولدة والمراجع الذهبية، وتقييم الدقة، ومعاقبة الكيانات المصطنعة. يتم توجيه عملية الضبط الدقيق بواسطة التعلم التعزيزي، حيث يعمل EHI كإشارة المكافأة. نعتمد آلية تحديث على نمط REINFORCE لتحسين نموذج التلخيص نحو تعظيم أمانة الكيانات. تظهر التجارب أن النماذج المضبوطة بدقة باستخدام EHI تحقق معدلات هلوسة أقل دون التأثير على المعلومات. علاوة على ذلك، نظهر أن النماذج الموجهة بالمؤشر العالي (EHI) تعمم بشكل أفضل على مهام التلخيص خارج المجال، مما يشير إلى زيادة المتانة. يقدم النهج هنا اتجاها عمليا لتحسين الحقائق في التلخيص، مع التأكيد على الدور الحاسم لتمثيل الكيانات الدقيق.

Introduction

نماذج التلخيص التجريدية، المدعومة بنماذج اللغة الكبيرة (LLMs)، حققت نتائج مثيرة للإعجاب عبر مجالات متنوعة. ومع ذلك، يبقى التحدي المستمر الهلوسة، حيث تتضمن الملخصات المولدة معلومات غير صحيحة أو ملفقة غير مبنية على المدخل المصدر ^1,2. في التطبيقات ذات المخاطر العالية مثل تلخيص الاجتماعات، التقارير الطبية، أو الوثائق المالية، يمكن أن تقوض الهلوسات، خاصة المتعلقة بالكيانات المسماة، بشكل كبير الثقة والفائدة³.

أجرى باحثو Rتقييما بشريا واسع النطاق ووجدوا أن الملخصات غالبا ما تنتج هلوسات — محتوى لا يدعمه المستند المصدر — وأن هذه الهلوسات ترتبط بالتكرار وعدم الترابط¹. أظهرت دراسة أخرى أن النماذج ذات التجريد الأعلى تميل لأن تكون أقل وفاء؛ أفادت دراستهم أن المخرجات التي تحتوي على تجريد أكثر كانت أقل دقة واقعية وأكثر جملا غير مخلصة². أفاد معيار فرانك أن حوالي 30٪ من الملخصات تحتوي على تناقضات واقعية، وأشارت دراسة شهيرة أخرى إلى معدلات خطأ مماثلة، بحجة أن مستويات الهلوسة العالية تجعل الملخصات عديمة الفائدة تقريبا ^1,2. يمكن تصنيف الهلوسات إلى جوهرية (متناقضة مع المصدر) أو خارجية (غير قابلة للتحقق من المصدر). شرح درس عن الهلوسات في التلخيص التجريدي أن الهلوسات الذاتية تحدث عندما يتعارض المحتوى المولد مع المدخلات (مثل الإبلاغ الخاطئ عن لقاح معتمد على أنه مرفوض)، بينما تضيف الهلوسات الخارجية حقائق غير قابلة للتحقق، مثل الادعاء بتجارب سريرية للقاح لم تذكر⁴. كما أفادت أن الملخصات المتطورة تنتج محتوى هلوسا في حوالي 25٪ من مخرجاتها عند تقييمها باستخدام ROUGE وBLUE وMETEOR، وتحذر من أن الهلوسات قد تكون ضارة في مجالات مثل الصحة أو القانون أو الأمن السيبراني.

مقاييس n-gram التقليدية (ROUGE⁵، BLEU، METEOR) ترتبط بشكل ضعيف بأحكام البشر حول الحقائق، مما دفع إلى تطوير مقاييس مرجعية وخالية من المراجع⁶. تقوم مقاييس ضمان الجودة مثل FEQA وQuestEval بتقييم الملخصات من خلال سؤال ما إذا كان يمكن الإجابة على أزواج الأسئلة والأجوبة المستمدة من الملخص باستخدام النص المصدري. ترتبط FEQA بشكل أقوى بالأحكام البشرية وتظهر أن الملخصات الأكثر تجريدا تميل لأن تكون أقل وفاء، بينما تحسن QuestEval بشكل كبير الارتباط مع الأحكام البشرية من حيث الاتساق، والتماسك، والطلاقة، والملاءمة. يقوم QAFactEval بتحسين هذا النهج من خلال اختيار إجابات العبارات الاسمية وتوليد الأسئلة قبل الإجابة عليها؛ تحسن هذه الاستراتيجية الارتباط مع التقييمات البشرية على معيار SummaC. تمثل مقاييس استخراج المعلومات (IE) المعرفة كمجموعات ذات علاقة-موضوع، لكنها عرضة للأخطاء في عملية الاستخراج. تصنف مقاييس الاستدلال باللغة الطبيعية (NLI) - مثل FactCC و SummaC - الجمل الملخصة كما ينتج عنها أو يتعارض مع المصدر⁴. يستخدم FactCC بيانات ضعيفة الإشراف لتدريب مصنف يكتشف الاتساق الواقعي ويبرز الامتدادات غير المتسقة². يطبق SummaC نماذج NLI بدقة مناسبة وينتج تقديرات قوية للحقائق، لكن معيار FRANK يشير إلى أن هذه المقاييس لا تزال تعامل الحقائق كثنائية وتفتقر إلى إطار موحد ^1,7,8. أبعاد التقييم البشري التي اقترحها الباحثون تعتمد على نطاق واسع الطلاقة، والتماسك، والملاءمة، والاتساق. تؤكد دراسة تقييم أخرى أن الاتساق هو البعد الأكثر موضوعية لأنه ببساطة يتحقق مما إذا كان الملخص مستنثرا من المصدر؛ تشير إلى أن ما يصل إلى 92٪ من ملخصات XSum تحتوي على أخطاء في الوفاء ^9,10. ومع ذلك، فإن التقييم البشري يستغرق وقتا طويلا ومكلفا، لذا فإن المقاييس التلقائية ضرورية للتقييم القابل للتوسع⁸. غالبا ما تجمع المقاييس الحالية الهلوسات الداخلية والخارجية في درجة واحدة، مما يعيق تشخيص الخطأ⁴.

نظرا لأن تدريب الاحتمالية القصوى لا يحسن بشكل مباشر جودة الملخص، فقد تم تطبيق التعلم المعزز (RL) لتحسين الصلة والواقعية. قدم باسونورو وبانسال إطار عمل تعلم بالواقع المعزز متعدد المكافآت يجمع بين البروز (ROUGE) والمكافآت الاستيطابية، وأظهر أداء متطورا¹¹. تم تطبيق التعلم المعزز للتلخيص الاستخراجي باستخدام خوارزمية REINFORCE؛ نموذجهم يعظم درجات ROUGE وينتج ملخصات أكثر إفادة من الأساليب القائمة على المصنفين، كما يظهر في تقييمات الأسئلة^{البشرية 12}. تشمل نماذج تعدد المهام أيضا توليد الأسئلة وتوليد الاستنتاج لضمان التغطية والتماسك¹². يسلط مسح شامل لعام 2024 حول التلخيص التجريدي الضوء على الاتساق الواقعي كتحد أساسي ويدعو إلى تشجيع التعلم الواقعي على التلخيص الصادق. يقترح الاستطلاع مكافأة الملخصات المتسقة من الناحية الواقعية ودمج مصادر المعرفة الخارجية والتحكم في السمات لتعزيز الدقة¹³. يوسع التعلم المعزز من التغذية الراجعة البشرية (RLHF) هذه الفكرة من خلال تدريب نموذج مكافأة على تفضيلات الإنسان وضبط الملخص بدقة لتعظيم هذه المكافأة المكتسبة⁹. اكتسب التعلم المعزز من التغذية الراجعة البشرية (RLHF) زخما لمواءمة مخرجات النماذج مع الصفات المرغوبة، مثل الحقائق والفائدة^4،14. ^بينما تتوافق النماذج متعددة المكافآت مع مفاهيم الوفاء البشرية، إلا أنها تعتمد على مقاييس خشنة مثل ROUGE أو الحقائق الثنائية. على النقيض من ذلك، يقترح العمل المفضح هنا استخدام مؤشر هلوسة دقيق على مستوى الكيان كمكافأة، وهو مؤشر تجريبي وأقل تكلفة حسابيا بدون تغذية راجعة بشرية.

على الرغم من وجود العديد من المقاييس، لا تزال هناك عدة قيود. تتجاهل مقاييس N-gram الصقة الدلالية، وتقوم المقاييس القائمة على ضمان الجودة وIE بنقل الأخطاء من نماذج توليد واستخراج الأسئلة، وتقلل مقاييس NLI الحقائق إلى قرارات الاستنتاج الثنائية ^1,4,6. في العمل البحثي، تم التأكيد على أن المقاييس القائمة على النماذج الحالية تواجه صعوبة في تحديد الهلوسات بدقة دقيقة لأنها تعمل على مستوى الجملة أو المستند ولا يمكنها عزل كيانات محددة تسبب الأخطاء⁴. التقييمات البشرية لا تزال المعيار الذهبي لكنها مكلفة وذاتية¹⁵. علاوة على ذلك، لا تميز المقاييس الحالية بين الهلوسات الداخلية والخارجية ولا تلتقط التركيز الزائد والناقص^{للعلاقات 1}. نماذج اللغة الكبيرة قد تهلوس لأنها تتنبأ بالنص بناء على الاحتمالية الإحصائية بدلا من التحقق الواقعي. تولد النماذج نتائج واثقة لكنها غير صحيحة بسبب محدودية بيانات التدريب، وتوليد الاحتماليات، ونقص التحقق من الحقائق، كما أن الثقة الزائدة والتحيزات قد تدفعها إلى ذكر معلومات خاطئة بيقين عالي؛ يدعو الدليل إلى توليد النماذج المعززة بالسحب والذاكرة طويلة الأمد إلى النماذج الأرضية في البيانات الخارجية¹⁵. ومع ذلك، تركز هذه التقنيات على المهام القائمة على الاسترجاع؛ لا يزال التلخيص يتطلب مقاييس تحدد وتعاقب الكيانات الهلوسية. أدركت الأعمال السابقة أهمية التقييم على مستوى الكيان من أجل الحقائق. تحاول مقاييس مثل FEQA وQuestEval تقييم الاتساق الواقعي باستخدام تقنيات الإجابة على الأسئلة^16,17. ومع ذلك، غالبا ما تتطلب هذه الطرق ملخصات مرجعية أو أنظمة ضمان جودة خارجية، مما يحد من قابلية التوسع. يبني عملنا على هذا الخط باستخدام مؤشر هلوسة الكيان (EHI)، وهو مقياس تجريبي خفيف يركز تحديدا على وفاء الكيانات المسماة من خلال تصنيف الكيانات إلى خمسة أنواع من عوامل الهلوسة كما هو موضح في الشكل 1.

تشير الأدلة إلى أن الهلوسة منتشرة، ومقاييس التقييم غير كاملة، وتقنيات التعلم المعزز تفتقر إلى مكافآت دقيقة. تظهر الدراسات البشرية أن نماذج التلخيص تهلوس في جزء كبير من الحالات، غالبا ما تتبادل الكيانات أو تزوير التفاصيل⁹. المقاييس الحالية إما تركز على تداخل n-gram أو تعامل الحقائق كثنائية، بينما تحسن طرق التعلم المعزز الحالية إشارات ROUGE أو الحقيقة الخشنة. هناك فجوة في مقاييس مستوى الكيان التي تقيس متى يذكر الملخص كيانات غير موجودة في المصدر (هلوسة سلبية)، أو تحذف الكيانات الرئيسية (هلوسة فقدان التركيز)، وسيناريوهات أخرى. تملأ طريقة الضبط الدقيق المقترحة على مؤشر هلوسة الكيان (EHI) هذه الفجوة من خلال قياس الهلوسات على مستوى الكيان وتوفير مكافأة منظمة للتعلم التعزيزي. من خلال دمج EHI في RLHF، نهدف إلى ضبط نماذج اللغة الكبيرة لتقليل الهلوسة على مستوى الكيان وإنتاج ملخصات تكون سلسة وصادقة للحقائق.

في هذا العمل، نقترح نهجا جديدا للضبط الدقيق يستفيد من مؤشر هلوسة الكيان (EHI) كإشارة مكافأة لتقليل الهلوسات على مستوى الكيان. يقوم EHI بقياس صحة وتأسيس الكيانات من خلال مقارنة الكيانات المستخرجة من مخرجات النموذج مع تلك الموجودة في مستند الإدخال، مما يتيح تقليل الاعتماد على المراجع¹⁸. الطريقة الموصوفة هنا تميل النموذج نحو إنتاج ملخصات أكثر وفاء للكيان دون الحاجة إلى تعليقات واقعية بشرية.

باختصار، تم استخدام نماذج مكافآت واعية للواقعية لضبط^19,20 بدقة. على عكس الأساليب السابقة التي تعتمد على مكافآت الحقائق الخشنة أو مجموعات البيانات الموسومة من قبل البشر، نقترح الضبط الدقيق باستخدام EHI كإشارة مكافأة مباشرة وتلقائية، مما يعزز التلخيص القائم على الكيان دون إشراف إضافي. المساهمات الجديدة لهذه الدراسة هي كما يلي: (1) تقدم الدراسة إطار عمل ضبط دقيق موجه ب EHI يحسن أمانة الكيانات في التلخيص التجريدي، (2) تقدم الدراسة خط أنابيب تعلم معزز قابل للتوسع لا يعتمد على مجموعات بيانات الحقائق المصنفة من قبل الإنسان، (3) تظهر الدراسة تحسينات تجريبية في درجات EHI عبر مجموعات بيانات النص المكتوب، مجموعة بيانات أخبار XSUM وإجراء تحليل نوعي لتسليط الضوء على تقليل الهلوسة، (4) تشارك الدراسة تطبيقا قابلا للتكرار قائما على Colab لتسهيل المزيد من الأبحاث حول تلخيص الوعي بالهلوسة²¹.

تقيم هذه الدراسة الفرضية التي تقول إن تحسين نماذج اللغة مع مكافآت دقيقة تركز على الكيانات مثل EHI يوفر مسارا فعالا لتعزيز الأمانة والموثوقية في مهام التلخيص مع أقل قدر من الحوسبة. يساهم هذا النهج في مجال الضبط الدقيق الفعال للمعلمات لتحقيق الدقة في التلخيص من خلال: (1) إظهار الفعالية عبر كل من معماريات الترميز-فك التشفير (DistilBART، FlanT5) ومعماري فك التشفير فقط (Mistral)، (2) توفير إطار يمكن تكييفه لأنواع النماذج والمجالات والمقاييس المختلفة، و(3) تقديم كفاءة حسابية مقارنة بإعادة التدريب الكاملة.

Protocol

هدف هذه الدراسة هو ضبط نموذج لغوي (LM) لتوليد ملخصات مع هلوسة كيانات أقل. تحدث الهلوسات عندما "ينتج النموذج بثقة نتائج غير صحيحة أو غير ذات صلة" لأنه يولد نصا وفقا للاحتمالية الإحصائية بدلا من التحقق الواقعي. يتم تحقيق ذلك من خلال تصميم دالة مكافأة تعتمد على مؤشر هلوسة الكيان (EHI) وتطبيق التعلم المعزز لتعظيم ذلك.

صياغة المسألة
بالنظر إلى وثيقة إدخال X_i، الهدف هو توليد ملخص Y_i بحيث تكون الكيانات المذكورة في Y_i مؤرضة في X_i. التدريب التقليدي على الاحتمالية القصوى لا يحسن الاتساق الواقعي بشكل صريح. هذه الطرق التدريبية لا تعاقب إدراج الكيانات المختلقة. لذلك، يتم تقديم استراتيجية ضبط دقيقة مدفوعة بالمكافآت حيث تكون المكافأة متناسبة مع أمانة الكيان، وتقاس باستخدام EHI.

مجموعة البيانات والطريقة
يتم استخدام مجموعتين: أولا، مجموعة بيانات نسخ الحوار التي تحتوي على نصوص اجتماعات متعددة الأدوار وملخصات ذهبية مجردة، وثانيا، معيار تلخيص أخبار XSUM^{رقم 22,23}. تم تنظيف كل مجموعة بيانات وتسويتها وتقسيمها إلى 80٪ من أقسام القطار، 10٪ التحقق، و10٪ من الاختبار. الحوارات غنية باللغة والضمائر غير الرسمية، بينما تحتوي XSUM على مقالات إخبارية موجزة؛ تسمح لنا هذه التركيبة بتقييم كل من التعميم داخل المجال وخارج المجال.

يتم استخراج الكيان على كل من الوثائق المصدرية والملخصات لحساب مؤشر هلوسة الكيان (EHI). خلال الضبط الدقيق، تستخدم هذه الدراسة حصريا تقسيم التدريب، بينما تتم مراقبة درجات التحقق من EHI لاختيار أفضل نقطة تفتيش. يتم الإبلاغ عن التقييمات النهائية لمجموعة الاختبار التي تم الاحتفاظ بها، والتي تظل صفرية التصوير قبل وبعد الضبط الدقيق للنماذج.

باختصار، أولا، يتم تنظيم النصوص في صيغة مسطحة وتقسم البيانات. النموذج المدرب مسبقا يولد ملخصات أساسية. ثانيا، يتم حساب EHI باستخدام NER المعتمد على المحولات وعوامل الهلوسة الخمسة. خلال الضبط الدقيق، يتم تحديث النموذج بمكافأة EHI عبر محولات LoRa. وأخيرا، يتم توليد الملخصات باستخدام النموذج المضبوط بدقة وتقييمها باستخدام EHI، الكيان F1، ومقاييس أخرى (الشكل 2). جميع التجارب قابلة للتكرار من خلال ملفات الكود والتكوين المرفقة. يوضح الشكل 3 تدفق العمليات خطوة بخطوة لإعداد مجموعات البيانات، والتلخيص الأساسي، وحساب EHI، والضبط الدقيق، والتقييم.

تلخيص الأساس
تم اختيار ثلاثة نماذج لغوية كبيرة مدربة مسبقا، وتم التقاط ملخصاتهم الأساسية: Flan-T5، Mistral (Nous-Hermes-2-Mistral-7B-DPO)، وDistilBART^{24، 25، 26}. تم تشغيل كل نموذج في وضع الطلقة الصفرية لإنتاج ملخص أولي (Y_i) لكل مستند إدخال (x_i). تم استخدام البحث الشعاعي بعرض شعاع 4 وعقوبة طول 1.0 لتشجيع ملخصات سلسة وموجزة. خدمت هذه الملخصات الأساسية لتقدير انتشار الهلوسة ووفرت نقاط انطلاق للضبط الدقيق.

استخراج الكيانات وحساب EHI
حساب مؤشر هلوسات الكيان (EHI) بدقة يتطلب وجود مؤشر NR قوي. في البداية، استخدمت سبيسي لعمليات NER. يفهم أن نماذج NER المعتمدة على المحولات أكثر دقة، لكن سبيسي كان الخيار الأول للأسباب التالية: (1) نماذج NER المعتمدة على المحولات نفسها أثبتت أنها تهلوس من سباسي. (2) كون الفضاء الإحصائي يجلب كفاءة حسابية من حيث تكلفة التنفيذ ووقت التنفيذ. (3) كما يساعدنا في إثبات أن EHI قوي في تقليل الهلوسة حتى مع نموذج NER أضعف. ومع ذلك، نظرا لأن التجارب تجرى على مجموعات بيانات راسخة ونموذج en_core_web_sm لمساحة الفضاء هش في النسخ العامية¹³. تم استبدال Spacy بنموذج NER قائم على المحولات (dslim/bert-base-NER)، وهو نموذج BERT تم ضبطه بدقة على مجموعة بيانات CoNLL-2003. لقد أظهرت أنظمة NER المبنية على BERT أنها تتفوق على نماذج spaCy في المهام الخاصة بالمجالات - على سبيل المثال، وصل نموذج Aviation-BERT-NER إلى F1 بلغت 94.78٪ مع تحديد 17 كيانا مقارنة ب 93.73٪ لنموذج الفضاء NER الذي تعرف على سبعة كيانات²⁷. تم تكوين نموذج BERT NER عبر Hugging Face Transformers²⁸ وقام بمطابقة غير حساسة للحروف (Case Transform). لالتقاط الضمائر وتغيرات الشكل السطحي، طبقت هذه الطريقة قواعد بسيطة تربط "السيد سميث" و"سميث" بنفس الشكل القانوني؛ ومع ذلك، لا تزال الدقة الكاملة للمرجع تعملا مستقبليا. يمكن استنتاج التحليل المقارن لنماذج NER على عينة من 200 سجل من مجموعة بيانات XSUM من الجدول 1.

يتم حساب مؤشر هلوسة الكيان (EHI) على النحو التالي:

حيث تمثل PH، EF، OF، NH، LF درجات تمثل الهلوسة الإيجابية (PH)، عامل الاستخلاص (EF)، الهلوسة السلبية (NH)، الكيانات المفرطة التركيز (OF)، وفقدان التركيز (LF) على التوالي، في المادة الأولى.

تفاصيل عوامل الهلوسة:

الهلوسة الإيجابية (PH): مقاييس الكيانات الجديدة التي تم إدخالها وتكون صحيحة من الناحية الواقعية ومفيدة.

عامل الاستخراج (EF): يقيس الكيانات المستخرجة بدقة من مستند الإدخال إلى الملخص.

الهلوسة السلبية (NH): يلتقط كيانات هلوسية غير صحيحة أو غير مؤرسة في المدخلات.

التركيز المفرط (OF): يعاقب الملخصات التي تركز بشكل مفرط على مجموعة ضيقة من الكيانات، مع غياب التنوع.

فقدان التركيز (LF): يعاقب الملخصات التي تتجاهل الكيانات المهمة الموجودة في الإدخال.

يتم تفصيل حساب العوامل المذكورة أعلاه في الشكل 4 مع حساب نموذجي لأغراض التوضيح. بالنظر إلى مثال على كيانات المستندات المدخلة (I): "جون"، الذكاء الاصطناعي"، "كيانات ملخص المرجع" (R):"جون"، "الكيانات الملخصة المولدة من الذكاء الاصطناعي (G):"John"، الذكاء الاصطناعي""، التكنولوجيا". تشير القيم الأعلى ل EHI إلى ولاء أفضل للكيانات، وتكافئ الملخصات التي تكون استخراجية ومهلوسة إيجابية (مقدمة كيانات مفيدة لكنها مخلصة)، بينما تعاقب الكيان²⁰ غير المرتبط بالأساس أو المفرط أو المفقود. تم تطبيع هذه العوامل بعدد الكيانات المكتشفة الإجمالي لإنتاج درجة EHI بين 0 و1. تمت مراقبة التحقق من صحة المؤشر العالي أثناء التدريب لاختيار أفضل نقطة تفتيش. يكافئ PH وEF الكيانات الجديدة المفيدة والاستخراج الصحيح، بينما تعاقب OF، NH، وLF التكرار والتزوير والسحب. الدرجة الكاملة 1.0 تعني أن جميع الكيانات في الملخص مؤرطة أو مهلوسة بشكل مستفيد، بينما تشير درجة 0 إلى أنه لا يظهر أي كيان مذكور في الملخص في المصدر.

إجراء ضبط دقيق باستخدام التعلم بالواقع المعزز
يتم توفير تكوين المعاملات الفائقة التفصيلي للتعديل الدقيق بشكل منفصل في الجدول 2 والجدول 3 والجدول 4، والتي توضح أنواع المحسنات، ومعدلات التعلم، وأحجام الدفعات، ومواصفات الأجهزة، وتفاصيل التكوين الأخرى لميسترال-7B وDistilBart وFlan-T5 على التوالي. الهدف هنا هو ضبط معلمات النموذج θ بدقة من خلال تعظيم مكافأة مؤشر هلوسة الكيان (EHI) المتوقعة عبر الملخصات المولدة. رسميا، لوثيقة إدخال X_i، وملخص مولد Y_i، ومعلمات النموذج θ يعرف هدف المكافأة المتوقعة كما يلي:

(2)

حيث يشير EHI (y, x) إلى مؤشر هلوسة الكيان المحسوب بين الملخص المتولد Y_i والمدخل X_i.

وفقا لخوارزمية REINFORCE^{رقم 25}، يقدر تدرج هذا الهدف بأسمه:

(3)

في الواقع، تم أخذ عينات من النماذج من الملخصات، وحساب درجات EHI المقابلة لها، وتطبيق تحديثات تدرج السياسات لتشجيع مخرجات مكافآت أعلى. لتمكين الضبط الدقيق الفعال للمعلمات، استخدمت هذه الدراسة التكيف منخفض الرتبة (LoRA). تم تحديث محولات LoRA فقط بينما بقيت أوزان الطراز الأساسي مجمدة. تم إجراء الضبط الدقيق على معالج رسومات A100 بمعدل تعلم صغير (مثلا 5 × ^10-6)، وحجم دفعة 4 وتراكم التدرج على 8 خطوات باستخدام محسن آدم²⁹. تم إعادة توليد الملخصات كل 500 تحديث لتحديث تقديرات المكافآت، واستمر التدريب حتى تقارب EHI في التحقق من الصحة. تم ضبط خط الأساس REINFORCE على المتوسط الجاري للمكافآت الحديثة لتقليل التباين. بالإضافة إلى EHI، تم تسجيل درجات ROUGE-1/2/L في الكيان F1 2 لمراقبة الجودة العامة. يتم إعادة توليد الملخصات بشكل دوري لتعكس تحسينات النموذج أثناء الضبط الدقيق.

مقاييس التقييم
تم تقييم المخرجات باستخدام مقاييس المعلوماتية مثل Rouge-1 و Rouge-2⁵. مقياس الطلاقة مثل Rouge LCS⁵. مقياس تداخل الكيانات في الكيان F1، ومقاييس الهلوسة مثل EHI، FactCC، وQAGS 2,6,18,30. يستخدم FactCC مصنفا مدربا على بيانات التناقضات التركيبية لتصنيف الجمل على أنها مستلزمة أو متناقضة من المصدر. يمنح factCC درجتين؛ تم تسجيل الدرجات حيث يكون التصنيف صالحا. من ناحية أخرى، يستخدم QAGS طريقة الأسئلة والأجوبة التي تعمل على نموذج لغوي (LLM). تم استخدام نموذج خفيف T5 صغير لتوليد الأسئلة على النص³¹. تم استخدام Roberta_base_Squad2 لتوليد الإجابات عبر نص الإخراج³². تم اختيار هذه النماذج لتسهيل تكلفة الحساب أثناء التنفيذ.

Results

تركز التجارب هنا على الأدلة الكمية حول تأثير الضبط الدقيق الموجه ب EHI في تقليل الهلوسات على مستوى الكيان عبر عدة بنى نماذج ومجموعات بيانات. تظهر النتائج تحسينات مستمرة في مقاييس الهلوسة مع الحفاظ على الاتساق الواقعي والحفاظ على القدرة على الإجابة على الأسئلة.

أداء مجموعات البيانات
أداء مجموعة بيانات الحوار:
يعرض الجدول 5 نتائج تقليل الهلوسة على مجموعة بيانات الحوار متعدد الأدوار. حقق الضبط الدقيق المو...

Discussion

مقاييس ضمان الجودة (مثل FEQA/QuestEval/QAFactEval) والمقاييس القائمة على NLI (مثل FactCC/SummaC) تتطلب مكونات ضمان جو/استنتاج مساعد وغالبا ما توفر أحكاما على مستوى الجملة. على النقيض من ذلك، EHI هو درجة خفيفة الوزن وخالية من المرجع على مستوى الكيان، (i) تستهدف مباشرة نمط الفشل الأساسي الذي نلاحظه — هلوسة الكيان؛ (2) لا يعتمد على النموذج وسريع في الحساب؛ و(3) تعمل كمكافأة كثيفة لضبط التقارب الصحيح. تجريبيا، يكمل EHI مقاييس ضمان الجودة/المؤشرات الوطنية من خلال تحديد الكيانات التي تقود أخطا...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Colab NVIDIA A100 GPU	NVIDIA	N/A	Google Colaboratory Pro
DistilBART (Encoder–Decoder)	Hugging Face	https://huggingface.co/sshleifer/distilbart-cnn-12-6
dslim/bert-base-NER	Hugging Face (dslim)	https://huggingface.co/dslim/bert-base-NER	Fine-tuned BERT base for English NER
Evaluation Models  QAGS (QA-based)	Salesforce Research	N/A	Factuality classifier
Evaluation Models (Factuality) FactCC	Google Research	N/A	Factuality classifier
Flan-T5 (Encoder–Decoder)	Google	https://huggingface.co/docs/transformers/main/en/model_doc/flan-t5	open-source, text-to-text, large language model
Hugging Face Transformers	Hugging Face, Inc.	https://huggingface.co/docs/transformers/index	Model loading & fine-tuning
Nous-Hermes-2-Mistral-7B-DPO	Mistral	https://huggingface.co/NousResearch/Nous-Hermes-2-Mistral-7B-DPO	7 billion parameter Language model
Programming Language Python 3.10 (Colab runtime)	Python Software Foundation	Version 3.10	Core implementation
Streamlit	Open Source	https://streamlit.io/	Factuality classifier
XLSUM dataset	BUET	https://github.com/csebuetnlp/xl-sum
XSUM dataset	University of Edinburgh	https://github.com/EdinburghNLP/XSum