ضبط نماذج اللغة الكبيرة بدقة باستخدام مؤشر هلوسة الكيان لتلخيص النص
يناير 9, 2026
نقترح نهجا يعتمد على التعلم المعزز لتعديل النماذج اللغوية الكبيرة يستخدم مؤشر هلوسات إنتي (EHI) كإشارة مكافأة لتقليل الهلوسة على مستوى الكيان في تلخيص النصوص. تظهر التجارب على نصوص الاجتماعات أن هذه الطريقة تحسن من أمانة ودقة الكيانات.
تستخدم هذه الدراسة مؤشر هلوسات الكيانات كإشارة مكافأة لتقليل توليد الكيانات الخاطئة في النصوص الملخصة بالذكاء الاصطناعي. المعايير الحالية هي مقاييس خشنة، يستخدم هذا البروتوكول مكافآت الكيانات الدقيقة لتحسين الحقائق دون تسميات بشرية. للبدء، استخدم مجموعتين رئيسيتين، بما في ذلك مجموعة بيانات نسخ الحوار لنصوص الاجتماعات متعددة الأدوار ومعيار تلخيص أخبار XSum.
نظف كل مجموعة بيانات، وقم بتسطيح البيانات، وقسمها إلى مجموعات تدريب بنسبة 80٪، و10٪ تحقق، و10٪ اختبار. إجراء الترميز واستخراج الكيانات باستخدام نموذج NER القائم على المحولات D slim/NER القائم على BERT لضمان التأريض القوي. توليد ملخصات أولية في وضع الطلقة الصفرية باستخدام البحث الشعاعي بعرض أربعة لتقدير انتشار الهلوسة بشكل أساسي.
احسب مؤشر هلوسة الكيان كمقياس على مستوى الكيان خال من المرجع يصنف الكيانات إلى خمسة عوامل لقياس الوفاء. كافئ الاستخلاص والهلوسات الإيجابية وعاقب الهلوسات السلبية، والكائنات المفرطة التركيز، وفقدان التركيز. حدد دالة المكافأة لتكون متناسبة مع ولاء الكيانات وتعظيم المكافأة المتوقعة ل EHI عبر الملخصات المولدة.
تطبيق آلية تحديث النمط المعززة لتحسين معلمات النموذج نحو تعظيم ولاء الكيانات. استخدم تكييف الرتبة المنخفضة لتمكين ضبط دقيق فعال للمعاملات وتحديث محولات LoRA فقط مع الحفاظ على أوزان النموذج الأساسي مجمدة. ثم قم بتطبيق تحديثات تدرج السياسات لتشجيع نتائج مكافآت أعلى وإعادة توليد ملخصات لكل 500 تحديث لتحديث تقديرات المكافآت.
وأخيرا، قم بإنشاء ملخصات نهائية باستخدام النماذج المضبوطة بدقة ومقارنتها بنتائج الأساس. تقييم النماذج من حيث المعلومات باستخدام روج واحد، روج اثنان، وروج L، والطلاقة والاتساق الواقعي باستخدام قواعد التحليل المعلوماتي وCAGs. قلل ضبط EHI الدقيق من الهلوسات وحسن الحقائق عبر النماذج ومجموعات البيانات مع تحولات يمينية في EHI، كما أكدت توزيعات CC الحقائق زيادة في أمانة الكيانات والاتساق الواقعي، بينما بقيت درجات CAGS إلى حد كبير دون تغيير.
تم تقليل أنواع الهلوسة الضارة مثل السلبية، والتركيز الزائد، وفقدان التركيز في ميسترال بعد الضبط الدقيق، بينما تضاعف عامل الاستخلاص تقريبا. أظهر تحليل الارتباط أن EHI وCAGS لهما ارتباط ضعيف في Mistral وDistilBART، لكن Flan-T5 أظهر ارتباطا إيجابيا أقوى. يمكن للباحثين قياس ولاء الكيان ومعدلات الهلوسة في ملخصات باستخدام إشارة المكافأة الآلية EHI.
التحدي الأهم هو دقة NER، حيث يمكن أن تنتقل أخطاء الاستخراج إلى حسابات غير صحيحة للمكافأة أثناء التدريب. يمكن للدراسات المستقبلية دمج الحل المرجعي المشترك ومكافآت المعلومات لتحقيق توازن أفضل بين الأمانة والتغطية الملخصة.
اعرض النص الكامل واحصل على الوصول إلى آلاف الفيديوهات العلمية
نظرة عامة
تعرض هذه المقالة إطار عمل جديداً للضبط الدقيق القائم على المكافأة لنماذج اللغات الكبيرة (LLMs)، يهدف إلى تقليل الهلوسات على مستوى الكيانات في التلخيص التجريدي. ومن خلال الاستفادة من مؤشر هلوسة الكيانات (EHI) كمعيار توجيهي، يعمل هذا النهج على تعزيز الدقة الواقعية للملخصات المُنشأة دون التضحية بقدرتها الإخبارية أو قابليتها للتعميم.
مكونات الدراسة الرئيسية
مجال العلم
- معالجة اللغات الطبيعية
- تعلم الآلة
- تلخيص النصوص
خلفية علمية
- أدت النماذج اللغوية الكبيرة (LLMs) إلى تحسين جودة التلخيص التجريدي بشكل كبير.
- لا تزال الهلوسة على مستوى الكيانات، حيث تظهر كيانات غير صحيحة أو مختلقة في الملخصات، تشكل تحدياً رئيسياً.
- غالباً ما تواجه النماذج الحالية صعوبة في الموازنة بين شمولية المعلومات والدقة الواقعية.
- لا تزال المقاييس التي تعاقب الكيانات المهلوسة بشكل مباشر غير مستكشفة كفاية في تدريب النماذج.
الغرض من الدراسة
- تطوير إطار عمل للضبط الدقيق يقلل من هلوسة الكيانات في نماذج التلخيص.
- تقديم واستخدام مؤشر هلوسة الكيانات (EHI) كإشارة مكافأة.
- إثبات تحسن الدقة الواقعية والمتانة في الملخصات التي يتم إنشاؤها بواسطة النماذج اللغوية الكبيرة (LLM).
الطرق المستخدمة
- إنشاء ملخصات أولية باستخدام نماذج مدربة مسبقاً (مثل Flan-T5 و DistilBART و Mistral) على مجموعات بيانات نصوص منسقة مثل XSUM.
- استخراج الكيانات المسماة من كل من الملخصات المولدة وملخصات المرجع الذهبية.
- حساب مؤشر هلوسة الكيانات (EHI) عن طريق تقييم دقة الكيانات ومعاقبة الكيانات المفبركة.
- ضبط دقيق باستخدام التعلم التعزيزي عبر آلية تحديث بأسلوب REINFORCE مع استخدام EHI كإشارة للمكافأة.
النتائج الرئيسية
- أظهرت النماذج التي تم ضبطها بدقة معدلات أقل من هلوسة الكيانات.
- تم الحفاظ على القيمة المعلوماتية للملخصات رغم انخفاض الهلوسة.
- أظهرت النماذج الموجهة بـ EHI قدرة أفضل على التعميم في مهام التلخيص خارج النطاق.
- لوحظ تعزيز في المتانة والدقة الواقعية في التقييمات التجريبية.
الاستنتاجات
- يقلل إطار المكافأة القائم على EHI بشكل فعال من الهلوسات على مستوى الكيانات في تلخيص النماذج اللغوية الكبيرة (LLM).
- يمكن تحسين الواقعية والمعلوماتية بشكل مشترك باستخدام هذا النهج.
- توفر هذه الطريقة توجهاً عملياً لتحسين موثوقية أنظمة التلخيص الآلي.
الأسئلة الشائعة
الأهمية الصناعية التنفيذية
تشكل الهلوسة على مستوى الكيانات في تلخيص النماذج اللغوية الكبيرة (LLM) مخاطرة كبيرة بسلامة البيانات واتخاذ القرار في مجال الأبحاث الصيدلانية الحيوية.&د. يتناول إطار الضبط الدقيق الموجه بمؤشر هلوسة الكيانات (EHI) هذا التحدي بشكل مباشر، مما يتيح استخراجاً أكثر موثوقية للرؤى الواقعية من المصادر النصية العلمية والتشغيلية. كما أن تعزيز الواقعية في التلخيص الآلي يدعم مستويات أعلى من الثقة التنبؤية ويقلل من المخاطر اللاحقة في مسارات العمل الموجهة بالمعرفة.
التطبيقات الاستراتيجية في الأبحاث الصيدلانية الحيوية&د
الاكتشاف المبكر والتحقق من الهدف
- يُحسن دقة التنقيب في الأدبيات والبيانات لتحديد الأهداف من خلال تقليل الكيانات المختلقة.
- يدعم تقليل المخاطر الميكانيكية من خلال ضمان أن الكيانات المستخرجة تعكس علاقات بيولوجية حقيقية.
- يتيح توليد فرضيات أكثر ثقة من مخرجات تلخيص النصوص الآلية.
الفحص وتطوير المقايسة
- يسهل الاستخراج الموحد لأهداف المقايسة وظروفها من مصادر وثائقية متنوعة.
- يقلل من خطر نقل معلومات الكيانات غير الصحيحة إلى سير عمل الفحص.
- يدعم إمكانية تكرار النتائج من خلال الحفاظ على دقة الكيانات عبر الملخصات الآلية.
الأبحاث الترجمية والقبل سريرية
- يعزز ربط النتائج قبل السريرية بالكيانات ذات الصلة بالمرض من خلال تقليل الهلوسة المعلوماتية.
- يحسن استمرارية تتبع الكيانات بدءاً من مرحلة الاكتشاف وصولاً إلى مراحل التحقق قبل السريرية.
- يدعم التقدم المعدل حسب المخاطر من خلال توفير أدلة أكثر موثوقية على مستوى الكيانات.
تكامل مسار العمل وسير العمل
يدمج إطار الضبط الدقيق الموجه بـ EHI في طبقة المعلوماتية الخاصة بمسارات الاكتشاف والفحص والبحوث الانتقالية، مما يدعم استخراج الكيانات وتلخيصها بشكل قوي.
- بيولوجيا الاكتشاف: تتيح اختبار الفرضيات وتوضيح المسارات من خلال ضمان دقة الكيانات في الملخصات المستخلصة.
- المسح: توفر ملخصات قابلة للتكرار ومخلصة للكيانات لتوثيق المقايسات وتقييم المركبات.
- التحليلات: تقدم درجات EHI كمية كمعيار مرجعي لمقارنة مخرجات التلخيص عبر الظروف المختلفة.
- الأبحاث الترجمية: تحافظ على دقة الكيانات لرسم خرائط المؤشرات الحيوية والأمراض عند الانتقال من مرحلة الاكتشاف إلى المراحل قبل السريرية.
- إعادة الاستخدام في المؤسسات: تؤسس قدرة تلخيص قابلة للتوسع ومدفوعة بالمكافأة لمصادر نصوص متنوعة في مجال الأدوية الحيوية.
التأثير التشغيلي والمؤسسي
- القيمة العلمية: تزيد من الثقة التنبؤية وتقلل من الغموض الميكانيكي في الرؤى المستمدة من النصوص.
- القيمة التشغيلية: توحد عملية استخراج الكيانات وتوليد الملخصات عبر الفرق والمشاريع المختلفة.
- القيمة الاستراتيجية: تدعم اتخاذ قرارات أفضل بشأن المضي قدماً أو التوقف من خلال تحسين موثوقية استخراج المعرفة المؤتمت.
- تأثير المحفظة: تتيح تحديد الأولويات المعدلة وفقاً للمخاطر عن طريق تقليل انتشار بيانات الكيانات غير الصحيحة.
اعتبارات التنفيذ
- يتطلب خبرة في معالجة اللغات الطبيعية والتعلم التعزيزي لضبط دقة النموذج.
- يستلزم الوصول إلى مجموعات بيانات النصوص المفرغة المهيكلة وملخصات مرجعية معيارية لحساب EHI.
- يتطلب اتفاقًا بين الفرق المختلفة على تعريفات الكيانات ومعايير الاستخراج.
- قد يتطلب تكييف عتبات EHI لتناسب المجالات الطبية الحيوية المختلفة أو أنواع المستندات المختلفة.
- يعتمد في تحقيق الأداء الأمثل على جودة النماذج المسبقة التدريب والبيانات المرجعية الأولية.
