ضبط نماذج اللغة الكبيرة بدقة باستخدام مؤشر هلوسة الكيان لتلخيص النص
January 9th, 2026
نقترح نهجا يعتمد على التعلم المعزز لتعديل النماذج اللغوية الكبيرة يستخدم مؤشر هلوسات إنتي (EHI) كإشارة مكافأة لتقليل الهلوسة على مستوى الكيان في تلخيص النصوص. تظهر التجارب على نصوص الاجتماعات أن هذه الطريقة تحسن من أمانة ودقة الكيانات.
تستخدم هذه الدراسة مؤشر هلوسات الكيانات كإشارة مكافأة لتقليل توليد الكيانات الخاطئة في النصوص الملخصة بالذكاء الاصطناعي. المعايير الحالية هي مقاييس خشنة، يستخدم هذا البروتوكول مكافآت الكيانات الدقيقة لتحسين الحقائق دون تسميات بشرية. للبدء، استخدم مجموعتين رئيسيتين، بما في ذلك مجموعة بيانات نسخ الحوار لنصوص الاجتماعات متعددة الأدوار ومعيار تلخيص أخبار XSum.
نظف كل مجموعة بيانات، وقم بتسطيح البيانات، وقسمها إلى مجموعات تدريب بنسبة 80٪، و10٪ تحقق، و10٪ اختبار. إجراء الترميز واستخراج الكيانات باستخدام نموذج NER القائم على المحولات D slim/NER القائم على BERT لضمان التأريض القوي. توليد ملخصات أولية في وضع الطلقة الصفرية باستخدام البحث الشعاعي بعرض أربعة لتقدير انتشار الهلوسة بشكل أساسي.
احسب مؤشر هلوسة الكيان كمقياس على مستوى الكيان خال من المرجع يصنف الكيانات إلى خمسة عوامل لقياس الوفاء. كافئ الاستخلاص والهلوسات الإيجابية وعاقب الهلوسات السلبية، والكائنات المفرطة التركيز، وفقدان التركيز. حدد دالة المكافأة لتكون متناسبة مع ولاء الكيانات وتعظيم المكافأة المتوقعة ل EHI عبر الملخصات المولدة.
تطبيق آلية تحديث النمط المعززة لتحسين معلمات النموذج نحو تعظيم ولاء الكيانات. استخدم تكييف الرتبة المنخفضة لتمكين ضبط دقيق فعال للمعاملات وتحديث محولات LoRA فقط مع الحفاظ على أوزان النموذج الأساسي مجمدة. ثم قم بتطبيق تحديثات تدرج السياسات لتشجيع نتائج مكافآت أعلى وإعادة توليد ملخصات لكل 500 تحديث لتحديث تقديرات المكافآت.
وأخيرا، قم بإنشاء ملخصات نهائية باستخدام النماذج المضبوطة بدقة ومقارنتها بنتائج الأساس. تقييم النماذج من حيث المعلومات باستخدام روج واحد، روج اثنان، وروج L، والطلاقة والاتساق الواقعي باستخدام قواعد التحليل المعلوماتي وCAGs. قلل ضبط EHI الدقيق من الهلوسات وحسن الحقائق عبر النماذج ومجموعات البيانات مع تحولات يمينية في EHI، كما أكدت توزيعات CC الحقائق زيادة في أمانة الكيانات والاتساق الواقعي، بينما بقيت درجات CAGS إلى حد كبير دون تغيير.
تم تقليل أنواع الهلوسة الضارة مثل السلبية، والتركيز الزائد، وفقدان التركيز في ميسترال بعد الضبط الدقيق، بينما تضاعف عامل الاستخلاص تقريبا. أظهر تحليل الارتباط أن EHI وCAGS لهما ارتباط ضعيف في Mistral وDistilBART، لكن Flan-T5 أظهر ارتباطا إيجابيا أقوى. يمكن للباحثين قياس ولاء الكيان ومعدلات الهلوسة في ملخصات باستخدام إشارة المكافأة الآلية EHI.
التحدي الأهم هو دقة NER، حيث يمكن أن تنتقل أخطاء الاستخراج إلى حسابات غير صحيحة للمكافأة أثناء التدريب. يمكن للدراسات المستقبلية دمج الحل المرجعي المشترك ومكافآت المعلومات لتحقيق توازن أفضل بين الأمانة والتغطية الملخصة.
View the full transcript and gain access to thousands of scientific videos
Overview
This article presents a novel reward-driven fine-tuning framework for large language models (LLMs) aimed at reducing entity-level hallucinations in abstractive summarization. By leveraging the Entity Hallucination Index (EHI) as a guiding metric, the approach enhances the factual accuracy of generated summaries without sacrificing informativeness or generalizability.
Key Study Components
Area of Science
- Natural Language Processing
- Machine Learning
- Text Summarization
Background
- LLMs have significantly improved abstractive summarization quality.
- Entity-level hallucination, where incorrect or fabricated entities appear in summaries, remains a major challenge.
- Existing models often struggle to balance informativeness and factual accuracy.
- Metrics to directly penalize hallucinated entities are underexplored in model training.
Purpose of Study
- To develop a fine-tuning framework that reduces entity hallucination in summarization models.
- To introduce and utilize the Entity Hallucination Index (EHI) as a reward signal.
- To demonstrate improved factuality and robustness in LLM-generated summaries.
Methods Used
- Initial summaries generated using pre-trained models (e.g., Flan-T5, DistilBART, Mistral) on structured transcript datasets such as XSUM.
- Named entity extraction from both generated summaries and gold reference summaries.
- Calculation of EHI by evaluating entity precision and penalizing fabricated entities.
- Reinforcement learning fine-tuning using a REINFORCE-style update mechanism with EHI as the reward signal.
Main Results
- Fine-tuned models exhibited lower rates of entity hallucination.
- Informativeness of summaries was maintained despite reduced hallucination.
- EHI-guided models demonstrated better generalization on out-of-domain summarization tasks.
- Enhanced robustness and factual accuracy were observed in experimental evaluations.
Conclusions
- The EHI-based reward framework effectively reduces entity-level hallucinations in LLM summarization.
- Factuality and informativeness can be jointly optimized using this approach.
- The method offers a practical direction for improving the reliability of automated summarization systems.
Frequently Asked Questions
Executive Industry Relevance
Entity-level hallucination in large language model (LLM) summarization poses a significant risk to data integrity and decision-making in biopharma R&D. The Entity Hallucination Index (EHI)-guided fine-tuning framework directly addresses this challenge, enabling more reliable extraction of factual insights from scientific and operational text sources. Enhanced factuality in automated summarization supports higher predictive confidence and reduces downstream risk in knowledge-driven pipelines.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Improves accuracy of literature and data mining for target identification by minimizing fabricated entities.
- Supports mechanistic de-risking by ensuring extracted entities reflect true biological relationships.
- Enables more confident hypothesis generation from automated text summarization outputs.
Screening & Assay Development
- Facilitates standardized extraction of assay targets and conditions from diverse documentation sources.
- Reduces risk of propagating incorrect entity information into screening workflows.
- Supports reproducibility by maintaining entity fidelity across automated summaries.
Translational & Preclinical Research
- Enhances mapping of preclinical findings to disease-relevant entities by reducing hallucination.
- Improves continuity of entity tracking from discovery through preclinical validation phases.
- Supports risk-adjusted advancement by providing more reliable entity-level evidence.
Pipeline & Workflow Integration
The EHI-guided fine-tuning framework integrates into the informatics layer of discovery, screening, and translational research pipelines, supporting robust entity extraction and summarization.
- Discovery Biology: Enables hypothesis testing and pathway clarification by ensuring entity accuracy in mined summaries.
- Screening: Provides reproducible, entity-faithful summaries for assay documentation and compound evaluation.
- Analytics: Delivers quantitative EHI scores to benchmark and compare summarization outputs across conditions.
- Translational Research: Maintains entity fidelity for biomarker and disease mapping when moving from discovery to preclinical stages.
- Enterprise Reuse: Establishes a scalable, reward-driven summarization capability for diverse biopharma text sources.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence and reduces mechanistic ambiguity in text-derived insights.
- Operational Value: Standardizes entity extraction and summary generation across teams and projects.
- Strategic Value: Supports better go/no-go decisions by improving the reliability of automated knowledge extraction.
- Portfolio Impact: Enables risk-adjusted prioritization by reducing the propagation of incorrect entity data.
Implementation Considerations
- Requires expertise in natural language processing and reinforcement learning for model fine-tuning.
- Needs access to structured transcript datasets and gold-standard reference summaries for EHI computation.
- Demands cross-team agreement on entity definitions and extraction standards.
- May require adaptation of EHI thresholds for different biomedical domains or document types.
- Dependent on the quality of initial pre-trained models and reference data for optimal performance.
