エンティティ幻覚インデックスを用いた大規模言語モデルの微調整によるテキスト要約
January 9th, 2026
我々は、エンティ幻覚指数(EHI)を報酬シグナルとして用い、テキスト要約におけるエンティティレベルの幻覚を減らす強化学習ベースの微調整アプローチを大規模言語モデルに提案します。会議の書き起こしに関する実験では、この手法がエンティティの忠実性と正確性を向上させることが示されています。
本研究は、エンティティ幻覚指数を報酬シグナルとして用いて、AIによる要約テキストにおける誤ったエンティティ生成を減らすことを目的としています。現在の指標は2つの粗いもので、このプロトコルは人間のラベルを付けずに事実性を向上させるために細かいエンティティ報酬を用いています。まず、複数ターンの会議記録の対話文字起こしデータセットとXSum Newsの要約ベンチマークを含む2つの主要なコーパスを使用します。
各データセットをクリーンアップし、フラット化して80%トレーニングセット、10%検証セット、10%テストセットに分割します。トランスフォーマーベースのNERモデルDスリム/BERTベースのNERを用いてトークン化とエンティティ抽出を行い、堅牢なグラウンディングを確保します。ビームサーチを用いて幅4のゼロショットモードで初期要約を作成し、ベースライン幻覚の有病率を推定します。
エンティティ幻覚指数を参照なしエンティティレベルの指標として計算し、エンティティを5つの要因に分類して忠実度を定量化します。抽出性やポジティブな幻覚を報い、ネガティブな幻覚、過度に集中した存在、集中力の喪失には罰せます。報酬関数をエンティティの忠実度に比例させ、生成された総括で期待されるEHI報酬を最大化します。
強化スタイル更新メカニズムを適用し、エンティティ忠実性を最大化するためにモデルパラメータを最適化します。低ランク適応を使ってパラメータ効率の良い微調整を可能にし、LoRAアダプターのみを更新し、ベースモデルの重みは凍結します。その後、ポリシーの勾配更新を適用して報酬の出力を増やし、500回の更新ごとに要約を再生成して報酬見積もりを更新します。
最後に、微調整されたモデルを使って最終的な要約を作成し、ベースライン結果と比較します。Rouge 1、Rouge 2、Rouge Lを用いて情報性を評価し、事実CCとCAGを用いて流暢さと事実の一貫性を評価します。EHIの微調整により、モデルやデータセット間で幻覚が減少し事実性が向上し、EHIが右傾し、事実CC分布がエンティティの忠実さと事実の一貫性が高まったことを確認し、CAGSスコアはほぼ変わっていませんでした。
ミストラルでは、マイナス、過剰集中、集中喪失といった有害な幻覚が減少し、抽出性はほぼ倍増しました。相関解析では、EhiとCAGSはMistralとDistilBARTで弱い相関を示しましたが、Flan-T5はより強い正の相関を示しました。研究者は自動EHI報酬信号を用いて、エンティティレベルの忠実度と幻覚率を要約で測定できます。
最も重要な課題はNERの精度であり、抽出誤差がトレーニング中の誤った報酬計算に影響することがあります。今後の研究では、共参照の解決や情報提供の報酬を統合し、忠実さと要約カバレッジのバランスをより良く調整できるでしょう。
View the full transcript and gain access to thousands of scientific videos
Overview
This article presents a novel reward-driven fine-tuning framework for large language models (LLMs) aimed at reducing entity-level hallucinations in abstractive summarization. By leveraging the Entity Hallucination Index (EHI) as a guiding metric, the approach enhances the factual accuracy of generated summaries without sacrificing informativeness or generalizability.
Key Study Components
Area of Science
- Natural Language Processing
- Machine Learning
- Text Summarization
Background
- LLMs have significantly improved abstractive summarization quality.
- Entity-level hallucination, where incorrect or fabricated entities appear in summaries, remains a major challenge.
- Existing models often struggle to balance informativeness and factual accuracy.
- Metrics to directly penalize hallucinated entities are underexplored in model training.
Purpose of Study
- To develop a fine-tuning framework that reduces entity hallucination in summarization models.
- To introduce and utilize the Entity Hallucination Index (EHI) as a reward signal.
- To demonstrate improved factuality and robustness in LLM-generated summaries.
Methods Used
- Initial summaries generated using pre-trained models (e.g., Flan-T5, DistilBART, Mistral) on structured transcript datasets such as XSUM.
- Named entity extraction from both generated summaries and gold reference summaries.
- Calculation of EHI by evaluating entity precision and penalizing fabricated entities.
- Reinforcement learning fine-tuning using a REINFORCE-style update mechanism with EHI as the reward signal.
Main Results
- Fine-tuned models exhibited lower rates of entity hallucination.
- Informativeness of summaries was maintained despite reduced hallucination.
- EHI-guided models demonstrated better generalization on out-of-domain summarization tasks.
- Enhanced robustness and factual accuracy were observed in experimental evaluations.
Conclusions
- The EHI-based reward framework effectively reduces entity-level hallucinations in LLM summarization.
- Factuality and informativeness can be jointly optimized using this approach.
- The method offers a practical direction for improving the reliability of automated summarization systems.
Frequently Asked Questions
Executive Industry Relevance
Entity-level hallucination in large language model (LLM) summarization poses a significant risk to data integrity and decision-making in biopharma R&D. The Entity Hallucination Index (EHI)-guided fine-tuning framework directly addresses this challenge, enabling more reliable extraction of factual insights from scientific and operational text sources. Enhanced factuality in automated summarization supports higher predictive confidence and reduces downstream risk in knowledge-driven pipelines.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Improves accuracy of literature and data mining for target identification by minimizing fabricated entities.
- Supports mechanistic de-risking by ensuring extracted entities reflect true biological relationships.
- Enables more confident hypothesis generation from automated text summarization outputs.
Screening & Assay Development
- Facilitates standardized extraction of assay targets and conditions from diverse documentation sources.
- Reduces risk of propagating incorrect entity information into screening workflows.
- Supports reproducibility by maintaining entity fidelity across automated summaries.
Translational & Preclinical Research
- Enhances mapping of preclinical findings to disease-relevant entities by reducing hallucination.
- Improves continuity of entity tracking from discovery through preclinical validation phases.
- Supports risk-adjusted advancement by providing more reliable entity-level evidence.
Pipeline & Workflow Integration
The EHI-guided fine-tuning framework integrates into the informatics layer of discovery, screening, and translational research pipelines, supporting robust entity extraction and summarization.
- Discovery Biology: Enables hypothesis testing and pathway clarification by ensuring entity accuracy in mined summaries.
- Screening: Provides reproducible, entity-faithful summaries for assay documentation and compound evaluation.
- Analytics: Delivers quantitative EHI scores to benchmark and compare summarization outputs across conditions.
- Translational Research: Maintains entity fidelity for biomarker and disease mapping when moving from discovery to preclinical stages.
- Enterprise Reuse: Establishes a scalable, reward-driven summarization capability for diverse biopharma text sources.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence and reduces mechanistic ambiguity in text-derived insights.
- Operational Value: Standardizes entity extraction and summary generation across teams and projects.
- Strategic Value: Supports better go/no-go decisions by improving the reliability of automated knowledge extraction.
- Portfolio Impact: Enables risk-adjusted prioritization by reducing the propagation of incorrect entity data.
Implementation Considerations
- Requires expertise in natural language processing and reinforcement learning for model fine-tuning.
- Needs access to structured transcript datasets and gold-standard reference summaries for EHI computation.
- Demands cross-team agreement on entity definitions and extraction standards.
- May require adaptation of EHI thresholds for different biomedical domains or document types.
- Dependent on the quality of initial pre-trained models and reference data for optimal performance.
