텍스트 요약을 위한 엔터티 환각 지수를 이용한 대규모 언어 모델 미세 조정
January 9th, 2026
우리는 Enti 환각 지수(EHI)를 보상 신호로 사용하여 텍스트 요약에서 개체 수준의 환각을 줄이고자 하는 강화 학습 기반의 미세 조정 방식을 제안합니다. 회의 기록에 대한 실험은 이 방법이 엔터티의 충실성과 정확성을 향상시키는 것으로 나타났습니다.
이 연구는 AI 요약 텍스트에서 잘못된 개체 생성을 줄이기 위해 엔터티 환각 지수를 보상 신호로 사용합니다. 현재 지표는 두 가지 거친 형태로, 이 프로토콜은 인간의 라벨 없이 사실성을 향상시키기 위해 세밀한 개체 보상을 사용합니다. 우선, 다중 턴 회의 기록을 담은 대화 전사 데이터셋과 XSum 뉴스 요약 벤치마크를 포함한 두 가지 주요 말뭉치를 사용하세요.
각 데이터 세트를 정리하고 평탄화한 뒤, 80% 학습, 10% 검증, 10% 테스트 세트로 나누세요. 트랜스포머 기반 NER 모델 D 슬림/BERT 기반 NER을 사용하여 토큰화 및 엔터티 추출을 수행하여 견고한 접지성을 보장합니다. 빔 서치(폭 4)를 사용해 제로 샷 모드에서 초기 요약을 생성하여 기초 환각 유병률을 추정합니다.
참조 없는 개체 수준 지표로 대상체 환각 지수를 계산하여 개체를 다섯 가지 요인으로 분류하여 충실도를 정량화합니다. 추출 성향과 긍정적인 환각에는 보상하고, 부정적인 환각, 과도하게 집중된 존재, 집중력 상실에는 벌을 주어야 합니다. 보상 함수를 엔터티 충실성도에 비례하도록 정의하고, 생성된 요약 전반에 걸쳐 기대되는 EHI 보상을 최대화하세요.
강화된 스타일 업데이트 메커니즘을 적용하여 모델 매개변수를 최적화하여 엔터티 충실도를 극대화합니다. 낮은 랭크 적응을 사용해 매개변수 효율적인 미세 조정을 가능하게 하고, 기본 모델 가중치는 고정한 채 LoRA 어댑터만 업데이트하세요. 그 다음 정책 구배 업데이트를 적용해 보상 산출량을 높이고, 500회 업데이트마다 요약을 재생성하여 보상 추정치를 갱신합니다.
마지막으로, 세밀하게 조정된 모델을 사용해 최종 요약을 생성하고 이를 기준 결과와 비교하세요. Rouge 1, Rouge 2, Rouge L을 사용하여 정보성 모델을 평가하고, 유창성과 사실 일관성을 사실 CC와 CAG를 사용해 평가합니다. EHI의 미세 조정은 환각을 줄이고 모델과 데이터셋 간 사실성을 개선했으며, EHI는 우측으로 이동했으며, 사실 CC 분포는 실체 충실성과 사실 일관성이 증가했음을 확인했으며, CAGS 점수는 거의 변함이 없었다.
미세조정 후 미스트랄에서는 부정적, 과집중, 집중력 상실과 같은 해로운 환각이 줄었고, 추출 계수는 거의 두 배로 증가했다. 상관관계 분석 결과 EHI와 CAGS는 Mistral과 DistilBART에서 약한 상관관계를 보였으나, Flan-T5는 더 강한 양의 상관관계를 보였습니다. 연구자들은 자동화된 EHI 보상 신호를 사용하여 요약에서 엔터티 수준의 충실도와 환각률을 측정할 수 있습니다.
가장 중요한 도전은 NER 정확도로, 추출 오류가 훈련 중 잘못된 보상 계산으로 이어질 수 있습니다. 향후 연구에서는 공동참조 해소와 정보 보상을 통합하여 충실성과 요약 범위의 균형을 더 잘 맞출 수 있습니다.
View the full transcript and gain access to thousands of scientific videos
Overview
This article presents a novel reward-driven fine-tuning framework for large language models (LLMs) aimed at reducing entity-level hallucinations in abstractive summarization. By leveraging the Entity Hallucination Index (EHI) as a guiding metric, the approach enhances the factual accuracy of generated summaries without sacrificing informativeness or generalizability.
Key Study Components
Area of Science
- Natural Language Processing
- Machine Learning
- Text Summarization
Background
- LLMs have significantly improved abstractive summarization quality.
- Entity-level hallucination, where incorrect or fabricated entities appear in summaries, remains a major challenge.
- Existing models often struggle to balance informativeness and factual accuracy.
- Metrics to directly penalize hallucinated entities are underexplored in model training.
Purpose of Study
- To develop a fine-tuning framework that reduces entity hallucination in summarization models.
- To introduce and utilize the Entity Hallucination Index (EHI) as a reward signal.
- To demonstrate improved factuality and robustness in LLM-generated summaries.
Methods Used
- Initial summaries generated using pre-trained models (e.g., Flan-T5, DistilBART, Mistral) on structured transcript datasets such as XSUM.
- Named entity extraction from both generated summaries and gold reference summaries.
- Calculation of EHI by evaluating entity precision and penalizing fabricated entities.
- Reinforcement learning fine-tuning using a REINFORCE-style update mechanism with EHI as the reward signal.
Main Results
- Fine-tuned models exhibited lower rates of entity hallucination.
- Informativeness of summaries was maintained despite reduced hallucination.
- EHI-guided models demonstrated better generalization on out-of-domain summarization tasks.
- Enhanced robustness and factual accuracy were observed in experimental evaluations.
Conclusions
- The EHI-based reward framework effectively reduces entity-level hallucinations in LLM summarization.
- Factuality and informativeness can be jointly optimized using this approach.
- The method offers a practical direction for improving the reliability of automated summarization systems.
Frequently Asked Questions
Executive Industry Relevance
Entity-level hallucination in large language model (LLM) summarization poses a significant risk to data integrity and decision-making in biopharma R&D. The Entity Hallucination Index (EHI)-guided fine-tuning framework directly addresses this challenge, enabling more reliable extraction of factual insights from scientific and operational text sources. Enhanced factuality in automated summarization supports higher predictive confidence and reduces downstream risk in knowledge-driven pipelines.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Improves accuracy of literature and data mining for target identification by minimizing fabricated entities.
- Supports mechanistic de-risking by ensuring extracted entities reflect true biological relationships.
- Enables more confident hypothesis generation from automated text summarization outputs.
Screening & Assay Development
- Facilitates standardized extraction of assay targets and conditions from diverse documentation sources.
- Reduces risk of propagating incorrect entity information into screening workflows.
- Supports reproducibility by maintaining entity fidelity across automated summaries.
Translational & Preclinical Research
- Enhances mapping of preclinical findings to disease-relevant entities by reducing hallucination.
- Improves continuity of entity tracking from discovery through preclinical validation phases.
- Supports risk-adjusted advancement by providing more reliable entity-level evidence.
Pipeline & Workflow Integration
The EHI-guided fine-tuning framework integrates into the informatics layer of discovery, screening, and translational research pipelines, supporting robust entity extraction and summarization.
- Discovery Biology: Enables hypothesis testing and pathway clarification by ensuring entity accuracy in mined summaries.
- Screening: Provides reproducible, entity-faithful summaries for assay documentation and compound evaluation.
- Analytics: Delivers quantitative EHI scores to benchmark and compare summarization outputs across conditions.
- Translational Research: Maintains entity fidelity for biomarker and disease mapping when moving from discovery to preclinical stages.
- Enterprise Reuse: Establishes a scalable, reward-driven summarization capability for diverse biopharma text sources.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence and reduces mechanistic ambiguity in text-derived insights.
- Operational Value: Standardizes entity extraction and summary generation across teams and projects.
- Strategic Value: Supports better go/no-go decisions by improving the reliability of automated knowledge extraction.
- Portfolio Impact: Enables risk-adjusted prioritization by reducing the propagation of incorrect entity data.
Implementation Considerations
- Requires expertise in natural language processing and reinforcement learning for model fine-tuning.
- Needs access to structured transcript datasets and gold-standard reference summaries for EHI computation.
- Demands cross-team agreement on entity definitions and extraction standards.
- May require adaptation of EHI thresholds for different biomedical domains or document types.
- Dependent on the quality of initial pre-trained models and reference data for optimal performance.
