使用实体幻觉指数微调大语言模型以实现文本摘要
2026年1月9日
我们提出一种基于强化学习的大型语言模型微调方法，该方法使用实体幻觉指数（Enti Hallucination Index, EHI）作为奖励信号，以减少文本摘要中的实体级别幻觉。在会议记录上的实验表明，该方法可提高实体的忠实性和准确性。
本研究采用实体幻觉指数作为奖励信号，以减少人工智能生成摘要文本中的错误实体生成。现有指标过于粗略，而本方案利用细粒度的实体奖励，在无需人工标注的情况下提升生成内容的事实性。首先，使用两个主要语料库，包括多轮会议记录的对话转录数据集以及XSum新闻摘要基准。
对每个数据集进行清洗，展平数据，并将其划分为80%训练集、10%验证集和10%测试集。使用基于Transformer的命名实体识别模型D slim/BERT-based NER进行分词和实体抽取，以确保扎实的语义对齐。在零样本模式下，采用宽度为4的束搜索生成初始摘要，以评估基线幻觉出现频率。
将实体幻觉指数（entity hallucination index, EHI）作为无需参考文本的实体级别指标进行计算，该指标将实体划分为五个因素以量化忠实度。奖励提取性和正向幻觉，惩罚负向幻觉、过度聚焦的实体以及注意力缺失的实体。定义奖励函数与实体忠实度成正比，并在生成的摘要中最大化期望的 EHI 奖励。
应用强化的样式更新机制，以优化模型参数，从而最大化实体忠实度。采用低秩适应（LoRA）实现参数高效的微调，仅更新 LoRA 适配器，同时保持基础模型权重冻结。随后应用策略梯度更新，以鼓励产生更高奖励的输出，并每隔 500 次更新重新生成摘要，以刷新奖励估计值。
最后，使用微调后的模型生成最终摘要，并将其与基线结果进行比较。采用 Rouge-1、Rouge-2 和 Rouge-L 评估模型的信息量，使用 fact CC 和 CAGs 评估流畅性及事实一致性。EHI 微调减少了幻觉现象，提升了各模型和数据集的事实性，EHI 和 fact CC 分布向右偏移，证实了实体忠实度和事实一致性提高，而 CAGS 分数基本保持不变。
在微调后，Mistral 模型中负面、过度关注和注意力缺失等有害幻觉类型有所减少，而提取性因子几乎增加了一倍。相关性分析显示，EHI 与 CAGS 在 Mistral 和 DistilBART 中相关性较弱，而 Flan-T5 则表现出更强的正相关性。研究人员可利用自动化的 EHI 奖励信号来衡量摘要中实体级别的忠实度和幻觉发生率。
最关键的挑战是命名实体识别（NER）的准确性，因为在训练过程中，提取错误可能导致奖励计算不正确。未来的研究可以结合共指消解和信息性奖励，以更好地平衡摘要的忠实性与覆盖范围。
查看完整文字稿并访问数千部科学视频
概述
本文提出了一种新的基于奖励驱动的大型语言模型（LLM）微调框架，旨在减少抽象式摘要中的实体级幻觉现象。该方法利用实体幻觉指数（EHI）作为指导性指标，在不牺牲信息量或泛化能力的前提下，提高了生成摘要的事实准确性。
关键研究组成部分
科学领域
- 自然语言处理
- 机器学习
- 文本摘要
背景
- 大语言模型显著提升了抽象式摘要的质量。
- 实体级幻觉（即摘要中出现错误或捏造的实体）仍是主要挑战。
- 现有模型在信息丰富性与事实准确性之间的平衡方面常存在困难。
- 在模型训练中，直接惩罚幻觉实体的指标尚未得到充分探索。
研究目的
- 开发一种微调框架，以减少摘要模型中的实体幻觉现象。
- 引入并利用实体幻觉指数（EHI）作为奖励信号。
- 证明在大语言模型生成的摘要中，事实性和鲁棒性得到提升。
使用的方法
- 使用预训练模型（例如 Flan-T5、DistilBART、Mistral）在结构化转录数据集（如 XSUM）上生成初始摘要。
- 从生成的摘要和标准参考摘要中提取命名实体。
- 通过评估实体精确度并惩罚虚构实体来计算 EHI。
- 采用以 EHI 作为奖励信号的 REINFORCE 风格更新机制进行强化学习微调。
主要结果
- 经过精细调优的模型表现出更低的实体幻觉率。
- 尽管幻觉减少，摘要的信息量仍得以保持。
- 采用EHI引导的模型在跨领域摘要任务中展现出更好的泛化能力。
- 实验评估中观察到更强的鲁棒性和事实准确性。
结论
- 基于EHI的奖励框架能有效减少大语言模型摘要中的实体级幻觉。
- 该方法可同时优化摘要的事实性和信息量。
- 该方法为提升自动摘要系统的可靠性提供了切实可行的方向。
常见问题
行业重要性概述
大型语言模型（LLM）摘要中的实体级幻觉对生物制药领域的数据完整性和决策构成重大风险&D. 实体幻觉指数（EHI）引导的微调框架直接应对了这一挑战，能够从科学和操作性文本来源中更可靠地提取事实性信息。自动化摘要中事实准确性的提升有助于提高预测置信度，并降低知识驱动型流程中的下游风险。
生物制药中的战略应用&D
早期发现与靶点验证
- 通过减少虚构实体，提高文献和数据挖掘在靶点识别中的准确性。
- 通过确保提取的实体反映真实的生物学关系，支持机制层面的风险评估。
- 基于自动化文本摘要结果，实现更可靠的假设生成。
筛选与检测方法开发
- 可促进从各类文档来源中标准化提取检测目标和条件。
- 降低将错误实体信息引入筛选工作流程的风险。
- 通过在自动化摘要中保持实体一致性，支持实验的可重复性。
转化与临床前研究
- 通过减少幻觉，增强将临床前研究结果映射到疾病相关实体的能力。
- 改善从发现到临床前验证阶段的实体追踪连续性。
- 通过提供更可靠的实体层面证据，支持基于风险调整的推进决策。
流程与工作流整合
基于EHI指导的微调框架可整合到发现、筛选和转化研究流程的信息学层面，支持强大的实体提取与摘要功能。
- Discovery Biology： 通过确保挖掘出的摘要中实体的准确性，支持假设验证和通路阐明。
- Screening： 为检测记录和化合物评估提供可重复、实体忠实的摘要。
- Analytics： 提供定量的 EHI 评分，用于在不同条件下对摘要输出进行基准评估和比较。
- Translational Research： 在从发现阶段向临床前阶段推进过程中，保持生物标志物和疾病映射的实体保真性。
- Enterprise Reuse： 针对多样化的生物制药文本来源，建立可扩展、以奖励机制驱动的摘要能力。
运营与企业影响
- 科学价值：提高从文本中提取见解的预测置信度，降低机制解释的模糊性。
- 操作价值：在不同团队和项目间实现实体提取与摘要生成的标准化。
- 战略价值：通过提升自动化知识提取的可靠性，支持更优的“推进/终止”决策。
- 项目组合影响：通过减少错误实体数据的传播，实现基于风险调整的优先级排序。
实施注意事项
- 需要具备自然语言处理和强化学习方面的专业知识，以进行模型微调。
- 需要获取结构化转录数据集以及用于计算EHI的金标准参考摘要。
- 要求跨团队在实体定义和抽取标准上达成一致。
- 可能需要针对不同的生物医学领域或文档类型调整EHI阈值。
- 依赖于初始预训练模型和参考数据的质量，以实现最佳性能。
