Ajuste fino de grandes modelos de lenguaje usando el Índice de Alucinaciones de Entidades para la Resumen de Texto
9 de enero de 2026
Proponemos un enfoque de ajuste fino basado en aprendizaje por refuerzo para grandes modelos de lenguaje que utiliza el Índice de Alucinaciones de Enti (EHI) como señal de recompensa para reducir las alucinaciones a nivel de entidad en la resumen de texto. Los experimentos con transcripciones de reuniones muestran que este método mejora la fidelidad y precisión de las entidades.
Este estudio utiliza el Índice de Alucinaciones de Entidades como señal de recompensa para reducir la generación incorrecta de entidades en textos resumidos por IA. Las métricas actuales son dos groseras, este protocolo emplea recompensas de entidades detalladas para mejorar la factualidad sin etiquetas humanas. Para empezar, utiliza dos corpus principales, incluyendo un conjunto de datos de transcripción de diálogos con transcripciones de reuniones de varios turnos y el punto de referencia de resumen XSum News.
Limpia cada conjunto de datos, aplana los datos y particiónalos en conjuntos del 80% de entrenamiento, 10% de validación y 10% de prueba. Realizar la tokenización y extracción de entidades utilizando un NER modelo D slim/BERT basado en transformadores para asegurar una conexión a tierra robusta. Genera resúmenes iniciales en modo de disparo cero usando búsqueda por haz con un ancho de cuatro para estimar la prevalencia basal de alucinaciones.
Calcula el índice de alucinaciones de entidades como una métrica a nivel de entidad libre de referencias que categoriza las entidades en cinco factores para cuantificar la fidelidad. Recompensa la extracción, las alucinaciones positivas y penaliza las alucinaciones negativas, las entidades sobreenfocadas y la pérdida de concentración. Define la función de recompensa como proporcional a la fidelidad de la entidad y maximiza la recompensa EHI esperada entre los resúmenes generados.
Aplicar un mecanismo reforzado de actualización de estilo para optimizar los parámetros del modelo y maximizar la fidelidad de la entidad. Utiliza adaptación de rango bajo para permitir un ajuste fino eficiente en parámetros y actualiza solo los adaptadores LoRA manteniendo congelados los pesos base del modelo. Luego aplica actualizaciones de gradiente de políticas para fomentar mayores resultados de recompensa y regenera resúmenes cada 500 actualizaciones para refrescar las estimaciones de recompensas.
Finalmente, genera resúmenes finales utilizando los modelos ajustados y compáralos con los resultados de referencia. Evalúa los modelos para la información usando Rouge uno, Rouge dos y Rouge L, fluidez y consistencia fáctica usando datos CC y CAGs. El ajuste fino de EHI redujo alucinaciones y mejoró la factualidad en modelos y conjuntos de datos con desplazamientos hacia la derecha en EHI, y distribuciones de CC de hechos que confirmaron una mayor fidelidad a las entidades y consistencia fáctica, mientras que las puntuaciones CAGS permanecieron en gran medida sin cambios.
Los tipos de alucinaciones dañinas negativas, sobrefocalizadas y pérdida de enfoque se redujeron en Mistral tras el ajuste fino, mientras que el factor de extracción casi se duplicó. El análisis de correlación mostró que EHI y CAGS tenían una correlación débil en Mistral y DistilBART, pero Flan-T5 mostró una correlación positiva más fuerte. Los investigadores pueden medir la fidelidad a nivel de entidad y las tasas de alucinaciones en resúmenes utilizando la señal automática de recompensa EHI.
El desafío más crítico es la precisión en el NER, ya que los errores de extracción pueden derivar en cálculos incorrectos de recompensa durante el entrenamiento. Estudios futuros pueden integrar recompensas de co-referencia y informatividad para equilibrar mejor la fidelidad con la cobertura resumida.
Vea la transcripción completa y acceda a miles de videos científicos
Descripción general
Este artículo presenta un marco novedoso de ajuste fino guiado por recompensas para modelos grandes de lenguaje (LLMs) destinado a reducir las alucinaciones a nivel de entidad en la generación de resúmenes abstractivos. Al aprovechar el Índice de Alucinación de Entidades (EHI) como métrica orientadora, el enfoque mejora la precisión factual de los resúmenes generados sin sacrificar la informatividad ni la generalización.
Componentes Clave del Estudio
Área de la Ciencia
- Procesamiento del Lenguaje Natural
- Aprendizaje Automático
- Resumen de Texto
Antecedentes
- Los modelos de lenguaje grandes han mejorado significativamente la calidad de la sumarización abstractiva.
- La alucinación a nivel de entidades, en la que aparecen entidades incorrectas o inventadas en los resúmenes, sigue siendo un desafío importante.
- Los modelos existentes a menudo tienen dificultades para equilibrar la informatividad y la precisión fáctica.
- Las métricas para penalizar directamente las entidades alucinadas están poco exploradas en el entrenamiento de modelos.
Objetivo del estudio
- Desarrollar un marco de ajuste fino que reduzca la alucinación de entidades en modelos de resumen.
- Presentar y utilizar el Índice de Alucinación de Entidades (EHI) como señal de recompensa.
- Mostrar una mayor fidelidad y robustez en resúmenes generados por modelos de lenguaje grandes (LLM).
Métodos Utilizados
- Resúmenes iniciales generados mediante modelos preentrenados (por ejemplo, Flan-T5, DistilBART, Mistral) en conjuntos de datos estructurados de transcripciones, como XSUM.
- Extracción de entidades nombradas tanto de los resúmenes generados como de los resúmenes de referencia de referencia.
- Cálculo del EHI mediante la evaluación de la precisión de entidades y la penalización de entidades fabricadas.
- Ajuste fino mediante aprendizaje por refuerzo utilizando un mecanismo de actualización de estilo REINFORCE con el EHI como señal de recompensa.
Resultados principales
- Los modelos ajustados mostraron tasas más bajas de alucinación de entidades.
- La informatividad de los resúmenes se mantuvo a pesar de la reducción en alucinaciones.
- Los modelos guiados por EHI demostraron una mejor generalización en tareas de resumen fuera del dominio.
- Se observó una mayor robustez y precisión factual en las evaluaciones experimentales.
Conclusiones
- El marco de recompensas basado en EHI reduce eficazmente las alucinaciones a nivel de entidad en la sumarización mediante modelos lingüísticos grandes (LLM).
- La veracidad y la informatividad pueden optimizarse conjuntamente utilizando este enfoque.
- El método ofrece una dirección práctica para mejorar la fiabilidad de los sistemas automatizados de sumarización.
Preguntas frecuentes
Relevancia Ejecutiva para la Industria
La alucinación a nivel de entidad en la resumen generado por modelos de lenguaje grandes (LLM) representa un riesgo significativo para la integridad de los datos y la toma de decisiones en la industria biofarmacéutica&D. El marco de ajuste fino guiado por el Índice de Alucinación de Entidades (EHI, por sus siglas en inglés) aborda directamente este desafío, permitiendo una extracción más confiable de información factual a partir de fuentes de texto científico y operativo. Una mayor facticidad en el resumen automatizado respalda una mayor confianza predictiva y reduce el riesgo en etapas posteriores dentro de los flujos de trabajo basados en conocimiento.
Aplicaciones Estratégicas en Biofármacos R&D
Descubrimiento Temprano y Validación de Blancos
- Mejora la precisión de la minería de literatura y datos para la identificación de objetivos al minimizar las entidades fabricadas.
- Apoya la reducción de riesgos mecanicistas al garantizar que las entidades extraídas reflejen relaciones biológicas reales.
- Permite generar hipótesis con mayor confianza a partir de los resultados de resúmenes de texto automatizados.
Desarrollo de ensayos y cribado
- Facilita la extracción estandarizada de objetivos y condiciones de ensayos a partir de diversas fuentes de documentación.
- Reduce el riesgo de propagar información incorrecta sobre entidades en los flujos de trabajo de cribado.
- Apoya la reproducibilidad al mantener la fidelidad de las entidades en resúmenes automatizados.
Investigación Traductacional y Preclínica
- Mejora la correlación de hallazgos preclínicos con entidades relevantes para la enfermedad al reducir las alucinaciones.
- Mejora la continuidad del seguimiento de entidades desde el descubrimiento hasta las fases de validación preclínica.
- Apoya el avance ajustado al riesgo al proporcionar evidencia más confiable a nivel de entidades.
Integración de la tubería y flujo de trabajo
El marco de ajuste fino guiado por EHI se integra en la capa de informática de los procesos de descubrimiento, cribado e investigación traslacional, facilitando la extracción y resumización robustas de entidades.
- Biología del Descubrimiento: Permite la verificación de hipótesis y la aclaración de vías al garantizar la precisión de las entidades en los resúmenes obtenidos.
- Tamizaje: Proporciona resúmenes reproducibles y fieles a las entidades para la documentación de ensayos y la evaluación de compuestos.
- Análisis: Ofrece puntuaciones cuantitativas de EHI para establecer referencias y comparar resultados de resumenes bajo distintas condiciones.
- Investigación Traducional: Mantiene la fidelidad de las entidades en la identificación de biomarcadores y la correlación con enfermedades al pasar de la fase de descubrimiento a las etapas preclínicas.
- Reutilización Empresarial: Establece una capacidad de resumir escalable y basada en recompensas para diversas fuentes de texto en el sector biofarmacéutico.
Impacto Operativo y Empresarial
- Valor científico: Aumenta la confianza predictiva y reduce la ambigüedad mecanicista en los conocimientos derivados del texto.
- Valor operativo: Estandariza la extracción de entidades y la generación de resúmenes entre equipos y proyectos.
- Valor estratégico: Apoya decisiones más sólidas de continuar/no continuar al mejorar la fiabilidad de la extracción automatizada de conocimiento.
- Impacto en la cartera: Permite una priorización ajustada al riesgo al reducir la propagación de datos erróneos de entidades.
Consideraciones de Implementación
- Requiere experiencia en procesamiento de lenguaje natural y aprendizaje por refuerzo para el ajuste fino del modelo.
- Necesita acceso a conjuntos de datos estructurados de transcripciones y resúmenes de referencia de estándar oro para el cálculo del EHI.
- Exige un acuerdo entre equipos sobre las definiciones de entidades y los estándares de extracción.
- Puede requerir la adaptación de los umbrales del EHI para diferentes dominios biomédicos o tipos de documentos.
- Depende de la calidad de los modelos preentrenados iniciales y de los datos de referencia para un rendimiento óptimo.
