Ajuste fino de grandes modelos de lenguaje usando el Índice de Alucinaciones de Entidades para la Resumen de Texto

Este estudio utiliza el Índice de Alucinaciones de Entidades como señal de recompensa para reducir la generación incorrecta de entidades en textos resumidos por IA. Las métricas actuales son dos groseras, este protocolo emplea recompensas de entidades detalladas para mejorar la factualidad sin etiquetas humanas. Para empezar, utiliza dos corpus principales, incluyendo un conjunto de datos de transcripción de diálogos con transcripciones de reuniones de varios turnos y el punto de referencia de resumen XSum News.

Limpia cada conjunto de datos, aplana los datos y particiónalos en conjuntos del 80% de entrenamiento, 10% de validación y 10% de prueba. Realizar la tokenización y extracción de entidades utilizando un NER modelo D slim/BERT basado en transformadores para asegurar una conexión a tierra robusta. Genera resúmenes iniciales en modo de disparo cero usando búsqueda por haz con un ancho de cuatro para estimar la prevalencia basal de alucinaciones.

Calcula el índice de alucinaciones de entidades como una métrica a nivel de entidad libre de referencias que categoriza las entidades en cinco factores para cuantificar la fidelidad. Recompensa la extracción, las alucinaciones positivas y penaliza las alucinaciones negativas, las entidades sobreenfocadas y la pérdida de concentración. Define la función de recompensa como proporcional a la fidelidad de la entidad y maximiza la recompensa EHI esperada entre los resúmenes generados.

Aplicar un mecanismo reforzado de actualización de estilo para optimizar los parámetros del modelo y maximizar la fidelidad de la entidad. Utiliza adaptación de rango bajo para permitir un ajuste fino eficiente en parámetros y actualiza solo los adaptadores LoRA manteniendo congelados los pesos base del modelo. Luego aplica actualizaciones de gradiente de políticas para fomentar mayores resultados de recompensa y regenera resúmenes cada 500 actualizaciones para refrescar las estimaciones de recompensas.

Finalmente, genera resúmenes finales utilizando los modelos ajustados y compáralos con los resultados de referencia. Evalúa los modelos para la información usando Rouge uno, Rouge dos y Rouge L, fluidez y consistencia fáctica usando datos CC y CAGs. El ajuste fino de EHI redujo alucinaciones y mejoró la factualidad en modelos y conjuntos de datos con desplazamientos hacia la derecha en EHI, y distribuciones de CC de hechos que confirmaron una mayor fidelidad a las entidades y consistencia fáctica, mientras que las puntuaciones CAGS permanecieron en gran medida sin cambios.

Los tipos de alucinaciones dañinas negativas, sobrefocalizadas y pérdida de enfoque se redujeron en Mistral tras el ajuste fino, mientras que el factor de extracción casi se duplicó. El análisis de correlación mostró que EHI y CAGS tenían una correlación débil en Mistral y DistilBART, pero Flan-T5 mostró una correlación positiva más fuerte. Los investigadores pueden medir la fidelidad a nivel de entidad y las tasas de alucinaciones en resúmenes utilizando la señal automática de recompensa EHI.

El desafío más crítico es la precisión en el NER, ya que los errores de extracción pueden derivar en cálculos incorrectos de recompensa durante el entrenamiento. Estudios futuros pueden integrar recompensas de co-referencia y informatividad para equilibrar mejor la fidelidad con la cobertura resumida.