Ajuste fino de grandes modelos de lenguaje usando el Índice de Alucinaciones de Entidades para la Resumen de Texto

Summary

Proponemos un enfoque de ajuste fino basado en aprendizaje por refuerzo para grandes modelos de lenguaje que utiliza el Índice de Alucinaciones de Enti (EHI) como señal de recompensa para reducir las alucinaciones a nivel de entidad en la resumen de texto. Los experimentos con transcripciones de reuniones muestran que este método mejora la fidelidad y precisión de las entidades.

Abstract

Los avances recientes en los grandes modelos de lenguaje (LLMs) han llevado a mejoras notables en la calidad de la sumarización abstracta. Sin embargo, la alucinación —especialmente la alucinación a nivel de entidad donde se introducen entidades inexistentes o incorrectas— sigue siendo un desafío crítico. En este trabajo, proponemos un marco de ajuste fino basado en recompensas para modelos de resumen utilizando el Índice de Alucinaciones de Entidades (EHI) como métrica guía. La metodología aquí comienza generando resúmenes iniciales a partir de modelos preentrenados como Flan-T5, DistilBART y Mistral (u otro LLM popular) en conjuntos de datos estructurados de transcripciones, XSUM. Calculamos el EHI extrayendo entidades nombradas tanto de resúmenes generados como de referencias de oro, evaluando la precisión y penalizando a las entidades fabricadas. El proceso de ajuste fino está guiado por el aprendizaje por refuerzo, donde el EHI actúa como señal de recompensa. Adoptamos un mecanismo de actualización al estilo REINFORCE para optimizar el modelo de sumarización y maximizar la fidelidad de las entidades. Los experimentos demuestran que los modelos ajustados con EHI logran tasas de alucinación más bajas sin comprometer la información. Además, mostramos que los modelos guiados por EHI generalizan mejor en tareas de resumen fuera del dominio, lo que sugiere una mayor robustez. El enfoque aquí ofrece una dirección práctica para mejorar la factualidad en la resumen, enfatizando el papel fundamental de la representación precisa de entidades.

Introduction

Los modelos de resumen abstracto, impulsados por grandes modelos de lenguaje (LLM), han logrado resultados impresionantes en diversos dominios. Sin embargo, un desafío persistente sigue siendo la alucinación, donde los resúmenes generados incluyen información incorrecta o fabricada que no está fundamentada en la entrada^{fuente 1,2}. En aplicaciones de alto riesgo como la recapitulación de reuniones, la presentación de informes médicos o la documentación financiera, las alucinaciones, especialmente las entidades nombradas, pueden minar significativamente la fiabilidad y la utilidad³.

Los investigadores de Rrealizaron una evaluación humana a gran escala y encontraron que los sumarios producen frecuentemente alucinaciones —contenido que no está respaldado por el documento fuente— y que estas alucinaciones se correlacionan con repetición e incoherencia¹. Otro estudio mostró que los modelos con mayor abstracción tienden a ser menos fieles; Su estudio informó que los resultados con mayor abstracción tenían menor precisión fáctica y más frases^{infieles 2}. El índice de referencia FRANK informó que aproximadamente el 30% de los resúmenes contienen inconsistencias fácticas, y otro estudio popular señaló tasas de error similares, argumentando que altos niveles de alucinaciones hacen que los resúmenes sean prácticamente^{inútiles 1,2}. Las alucinaciones pueden categorizarse como intrínsecas (contradiciendo la fuente) o extrínsecas (no verificables a partir de la fuente). Un tutorial sobre alucinaciones en resumen abstracto explica que las alucinaciones intrínsecas ocurren cuando el contenido generado contradice la entrada (por ejemplo, al informar erróneamente una vacuna aprobada como rechazada), mientras que las alucinaciones extrínsecas añaden hechos no verificables, como afirmar ensayos clínicos para una vacuna que no se^{mencionan 4}. También informó que los sumarios de última generación producen contenido alucinado en aproximadamente el 25% de sus resultados cuando se evaluan con ROUGE, BLEU y METEOR, y advierte que las alucinaciones pueden ser perjudiciales en ámbitos como la salud, el derecho o la ciberseguridad.

Las métricas tradicionales de n-gramas (ROUGE⁵, BLEU, METEOR) se correlacionan mal con los juicios humanos sobre la factualidad, lo que ha impulsado el desarrollo de métricas basadas y libres de^{referencias 6}. Métricas basadas en QA como FEQA y QuestEval evalúan los resúmenes preguntando si los pares pregunta-respuesta derivados del resumen pueden responderse usando el texto fuente. FEQA se correlaciona más fuertemente con los juicios humanos y muestra que los resúmenes más abstractos tienden a ser menos fieles, mientras que QuestEval mejora sustancialmente la correlación con los juicios humanos en consistencia, coherencia, fluidez y relevancia. QAFactEval refina este enfoque seleccionando respuestas por frase nominal y generando preguntas antes de responderlas; esta estrategia mejora la correlación con las evaluaciones humanas en el benchmark SummaC. Las métricas de extracción de información (IE) representan el conocimiento como tuplas sujeto-relación-objeto, pero son vulnerables a errores en el proceso de extracción. Las métricas de inferencia en lenguaje natural (NLI) —como FactCC y SummaC— clasifican las oraciones resumidas como implicadas o contradichas por la fuente⁴. FactCC utiliza datos débilmente supervisados para entrenar un clasificador que detecta consistencia fáctica y resalta spans^{inconsistentes 2}. SummaC aplica modelos NLI con la granularidad adecuada y ofrece estimaciones sólidas de factualidad, pero el benchmark FRANK señala que estas métricas siguen tratando la factualidad como binaria y carecen de un marco^{unificado 1,7,8}. Las dimensiones de evaluación humana propuestas por los investigadores son ampliamente adoptadas⁹. Otro estudio de evaluación enfatiza que la consistencia es la dimensión más objetiva porque simplemente comprueba si el resumen está implicado por la fuente; señala que hasta el 92% de los resúmenes XSum contienen errores de^{fidelidad 9,10}. Sin embargo, la evaluación humana es costosa y lleva mucho tiempo, por lo que las métricas automáticas son esenciales para una evaluación^{escalable 8}. Las métricas actuales suelen agregar alucinaciones intrínsecas y extrínsecas en una única puntuación, dificultando el diagnóstico^{de error 4}.

Dado que el entrenamiento de máxima verosimilitud no optimiza directamente la calidad de los resumen, se ha aplicado el aprendizaje por refuerzo (RL) para mejorar la relevancia y la factualidad. Pasunuru y Bansal introdujeron un marco de RL multi-recompensa que combina saliencia (ROUGE) y recompensas de implicación, y demostraron un rendimiento de última generación¹¹. RL se aplicó para resumen extractivo usando el algoritmo REFORCE; su modelo maximiza las puntuaciones ROUGE y produce resúmenes más informativos que los enfoques basados en clasificadores, como muestran las evaluaciones humanas de preguntas^{y respuestas 12}. Los modelos multitarea incorporan además la generación de preguntas y de implicaciones para garantizar la cobertura y^{la coherencia 12}. Una encuesta exhaustiva de 2024 sobre resumen abstracto destaca la coherencia factual como un desafío fundamental y aboga por el RL para fomentar una síntesis veraza. La encuesta sugiere recompensar los resúmenes factualmente consistentes e incorporar fuentes externas de conocimiento y control de atributos para mejorar la precisión¹³. El RL a partir de la retroalimentación humana (RLHF) amplía esta idea entrenando un modelo de recompensa basado en las preferencias humanas y ajustando finamente el resumidor para maximizar esta recompensa^{aprendida 9}. El aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) ha ganado popularidad para alinear los resultados del modelo con cualidades deseadas, como la factualidad y la utilidad ^4,14. Aunque el RL y el ^{RLHF multi-recompensa} alinean los modelos con las nociones humanas de fidelidad, se basan en métricas groseras como ROUGE o la factualidad binaria. En contraste, el trabajo detallado aquí propone usar un índice de alucinaciones a nivel de entidad como recompensa, lo cual es empírico y computacionalmente menos costoso sin retroalimentación humana.

A pesar de numerosos indicadores, persisten varias limitaciones. Las métricas N-gram ignoran la corrección semántica, las métricas basadas en QA y en IE propagan errores de los modelos de generación y extracción de preguntas, y las métricas NLI reducen la factualidad a decisiones binarias ^{de implicación 1,4,6}. En el trabajo de investigación, se enfatizó que las métricas basadas en modelos existentes tienen dificultades para identificar alucinaciones con una granularidad fina porque operan a nivel de oración o documento y no pueden aislar entidades específicas que causan^{errores 4}. Las evaluaciones humanas siguen siendo el estándar de oro, pero son costosas y^{subjetivas 15}. Además, las métricas existentes no distinguen entre alucinaciones intrínsecas y extrínsecas ni capturan el sobrefoco y el subfoco de las^{relaciones 1}. Los grandes modelos de lenguaje pueden alucinar porque predicen el texto basándose en la probabilidad estadística en lugar de en la verificación factual. Los modelos generan resultados seguros pero incorrectos debido a limitaciones en los datos de entrenamiento, generación probabilística y falta de verificación de hechos, y la sobreconfianza y los sesgos pueden hacer que afirmen información falsa con alta certeza; La guía defiende la generación aumentada por recuperación y la memoria a largo plazo para modelos terrestres en datos^{externos 15}. Sin embargo, estas técnicas se centran en tareas basadas en recuperación; La resumen sigue requiriendo métricas que identifiquen y penalicen a las entidades alucinadas. Trabajos previos han reconocido la importancia de la evaluación a nivel de entidad para la factualidad. Métricas como FEQA y QuestEval intentan evaluar la consistencia factual utilizando técnicas de respuesta^{a preguntas 16,17}. Sin embargo, estos métodos a menudo requieren resúmenes de referencia o sistemas externos de control de calidad, lo que limita la escalabilidad. Nuestro trabajo se basa en esta línea empleando el Índice de Alucinaciones de Entidades (EHI), una métrica empírica ligera que se centra específicamente en la fidelidad de entidades nombradas, categorizando las entidades en cinco tipos de factores alucinatorios, como se muestra en la Figura 1.

La evidencia indica que la alucinación es omnipresente, las métricas de evaluación son imperfectas y las técnicas de RL carecen de recompensas detalladas. Los estudios en humanos muestran que los modelos de sumificación alucinan en una fracción significativa de los casos, a menudo intercambiando entidades o fabricando detalles⁹. Las métricas existentes enfatizan la superposición de n-gramos o tratan la factualidad como binaria, y los métodos actuales de RL optimizan señales ROUGE o de factualidad gruesa. Existe una laguna para las métricas a nivel de entidad que miden cuando un resumen menciona entidades que no están presentes en la fuente (alucinación negativa), omite entidades clave (alucinación de enfoque perdido) y otros escenarios. El método propuesto de ajuste fino sobre el Índice de Alucinaciones de Entidades (EHI) cubre esta carencia cuantificando las alucinaciones a nivel de entidad y proporcionando una recompensa estructurada por el aprendizaje por refuerzo. Al integrar EHI en RLHF, pretendemos afinar los grandes modelos de lenguaje para minimizar las alucinaciones a nivel de entidad y producir resúmenes que sean fluidos y fieles a los hechos.

En este trabajo, proponemos un enfoque novedoso de ajuste fino que aprovecha el Índice de Alucinaciones de Entidades (EHI) como señal de recompensa para reducir las alucinaciones a nivel de entidad. EHI cuantifica la corrección y fundamentación de las entidades comparando las entidades extraídas de las salidas del modelo con las presentes en el documento de entrada, permitiendo una reducción de la dependencia de las^{referencias 18}. El método descrito aquí sesga el modelo hacia producir más resúmenes fieles a la entidad sin requerir anotaciones de factualidad humana.

En resumen, se han utilizado modelos de recompensa conscientes de la factualidad para ajustar^{finamente 19,20}. A diferencia de enfoques anteriores que se basan en recompensas factuales groseras o conjuntos de datos etiquetados por humanos, proponemos un ajuste fino usando EHI como una señal de recompensa directa y automática, promoviendo así una sumarización basada en entidades sin supervisión adicional. Las contribuciones novedosas de este estudio son las siguientes: (i) el estudio introduce un marco de ajuste fino guiado por EHI que mejora la fidelidad de las entidades en la resumen abstracto, (ii) presenta una cadena escalable de aprendizaje por refuerzo que no depende de conjuntos de datos de factualidad etiquetados por humanos, (iii) el estudio demuestra mejoras empíricas en las puntuaciones EHI en conjuntos de datos de transcripciones de reuniones, conjunto de datos de noticias XSUM y realiza análisis cualitativos para destacar reducciones en las alucinaciones, (iv) el estudio comparte una implementación reproducible basada en Colab para facilitar investigaciones adicionales sobre la sumarización consciente de las^{alucinaciones 21}.

Este estudio evalúa la hipótesis de que optimizar modelos de lenguaje con recompensas centradas en entidades de gran detalle como EHI proporciona una vía eficaz para mejorar la fidelidad y fiabilidad en tareas de resumen con un cálculo mínimo. El enfoque contribuye al creciente campo del ajuste fino eficiente en parámetros para la fidelidad en la resumen: (i) demostrando efectividad tanto en arquitecturas codificador-decodificador (DistilBART, FlanT5) como solo decodificador (Mistral), (ii) proporcionando un marco que pueda adaptarse a diferentes tipos de modelos, dominios y escalas, y (iii) ofreciendo eficiencia computacional en comparación con el reentrenamiento completo.

Protocol

El objetivo de este estudio es afinar un modelo de lenguaje (LM) para generar resúmenes con alucinaciones de entidades reducidas. Las alucinaciones ocurren cuando un modelo "produce con confianza resultados incorrectos o irrelevantes" porque genera texto según la probabilidad estadística en lugar de la verificación fáctica. Esto se consigue diseñando una función de recompensa basada en el Índice de Alucinaciones de Entidades (EHI) y aplicando aprendizaje por refuerzo para maximizarla.

Formulación del problema
Dado un documento de entrada X_i, el objetivo es generar un resumen Y_i de modo que las entidades mencionadas en Y_i estén fundamentadas en X_i. El entrenamiento tradicional de máxima verosimilitud no optimiza explícitamente la consistencia fáctica. Estos métodos de formación no penalizan la inclusión de entidades fabricadas. Por ello, se introduce una estrategia de ajuste fino basada en recompensas, donde la recompensa es proporcional a la fidelidad de la entidad, medida mediante EHI.

Conjunto de datos y método
Se utilizan dos corpus: primero, un conjunto de datos de transcripción de diálogos con transcripciones de reuniones de varios turnos y resúmenes abstractos de oro, y segundo, el benchmark de resumen de noticias^{XSUM 22,23}. Cada conjunto de datos fue limpiado, aplanado y dividido en particiones del 80% de tren, 10% de validación y 10% de prueba. Los diálogos son ricos en lenguaje informal y pronombres, mientras que XSUM contiene artículos de noticias concisos; La combinación nos permite evaluar tanto la generalización dentro como fuera del dominio.

La extracción de entidades se realiza tanto en documentos fuente como en resúmenes para calcular el Índice de Alucinaciones de Entidades (EHI). Durante el ajuste fino, este estudio utiliza exclusivamente la división de entrenamiento, mientras que las puntuaciones EHI de validación se monitorizan para seleccionar el mejor punto de control. Las evaluaciones finales se reportan en el conjunto de pruebas que se ha extendido, que permanece sin disparo antes y después del ajuste fino de los modelos.

En resumen, primero, las transcripciones se organizan en un formato aplanado y se dividen los datos. El modelo preentrenado genera resúmenes de referencia. En segundo lugar, el EHI se calcula usando NER basado en transformadores y los cinco factores de alucinación. Durante el ajuste fino, el modelo se actualiza con la recompensa EHI mediante adaptadores LoRa. Finalmente, los resúmenes se generan utilizando el modelo ajustado y se evalúan usando EHI, Entidad F1 y otras métricas (Figura 2). Todos los experimentos son reproducibles mediante el código y los archivos de configuración proporcionados. La Figura 3 muestra el flujo de proceso paso a paso para la preparación del conjunto de datos, la síntesis de la línea base, el cálculo de EHI, el ajuste fino y la evaluación.

Resumen de la línea base
Se eligen tres LLMs preentrenados y se capturan sus resúmenes base: Flan-T5, Mistral (Nous-Hermes-2-Mistral-7B-DPO) y DistilBART 24,25,26. Cada modelo se ejecutaba en modo zero-shot para producir un resumen inicial (Y_i) para cada documento de entrada (x_i). Se utilizó búsqueda de haz con un ancho de haz de 4 y una penalización de longitud de 1,0 para fomentar resúmenes fluidos pero concisos. Estos resúmenes basales servían para estimar la prevalencia de alucinaciones y proporcionaban puntos de partida para el ajuste fino.

Extracción de entidades y cálculo EHI
Calcular con precisión el Índice de Alucinaciones de Entidades (EHI) requiere un NER robusto. Inicialmente, Spacy se utilizó para operaciones de la NER. Se entiende que los modelos NER basados en transformadores son más precisos, pero Spacy fue la elección inicial por las siguientes razones: (1) Los modelos NER basados en transformadores han demostrado alucinar más que Spacy. (2) El espaciamiento al ser estadístico aporta eficiencia computacional en términos de coste de implementación y tiempo de ejecución. (3) También nos ayuda a demostrar que el EHI es robusto en la reducción de alucinaciones incluso con un modelo de NER más débil. Sin embargo, dado que los experimentos se realizan con conjuntos de datos establecidos y el modelo en_core_web_sm de spaCy es frágil en las transcripciones^{coloquiales 13}. El espacio se sustituye por un modelo NER basado en transformadores (dslim/bert-base-NER), que es un modelo BERT ajustado con el conjunto de datos CoNLL-2003. Se ha demostrado que los sistemas NER basados en BERT superan a los modelos spaCy en tareas específicas de dominio; por ejemplo, un modelo Aviation-BERT-NER alcanzó un F1 del 94,78% mientras identificaba 17 entidades, frente al 93,73% de spaCy NER que reconocía^{siete entidades 27}. El modelo BERT NER se configuró mediante Hugging Face Transformers²⁸ y realizó emparejamiento insensible a mayúsculas y mayúsculas. Para capturar pronombres y variaciones en la forma superficial, este método aplicaba además reglas simples que asignaban "Mr. Smith" y "Smith" a la misma forma canónica; sin embargo, la resolución completa de copreferencia sigue siendo trabajo futuro. El análisis comparativo de los modelos NER sobre una muestra de 200 registros del conjunto de datos XSUM puede inferirse de la Tabla 1.

El Índice de Alucinaciones de la Entidad (EHI) se calcula como:

donde PH, EF, OF, NH, LF representan puntuaciones correspondientes a Alucinación Positiva (HP), Factor de Extracción (FE), Alucinación Negativa (NH), Entidades Sobrefocalizadas (OF) y Enfoque Perdido (LF), respectivamente, para el artículo i.

Detalles de los factores de alucinación:

Alucinación positiva (HP): Medidas de entidades recién introducidas que son correctas y beneficiosas en el fado.

Factor de extracción (FE): Mide las entidades extraídas con precisión del documento de entrada en el resumen.

Alucinación negativa (NH): Captura entidades alucinadas que son incorrectas o no están fundamentadas en la entrada.

Demasiado enfocado (OF): Penaliza resúmenes que se centran excesivamente en un subconjunto reducido de entidades, faltando diversidad.

Foco perdido (LF): Penaliza resúmenes que omiten entidades importantes presentes en la entrada.

El cálculo de los factores anteriores se detalla en la Figura 4 con un ejemplo de cálculo para fines ilustrativos. Considerando un ejemplo de Entidades de Documento de Entrada (I):"John", "IA"," conferencia" Entidades de Resumen de Referencia (R):"John"," "IA" Entidades Resumen Generadas (G):"John", "IA"," tecnología". Valores más altos de EHI indican una mejor fidelidad a las entidades, recompensando resúmenes que son tanto extractivos como positivamente alucinados (introduciendo entidades útiles pero fieles), mientras que penalizan a entidades²⁰ sin fundamento, excesivas o ausentes. Estos factores se normalizaron por el número total de entidades detectadas para producir una puntuación EHI entre 0 y 1. Durante el entrenamiento se monitorizó la validación EHI para seleccionar el mejor punto de control. PH y EF recompensan a entidades nuevas beneficiosas y la extracción correcta, mientras que OF, NH y LF penalizan la repetición, fabricación y omisión. Una puntuación perfecta de 1,0 significa que todas las entidades del resumen están ancladas o han tenido alucinaciones beneficiosas, mientras que una puntuación de 0 indica que ninguna entidad nombrada aparece en el resumen en la fuente.

Procedimiento de ajuste fino con RL
La configuración detallada de hiperparámetros para el ajuste fino se proporciona por separado en las Tablas 2, Tabla 3 y Tabla 4, que muestran los tipos de optimizadores, tasas de aprendizaje, tamaños de lote, especificaciones de hardware y otros detalles de configuración para Mistral-7B, DistilBart y Flan-T5, respectivamente. El objetivo aquí es afinar los parámetros del modelo θ maximizando la recompensa esperada del Índice de Alucinaciones de Entidades (EHI) a través de los resúmenes generados. Formalmente, para un documento de entrada X_i, un resumen generado Y_i y parámetros del modelo θ , el objetivo de recompensa esperada se define como:

(2)

donde EHI (y, x) denota el Índice de Alucinaciones de la Entidad calculado entre el resumen generado Y_i y la entrada X_i.

Siguiendo el algoritmo^{REINFORCE 25}, el gradiente de este objetivo se estima como:

(3)

En la práctica, se tomaron resúmenes de los modelos, se calcularon sus correspondientes puntuaciones EHI y se aplicaron actualizaciones del gradiente de políticas para fomentar resultados de mayor recompensa. Para permitir un ajuste fino eficiente en parámetros de parámetros, este estudio utilizó la Adaptación de Rango Bajo (LoRA). Solo se actualizaron los adaptadores LoRA, mientras que los pesos del modelo base permanecieron congelados. El ajuste fino se realizó en una GPU A100 con una tasa de aprendizaje baja (por ejemplo, 5 × ^10-6), tamaño de lote de 4 y acumulación de gradiente en 8 pasos con el optimizador^{Adam 29}. Los resúmenes se regeneraban cada 500 actualizaciones para actualizar las estimaciones de recompensas, y la formación continuaba hasta que el EHI de validación convergía. La línea base de REINFORCE se estableció como el promedio continuo de las recompensas recientes para reducir la varianza. Además de EHI, las puntuaciones de la Entidad F1² y ROUGE-1/2/L se registraron para monitorizar la calidad general. Los resúmenes se regeneran periódicamente para reflejar las mejoras del modelo durante el ajuste fino.

Métricas de evaluación
Los resultados se evaluaron utilizando métricas de Informatividad como Rouge-1,^{Rouge-2 5}. Métrica de fluidez como la Rouge^{LCS 5}. Métrica de solapamiento de entidades Entidad F1, y métricas de alucinación como EHI, FactCC y QAGS 2,6,18,30. FactCC utiliza un clasificador entrenado con datos sintéticos de contradicción para etiquetar las oraciones como implicadas o contradichas por la fuente. El FactCC da dos puntuaciones; las partituras se capturaron donde la etiqueta es VÁLIDA. Por otro lado, QAGS utiliza un método de preguntas y respuestas que funciona en un LLM. El modelo ligero T5 pequeño se utilizó para generar preguntas sobre el texto³¹. Roberta_base_Squad2 se utilizaba para generar respuestas sobre el texto^{de salida 32}. Estos modelos se eligieron por su conveniente coste de cálculo para la ejecución.

Results

Los experimentos aquí se centran en la evidencia cuantitativa sobre el impacto que el ajuste fino guiado por EHI tiene en la reducción de alucinaciones a nivel de entidad a través de múltiples arquitecturas de modelos y conjuntos de datos. Los resultados demuestran mejoras constantes en las métricas de alucinaciones, manteniendo la coherencia factual y preservando la capacidad de responder preguntas.

Rendimiento del conjunto de datos

Discussion

Las métricas basadas en QA (por ejemplo, FEQA/QuestEval/QAFactEval) y las métricas basadas en NLI (por ejemplo, FactCC/SummaC) requieren componentes auxiliares de QA/implicación y a menudo proporcionan juicios a nivel de oración. En cambio, el EHI es una puntuación ligera, sin referencias, a nivel de entidad que (i) apunta directamente al modo de fallo primario que observamos: alucinación de entidades; (ii) es agnóstico respecto al modelo y rápido de calcular; y (iii) sirve como una reco...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Colab NVIDIA A100 GPU	NVIDIA	N/A	Google Colaboratory Pro
DistilBART (Encoder–Decoder)	Hugging Face	https://huggingface.co/sshleifer/distilbart-cnn-12-6
dslim/bert-base-NER	Hugging Face (dslim)	https://huggingface.co/dslim/bert-base-NER	BERT base ajustado para NER en inglés
Evaluation Models  QAGS (Basado en preguntas)	Salesforce Research	N/A	Clasificador de facticidad
Evaluation Models (Factuality) FactCC	Google Research	N/A	Clasificador de facticidad
Flan-T5 (Encoder–Decoder)	Google	https://huggingface.co/docs/transformers/main/en/model_doc/flan-t5	Modelo de lenguaje de código abierto, de texto a texto, de gran tamaño
Hugging Face Transformers	Hugging Face, Inc.	https://huggingface.co/docs/transformers/index	Carga y ajuste de modelos
Nous-Hermes-2-Mistral-7B-DPO	Mistral	https://huggingface.co/NousResearch/Nous-Hermes-2-Mistral-7B-DPO	Modelo de lenguaje de 7 mil millones de parámetros
Lenguaje de programación Python 3.10 (Entorno de ejecución Colab)	Python Software Foundation	Versión 3.10	Implementación principal
Streamlit	Open Source	https://streamlit.io/	Clasificador de facticidad
XLSUM dataset	BUET	https://github.com/csebuetnlp/xl-sum
XSUM dataset	University of Edinburgh	https://github.com/EdinburghNLP/XSum