Affinage de grands modèles de langage à l’aide de l’Entity Hallucination Index pour le résumé du texte

Résumé

Nous proposons une approche de réglage fin basée sur l’apprentissage par renforcement pour les grands modèles de langage, utilisant l’Indice d’Hallucinations Enti (EHI) comme signal de récompense pour réduire les hallucinations au niveau des entités dans le résumé textuel. Des expériences sur les transcriptions des réunions montrent que cette méthode améliore la fidélité et la précision des entités.

Résumé

Les avancées récentes dans les grands modèles de langage (LLM) ont conduit à des améliorations notables de la qualité des résumés abstraitifs. Cependant, l’hallucination – en particulier celle au niveau des entités où des entités inexistantes ou incorrectes sont introduites – reste un défi crucial. Dans ce travail, nous proposons un cadre de réglage fin axé sur la récompense pour les modèles de synthèse utilisant l’Entity Hallucination Index (EHI) comme indicateur directeur. La méthodologie commence ici par générer des résumés initiaux à partir de modèles pré-entraînés tels que Flan-T5, DistilBART et Mistral (ou d’autres LLM populaires) sur des ensembles de données de transcriptions structurés, XSUM. Nous calculons l’IHE en extrayant des entités nommées à partir de résumés générés et de références d’or, en évaluant la précision et en pénalisant les entités fabriquées. Le processus d’ajustement fin est guidé par l’apprentissage par renforcement, où l’IHI sert de signal de récompense. Nous adoptons un mécanisme de mise à jour de type REINFORCE pour optimiser le modèle de synthèse afin de maximiser la fidélité des entités. Les expériences démontrent que les modèles affinés avec l’EHI atteignent des taux d’hallucinations plus faibles sans compromettre l’information. De plus, nous montrons que les modèles guidés par EHI généralisent mieux sur les tâches de synthèse hors domaine, suggérant une robustesse accrue. L’approche ici propose une orientation pratique pour améliorer la factualité dans la synthèse, en soulignant le rôle crucial de la représentation exacte des entités.

Introduction

Les modèles de synthèse abstraite, propulsés par de grands modèles de langage (LLM), ont obtenu des résultats impressionnants dans divers domaines. Cependant, un défi persistant demeure l’hallucination, où les résumés générés contiennent des informations incorrectes ou fabriquées qui ne sont pas fondées sur l’entrée^{source 1,2}. Dans des applications à enjeux élevés telles que la synthèse de réunions, les rapports médicaux ou la documentation financière, les hallucinations, en particulier impliquant des entités nommées, peuvent gravement compromettre la fiabilité et l’utilité³.

Leschercheurs en recherche ont mené une évaluation humaine à grande échelle et ont constaté que les résumés produisent fréquemment des hallucinations — un contenu non soutenu par le document source — et que ces hallucinations sont corrélées à la répétition et à l’incohérence¹. Une autre étude a montré que les modèles à plus grande abstraction tendent à être moins fidèles ; Leur étude a rapporté que les résultats avec plus d’abstraction présentaient une précision factuelle plus faible et plus de phrases^{infidèles 2}. Le benchmark FRANK a rapporté qu’environ 30 % des résumés contiennent des incohérences factuelles, et une autre étude populaire a noté des taux d’erreur similaires, arguant que des niveaux élevés d’hallucinations rendent les résumés pratiquement^{inutiles 1,2}. Les hallucinations peuvent être classées comme intrinsèques (contredisant la source) ou extrinsèques (non vérifiables à partir de la source). Un tutoriel sur les hallucinations en résumé abstraitif explique que les hallucinations intrinsèques surviennent lorsque le contenu généré contredit l’entrée (par exemple, en déclarant à tort un vaccin approuvé comme étant rejeté), tandis que les hallucinations extrinsèques ajoutent des faits non vérifiables, comme l’affirmation d’essais cliniques pour un vaccin qui ne sont pas^{mentionnés 4}. Il a également rapporté que les résumés de pointe produisent du contenu halluciné dans environ 25 % de leurs productions lorsqu’ils sont comparés avec ROUGE, BLEU et METEOR, et met en garde contre le fait que les hallucinations peuvent être nocives dans des domaines tels que la santé, le droit ou la cybersécurité.

Les métriques traditionnelles à n-grammes (ROUGE⁵, BLEU, METEOR) corrèlent mal avec les jugements humains sur la factualité, ce qui a conduit au développement de métriques basées sur des références et sans^{références 6}. Des métriques basées sur l’assurance qualité telles que FEQA et QuestEval évaluent les résumés en demandant si les paires questions-réponses dérivées du résumé peuvent être répondues à l’aide du texte source. FEQA est plus fortement corrélée aux jugements humains et montre que les résumés plus abstraits ont tendance à être moins fidèles, tandis que QuestEval améliore substantiellement la corrélation avec les jugements humains en termes de cohérence, cohérence, fluidité et pertinence. QAFactEval affine cette approche en sélectionnant des réponses par syntagme nominal et en générant des questions avant d’y répondre ; cette stratégie améliore la corrélation avec les évaluations humaines sur le benchmark SummaC. Les métriques d’extraction d’information (IE) représentent la connaissance comme des uplets sujet-relation-objet, mais ils sont vulnérables aux erreurs dans le processus d’extraction. Les métriques d’inférence en langage naturel (NLI) — telles que FactCC et SummaC — classent les phrases résumées comme impliquées ou contredites par la source⁴. FactCC utilise des données faiblement supervisées pour entraîner un classificateur qui détecte la cohérence factuelle et met en évidence les périodes^{incohérentes 2}. SummaC applique les modèles NLI avec la granularité appropriée et fournit de fortes estimations de factualité, mais le benchmark FRANK note que ces métriques traitent toujours la factualité comme binaire et manquent d’un cadre ^{unifié 1,7,8}. Les dimensions d’évaluation humaine proposées par les chercheurs : la fluidité, la cohérence, la pertinence et la cohérence sont largement^{adoptées 9}. Une autre étude d’évaluation souligne que la cohérence est la dimension la plus objective car elle vérifie simplement si le résumé est impliqué par la source ; elle souligne que jusqu’à 92 % des résumés XSum contiennent des erreurs^{de fidélité 9,10}. Cependant, l’évaluation humaine est longue et coûteuse, donc les indicateurs automatiques sont essentiels pour une évaluation^{évolutive 8}. Les indicateurs actuels agrégent souvent les hallucinations intrinsèques et extrinsèques en un seul score, ce qui freine le diagnostic^{d’erreur 4}.

Puisque l’entraînement à grande vraisemblance n’optimise pas directement la qualité des résumés, l’apprentissage par renforcement (RL) a été appliqué pour améliorer la pertinence et la factualité. Pasunuru et Bansal ont introduit un cadre RL multi-récompense qui combine la salience (ROUGE) et les récompenses d’implication, et ont démontré des performances de^{pointe 11}. RL a été appliqué pour la synthèse extractive à l’aide de l’algorithme REINFORCE ; leur modèle maximise les scores ROUGE et produit des résumés plus informatifs que les approches basées sur des classificateurs, comme le montrent les évaluations par questions-réponses humaines¹². Les modèles multitâches intègrent également la génération de questions et la génération d’implication pour garantir la couverture et la^{cohérence 12}. Une enquête complète de 2024 sur la synthèse abstraitive met en avant la cohérence factuelle comme un défi fondamental et encourage le RL à encourager une synthèse véridique. L’enquête suggère de récompenser les résumés factuellement cohérents et d’intégrer des sources de connaissances externes ainsi que le contrôle des attributs pour améliorer la^{précision 13}. RL à partir de retour humain (RLHF) étend cette idée en entraînant un modèle de récompense basé sur les préférences humaines et en affinant le résumé pour maximiser cette récompense^{apprise 9}. L’apprentissage par renforcement à partir de la rétroaction humaine (RLHF) a gagné en popularité pour aligner les résultats du modèle avec des qualités souhaitées, telles que la factualité et l’utilité ^4,14. ^{Bien que} le RL et le RLHF multi-récompenses alignent les modèles avec les notions humaines de fidélité, ils s’appuient sur des métriques grossières comme ROUGE ou la factualité binaire. En revanche, le travail détaillé ici propose d’utiliser un indice d’hallucination à grain fin au niveau des entités comme récompense, ce qui est empirique et moins coûteux en calcul sans retour d’information humaine.

Malgré de nombreux indicateurs, plusieurs limites persistent. Les métriques N-grammes ignorent la correction sémantique, les métriques basées sur l’assurance qualité et les mesures intuitives propagent les erreurs issues des modèles de génération et d’extraction de questions, et les métriques NLI réduisent la factualité à des décisions binaires ^{d’implication 1,4,6}. Dans les travaux de recherche, il a été souligné que les métriques existantes basées sur des modèles ont du mal à identifier les hallucinations à une fine granularité car elles fonctionnent au niveau de la phrase ou du document et ne peuvent pas isoler les entités spécifiques causant des^{erreurs 4}. Les évaluations humaines restent la référence mais sont coûteuses et^{subjectives 15}. De plus, les métriques existantes ne distinguent pas les hallucinations intrinsèques et extrinsèques ni ne captent le surfocalisation et le sous-focus des^{relations 1}. Les grands modèles de langage peuvent halluciner car ils prédisent le texte en se basant sur la probabilité statistique plutôt que sur la vérification factuelle. Les modèles génèrent des résultats confiants mais incorrects en raison des limitations des données d’entraînement, de la génération probabiliste et du manque de vérification des faits, et la surconfiance et les biais peuvent les amener à énoncer de fausses informations avec une grande certitude ; Le guide préconise la génération augmentée par récupération et la mémoire à long terme vers des modèles au sol dans les données^{externes 15}. Cependant, ces techniques se concentrent sur des tâches basées sur la récupération ; La synthèse nécessite toujours des indicateurs qui identifient et pénalisent les entités hallucinées. Des travaux antérieurs ont reconnu l’importance de l’évaluation au niveau de l’entité pour la factualité. Des métriques comme FEQA et QuestEval tentent d’évaluer la cohérence factuelle en utilisant des techniques de réponse aux^{questions 16,17}. Cependant, ces méthodes nécessitent souvent des résumés de références ou des systèmes d’assurance qualité externes, limitant ainsi la scalabilité. Notre travail s’appuie sur cette ligne en utilisant l’Entity Hallucination Index (EHI), une métrique empirique légère axée spécifiquement sur la fidélité des entités nommées en catégorisant les entités en cinq types de facteurs d’hallucination, comme illustré à la Figure 1.

Les preuves indiquent que les hallucinations sont omniprésentes, que les indicateurs d’évaluation sont imparfaits et que les techniques de RL manquent de récompenses fines. Des études humaines montrent que les modèles de synthèse hallucinent dans une fraction significative des cas, échangeant souvent des entités ou fabriquant des détails⁹. Les métriques existantes mettent soit l’accent sur le chevauchement n-gramme, soit traitent la factualité comme binaire, et les méthodes RL actuelles optimisent le ROUGE ou les signaux de factualité grossière. Il existe un écart pour les métriques au niveau des entités qui mesurent lorsqu’un résumé mentionne des entités absentes de la source (hallucination négative), omet des entités clés (hallucination de perte de concentration), et d’autres scénarios. La méthode proposée de fine-tuning sur l’Indice d’Hallucinations de l’Entité (EHI) comble ce manque en quantifiant les hallucinations au niveau de l’entité et en fournissant une récompense structurée pour l’apprentissage par renforcement. En intégrant l’IHE dans le RLHF, nous visons à affiner les grands modèles de langage afin de minimiser les hallucinations au niveau de l’entité et de produire des résumés à la fois fluides et fidèles aux faits.

Dans ce travail, nous proposons une approche novatrice de fin-tuning qui exploite l’Indice d’Hallucinations de l’Entité (EHI) comme signal de récompense pour réduire les hallucinations au niveau de l’entité. L’IHE quantifie la correction et le fondement des entités en comparant les entités extraites des sorties du modèle à celles présentes dans le document d’entrée, permettant ainsi une réduction de la dépendance aux^{références 18}. La méthode décrite ici biaise le modèle vers la production de résumés plus fidèles à l’entité sans nécessiter d’annotations de factualité humaine.

En résumé, des modèles de récompense conscients de la factualité ont été utilisés pour l’ajustement^{fin 19,20}. Contrairement aux approches précédentes qui reposent sur des récompenses factuelles grossières ou des ensembles de données étiquetés par l’humain, nous proposons un ajustement fin en utilisant l’IHE comme signal de récompense direct et automatique, favorisant ainsi une synthèse fondée sur l’entité sans supervision supplémentaire. Les contributions novatrices de cette étude sont les suivantes : (i) l’étude introduit un cadre de réglage fin guidé par l’EHI qui améliore la fidélité des entités dans la synthèse abstraite, (ii) l’étude présente un pipeline évolutif d’apprentissage par renforcement qui ne dépend pas des ensembles de données factuelles étiquetés par l’humain, (iii) l’étude démontre des améliorations empiriques des scores EHI à travers les ensembles de données de transcriptions réunies, le jeu de données d’actualités XSUM et réalise une analyse qualitative pour mettre en évidence la réduction des hallucinations, (iv) l’étude partage une mise en œuvre reproductible basée sur Colab afin de faciliter la recherche ultérieure sur la synthèse consciente des^{hallucinations 21}.

Cette étude évalue l’hypothèse selon laquelle optimiser les modèles de langage avec des récompenses axées sur les entités à grain fin comme l’IHI offre une voie efficace pour améliorer la fidélité et la fiabilité dans les tâches de synthèse avec un calcul minimal. Cette approche contribue à l’expansion du domaine croissant de l’ajustement fin à efficacité paramétrique pour la fidélité dans la synthèse en : (i) démontrant son efficacité à travers les architectures encodeur-décodeur (DistilBART, FlanT5) et décodeur uniquement (Mistral), (ii) fournissant un cadre adaptable à différents types de modèles, domaines et échelles, et (iii) offrant une efficacité computationnelle comparée au réentraînement complet.

Protocole

L’objectif de cette étude est d’affiner un modèle de langage (LM) afin de générer des résumés avec des hallucinations réduites à l’entité. Les hallucinations surviennent lorsqu’un modèle « produit avec assurance des résultats incorrects ou non pertinents » parce qu’il génère du texte selon la probabilité statistique plutôt que la vérification factuelle. Cela est réalisé en concevant une fonction de récompense basée sur l’Indice d’Hallucination de l’Entité (EHI) et en appliquant l’apprentissage par renforcement pour la maximiser.

Formulation du problème
Étant donné un document d’entrée X_i, l’objectif est de générer un résumé Y_i de sorte que les entités mentionnées dans Y_i soient fondées sur X_i. L’entraînement traditionnel à la plus grande vraisemblance n’optimise pas explicitement la cohérence factuelle. Ces méthodes de formation ne pénalisent pas l’inclusion d’entités fabriquées. Par conséquent, une stratégie d’ajustement fin axée sur la récompense est introduite lorsque la récompense est proportionnelle à la fidélité de l’entité, mesurée à l’aide de l’EHI.

Ensemble de données et méthode
Deux corpus sont utilisés : premièrement, un ensemble de données de transcription de dialogues comprenant des transcriptions de réunions à plusieurs tours et des résumés abstraits en or, et ensuite, le benchmark de résumé XSUM News^22,23. Chaque jeu de données a été nettoyé, aplati et divisé en partitions de 80 % train, 10 % de validation et 10 % de partitions test. Les dialogues sont riches en langage informel et en pronoms, tandis que XSUM contient des articles de presse concis ; Cette combinaison nous permet d’évaluer à la fois la généralisation dans le domaine et hors domaine.

L’extraction d’entités est effectuée à la fois sur les documents sources et les résumés pour calculer l’Entity Hallucination Index (EHI). Lors de l’ajustement fin, cette étude utilise exclusivement la répartition de l’entraînement, tandis que les scores EHI de validation sont surveillés pour sélectionner le meilleur point de contrôle. Les évaluations finales sont rapportées sur l’ensemble de test tendu, qui reste zéro tir avant et après l’ajustement fin des modèles.

En résumé, premièrement, les transcriptions sont organisées dans un format aplati et divisent les données. Le modèle pré-entraîné génère des résumés de base. Deuxièmement, l’IHE est calculée à l’aide du NER basé sur un transformateur et des cinq facteurs d’hallucination. Lors de l’ajustement fin, le modèle est mis à jour avec la récompense EHI via des adaptateurs LoRa. Enfin, les résumés sont générés à l’aide du modèle affiné et évalués à l’aide de l’EHI, de l’Entité F1 et d’autres métriques (Figure 2). Toutes les expériences sont reproductibles via le code et les fichiers de configuration fournis. La figure 3 montre le processus étape par étapes pour la préparation des ensembles de données, la synthèse de base, le calcul EHI, l’ajustement fin et l’évaluation.

Résumé de la base
Trois LLM pré-entraînés sont choisis, et leurs résumés de base sont capturés : Flan-T5, Mistral (Nous-Hermes-2-Mistral-7B-DPO) et DistilBART 24,25,26. Chaque modèle était exécuté en mode zéro prise pour produire un résumé initial (Y_i) pour chaque document d’entrée (x_i). La recherche de faisceau avec une largeur de faisceau de 4 et une pénalité de longueur de 1,0 a été utilisée pour encourager des résumés fluides mais concis. Ces résumés de base servaient à estimer la prévalence des hallucinations et fournissaient des points de départ pour l’ajustement fin.

Extraction d’entités et calcul EHI
Calculer précisément l’Indice d’Hallucination de l’Entité (EHI) nécessite un NER robuste. Initialement, Spacy était utilisé pour les opérations de la NER. Il est entendu que les modèles NER basés sur transformateurs sont plus précis, mais Spacy a été le choix initial pour les raisons suivantes : (1) Les modèles NER basés sur transformateurs ont eux-mêmes prouvé qu’ils hallucinent plus que Spacy. (2) L’espacement étant statistique apporte une efficacité computationnelle en termes de coûts d’implémentation et de temps d’exécution. (3) Il nous aide également à prouver que l’IHE est robuste pour réduire les hallucinations même avec un modèle NER plus faible. Cependant, étant donné que les expériences sont réalisées sur des ensembles de données établis et que le modèle en_core_web_sm de spaCy est fragile sur les transcriptions^{familières 13}. L’espacement est remplacé par un modèle NER basé sur un transformateur (dslim/bert-base-NER), qui est un modèle BERT affiné sur le jeu de données CoNLL-2003. Les systèmes NER basés sur BERT ont démontré qu’ils surpassent les modèles spaCy sur des tâches spécifiques à un domaine — par exemple, un modèle Aviation-BERT-NER a atteint un F1 de 94,78 % en identifiant 17 entités, contre 93,73 % pour spaCy NER qui a reconnu^{sept entités 27}. Le modèle NER BERT était configuré via Hugging Face^{Transformers 28} et effectuait un appariement insensible aux majuscules. Pour capturer les pronoms et les variations de la forme de surface, cette méthode appliquait en outre des règles simples qui associent « Mr. Smith » et « Smith » à la même forme canonique ; cependant, la résolution complète de coréférence reste un travail à venir. L’analyse comparative des modèles NER sur un échantillon de 200 enregistrements issus du jeu de données XSUM peut être déduite du tableau 1.

L’Indice d’Hallucination de l’Entité (ISE) est calculé comme suit :

où PH, EF, OF, NH, LF représentent respectivement des scores correspondant à Hallucination Positive (HP), Facteur d’Extraction (FE), Hallucination négative (NH), Entités surfocalisées (OF) et Perte de concentration (LF), respectivement, pour l’article i.

Détails des facteurs d’hallucination :

Hallucination positive (HP) : Des mesures des entités nouvellement introduites qui sont factuellement correctes et bénéfiques.

Facteur d’extraction (FE) : Mesure les entités extraites avec précision du document d’entrée dans le résumé.

Hallucination négative (NH) : Capture des entités hallucinées qui sont incorrectes ou non ancrées dans l’entrée.

Trop ciblé (OF) : Penalise des résumés qui se concentrent excessivement sur un sous-ensemble restreint d’entités, sans diversité.

Focus perdu (LF) : Pénalise les résumés qui omettent les entités importantes présentes dans l’entrée.

Le calcul des facteurs ci-dessus est détaillé à la Figure 4 , avec un exemple de calcul à titre illustratif. En considérant un exemple d’entités de document d’entrée (I) : « John », « IA », « conférence » Entités de résumé de référence (R) : « John », « IA » Entités de résumé générées (G) : « John », « IA », « technologie ». Des valeurs plus élevées d’IHE indiquent une meilleure fidélité aux entités, récompensant les résumés à la fois extractifs et positivement hallucinés (introduisant des entités utiles mais fidèles), tout en pénalisant l’entité²⁰ non fondée, excessive ou manquante. Ces facteurs ont été normalisés par le nombre total d’entités détectées pour produire un score EHI compris entre 0 et 1. La validation EHI a été surveillée pendant la formation pour sélectionner le meilleur point de contrôle. PH et EF récompensent les nouvelles entités bénéfiques et l’extraction correcte, tandis que OF, NH et LF pénalisent la répétition, la fabrication et l’omission. Un score parfait de 1,0 signifie que toutes les entités du résumé sont ancrées ou bénéfiquement hallucinées, tandis qu’un score de 0 indique qu’aucune entité nommée dans le résumé n’apparaît dans la source.

Procédure d’ajustement fin avec RL
La configuration détaillée des hyperparamètres pour l’ajustement fin est fournie séparément dans les Tables 2, 3 et 4, qui illustrent les types d’optimiseurs, les taux d’apprentissage, les tailles de lot, les spécifications matérielles et d’autres détails de configuration pour Mistral-7B, DistilBart et Flan-T5, respectivement. L’objectif ici est d’affiner les paramètres du modèle θ en maximisant la récompense attendue de l’Indice d’Hallucination Entité (EHI) à travers les résumés générés. Formellement, pour un document d’entrée X_i, un résumé généré Y_i et des paramètres du modèle θ , l’objectif de récompense attendu est défini comme suit :

(2)

où EHI (y, x) désigne l’Indice d’Hallucination de l’Entité calculé entre le résumé généré Y_i et l’entrée X_i.

En suivant l’algorithme^{REINFORCE 25}, le gradient de cet objectif est estimé comme suit :

(3)

En pratique, des résumés ont été échantillonnés à partir des modèles, leurs scores EHI correspondants ont été calculés, et des mises à jour du gradient de politique ont été appliquées pour encourager des résultats à plus haute récompense. Pour permettre un ajustement fin à efficacité paramétrique, cette étude a utilisé l’adaptation de rang bas (LoRA). Seuls les adaptateurs LoRA ont été mis à jour tandis que les poids du modèle de base sont restés gelés. L’ajustement fin a été effectué sur un GPU A100 avec un faible taux d’apprentissage (par exemple, 5 × ^10-6), une taille de lot de 4 et une accumulation de gradient sur 8 étapes avec l’optimiseur^{Adam 29}. Les résumés étaient régénérés toutes les 500 mises à jour pour rafraîchir les estimations de récompense, et la formation se poursuivait jusqu’à la convergence de validation de l’EHI. La base REINFORCE a été fixée à la moyenne courante des récompenses récentes pour réduire la variance. En plus de l’EHI, de l’Entité F1², les scores ROUGE-1/2/L ont été enregistrés pour surveiller la qualité générale. Les résumés sont régénérés périodiquement pour refléter les améliorations du modèle lors de l’ajustement fin.

Indicateurs d’évaluation
Les résultats ont été évalués à l’aide de métriques d’Informativité telles que Rouge-1, Rouge-2⁵. Une métrique de fluidité comme la Rouge^{LCS 5}. Métrique de chevauchement d’entités Entité F1, et métriques d’hallucination comme EHI, FactCC et QAGS 2,6,18,30. FactCC utilise un classificateur entraîné sur des données de contradiction synthétique pour étiqueter les phrases comme impliquées ou contredites par la source. Le FactCC donne deux scores ; les partitions ont été capturées là où l’étiquette est VALIDE. En revanche, QAGS utilise une méthode questions-réponses qui fonctionne sur un LLM. Le modèle léger T5 small était utilisé pour générer des questions sur le texte³¹. Roberta_base_Squad2 était utilisé pour générer des réponses sur le texte^{de sortie 32}. Ces modèles ont été choisis pour leur coût de calcul pratique pour l’exécution.

Résultats

Les expériences portent ici sur des preuves quantitatives de l’impact de l’ajustement fin guidé par l’EH dans la réduction des hallucinations au niveau des entités à travers plusieurs architectures de modèles et ensembles de données. Les résultats démontrent des améliorations constantes des indicateurs d’hallucinations tout en maintenant la cohérence factuelle et en préservant les capacités de réponse-question.

Performances des jeux de données...

Discussion

Les métriques basées sur l’assurance qualité (par exemple, FEQA/QuestEval/QAFactEval) et les métriques basées sur les NLI (par exemple, FactCC/SummaC) nécessitent des composantes auxiliaires de contrôle qualité/implication et fournissent souvent des jugements au niveau de la phrase. En revanche, l’IHE est un score léger, sans référence, au niveau de l’entité, qui (i) cible directement le mode de défaillance primaire que nous observons — l’hallucination des entités ; (ii) est indépendant ...

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Colab NVIDIA A100 GPU	NVIDIA	N/A	Google Colaboratory Pro
DistilBART (Encoder–Decoder)	Hugging Face	https://huggingface.co/sshleifer/distilbart-cnn-12-6
dslim/bert-base-NER	Hugging Face (dslim)	https://huggingface.co/dslim/bert-base-NER	Fine-tuned BERT base pour NER en anglais
Evaluation Models  QAGS (QA-based)	Salesforce Research	N/A	Classificateur de véracité
Evaluation Models (Factuality) FactCC	Google Research	N/A	Classificateur de véracité
Flan-T5 (Encoder–Decoder)	Google	https://huggingface.co/docs/transformers/main/en/model_doc/flan-t5	modèle de langage open-source, texte à texte, de grande taille
Hugging Face Transformers	Hugging Face, Inc.	https://huggingface.co/docs/transformers/index	Chargement et ajustement fin des modèles
Nous-Hermes-2-Mistral-7B-DPO	Mistral	https://huggingface.co/NousResearch/Nous-Hermes-2-Mistral-7B-DPO	Modèle linguistique de 7 milliards de paramètres
Language de programmation Python 3.10 (Colab runtime)	Python Software Foundation	Version 3.10	Implémentation de base
Streamlit	Open Source	https://streamlit.io/	Classificateur de véracité
XLSUM dataset	BUET	https://github.com/csebuetnlp/xl-sum
XSUM dataset	University of Edinburgh	https://github.com/EdinburghNLP/XSum