Vérification adaptative des affirmations guidée par l'NLI avec modélisation décisionnelle statistique pour la réduction à faible latence des hallucinations dans les grands modèles de langage

Résumé

Cette étude présente un cadre léger permettant de réduire les hallucinations dans les grands modèles linguistiques grâce à une vérification au niveau des affirmations et un seuil statistique adaptatif. En corrigeant sélectivement les affirmations non étayées à l'aide de l'inférence du langage naturel, cette approche améliore la précision factuelle tout en maintenant une faible latence de réponse et une efficacité pratique du déploiement.

Résumé

Les grands modèles linguistiques (LLM) présentent une tendance critique à produire des sorties factuellement incorrectes mais linguistiquement fluides — un phénomène appelé hallucination — qui pose de graves risques dans les applications exigeant une grande précision. Les stratégies actuelles d'atténuation, notamment la génération assistée par récupération et l'échantillonnage par auto-cohérence, introduisent soit une latence importante lors de l'inférence, soit dépendent d'une infrastructure externe de connaissances, limitant ainsi leur applicabilité dans les déploiements en temps réel. Cet article propose un cadre léger de vérification des affirmations en deux étapes, qui décompose les réponses des LLM en affirmations factuelles élémentaires et vérifie indépendamment chaque affirmation extraite par rapport à une référence générée séparément, obtenue via une consigne isolée de rappel factuel. Bien que le générateur et le vérificateur partagent le même modèle linguistique sous-jacent, la séparation entre la génération de la réponse et le rappel factuel réduit la conditionnalité directe de la réponse et atténue le biais de confirmation durant la vérification, en utilisant l'inférence en langue naturelle (NLI), et en appliquant un seuil statistique adaptatif — défini comme τ = µ + kσ sur la distribution des scores de confiance NLI — afin de corriger sélectivement uniquement les affirmations contredites. Contrairement aux méthodes antérieures basées sur la NLI qui reposent sur des seuils de décision fixes, le cadre proposé adapte dynamiquement son seuil de vérification à la distribution de confiance de chaque réponse, offrant ainsi des performances stables sur l'ensemble des référentiels évalués, sans nécessiter de réentraînement du modèle. Évalué sur TruthfulQA et FEVER, le cadre réduit le taux d'hallucination de 28 % à 9 % sur TruthfulQA — soit une réduction relative de 67,9 % — tout en ajoutant seulement 160 ms de latence supplémentaire par rapport au LLM de base, surpassant ainsi SelfCheckGPT et FActScore en précision de détection des hallucinations. Ces résultats indiquent que le cadre permet d'obtenir un bon compromis entre fiabilité factuelle et latence de réponse sur les référentiels évalués, bien qu'une validation supplémentaire dans divers domaines et contextes de déploiement soit nécessaire.

Introduction

Les modèles de langage de grande taille (LLMs) se sont imposés comme des composants fondamentaux des systèmes modernes d'intelligence artificielle, démontrant des capacités remarquables dans un large éventail de tâches de traitement du langage naturel, notamment la génération de texte, la réponse à des questions, la synthèse et le raisonnement complexe.¹Leur capacité à produire des réponses fluides et cohérentes dans un contexte donné a accéléré leur adoption dans des domaines à fort impact tels que l'aide à la décision clinique, l'analyse juridique, le génie logiciel et la technologie éducative.²Cependant, une limitation critique et persistante compromet leur fiabilité dans ces contextes : l’hallucination, un phénomène dans lequel les modèles produisent des réponses linguistiquement fluides mais factuellement incorrectes, non étayées ou entièrement fabriquées 3. Des études empiriques font état de taux d’hallucination variant de 15 % à plus de 40 %, selon la tâche et le modèle, et même des systèmes à l’état de l’art comme GPT-4 présentent des incohérences factuelles mesurables lors d’évaluations spécifiques à un domaine.^2,3Cette limitation comporte de sérieux risques dans les applications nécessitant une grande précision, où des résultats erronés peuvent entraîner une désinformation, un diagnostic incorrect ou une prise de décision défaillante.⁴Les hallucinations découlent fondamentalement de la nature probabiliste de la modélisation du langage : les grands modèles linguistiques génèrent des tokens en prédisant les prolongements statistiquement probables de séquences d'entrée, plutôt qu'en extrayant ou en raisonnant à partir de connaissances factuelles vérifiées.⁵Par conséquent, les résultats générés peuvent intégrer des affirmations crédibles en apparence mais inexactes, introduire des allégations non étayées ou confondre des concepts sémantiquement apparentés mais factuellement distincts.⁶.

Les stratégies d'atténuation existantes abordent ce problème selon plusieurs paradigmes, chacun présentant des limites notables. La génération assistée par récupération (Retrieval-Augmented Generation, RAG) réduit les hallucinations en ancrant les réponses dans des documents externes récupérés, mais introduit un surcoût de latence important, nécessite un accès à des bases de connaissances maintenues et reste vulnérable aux échecs de récupération dans des domaines spécialisés ou à ressources limitées^7,8,9.

Bien que le générateur de réponses et le générateur de références soient instanciés à l'aide du même modèle sous-jacent GPT-3.5 Turbo, ils fonctionnent selon des objectifs de sollicitation et des contextes d'exécution différents. Le générateur de réponses produit une réponse sans contrainte à la requête de l'utilisateur, tandis que le générateur de références effectue une tâche isolée de rappel factuel, sans accès à la réponse précédemment générée. Cette séparation réduit les effets directs de conditionnement de la réponse et limite les biais de confirmation lors de la vérification des affirmations. Le cadre considère donc la référence générée comme indépendante sur le plan procédural, plutôt que statistiquement indépendante.

Des recherches récentes ont également exploré des stratégies de décodage légères afin de réduire les hallucinations dans la génération de texte, sans dépendre de la récupération externe ni de la vérification répétée. Une approche représentative est le décodage par contraste de couches (Decoding by Contrasting Layers, DoLA), qui améliore la véracité en comparant les représentations provenant des couches intermédiaires et finales du transformeur pendant le décodage. Contrairement aux cadres de vérification post-génération, ces méthodes interviennent directement durant la génération des tokens et optimisent ainsi une étape différente du processus de génération linguistique. Ces stratégies complémentaires montrent que la réduction des hallucinations peut être réalisée soit pendant le décodage, soit par vérification post-génération, chaque approche offrant des compromis distincts en termes de surcharge computationnelle, de complexité de mise en œuvre et de fiabilité factuelle.

Les méthodes d'auto-cohérence améliorent la fiabilité factuelle en échantillonnant plusieurs réponses et en sélectionnant la sortie la plus fréquente ou la plus cohérente, mais leur coût computationnel augmente linéairement avec le nombre d'échantillons, ce qui les rend inadaptées aux déploiements sensibles à la latence⁸. Les approches itératives de raffinement, qui révisent à plusieurs reprises les sorties par des boucles de rétroaction interne, réduisent progressivement les taux d'erreur, mais prolongent considérablement le temps d'inférence à chaque passage supplémentaire⁹. Les méthodes de vérification basées sur l'inférence naturelle (NLI) offrent une alternative plus ciblée en évaluant l'implication sémantique entre les affirmations générées et les textes de référence, mais les implémentations existantes reposent sur des seuils de décision fixes qui ne s'adaptent pas aux différentes distributions de confiance, domaines ou comportements des modèles^10,11. Dans leur ensemble, ces approches imposent soit une surcharge computationnelle inacceptable, soit dépendent d'une infrastructure externe, soit manquent de l'adaptabilité nécessaire à un déploiement généralisé. Une comparaison des caractéristiques principales de ces approches de vérification des hallucinations est fournie dans le tableau supplémentaire 1.

Cet article propose un cadre de vérification de faits léger en deux étapes, conçu pour réduire les hallucinations dans les sorties des grands modèles linguistiques (LLM) tout en maintenant une faible latence de réponse. Dans la première étape, le LLM génère une réponse initiale, qui est ensuite décomposée en faits élémentaires. Dans la seconde étape, chaque fait est vérifié à l’aide de l’inférence en langue naturelle (Natural Language Inference, NLI) par rapport à une référence factuelle générée séparément lors d’un passage de raisonnement isolé n’ayant pas accès à la réponse initialement produite, et un seuil de confiance dérivé statistiquement régit la décision d’acceptation ou de correction au niveau de chaque fait. Les principales contributions de ce travail sont les suivantes : (1) Un pipeline de vérification au niveau des faits en deux étapes, qui dissocie la génération de la réponse de la validation factuelle, permettant ainsi une évaluation indépendante et ciblée de chaque fait élémentaire sans nécessiter de récupération externe ni de régénération complète de la réponse ; (2) Un mécanisme adaptatif de seuil statistique fondé sur la distribution des scores de confiance NLI (τ = µ + kσ), qui détermine dynamiquement les seuils d’acceptation et de correction plutôt que de s’appuyer sur des règles de décision fixes, améliorant ainsi la robustesse face à des distributions de confiance variables ; (3) Une stratégie de correction sélective qui limite la régénération aux seuls faits classés comme contradictoires, réduisant ainsi de manière significative la surcharge computationnelle par rapport aux approches de rééchantillonnage complet ou de raffinement itératif ; (4) Une évaluation empirique sur un jeu de données axé sur les hallucinations, démontrant que le cadre proposé réduit les taux d’hallucination de 28 % à 9 % tout en maintenant la latence de réponse dans des limites compatibles avec un déploiement pratique.

Protocole

Cette étude n'a pas impliqué de participants humains, d'animaux, d'échantillons biologiques ou de données de patients. Par conséquent, aucune approbation éthique institutionnelle ni consentement éclairé n'était requise.

Aperçu du plan d'étude

Un cadre de vérification en deux étapes a été mis en œuvre afin d'améliorer la fiabilité factuelle des sorties des grands modèles linguistiques (LLM). La procédure comprenait la génération de réponses, l'extraction d'affirmations, la construction isolée de références, la vérification fondée sur l'inférence en langage naturel (NLI), la prise de décision statistique adaptative, la correction sélective et l'assemblage final de la réponse. Le cadre a été évalué à l'aide des jeux de données de référence TruthfulQA et FEVER.

Flux global du protocole

Requête de l'utilisateur → Génération de la réponse initiale → Extraction des affirmations → Génération indépendante des références → Vérification par inférence naturelle (NLI) → Calcul du seuil statistique → Correction des affirmations → Réponse finale vérifiée. Le flux de travail global du cadre adaptatif de vérification des affirmations est illustré dans Figure 1.

Préparation du jeu de données

Le jeu de données TruthfulQA¹², contenant 817 questions axées sur les faits, a été téléchargé et préparé pour l'évaluation. Le jeu de données FEVER¹³ comprend 185 445 affirmations annotées étiquetées comme étant « Supportées », « Réfutées » ou « Pas assez d'informations » ; l'évaluation a utilisé les données de développement étiquetées, avec leurs champs d'affirmation, de preuve et d'étiquette de vérité terrain. Chaque affirmation a été évaluée par rapport à la preuve fournie, tandis que l'étiquette FEVER d'origine a été conservée comme résultat de référence pour la vérification. Le jeu de données FEVER, qui contient des paires affirmation-preuve pour la vérification de faits, a été obtenu et prétraité. Les questions et affirmations d'entrée ont été converties en un format texte normalisé. Les entrées en double et les échantillons incomplets ont été supprimés avant l'expérimentation. TruthfulQA a été divisé en sous-ensembles de validation et de test. Environ 20 % des échantillons de TruthfulQA (164 questions) ont été utilisés pour le réglage du seuil, tandis que les 653 questions restantes ont été réservées pour l'évaluation des performances. Pour FEVER, les affirmations fournies par le benchmark ont été utilisées directement comme unités de vérification et n'ont pas subi la procédure de génération de réponse et d'extraction d'affirmation appliquée à TruthfulQA. Les caractéristiques des jeux de données de référence utilisés pour le développement et l'évaluation du cadre sont résumées dans Tableau 1.

Génération de la réponse initiale

Chaque requête a été soumise au modèle linguistique de base. Les réponses ont été générées à l'aide d'un échantillonnage par noyau avec une température de 0,7 et un top-p de 0,9. La longueur maximale de sortie était limitée à 256 jetons. Les réponses générées ont été stockées sans post-traitement ni modification manuelle. Le texte généré a été transmis directement à l'étape d'extraction des affirmations.

Extraction de revendications

Chaque réponse générée a été décomposée en énoncés factuels indépendamment vérifiables. Un modèle de décomposition structuré a été utilisé pour identifier les affirmations élémentaires. Les énoncés composés ont été séparés en unités factuelles minimales. Les opinions subjectives, les expressions stylistiques et les éléments superflus de conversation ont été supprimés. Chaque affirmation extraite a été stockée comme une unité de vérification indépendante.

Exemple :

Réponse initiale :

« Marie Curie était une physicienne et chimiste née en Pologne qui a mené des recherches pionnières sur la radioactivité. »

Revendications extraites : (1) Marie Curie était d'origine polonaise ; (2) Marie Curie était physicienne et chimiste ; (3) Marie Curie a mené des recherches sur la radioactivité.

Construction de la référence isolée :

Pour chaque affirmation extraite, une référence factuelle indépendante a été générée. Le modèle de vérification a reçu uniquement la requête initiale de l'utilisateur. L'accès à la réponse initialement générée a été restreint afin d'éviter tout biais de confirmation. Un prompt de rappel factuel a été utilisé pour encourager des réponses concises et fondées sur des preuves. Les références générées ont été stockées en vue d'une vérification ultérieure.

Vérification de l'inférence du langage naturel

Chaque paire affirmation-référence a été soumise à un modèle d'inférence naturelle pré-entraîné (NLI). Le modèle NLI a classé la relation comme suit : implication, neutralité ou contradiction. Les probabilités de confiance pour les trois classes ont été enregistrées. Un score de vérification signé a été attribué : une valeur positive pour l'implication, zéro pour la neutralité, ou une valeur négative pour la contradiction. Tous les scores de vérification ont été regroupés afin de calculer un seuil.

Calcul du seuil statistique adaptatif

La confiance de vérification produite par le modèle NLI varie considérablement selon les réponses, car différentes requêtes génèrent un nombre variable d'affirmations, un niveau de complexité sémantique différent et des distributions de confiance hétérogènes. Un seuil global fixe suppose que toutes les réponses suivent un profil de confiance similaire, ce qui est rarement observé en pratique. Pour tenir compte de cette variabilité, le cadre proposé estime la frontière de décision individuellement pour chaque réponse à l'aide de la moyenne et de l'écart type de ses scores de vérification. La moyenne reflète le niveau global de confiance de la réponse, tandis que l'écart type capture la dispersion des valeurs de confiance parmi les affirmations extraites. Cette formulation adaptative permet au critère d'acceptation de s'ajuster à l'incertitude propre à chaque réponse, plutôt que de s'appuyer sur un seuil unique pour toutes les entrées.

La moyenne (µ) et l'écart type (σ) de tous les scores de vérification signés ont été calculés.

Le seuil de décision adaptatif a été calculé comme suit :

où τ représente le seuil adaptatif, µ désigne la moyenne des scores de vérification, σ désigne l'écart type, et k représente le paramètre de sensibilité.

Le paramètre de sensibilité a été initialisé à 0,7. Les affirmations classées comme implication avec des scores supérieurs ou égaux à +τ ont été acceptées. Les affirmations classées comme contradiction avec des scores inférieurs ou égaux à −τ ont été signalées pour correction. Les affirmations dont les scores se situaient dans l'intervalle (−τ, +τ) ont été conservées comme neutres.

Correction sélective des revendications

Une réclamation était transmise pour correction uniquement lorsque le modèle NLI classait la paire réclamation-référence comme une contradiction, et que son score de vérification signé correspondant satisfaisait au critère de seuil adaptatif s_i ≤ -τ. Ainsi, la décision de correction était déterminée conjointement par l'étiquette de classe NLI et le seuil statistique spécifique à la réponse. Les réclamations classées comme impliquées (Entailment) avec s_i ≥ τ étaient acceptées, tandis que celles tombant dans l'intervalle -τ < s_i < τ étaient considérées comme neutres et conservées sans correction. Ce critère combiné garantissait que la correction n'était appliquée qu'aux réclamations présentant à la fois une contradiction sémantique et des preuves de vérification négatives suffisamment fortes.

Reconstruction de la réponse

Les affirmations acceptées et corrigées ont été organisées selon leur séquence d'origine. Les limites des phrases ont été rétablies afin de préserver la lisibilité. Des ajustements grammaticaux mineurs ont été appliqués lorsque nécessaire. Le résultat assemblé a été enregistré comme la réponse finale vérifiée.

Évaluation des performances

Le cadre a été évalué à l'aide de quatre métriques : (1) Précision : la proportion de réponses restées factuellement correctes après vérification ; (2) Score F1 : la moyenne harmonique de la précision et du rappel de détection des hallucinations ; (3) Latence de réponse : le temps total de traitement entre la soumission de la requête et la génération de la réponse vérifiée ; (4) Taux d'hallucination

La latence a été indiquée comme le temps moyen d'exécution sur plusieurs mesures répétées. Étant donné que les valeurs individuelles de latence par exécution n'ont pas été conservées, les écarts types et les intervalles de confiance n'ont pas été calculés.

Évaluation de la justesse propre à chaque référence

Pour TruthfulQA, la réponse finale vérifiée a été comparée aux références de réponses validées par des humains du benchmark ainsi qu'aux listes de réponses incorrectes. Une réponse était considérée comme correcte lorsque ses affirmations factuelles étaient conformes aux informations de la réponse acceptée et ne contenaient pas de contenu correspondant aux motifs identifiés de réponses incorrectes. Pour FEVER, chaque affirmation dans le résultat final a été évaluée par rapport à ses preuves associées et à l'annotation FEVER d'origine ; les affirmations étiquetées « Supportées » ont été considérées comme vérifiées sur le plan factuel, tandis que les affirmations étiquetées « Réfutées » ont été comptabilisées comme incorrectes. Les cas « Pas assez d'informations » ont été conservés comme indéterminés, sans être considérés comme une preuve factuelle positive. Les décisions au niveau des affirmations ont ensuite été agrégées pour chaque benchmark afin de calculer la Précision et le Taux d'hallucination rapportés.

Environnement expérimental

Le cadre a été mis en œuvre à l'aide de Python 3.9. Les opérations de traitement des données ont été effectuées à l'aide de bibliothèques d'analyse numérique et tabulaire. Le modèle NLI a fonctionné en mode inférence, sans réglage fin supplémentaire. Les expériences ont été exécutées sur une station de travail équipée d'un processeur Intel Core i5, de 16 Go de RAM et d'un système d'exploitation 64 bits. Toutes les évaluations ont été menées en utilisant un paramètre d'inférence à passage unique afin d'assurer un fonctionnement à faible latence. Toutes les expériences ont été réalisées avec des configurations matérielles et logicielles identiques afin de garantir une évaluation cohérente entre les ensembles de données et les méthodes de référence.

Résultat attendu

Le protocole est conçu pour produire des décisions de vérification au niveau des affirmations en identifiant les affirmations potentiellement non étayées et en transférant de façon sélective les affirmations fortement contredites pour correction. Le résultat attendu est une réponse vérifiée présentant moins d'incohérences factuelles et un surcoût de traitement limité, sous réserve des performances observées lors de l'évaluation expérimentale.

Résultats

Génération de la réponse initiale

Le modèle de langage de base a produit des réponses fluides et contextuellement pertinentes aux questions des deux jeux de données de référence. Toutefois, un examen détaillé a révélé des affirmations non étayées et factuellement inexactes dans plusieurs réponses. Sur le jeu de données TruthfulQA, le système de base a présenté un taux d’hallucination de 28 %, tandis qu’un taux d’hallucination de 26 % a été observé sur le jeu de données FEVER. Ces résultats ont confirmé que la génération directe de langage seule était insuffisante pour des applications exigeant une grande fiabilité factuelle, et ont établi la condition de base par rapport à laquelle toutes les procédures de vérification ultérieures ont été comparées.

Extraction des allégations

La procédure d'extraction des affirmations a correctement décomposé les réponses générées en unités factuelles indépendamment vérifiables. Les réponses provenant de TruthfulQA contenaient en moyenne 3,2 affirmations atomiques, tandis que les échantillons de FEVER se composaient généralement d'une seule affirmation. Le processus de décomposition a isolé les assertions factuelles sans introduire d'informations supplémentaires, permettant ainsi d'évaluer chaque énoncé séparément. Cette observation soutient l'hypothèse selon laquelle la vérification au niveau des affirmations offre une précision supérieure à celle de l'évaluation de l'ensemble des réponses comme une seule unité.

Construction de références indépendantes

Des références indépendantes ont été générées pour chaque affirmation extraite à l’aide d’un processus de raisonnement distinct, conditionné uniquement sur la requête initiale. Les références générées fournissaient des descriptions factuelles concises, suffisamment différentes des réponses initiales pour servir de sources de vérification indépendantes. Le processus de génération des références a été isolé de la réponse initiale afin d’éviter de conditionner directement la référence factuelle sur la sortie précédente du modèle. Cette séparation visait à réduire les biais de confirmation potentiels et à offrir une base contrôlée pour la vérification ultérieure au niveau des affirmations ; l’étude ne quantifie pas indépendamment l’ampleur de cet effet. La génération réussie de références indépendantes appuie le principe de conception proposé, qui consiste à séparer la récupération des connaissances de la génération des réponses.

Vérification de l'inférence en langage naturel

L'étape de vérification NLI a permis de classer efficacement les paires affirmation-référence en catégories d'inférence, de contradiction et de neutralité. Les affirmations contradictoires ont systématiquement obtenu des scores de vérification négatifs, tandis que les affirmations étayées factuellement ont reçu des scores positifs. Les classifications neutres ont été attribuées aux affirmations pour lesquelles aucune preuve suffisante n'était disponible. Ce comportement a démontré que l'inférence sémantique pouvait identifier de façon fiable les énoncés factuels non étayés et fournir les preuves nécessaires à une correction ciblée. Par rapport à une stratégie simple de vérification de cohérence, la vérification NLI a réduit le taux d'hallucination de 20 % à 15 %, indiquant une capacité de détection améliorée.

Seuillage statistique adaptatif

L'application d'un seuillage statistique adaptatif a encore amélioré les performances de vérification en ajustant dynamiquement les frontières de décision en fonction de la distribution des scores de confiance de chaque réponse. Une analyse de sensibilité du seuil a montré que les performances s'amélioraient lorsque le paramètre de seuil augmentait de 0,3 à 0,7. Pour une valeur de sensibilité de 0,7, le cadre atteignait une précision de 0,87 tout en réduisant les hallucinations à 9 % (Figure 2). Les résultats complets de l'analyse de sensibilité pour les valeurs évaluées de k sont fournis dans le Tableau supplémentaire 2. Augmenter davantage le seuil au-delà de ce point n'apportait que des gains minimes en précision tout en augmentant la latence. Ces observations confirmaient l'hypothèse selon laquelle les seuils adaptatifs sont plus efficaces que des frontières de décision fixes pour gérer les distributions variables de confiance entre les réponses.

Le seuil adaptatif reflète également la variabilité des scores de confiance au sein de chaque réponse. Les réponses présentant des scores de vérification très cohérents produisent un écart type plus faible, ce qui conduit à une frontière de décision plus sélective. En revanche, les réponses contenant des affirmations ayant des valeurs de confiance hétérogènes entraînent un écart type plus élevé, aboutissant à une zone d'acceptation plus large et réduisant ainsi les corrections inutiles pour les affirmations incertaines. Bien que ce comportement adaptatif ne puisse pas éliminer chaque faux positif ou chaque faux négatif, il permet à la frontière de décision de s'ajuster aux caractéristiques d'incertitude de chaque réponse, plutôt que d'appliquer un critère uniforme à toutes les entrées.

Correction sélective des revendications et assemblage de la réponse

Seules les affirmations identifiées comme contradictoires ont été soumises à correction, tandis que les affirmations étayées et neutres ont été conservées sans modification. Cette stratégie de correction sélective a permis de minimiser la régénération inutile et de préserver la structure originale de la réponse. Après correction et reconstruction de la réponse, le taux d'hallucination sur TruthfulQA est passé de 28 % à 9 %, représentant une réduction relative de 67,9 %. Des améliorations similaires ont été observées sur FEVER, où les hallucinations sont passées de 26 % à 10 %. Les comparaisons de précision et de taux d'hallucination entre les configurations évaluées sont présentées respectivement dans les Figures 3 et 4.

Évaluation des performances

L'évaluation comparative a montré que le cadre proposé atteignait la performance globale la plus élevée parmi toutes les méthodes testées. Sur TruthfulQA, le cadre a atteint une exactitude de 0,87 et un score F1 de 0,85, surpassant à la fois la vérification à seuil fixe et les approches fondées sur l'auto-cohérence (Tableau 2, Figures 3 et 4). Sur FEVER, le cadre a atteint une exactitude de 0,89 et un score F1 de 0,87 (Tableau 3, Figures 3 et 4). La contribution progressive des composants du cadre est examinée à travers l'analyse d'ablation présentée dans le Tableau 4. Ces améliorations ont confirmé que la combinaison de la vérification au niveau des affirmations avec une prise de décision statistique adaptative améliorait la fiabilité factuelle sur plusieurs ensembles de données. L'exactitude de détection des hallucinations pour SelfCheckGPT, FActScore et le cadre proposé est comparée dans la Figure 5.

Analyse de la latence

Le pipeline complet de vérification a maintenu une surcharge informatique faible. Le temps de réponse moyen est passé de 820 ms pour le modèle de base à 980 ms pour l'ensemble du cadre, ce qui représente une augmentation modeste du temps de traitement (Tableau 5). La génération de la réponse a représenté la majeure partie de la latence totale, tandis que les étapes de vérification et de correction ont ajouté relativement peu de surcharge supplémentaire. La répartition du temps de traitement par étape est fournie dans le Tableau supplémentaire 3. Par rapport aux systèmes de vérification basés sur la récupération, qui nécessitaient environ 1600 ms par requête, le cadre proposé a permis une latence nettement plus faible tout en conservant une précision factuelle comparable. Ces résultats appuient l'hypothèse selon laquelle la réduction des hallucinations peut être obtenue sans nuire à l'utilisabilité en temps réel.

Étant donné que la génération de réponses repose sur un modèle linguistique basé sur le cloud, les mesures individuelles de latence sont sujettes à des fluctuations dues aux conditions du réseau et à l'ordonnancement côté serveur, plutôt qu'à un temps d'exécution déterministe. Des mesures répétées ont donc été utilisées afin d'obtenir des valeurs moyennes représentatives, réduisant ainsi l'influence de la variabilité transitoire de l'exécution tout en préservant les comparaisons relatives entre les méthodes évaluées. Les valeurs de latence sont indiquées comme des temps moyens d'exécution obtenus sur plusieurs répétitions expérimentales. Les valeurs individuelles de latence par exécution n'ont pas été conservées ; par conséquent, aucun calcul a posteriori de variance, d'intervalles de confiance ou d'autres mesures de variabilité n'a été possible. Ainsi, les valeurs de latence et la comparaison vitesse-précision dans la Figure 6 sont présentées sous forme d'estimations ponctuelles sans barres d'erreur.

En conclusion, les résultats ont démontré que la combinaison de l'extraction d'assertions, de la génération indépendante de références, de la vérification par inférence en langage naturel, du seuillage statistique adaptatif et de la correction sélective améliore la fiabilité factuelle des sorties des grands modèles linguistiques. Le cadre proposé a réduit le taux d'hallucination de 28 % à 9 % sur TruthfulQA et de 26 % à 10 % sur FEVER. Les résultats indiquent que la vérification adaptative au niveau des assertions améliore les métriques de fiabilité factuelle tout en limitant la latence supplémentaire de réponse dans les conditions évaluées.

Disponibilité des données

Les jeux de données analysés dans cette étude sont accessibles publiquement par l'intermédiaire de leurs sources officielles respectives. L'article fournit les informations sur les jeux de données, les configurations des modèles et les détails méthodologiques nécessaires pour permettre la reproduction des analyses décrites. Les données d'évaluation traitées et les résultats supplémentaires générés au cours de l'étude sont fournis dans les fichiers supplémentaires.

Figure 1 : Flux de travail du cadre adaptatif de vérification des affirmations. Une réponse initiale générée par un modèle linguistique de grande taille (LLM) est décomposée en affirmations factuelles, suivie par une génération indépendante de références, une vérification fondée sur l'inférence linguistique naturelle (NLI), une attribution de score de confiance et un seuil statistique. Les affirmations satisfaisant au critère d'acceptation sont conservées, tandis que celles satisfaisant au critère de correction subissent une correction ciblée avant l'assemblage final de la réponse. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Figure 2: Effet du paramètre de sensibilité (k) sur la précision de la vérification. Précision sur TruthfulQA et FEVER pour des valeurs de k de 0,3, 0,5, 0,7 et 1,0. La précision augmente avec k sur les deux jeux de données, avec k = 0,7 sélectionné pour l'évaluation primaire. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Figure 3 : Comparaison de la précision entre différentes méthodes de vérification. Précision du modèle linguistique de base, de la vérification fondée sur l'inférence linguistique naturelle (NLI) et du cadre de vérification adaptative proposé sur les jeux de données TruthfulQA et FEVER. Veuillez cliquer ici pour afficher une version agrandie de cette figure.

Figure 4 : Comparaison des taux d'hallucination selon les méthodes de vérification. Taux d'hallucination pour le modèle LLM de base, la vérification fondée sur la NLI et le cadre proposé sur TruthfulQA et FEVER. Le cadre proposé réduit le taux de 28 % à 9 % sur TruthfulQA et de 26 % à 10 % sur FEVER. Veuillez cliquer ici pour afficher une version agrandie de cette figure.

Figure 5 : Précision de la détection des hallucinations selon les différentes méthodes. Précision de détection de SelfCheckGPT, de FActScore et du cadre proposé sur TruthfulQA et FEVER. Veuillez cliquer ici pour afficher une version agrandie de cette figure.

Figure 6 : Compromis entre temps de réponse et précision selon les méthodes de vérification. Relation entre la latence de réponse et la précision pour les méthodes évaluées sur TruthfulQA et FEVER, illustrant le compromis performance–latence associé au cadre proposé et aux approches comparatives. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Jeu de données	Échantillons utilisés	Domaines	Longueur moyenne de la réponse (tokens)	Taux de hallucination du LLM de référence
TruthfulQA	817	38 (sciences, histoire, droit, etc.)	42	28%
FEVER	1 000	Assertions factuelles générales	18	26%

Tableau 1 : Caractéristiques des ensembles de données de référence. Résumé des ensembles de données TruthfulQA et FEVER utilisés pour le développement et l'évaluation du cadre, incluant le nombre d'échantillons, la précision de base, le taux de hallucination de base et le nombre moyen d'affirmations par échantillon.

Méthode	Exactitude	Précision	Rappel	Score F1	Pourcentage d'hallucinations
Modèle de base (inférence unique)	0.72	0.71	0.69	0.7	28%
Vérification basée sur la NLI (seuil fixe)	0.82	0.815	0.785	0.8	15%
SelfCheckGPT	0.76	0.755	0.725	0.74	22%
FActScore	0.85	0.8425	0.8175	0.83	11%
Cadre proposé (seuil statistique)	0.87	0.86	0.84	0.85	9%

Tableau 2 : Comparaison des performances sur TruthfulQA. Précision, exactitude, rappel, score F1 et taux d’hallucinations pour le modèle LLM de référence, SelfCheckGPT, FActScore, la vérification NLI et le cadre proposé.

Méthode	Précision	Exactitude	Rappel	Score F1	Proportion d'hallucinations
SelfCheckGPT	0.78	—	—	—	—
FActScore	0.87	—	—	—	—
Modèle de base LLM†	0.74	0.73	0.71	0.72	26%
Vérification basée sur l'inférence naturelle (seuil fixe)	0.83	0.8225	0.7975	0.81	14%
Cadre proposé (seuil statistique)	0.89	0.8775	0.8625	0.87	10%

Tableau 3 : Comparaison des performances sur FEVER. Précision, exactitude, rappel, score F1 et taux d'hallucination pour le modèle de langage de base, SelfCheckGPT, FActScore, la vérification NLI et le cadre proposé.

Configuration	Précision	Exactitude	Rappel	F1 (ajouté)	Taux d'hallucination
Modèle linguistique de base	0.72	0.71	0.69	0.7	28%
Base + Vérification secondaire (sans NLI)	0.78	0.7725	0.7475	0.76*	20%
Base + Vérification basée sur NLI (seuil fixe)	0.82	0.815	0.785	0.8	15%
Base + Module décisionnel statistique (complet)	0.87	0.86	0.84	0.85	9%

Tableau 4 : Analyse d'ablation des composants du cadre méthodologique. Variations du taux de précision, du score F1 et du taux d'hallucination suite à l'intégration séquentielle de la validation secondaire, de la vérification par inférence naturelle (NLI) et du seuil statistique adaptatif.

Méthode	Temps de réponse moyen (ms)
LLM de référence (génération unique)	820
Mécanisme d'auto-validation	910
Cadre statistique proposé	980
Vérification augmentée par récupération (RAG)	1600

Tableau 5 : Latence de réponse selon les méthodes de vérification. Temps moyen de réponse et latence supplémentaire par rapport au modèle linguistique de base pour l'auto-validation, le cadre proposé et la vérification augmentée par récupération.

Tableau supplémentaire 1 : Comparaison des approches de vérification des hallucinations. Comparaison du cadre proposé avec les méthodes existantes en termes de récupération externe, de vérification au niveau des affirmations, de seuil adaptatif et de traitement efficace en matière de latence.Veuillez cliquer ici pour télécharger ce fichier.

Tableau supplémentaire 2 : Analyse de sensibilité du paramètre seuil (k). La précision, la justesse, le rappel, le score F1 et le taux d'hallucination ont été obtenus pour des valeurs du paramètre seuil de 0,3, 0,5, 0,7 et 1,0. Une valeur de k = 0,7 a été utilisée pour l'évaluation principale.Veuillez cliquer ici pour télécharger ce fichier.

Tableau supplémentaire 3 : Temps de traitement aux différentes étapes du pipeline de vérification. Temps d'exécution moyen et contribution en pourcentage de la génération initiale de la réponse, de la décomposition de l'affirmation, de la génération de références, de l'inférence NLI et de la correction sélective au temps total de réponse.Veuillez cliquer ici pour télécharger ce fichier.

Tableau supplémentaire 4 : Répartition des erreurs identifiées lors de la vérification. Nombre et pourcentage d'erreurs de faux négatifs, de faux positifs et d'erreurs de correction, ainsi que les catégories principales d'hallucinations associées à chaque type d'erreur.Veuillez cliquer ici pour télécharger ce fichier.

Discussion

Le cadre proposé a amélioré les performances de vérification factuelle tout en évitant l'échantillonnage répété et la récupération externe. Sur TruthfulQA, le taux d'hallucination est passé de 28 % pour le modèle LLM de référence à 9 % avec le cadre complet, tandis que la précision est passée de 0,72 à 0,87. Sur FEVER, le taux d'hallucination est passé de 26 % à 10 %, la précision augmentant de 0,74 à 0,89. Ces comparaisons doivent être interprétées dans le contexte des paramètres expérimentaux et des implémentations utilisés dans cette étude, et non comme une preuve de supériorité universelle dans d'autres conditions de déploiement. Le cadre effectue une vérification au niveau des affirmations après la génération, en utilisant une référence factuelle isolée et une correction sélective, offrant ainsi un compromis entre l'ancrage dans les connaissances externes, l'inférence répétée et une vérification légère après génération. Les générateurs de réponse et de référence utilisent le même modèle sous-jacent GPT-3.5 Turbo, mais fonctionnent selon des objectifs de sollicitation différents et dans des contextes d'exécution isolés. Le générateur de référence reçoit uniquement la requête initiale et n'a pas accès à la réponse générée précédemment. Ainsi, les deux processus de génération sont indépendants sur le plan procédural, mais non statistiquement indépendants, et peuvent conserver des biais factuels corrélés provenant de leur modèle préentraîné commun.

Comparaison avec les approches existantes

Le modèle de base NLI à seuil fixe applique un seuil de confiance de 0,7 fondé sur des travaux antérieurs concernant la vérification de la factualité fondée sur la NLI¹⁴. SelfCheckGPT¹⁵ représente une approche de détection des hallucinations sans ressource externe, qui génère plusieurs échantillons stochastiques et utilise la NLI pour identifier les affirmations incohérentes. FActScore¹⁶ décompose les réponses générées en faits élémentaires et les vérifie par rapport à des références extraites d'une source de connaissances basée sur Wikipédia. En revanche, le cadre proposé effectue une vérification au niveau des affirmations sans recourir à une génération répétée de la réponse complète ni à une récupération externe.

DoLA est une approche complémentaire légère qui améliore la génération factuelle en comparant les probabilités de tokens dérivées de différentes couches de transformeur pendant l'inférence. Une comparaison expérimentale directe n'a pas été incluse, car DoLA modifie le processus de génération de tokens, tandis que le cadre proposé effectue une vérification au niveau des affirmations après génération, suivie d'une correction sélective. La mise en œuvre de DoLA nécessiterait un accès aux représentations internes des couches de transformeur, qui ne sont pas exposées par l'API GPT-3.5 Turbo utilisée dans cette étude. L'absence de récupération externe réduit la dépendance à la récupération et les exigences de traitement associées, mais limite également la vérification aux connaissances disponibles pour les modèles sous-jacents. Par conséquent, les fabrications complètes ou les affirmations spécialisées situées en dehors de la couverture des connaissances du vérificateur restent difficiles à corriger.

Seuils statistiques adaptatifs et correction sélective

Le seuil adaptatif est dérivé de la distribution empirique des scores de confiance et contrôle le compromis entre le rappel de détection des hallucinations et la précision de la correction. Une analyse de sensibilité a évalué les valeurs de 0,3, 0,5, 0,7 et 1,0 sur un ensemble de validation indépendant de TruthfulQA. Une valeur de k = 0,7 offrait le compromis le plus équilibré entre réduction des hallucinations et efficacité computationnelle pour les références évaluées.

Le seuil optimal peut varier selon les domaines d'application, car la distribution des scores de confiance NLI dépend de la nature du contenu généré. Pour une application dans un nouveau domaine, un ensemble de validation représentatif de l'application cible peut donc être utilisé afin d'évaluer différentes valeurs candidates et de choisir celle qui équilibre performance de vérification factuelle, taux de correction et latence de traitement. Étant donné que l'optimisation du seuil implique un seul paramètre scalaire et non un réentraînement des modèles, l'adaptation ne nécessite pas de modifier les modèles sous-jacents.

La correction sélective limite la régénération aux affirmations classées comme contradiction et satisfaisant le critère de seuil statistique. Cela permet d'éviter le traitement répété des affirmations qui ne remplissent pas le critère de correction et distingue le cadre des approches de rééchantillonnage de la réponse complète et du raffinement itératif.

Compromis entre latence et performances

Le cadre proposé a atteint un temps de réponse moyen de 980 ms, contre 820 ms pour le modèle linguistique de base et 1600 ms pour la vérification augmentée par récupération. L'analyse par étape a montré que la génération initiale de la réponse représentait 83,7 % de la latence totale, tandis que l'inférence NLI contribuait à hauteur de 3,9 % et la correction sélective, en moyenne, à moins de 1 %. Les valeurs de latence sont indiquées comme des temps d'exécution moyens obtenus lors de plusieurs répétitions expérimentales. Les valeurs individuelles de latence par exécution n'ont pas été conservées ; par conséquent, aucun calcul a posteriori de la variance, des intervalles de confiance ou d'autres mesures de variabilité n'a été possible. Ainsi, les valeurs de latence et la comparaison vitesse-précision sont présentées sous forme d'estimations ponctuelles sans barres d'erreur. Les valeurs de latence indiquées reflètent l'environnement expérimental utilisé dans cette étude et peuvent varier selon différentes conditions de déploiement, notamment lorsqu'on utilise des API de modèles linguistiques basées sur le cloud. La latence réseau, la charge du serveur et la disponibilité du service peuvent influencer indépendamment les temps de réponse absolus, indépendamment du cadre de vérification proposé.

Analyse des erreurs

Les affirmations incorrectement traitées dans le jeu de test TruthfulQA ont été classées comme faux négatifs, faux positifs ou erreurs de correction. La répartition et les principales catégories de ces erreurs sont résumées dans le Tableau 4 supplémentaire. Les faux négatifs représentaient 52,6 % de l'ensemble des erreurs et étaient principalement associés à des hallucinations temporelles et à des substitutions factuelles subtiles. Les erreurs temporelles peuvent être passées sous silence lorsque le vérificateur partage la limite d'entraînement du modèle de base, tandis que les substitutions factuelles subtiles peuvent obtenir des scores NLI dans la plage Neutre plutôt que dans celle de Contraire.

Les faux positifs représentaient 35,9 % des erreurs et survenaient principalement pour des faits peu courants, très spécifiques ou récemment établis, situés en dehors de la couverture de connaissance à haute confiance du modèle de vérification. Ces cas produisaient des scores de déduction NLI faibles, malgré le fait que les affirmations étaient factuellement correctes. Les erreurs de correction représentaient 11,5 % de l'ensemble des erreurs et survenaient lorsqu'une fabrication complète était identifiée, mais que le processus de correction générait une autre déclaration inexacte en raison d'une couverture insuffisante des connaissances du vérificateur.

Ces résultats indiquent que les erreurs résiduelles proviennent à la fois de la discrimination NLI et de la couverture des connaissances du vérificateur, en particulier pour les inexactitudes temporelles, les substitutions factuelles subtiles, les faits peu courants et les fabrications complètes.

Analyse statistique

Le taux d'hallucination est passé de 15 % avec la vérification NLI à seuil fixe à 9 % avec le cadre statistique proposé, tandis que le cadre complet a réduit ce taux de 28 % pour la référence à 9 % sur TruthfulQA. Ces différences sont présentées comme des changements descriptifs de performance, et aucune significativité statistique formelle n'est affirmée, car l'évaluation actuelle ne comprend pas les résultats de tests statistiques ni les estimations de l'ampleur de l'effet nécessaires pour étayer une telle inférence^17,18.

Limites

Les performances de vérification du cadre sont limitées par les capacités du modèle NLI sous-jacent. DeBERTa-v3-large peut éprouver des difficultés avec les comparaisons numériques fines, le raisonnement temporel et les affirmations nécessitant une inférence en plusieurs étapes reliant plusieurs faits. Les limites du modèle NLI ont également été associées à des faux négatifs impliquant des substitutions factuelles subtiles, et des faiblesses systématiques du modèle NLI peuvent se propager dans les décisions de vérification.

Les générateurs de réponse et de référence utilisent le même modèle sous-jacent GPT-3.5 Turbo. Bien que des objectifs de prompt différents et des contextes d'exécution isolés assurent une indépendance procédurale, les deux processus ne sont pas statistiquement indépendants et peuvent conserver des biais factuels corrélés provenant de leur modèle préentraîné commun.

Le couplage entre l'évaluateur et le vérificateur constitue une limitation supplémentaire. L'évaluation finale des hallucinations utilise le même modèle NLI (inférence du langage naturel) qui vérifie les affirmations dans le cadre du pipeline proposé. Cela peut introduire un biais d'accord entre le vérificateur et l'évaluateur et influencer l'amélioration mesurée. Les résultats rapportés doivent donc être interprétés comme une performance mesurée selon la procédure d'évaluation fondée sur le NLI définie, et non comme une preuve pleinement indépendante de réduction des hallucinations. Une évaluation humaine indépendante ou un modèle d'évaluation développé séparément fournirait une validation plus solide.

L'étape de décomposition des affirmations a été évaluée uniquement en fonction de sa contribution à la vérification de bout en bout et n'a pas été évaluée indépendamment par rapport aux limites d'affirmations annotées manuellement. Par conséquent, l'étude ne fournit pas d'estimation quantitative séparée de la précision de la décomposition ni de sa propagation d'erreur individuelle vers la vérification ultérieure.

L'évaluation s'est limitée à TruthfulQA et FEVER, ainsi qu'au contenu en anglais. Par conséquent, les performances observées ne permettent pas d'établir une généralisation à des domaines spécialisés, à des contextes multilingues ou à la génération de textes longs. La valeur optimale de k peut également varier selon les domaines d'application, car les distributions des scores de confiance en inférence linguistique naturelle (NLI) dépendent de la nature du contenu généré. Un étalonnage spécifique au domaine et une évaluation plus large sont donc nécessaires avant de pouvoir étendre ces résultats au-delà des conditions évaluées dans cette étude.

Enfin, les mesures de latence sont spécifiques à la configuration expérimentale et peuvent varier selon les environnements d'exécution. Étant donné que les mesures individuelles de latence par exécution n'ont pas été conservées, la variabilité et les intervalles de confiance n'ont pas pu être estimés a posteriori. Une évaluation future devrait conserver les mesures individuelles et inclure une caractérisation statistique plus large de la latence entre différents environnements d'exécution.

Travaux futurs

Les études futures devraient aborder les principales limitations identifiées dans le cadre actuel. Une calibration du seuil tenant compte du domaine est nécessaire, car la valeur fixe (k = 0,7) choisie à l’aide de TruthfulQA pourrait ne pas être optimale pour des domaines spécialisés présentant des distributions différentes des scores de confiance en inférence linguistique naturelle (NLI). Des données de validation spécifiques au domaine pourraient être utilisées pour calibrer le seuil et, le cas échéant, appliquer des pénalités asymétriques aux erreurs de faux négatifs et de faux positifs¹⁹.

La décomposition améliorée des affirmations devrait inclure une évaluation indépendante utilisant des limites d'affirmations annotées par des humains afin de quantifier l'exhaustivité, la justesse et la propagation des erreurs en aval. Des modèles de décomposition affinés par réglage fin et des mesures de confiance dans la décomposition pourraient réduire davantage les erreurs découlant d'affirmations mal segmentées. De futures évaluations comparatives devraient également inclure des approches légères basées sur le décodage, telles que DoLA, dans le cadre d'un protocole expérimental unifié.

La récupération légère pourrait aider à résoudre les fabrications complètes, qui restent difficiles lorsque le vérificateur ne dispose pas de connaissances factuelles suffisantes. Un mécanisme de secours ciblé par récupération pour les affirmations contredites à faible confiance pourrait fournir un soutien factuel externe sans nécessiter une récupération pour chaque affirmation²⁰.

Une extension multilingue est également nécessaire, car l'évaluation actuelle est limitée à des référentiels en langue anglaise³. De futures études devraient évaluer les modèles multilingues de déduction linguistique naturelle (NLI) ainsi que les invites spécifiques aux langues pour la décomposition et la correction des affirmations sur des référentiels multilingues de hallucinations.

Conclusion

Cette étude présente un cadre de vérification des affirmations en deux étapes, combinant une décomposition en affirmations élémentaires, une génération distincte de références factuelles par prompts séparés, une vérification par inférence linguistique naturelle (NLI), un seuillage statistique adaptatif et une correction sélective. Sur TruthfulQA, le cadre a réduit le taux d'hallucination de 28 % à 9 %, avec une augmentation moyenne de la latence de 160 ms par rapport au modèle de langage de base. Sur FEVER, le taux d'hallucination est passé de 26 % à 10 %.

Le cadre proposé a atteint des performances compétitives en vérification factuelle sans échantillonnage répété de réponses complètes ni récupération externe. Le seuillage adaptatif et la correction sélective ont contribué aux performances observées tout en limitant le surcoût de traitement supplémentaire. Toutefois, les résultats sont restreints aux référentiels évalués et aux conditions expérimentales, et demeurent dépendants du modèle de déduction naturelle (NLI), du couplage entre évaluateur et vérificateur, de l'incertitude liée à la décomposition des affirmations, de l'étalonnage des seuils propre à chaque domaine et de la variabilité de la latence. Une évaluation plus large, indépendante, spécifique à chaque domaine et multilingue est donc nécessaire avant d'étendre ces résultats à des contextes de déploiement plus vastes.

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Jeu de données de référence FEVER	Tâche partagée FEVER (Thorne et al.)	https://fever.ai/dataset/fever.html	Jeu de données publiquement disponible de paires affirmation-preuve utilisé pour l'évaluation
GPT-3.5 Turbo (grand modèle linguistique B10+2:12:12	OpenAI	Identifiant du modèle : gpt-3.5-turbo ; https://developers.openai.com/api/docs/models/gpt-3.5-turbo	Utilisé à la fois comme générateur de réponses et comme générateur de référence indépendant, accessible via l'API OpenAI
NumPy	Développeurs de NumPy (logiciel libre)	https://numpy.org/	Bibliothèque de calcul numérique utilisée pour les calculs statistiques, notamment la moyenne et l'écart type des scores de vérification NLI
Openai (bibliothèque cliente Python)	OpenAI	https://github.com/openai/openai-python	Bibliothèque cliente Python utilisée pour soumettre des invites et récupérer les complétions de GPT-3.5 Turbo
pandas	Équipe de développement de pandas (logiciel libre)	https://pandas.pydata.org/	Bibliothèque d'analyse de données tabulaires utilisée pour le prétraitement des jeux de données et la gestion des résultats
Modèle préentraîné de classification d'inférence en langage naturel (NLI)	Plateforme de modèles Hugging Face (modèle basé sur l'architecture Microsoft DeBERTa-v3-large)	MoritzLaurer/DeBERTa-v3-large-mnli-fever-anli-ling-wanli	Utilisé en mode inférence, sans affinage, pour classer chaque paire affirmation-référence comme entraînement, neutre ou contradiction
Python	Fondation Python	Version 3.9 ; https://www.python.org/downloads/release/python-390/	Langage de programmation principal utilisé pour implémenter le cadre de vérification
SciPy	Développeurs de SciPy (logiciel libre)	https://scipy.org/	Bibliothèque de calcul scientifique utilisée pour soutenir l'analyse statistique des résultats expérimentaux
Transformers (bibliothèque Hugging Face Transformers)	Hugging Face	https://github.com/huggingface/transformers	Bibliothèque Python utilisée pour charger et exécuter le modèle NLI préentraîné
Jeu de données de référence TruthfulQA	Initialement publié par Lin, Hilton et Evans	https://github.com/sylinrl/TruthfulQA	Jeu de données de référence publiquement disponible comprenant 817 questions factuelles, utilisé pour le réglage du seuil et l'évaluation
Ordinateur de station de travail	Non spécifié dans le manuscrit (veuillez confirmer le fabricant/modèle)	Processeur Intel Core i5 ; 16 Go de RAM ; système d'exploitation 64 bits	Matériel utilisé pour exécuter toutes les expériences dans des configurations identiques
Remarque : tous les URL répertoriés ci-dessus ont été vérifiés et confirmés actifs à la date de ce tableau.