Affinage de grands modèles de langage à l’aide de l’Entity Hallucination Index pour le résumé du texte
9 janvier 2026
Nous proposons une approche de réglage fin basée sur l’apprentissage par renforcement pour les grands modèles de langage, utilisant l’Indice d’Hallucinations Enti (EHI) comme signal de récompense pour réduire les hallucinations au niveau des entités dans le résumé textuel. Des expériences sur les transcriptions des réunions montrent que cette méthode améliore la fidélité et la précision des entités.
Cette étude utilise l’Entity Hallucination Index comme signal de récompense pour réduire la génération incorrecte d’entités dans un texte résumé par IA. Les indicateurs actuels sont deux grossières, ce protocole utilise des récompenses d’entités à grains finis pour améliorer la factualité sans étiquettes humaines. Pour commencer, utilisez deux corpus principaux, dont un ensemble de données de transcription de dialogues de transcriptions de réunions sur plusieurs tours et le benchmark de résumé XSum News.
Nettoie chaque jeu de données, aplatis les données et partitionne-les en ensembles de 80 % d’entraînement, 10 % de validation et 10 % de test. Effectuez la tokenisation et l’extraction d’entités à l’aide d’un NER NER modèle D slim/BERT basé sur un transformateur pour garantir une mise à la terre robuste. Générez des résumés initiaux en mode zéro tir en utilisant la recherche par faisceau d’une largeur de quatre pour estimer la prévalence des hallucinations de base.
Calculez l’indice d’hallucination des entités comme une métrique au niveau des entités sans référence qui catégorise les entités en cinq facteurs pour quantifier la fidélité. Récompensez l’extractivité et les hallucinations positives et pénalisez les hallucinations négatives, les entités surfocalisées et la perte de concentration. Définir la fonction récompense comme proportionnelle à la fidélité de l’entité et maximiser la récompense EHI attendue à travers les résumés générés.
Appliquer un mécanisme de mise à jour de style renforcé pour optimiser les paramètres du modèle afin de maximiser la fidélité de l’entité. Utilisez une adaptation de rang bas pour permettre un réglage fin efficace par les paramètres et mettez à jour uniquement les adaptateurs LoRA tout en maintenant les poids de base du modèle figés. Ensuite, appliquez des mises à jour du gradient de politique pour encourager des résultats de récompense plus élevés et régénérez les résumés tous les 500 mises à jour pour rafraîchir les estimations de récompense.
Enfin, générez des résumés finaux à l’aide des modèles affinés et comparez-les aux résultats de base. Évaluez les modèles pour leur information en utilisant Rouge un, Rouge deux et Rouge L, la fluidité et la cohérence factuelle en utilisant les CC et CAG factifuges. L’ajustement fin de l’EHI a réduit les hallucinations et amélioré la factualité entre les modèles et ensembles de données, avec des décalages vers la droite de l’EHI, et des distributions de CC de faits confirmant une fidélité accrue des entités et une cohérence factuelle, tandis que les scores CAGS sont restés largement inchangés.
Les types d’hallucinations nocives, comme la surfocalisation et la perte de concentration ont été réduits dans Mistral après ajustement fin, tandis que le facteur d’extraction a presque doublé. L’analyse de corrélation a montré que l’EHI et le CAGS présentaient une faible corrélation chez Mistral et DistilBART, mais Flan-T5 a montré une corrélation positive plus forte. Les chercheurs peuvent mesurer la fidélité au niveau de l’entité et les taux d’hallucinations dans des résumés en utilisant le signal de récompense EHI automatisé.
Le défi le plus critique est la précision du NER, car des erreurs d’extraction peuvent entraîner des calculs de récompense incorrects pendant l’entraînement. Les études futures pourront intégrer la résolution par coréférence et les récompenses d’information afin de mieux équilibrer la fidélité avec la couverture syndicale.
Consultez la transcription complète et accédez à des milliers de vidéos scientifiques
Aperçu
Cet article présente un nouveau cadre d'ajustement fin dirigé par la récompense pour les grands modèles linguistiques (LLMs), conçu pour réduire les hallucinations au niveau des entités dans le résumé abstrait. En exploitant l'indice d'hallucination des entités (EHI) comme métrique directrice, cette approche améliore la précision factuelle des résumés générés sans nuire à l'information ou à la généralisabilité.
Composantes clés de l'étude
Domaine scientifique
- Traitement du langage naturel
- Apprentissage automatique
- Résumé de texte
Contexte
- Les modèles linguistiques de grande taille ont considérablement amélioré la qualité des résumés abstraits.
- Les hallucinations au niveau des entités, où des entités incorrectes ou inventées apparaissent dans les résumés, restent un défi majeur.
- Les modèles existants ont souvent du mal à équilibrer informativité et exactitude factuelle.
- Les métriques permettant de pénaliser directement les entités hallucinées sont insuffisamment explorées lors de l'entraînement des modèles.
Objectif de l'étude
- Développer un cadre d'ajustement fin permettant de réduire les hallucinations d'entités dans les modèles de résumé.
- Introduire et utiliser l'indice d'hallucination d'entités (EHI) comme signal de récompense.
- Démontrer une amélioration de la véracité et de la robustesse des résumés générés par les modèles linguistiques de grande taille (LLM).
Méthodes utilisées
- Résumés initiaux générés à l'aide de modèles pré-entraînés (par exemple, Flan-T5, DistilBART, Mistral) sur des ensembles de données structurés de transcriptions tels que XSUM.
- Extraction d'entités nommées à partir des résumés générés et des résumés de référence de référence.
- Calcul de l'indice d'intégrité des entités (EHI) en évaluant la précision des entités et en pénalisant les entités inventées.
- Ajustement fin par apprentissage par renforcement utilisant un mécanisme de mise à jour de type REINFORCE avec l'EHI comme signal de récompense.
Résultats principaux
- Les modèles affinés ont présenté des taux plus faibles d'hallucination d'entités.
- L'informativité des résumés a été maintenue malgré la réduction des hallucinations.
- Les modèles guidés par l'EHI ont démontré une meilleure généralisation dans les tâches de résumé hors domaine.
- Une robustesse accrue et une meilleure exactitude factuelle ont été observées lors des évaluations expérimentales.
Conclusions
- Le cadre de récompense fondé sur l'EHI réduit efficacement les hallucinations au niveau des entités dans la synthèse par modèles linguistiques de grande taille.
- La véracité factuelle et l'apport informationnel peuvent être optimisés conjointement grâce à cette approche.
- La méthode propose une voie pratique pour améliorer la fiabilité des systèmes de synthèse automatisée.
Questions fréquemment posées
Pertinence professionnelle pour l'industrie
L'hallucination au niveau des entités dans le résumé produit par un grand modèle linguistique (LLM) représente un risque important pour l'intégrité des données et la prise de décision en recherche et développement pharmaceutique et biotechnologique&D. Le cadre de réglage fin guidé par l'indice d'hallucination d'entité (EHI) répond directement à ce défi, permettant une extraction plus fiable d'informations factuelles à partir de sources textuelles scientifiques et opérationnelles. Une facticité améliorée dans la synthèse automatisée soutient une confiance prédictive accrue et réduit les risques en aval dans les chaînes de traitement fondées sur les connaissances.
Applications stratégiques en R&D biopharmaceutique
Découverte précoce et validation de cibles
- Améliore la précision de l'exploitation de la littérature et des données pour l'identification de cibles en réduisant au minimum les entités factices.
- Facilite la détection mécanistique des risques en garantissant que les entités extraites reflètent des relations biologiques réelles.
- Permet une génération d'hypothèses plus fiable à partir des résultats de résumé automatique de texte.
Développement de tests et de criblages
- Facilite l'extraction normalisée des cibles et des conditions de dosage à partir de sources documentaires variées.
- Réduit le risque de propagation d'informations incorrectes sur les entités dans les flux de travail de criblage.
- Prend en charge la reproductibilité en maintenant la fidélité des entités dans les résumés automatisés.
Recherche translationnelle et préclinique
- Améliore la corrélation des résultats précliniques avec des entités pertinentes pour la maladie en réduisant les hallucinations.
- Améliore la continuité du suivi des entités depuis la découverte jusqu'aux phases de validation préclinique.
- Facilite une progression ajustée au risque en fournissant des preuves plus fiables au niveau des entités.
Intégration du pipeline et du flux de travail
Le cadre de réglage fin guidé par l'EHI s'intègre à la couche informatique des pipelines de découverte, de criblage et de recherche translationnelle, en soutenant une extraction et une synthèse robustes des entités.
- Biologie de la découverte : Permet la vérification d'hypothèses et la clarification des voies biologiques en assurant l'exactitude des entités dans les résumés extraits.
- Écrantage : Fournit des résumés reproductibles et fidèles aux entités pour la documentation des tests et l'évaluation des composés.
- Analytique : Délivre des scores quantitatifs d'EHI afin de comparer et évaluer les résultats de résumé dans différentes conditions.
- Recherche translationnelle : Préserve la fidélité des entités pour la cartographie des biomarqueurs et des maladies lors du passage de la phase de découverte à la phase préclinique.
- Réutilisation en entreprise : Met en place une capacité de résumé évolutible et fondée sur une récompense pour diverses sources textuelles en biopharmacie.
Impact opérationnel et organisationnel
- Valeur scientifique : Accroît la confiance prédictive et réduit l'ambiguïté mécanistique des informations extraites du texte.
- Valeur opérationnelle : Normalise l'extraction d'entités et la génération de résumés entre les équipes et les projets.
- Valeur stratégique : Favorise de meilleures décisions d'aller/arrêt en améliorant la fiabilité de l'extraction automatisée des connaissances.
- Impact sur le portefeuille : Permet une priorisation ajustée au risque en réduisant la propagation de données d'entités incorrectes.
Considérations relatives à la mise en œuvre
- Nécessite une expertise en traitement du langage naturel et en apprentissage par renforcement pour l'ajustement fin du modèle.
- Exige un accès à des jeux de données structurés de transcriptions et à des résumés de référence normalisés pour le calcul de l'IEH (EHI).
- Implique un accord inter-équipes sur les définitions des entités et les normes d'extraction.
- Peut nécessiter l'adaptation des seuils de l'IEH (EHI) selon les différents domaines biomédicaux ou types de documents.
- Dépend de la qualité des modèles pré-entraînés initiaux et des données de référence pour un rendement optimal.
