Affinage de grands modèles de langage à l’aide de l’Entity Hallucination Index pour le résumé du texte

Cette étude utilise l’Entity Hallucination Index comme signal de récompense pour réduire la génération incorrecte d’entités dans un texte résumé par IA. Les indicateurs actuels sont deux grossières, ce protocole utilise des récompenses d’entités à grains finis pour améliorer la factualité sans étiquettes humaines. Pour commencer, utilisez deux corpus principaux, dont un ensemble de données de transcription de dialogues de transcriptions de réunions sur plusieurs tours et le benchmark de résumé XSum News.

Nettoie chaque jeu de données, aplatis les données et partitionne-les en ensembles de 80 % d’entraînement, 10 % de validation et 10 % de test. Effectuez la tokenisation et l’extraction d’entités à l’aide d’un NER NER modèle D slim/BERT basé sur un transformateur pour garantir une mise à la terre robuste. Générez des résumés initiaux en mode zéro tir en utilisant la recherche par faisceau d’une largeur de quatre pour estimer la prévalence des hallucinations de base.

Calculez l’indice d’hallucination des entités comme une métrique au niveau des entités sans référence qui catégorise les entités en cinq facteurs pour quantifier la fidélité. Récompensez l’extractivité et les hallucinations positives et pénalisez les hallucinations négatives, les entités surfocalisées et la perte de concentration. Définir la fonction récompense comme proportionnelle à la fidélité de l’entité et maximiser la récompense EHI attendue à travers les résumés générés.

Appliquer un mécanisme de mise à jour de style renforcé pour optimiser les paramètres du modèle afin de maximiser la fidélité de l’entité. Utilisez une adaptation de rang bas pour permettre un réglage fin efficace par les paramètres et mettez à jour uniquement les adaptateurs LoRA tout en maintenant les poids de base du modèle figés. Ensuite, appliquez des mises à jour du gradient de politique pour encourager des résultats de récompense plus élevés et régénérez les résumés tous les 500 mises à jour pour rafraîchir les estimations de récompense.

Enfin, générez des résumés finaux à l’aide des modèles affinés et comparez-les aux résultats de base. Évaluez les modèles pour leur information en utilisant Rouge un, Rouge deux et Rouge L, la fluidité et la cohérence factuelle en utilisant les CC et CAG factifuges. L’ajustement fin de l’EHI a réduit les hallucinations et amélioré la factualité entre les modèles et ensembles de données, avec des décalages vers la droite de l’EHI, et des distributions de CC de faits confirmant une fidélité accrue des entités et une cohérence factuelle, tandis que les scores CAGS sont restés largement inchangés.

Les types d’hallucinations nocives, comme la surfocalisation et la perte de concentration ont été réduits dans Mistral après ajustement fin, tandis que le facteur d’extraction a presque doublé. L’analyse de corrélation a montré que l’EHI et le CAGS présentaient une faible corrélation chez Mistral et DistilBART, mais Flan-T5 a montré une corrélation positive plus forte. Les chercheurs peuvent mesurer la fidélité au niveau de l’entité et les taux d’hallucinations dans des résumés en utilisant le signal de récompense EHI automatisé.

Le défi le plus critique est la précision du NER, car des erreurs d’extraction peuvent entraîner des calculs de récompense incorrects pendant l’entraînement. Les études futures pourront intégrer la résolution par coréférence et les récompenses d’information afin de mieux équilibrer la fidélité avec la couverture syndicale.