Grote taalmodellen fijn afstellen met behulp van de Entity Hallucination Index voor tekstsamenvatting

Summary

Wij stellen een op versterking leren gebaseerde fine-tuningbenadering voor grote taalmodellen voor, waarbij de Enti Hallucinatieindex (EHI) wordt gebruikt als beloningssignaal om hallucinaties op entiteitsniveau in tekstsamenvattingen te verminderen. Experimenten met afstudeertranscripties tonen aan dat deze methode de trouw en nauwkeurigheid van entiteiten verbetert.

Abstract

Recente ontwikkelingen in grote taalmodellen (LLM's) hebben geleid tot aanzienlijke verbeteringen in de kwaliteit van abstracte samenvattingen. Hallucinatie - vooral hallucinaties op entiteitsniveau waarbij niet-bestaande of onjuiste entiteiten worden geïntroduceerd - blijft echter een cruciale uitdaging. In dit werk stellen we een beloningsgedreven fine-tuning kader voor samenvattingsmodellen voor, waarbij de Entity Hallucination Index (EHI) als leidende maatstaf wordt gebruikt. De methodologie begint hier met het genereren van initiële samenvattingen uit vooraf getrainde modellen zoals Flan-T5, DistilBART en Mistral (of een andere populaire LLM) op gestructureerde transcriptdatasets, XSUM. We berekenen EHI door benoemde entiteiten te extraheren uit zowel gegenereerde samenvattingen als goudreferenties, nauwkeurigheid te evalueren en gefabriceerde entiteiten te straffen. Het fine-tuningproces wordt geleid door reinforcement learning, waarbij EHI dient als beloningssignaal. We hanteren een REINFORCE-achtige updatemechanisme om het samenvattingsmodel te optimaliseren met het doel van maximale entiteitstrouw. Experimenten tonen aan dat modellen die fijn zijn afgestemd op EHI lagere hallucinatiepercentages bereiken zonder de informatieve kwaliteit te verliezen. Bovendien laten we zien dat EHI-geleide modellen beter generaliseren bij out-of-domain samenvattingstaken, wat wijst op een verbeterde robuustheid. De aanpak biedt hier een praktische richting om de feitelijkheid in samenvattingen te verbeteren, waarbij de cruciale rol van nauwkeurige entiteitsrepresentatie wordt benadrukt.

Introduction

Abstracte samenvattingsmodellen, aangedreven door grote taalmodellen (LLM's), hebben indrukwekkende resultaten behaald in diverse domeinen. Toch blijft er een aanhoudende uitdaging hallucinaties bestaan, waarbij gegenereerde samenvattingen onjuiste of gefabriceerde informatie bevatten die niet gebaseerd is op de broninvoer ^1,2. In toepassingen met hoge inzet zoals samenvatting, medische rapportage of financiële documentatie kunnen hallucinaties, vooral bij genoemde entiteiten, de betrouwbaarheid^{en het nut} aanzienlijk ondermijnen.

Onderzoekersvoerden een grootschalige menselijke evaluatie uit en ontdekten dat samenvatters vaak hallucinaties veroorzaken – inhoud die niet wordt ondersteund door het brondocument – en dat deze hallucinaties correeren met herhaling en incoherentie¹. Een andere studie toonde aan dat modellen met een hogere abstractie minder getrouw zijn; Hun studie rapporteerde dat uitkomsten met meer abstractie een lagere feitelijke nauwkeurigheid en meer ontrouwe zinnen^{hadden 2}. De FRANK-benchmark rapporteerde dat ongeveer 30% van de samenvattingen feitelijke inconsistenties bevat, en een andere populaire studie noteerde vergelijkbare foutpercentages, met het argument dat hoge hallucinatiesniveaus samenvattingen vrijwel nutteloos maken ^1,2. Hallucinaties kunnen worden gecategoriseerd als intrinsiek (in tegenstelling tot de bron) of extrinsiek (niet verifieerbaar vanuit de bron). Een tutorial over hallucinaties in abstracte samenvatting legt uit dat intrinsieke hallucinaties optreden wanneer gegenereerde inhoud de input tegenspreekt (bijvoorbeeld het verkeerd rapporteren van een goedgekeurd vaccin als afgewezen), terwijl extrinsieke hallucinaties onverifieerbare feiten toevoegen, zoals het claimen van klinische proeven voor een vaccin die niet genoemd zijn⁴. Ook werd gemeld dat state-of-the-art samenvatters in ongeveer 25% van hun output hallucinatiecontent produceren wanneer ze worden geëvalueerd met ROUGE, BLEU en METEOR, en waarschuwt dat hallucinaties gevaarlijk kunnen zijn op gebieden zoals gezondheid, recht of cybersecurity.

Traditionele n-gram metrieken (ROUGE⁵, BLEU, METEOR) correleren slecht met menselijke oordelen over feitelijkheid, wat heeft geleid tot de ontwikkeling van referentiegebaseerde en referentievrije metrieken⁶. QA-gebaseerde metrics zoals FEQA en QuestEval evalueren samenvattingen door te vragen of vraag-antwoordparen die uit de samenvatting zijn afgeleid, kunnen worden beantwoord met behulp van de brontekst. FEQA correleert sterker met menselijke oordelen en toont aan dat meer abstracte samenvattingen minder getrouw zijn, terwijl QuestEval de correlatie met menselijke oordelen aanzienlijk verbetert op het gebied van consistentie, samenhang, vloeiendheid en relevantie. QAFactEval verfijnt deze aanpak door zelfstandige naamwoordfrasen te selecteren en vragen te genereren voordat ze beantwoorden; deze strategie verbetert de correlatie met menselijke beoordelingen op de SummaC-benchmark. Informatie-extractie (IE) metrics vertegenwoordigen kennis als subject-relatie-object-tuples, maar ze zijn kwetsbaar voor fouten in het extractieproces. Natuurlijke taalinferentie (NLI) metrics – zoals FactCC en SummaC – classificeren samenvattende zinnen als geconstrueerd of tegengesproken door de bron⁴. FactCC gebruikt zwak gecontroleerde data om een classifier te trainen die feitelijke consistentie detecteert en inconsistente overspanningen² markeert. SummaC past NLI-modellen toe op de juiste granulariteit en levert sterke feitelijkheidsschattingen, maar de FRANK-benchmark merkt op dat deze metrics feitelijkheid nog steeds als binair behandelen en geen uniform kader ^1,7,8 hebben. Menselijke evaluatiedimensies voorgesteld door onderzoekers vloeiendheid, samenhang, relevantie en consistentie worden breed toegepast⁹. Een andere evaluatiestudie benadrukt dat consistentie de meest objectieve dimensie is, omdat het simpelweg controleert of de samenvatting door de bron wordt geïntroduceerd; het wijst erop dat tot 92% van de XSum-samenvattingen geloofsfouten ^9,10 bevatten. Menselijke evaluatie is echter tijdrovend en duur, dus automatische metrics zijn essentieel voor schaalbare evaluatie⁸. Huidige metrics voegen vaak intrinsieke en extrinsieke hallucinaties samen tot één score, waardoor foutdiagnose⁴ wordt belemmerd.

Omdat maximum-likelihood-training niet direct optimaliseert voor samenvattingskwaliteit, is reinforcement learning (RL) toegepast om relevantie en feitelijkheid te verbeteren. Pasunuru en Bansal introduceerden een multi-beloning RL-raamwerk dat saliency (ROUGE) en entailment rewards combineert en een state-of-the-art prestatie^{aantoonde 11}. RL werd toegepast voor extractieve samenvattingen met behulp van het REINFORCE-algoritme; hun model maximaliseert ROUGE-scores en levert informatievere samenvattingen op dan classifier-gebaseerde benaderingen, zoals blijkt uit Human Question-Answering Evaluations¹². Multitaskmodellen integreren verder vraag- en entailment-generatie om dekking en samenhang te waarborgen¹². Een uitgebreide enquête uit 2024 over abstracte samenvattingen benadrukt feitelijke consistentie als fundamentele uitdaging en pleit voor het aanmoedigen van waarheidsgetrouwe samenvattingen in het echte leven. De enquête stelt voor om feitelijk consistente samenvattingen te belonen en externe kennisbronnen en attributencontrole te integreren om de nauwkeurigheid te verbeteren¹³. RL uit menselijke feedback (RLHF) breidt dit idee uit door een beloningsmodel te trainen op basis van menselijke voorkeuren en de samenvatter te verfijnen om deze geleerde beloning te maximaliseren⁹. Reinforcement learning op basis van menselijke feedback (RLHF) heeft aan populariteit gewonnen voor het afstemmen van modeluitkomsten op gewenste kwaliteiten, zoals feitelijkheid en nut ^4,14. ^{Hoewel multi-beloning} RL en RLHF modellen afstemmen op menselijke opvattingen van trouw, zijn ze afhankelijk van grove maatstaven zoals ROUGE of binaire feitelijkheid. Daarentegen stelt het hier beschreven werk voor om een fijnmazige hallucinatie-index op entiteitsniveau als beloning te gebruiken, wat empirisch en computationeel goedkoper is zonder menselijke feedback.

Ondanks talrijke maatstaven blijven er verschillende beperkingen bestaan. N-gram metrics negeren semantische correctheid, QA- en IE-gebaseerde metrics verspreiden fouten uit vraaggeneratie- en extractiemodellen, en NLI-metrics reduceren factualiteit tot binaire enfoltiebeslissingen ^1,4,6. In het onderzoek werd benadrukt dat bestaande modelgebaseerde metrics moeite hebben om hallucinaties op een fijne granulariteit te identificeren omdat ze op zins- of documentniveau werken en specifieke entiteiten die fouten veroorzaken niet kunnen isoleren⁴. Menselijke evaluaties blijven de gouden standaard, maar zijn kostbaar en subjectief¹⁵. Bovendien maken bestaande metrieken geen onderscheid tussen intrinsieke en extrinsieke hallucinaties en vangen ze de over- en onderfocus van relaties^{niet op}. Grote taalmodellen kunnen hallucineren omdat ze tekst voorspellen op basis van statistische waarschijnlijkheid in plaats van feitelijke verificatie. Modellen genereren zelfverzekerde maar onjuiste output door beperkingen in trainingsdata, probabilistische generatie en gebrek aan factchecking, en overmoedigheid en biases kunnen ertoe leiden dat ze met hoge zekerheid valse informatie vermelden; De gids pleit voor retrieval-augmented generatie en langetermijngeheugen-to-ground-modellen in externe data¹⁵. Deze technieken richten zich echter op retrieval-gebaseerde taken; Samenvatting vereist nog steeds metrics die gehallucineerde entiteiten identificeren en straffen. Eerder werk heeft het belang van beoordeling op entiteitsniveau voor feitelijkheid erkend. Meetmethoden zoals FEQA en QuestEval proberen feitelijke consistentie te beoordelen met behulp van antwoordtechnieken^16,17. Deze methoden vereisen echter vaak referentiesamenvattingen of externe QA-systemen, wat de schaalbaarheid beperkt. Ons werk bouwt voort op deze lijn door gebruik te maken van de Entity Hallucination Index (EHI), een lichtgewicht empirische metriek die zich specifiek richt op de trouw aan benoemde entiteiten door de entiteiten in vijf typen hallucinatiefactoren te categoriseren zoals weergegeven in Figuur 1.

Bewijs wijst erop dat hallucinaties wijdverspreid zijn, evaluatiemetrics onvolmaakt zijn en RL-technieken geen fijne beloningen bieden. Menselijke studies tonen aan dat samenvattingsmodellen in een aanzienlijk deel van de gevallen hallucineren, waarbij vaak entiteiten worden verwisseld of details worden gefabriceerd⁹. Bestaande metrics benadrukken ofwel n-gram overlap of behandelen feitelijkheid als binair, en huidige RL-methoden optimaliseren ROUGE- of grove factualiteitssignalen. Er is een tekort in entiteitsniveau-metrics die meten wanneer een samenvatting entiteiten noemt die niet aanwezig zijn in de bron (negatieve hallucinatie), sleutelentiteiten weglaat (verloren focus hallucinatie) en andere scenario's. De voorgestelde fine-tuningmethode over de Entity Hallucination Index (EHI) vult deze kloof door hallucinaties op entiteitsniveau te kwantificeren en een gestructureerde beloning te bieden voor reinforcement learning. Door EHI te integreren in RLHF streven we ernaar grote taalmodellen te verfijnen om hallucinaties op entiteitsniveau te minimaliseren en samenvattingen te produceren die zowel vloeiend als feitelijk trouw zijn.

In dit werk stellen we een nieuwe fijne afstemmingsbenadering voor die gebruikmaakt van de Entity Hallucination Index (EHI) als beloningssignaal om hallucinaties op entiteitsniveau te verminderen. EHI kwantificeert de correctheid en gronding van entiteiten door geëxtraheerde entiteiten uit modeluitvoer te vergelijken met die in het invoerdocument, waardoor de afhankelijkheid van referenties¹⁸ verminderd kan worden. De hier beschreven methode bevooroordeelt het model om meer entiteitsgetrouwe samenvattingen te produceren zonder menselijke feitelijkheidsannotaties te vereisen.

Samenvattend zijn feitelijkheidsbewuste beloningsmodellen gebruikt voor het fijn afstemmen^{van 19,20}. In tegenstelling tot eerdere benaderingen die vertrouwen op grove feitelijkheidsbeloningen of door mensen gelabelde datasets, stellen wij voor om EHI te verfijnen als direct, automatisch beloningssignaal, zodat samenvatting op basis van de entiteit wordt bevorderd zonder extra supervisie. De nieuwe bijdragen van deze studie zijn als volgt: (i) de studie introduceert een door EHI geleid fine-tuning kader dat de getrouwheid van entiteiten in abstracte samenvattingen verbetert, (ii) de studie presenteert een schaalbare reinforcement learning-pijplijn die niet afhankelijk is van door mensen gelabelde factualiteitsdatasets, (iii) de studie toont empirische verbeteringen in EHI-scores over het bijeenkomen van transcriptdatasets, XSUM-nieuwsdataset en voert kwalitatieve analyses uit om verminderingen in hallucinaties te benadrukken, (iv) de studie deelt een reproduceerbare, op Colab gebaseerde implementatie om verder onderzoek naar hallucinaties-bewuste samenvatting te faciliteren²¹.

Deze studie beoordeelt de hypothese dat het optimaliseren van taalmodellen met fijnmazige, entiteitgerichte beloningen zoals EHI een effectieve route biedt om trouw en betrouwbaarheid in samenvattingstaken met minimale rekenkracht te verbeteren. De aanpak draagt bij aan het groeiende vakgebied van parameter-efficiënte fine-tuning voor trouw in samenvatting door: (i) effectiviteit aan te tonen over zowel encoder-decoder (DistilBART, FlanT5) als decoder-only (Mistral) architecturen, (ii) een kader te bieden dat kan worden aangepast aan verschillende modeltypen, domeinen en schalen, en (iii) rekenefficiëntie te bieden ten opzichte van volledige hertraining.

Protocol

Het doel van deze studie is om een taalmodel (LM) te verfijnen om samenvattingen te genereren met hallucinaties van verminderde entiteiten. Hallucinaties ontstaan wanneer een model "vol vertrouwen onjuiste of irrelevante output produceert" omdat het tekst genereert op basis van statistische likelihood in plaats van feitelijke verificatie. Dit wordt bereikt door een beloningsfunctie te ontwerpen op basis van de Entity Hallucination Index (EHI) en reinforcement learning toe te passen om deze te maximaliseren.

Probleemformulering
Gegeven een invoerdocument X_i is het doel om een samenvatting Y_i te genereren zodat entiteiten die in Y_i worden genoemd gegrond zijn in X_i. Traditionele maximum likelihood-training optimaliseert feitelijke consistentie niet expliciet. Deze trainingsmethoden bestraffen de opname van gefabriceerde entiteiten niet. Daarom wordt een beloningsgedreven fine-tuningstrategie geïntroduceerd waarbij de beloning evenredig is aan de trouw van de entiteit, gemeten met behulp van EHI.

Dataset en methode
Twee corpora worden gebruikt: ten eerste een dialoogtranscriptiedataset met meerdaagse vergaderingstranscripties en abstracte goudsamenvattingen, en ten tweede de XSUM-nieuwssamenvattingsbenchmark^22,23. Elke dataset werd opgeschoond, afgevlakt en opgesplitst in 80% train-, 10% validatie- en 10% testpartities. De dialogen zijn rijk aan informele taal en voornaamwoorden, terwijl XSUM beknopte nieuwsartikelen bevat; De combinatie stelt ons in staat zowel in-domein als buiten het domein generalisatie te evalueren.

Entiteitsextractie wordt uitgevoerd op zowel brondocumenten als samenvattingen voor het berekenen van de Entity Hallucination Index (EHI). Tijdens de fine-tuning maakt deze studie uitsluitend gebruik van de training split, terwijl validatie-EHI-scores worden gemonitord om het beste checkpoint te selecteren. De eindevaluaties worden gerapporteerd op de vastgehouden testset, die voor en na het fijnafstellen van de modellen nul schot.

Samenvattend worden transcripties eerst georganiseerd in een afgevlakt formaat en worden de gegevens opgesplitst. Het vooraf getrainde model genereert basissamenvattingen. Ten tweede wordt EHI berekend met behulp van transformator-gebaseerde NER en de vijf hallucinatiefactoren. Tijdens het fijnafstellen wordt het model bijgewerkt met de EHI-beloning via LoRa-adapters. Tot slot worden samenvattingen gegenereerd met het fijn afgestemde model en geëvalueerd met behulp van EHI, Entity F1 en andere metrics (Figuur 2). Alle experimenten zijn reproduceerbaar via de meegeleverde code en configuratiebestanden. Figuur 3 toont de stapsgewijze processtroom voor datasetvoorbereiding, basissamenvatting, EHI computation, fine-tuning en evaluatie.

Samenvatting van de basis
Drie vooraf getrainde LLM's worden gekozen en hun basissamenvattingen worden vastgelegd: Flan-T5, Mistral (Nous-Hermes-2-Mistral-7B-DPO) en DistilBART 24,25,26. Elk model werd in zero-shot modus uitgevoerd om een initiële samenvatting (Y_i) te produceren voor elk invoerdocument(x_i). Beamsearch met een bundelbreedte van 4 en een lengtestraf van 1,0 werd gebruikt om vloeiende maar beknopte samenvattingen te bevorderen. Deze basissamenvattingen dienden om de prevalentie van hallucinaties te schatten en boden startpunten voor fijnafstemming.

Entiteitsextractie en EHI-berekening
Het nauwkeurig berekenen van de Entity Hallucination Index (EHI) vereist een robuuste NER. Aanvankelijk werd Spacy gebruikt voor NER-operaties. Het is bekend dat transformer-gebaseerde NER-modellen nauwkeuriger zijn, maar Spacy was de eerste keuze om de volgende redenen: (1) Transformer-gebaseerde NER-modellen zelf hebben bewezen te hallucineren dan Spacy. (2) Spacy als statistisch gezien zorgt voor rekenkundige efficiëntie in termen van implementatiekosten en uitvoeringstijd. (3) Het helpt ons ook te bewijzen dat EHI robuust is in het verminderen van hallucinaties, zelfs met een zwakker NER-model. Echter, gezien het feit dat de experimenten worden uitgevoerd op gevestigde datasets en het en_core_web_sm-model van spaCy broos is op informele transcripties¹³. Spacy wordt vervangen door een transformer-gebaseerd NER-model (dslim/bert-base-NER), een BERT-model dat is afgestemd op de CoNLL-2003 dataset. BERT-gebaseerde NER-systemen zijn aangetoond beter te presteren dan spaCy-modellen op domeinspecifieke taken – bijvoorbeeld, een Aviation-BERT-NER-model bereikte een F1 van 94,78% terwijl het 17 entiteiten identificeerde, vergeleken met 93,73% voor spaCy NER die zeven entiteiten erkende²⁷. Het BERT NER-model werd geconfigureerd via Hugging Face Transformers²⁸ en voerde hoofdletter-ongevoelige matching uit. Om voornaamwoorden en variaties in oppervlaktevormen vast te leggen, paste deze methode bovendien eenvoudige regels toe die "Mr. Smith" en "Smith" aan dezelfde canonieke vorm koppelen; volledige coreferentie-resolutie blijft echter toekomstig werk. De vergelijkende analyse van de NER-modellen op een steekproef van 200 records uit de XSUM-dataset kan worden afgeleid uit Tabel 1.

De Entity Hallucination Index (EHI) wordt als volgt berekend:

waarbij PH, EF, OF, NH, LF scores vertegenwoordigen die respectievelijk overeenkomen met Positieve Hallucinatie (PH), Extractiviteitsfactor (EF), Negatieve Hallucinatie (NH), Overfocused Entities (OF) en Lost Focus (LF), voor artikel i.

Details van hallucinaties factoren:

Positieve Hallucinatie (PH): Metingen van nieuw geïntroduceerde entiteiten die feitelijk correct en voordelig zijn.

Extractiviteitsfactor (EF): Meet entiteiten die nauwkeurig uit het invoerdocument zijn gehaald in de samenvatting.

Negatieve hallucinatie (NH): Vangt gehallucineerde entiteiten die onjuist zijn of niet gegrond zijn in de input.

Overgefocust (OF): Straft samenvattingen die te veel focussen op een smalle subset van entiteiten, waardoor diversiteit ontbreekt.

Verloren Focus (LF): Straft samenvattingen die belangrijke entiteiten in de invoer weglaten.

De berekening van bovenstaande factoren is beschreven in Figuur 4 met een voorbeeldberekening ter illustratie. Beschouwen we een voorbeeld van Input Document Entities (I): "John", "AI", conferentie" Reference Summary Entities (R): "John", "AI" Generated Summary Entities (G): "John", AI", technologie. Hogere waarden van EHI duiden op betere entiteitstrouw, waarbij samenvattingen worden belonen die zowel extractief als positief gehallucineerd zijn (waarbij nuttige maar trouwe entiteiten worden geïntroduceerd), terwijl ongegronde, overmatige of ontbrekende entiteit²⁰ worden bestraft. Deze factoren werden genormaliseerd door het totale aantal gedetecteerde entiteiten om een EHI-score tussen 0 en 1 te produceren. EHI-validatie werd tijdens de training gemonitord om het beste checkpoint te selecteren. PH en EF belonen gunstige nieuwe entiteiten en correcte extractie, terwijl OF, NH en LF herhaling, fabricage en weglating bestraffen. Een perfecte score van 1,0 betekent dat alle entiteiten in de samenvatting gegrond zijn of gunstig gehallucineerd zijn, terwijl een score van 0 aangeeft dat er geen genoemde entiteit in de samenvatting in de bron voorkomt.

Finafstellingsprocedure met RL
De gedetailleerde hyperparameterconfiguratie voor fijnafstemming wordt apart weergegeven in Tabel 2, Tabel 3 en Tabel 4, die de typen optimizers, leersnelheden, batchgroottes, hardwarespecificaties en andere configuratiedetails voor respectievelijk Mistral-7B, DistilBart en Flan-T5 weergeven. Het doel hier is om de modelparameters θ te verfijnen door de verwachte beloning van de Entity Hallucination Index (EHI) te maximaliseren over gegenereerde samenvattingen. Formeel wordt voor een invoerdocument X_i, een gegenereerde samenvatting Y_i en modelparameters θ het verwachte beloningsdoel gedefinieerd als:

(2)

waarbij EHI (y, x) de Entity Hallucination Index aanduidt die wordt berekend tussen de gegenereerde samenvatting Y_i en de invoer X_i.

Volgens het REINFORCE-algoritme²⁵ wordt de gradiënt van dit doel geschat als:

(3)

In de praktijk werden samenvattingen uit de modellen gesampled, werden hun bijbehorende EHI-scores berekend en werden beleidsgradiëntupdates toegepast om hogere beloningsresultaten te stimuleren. Om parameter-efficiënte fine-tuning mogelijk te maken, gebruikte deze studie Low-Rank Adaptation (LoRA). Alleen LoRA-adapters werden bijgewerkt terwijl het gewicht van het basismodel bevroren bleef. Fin-tuning werd uitgevoerd op een A100 GPU met een kleine leersnelheid (bijv. 5 × ^10-6), batchgrootte van 4 en gradiëntaccumulatie over 8 stappen met Adam^{optimizer 29}. Samenvattingen werden elke 500 updates opnieuw gegenereerd om beloningsschattingen te verversen, en de training ging door totdat validatie-EHI convergeerde. De REINFORCE-basislijn werd ingesteld op het lopende gemiddelde van recente beloningen om de variatie te verminderen. Naast EHI werden Entity F1², ROUGE-1/2/L scores geregistreerd om de algemene kwaliteit te monitoren. Samenvattingen worden periodiek opnieuw gegenereerd om modelverbeteringen tijdens het fijn afstellen weer te geven.

Evaluatiemetrieken
De output werden geëvalueerd met behulp van informatieheidsmetrics zoals Rouge-1, Rouge-2,⁵. Vloeiendheidsmetriek zoals Rouge LCS⁵. Entiteitsoverlap meetmaatstaf Entiteit F1, en hallucinatiemetrieken zoals EHI, FactCC en QAGS 2,6,18,30. FactCC gebruikt een classifier die is getraind op synthetische contradictiegegevens om zinnen te labelen als impliceerd of tegengesproken door de bron. De factCC geeft twee scores; de scores werden vastgelegd waar het label GELDIG is. QAGS daarentegen gebruikt een vraag-en-antwoordmethode die op een LLM draait. Lichtmodel T5 small werd gebruikt voor het genereren van vragen op de tekst³¹. Roberta_base_Squad2 werd gebruikt om antwoorden te genereren over de uitvoertekst³². Deze modellen werden gekozen vanwege hun handige berekeningskosten voor uitvoering.

Results

De experimenten hier richten zich op kwantitatief bewijs voor de impact die door EHI geleide fine-tuning heeft op het verminderen van hallucinaties op entiteitsniveau over meerdere modelarchitecturen en datasets. De resultaten tonen consistente verbeteringen in hallucinatiemetrieken aan, terwijl feitelijke consistentie behouden blijft en de mogelijkheid om vragen te beantwoorden behouden blijft.

Datasetprestaties
Prestaties van dia...

Discussion

QA-gebaseerde metrics (bijv. FEQA/QuestEval/QAFactEval) en NLI-gebaseerde metrics (bijv. FactCC/SummaC) vereisen aanvullende QA/entailment-componenten en bieden vaak strafniveau-oordelen. Daarentegen is EHI een lichtgewicht, referentievrije, entiteitsniveau score die (i) direct de primaire faalmodus die we waarnemen – entiteitshallucinatie – richt. (ii) model-agnostisch en snel te berekenen is; en (iii) dient als een dichte beloning voor RL fine-tuning. Empirisch vult EHI QA/NLI-metrieke...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Colab NVIDIA A100 GPU	NVIDIA	N/A	Google Colaboratory Pro
DistilBART (Encoder–Decoder)	Hugging Face	https://huggingface.co/sshleifer/distilbart-cnn-12-6
dslim/bert-base-NER	Hugging Face (dslim)	https://huggingface.co/dslim/bert-base-NER	Fine-tuned BERT base voor Engelse NER
Evaluatiemodellen  QAGS (QA-gebaseerd)	Salesforce Research	N/A	Factualiteitsclassificator
Evaluatiemodellen (Factualiteit) FactCC	Google Research	N/A	Factualiteitsclassificator
Flan-T5 (Encoder–Decoder)	Google	https://huggingface.co/docs/transformers/main/en/model_doc/flan-t5	open-source, tekst-naar-tekst, groot taalmodel
Hugging Face Transformers	Hugging Face, Inc.	https://huggingface.co/docs/transformers/index	Model laden & fijnafstemming
Nous-Hermes-2-Mistral-7B-DPO	Mistral	https://huggingface.co/NousResearch/Nous-Hermes-2-Mistral-7B-DPO	7 miljard parameter taalmodel
Programmeertaal Python 3.10 (Colab runtime)	Python Software Foundation	Versie 3.10	Kernimplementatie
Streamlit	Open Source	https://streamlit.io/	Factualiteitsclassificator
XLSUM dataset	BUET	https://github.com/csebuetnlp/xl-sum
XSUM dataset	University of Edinburgh	https://github.com/EdinburghNLP/XSum