Deze studie presenteert een lichtgewicht framework voor het verminderen van hallucinaties in grote taalmodellen via verificatie op beweringeniveau en adaptieve statistische drempelwaardes. Door onondersteunde beweringen selectief te corrigeren met behulp van Natural Language Inference, verbetert deze aanpak de feitelijke nauwkeurigheid terwijl een lage responstijd en praktische implementatie-efficiëntie behouden blijven.
Onderzoeksartikel
Adaptieve NLI-gestuurde claimverificatie met statistische beslissingsmodellering voor het verminderen van hallucinaties met lage latentie in grote taalmodellen
In dit artikel
Samenvatting
Samenvatting
Grote taalmodellen (Large Language Models, LLM's) vertonen een kritieke neiging om feitelijk onjuiste maar linguïstisch vloeiende outputs te genereren - een fenomeen dat hallucinatie wordt genoemd - wat ernstige risico's inhoudt in toepassingen waarbij precisie essentieel is. Bestaande mitigatiestrategieën, waaronder retrieval-augmented generation en self-consistency sampling, introduceren ofwel aanzienlijke inferentielatentie of zijn afhankelijk van externe kennisinfrastructuur, wat hun toepasbaarheid in real-time implementaties beperkt. Dit artikel stelt een lichtgewicht tweestaps framework voor voor claimverificatie, dat LLM-responsen ontleedt in atomaire feitelijke claims en elke geëxtraheerde claim onafhankelijk verifieert tegenover een afzonderlijk gegenereerde referentie, geproduceerd via een geïsoleerde factual recall prompt. Hoewel de generator en verificator hetzelfde onderliggende taalmodel delen, vermindert het scheiden van responsgeneratie en feitelijke herinnering de directe conditionering van de respons en mitigeert het confirmation bias tijdens de verificatie door gebruik te maken van Natural Language Inference (NLI). Er wordt een adaptieve statistische drempel toegepast - gedefinieerd als τ = µ + kσ over de distributie van de NLI-confidentiescores - om selectief alleen tegengesproken claims te corrigeren. In tegenstelling tot eerdere NLI-gebaseerde methoden die vertrouwen op vaste beslissingsgrenzen, past het voorgestelde framework zijn verificatiedrempel dynamisch aan de confidentiedistributie van elke respons aan, wat consistente prestaties laat zien over de geëvalueerde benchmarks zonder dat modelretraining vereist is. Geëvalueerd op TruthfulQA en FEVER, reduceert het framework de hallucinatiegraad op TruthfulQA van 28% naar 9% - een relatieve reductie van 67,9% - terwijl er slechts 160 ms extra latentie optreedt ten opzichte van het basis-LLM, en het framework beter presteert dan SelfCheckGPT en FActScore in de nauwkeurigheid van hallucinatiedetectie. Deze resultaten geven aan dat het framework een gunstig evenwicht kan bieden tussen feitelijke betrouwbaarheid en responslatentie op de geëvalueerde benchmarks, hoewel verdere validatie over verschillende domeinen en implementatie-instellingen noodzakelijk is.
Inleiding
Large Language Models (LLM's) zijn ontstaan als fundamentele componenten van moderne systemen voor kunstmatige intelligentie en vertonen een opmerkelijk vermogen over een breed spectrum aan taken in natuurlijke taal, waaronder tekstgeneratie, vraag-antwoordinteracties, samenvattingen en complex redeneren1. Hun vermogen om vloeiende, contextueel coherente antwoorden te produceren heeft de adoptie versneld in domeinen met een grote impact, zoals klinische beslissingsondersteuning, juridische analyse, software engineering en educatieve technologie2. Echter, een kritieke en hardnekkige beperking ondermijnt hun betrouwbaarheid in deze omgevingen: hallucinatie, waarbij modellen antwoorden genereren die taalkundig vloeiend zijn, maar feitelijk onjuist, ononderbouwd of volledig gefabriceerd zijn 3. Empirische studies rapporteren hallucinatiepercentages variërend van 15% tot meer dan 40%, afhankelijk van de taak en het model, waarbij zelfs state-of-the-art systemen zoals GPT-4 meetbare feitelijke inconsistenties vertonen bij domeinspecifieke evaluaties2,3. Deze beperking brengt ernstige ris's met zich mee in precisie-kritische toepassingen waar foutieve outputs kunnen leiden tot desinformatie, misdiagnoses of gebrekkige besluitvorming4. Hallucinaties komen fundamenteel voort uit de probabilistische aard van taalmodellering - LLM's genereren tokens door statistisch waarschijnlijke vervolgen van inputsequenties te voorspellen, in plaats van geverifieerde feitelijke kennis op te halen of daarover te redeneren5. Bijgevolg kunnen gegenereerde outputs plausibel klinkende maar onjuiste beweringen bevatten, ononderbouwde stellingen introduceren of semantisch verwante maar feitelijk verschillende concepten met elkaar verwarren6.
Bestaande mitigatiestrategieën pakken dit probleem aan via verschillende paradigma's, elk met aanzienlijke beperkingen. Retrieval-Augmented Generation (RAG) vermindert hallucinaties door antwoorden te baseren op extern opgehaalde documenten, maar introduceert een aanzienlijke latentie-overhead, vereist toegang tot bijgehouden kennisbanken en blijft gevoelig voor ophaalfouten in gespecialiseerde domeinen of domeinen met beperkte middelen7,8,9.
Hoewel de responsgenerator en de referentiegenerator worden geïnstantieerd met hetzelfde onderliggende GPT-3.5 Turbo-model, opereren ze onder verschillende prompting-doelstellingen en uitvoeringscontexten. De responsgenerator produceert een ongeconstringeerd antwoord op de query van de gebruiker, terwijl de referentiegenerator een geïsoleerde taak van feitelijke herinnering uitvoert zonder toegang tot de eerder gegenereerde respons. Deze scheiding vermindert directe responsconditioneringseffecten en beperkt bevestigingsvooroordelen tijdens de verificatie van claims. Het raamwerk beschouwt de gegenereerde referentie daarom als procedureel onafhankelijk in plaats van statistisch onafhankelijk.
Recent onderzoek heeft ook gekeken naar lichtgewicht decoderingstrategieën om hallucinaties bij tekstgeneratie te verminderen zonder te vertrouwen op externe retrieval of herhaalde verificatie. Een representatieve aanpak hiervan is Decoding by Contrasting Layers (DoLA), die de feitelijkheid verbetert door representaties van tussenliggende en uiteindelijke transformer-lagen tijdens het decoderen tegen elkaar af te zetten. In tegenstelling tot raamwerken voor verificatie na generatie, grijpen dergelijke methoden direct in tijdens de token-generatie en optimaliseren ze daarom een andere fase van het taalgeneratieproces. Deze complementaire strategieën tonen aan dat het beperken van hallucinaties kan worden bereikt tijdens het decoderen of via verificatie na generatie, waarbij elke benadering specifieke afwegingen biedt op het gebied van computationele overhead, implementatiecomplexiteit en feitelijke betrouwbaarheid.
Zelfconsistentie-methoden verbeteren de feitelijke betrouwbaarheid door meerdere responsen te samplen en de meest frequente of coherente output te selecteren, maar hun computationele kosten schalen lineair met het aantal samples, waardoor ze ongeschikt zijn voor implementaties waarbij latentie van kritiek belang is8. Iteratieve verfijningsbenaderingen, die outputs herhaaldelijk herzien via self-feedback-loops, verminderen de foutmarges geleidelijk, maar verlengen de inferentietijd aanzienlijk bij elke extra doorloop9. NLI-gebaseerde verificatiemethoden bieden een gerichter alternatief door de semantische implicatie tussen gegenereerde beweringen en referentieteksten te evalueren, maar bestaande implementaties vertrouwen op vaste beslissingsdrempels die er niet in slagen zich aan te passen aan variërende betrouwbaarheidsdistributies, domeinen of modelgedragingen10,11. Collectief leggen deze benaderingen ofwel een onaanvaardbare computationele overhead op, zijn ze afhankelijk van externe infrastructuur, of missen ze de adaptiviteit die vereist is voor gegeneraliseerde implementatie. Een vergelijking van de belangrijkste kenmerken van deze hallucinatie-verificatiebenaderingen wordt gegeven in Aanvullende Tabel 1.
Dit artikel stelt een lichtgewicht, tweestaps raamwerk voor voor claimverificatie, ontworpen om hallucinaties in LLM-outputs te verminderen terwijl een lage responstijd behouden blijft. In de eerste stap genereert de LLM een initiële respons, die vervolgens wordt ontleed in atomaire feitelijke claims. In de tweede stap wordt elke claim geverifieerd met behulp van Natural Language Inference (NLI) ten opzichte van een afzonderlijk gegenereerde feitelijke referentie, geproduceerd via een geïsoleerde redeneringsstap die geen toegang heeft tot de oorspronkelijk gegenereerde respons; een statistisch afgeleide betrouwheidsdrempel bepaalt vervolgens de beslissing om de claim te accepteren of te corrigeren. De belangrijkste bijdragen van dit werk zijn als volgt: (1) een tweestaps verificatiepijplijn op claimniveau die responsgeneratie scheidt van feitelijke validatie, waardoor een onafhankelijke en gerichte evaluatie van elke atomaire claim mogelijk is zonder dat externe retrieve-acties of volledige regeneratie van de respons vereist zijn; (2) een adaptief statistisch drempelmechanisme gebaseerd op de distributie van NLI-betrouwheidsscores (τ = µ + kσ), dat dynamisch de grenzen voor acceptatie en correctie bepaalt in plaats van te vertrouwen op vaste beslisregels, wat de robuustheid bij variërende betrouwheidsdistributies verbetert; (3) een selectieve correctiestrategie die regeneratie beperkt tot enkel die claims die als tegenstrijdig zijn geclassificeerd, wat de computationele overhead aanzienlijk vermindert in vergelijking met volledige resampling van de respons of iteratieve verfijningsmethoden; (4) een empirische evaluatie op een benchmark gericht op hallucinaties, waaruit blijkt dat het voorgestelde raamwerk de hallucinatiepercentages reduceert van 28% naar 9%, terwijl de responstijd binnen praktische grenzen voor implementatie blijft.
Protocol
Deze studie omvatte geen menselijke deelnemers, dieren, biologische monsters of patiëntgegevens. Daarom waren institutionele ethische goedkeuring en geïnformeerde toestemming niet vereist.
Overzicht van het studieontwerp
Er werd een verificatiekader in twee fasen geïmplementeerd om de feitelijke betrouwbaarheid van de output van grote taalmodellen (LLM's) te verbeteren. De procedure bestond uit responsgeneratie, extractie van claims, constructie van geïsoleerde referenties, verificatie op basis van Natural Language Inference (NLI), adaptieve statistische besluitvorming, selectieve correctie en de uiteindelijke samenstelling van de respons. Het kader werd geëvalueerd met behulp van de TruthfulQA- en FEVER-benchmarkdatasets.
Algemene workflow
Gebruikersvraag → Initiële responsgeneratie → Extractie van claims → Onafhankelijke referentiegeneratie → NLI-verificatie → Berekening van statistische drempelwaarden → Correctie van claims → Definitieve geverifieerde respons. De algemene workflow van het adaptieve claim-verificatiekader is geïllustreerd in Figuur 1.
Datasetvoorbereiding
De TruthfulQA-dataset12, bestaande uit 817 feitelijke vragen, werd gedownload en voorbereid voor evaluatie. De FEVER-dataset13 omvat 185.445 geannoteerde claims die zijn gelabeld als Supported, Refuted of Not Enough Information; voor de evaluatie werd de gelabelde ontwikkelingsdata gebruikt met de velden voor claim, bewijs en ground-truth-label. Elke claim werd geëvalueerd op basis van het verstrekte bewijs, terwijl het oorspronkelijke FEVER-label werd behouden als referentie-uitkomst voor verificatie. De FEVER-dataset, die paren van claim-bewijs voor feitenverificatie bevat, werd verkregen en voorbewerkt. Ingangsvragen en claims werden omgezet in een gestandaardiseerd tekstformaat. Dubbele vermeldingen en incomplete monsters werden vóór de experimenten verwijderd. TruthfulQA werd verdeeld in validatie- en testsubsets. Ongeveer 20% van de TruthfulQA-monsters (164 vragen) werd gebruikt voor het afstemmen van de drempelwaarde, terwijl de resterende 653 vragen werden gereserveerd voor de prestatie-evaluatie. Voor FEVER werden de in de benchmark verstrekte claims rechtstreeks gebruikt als verificatie-eenheden en ondergingen deze niet de procedure voor responsgeneratie en claimextractie die op TruthfulQA werd toegepast. De kenmerken van de benchmark-datasets die zijn gebruikt voor de ontwikkeling en evaluatie van het framework zijn samengevat in Tabel 1.
Initiële responsgeneratie
Elke query werd ingediend bij het basis-taalmodel. Responsen werden gegenereerd met behulp van nucleus sampling met een temperatuur van 0,7 en een top-p van 0,9. De maximale outputlengte was beperkt tot 256 tokens. De gegenereerde responsen werden opgeslagen zonder enige post-processing of handmatige aanpassing. De gegenereerde tekst werd direct doorgestuurd naar de fase van claimextractie.
Extractie van claims
Elk gegenereerd antwoord werd ontleed in onafhankelijk verifieerbare feitelijke beweringen. Er werd gebruikgemaakt van een gestructureerde decompositieprompt om atomaire claims te identificeren. Samengestelde beweringen werden gescheiden in minimale feitelijke eenheden. Subjectieve meningen, stilistische uitdrukkingen en conversationele vulwoorden werden verwijderd. Elke geëxtraheerde claim werd opgeslagen als een onafhankelijke verificatie-eenheid.
Voorbeeld:
Originele reactie:
"Marie Curie was een in Polen geboren natuurkundige en chemicus die baanbrekend onderzoek deed naar radioactiviteit."
Geëxtraheerde beweringen: (1) Marie Curie was in Polen geboren; (2) Marie Curie was een natuurkundige en chemicus; (3) Marie Curie deed onderzoek naar radioactiviteit.
Geïsoleerde referentieconstructie:
Voor elke geëxtraheerde bewering werd een onafhankelijke feitelijke referentie gegenereerd. Het verificatiemodel ontving enkel de oorspronkelijke query van de gebruiker. Toegang tot het oorspronkelijke gegenereerde antwoord werd beperkt om bevestigingsbias te voorkomen. Er werd gebruikgemaakt van een factual recall-prompt om beknopte, op bewijzen gebaseerde antwoorden te stimuleren. De gegenereerde referenties werden opgeslagen voor latere verificatie.
Verificatie van natuurlijke taalinferentie
Elk claim-referentiepaar werd ingediend bij een vooraf getraind NLI-model. Het NLI-model classificeerde de relatie als: Entailment, Neutraal of Tegenstrijdig. De betrouwbaarheidskansen voor alle drie de klassen werden vastgelegd. Er werd een getekende verificatiescore toegekend: een positieve waarde voor entailment, nul voor neutraal of een negatieve waarde voor tegenstrijdigheid. Alle verificatiescores werden verzameld voor de berekening van de drempelwaarde.
Berekening van adaptieve statistische drempelwaarden
Het verificatiewvertrouwen dat door het NLI-model wordt gegenereerd, varieert aanzienlijk tussen de antwoorden, omdat verschillende queries leiden tot een verschillend aantal claims, variërende niveaus van semantische complexiteit en diverse betrouwbaarheidsverdelingen. Een vaste wereldwijde drempelwaarde gaat ervan uit dat alle antwoorden een vergelijkbaar betrouwbaarheidsprofiel volgen, wat in de praktijk zelden voorkomt. Om deze variabiliteit op te vangen, schat het voorgestelde raamwerk de beslissingsgrens individueel voor elk antwoord op basis van het gemiddelde en de standaarddeviatie van de bijbehorende verificatiescores. Het gemiddelde weerspiegelt het algemene betrouwbaarheidsniveau van het antwoord, terwijl de standaarddeviatie de spreiding van de betrouwbaarheidswaarden tussen de geëxtraheerde claims vastlegt. Deze adaptieve formulering stelt het acceptatiecriterium in staat zich aan te passen aan de onzekerheid van het specifieke antwoord, in plaats van te vertrouwen op een enkele drempelwaarde voor alle inputs.
Het gemiddelde (µ) en de standaarddeviatie (σ) van alle ondertekende verificatiescores werden berekend.
De adaptieve beslissingsdrempel werd berekend als:
waarbij τ de adaptieve drempel vertegenwoordigt, µ de gemiddelde verificatiescore aanduidt, σ de standaarddeviatie aanduidt en k de sensitiviteitsparameter vertegenwoordigt.
De sensitiviteitsparameter werd geïnitialiseerd op 0,7. Claims die werden geclassificeerd als Entailment met scores groter dan of gelijk aan +τ werden geaccepteerd. Claims die werden geclassificeerd als Contradiction met scores kleiner dan of gelijk aan −τ werden gemarkeerd voor correctie. Claims met scores binnen het interval (−τ, +τ) werden als neutraal behouden.
Selectieve correctie van claims
Een bewering werd alleen ter correctie doorgestuurd wanneer het NLI-model het paar bewering-referentie classificeerde als Tegenstrijdigheid (Contradiction), en de bijbehorende ondertekende verificatiescore voldeed aan het adaptieve drempelcriterium si ≤ -τ. De beslissing voor correctie werd dus gezamenlijk bepaald door het NLI-klasselabel en de responspecifieke statistische drempelwaarde. Beweringen die als Gevolgtrekking (Entailment) werden geclassificeerd met si ≥ τ werden geaccepteerd, terwijl beweringen die binnen het interval -τ < si < τ vielen, als neutraal werden beschouwd en zonder correctie werden behouden. Dit gecombineerde criterium zorgde ervoor dat correctie alleen werd toegepast op beweringen die zowel een semantische tegenstrijdigheid vertoonden als voldoende sterk negatief verificatiebewijs hadden.
Reconstructie van de respons
Geaccepteerde en gecorrigeerde claims werden in hun oorspronkelijke volgorde gerangschikt. Zinsgrenzen werden hersteld om de leesbaarheid te behouden. Wanneer nodig werden kleine grammaticale aanpassingen doorgevoerd. De samengestelde output werd opgeslagen als de definitieve geverifieerde respons.
Prestatie-evaluatie
Het raamwerk werd geëvalueerd aan de hand van vier metrieken: (1) Nauwkeurigheid: Het aandeel antwoorden dat na verificatie feitelijk correct bleef; (2) F1-score: Het harmonisch gemiddelde van de precisie en recall bij het detecteren van hallucinaties; (3) Responstijd: De totale verwerkingstijd van het indienen van de query tot het genereren van het geverifieerde antwoord; (4) Hallucinatiepercentage
De latentie werd gerapporteerd als de gemiddelde uitvoeringstijd over herhaalde metingen. Omdat individuele latentiewaarden per run niet zijn bewaard, zijn standaarddeviaties en betrouwbaarheidsintervallen niet berekend.
Benchmark-specifieke correctheidsevaluatie
Voor TruthfulQA werd de definitieve geverifieerde respons vergeleken met de door mensen gevalideerde referentieantwoorden en lijsten met incorrecte antwoorden van de benchmark. Een respons werd als correct beschouwd wanneer de feitelijke beweringen consistent waren met de geaccepteerde antwoordinformatie en geen inhoud bevatten die overeenkwam met de geïdentificeerde incorrecte responspatronen. Voor FEVER werd elke bewering in de uiteindelijke output geëvalueerd aan de hand van de bijbehorende bewijslast en de oorspronkelijke FEVER-annotatie; ondersteunde beweringen werden als feitelijk geverifieerd behandeld, terwijl weerlegde beweringen als incorrect werden geteld. Gevallen met onvoldoende informatie werden als onbepaald behouden in plaats van te worden behandeld als positief feitelijk bewijs. De resulterende beslissingen op beweringsniveau werden over elke benchmark geaggregeerd om de gerapporteerde nauwkeurigheid en hallucinatiesnelheid te berekenen.
Experimentele omgeving
Het raamwerk is geïmplementeerd met Python 3.9. Gegevensverwerkingsoperaties werden uitgevoerd met behulp van bibliotheken voor numerieke en tabulaire analyse. Het NLI-model functioneerde in inferentiemodus zonder aanvullende fine-tuning. Experimenten werden uitgevoerd op een workstation uitgerust met een Intel Core i5-processor, 16 GB RAM en een 64-bits besturingssysteem. Alle evaluaties werden uitgevoerd met een single-pass inferentie-instelling om een lage latentie te garanderen. Alle experimenten werden uitgevoerd met identieke hardware- en softwareconfiguraties om een consistente evaluatie over datasets en baseline-methoden te waarborgen.
Verwacht resultaat
Het protocol is ontworpen om verificatiebeslissingen op claimniveau te genereren door potentieel ononderbouwde claims te identificeren en selectief sterk tegengestelde claims door te sturen voor correctie. De verwachte output is een geverifieerd antwoord met verminderde feitelijke inconsistenties en een beperkte extra verwerkingslast, afhankelijk van de prestaties waargenomen tijdens de experimentele evaluatie.
Resultaten
Initiële generatie van de respons
Het basis taalmodel genereerde vloeiende en contextueel relevante antwoorden op vragen uit beide benchmark-datasets. Een gedetailleerd onderzoek onthulde echter ononderbouwde en feitelijk onjuiste beweringen in verschillende antwoorden. Op de TruthfulQA-dataset vertoonde het basissysteem een hallucinatiepercentage van 28%, terwijl op de FEVER-dataset een hallucinatiepercentage van 26% werd waargenomen. Deze bevindingen bevestigden dat directe taalgeneratie alleen onvoldoende was voor toepassingen die een hoge feitelijke betrouwbaarheid vereisen, en stelden de basisconditie vast waartegen alle daaropvolgende verificatieprocedures werden vergeleken.
Extractie van claims
De procedure voor claimextractie heeft de gegenereerde antwoorden succesvol ontleed in onafhankelijk verifieerbare feitelijke eenheden. Antwoorden uit TruthfulQA bevatten gemiddeld 3,2 atomaire claims, terwijl FEVER-steekproeven over het algemeen uit een enkele claim bestonden. Het ontledingsproces isoleerde feitelijke beweringen zonder extra informatie toe te voegen, waardoor elke uitspraak afzonderlijk kon worden geëvalueerd. Deze observatie ondersteunde de hypothese dat verificatie op claimniveau een grotere precisie biedt dan het evalueren van volledige antwoorden als één enkele eenheid.
Onafhankelijke referentieconstructie
Voor elke geëxtraheerde bewering werden onafhankelijke referenties gegenereerd via een apart redeneerproces dat uitsluitend was gebaseerd op de oorspronkelijke query. De gegenereerde referenties boden beknopte feitelijke beschrijvingen die voldoende verschilden van de oorspronkelijke antwoorden om als onafhankelijke verificatiebronnen te dienen. Het proces van referentiegeneratie werd geïsoleerd van het initiële antwoord om te voorkomen dat de feitelijke referentie direct werd beïnvloed door de eerdere output van het model. Deze scheiding was bedoeld om potentiële bevestigingsbias te verminderen en een gecontroleerde basis te bieden voor de daaropvolgende verificatie op beweringsniveau; de studie kwantificeert de omvang van dit effect niet onafhankelijk. De succesvolle generatie van onafhankelijke referenties ondersteunde het voorgestelde ontwerpprincipe waarbij kennisoproeping wordt gescheiden van antwoordgeneratie.
Verificatie van natuurlijke taalinferentie
De NLI-verificatiefase classificeerde claim-referentieparen effectief in de categorieën entailment, contradictie en neutraal. Tegenstrijdige claims kregen consequent negatieve verificatiescores, terwijl feitelijk ondersteunde claims positieve scores ontvingen. Neutrale classificaties werden toegewezen aan claims waarvoor onvoldoende ondersteunend bewijs beschikbaar was. Dit gedrag demonstreerde dat semantische inferentie ongesteunde feitelijke beweringen betrouwbaar kon identificeren en leverde het bewijs dat nodig was voor gerichte correctie. In vergelijking met een eenvoudige strategie voor consistentiecontrole verlaagde NLI-verificatie de hallucinatiegraad van 20% naar 15%, wat duidt op een verbeterde detectiecapaciteit.
Adaptieve statistische drempelwaarde-bepaling
De toepassing van adaptieve statistische drempelwaardebepaling verbeterde de verificatieprestaties verder door beslissingsgrenzen dynamisch aan te passen op basis van de verdeling van de betrouwnesscores van elke reactie. Een gevoeligheidsanalyse van de drempelwaarde toonde aan dat de prestaties verbeterden naarmate de drempelparameter steeg van 0,3 naar 0,7. Bij een gevoeligheidswaarde van 0,7 behaalde het raamwerk een nauwkeurigheid van 0,87, terwijl hallucinaties werden teruggebracht naar 9% (Figuur 2). De volledige resultaten van de gevoeligheidsanalyse voor de geëvalueerde waarden van k zijn opgenomen in Aanvullende Tabel 2. Het verder verhogen van de drempelwaarde leverde slechts geringe winst in nauwkeurigheid op, terwijl de latentie toenam. Deze waarnemingen ondersteunden de hypothese dat adaptieve drempelwaarden effectiever zijn dan vaste beslissingsgrenzen voor het omgaan met variërende betrouwheidsverdelingen over de reacties.
De adaptieve drempel weerspiegelt ook de variabiliteit van de betrouwbaarheidsscores binnen elk antwoord. Antwoorden met zeer consistente verificatiescores produceren een kleinere standaarddeviatie, wat resulteert in een selectievere beslissingsgrens. Daarentegen leveren antwoorden die claims bevatten met heterogene betrouwheidswaarden een grotere standaarddeviatie op, wat leidt tot een breder acceptatiegebied en onnodige correcties voor onzekere claims vermindert. Hoewel dit adaptieve gedrag niet elke fout-positieve of fout-negatieve uitslag kan elimineren, stelt het de beslissingsgrens in staat om te reageren op de onzekerheidskenmerken van elk antwoord in plaats van een uniform criterium op alle inputs toe te passen.
Selectieve correctie van claims en samenstelling van het antwoord
Alleen beweringen die als tegenstrijdig werden geïdentificeerd, werden ter correctie ingediend, terwijl ondersteunde en neutrale beweringen ongewijzigd bleven. Deze selectieve correctiestrategie minimaliseerde onnodige regeneratie en behield de oorspronkelijke structuur van de respons. Na de correctie en reconstructie van de respons daalde het hallucinatiepercentage op TruthfulQA van 28% naar 9%, wat een relatieve afname van 67,9% vertegenwoordigt. Vergelijkbare verbeteringen werden waargenomen bij FEVER, waar hallucinaties afnamen van 26% naar 10%. Vergelijkingen van de nauwkeurigheid en het hallucinatiepercentage over de geëvalueerde configuraties worden respectievelijk gepresenteerd in Figuur 3 en 4.
Prestatie-evaluatie
Een vergelijkende evaluatie toonde aan dat het voorgestelde raamwerk de hoogste algehele prestaties behaalde van alle geteste methoden. Op TruthfulQA behaalde het raamwerk een nauwkeurigheid van 0,87 en een F1-score van 0,85, waarmee het zowel de verificatie met vaste drempelwaarde als de benaderingen op basis van zelfconsistentie overtrof (Tabel 2, Figuren 3 en 4). Op FEVER behaalde het raamwerk een nauwkeurigheid van 0,89 en een F1-score van 0,87 (Tabel 3, Figuren 3 en 4). De incrementele bijdrage van de componenten van het raamwerk wordt onderzocht via de ablatieanalyse die wordt gepresenteerd in Tabel 4. Deze verbeteringen bevestigden dat de combinatie van verificatie op beweringsniveau met adaptieve statistische besluitvorming de feitelijke betrouwbaarheid over meerdere datasets verbeterde. De nauwkeurigheid van de hallucinatiedetectie voor SelfCheckGPT, FActScore en het voorgestelde raamwerk wordt vergeleken in Figuur 5.
Latentieanalyse
De complete verificatiepijplijn behield een lage computationele overhead. De gemiddelde responstijd steeg van 820 ms voor het basismodel naar 980 ms voor het volledige raamwerk, wat een bescheiden toename in verwerkingstijd vertegenwoordigt (Tabel 5). De generatie van de respons was verantwoordelijk voor het grootste deel van de totale latentie, terwijl de verificatie- en correctiefasen relatief weinig extra overhead veroorzaakten. De uitsplitsing van de verwerkingstijd per fase is opgenomen in Aanvullende Tabel 3. In vergelijking met op retrieval gebaseerde verificatiesystemen, die ongeveer 1600 ms per query vereisten, bereikte het voorgestelde raamwerk een aanzienlijk lagere latentie terwijl een vergelijkbare feitelijke nauwkeurigheid behouden bleef. Deze bevindingen ondersteunden de hypothese dat hallucinaties kunnen worden verminderd zonder in te leveren op de bruikbaarheid in realtime.
Omdat de generatie van responsen afhankelijk is van een cloudgebaseerd taalmodel, zijn individuele latentiemetingen onderhevig aan schommelingen als gevolg van netwerkomstandigheden en server-side planning, in plaats van aan een deterministische uitvoeringstijd. Herhaalde metingen werden daarom gebruikt om representatieve gemiddelde waarden te verkrijgen, waardoor de invloed van tijdelijke variabiliteit in de uitvoering werd verminderd terwijl relatieve vergelijkingen tussen de geëvalueerde methoden behouden bleven. Latentiewaarden worden gerapporteerd als gemiddelde uitvoeringstijden over herhaalde experimentele runs. Individuele latentiewaarden per run zijn niet bewaard gebleven; daarom was een post hoc berekening van de variantie, betrouwbaarheidsintervallen of andere maten van variabiliteit niet mogelijk. Bijgevolg worden de latentiewaarden en de vergelijking tussen snelheid en nauwkeurigheid in Figuur 6 gepresenteerd als puntschattingen zonder foutenbalken.
Concluderend demonstreerden de resultaten dat de combinatie van claimextractie, onafhankelijke referentiegeneratie, Natural Language Inference-verificatie, adaptieve statistische drempelwaarde-bepaling en selectieve correctie de feitelijke betrouwbaarheid van de outputs van grote taalmodellen verbeterde. Het raamwerk verminderde de hallucinatiegraad van 28% naar 9% op TruthfulQA en van 26% naar 10% op FEVER. De resultaten geven aan dat adaptieve verificatie op claimniveau de metrieken voor feitelijke betrouwbaarheid verbeterde, terwijl de extra latentie van de respons onder de geëvalueerde omstandigheden beperkt bleef
Beschikbaarheid van gegevens
De in deze studie geanalyseerde datasets zijn openbaar beschikbaar via hun respectievelijke officiële bronnen. Het manuscript bevat de datasetinformatie, modelconfiguraties en methodologische details die nodig zijn om replicatie van de beschreven analyses te ondersteunen. Verwerkte evaluatiegegevens en aanvullende resultaten die tijdens de studie zijn gegenereerd, worden verstrekt in de aanvullende bestanden.
Figuur 1: Workflow van het adaptieve claimverificatiekader. Een initieel door een LLM gegenereerd antwoord wordt ontleed in feitelijke claims, gevolgd door onafhankelijke referentiegeneratie, NLI-gebaseerde verificatie, betrouwbaarheidsscoring en statistische drempelwaardebepaling. Claims die voldoen aan het acceptatiecriterium worden behouden, terwijl claims die voldoen aan het correctiecriterium een gerichte correctie ondergaan voordat het definitieve antwoord wordt samengesteld. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 2: Effect van de sensitiviteitsparameter (k) op de verificatienauwkeurigheid. Nauwkeurigheid op TruthfulQA en FEVER bij k-waarden van 0,3, 0,5, 0,7 en 1,0. De nauwkeurigheid nam toe met k op beide datasets, waarbij k = 0,7 is gekozen voor de primaire evaluatie. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 3: Vergelijking van de nauwkeurigheid tussen verificatiemethoden. Nauwkeurigheid van het basis-LLM, NLI-gebaseerde verificatie en het voorgestelde adaptieve verificatiekader op TruthfulQA en FEVER. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 4: Vergelijking van de hallucinatiegraad tussen verschillende verificatiemethoden. Hallucinatiegraden voor het basis-LLM, NLI-gebaseerde verificatie en het voorgestelde raamwerk op TruthfulQA en FEVER. Het voorgestelde raamwerk verminderde de graad van 28% naar 9% op TruthfulQA en van 26% naar 10% op FEVER. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 5: Nauwkeurigheid van hallucinatiedetectie per methode. Detectienauwkeurigheid van SelfCheckGPT, FActScore en het voorgestelde raamwerk op TruthfulQA en FEVER. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 6: Trade-off tussen responstijd en nauwkeurigheid over verschillende verificatiemethoden.Relatie tussen responstijd en nauwkeurigheid voor de geëvalueerde methoden op TruthfulQA en FEVER, ter illustratie van de trade-off tussen prestaties en latentie geassocieerd met het voorgestelde framework en de vergelijkingsbenaderingen. Klik hier om een grotere versie van deze figuur te bekijken.
| Dataset | Gebruikte monsters | Domeinen | Gem. antwoordlengte (tokens) | Basislijn van de hallucinatiegraad van LLM's |
| TruthfulQA | 817 | 38 (wetenschap, geschiedenis, recht, etc.) | 42 | 28% |
| KOORTS | 1,000 | Algemene feitelijke beweringen | 18 | 26% |
Tabel 1: Kenmerken van de benchmarkdataset. Samenvatting van de TruthfulQA- en FEVER-datasets die zijn gebruikt voor de ontwikkeling en evaluatie van het raamwerk, inclusief het aantal monsters, de basisnauwkeurigheid, de basishallucinatiesnelheid en het gemiddeld aantal claims per monster.
| Methode | Nauwkeurigheid | Precisie | Recall | F1-score | Hallucinatiepercentage % |
| Baseline LLM (enkele inferentie) | 0.72 | 0.71 | 0.69 | 0.7 | 28% |
| NLI-gebaseerde verificatie (vaste drempelwaarde) | 0.82 | 0.815 | 0.785 | 0.8 | 15% |
| SelfCheckGPT | 0.76 | 0.755 | 0.725 | 0.74 | 22% |
| FActScore | 0.85 | 0.8425 | 0.8175 | 0.83 | 11% |
| Voorgesteld raamwerk (statistische drempelwaarde) | 0.87 | 0.86 | 0.84 | 0.85 | 9% |
Tabel 2: Prestatievergelijking op TruthfulQA. Nauwkeurigheid, precisie, recall, F1-score en hallucinatiesnelheid voor het baseline LLM, SelfCheckGPT, FActScore, NLI-verificatie en het voorgestelde framework.
| Methode | Nauwkeurigheid | Precisie | Recall | F1-score | Hallucinatiepercentage % |
| SelfCheckGPT | 0.78 | — | — | — | — |
| FActScore | 0.87 | — | — | — | — |
| Basis LLM† | 0.74 | 0.73 | 0.71 | 0.72 | 26% |
| NLI-gebaseerde verificatie (vaste drempelwaarde) | 0.83 | 0.8225 | 0.7975 | 0.81 | 14% |
| Voorgesteld kader (statistische drempelwaarde) | 0.89 | 0.8775 | 0.8625 | 0.87 | 10% |
Tabel 3: Prestatievergelijking op FEVER. Nauwkeurigheid, precisie, recall, F1-score en hallucinatiesnelheid voor het basis-LLM, SelfCheckGPT, FActScore, NLI-verificatie en het voorgestelde raamwerk.
| Configuratie | Nauwkeurigheid | Precisie | Herinnering | F1 (toegevoegd) | Hallucinatiepercentage |
| Basis taalkundig model | 0.72 | 0.71 | 0.69 | 0.7 | 28% |
| Basislijn + secundaire controle (zonder NLI) | 0.78 | 0.7725 | 0.7475 | 0.76* | 20% |
| Baseline + NLI-gebaseerde verificatie (vaste drempelwaarde) | 0.82 | 0.815 | 0.785 | 0.8 | 15% |
| Baseline + Statistische Beslissingsmodule (Volledig) | 0.87 | 0.86 | 0.84 | 0.85 | 9% |
Tabel 4: Ablatie-analyse van framework-componenten. Veranderingen in nauwkeurigheid, F1-score en hallucinatiepercentage na opeenvolgende integratie van secundaire validatie, NLI-verificatie en adaptieve statistische drempelwaarde-bepaling.
| Methode | Gemiddelde responstijd (ms) |
| Basis LLM (enkele generatie) | 820 |
| Zelfvalidatiemechanisme | 910 |
| Voorgesteld statistisch kader | 980 |
| Retrieval-Augmented Verification (RAG) | 1600 |
Tabel 5: Responslatentie over verificatiemethoden.Gemiddelde responstijd en extra latentie ten opzichte van het basis-LLM voor Self-Validation, het voorgestelde raamwerk, en retrieval-augmented verificatie.
Aanvullende Tabel 1: Vergelijking van benaderingen voor hallucinatieverificatie. Vergelijking van het voorgestelde raamwerk met bestaande methoden op het gebied van extern opzoeken, verificatie op claimniveau, adaptieve drempelwaardeinstelling en latentie-efficiënte verwerking.Klik hier om dit bestand te downloaden.
Aanvullende tabel 2: Gevoeligheidsanalyse van de drempelparameter (k). Nauwkeurigheid, precisie, recall, F1-score en hallucinatiepercentage werden bepaald bij drempelparameterwaarden van 0,3, 0,5, 0,7 en 1,0. Een waarde van k = 0,7 werd gebruikt voor de primaire evaluatie.Klik hier om dit bestand te downloaden.
Aanvullende tabel 3: Verwerkingstijd over de fasen van de verificatiepipeline. Gemiddelde executietijd en procentuele bijdrage van de initiële responsgeneratie, claimdecompositie, referentiegeneratie, NLI-inferentie en selectieve correctie aan de totale responstijd.Klik hier om dit bestand te downloaden.
Aanvullende Tabel 4: Distributie van fouten geïdentificeerd tijdens de verificatie. Aantal en percentage fout-negatieven, fout-positieven en correctiefouten, samen met de primaire hallucinatiecategorieën geassocieerd met elk foutetype.Klik hier om dit bestand te downloaden.
Discussie
Het voorgestelde raamwerk verbeterde de prestaties van de feitelijke verificatie, terwijl herhaald campioneren en externe opvraging werden vermeden. Op TruthfulQA daalde het hallucinatiepercentage van 28% voor het basis-LLM naar 9% met het volledige raamwerk, terwijl de nauwkeurigheid toenam van 0,72 naar 0,87. Op FEVER daalde het hallucinatiepercentage van 26% naar 10%, waarbij de nauwkeurigheid steeg van 0,74 naar 0,89. Deze vergelijkingen moeten worden geïnterpreteerd binnen de experimentele instellingen en implementaties die in deze studie zijn gebruikt, en niet als bewijs van universele superioriteit onder alle implementatieomstandigheden. Het raamwerk voert na de generatie verificatie uit op beweringeniveau met behulp van een geïsoleerde feitelijke referentie en selectieve correctie, wat een afweging biedt tussen externe kennisfundering, herhaalde inferentie en lichtgewicht verificatie na generatie. De respons- en referentiegeneratoren maken gebruik van hetzelfde onderliggende GPT-3.5 Turbo-model, maar werken onder verschillende prompting-doelstellingen en geïsoleerde uitvoeringscontexten. De referentiegenerator ontvangt alleen de oorspronkelijke query en heeft geen toegang tot de eerder gegenereerde respons. Hierdoor zijn de twee generatieprocessen procedureel en niet statistisch onafhankelijk, en kunnen ze gecorreleerde feitelijke biases behouden die voortkomen uit hun gedeelde gepretrainde model.
Vergelijking met bestaande benaderingen
De NLI-baseline met een vaste drempelwaarde past een betrouwheidsdrempel van 0,7 toe, gebaseerd op eerder werk over NLI-gebaseerde feitelijkheidscontrole14. SelfCheckGPT15 is een nul-resource benadering voor hallucinatiedetectie die meerdere stochastische monsters genereert en NLI gebruikt om inconsistente claims te identificeren. FActScore16 ontleedt gegenereerde antwoorden in atomaire feiten en verifieert deze aan de hand van opgehaalde referenties uit een op Wikipedia gebaseerde kennisbron. In tegenstelling hiermee voert het voorgestelde raamwerk verificatie op claimniveau uit zonder herhaalde generatie van volledige antwoorden of externe retrieval.
DoLA is een aanvullende, lichtgewicht benadering die de feitelijke generatie verbetert door token-waarschijnlijkheden afkomstig van verschillende transformer-lagen tijdens de inferentie te contrasteren. Een directe experimentele vergelijking is niet opgenomen omdat DoLA het proces van token-generatie aanpast, terwijl het voorgestelde raamwerk verificatie op claimniveau en selectieve correctie uitvoert na de generatie. De implementatie van DoLA zou toegang vereisen tot interne representaties van de transformer-lagen, die niet beschikbaar zijn via de GPT-3.5 Turbo API die in deze studie is gebruikt. De afwezigheid van extern ophalen vermindert de afhankelijkheid van retrieval en de bijbehorende verwerkingsvereisten, maar beperkt de verificatie ook tot de kennis die beschikbaar is voor de onderliggende modellen. Bijgevolg blijven volledige fabricaties of gespecialiseerde claims buiten het kennisdomein van de verificator moeilijk te corrigeren.
Adaptieve statistische drempelwaarde bepaling en selectieve correctie
De adaptieve drempelwaarde is afgeleid van de empirische distributie van de betrouwbaarheidsscore en reguleert de afweging tussen de recall voor hallucinatiedetectie en de precisie van de correctie. Een gevoeligheidsanalyse evalueerde waarden van 0,3, 0,5, 0,7 en 1,0 op een apart gehouden TruthfulQA-validatieset. Een waarde van k = 0,7 bood de meest gebalanceerde afweging tussen de reductie van hallucinaties en de computationele efficiëntie voor de geëvalueerde benchmarks.
De optimale drempelwaarde kan per applicatiedomein variëren, omdat de distributie van de NLI-betrouwbaarheidsscores afhangt van de aard van de gegenereerde inhoud. Voor toepassing op een nieuw domein kan daarom een validatieset die representatief is voor de doeltoepassing worden gebruikt om kandidaatwaarden te evalueren en een waarde te selecteren die een balans biedt tussen de prestaties van de feitelijke verificatie, de correctieratio en de verwerkingstijd. Omdat de optimalisatie van de drempelwaarde uit één scalaire parameter bestaat in plaats van het opnieuw trainen van de modellen, is aanpassing zonder wijziging van de onderliggende modellen mogelijk.
Selectieve correctie beperkt regeneratie tot claims die zijn geclassificeerd als contradictie en voldoen aan het statistische drempelcriterium. Dit voorkomt herhaaldelijke verwerking van claims die niet aan het correctiecriterium voldoen en onderscheidt dit raamwerk van benaderingen op basis van volledige-respons-resampling en iteratieve verfijning.
Afweging tussen latentie en prestaties
Het voorgestelde raamwerk behaalde een gemiddelde responstijd van 980 ms, vergeleken met 820 ms voor het basis-LLM en 1600 ms voor retrieval-augmented verificatie. Analyse op stapsniveau toonde aan dat de initiële responsgeneratie verantwoordelijk was voor 83,7% van de totale latentie, terwijl NLI-inferentie 3,9% bijdroeg en selectieve correctie gemiddeld minder dan 1% bijdroeg. Latentiewaarden zijn gerapporteerd als gemiddelde uitvoeringstijden over herhaalde experimentele runs. Individuele latentiewaarden per run zijn niet bewaard gebleven; daarom was post hoc berekening van variantie, betrouwbaarheidsintervallen of andere variabiliteitsmaten niet mogelijk. Bijgevolg worden latentiewaarden en de vergelijking tussen snelheid en nauwkeurigheid gepresenteerd als puntschattingen zonder foutenbalken. De gerapporteerde latentiewaarden weerspiegelen de experimentele omgeving die in deze studie is gebruikt en kunnen variëren onder verschillende implementatieomstandigheden, met name wanneer cloud-gebaseerde taalmodel-API's worden aangewend. Netwerklatentie, serverbelasting en servicebeschikbaarheid kunnen onafhankelijk de absolute responstijden beïnvloeden, ongeacht het voorgestelde verificatieraamwerk.
Foutanalyse
Claims die onjuist werden behandeld in de TruthfulQA-testset, werden gecategoriseerd als fout-negatieven, fout-positieven of correctiefouten. De distributie en de belangrijkste categorieën van deze fouten zijn samengevat in Aanvullende Tabel 4. Fout-negatieven vormden 52,6% van alle fouten en waren primair geassocieerd met temporele hallucinaties en subtiele feitelijke substituties. Temporele fouten kunnen over het hoofd worden gezien wanneer de verifieerder dezelfde trainingsdeadline heeft als het basismodel, terwijl subtiele feitelijke substituties NLI-scores in de Neutrale band kunnen krijgen in plaats van in de Contradictie-band.
Valse positieven waren verantwoordelijk voor 35,9% van de fouten en kwamen primair voor bij ongebruikelijke, zeer specifieke of onlangs vastgestelde feiten die buiten de kennisdekking met een hoge betrouwbaarheid van het verificatiemodel vielen. Deze gevallen resulteerden in zwakke NLI-entailment-scores, ondanks het feit dat de beweringen feitelijk correct waren. Correctiefouten waren verantwoordelijk voor 11,5% van alle fouten en traden op wanneer volledige fabricaties werden geïdentificeerd, maar het correctieproces een andere onjuiste bewering genereerde vanwege onvoldoende kennisdekking van de verificator.
Deze bevindingen wijzen erop dat residuele fouten voortvloeien uit zowel NLI-discriminatie als de kennisdekking van de verifieerder, in het bijzonder bij temporele onnauwkeurigheden, subtiele feitelijke substituties, ongebruikelijke feiten en volledige fabricaties.
Statistische analyse
De hallucinatiegraad daalde van 15% bij NLI-verificatie met een vaste drempelwaarde naar 9% met het voorgestelde statistische raamwerk, terwijl het volledige raamwerk de graad op TruthfulQA reduceerde van 28% voor de baseline naar 9%. Deze verschillen worden gerapporteerd als beschrijvende prestatiewijzigingen; er wordt geen formele statistische significantie geclaimd, aangezien de huidige evaluatie geen statistische testresultaten en schattingen van de effectgrootte bevat die nodig zijn om een dergelijke gevolgtrekking te ondersteunen17,18.
Beperkingen
De verificatieprestatie van het framework wordt beperkt door de capaciteit van het onderliggende NLI-model. DeBERTa-v3-large kan moeite hebben met fijnmazige numerieke vergelijkingen, temporele redenering en claims die multi-hop inferentie over meerdere feiten vereisen. Beperkingen van het NLI-model waren ook geassocieerd met fout-negatieven waarbij subtiele feitelijke substituties voorkwamen, en systematische zwakheden in het NLI-model kunnen doorwerken in de verificatiebeslissingen.
De respons- en referentiegeneratoren maken gebruik van hetzelfde onderliggende GPT-3.5 Turbo-model. Hoewel verschillende prompting-doelstellingen en geïsoleerde uitvoeringscontexten zorgen voor procedurele onafhankelijkheid, zijn de twee processen statistisch niet onafhankelijk en kunnen ze gecorreleerde feitelijke biases behouden uit hun gedeelde voorgetrainde model.
De koppeling tussen evaluator en verifieerder vormt een extra beperking. De uiteindelijke beoordeling van hallucinaties maakt gebruik van hetzelfde NLI-model dat claims binnen de voorgestelde pijplijn verifieert. Dit kan leiden tot overeenstemming tussen de verifieerder en de evaluator en de gemeten verbetering beïnvloeden. De gerapporteerde resultaten moeten daarom worden geïnterpreteerd als prestaties onder de gedefinieerde NLI-gebaseerde evaluatieprocedure, in plaats van als volledig onafhankelijk bewijs voor de vermindering van hallucinaties. Een onafhankelijke menselijke beoordeling of een afzonderlijk ontwikkeld evaluatiemodel zou een sterkere validatie bieden.
De fase van claim-decompositie werd uitsluitend geëvalueerd op basis van de bijdrage aan de end-to-end verificatie en is niet onafhankelijk beoordeeld aan de hand van door mensen geannoteerde claimgrenzen. Bijgevolg biedt de studie geen aparte kwantitatieve schatting van de nauwkeurigheid van de decompositie of de individuele foutenpropagatie daarvan naar de daaropvolgende verificatie.
De evaluatie was beperkt tot TruthfulQA en FEVER en tot Engelstalige content. De waargenomen prestaties leggen daarom geen generalisatie vast naar gespecialiseerde domeinen, meertalige omgevingen of generatie van lange teksten. De optimale waarde van k kan bovendien variëren per applicatiedomein, omdat de distributies van de betrouwbaarheidsscores van NLI afhangen van de aard van de gegenereerde content. Domeinspecifieke kalibratie en een bredere evaluatie zijn daarom vereist voordat de bevindingen kunnen worden uitgebreid buiten de in deze studie geëvalueerde condities.
Ten slotte zijn latentiemetingen specifiek voor de experimentele configuratie en kunnen deze variëren tussen verschillende uitvoeringsomgevingen. Omdat individuele latentiemetingen per run niet zijn bewaard, konden variabiliteit en betrouwbaarheidsintervallen achteraf niet worden geschat. Toekomstige evaluaties dienen individuele metingen te bewaren en een bredere statistische karakterisering van de latentie over verschillende uitvoeringsomgevingen op te nemen.
Toekomstig werk
Toekomstige studies zouden de belangrijkste beperkingen moeten aanpakken die in het huidige raamwerk zijn geïdentificeerd. Domeingerichte kalibratie van de drempelwaarde is nodig, omdat de vaste waarde (k = 0,7) die met behulp van TruthfulQA is geselecteerd, mogelijk niet optimaal is voor gespecialiseerde domeinen met verschillende NLI-betrouwbaarheidsscore-distributies. Domeinspecifieke validatiedata kunnen worden gebruikt om de drempelwaarde te kalibreren en, indien nodig, asymmetrische straffen toe te passen voor fout-negatieve en fout-positieve fouten19.
Verbeterde claimdecompositie zou een onafhankelijke evaluatie moeten bevatten met behulp van door mensen geannoteerde claimgrenzen om de volledigheid, correctheid en downstream foutpropagatie te kwantificeren. Fijngestemde decompositiemodellen en maatstaven voor decompositievertrouwen zouden fouten die voortvloeien uit slecht gesegmenteerde claims verder kunnen verminderen. Toekomstige vergelijkende evaluaties zouden ook lichtgewicht decoding-gebaseerde benaderingen zoals DoLA moeten bevatten onder een uniform experimenteel protocol.
Lichtgewicht ophaalaugmentatie kan helpen bij het aanpakken van volledige fabricaties, die problematisch blijven wanneer de verifieerder onvoldoende feitelijke kennis bezit. Een gerichte ophaal-fallback voor weersprekende claims met een lage betrouwbaarheid zou externe feitelijke ondersteuning kunnen bieden zonder dat er voor elke claim informatie opgehaald hoeft te worden20.
Een meertalige uitbreiding is daarnaast vereist, aangezien de huidige evaluatie beperkt is tot Engelstalige benchmarks3. Toekomstige studies zouden meertalige NLI-modellen en taal-specifieke prompts voor claim-decompositie en -correctie moeten evalueren op meertalige benchmarks voor hallucinaties.
Conclusie
Deze studie presenteerde een tweestaps raamwerk voor claimverificatie dat atomaire claimdeconstructie, afzonderlijk aangestuurde generatie van feitelijke referenties, NLI-verificatie, adaptieve statistische drempelwaarden en selectieve correctie combineert. Op TruthfulQA reduceerde het raamwerk de hallucinatiesnelheid van 28% naar 9%, terwijl de gemiddelde latentie met 160 ms toenam ten opzichte van het basis-LLM. Op FEVER nam de hallucinatiesnelheid af van 26% naar 10%.
Het voorgestelde framework behaalde concurrerende prestaties bij feitelijke verificatie zonder herhaald volledige-respons-samplen of extern ophalen. Adaptieve drempelwaardebepaling en selectieve correctie droegen bij aan de waargenomen prestaties, terwijl de extra verwerkingslast werd beperkt. De bevindingen zijn echter beperkt tot de geëvalueerde benchmarks en experimentele omstandigheden en blijven afhankelijk van het NLI-model, de koppeling tussen evaluator en verifieerder, onzekerheid bij de decompositie van claims, domeinspecifieke kalibratie van de drempelwaarde en variabiliteit in latentie. Een bredere, onafhankelijke, domeinspecifieke en meertalige evaluatie is daarom vereist voordat de bevindingen kunnen worden uitgebreid naar bredere implementatieomgevingen.
Openbaarmakingen
De auteurs hebben geen belangenverstrengelingen te verklaren.
Dankbetuigingen
De auteurs willen hun oprechte dank uitspreken tot hun instelling voor het bieden van de academische omgeving en de computationele middelen die nodig waren om dit onderzoek uit te voeren. De auteurs erkennen tevens de ontwikkelaars en beheerders van de publiek toegankelijke benchmark-datasets die in deze studie zijn gebruikt, welke een uitgebreide evaluatie van het voorgestelde raamwerk mogelijk maakten. Er wordt waardering uitgesproken naar collega's en reviewers voor hun constructieve feedback, die heeft geholpen de kwaliteit en duidelijkheid van dit werk te verbeteren. De auteurs erkennen verder de open-source onderzoeksgemeenschap voor het leveren van de softwarebibliotheken en tools die experimenten, data-analyse en visualisatie van resultaten hebben gefaciliteerd. Hun voortdurende inspanningen hebben het onderzoek naar natuurlijke taalverwerking en betrouwbare kunstmatige intelligentie significant vooruitgestuwd. De auteurs verklaren dat er voor dit onderzoek geen externe financiële steun of financiering is ontvangen.
Materialen
| Naam | Bedrijf | Catalogusnummer | Opmerkingen |
|---|---|---|---|
| FEVER-benchmarkdataset | FEVER Shared Task (Thorne et al.) | https://fever.ai/dataset/fever.html | Publiek beschikbare dataset voor feitverificatie van claim-bewijs-paren gebruikt voor evaluatie |
| GPT-3.5 Turbo (groot taalmodel B10+2:12:12 | OpenAI | Model-ID: gpt-3.5-turbo; https://developers.openai.com/api/docs/models/gpt-3.5-turbo | Gebruikt als zowel de responsgenerator als de onafhankelijke referentiegenerator, ontsloten via de OpenAI API |
| NumPy | NumPy-ontwikkelaars (open source) | https://numpy.org/ | Numerieke rekenbibliotheek gebruikt voor statistische berekeningen, inclusief het gemiddelde en de standaarddeviatie van NLI-verificatiescores |
| Openai (Python API-clientbibliotheek) | OpenAI | https://github.com/openai/openai-python | Python-clientbibliotheek die wordt gebruikt om prompts te verzenden naar en completions op te halen van GPT-3.5 Turbo |
| pandas | pandas Development Team (open source) | https://pandas.pydata.org/ | Bibliotheek voor tabulaire data-analyse gebruikt voor preprocessings van datasets en het verwerken van resultaten |
| Voorgetraind classificatiemodel voor Natural Language Inference (NLI) | Hugging Face model hub (model gebouwd op de DeBERTa-v3-large architectuur van Microsoft) | MoritzLaurer/DeBERTa-v3-large-mnli-fever-anli-ling-wanli | Gebruikt in inferentiemodus, zonder fine-tuning, om elk claim-referentiepaar te classificeren als entailment, neutraal of contradictie |
| Python | Python Software Foundation | Versie 3.9; https://www.python.org/downloads/release/python-390/ | Primaire programmeertaal die is gebruikt voor de implementatie van het verificatieraamwerk |
| SciPy | SciPy-ontwikkelaars (open source) | https://scipy.org/ | Wetenschappelijke computerbibliotheek gebruikt ter ondersteuning van de statistische analyse van experimentele resultaten |
| Transformers (Hugging Face Transformers-bibliotheek) | Hugging Face | https://github.com/huggingface/transformers | Python-bibliotheek die wordt gebruikt om het vooraf getrainde NLI-model te laden en uit te voeren |
| TruthfulQA benchmark-dataset | Oorspronkelijk gepubliceerd door Lin, Hilton en Evans | https://github.com/sylinrl/TruthfulQA | Openbaar beschikbare benchmark van 817 feitelijke vragen die worden gebruikt voor drempelwaardetuning en evaluatie |
| Workstationcomputer | Niet gespecificeerd in het manuscript (gelieve fabrikant/model te bevestigen) | Intel Core i5-processor; 16 GB RAM; 64-bits besturingssysteem | Hardware die is gebruikt om alle experimenten onder identieke configuraties uit te voeren |
| Opmerking: Alle bovenstaande URL's zijn gecontroleerd en bevestigd als actief op de datum van deze tabel. |
Referenties
- Dai Z, et al. Promptagator: Few-shot dense retrieval from 8 examples [conference presentation]. Presented at: The Eleventh International Conference on Learning Representations; 2022. [https://iclr.cc/virtual/2023/poster/10937]
- Achiam J, et al. GPT-4 technical report. arXiv. 2023;arXiv:2303.08774. [https://arxiv.org/abs/2303.08774]
- Ji Z, et al. Survey of hallucination in natural language generation. ACM Comput Surv. 2023;55(12):1-38.
- Bender EM, McMillan-Major A, Shmitchell S, Gebru T. On the dangers of stochastic parrots: Can language models be too big? [conference presentation]. Presented at: 2021 ACM Conference on Fairness, Accountability, and Transparency; 2021. [https://dl.acm.org/doi/10.1145/3442188.3445922]
- Devlin J, et al. BERT: Pre-training of deep bidirectional transformers for language understanding [conference presentation]. Presented at: 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies; 2019. [https://arxiv.org/abs/1810.04805]
- Maynez J, Narayan S, Bohnet B, McDonald R. On faithfulness and factuality in abstractive summarization [conference presentation]. Presented at: 58th Annual Meeting of the Association for Computational Linguistics; 2020. [https://arxiv.org/abs/2005.00661]
- Brown T, et al. Language models are few-shot learners. Adv Neural Inf Process Syst. 2020;33:1877-901.
- Guu K, et al. Retrieval augmented language model pre-training [conference presentation]. Presented at: International Conference on Machine Learning; 2020. [https://arxiv.org/abs/2002.08909]
- Izacard G, Grave E. Leveraging passage retrieval with generative models for open domain question answering [conference presentation]. Presented at: 16th Conference of the European Chapter of the Association for Computational Linguistics; 2021. [https://arxiv.org/abs/2007.01282]
- Bowman SR, Angeli G, Potts C, Manning CD. A large annotated corpus for learning natural language inference [conference presentation]. Presented at: 2015 Conference on Empirical Methods in Natural Language Processing; 2015. [https://arxiv.org/abs/1508.05326]
- Platt J. Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods. Adv Large Margin Classif. 1999;10(3):61-74.
- Lin S, Hilton J, Evans O. Truthfulqa: Measuring how models mimic human falsehoods. InProceedings of the 60th annual meeting of the association for computational linguistics (volume 1: long papers) 2022 May (pp. 3214-3252).
- Thorne J, Vlachos A, Christodoulopoulos C, Mittal A. FEVER: A large-scale dataset for fact extraction and verification [conference presentation]. Presented at: 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies; 2018. [https://aclanthology.org/N18-1074/]
- Williams A, Nangia N, Bowman SR. A broad-coverage challenge corpus for sentence understanding through inference. arXiv. 2017;arXiv:1704.05426.
- Manakul P, Liusie A, Gales M. SelfCheckGPT: Zero-resource black-box hallucination detection for generative large language models [conference presentation]. Presented at: 2023 Conference on Empirical Methods in Natural Language Processing; 2023.
- Min S, et al. FActScore: Fine-grained atomic evaluation of factual precision in long-form text generation. arXiv. 2023;arXiv:2305.14251.
- Cohen J. Statistical power analysis for the behavioral sciences. Routledge; New York; 2013.
- Kadavath S, et al. Language models (mostly) know what they know. arXiv. 2022;arXiv:2207.05221.
- Hendrycks D, et al. Aligning AI with shared human values. arXiv. 2020;arXiv:2008.02275.
- Lewis P, et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. Adv Neural Inf Process Syst. 2020;33:9459-74.
Herprints en machtigingen
