Grote taalmodellen fijn afstellen met behulp van de Entity Hallucination Index voor tekstsamenvatting
9 januari 2026
Wij stellen een op versterking leren gebaseerde fine-tuningbenadering voor grote taalmodellen voor, waarbij de Enti Hallucinatieindex (EHI) wordt gebruikt als beloningssignaal om hallucinaties op entiteitsniveau in tekstsamenvattingen te verminderen. Experimenten met afstudeertranscripties tonen aan dat deze methode de trouw en nauwkeurigheid van entiteiten verbetert.
Deze studie gebruikt de Entity Hallucination Index als beloningssignaal om onjuiste entiteitsgeneratie in door AI samengevat tekst te verminderen. De huidige metrieken zijn tweevoudig: dit protocol gebruikt fijnmazige beloningen van entiteiten om feitelijkheid te verbeteren zonder menselijke labels. Om te beginnen gebruik je twee primaire corpora, waaronder een dialoogtranscriptiedataset van meerdaagse vergaderingstranscripties en de XSum News samenvattingsbenchmark.
Maak elke dataset schoon, vlak de data af en deel deze op in 80% training, 10% validatie en 10% testsets. Voer tokenisatie en entiteitextractie uit met behulp van een transformer-gebaseerd NER-model D slim/BERT-gebaseerd NER om robuuste aarding te garanderen. Genereer initiële samenvattingen in zero shot-modus met behulp van beam search met een breedte van vier om de prevalentie van hallucinaties op de basis te schatten.
Bereken de entiteitshallucinatie-index als een referentievrije entiteitsniveau die entiteiten categoriseert in vijf factoren om trouw te kwantificeren. Beloon extractiviteit en positieve hallucinaties en straf negatieve hallucinaties, overgefocuste entiteiten en verloren focus af. Definieer de beloningsfunctie als evenredig aan de trouw van de entiteit en maximaliseer de verwachte EHI-beloning over de gegenereerde samenvattingen.
Pas een versterkt stijlupdatemechanisme toe om modelparameters te optimaliseren en zo de entiteitstrouwheid te maximaliseren. Gebruik low rank adaptatie om parameter-efficiënte finetuning mogelijk te maken en werk alleen de LoRA-adapters bij terwijl de gewichten van het basismodel bevroren blijven. Pas vervolgens beleidsgradiënt-updates toe om hogere beloningsoutput te stimuleren en genereer samenvattingen voor elke 500 updates opnieuw om de beloningsschattingen te verversen.
Genereer ten slotte definitieve samenvattingen met behulp van de fijn afgestemde modellen en vergelijk deze met de basisresultaten. Evalueer modellen op informatieve kwaliteit met behulp van Rouge één, Rouge twee en Rouge L, vloeiendheid en feitelijke consistentie met behulp van fact CC en CAGs. EHI-finetuning verminderde hallucinaties en verbeterde de feitelijkheid tussen modellen en datasets met rechtswaartse verschuivingen in EHI, en fact-CC-verdelingen bevestigden een verhoogde entiteitstrouw en feitelijke consistentie, terwijl CAGS-scores grotendeels ongewijzigd bleven.
De schadelijke hallucinatiestypen negatief, overfocus en verloren focus werden in Mistral na fijnafstelling verminderd, terwijl de extractiviteitsfactor bijna verdubbelde. Correlatieanalyse toonde aan dat EHI en CAGS een zwakke correlatie hadden in Mistral en DistilBART, maar Flan-T5 een sterkere positieve correlatie. Onderzoekers kunnen de trouwheid en hallucinaties op entiteitsniveau meten in samenvattingen met behulp van het geautomatiseerde EHI beloningssignaal.
De grootste uitdaging is de nauwkeurigheid van de NER, omdat extractiefouten kunnen leiden tot onjuiste beloningsberekeningen tijdens de training. Toekomstige studies kunnen co-referentie resolutie en informatieve beloningen integreren om trouw te combineren met samenvattende dekking.
Bekijk het volledige transcript en krijg toegang tot duizenden wetenschappelijke video's
Overzicht
Dit artikel presenteert een nieuw, beloningsgestuurd fine-tuning framework voor grote taalmodellen (LLM's), gericht op het verminderen van hallucinaties op entiteitsniveau bij abstractieve samenvattingen. Door gebruik te maken van de Entity Hallucination Index (EHI) als sturende metriek, verbetert deze aanpak de feitelijke nauwkeurigheid van gegenereerde samenvattingen zonder dat dit ten koste gaat van de informativiteit of generaliseerbaarheid.
Belangrijkste componenten van de studie
Wetenschappelijk vakgebied
- Natuurlijke Taalverwerking
- Machine Learning
- Tekstsamenvatting
Achtergrond
- LLM's hebben de kwaliteit van abstractieve samenvattingen aanzienlijk verbeterd.
- Hallucinaties op entiteitsniveau, waarbij onjuiste of gefabriceerde entiteiten in samenvattingen verschijnen, blijven een grote uitdaging.
- Bestaande modellen hebben vaak moeite om een balans te vinden tussen informativiteit en feitelijke nauwkeurigheid.
- Metrieken om gehallucineerde entiteiten direct af te straffen zijn onderbelicht in modeltraining.
Doel van de studie
- Het ontwikkelen van een fine-tuning framework dat entiteitshallucinaties in samenvattingsmodellen vermindert.
- Het introduceren en gebruiken van de Entity Hallucination Index (EHI) als beloningssignaal.
- Het aantonen van verbeterde feitelijkheid en robuustheid in door LLM's gegenereerde samenvattingen.
Gebruikte methoden
- Initiële samenvattingen gegenereerd met behulp van vooraf getrainde modellen (bijv. Flan-T5, DistilBART, Mistral) op gestructureerde transcriptiedatasets zoals XSUM.
- Extractie van benoemde entiteiten uit zowel de gegenereerde samenvattingen als de gouden referentiesamenvattingen.
- Berekening van de EHI door de precisie van entiteiten te evalueren en gefabriceerde entiteiten te bestraffen.
- Fine-tuning via reinforcement learning met behulp van een update-mechanisme in REINFORCE-stijl, waarbij de EHI als beloningssignaal dient.
Belangrijkste resultaten
- Fijn afgestelde modellen vertoonden lagere percentages entiteitshallucinaties.
- De informativiteit van samenvattingen bleef behouden ondanks de verminderde hallucinatie.
- EHI-gestuurde modellen vertoonden een betere generalisatie bij samenvattingstaken buiten het domein.
- In experimentele evaluaties werden een verbeterde robuustheid en feitelijke nauwkeurigheid waargenomen.
Conclusies
- Het op EHI gebaseerde beloningsraamwerk vermindert effectief hallucinaties op entiteitsniveau bij samenvattingen door LLM's.
- Feitelijkheid en informativiteit kunnen met deze aanpak gezamenlijk worden geoptimaliseerd.
- De methode biedt een praktische richting voor het verbeteren van de betrouwbaarheid van geautomatiseerde samenvattingssystemen.
Veelgestelde vragen
Industriële relevantie voor directie
Hallucinaties op entiteitsniveau bij samenvattingen door grote taalmodellen (LLM's) vormen een aanzienlijk risico voor de gegevensintegriteit en besluitvorming in biofarmaceutische R&D. Het fine-tuning framework dat wordt gestuurd door de Entity Hallucination Index (EHI) pakt deze uitdaging direct aan, waardoor een betrouwbaardere extractie van feitelijke inzichten uit wetenschappelijke en operationele tekstbronnen mogelijk wordt. Verbeterde feitelijkheid in geautomatiseerde samenvattingen ondersteunt een hogere voorspellende betrouwbaarheid en vermindert downstream-risico's in kennisgestuurde pijplijnen.
Strategische toepassingen in biofarmaceutische R&D
Vroege ontdekking & targetvalidatie
- Verbetert de nauwkeurigheid van literatuur- en datamining voor targetidentificatie door gefabriceerde entiteiten te minimaliseren.
- Ondersteunt mechanische risicoreductie door te waarborgen dat geëxtraheerde entiteiten werkelijke biologische relaties weerspiegelen.
- Maakt een betrouwbaardere hypothesevorming mogelijk op basis van outputs van geautomatiseerde tekstsamenvattingen.
Screening & Assayontwikkeling
- Faciliteert gestandaardiseerde extractie van assay-doelen en condities uit diverse documentatiebronnen.
- Vermindert het risico op de verspreiding van onjuiste entiteitsinformatie binnen screeningsworkflows.
- Ondersteunt reproduceerbaarheid door de getrouwheid van entiteiten in geautomatiseerde samenvattingen te bewaken.
Translationeel & preklinisch onderzoek
- Verbetert de koppeling van preklinische bevindingen aan ziekte-relevante entiteiten door hallucinaties te verminderen.
- Verbetert de continuïteit van entiteitsregistratie vanaf de ontdekking tot en met de preklinische validatiefasen.
- Ondersteunt risico-gecorrigeerde voortgang door betrouwbaardiger bewijs op entiteitsniveau te leveren.
Integratie van Pijplijn & Workflow
Het op EHI gebaseerde fine-tuning-raamwerk is geïntegreerd in de informatielaag van pijplijnen voor ontdekking, screening en translationeel onderzoek, en ondersteunt robuuste entiteitsextractie en samenvatting.
- Ontdekkingsbiologie: Maakt hypothesetoetsing en pathway-verduidelijking mogelijk door de nauwkeurigheid van entiteiten in geminede samenvattingen te waarborgen.
- Screening: Biedt reproduceerbare, entiteitsgetrouwe samenvattingen voor assay-documentatie en verbindingsevaluatie.
- Analytica: Levert kwantitatieve EHI-scores om samenvattingsoutputs over verschillende condities te benchmarken en te vergelijken.
- Translationeel onderzoek: Handhaaft de entiteitsgetrouwheid voor biomarker- en ziektemapping bij de overgang van ontdekking naar preklinische stadia.
- Enterprise-hergebruik: Vestigt een schaalbare, beloningsgestuurde samenvattingscapaciteit voor diverse biofarmaceutische tekstbronnen.
Operationele & Bedrijfsimpact
- Wetenschappelijke waarde: Verhoogt het voorspellende vertrouwen en vermindert mechanistische ambiguïteit in inzichten afgeleid uit tekst.
- Operationele waarde: Standaardiseert entiteitsextractie en samenvattingsgeneratie over teams en projecten heen.
- Strategische waarde: Ondersteunt betere go/no-go-beslissingen door de betrouwbaarheid van geautomatiseerde kennisextractie te verbeteren.
- Impact op portfolio: Maakt risico-gecorrigeerde prioritering mogelijk door de propagatie van onjuiste entiteitsgegevens te verminderen.
Overwegingen voor implementatie
- Vereist expertise in natuurlijke taalverwerking en reinforcement learning voor het finetunen van modellen.
- Necessiteert toegang tot gestructureerde transcriptie-datasets en gouden standaard referentiesamenvattingen voor de berekening van de EHI.
- Vereist overeenstemming tussen teams over entiteitsdefinities en extractiestandaarden.
- Kan aanpassing van EHI-drempelwaarden vereisen voor verschillende biomedische domeinen of documenttypen.
- Afhankelijk van de kwaliteit van de initiële vooraf getrainde modellen en referentiegegevens voor optimale prestaties.
