Feinabstimmung großer Sprachmodelle unter Verwendung des Entitätshalluzinationsindex zur Textzusammenfassung
9. Januar 2026
Wir schlagen einen auf Reinforcement Learning basierenden Feinabstimmungsansatz für große Sprachmodelle vor, der den Enti Hallucination Index (EHI) als Belohnungssignal nutzt, um Halluzinationen auf Entitätsebene in Textzusammenfassungen zu reduzieren. Experimente mit Protokollen zeigen, dass diese Methode die Treue und Genauigkeit der Entitäten verbessert.
Diese Studie verwendet den Entity Hallucination Index als Belohnungssignal, um falsche Entitätengenerierung in KI-zusammengefassten Texten zu reduzieren. Die aktuellen Metriken sind zweigrob: Dieses Protokoll verwendet feinkörnige Entitätsbelohnungen, um die Faktualität ohne menschliche Etiketten zu verbessern. Zu Beginn verwenden Sie zwei Hauptkorpora, darunter einen Dialogtranskriptionsdatensatz mit mehrfachen Sitzungsprotokollen und den XSum News Zusammenfassungsbenchmark.
Reinigen Sie jeden Datensatz, flachen Sie die Daten ab und teilen Sie sie in 80%-Trainings-, 10%-Validierungs- und 10%-Testsätze. Führen Sie Tokenisierung und Entitätsextraktion mit einem transformatorbasierten NER-Modell D Slim/BERT-basiertem NER durch, um eine robuste Erdung sicherzustellen. Erstelle initiale Zusammenfassungen im Zero-Shot-Modus mittels Strahlsuche mit einer Breite von vier, um die Basisprävalenz von Halluzinationen zu schätzen.
Berechnen Sie den Entitätshalluzinationsindex als referenzfreie Entitätsmetrik, die Entitäten in fünf Faktoren einteilt, um die Treue zu quantifizieren. Belohne Extraktivität und positive Halluzinationen und bestrafe negative Halluzinationen, überfokussierte Entitäten und verlorene Konzentration. Definieren Sie die Belohnungsfunktion als proportional zur Treue der Entität und maximieren Sie die erwartete EHI-Belohnung über die generierten Zusammenfassungen.
Wenden Sie einen verstärkten Style-Update-Mechanismus an, um Modellparameter zu optimieren und die Entitätentreue zu maximieren. Verwenden Sie Low-Rank-Adaption, um parametereffiziente Feinabstimmung zu ermöglichen, und aktualisieren Sie nur die LoRA-Adapter, während die Basismodellgewichte eingefroren bleiben. Dann werden Richtliniengradienten-Updates angewendet, um höhere Belohnungsausgaben zu fördern, und Zusammenfassungen für jeweils 500 Updates neu generiert, um die Belohnungsschätzungen aufzufrischen.
Schließlich erstellen Sie endgültige Zusammenfassungen mit den fein abgestimmten Modellen und vergleichen Sie sie mit den Basisergebnissen. Bewerten Sie Modelle hinsichtlich Informativität mit Rouge eins, Rouge zwei und Rouge L, Flüssigkeit und faktischer Konsistenz mit Fact CC und CAGs. FEHI-Abstimmung reduzierte Halluzinationen und verbesserte die Faktualität zwischen Modellen und Datensätzen mit nach rechts gerichteten EHI-Verschiebungen sowie Fakten-CC-Verteilungen, die eine erhöhte Entitätstreue und faktische Konsistenz bestätigten, während die CAGS-Werte weitgehend unverändert blieben.
Die schädlichen Halluzinationstypen negativ, Überfokus und verlorener Konzentration wurden in Mistral nach dem Feinabstimmung reduziert, während sich der Extraktivitätsfaktor fast verdoppelte. Die Korrelationsanalyse zeigte, dass EHI und CAGS eine schwache Korrelation zwischen Mistral und Distillbart hatten, während Flan-T5 eine stärkere positive Korrelation zeigte. Forscher können die Treue- und Halluzinationsraten auf Entitätsebene in Zusammenfassungen mit dem automatisierten EHI Belohnungssignal messen.
Die größte Herausforderung ist die NER-Genauigkeit, da Extraktionsfehler während des Trainings zu falschen Belohnungsberechnungen führen können. Zukünftige Studien können Ko-Referenz-Auflösung und Informationsbelohnungen integrieren, um Treue mit Zusammenfassungsberichterstattung besser auszubalancieren.
Sehen Sie sich das vollständige Transkript an und erhalten Sie Zugang zu Tausenden wissenschaftlicher Videos
Übersicht
Dieser Artikel stellt einen neuartigen, belohnungsbasierten Feinabstimmungsansatz für große Sprachmodelle (LLMs) vor, der darauf abzielt, faktenbezogene Halluzinationen auf Ebene von Entitäten bei der abstraktiven Zusammenfassung zu reduzieren. Indem der Entitäten-Halluzinations-Index (EHI) als Leitmetrik verwendet wird, verbessert der Ansatz die faktische Genauigkeit der erzeugten Zusammenfassungen, ohne dabei Informationsgehalt oder Verallgemeinerbarkeit einzubüßen.
Wesentliche Studienkomponenten
Bereich der Wissenschaft
- Verarbeitung natürlicher Sprache
- maschinelles Lernen
- Textzusammenfassung
Hintergrund
- LLMs haben die Qualität der abstraktiven Zusammenfassung erheblich verbessert.
- Die Halluzination auf Ebene von Entitäten, bei der falsche oder erfundene Entitäten in Zusammenfassungen auftauchen, bleibt eine große Herausforderung.
- Bestehende Modelle haben oft Schwierigkeiten, Informationsgehalt und faktische Genauigkeit in Einklang zu bringen.
- Metriken, die halluzinierte Entitäten direkt bei der Modelltrainierung bestrafen, sind bisher wenig erforscht.
Zweck der Studie
- Entwicklung eines Feinabstimmungs-Frameworks zur Reduzierung von Entitäts-Halluzinationen in Zusammenfassungsmodellen.
- Einführung und Nutzung des Entity Hallucination Index (EHI) als Belohnungssignal.
- Nachweis verbesserter Faktizität und Robustheit bei von Sprachmodellen generierten Zusammenfassungen.
Verwendete Methoden
- Erste Zusammenfassungen, erzeugt mithilfe vortrainierter Modelle (z. B. Flan-T5, DistilBART, Mistral) auf strukturierten Transkript-Datensätzen wie XSUM.
- Extraktion benannter Entitäten aus den generierten Zusammenfassungen und den Referenzzusammenfassungen (Goldstandard).
- Berechnung des EHI durch Bewertung der Präzision bezüglich Entitäten und Bestrafung erfundener Entitäten.
- Feinabstimmung mittels Verstärkendem Lernen unter Verwendung eines REINFORCE-ähnlichen Aktualisierungsmechanismus mit EHI als Belohnungssignal.
Hauptergebnisse
- Feinabgestimmte Modelle wiesen geringere Raten an Entitäts-Halluzinationen auf.
- Die Informationsdichte der Zusammenfassungen blieb trotz reduzierter Halluzinationen erhalten.
- Modelle, die von EHI geleitet wurden, zeigten eine bessere Generalisierung bei außerhalb des Anwendungsbereichs liegenden Zusammenfassungsaufgaben.
- Erhöhte Robustheit und Faktentreue wurden in experimentellen Bewertungen beobachtet.
Schlussfolgerungen
- Der auf EHI basierende Belohnungsansatz reduziert effektiv hallucinierte Entitäten auf Ebene der Zusammenfassungen durch große Sprachmodelle.
- Mithilfe dieses Ansatzes können Faktentreue und Informationsgehalt gemeinsam optimiert werden.
- Die Methode bietet eine praktische Richtung zur Verbesserung der Zuverlässigkeit automatisierter Zusammenfassungssysteme.
Häufig gestellte Fragen
Ausschlaggebende Bedeutung für die Industrie
Halluzinationen auf Ebene von Entitäten bei der Zusammenfassung durch große Sprachmodelle (LLM) stellen ein erhebliches Risiko für die Datenintegrität und Entscheidungsfindung in der Biopharma-Forschung dar&D. Der Entity Hallucination Index (EHI)-basierte Feinabstimmungsansatz begegnet dieser Herausforderung direkt und ermöglicht eine zuverlässigere Extraktion faktischer Erkenntnisse aus wissenschaftlichen und operativen Textquellen. Eine verbesserte Faktizität bei der automatisierten Zusammenfassung trägt zu einer höheren Vorhersagesicherheit bei und verringert das Risiko in wissensbasierten Verarbeitungspipelines.
Strategische Anwendungen in der Biopharma-Forschung&D
Frühe Entdeckung und Zielvalidierung
- Verbessert die Genauigkeit von Literatur- und Daten-Mining zur Zielidentifizierung, indem gefälschte Entitäten minimiert werden.
- Unterstützt die mechanistische Risikominderung, indem sichergestellt wird, dass extrahierte Entitäten echte biologische Beziehungen widerspiegeln.
- Ermöglicht zuverlässigere Hypothesenbildung basierend auf automatisierten Textzusammenfassungen.
Screening und Assay-Entwicklung
- Erleichtert die standardisierte Extraktion von Assay-Zielen und -bedingungen aus unterschiedlichen Dokumentationsquellen.
- Verringert das Risiko, fehlerhafte Entitätsinformationen in Screening-Arbeitsabläufe weiterzuleiten.
- Unterstützt die Reproduzierbarkeit, indem die Genauigkeit der Entitäten in automatisierten Zusammenfassungen erhalten bleibt.
Translationale und präklinische Forschung
- Verbessert die Zuordnung präklinischer Befunde zu krankheitsrelevanten Entitäten, indem Halluzinationen reduziert werden.
- Verbessert die kontinuierliche Verfolgung von Entitäten über die Phasen der Entdeckung bis zur präklinischen Validierung hinweg.
- Unterstützt eine risikoadjustierte Weiterentwicklung, indem zuverlässigere, entitätsspezifische Nachweise bereitgestellt werden.
Pipeline- und Workflow-Integration
Der EHI-gesteuerte Feinabstimmungsrahmen integriert sich in die Informatikschicht von Entdeckungs-, Screening- und translationsmedizinischen Forschungspipelines und unterstützt eine robuste Entitätsextraktion und -zusammenfassung.
- Entdeckungsbiochemie: Ermöglicht Hypothesentests und die Klärung von Wegen, indem die Genauigkeit der Entitäten in extrahierten Zusammenfassungen sichergestellt wird.
- Screening: Stellt reproduzierbare, entitätengetreue Zusammenfassungen für die Dokumentation von Assays und die Bewertung von Verbindungen bereit.
- Analysen: Liefert quantitative EHI-Scores, um Zusammenfassungsergebnisse unter verschiedenen Bedingungen zu bewerten und zu vergleichen.
- Translationale Forschung: Gewährleistet die Treue der Entitäten bei der Abbildung von Biomarkern und Krankheiten beim Übergang von der Entdeckungs- zu präklinischen Phase.
- Unternehmensweite Wiederverwendung: Schafft eine skalierbare, belohnungsbasierte Zusammenfassungsfunktion für vielfältige Textquellen in der Biopharmaindustrie.
Operative und unternehmerische Auswirkungen
- Wissenschaftlicher Wert: Erhöht die Vorhersagesicherheit und verringert mechanistische Mehrdeutigkeiten bei aus Text abgeleiteten Erkenntnissen.
- Operationaler Wert: Standardisiert die Entitätsextraktion und Zusammenfassungserstellung über Teams und Projekte hinweg.
- Strategischer Wert: Unterstützt fundiertere Go/No-Go-Entscheidungen, indem die Zuverlässigkeit der automatisierten Wissensgewinnung verbessert wird.
- Portfolio-Wirkung: Ermöglicht eine risikoadjustierte Priorisierung, indem die Weitergabe fehlerhafter Entitätsdaten reduziert wird.
Durchführungsaspekte
- Erfordert Fachkenntnisse in natürlicher Sprachverarbeitung und Verstärkendem Lernen zur Feinabstimmung des Modells.
- Benötigt Zugang zu strukturierten Transkript-Datensätzen und Referenz-Zusammenfassungen in Goldstandard-Qualität zur Berechnung des EHI.
- Setzt eine Einigung zwischen Teams hinsichtlich der Definitionen von Entitäten und der Extraktionsstandards voraus.
- Kann eine Anpassung der EHI-Schwellenwerte für verschiedene biomedizinische Fachgebiete oder Dokumententypen erfordern.
- Hängt von der Qualität der initial vortrainierten Modelle und der Referenzdaten für eine optimale Leistung ab.
