Diese Studie stellt einen leichtgewichtigen Ansatz zur Verringerung von Halluzinationen in großen Sprachmodellen durch die Verifikation auf Ebene einzelner Aussagen und adaptive statistische Schwellenwertbestimmung vor. Durch die gezielte Korrektur nicht gestützter Aussagen mittels natürlicher Sprachinferenz verbessert das Verfahren die faktische Genauigkeit, während gleichzeitig eine geringe Antwortlatenz und eine praktikable Einsatzeffizienz erhalten bleiben.
Forschungsartikel
Adaptive NLI-gestützte Behauptungsverifizierung mit statistischer Entscheidungsmodellierung zur Reduzierung von Halluzinationen bei geringer Latenz in großen Sprachmodellen
In diesem Artikel
Zusammenfassung
Zusammenfassung
Große Sprachmodelle (LLMs) weisen eine kritische Tendenz auf, faktisch falsche, aber sprachlich flüssige Ausgaben zu erzeugen – ein Phänomen, das als Halluzination bezeichnet wird –, das in anwendungsbezogenen Bereichen mit hohen Präzisionsanforderungen erhebliche Risiken birgt. Bestehende Minderungsstrategien, darunter die abrufverstärkte Generierung und die Stichprobenziehung mittels Selbstkonsistenz, führen entweder zu erheblichen Verzögerungen während der Inferenz oder sind von externer Wissensinfrastruktur abhängig, was ihre Anwendbarkeit in Echtzeitanwendungen einschränkt. In dieser Arbeit wird ein leichtgewichtiger zweistufiger Rahmen für die Überprüfung von Aussagen vorgeschlagen, der LLM-Antworten in atomare Faktenbehauptungen zerlegt und jede extrahierte Behauptung unabhängig anhand eines separat generierten Referenztexts verifiziert, der durch eine isolierte Faktenabruffrage erzeugt wird. Obwohl Generator und Verifier auf demselben zugrundeliegenden Sprachmodell basieren, reduziert die Trennung von Antwortgenerierung und Faktenabruf die direkte Antwortbedingtheit und verringert Bestätigungsfehler während der Verifikation, wobei die natürliche Sprachinferenz (Natural Language Inference, NLI) verwendet wird, und setzt eine adaptive statistische Schwelle ein – definiert als τ = µ + kσ über die Verteilung der NLI-Zuverlässigkeitswerte –, um gezielt nur widersprüchliche Behauptungen zu korrigieren. Im Gegensatz zu früheren NLI-basierten Methoden, die auf festen Entscheidungsgrenzen beruhen, passt der vorgeschlagene Rahmen seine Verifizierungsschwelle dynamisch an die Zuverlässigkeitsverteilung jeder einzelnen Antwort an und zeigt dabei konsistente Leistung über alle evaluierten Benchmarks hinweg, ohne dass eine erneute Modelltrainierung erforderlich ist. In den Evaluierungen auf TruthfulQA und FEVER verringert der Rahmen die Halluzinationsrate von 28 % auf 9 % bei TruthfulQA – eine relative Reduktion um 67,9 % – und verursacht dabei lediglich eine zusätzliche Latenz von 160 ms gegenüber dem Basis-LLM, während er SelfCheckGPT und FActScore hinsichtlich der Genauigkeit bei der Halluzinationsdetektion übertrifft. Diese Ergebnisse deuten darauf hin, dass der Rahmen ein günstiges Gleichgewicht zwischen faktischer Zuverlässigkeit und Antwortlatenz auf den evaluierten Benchmarks bieten kann, wobei jedoch weitere Validierungen über verschiedene Domänen und Einsatzszenarien hinweg erforderlich sind.
Einleitung
Große Sprachmodelle (LLMs) haben sich als grundlegende Bestandteile moderner künstlicher Intelligenzsysteme etabliert und beeindruckende Fähigkeiten in einem breiten Spektrum natürlicher Sprachaufgaben gezeigt, einschließlich Textgenerierung, Fragebeantwortung, Zusammenfassung und komplexer Schlussfolgerungen1Ihre Fähigkeit, flüssige und kontextuell kohärente Antworten zu generieren, hat die Einführung in hochwirksamen Bereichen wie der klinischen Entscheidungsunterstützung, der juristischen Analyse, dem Software-Engineering und der Bildungstechnologie beschleunigt.2Ein kritisches und anhaltendes Manko beeinträchtigt jedoch ihre Zuverlässigkeit in diesen Anwendungsbereichen: Halluzinationen, bei denen Modelle sprachlich flüssige, aber faktisch falsche, nicht belegte oder vollständig erfundene Antworten generieren. Empirische Studien berichten über Halluzinationsraten zwischen 15 % und über 40 %, abhängig von der Aufgabe und dem Modell, wobei selbst modernste Systeme wie GPT-4 bei fachspezifischer Bewertung messbare faktische Inkonsistenzen aufweisen.2,3Diese Einschränkung birgt erhebliche Risiken in anwendungsbezogenen Bereichen, die hohe Präzision erfordern, da fehlerhafte Ergebnisse zu Fehlinformationen, Fehldiagnosen oder fehlerhaften Entscheidungen führen können.4Halluzinationen entstehen grundsätzlich aus der probabilistischen Natur der Sprachmodellierung – große Sprachmodelle generieren Token, indem sie statistisch wahrscheinliche Fortsetzungen von Eingabesequenzen vorhersagen, anstatt verifiziertes Faktenwissen abzurufen oder darauf zu schließen.5Als Konsequenz können die generierten Ausgaben plausibel erscheinende, aber ungenaue Behauptungen enthalten, unbegründete Aussagen einführen oder semantisch verwandte, jedoch faktisch unterschiedliche Konzepte verwechseln.6.
Bestehende Minderungsstrategien begegnen diesem Problem durch mehrere Paradigmen, die jeweils erhebliche Einschränkungen aufweisen. Die abrufbasierte Generierung (Retrieval-Augmented Generation, RAG) verringert Halluzinationen, indem Antworten auf extern abgerufene Dokumente gestützt werden, verursacht jedoch erhebliche Latenzkosten, erfordert Zugriff auf gepflegte Wissensdatenbanken und bleibt anfällig für Abrufausfälle in spezialisierten oder ressourcenarmen Bereichen7,8,9.
Obwohl der Antwortgenerator und der Referenzgenerator auf dem gleichen zugrundeliegenden GPT-3.5-Turbo-Modell basieren, arbeiten sie mit unterschiedlichen Vorgaben und Ausführungskontexten. Der Antwortgenerator erzeugt eine uneingeschränkte Antwort auf die Nutzeranfrage, während der Referenzgenerator eine isolierte Faktenabrufaufgabe durchführt, ohne Zugriff auf die zuvor generierte Antwort. Diese Trennung verringert direkte, antwortbedingte Effekte und begrenzt Bestätigungsfehler während der Prüfung von Aussagen. Daher betrachtet das Framework die generierte Referenz als prozedural unabhängig, nicht jedoch als statistisch unabhängig.
Aktuelle Forschungsarbeiten haben zudem leichtgewichtige Dekodierstrategien untersucht, um Halluzinationen bei der Textgenerierung zu reduzieren, ohne auf externe Abrufverfahren oder wiederholte Überprüfungen angewiesen zu sein. Ein repräsentativer Ansatz ist das Decoding by Contrasting Layers (DoLA), das die Faktentreue verbessert, indem Repräsentationen aus Zwischen- und finalen Transformer-Schichten während des Dekodierens gegenübergestellt werden. Im Gegensatz zu Überprüfungsansätzen nach der Generierung greifen solche Methoden direkt während der Token-Generierung ein und optimieren somit eine andere Phase des Sprachgenerierungsprozesses. Diese komplementären Strategien zeigen, dass die Minderung von Halluzinationen entweder während des Dekodierens oder durch nachträgliche Generierungsüberprüfung erreicht werden kann, wobei jeder Ansatz unterschiedliche Kompromisse hinsichtlich des rechnerischen Aufwands, der Implementierungskomplexität und der faktischen Zuverlässigkeit bietet.
Methoden zur Selbstkonsistenz verbessern die faktische Zuverlässigkeit, indem sie mehrere Antworten abtasten und die am häufigsten vorkommende oder kohärenteste Ausgabe auswählen; ihre Rechenkosten steigen jedoch linear mit der Anzahl der Stichproben an, wodurch sie für latenzsensitive Anwendungen ungeeignet werden8. Ansätze zur iterativen Verbesserung überarbeiten die Ausgaben wiederholt mithilfe von Selbstrückkopplungsschleifen und verringern so schrittweise die Fehlerquoten, verlängern jedoch die Inferenzzeit erheblich mit jedem zusätzlichen Durchlauf9. Verifizierungsmethoden basierend auf natürlicher Sprachinferenz (NLI) bieten eine gezieltere Alternative, indem sie die semantische Implikation zwischen generierten Aussagen und Referenztexten bewerten, doch bestehende Implementierungen stützen sich auf feste Entscheidungsschwellen, die nicht an unterschiedliche Konfidenzverteilungen, Domänen oder Modellverhalten anpassbar sind10,11. Insgesamt bringen diese Ansätze entweder unannehmbare Rechenlast mit sich, sind auf externe Infrastruktur angewiesen oder weisen einen Mangel an Anpassungsfähigkeit auf, der für eine allgemeine Bereitstellung erforderlich ist. Ein Vergleich der wichtigsten Merkmale dieser Halluzinationsverifizierungsansätze ist in Zusatztabelle 1 dargestellt.
In diesem Artikel wird ein leichtgewichtiger, zweistufiger Rahmen für die Überprüfung von Behauptungen vorgeschlagen, der darauf abzielt, Halluzinationen in den Ausgaben von LLMs zu reduzieren, während eine geringe Antwortlatenz beibehalten wird. Im ersten Schritt erzeugt das LLM eine anfängliche Antwort, die anschließend in atomare Faktenbehauptungen zerlegt wird. Im zweiten Schritt wird jede Behauptung mittels natürlicher Sprachinferenz (Natural Language Inference) gegenüber einer separat erzeugten faktischen Referenz überprüft, die durch einen isolierten Schlussfolgerungsdurchlauf generiert wird, der nicht auf die ursprünglich erzeugte Antwort zugreift; eine statistisch abgeleitete Konfidenzschwelle regelt die Entscheidung über Annahme oder Korrektur auf Ebene der einzelnen Behauptung. Die Hauptbeiträge dieser Arbeit sind wie folgt: (1) Eine zweistufige Verifizierungspipeline auf Ebene einzelner Behauptungen, die die Antwortgenerierung von der faktischen Validierung entkoppelt und dadurch eine unabhängige und gezielte Bewertung jeder atomaren Behauptung ermöglicht, ohne externe Abrufverfahren oder vollständige Neugenerierung der Antwort zu erfordern; (2) Ein adaptiver statistischer Schwellenwertmechanismus, der auf der Verteilung der NLI-Konfidenzwerte basiert (τ = µ + kσ), wodurch die Grenzen für Annahme und Korrektur dynamisch festgelegt werden, anstatt auf festen Entscheidungsregeln zu beruhen, was die Robustheit über unterschiedliche Konfidenzverteilungen hinweg verbessert; (3) Eine selektive Korrekturstrategie, die die Neugenerierung auf ausschließlich als widersprüchlich klassifizierte Behauptungen beschränkt und dadurch den Rechenaufwand im Vergleich zu Methoden mit vollständiger Neugenerierung oder iterativer Verbesserung erheblich reduziert; (4) Eine empirische Evaluation anhand eines auf Halluzinationen ausgerichteten Benchmarks, die zeigt, dass der vorgeschlagene Rahmen die Halluzinationsrate von 28 % auf 9 % senkt, während die Antwortlatenz innerhalb praktisch nutzbarer Grenzen für den Einsatz bleibt.
Protokoll
Diese Studie umfasste keine menschlichen Teilnehmer, Tiere, biologischen Proben oder Patientendaten. Daher waren eine institutionelle ethische Genehmigung und eine informierte Einwilligung nicht erforderlich.
Überblick über den Studiendesign
Ein zweistufiges Verifizierungsframework wurde implementiert, um die faktische Zuverlässigkeit der Ausgaben von großen Sprachmodellen (LLM) zu verbessern. Das Verfahren bestand aus der Erzeugung von Antworten, der Extraktion von Aussagen, der konstruierten isolierten Referenz, der verifizierung basierend auf natürlicher Sprachinferenz (NLI), der adaptiven statistischen Entscheidungsfindung, der selektiven Korrektur und der endgültigen Zusammenstellung der Antwort. Das Framework wurde anhand der Benchmark-Datensätze TruthfulQA und FEVER evaluiert.
Gesamtarbeitsablauf
Benutzeranfrage → Erste Antwortgenerierung → Aussageextraktion → Unabhängige Referenzgenerierung → NLI-Verifizierung → Statistische Schwellwertberechnung → Aussagenkorrektur → Endgültige verifizierte Antwort. Der gesamte Arbeitsablauf des adaptiven Rahmenwerks zur Aussagenüberprüfung ist in Abbildung 1 dargestellt.
Datensatzvorbereitung
Der TruthfulQA-Datensatz12, der 817 faktenbasierte Fragen enthält, wurde heruntergeladen und für die Auswertung vorbereitet. Der FEVER-Datensatz13 umfasst 185.445 annotierte Behauptungen, die als Unterstützt, Widerlegt oder Nicht genügend Informationen gekennzeichnet sind; für die Auswertung wurden die gekennzeichneten Entwicklungsdaten mit ihren Feldern Behauptung, Beweis und Ground-Truth-Label verwendet. Jede Behauptung wurde anhand des bereitgestellten Beweises bewertet, während das ursprüngliche FEVER-Label als Referenzergebnis zur Verifizierung beibehalten wurde. Der FEVER-Datensatz, der Paare aus Behauptungen und Beweisen zur Faktenüberprüfung enthält, wurde bezogen und vorverarbeitet. Eingabefragen und -behauptungen wurden in ein standardisiertes Textformat umgewandelt. Doppelte Einträge und unvollständige Beispiele wurden vor den Experimenten entfernt. TruthfulQA wurde in Validierungs- und Testteilmengen aufgeteilt. Etwa 20 % der TruthfulQA-Beispiele (164 Fragen) dienten der Schwellenwertanpassung, während die verbleibenden 653 Fragen für die Leistungsbewertung reserviert blieben. Für FEVER wurden die vom Benchmark bereitgestellten Behauptungen direkt als Verifizierungseinheiten verwendet und durchliefen nicht den Prozess der Antwortgenerierung und Behauptungsextraktion, der bei TruthfulQA angewandt wurde. Die Merkmale der für die Entwicklung und Bewertung des Frameworks verwendeten Benchmark-Datensätze sind in Tabelle 1 zusammengefasst.
Erzeugung der anfänglichen Antwort
Jede Abfrage wurde dem Basis-Sprachmodell übermittelt. Die Antworten wurden mithilfe von Nucleus-Sampling mit einer Temperatur von 0,7 und einem Top-p-Wert von 0,9 generiert. Die maximale Ausgabelänge war auf 256 Token begrenzt. Generierte Antworten wurden ohne Nachbearbeitung oder manuelle Änderungen gespeichert. Der generierte Text wurde direkt an die Phase der Aussageextraktion weitergeleitet.
Extraktion von Behauptungen
Jede generierte Antwort wurde in unabhängig überprüfbare Faktaussagen zerlegt. Es wurde ein strukturierter Zerlegungsansatz verwendet, um atomare Aussagen zu identifizieren. Zusammengesetzte Aussagen wurden in minimale Fakteinheiten aufgeteilt. Subjektive Meinungen, stilistische Ausdrücke und konversationelle Füllphrasen wurden entfernt. Jede extrahierte Aussage wurde als eigenständige Verifizierungseinheit gespeichert.
Beispiel:
Ursprüngliche Antwort:
„Marie Curie war eine gebürtige Polin und Physikerin sowie Chemikerin, die bahnbrechende Forschungsarbeiten zur Radioaktivität durchführte.“
Extrahierte Aussagen: (1) Marie Curie war polnischer Herkunft; (2) Marie Curie war Physikerin und Chemikerin; (3) Marie Curie führte Forschungen zur Radioaktivität durch.
Konstruktion isolierter Referenzen:
Für jede extrahierte Behauptung wurde eine unabhängige sachliche Referenz erstellt. Dem Verifizierungsmodell wurde lediglich die ursprüngliche Nutzeranfrage zur Verfügung gestellt. Der Zugriff auf die ursprünglich generierte Antwort wurde eingeschränkt, um Bestätigungsfehler zu vermeiden. Es wurde eine Faktenerinnerungs-Aufforderung verwendet, um prägnante, evidenzbasierte Antworten zu fördern. Die generierten Referenzen wurden zur anschließenden Überprüfung gespeichert.
Überprüfung der natürlichsprachlichen Inferenz
Jedes Paar aus Behauptung und Referenz wurde einem vortrainierten NLI-Modell übermittelt. Das NLI-Modell klassifizierte die Beziehung als: Bestätigung, Neutralität oder Widerspruch. Konfidenzwahrscheinlichkeiten für alle drei Klassen wurden aufgezeichnet. Es wurde eine vorzeichenbehaftete Verifizierungsscore zugewiesen: ein positiver Wert bei Bestätigung, null bei Neutralität und ein negativer Wert bei Widerspruch. Alle Verifizierungsscores wurden zur Schwellenwertberechnung gesammelt.
Berechnung adaptiver statistischer Schwellenwerte
Das Verifizierungsvertrauen, das vom NLI-Modell erzeugt wird, variiert zwischen den Antworten erheblich, da unterschiedliche Anfragen verschiedene Anzahlen von Aussagen, unterschiedliche semantische Komplexitätsgrade und verschiedene Verteilungen des Vertrauens hervorrufen. Eine feste globale Schwelle setzt voraus, dass alle Antworten einem ähnlichen Vertrauensprofil folgen, was in der Praxis selten beobachtet wird. Um diese Variabilität zu berücksichtigen, schätzt das vorgeschlagene Framework die Entscheidungsgrenze für jede Antwort einzeln anhand des Mittelwerts und der Standardabweichung ihrer Verifizierungsergebnisse. Der Mittelwert spiegelt das allgemeine Vertrauensniveau der Antwort wider, während die Standardabweichung die Streuung der Vertrauenswerte unter den extrahierten Aussagen erfasst. Diese adaptive Formulierung ermöglicht es, das Akzeptanzkriterium an die unspezifische Unsicherheit jeder einzelnen Antwort anzupassen, anstatt auf eine einzige Schwelle für alle Eingaben zu vertrauen.
Der Mittelwert (µ) und die Standardabweichung (σ) aller signierten Verifizierungsscores wurden berechnet.
Die adaptive Entscheidungsschwelle wurde wie folgt berechnet:
wobei τ die adaptive Schwelle, µ den mittleren Verifizierungswert, σ die Standardabweichung und k den Empfindlichkeitsparameter bezeichnet.
Der Empfindlichkeitsparameter wurde mit 0,7 initialisiert. Behauptungen, die als Folgerung mit Werten größer oder gleich +τ klassifiziert wurden, wurden akzeptiert. Behauptungen, die als Widerspruch mit Werten kleiner oder gleich −τ klassifiziert wurden, wurden zur Korrektur markiert. Behauptungen mit Werten innerhalb des Intervalls (−τ, +τ) wurden als neutral beibehalten.
Selektive Anspruchskorrektur
Eine Behauptung wurde nur dann zur Korrektur weitergeleitet, wenn das NLI-Modell das Paar aus Behauptung und Referenz als Widerspruch klassifizierte und die entsprechende vorzeichenbehaftete Verifizierungsscore das adaptive Schwellenwertkriterium si ≤ -τ erfüllte. Die Entscheidung zur Korrektur ergab sich somit aus der Klassenbezeichnung des NLI und der reaktionsspezifischen statistischen Schwelle. Behauptungen, die als Folgerung klassifiziert wurden und für die si ≥ τ galt, wurden akzeptiert, während Behauptungen, deren Werte im Intervall -τ < si < τ lagen, als neutral behandelt und ohne Korrektur beibehalten wurden. Dieses kombinierte Kriterium stellte sicher, dass eine Korrektur nur auf Behauptungen angewandt wurde, die sowohl einen semantischen Widerspruch aufwiesen als auch ausreichend starke negative Verifizierungsbeweise lieferten.
Rekonstruktion der Antwort
Akzeptierte und korrigierte Aussagen wurden in ihrer ursprünglichen Reihenfolge angeordnet. Die Satzgrenzen wurden wiederhergestellt, um die Lesbarkeit zu gewährleisten. Gegebenenfalls wurden geringfügige grammatische Anpassungen vorgenommen. Die zusammengestellte Ausgabe wurde als endgültige verifizierte Antwort gespeichert.
Leistungsbeurteilung
Der Rahmen wurde anhand von vier Metriken bewertet: (1) Genauigkeit: Der Anteil der Antworten, die nach der Überprüfung faktisch korrekt blieben; (2) F1-Score: Das harmonische Mittel aus Präzision und Sensitivität bei der Halluzinationsdetektion; (3) Antwortlatenz: Die gesamte Verarbeitungszeit von der Abgabe der Anfrage bis zur Generierung der überprüften Antwort; (4) Halluzinationsrate
Die Latenz wurde als mittlere Ausführungszeit über wiederholte Messungen hinweg angegeben. Da die individuellen Latenzwerte pro Durchlauf nicht gespeichert wurden, wurden Standardabweichungen und Konfidenzintervalle nicht berechnet.
Bewertung der korrekten Ergebnisse je Benchmark
Bei TruthfulQA wurde die endgültige überprüfte Antwort mit den menschlich validierten Referenzantworten des Benchmarks sowie mit Listen falscher Antworten verglichen. Eine Antwort galt als korrekt, wenn ihre faktischen Aussagen mit den akzeptierten Antwortinformationen übereinstimmten und keine Inhalte enthielt, die den identifizierten Mustern falscher Antworten entsprachen. Bei FEVER wurde jede Behauptung in der endgültigen Ausgabe anhand des zugehörigen Beweismaterials und der ursprünglichen FEVER-Anmerkung bewertet; Unterstützte Behauptungen wurden als faktisch verifiziert angesehen, während widerlegte Behauptungen als falsch gewertet wurden. Fälle mit „Nicht genügend Informationen“ wurden als unbestimmt beibehalten, anstatt als positiver faktischer Hinweis gewertet zu werden. Die resultierenden entscheidungen auf Ebene der einzelnen Behauptungen wurden für jeden Benchmark zusammengefasst, um die angegebene Genauigkeit und Halluzinationsrate zu berechnen.
Experimentelles Umfeld
Der Rahmen wurde mithilfe von Python 3.9 implementiert. Datenverarbeitungsoperationen wurden mit numerischen und tabellarischen Analysebibliotheken durchgeführt. Das NLI-Modell arbeitete im Inferenzmodus, ohne zusätzliche Feinabstimmung. Die Experimente wurden auf einer Workstation mit einem Intel Core i5-Prozessor, 16 GB RAM und einem 64-Bit-Betriebssystem ausgeführt. Alle Bewertungen erfolgten im Einzeldurchlauf-Inferenzmodus, um einen Betrieb mit geringer Latenz zu gewährleisten. Alle Experimente wurden mit identischer Hardware- und Softwarekonfiguration durchgeführt, um eine konsistente Bewertung über Datensätze und Baseline-Methoden hinweg sicherzustellen.
Erwartetes Ergebnis
Das Protokoll dient dazu, entscheidungsrelevante Verifizierungen auf Anspruchsebene zu erzeugen, indem potenziell unbegründete Behauptungen identifiziert und gezielt stark widersprüchliche Behauptungen zur Korrektur weitergeleitet werden. Die erwartete Ausgabe ist eine verifizierte Antwort mit reduzierten faktischen Inkonsistenzen und begrenztem zusätzlichem Verarbeitungsaufwand, abhängig von der Leistung, die während der experimentellen Evaluierung beobachtet wurde.
Ergebnisse
Erzeugung der anfänglichen Antwort
Das Basismodell erzeugte flüssige und kontextuell relevante Antworten auf Fragen aus beiden Benchmark-Datensätzen. Bei genauerer Untersuchung zeigten sich jedoch mehrere Antworten mit unbegründeten und faktisch unrichtigen Aussagen. Auf dem TruthfulQA-Datensatz wies das Basissystem eine Halluzinationsrate von 28 % auf, während auf dem FEVER-Datensatz eine Halluzinationsrate von 26 % beobachtet wurde. Diese Ergebnisse bestätigten, dass die reine Sprachgenerierung allein für Anwendungen mit hohen Anforderungen an die Faktentreue unzureichend ist, und definierten die Ausgangsbedingung, mit der alle nachfolgenden Verifizierungsverfahren verglichen wurden.
Extraktion von Behauptungen
Das Verfahren zur Extraktion von Aussagen hat generierte Antworten erfolgreich in unabhängig überprüfbare Fakteinheiten zerlegt. Die Antworten aus TruthfulQA enthielten durchschnittlich 3,2 atomare Aussagen, während FEVER-Stichproben im Allgemeinen aus einer einzigen Aussage bestanden. Der Zerlegungsprozess isolierte faktische Behauptungen, ohne zusätzliche Informationen einzuführen, wodurch jede Aussage einzeln bewertet werden konnte. Diese Beobachtung stützte die Hypothese, dass die Überprüfung auf Ebene einzelner Aussagen eine höhere Präzision bietet als die Bewertung ganzer Antworten als eine einzige Einheit.
Aufbau unabhängiger Referenzen
Für jede extrahierte Behauptung wurden unabhängige Referenzen mithilfe eines separaten Schlussfolgerungsprozesses erzeugt, der ausschließlich auf der ursprünglichen Abfrage basierte. Die generierten Referenzen enthielten präzise, sachliche Beschreibungen, die sich ausreichend von den ursprünglichen Antworten unterschieden, um als unabhängige Verifizierungsquellen zu dienen. Der Referenzgenerierungsprozess war vom ursprünglichen Antwortprozess getrennt, um zu verhindern, dass die sachliche Referenz direkt von der zuvor vom Modell erzeugten Ausgabe abhängt. Diese Trennung sollte potenzielle Bestätigungsfehler verringern und eine kontrollierte Grundlage für die anschließende Überprüfung auf Ebene der einzelnen Behauptungen bieten; die Studie quantifiziert jedoch nicht unabhängig das Ausmaß dieses Effekts. Die erfolgreiche Erzeugung unabhängiger Referenzen untermauerte das vorgeschlagene Gestaltungsprinzip, das Wissenabrufen von der Antwortgenerierung zu trennen.
Überprüfung der natürlichen Sprachschlussfolgerung
Die NLI-Verifizierungsstufe klassifizierte Behauptungs-Referenz-Paare effektiv in die Kategorien Entailment, Widerspruch und neutral. Widersprochene Behauptungen erhielten durchgängig negative Verifizierungsscores, während faktisch gestützte Behauptungen positive Scores erhielten. Neutrale Klassifizierungen wurden Behauptungen zugewiesen, für die unzureichende unterstützende Belege vorlagen. Dieses Verhalten zeigte, dass semantische Inferenz zuverlässig nicht gestützte faktische Aussagen identifizieren konnte und die erforderlichen Belege für gezielte Korrekturen lieferte. Im Vergleich zu einer einfachen Konsistenzprüfung reduzierte die NLI-Verifizierung die Halluzinationsrate von 20 % auf 15 %, was auf eine verbesserte Erkennungsfähigkeit hindeutet.
Adaptives statistisches Schwellenwertverfahren
Die Anwendung einer adaptiven statistischen Schwellenwertbestimmung verbesserte die Verifizierungsleistung weiter, indem die Entscheidungsgrenzen dynamisch an die Konfidenzscore-Verteilung jeder Antwort angepasst wurden. Die Sensitivitätsanalyse des Schwellenwerts zeigte, dass die Leistung zunahm, als der Schwellenparameter von 0,3 auf 0,7 erhöht wurde. Bei einem Sensitivitätswert von 0,7 erreichte das Framework eine Genauigkeit von 0,87 und reduzierte Halluzinationen auf 9 % (Abbildung 2). Die vollständigen Ergebnisse der Sensitivitätsanalyse für die evaluierten Werte von k sind in Zusatztabelle 2 enthalten. Eine Erhöhung des Schwellenwerts über diesen Punkt hinaus führte nur zu geringfügigen Verbesserungen der Genauigkeit, während die Latenz zunahm. Diese Beobachtungen stützten die Hypothese, dass adaptive Schwellenwerte effektiver sind als feste Entscheidungsgrenzen, um unterschiedliche Konfidenzverteilungen über verschiedene Antworten hinweg zu bewältigen.
Die adaptive Schwelle spiegelt auch die Variabilität der Konfidenzwerte innerhalb jeder Antwort wider. Antworten mit sehr konsistenten Verifizierungswerten weisen eine geringere Standardabweichung auf, was zu einer selektiveren Entscheidungsgrenze führt. Im Gegensatz dazu ergeben Antworten, die Behauptungen mit heterogenen Konfidenzwerten enthalten, eine größere Standardabweichung, was zu einem weiteren Akzeptanzbereich führt und unnötige Korrekturen bei unsicheren Behauptungen verringert. Obwohl dieses adaptive Verhalten nicht jeden falsch-positiven oder falsch-negativen Fall ausschließen kann, ermöglicht es der Entscheidungsgrenze, auf die Unsicherheitseigenschaften jeder einzelnen Antwort zu reagieren, anstatt ein einheitliches Kriterium auf alle Eingaben anzuwenden.
Auswahlkorrektur und Antwortzusammenstellung
Nur als widersprüchlich identifizierte Behauptungen wurden zur Korrektur eingereicht, während unterstützte und neutrale Behauptungen unverändert beibehalten wurden. Diese selektive Korrekturstrategie minimierte unnötige Neugenerierung und bewahrte die ursprüngliche Struktur der Antwort. Nach der Korrektur und Rekonstruktion der Antwort sank die Halluzinationsrate bei TruthfulQA von 28 % auf 9 %, was einer relativen Reduktion von 67,9 % entspricht. Ähnliche Verbesserungen wurden bei FEVER beobachtet, wo Halluzinationen von 26 % auf 10 % zurückgingen. Genauigkeits- und Halluzinationsratenvergleiche zwischen den evaluierten Konfigurationen sind in Abbildung 3 und 4 dargestellt.
Leistungsbeurteilung
Die vergleichende Bewertung zeigte, dass der vorgeschlagene Ansatz unter allen getesteten Methoden die höchste Gesamtleistung erzielte. Bei TruthfulQA erreichte der Ansatz eine Genauigkeit von 0,87 und einen F1-Wert von 0,85 und übertraf damit sowohl die Verifizierung mit festem Schwellenwert als auch ansätze, die auf Selbstkonsistenz basieren (Tabelle 2, Abbildungen 3 und 4). Bei FEVER erreichte der Ansatz eine Genauigkeit von 0,89 und einen F1-Wert von 0,87 (Tabelle 3, Abbildungen 3 und 4). Der zusätzliche Beitrag der einzelnen Komponenten des Ansatzes wird durch die Ablationsanalyse in Tabelle 4 untersucht. Diese Verbesserungen bestätigten, dass die Kombination der Behauptungsebene-Verifizierung mit adaptiver statistischer Entscheidungsfindung die faktische Zuverlässigkeit über mehrere Datensätze hinweg verbesserte. Die Genauigkeit bei der Halluzinationsdetektion für SelfCheckGPT, FActScore und den vorgeschlagenen Ansatz wird in Abbildung 5 verglichen.
Latenzanalyse
Die vollständige Verifizierungspipeline wies einen geringen Rechenaufwand auf. Die durchschnittliche Antwortzeit stieg von 820 ms beim Basismodell auf 980 ms beim vollständigen Framework, was nur eine geringfügige Zunahme der Verarbeitungszeit darstellt (Tabelle 5). Die Antwortgenerierung verursachte den größten Teil der gesamten Latenz, während die Verifizierungs- und Korrekturphasen nur einen relativ geringen zusätzlichen Aufwand verursachten. Die Aufschlüsselung der Verarbeitungszeit auf Phasenebene ist in der ergänzenden Tabelle 3 dargestellt. Im Vergleich zu abrufbasierten Verifizierungssystemen, die etwa 1600 ms pro Abfrage benötigten, erreichte das vorgeschlagene Framework deutlich geringere Latenzzeiten, während eine vergleichbare faktische Genauigkeit beibehalten wurde. Diese Ergebnisse stützten die Hypothese, dass eine Reduzierung von Halluzinationen erzielt werden kann, ohne die Echtzeitnutzbarkeit einzuschränken.
Da die Antwortgenerierung auf einem cloudbasierten Sprachmodell beruht, unterliegen individuelle Latenzmessungen Schwankungen aufgrund von Netzwerkbedingungen und serverseitiger Planung, anstatt einer deterministischen Ausführungszeit. Daher wurden wiederholte Messungen verwendet, um repräsentative Durchschnittswerte zu erhalten, wodurch der Einfluss vorübergehender Ausführungsvariabilität verringert wurde, während relative Vergleiche zwischen den evaluierten Methoden erhalten blieben. Die Latenzwerte werden als mittlere Ausführungszeiten über wiederholte experimentelle Durchläufe angegeben. Individuelle Latenzwerte pro Durchlauf wurden nicht gespeichert; daher war eine nachträgliche Berechnung von Varianz, Konfidenzintervallen oder anderen Variabilitätsmaßen nicht möglich. Entsprechend werden die Latenzwerte und der Geschwindigkeits-Genauigkeits-Vergleich in Abbildung 6 als Punktschätzungen ohne Fehlerbalken dargestellt.
Zusammenfassend zeigten die Ergebnisse, dass die Kombination von Behauptungsextraktion, unabhängiger Referenzerstellung, Verifizierung durch natürliche Sprachinferenz, adaptiver statistischer Schwellenwertbestimmung und selektiver Korrektur die faktische Zuverlässigkeit der Ausgaben großer Sprachmodelle verbesserte. Der Ansatz verringerte die Halluzinationsrate von 28 % auf 9 % bei TruthfulQA und von 26 % auf 10 % bei FEVER. Die Ergebnisse deuten darauf hin, dass die adaptive Verifizierung auf Ebene einzelner Behauptungen die Metriken zur faktischen Zuverlässigkeit verbesserte, während die zusätzliche Antwortverzögerung unter den untersuchten Bedingungen begrenzt blieb.
Datenverfügbarkeit
Die in dieser Studie analysierten Datensätze sind öffentlich über ihre jeweiligen offiziellen Quellen zugänglich. Die Publikation enthält die erforderlichen Informationen zu den Datensätzen, Modellkonfigurationen und methodischen Details, um die beschriebenen Analysen nachvollziehen zu können. Verarbeitete Evaluationsdaten und ergänzende Ergebnisse, die während der Studie generiert wurden, sind in den Zusatzdateien enthalten.
Abbildung 1: Ablauf des adaptiven Anspruchsüberprüfungs-Frameworks. Eine anfängliche, von einem LLM generierte Antwort wird in faktische Aussagen zerlegt, gefolgt von unabhängiger Referenzerstellung, NLI-basierter Verifizierung, Konfidenzbewertung und statistischer Schwellenwertbestimmung. Aussagen, die das Akzeptanzkriterium erfüllen, werden beibehalten, während Aussagen, die das Korrekturkriterium erfüllen, vor der endgültigen Antwortzusammenstellung gezielt korrigiert werden. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 2: Einfluss des Empfindlichkeitsparameters (k) auf die Verifizierungsgenauigkeit. Genauigkeit bei TruthfulQA und FEVER für k-Werte von 0,3, 0,5, 0,7 und 1,0. Die Genauigkeit stieg bei beiden Datensätzen mit steigendem k-Wert, wobei k = 0,7 für die primäre Bewertung ausgewählt wurde. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.
Abbildung 3: Vergleich der Genauigkeit verschiedener Verifizierungsmethoden. Genauigkeit des Baseline-LLM, der NLI-basierten Verifizierung und des vorgeschlagenen adaptiven Verifizierungsframeworks bei TruthfulQA und FEVER. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 4: Vergleich der Halluzinationsraten über verschiedene Verifizierungsmethoden hinweg. Die Halluzinationsraten für das Baseline-LLM, die NLI-basierte Verifizierung und den vorgeschlagenen Ansatz bei TruthfulQA und FEVER. Der vorgeschlagene Ansatz verringerte die Rate bei TruthfulQA von 28 % auf 9 % und bei FEVER von 26 % auf 10 %. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 5: Genauigkeit der Halluzinationsdetektion bei verschiedenen Methoden. Detektionsgenauigkeit von SelfCheckGPT, FActScore und des vorgeschlagenen Frameworks auf den Datensätzen TruthfulQA und FEVER. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 6: Kompromiss zwischen Reaktionszeit und Genauigkeit bei verschiedenen Verifizierungsmethoden. Beziehung zwischen Reaktionsverzögerung und Genauigkeit der bewerteten Methoden bei TruthfulQA und FEVER, die den Leistungs- und Latenzkompromiss des vorgeschlagenen Frameworks und vergleichender Ansätze veranschaulicht. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
| Datensatz | Verwendete Stichproben | Dominänen | Durchschnittliche Antwortlänge (Token) | Basis-Halluzinationsrate des Sprachmodells |
| TruthfulQA | 817 | 38 (Naturwissenschaften, Geschichte, Rechtswesen usw.) | 42 | 28% |
| FEVER | 1.000 | Allgemeine faktische Behauptungen | 18 | 26% |
Tabelle 1: Merkmale der Benchmark-Datensätze. Zusammenfassung der TruthfulQA- und FEVER-Datensätze, die für die Entwicklung und Bewertung des Frameworks verwendet wurden, einschließlich Stichprobenanzahlen, Basisgenauigkeit, Basis-Halluzinationsrate und durchschnittlicher Aussagen pro Stichprobe.
| Methode | Genauigkeit | Präzision | Recall | F1-Score | Halluzinationsrate % |
| Basis-LLM (Einzelinferenz) | 0.72 | 0.71 | 0.69 | 0.7 | 28% |
| NLI-basierte Verifizierung (fester Schwellenwert) | 0.82 | 0.815 | 0.785 | 0.8 | 15% |
| SelfCheckGPT | 0.76 | 0.755 | 0.725 | 0.74 | 22% |
| FActScore | 0.85 | 0.8425 | 0.8175 | 0.83 | 11% |
| Vorgeschlagenes Framework (statistischer Schwellenwert) | 0.87 | 0.86 | 0.84 | 0.85 | 9% |
Tabelle 2: Leistungsvergleich bei TruthfulQA. Genauigkeit, Präzision, Sensitivität, F1-Score und Halluzinationsrate für das Baseline-LLM, SelfCheckGPT, FActScore, NLI-Verifizierung und das vorgeschlagene Framework.
| Methode | Genauigkeit | Präzision | Recall | F1-Score | Halluzinationsrate % |
| SelfCheckGPT | 0.78 | — | — | — | — |
| FActScore | 0.87 | — | — | — | — |
| Basis-LLM† | 0.74 | 0.73 | 0.71 | 0.72 | 26% |
| NLI-basierte Verifizierung (fester Schwellenwert) | 0.83 | 0.8225 | 0.7975 | 0.81 | 14% |
| Vorgeschlagenes Framework (statistischer Schwellenwert) | 0.89 | 0.8775 | 0.8625 | 0.87 | 10% |
Tabelle 3: Leistungsvergleich beim FEVER-Datensatz. Genauigkeit, Präzision, Sensitivität, F1-Score und Halluzinationsrate für das Baseline-LLM, SelfCheckGPT, FActScore, NLI-Verifizierung und das vorgeschlagene Framework.
| Konfiguration | Genauigkeit | Präzision | Recall | F1 (hinzugefügt) | Halluzinationsrate |
| Basis-Sprachmodell | 0.72 | 0.71 | 0.69 | 0.7 | 28% |
| Basis + Sekundärprüfung (ohne NLI) | 0.78 | 0.7725 | 0.7475 | 0.76* | 20% |
| Basis + NLI-basierte Verifizierung (fester Schwellenwert) | 0.82 | 0.815 | 0.785 | 0.8 | 15% |
| Basis + Statistisches Entscheidungsmodul (vollständig) | 0.87 | 0.86 | 0.84 | 0.85 | 9% |
Tabelle 4: Ablationsanalyse der Framework-Komponenten. Änderungen der Genauigkeit, des F1-Scores und der Halluzinationsrate nach schrittweiser Integration der sekundären Validierung, der NLI-Verifizierung und der adaptiven statistischen Schwellenwertbestimmung.
| Methode | Mittlere Reaktionszeit (ms) |
| Basis-LLM (Einzelne Generierung) | 820 |
| Selbstvalidierungsmechanismus | 910 |
| Vorgeschlagener statistischer Rahmen | 980 |
| Retrieval-erweiterte Verifizierung (RAG) | 1600 |
Tabelle 5: Reaktionslatenz bei verschiedenen Verifizierungsmethoden. Mittlere Reaktionszeit und zusätzliche Latenz im Vergleich zum Baseline-LLM für die Selbstvalidierung, das vorgeschlagene Framework und die abrufbasierte Verifizierung.
Ergänzungstabelle 1: Vergleich von Ansätzen zur Halluzinationsüberprüfung. Vergleich des vorgeschlagenen Frameworks mit bestehenden Methoden hinsichtlich externer Abrufung, Überprüfung auf Aussageebene, adaptiver Schwellenwertbestimmung und latenzarmen Verarbeitung.Bitte klicken Sie hier, um diese Datei herunterzuladen.
Zusatz-Tabelle 2: Sensitivitätsanalyse des Schwellenparameter (k). Genauigkeit, Präzision, Sensitivität, F1-Score und Halluzinationsrate wurden bei Schwellenparameterwerten von 0,3, 0,5, 0,7 und 1,0 ermittelt. Für die primäre Bewertung wurde ein Wert von k = 0,7 verwendet.Bitte klicken Sie hier, um diese Datei herunterzuladen.
Zusatz-Tabelle 3: Verarbeitungszeit über die Stufen der Verifizierungspipeline. Mittlere Ausführungszeit und prozentualer Anteil der initialen Antwortgenerierung, der Zerlegung der Behauptung, der Referenzgenerierung, der NLI-Inferenz und der selektiven Korrektur an der Gesamtantwortzeit.Bitte klicken Sie hier, um diese Datei herunterzuladen.
Zusatz-Tabelle 4: Verteilung der während der Verifikation identifizierten Fehler. Anzahl und Prozentsatz von falsch-negativen, falsch-positiven Ergebnissen sowie Korrekturfehlern zusammen mit den primären Halluzinationskategorien, die mit jedem Fehlertyp assoziiert sind.Bitte klicken Sie hier, um diese Datei herunterzuladen.
Diskussion
Der vorgeschlagene Ansatz verbesserte die Leistung bei der Faktenüberprüfung, ohne wiederholte Stichprobenziehung oder externe Abrufverfahren zu benötigen. Bei TruthfulQA sank die Halluzinationsrate von 28 % beim Baseline-LLM auf 9 % mit dem vollständigen Framework, während die Genauigkeit von 0,72 auf 0,87 anstieg. Bei FEVER verringerte sich die Halluzinationsrate von 26 % auf 10 %, wobei die Genauigkeit von 0,74 auf 0,89 stieg. Diese Vergleiche sollten im Kontext der in dieser Studie verwendeten experimentellen Bedingungen und Implementierungen interpretiert werden und nicht als Beleg für universelle Überlegenheit unter allen Einsatzbedingungen dienen. Das Framework führt eine nachträgliche, anspruchsbasierte Überprüfung mithilfe einer isolierten faktischen Referenz und selektiver Korrektur durch und bietet damit einen Kompromiss zwischen Verankerung an externem Wissen, wiederholter Inferenz und leichtgewichtiger Überprüfung nach der Generierung. Die Antwort- und Referenzgeneratoren nutzen dasselbe zugrundeliegende GPT-3.5-Turbo-Modell, arbeiten jedoch mit unterschiedlichen Prompting-Zielen und in getrennten Ausführungskontexten. Der Referenzgenerator erhält lediglich die ursprüngliche Anfrage und hat keinen Zugriff auf die zuvor generierte Antwort. Folglich sind die beiden Generierungsprozesse prozedural und nicht statistisch unabhängig und können korrelierte faktische Verzerrungen beibehalten, die aus ihrem gemeinsamen vortrainierten Modell stammen.
Vergleich mit bestehenden Ansätzen
Die feste Schwelle der NLI-Basislinie wendet eine Konfidenzschwelle von 0,7 an, basierend auf früheren Arbeiten zur Faktizitätsprüfung mittels NLI14. SelfCheckGPT15 stellt einen ressourcensparenden Ansatz zur Halluzinationsdetektion dar, der mehrere stochastische Stichproben erzeugt und NLI verwendet, um inkonsistente Behauptungen zu identifizieren. FActScore16 zerlegt generierte Antworten in atomare Fakten und überprüft diese anhand abgerufener Referenzen aus einer auf Wikipedia basierenden Wissensquelle. Im Gegensatz dazu führt der vorgeschlagene Ansatz eine verifikation auf Ebene einzelner Behauptungen durch, ohne wiederholte Generierung vollständiger Antworten oder externe Abrufverfahren zu benötigen.
DoLA ist ein ergänzender, leichtgewichtiger Ansatz, der die Generierung faktischer Inhalte verbessert, indem er Token-Wahrscheinlichkeiten aus verschiedenen Transformer-Schichten während der Inferenz gegenüberstellt. Ein direkter experimenteller Vergleich wurde nicht durchgeführt, da DoLA den Token-Generierungsprozess verändert, während der vorgeschlagene Rahmenansatz eine nachträgliche, aussagenbasierte Verifizierung und selektive Korrektur vornimmt. Die Implementierung von DoLA würde Zugriff auf interne Repräsentationen der Transformer-Schichten erfordern, die von der in dieser Studie verwendeten GPT-3.5-Turbo-API nicht bereitgestellt werden. Das Fehlen einer externen Abrufung reduziert die Abhängigkeit von Abrufverfahren und die damit verbundenen Verarbeitungsanforderungen, beschränkt jedoch gleichzeitig die Verifizierung auf das Wissen, das den zugrundeliegenden Modellen zur Verfügung steht. Daher bleiben vollständige Falschaussagen oder spezialisierte Behauptungen außerhalb des Wissensumfangs des Verifizierers schwer korrigierbar.
Adaptives statistisches Schwellenwertverfahren und selektive Korrektur
Die adaptive Schwelle leitet sich aus der empirischen Verteilung der Konfidenz-Scores ab und steuert den Kompromiss zwischen dem Erkennungsrückruf von Halluzinationen und der Korrekturpräzision. Eine Sensitivitätsanalyse bewertete die Werte 0,3, 0,5, 0,7 und 1,0 an einem separaten Validierungsdatensatz von TruthfulQA. Ein Wert von k = 0,7 bot den ausgewogensten Kompromiss zwischen der Reduzierung von Halluzinationen und der rechentechnischen Effizienz für die evaluierten Benchmarks.
Der optimale Schwellenwert kann je nach Anwendungsdomäne variieren, da die Verteilung der NLI-Vertrauenswerte von der Art der generierten Inhalte abhängt. Für die Anwendung in einer neuen Domäne kann daher ein Validierungssatz, der die Zielanwendung widerspiegelt, verwendet werden, um Kandidatenwerte zu bewerten und einen Wert auszuwählen, der die Leistung bei der Faktenüberprüfung, die Korrekturrate und die Verarbeitungslatenz ausgewogen berücksichtigt. Da die Schwellenwertoptimierung einen einzelnen Skalarparameter umfasst und nicht das erneute Trainieren der Modelle erfordert, ist für die Anpassung keine Änderung der zugrundeliegenden Modelle notwendig.
Die selektive Korrektur beschränkt die Neubewertung auf Behauptungen, die als Widerspruch klassifiziert sind und das statistische Schwellenwertkriterium erfüllen. Dadurch wird eine wiederholte Verarbeitung von Behauptungen vermieden, die das Korrekturkriterium nicht erfüllen, und das Verfahren unterscheidet sich so von Ansätzen mit vollständiger Antwortwiederholung und iterativer Verbesserung.
Latenz und Leistungsabwägung
Der vorgeschlagene Rahmen erreichte eine durchschnittliche Antwortzeit von 980 ms im Vergleich zu 820 ms beim Baseline-LLM und 1600 ms bei der abrufverstärkten Verifizierung. Die Analyse auf Stufen-Ebene zeigte, dass die anfängliche Antwortgenerierung 83,7 % der Gesamtlatenz ausmachte, während die NLI-Inferenz 3,9 % beitrug und die selektive Korrektur im Durchschnitt weniger als 1 % beitrug. Die Latenzwerte werden als mittlere Ausführungszeiten über wiederholte experimentelle Durchläufe angegeben. Individuelle Latenzwerte pro Durchlauf wurden nicht gespeichert; daher war eine nachträgliche Berechnung von Varianz, Konfidenzintervallen oder anderen Streuungsmaßen nicht möglich. Demzufolge werden die Latenzwerte und der Vergleich von Geschwindigkeit und Genauigkeit als Punktschätzungen ohne Fehlerbalken dargestellt. Die angegebenen Latenzwerte spiegeln die in dieser Studie verwendete experimentelle Umgebung wider und können unter unterschiedlichen Einsatzbedingungen variieren, insbesondere wenn cloudbasierte Sprachmodell-APIs verwendet werden. Netzwerk-Latenz, Server-Auslastung und Dienstverfügbarkeit können die absoluten Antwortzeiten unabhängig vom vorgeschlagenen Verifizierungsrahmen beeinflussen.
Fehleranalyse
Fälschlicherweise behandelte Behauptungen im TruthfulQA-Testset wurden als falsch negative, falsch positive oder Korrekturfehler kategorisiert. Die Verteilung und die Hauptkategorien dieser Fehler sind in Supplementary Table 4 zusammengefasst. Falsch negative Ergebnisse machten 52,6 % aller Fehler aus und waren hauptsächlich mit zeitlichen Halluzinationen und subtilen faktischen Ersetzungen verbunden. Zeitliche Fehler können übersehen werden, wenn der Verifizierer denselben Trainingsstichtag wie das Basismodell aufweist, während subtile faktische Ersetzungen möglicherweise NLI-Scores im neutralen Bereich statt im Widerspruchsbereich erhalten.
Falschpositive Ergebnisse machten 35,9 % der Fehler aus und traten hauptsächlich bei seltenen, sehr spezifischen oder kürzlich etablierten Fakten auf, die außerhalb des hochzuverlässigen Wissensbereichs des Verifizierungsmodells lagen. Diese Fälle wiesen trotz der faktisch korrekten Behauptungen nur schwache NLI-Entailment-Scores auf. Korrekturfehler machten 11,5 % aller Fehler aus und traten auf, wenn vollständige Fälschungen erkannt wurden, der Korrekturprozess jedoch aufgrund unzureichender Abdeckung durch das Verifizierungswissen eine weitere ungenaue Aussage erzeugte.
Diese Ergebnisse zeigen, dass verbleibende Fehler sowohl auf der Diskriminierung nichtlinearer Interaktionen als auch auf der Wissensabdeckung des Verifizierers beruhen, insbesondere bei zeitlichen Ungenauigkeiten, subtilen faktischen Ersetzungen, ungewöhnlichen Fakten und vollständigen Erfindungen.
Statistische Analyse
Die Halluzinationsrate sank von 15 % bei der Festschwellen-NLI-Verifizierung auf 9 % mit dem vorgeschlagenen statistischen Rahmen, während der komplette Rahmen die Rate von 28 % für die Basislinie auf 9 % bei TruthfulQA reduzierte. Diese Unterschiede werden als beschreibende Leistungsänderungen angegeben; es wird jedoch keine formale statistische Signifikanz behauptet, da die vorliegende Bewertung nicht die statistischen Testergebnisse und Effektgrößen-Schätzungen umfasst, die erforderlich wären, um eine solche Schlussfolgerung zu stützen17,18.
Einschränkungen
Die Verifizierungsleistung des Frameworks ist durch die Fähigkeiten des zugrundeliegenden NLI-Modells begrenzt. DeBERTa-v3-large könnte Schwierigkeiten bei feinkörnigen numerischen Vergleichen, zeitlicher Schlussfolgerung und Behauptungen haben, die eine mehrschrittige Inferenz über mehrere Fakten erfordern. Mit dem NLI-Modell verbundene Einschränkungen waren ebenfalls mit falsch-negativen Ergebnissen im Zusammenhang mit subtilen faktischen Ersetzungen verbunden, und systematische Schwächen des NLI-Modells können sich auf die Verifizierungsentscheidungen übertragen.
Die Antwort- und Referenzgeneratoren verwenden das gleiche zugrunde liegende GPT-3.5-Turbo-Modell. Obwohl unterschiedliche Aufforderungsziele und isolierte Ausführungskontexte eine prozedurale Unabhängigkeit gewährleisten, sind die beiden Prozesse nicht statistisch unabhängig und können korrelierte faktische Verzerrungen aus ihrem gemeinsamen vortrainierten Modell beibehalten.
Die Kopplung von Evaluator und Verifier stellt eine zusätzliche Einschränkung dar. Die endgültige Beurteilung von Halluzinationen verwendet dasselbe NLI-Modell, das auch zur Überprüfung von Aussagen innerhalb der vorgeschlagenen Pipeline dient. Dies könnte zu einer Übereinstimmung zwischen Verifier und Evaluator führen und die gemessene Verbesserung beeinflussen. Die berichteten Ergebnisse sollten daher als Leistung im Rahmen des definierten, auf NLI basierenden Evaluierungsverfahrens verstanden werden, nicht jedoch als vollständig unabhängiger Nachweis einer Verringerung von Halluzinationen. Eine unabhängige, menschliche Bewertung oder ein separat entwickeltes Evaluierungsmodell würde eine stärkere Validierung ermöglichen.
Die Anspruchszerlegungsphase wurde ausschließlich hinsichtlich ihres Beitrags zur Ende-zu-Ende-Verifizierung bewertet und nicht unabhängig anhand menschlich annotierter Anspruchsgrenzen überprüft. Daher liefert die Studie keine separate quantitative Abschätzung der Genauigkeit der Zerlegung oder ihrer individuellen Fehlerfortpflanzung auf nachgeschaltete Verifizierungsprozesse.
Die Bewertung beschränkte sich auf TruthfulQA und FEVER sowie auf englischsprachige Inhalte. Daher belegt die beobachtete Leistung keine Verallgemeinerungsfähigkeit auf spezialisierte Bereiche, mehrsprachige Kontexte oder die Erzeugung langformiger Texte. Der optimale Wert von k kann ebenfalls je nach Anwendungsbereich variieren, da die Verteilungen der NLI-Vertrauenswerte von der Art der erzeugten Inhalte abhängen. Eine an den jeweiligen Bereich angepasste Kalibrierung und eine umfassendere Bewertung sind daher erforderlich, bevor die Ergebnisse über die in dieser Studie untersuchten Bedingungen hinaus angewendet werden können.
Schließlich sind Latenzmessungen spezifisch für die experimentelle Konfiguration und können je nach Ausführungsumgebung variieren. Da individuelle Latenzmessungen pro Durchlauf nicht gespeichert wurden, konnte die Variabilität und die Konfidenzintervalle nicht nachträglich geschätzt werden. Bei zukünftigen Bewertungen sollten individuelle Messungen gespeichert und eine umfassendere statistische Charakterisierung der Latenz über verschiedene Ausführungsumgebungen hinweg einbezogen werden.
Zukünftige Arbeiten
Zukünftige Studien sollten die in dem vorliegenden Rahmen identifizierten wesentlichen Einschränkungen angehen. Eine domänenspezifische Schwellwertkalibrierung ist erforderlich, da der mit TruthfulQA ausgewählte feste Wert (k = 0,7) möglicherweise nicht optimal für spezialisierte Domänen mit unterschiedlichen Verteilungen der NLI-Vertrauenswerte ist. Domänenspezifische Validierungsdaten könnten zur Kalibrierung des Schwellwerts verwendet werden, und gegebenenfalls asymmetrische Strafen für Fehler erster und zweiter Art angewendet werden19.
Eine verbesserte Zerlegung von Behauptungen sollte eine unabhängige Bewertung unter Verwendung menschlich annotierter Behauptungsgrenzen umfassen, um Vollständigkeit, Korrektheit und die Weitergabe von Fehlern in nachfolgenden Schritten zu quantifizieren. Feinabgestimmte Zerlegungsmodelle sowie Maße zur Bewertung der Zerlegungssicherheit könnten weitere Fehler, die aus schlecht segmentierten Behauptungen entstehen, weiter verringern. Künftige vergleichende Bewertungen sollten außerdem leichtgewichtige, auf Dekodierung basierende Ansätze wie DoLA unter einem einheitlichen experimentellen Protokoll einbeziehen.
Eine leichte Abrufverstärkung kann dabei helfen, vollständige Fälschungen anzugehen, die weiterhin problematisch bleiben, wenn der Prüfer nicht über ausreichendes faktisches Wissen verfügt. Ein gezielter Abruf als Rückfalloption für widersprüchliche Behauptungen mit geringem Vertrauen könnte externe faktische Unterstützung liefern, ohne dass für jede Behauptung ein Abruf erforderlich wäre20.
Eine mehrsprachige Erweiterung ist ebenfalls erforderlich, da die gegenwärtige Bewertung auf englischsprachige Benchmarks beschränkt ist3. Künftige Studien sollten mehrsprachige NLI-Modelle sowie sprachspezifische Ansätze zur Zerlegung und Korrektur von Behauptungen anhand mehrsprachiger Halluzinations-Benchmarks evaluieren.
Schlussfolgerung
Diese Studie stellte einen zweistufigen Rahmen für die Überprüfung von Behauptungen vor, der atomare Anspruchszerlegung, getrennt ausgelöste Generierung faktischer Referenzen, NLI-Verifizierung, adaptive statistische Schwellenwertbestimmung und selektive Korrektur kombiniert. Bei TruthfulQA verringerte der Rahmen die Halluzinationsrate von 28 % auf 9 %, wobei die mittlere Latenz im Vergleich zum Baseline-LLM um 160 ms anstieg. Bei FEVER sank die Halluzinationsrate von 26 % auf 10 %.
Der vorgeschlagene Ansatz erreichte einen wettbewerbsfähigen Leistungsgrad bei der Faktenüberprüfung, ohne auf wiederholte vollständige Antwortstichproben oder externe Abrufverfahren angewiesen zu sein. Adaptives Schwellenwertverfahren und selektive Korrektur trugen zur beobachteten Leistung bei, blieben dabei jedoch in der zusätzlichen Verarbeitungslast begrenzt. Die Ergebnisse beschränken sich jedoch auf die ausgewerteten Benchmark-Tests und experimentellen Bedingungen und unterliegen weiterhin der Abhängigkeit vom NLI-Modell, der Kopplung zwischen Evaluierer und Verifizierer, der Unsicherheit bei der Zerlegung von Behauptungen, der domänenspezifischen Kalibrierung von Schwellenwerten sowie der Latenzvariabilität. Daher ist eine umfassendere, unabhängige, domänenspezifische und mehrsprachige Evaluation erforderlich, bevor die Ergebnisse auf weiter gefasste Einsatzszenarien übertragen werden können.
Offenlegungen
Die Autoren erklären, dass keine Interessenkonflikte bestehen.
Danksagungen
Die Autoren möchten ihrer Institution aufrichtig dafür danken, dass sie die akademische Umgebung und die Rechenressourcen bereitgestellt hat, die für die Durchführung dieser Forschung erforderlich waren. Die Autoren danken außerdem den Entwicklern und Betreuern der öffentlich zugänglichen Benchmark-Datensätze, die in dieser Studie verwendet wurden und eine umfassende Bewertung des vorgeschlagenen Frameworks ermöglichten. Anerkennung gilt auch Kollegen und Gutachtern für ihr konstruktives Feedback, das dazu beigetragen hat, die Qualität und Klarheit dieser Arbeit zu verbessern. Die Autoren danken weiterhin der Open-Source-Forschungsgemeinschaft für die Bereitstellung der Softwarebibliotheken und Werkzeuge, die Experimente, Datenanalysen und die Visualisierung der Ergebnisse erleichtert haben. Ihre anhaltenden Bemühungen haben die Forschung im Bereich der natürlichen Sprachverarbeitung und des vertrauenswürdigen künstlichen Intelligenz erheblich vorangebracht. Die Autoren erklären, dass für diese Forschung keine externe finanzielle Unterstützung oder Fördermittel eingeworben wurden.
Materialien
| Name | Unternehmen | Katalognummer | Kommentare |
|---|---|---|---|
| FEVER-Benchmark-Datensatz | FEVER Shared Task (Thorne et al.) | https://fever.ai/dataset/fever.html | Öffentlich zugänglicher Faktenüberprüfungsdatensatz mit Behauptungs-Evidenz-Paaren, der zur Evaluierung verwendet wird |
| GPT-3.5 Turbo (großes Sprachmodell B10+2:12:12 | OpenAI | Modell-ID: gpt-3.5-turbo; https://developers.openai.com/api/docs/models/gpt-3.5-turbo | Wird sowohl als Antwortgenerator als auch als unabhängiger Referenzgenerator verwendet und über die OpenAI-API abgerufen |
| NumPy | NumPy-Entwickler (Open Source) | https://numpy.org/ | Bibliothek für numerische Berechnungen, verwendet für statistische Analysen, einschließlich Mittelwert und Standardabweichung der NLI-Verifizierungsscores |
| Openai (Python-API-Client-Bibliothek) | OpenAI | https://github.com/openai/openai-python | Python-Client-Bibliothek zum Senden von Prompts und Abrufen von Antworten von GPT-3.5 Turbo |
| pandas | Entwicklungsteam von pandas (Open Source) | https://pandas.pydata.org/ | Bibliothek zur Analyse tabellarischer Daten, verwendet für die Datensatz-Vorverarbeitung und Ergebnisverarbeitung |
| Vortrainiertes Natural-Language-Inference- (NLI-)Klassifizierungsmodell | Hugging Face Model Hub (Modell basierend auf der DeBERTa-v3-large-Architektur von Microsoft) | MoritzLaurer/DeBERTa-v3-large-mnli-fever-anli-ling-wanli | Wird im Inferenzmodus ohne Feinabstimmung verwendet, um jedes Behauptungs-Referenz-Paar als Folgerung, neutral oder Widerspruch zu klassifizieren |
| Python | Python Software Foundation | Version 3.9; https://www.python.org/downloads/release/python-390/ | Kernprogrammiersprache zur Implementierung des Verifizierungsframeworks |
| SciPy | SciPy-Entwickler (Open Source) | https://scipy.org/ | Wissenschaftliche Rechenbibliothek zur Unterstützung der statistischen Analyse der experimentellen Ergebnisse |
| Transformers (Hugging Face Transformers-Bibliothek) | Hugging Face | https://github.com/huggingface/transformers | Python-Bibliothek zum Laden und Ausführen des vortrainierten NLI-Modells |
| TruthfulQA-Benchmark-Datensatz | Ursprünglich veröffentlicht von Lin, Hilton und Evans | https://github.com/sylinrl/TruthfulQA | Öffentlich zugänglicher Benchmark mit 817 faktenbasierten Fragen, verwendet zur Schwellenwertanpassung und Evaluierung |
| Arbeitsplatzrechner | Im Manuskript nicht spezifiziert (bitte Hersteller/Modell bestätigen) | Intel Core i5-Prozessor; 16 GB RAM; 64-Bit-Betriebssystem | Hardware, auf der alle Experimente unter identischen Konfigurationen ausgeführt wurden |
| Hinweis: Alle oben aufgeführten URLs wurden auf Aktivität geprüft und zum Zeitpunkt dieser Tabelle bestätigt. |
Referenzen
- Dai Z, et al. Promptagator: Few-shot dense retrieval from 8 examples [conference presentation]. Presented at: The Eleventh International Conference on Learning Representations; 2022. [https://iclr.cc/virtual/2023/poster/10937]
- Achiam J, et al. GPT-4 technical report. arXiv. 2023;arXiv:2303.08774. [https://arxiv.org/abs/2303.08774]
- Ji Z, et al. Survey of hallucination in natural language generation. ACM Comput Surv. 2023;55(12):1-38.
- Bender EM, McMillan-Major A, Shmitchell S, Gebru T. On the dangers of stochastic parrots: Can language models be too big? [conference presentation]. Presented at: 2021 ACM Conference on Fairness, Accountability, and Transparency; 2021. [https://dl.acm.org/doi/10.1145/3442188.3445922]
- Devlin J, et al. BERT: Pre-training of deep bidirectional transformers for language understanding [conference presentation]. Presented at: 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies; 2019. [https://arxiv.org/abs/1810.04805]
- Maynez J, Narayan S, Bohnet B, McDonald R. On faithfulness and factuality in abstractive summarization [conference presentation]. Presented at: 58th Annual Meeting of the Association for Computational Linguistics; 2020. [https://arxiv.org/abs/2005.00661]
- Brown T, et al. Language models are few-shot learners. Adv Neural Inf Process Syst. 2020;33:1877-901.
- Guu K, et al. Retrieval augmented language model pre-training [conference presentation]. Presented at: International Conference on Machine Learning; 2020. [https://arxiv.org/abs/2002.08909]
- Izacard G, Grave E. Leveraging passage retrieval with generative models for open domain question answering [conference presentation]. Presented at: 16th Conference of the European Chapter of the Association for Computational Linguistics; 2021. [https://arxiv.org/abs/2007.01282]
- Bowman SR, Angeli G, Potts C, Manning CD. A large annotated corpus for learning natural language inference [conference presentation]. Presented at: 2015 Conference on Empirical Methods in Natural Language Processing; 2015. [https://arxiv.org/abs/1508.05326]
- Platt J. Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods. Adv Large Margin Classif. 1999;10(3):61-74.
- Lin S, Hilton J, Evans O. Truthfulqa: Measuring how models mimic human falsehoods. InProceedings of the 60th annual meeting of the association for computational linguistics (volume 1: long papers) 2022 May (pp. 3214-3252).
- Thorne J, Vlachos A, Christodoulopoulos C, Mittal A. FEVER: A large-scale dataset for fact extraction and verification [conference presentation]. Presented at: 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies; 2018. [https://aclanthology.org/N18-1074/]
- Williams A, Nangia N, Bowman SR. A broad-coverage challenge corpus for sentence understanding through inference. arXiv. 2017;arXiv:1704.05426.
- Manakul P, Liusie A, Gales M. SelfCheckGPT: Zero-resource black-box hallucination detection for generative large language models [conference presentation]. Presented at: 2023 Conference on Empirical Methods in Natural Language Processing; 2023.
- Min S, et al. FActScore: Fine-grained atomic evaluation of factual precision in long-form text generation. arXiv. 2023;arXiv:2305.14251.
- Cohen J. Statistical power analysis for the behavioral sciences. Routledge; New York; 2013.
- Kadavath S, et al. Language models (mostly) know what they know. arXiv. 2022;arXiv:2207.05221.
- Hendrycks D, et al. Aligning AI with shared human values. arXiv. 2020;arXiv:2008.02275.
- Lewis P, et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. Adv Neural Inf Process Syst. 2020;33:9459-74.
Nachdrucke und Genehmigungen
Dieser Artikel wurde veröffentlicht
Video demnächst verfügbar