Niniejsze badanie przedstawia lekki model redukcji halucynacji w dużych modelach językowych poprzez weryfikację na poziomie twierdzeń oraz adaptacyjne progowanie statystyczne. Poprzez selektywną korektę niepopartych twierdzeń z wykorzystaniem wnioskowania w języku naturalnym (Natural Language Inference), podejście to poprawia dokładność faktograficzną, zachowując jednocześnie niskie opóźnienia w odpowiedziach oraz praktyczną efektywność wdrożenia.
Artykuł badawczy
Adaptacyjna weryfikacja twierdzeń oparta na NLI z modelowaniem decyzji statystycznych w celu redukcji halucynacji o niskiej latencji w dużych modelach językowych
W tym artykule
Podsumowanie
Streszczenie
Duże modele językowe (LLMs) wykazują krytyczną tendencję do generowania faktograficznie błędnych, a jednocześnie płynnych językowo odpowiedzi – zjawisko to określa się mianem halucynacji, co stwarza poważne zagrożenia w zastosowaniach wymagających wysokiej precyzji. Istniejące strategie mitygacji, w tym generowanie wspomagane wyszukiwaniem (RAG) oraz próbkowanie samospójne, wprowadzają albo znaczące opóźnienia w procesie wnioskowania, albo zależą od zewnętrznej infrastruktury wiedzy, co ogranicza ich przydatność w systemach działających w czasie rzeczywistym. W niniejszej pracy zaproponowano lekki, dwuetapowy system weryfikacji twierdzeń, który rozkłada odpowiedzi LLM na atomowe twierdzenia faktograficzne i niezależnie weryfikuje każde z nich w oparciu o osobno wygenerowany tekst referencyjny, uzyskany za pomocą izolowanego promptu przywołującego fakty. Chociaż generator i weryfikator korzystają z tego samego modelu językowego, oddzielenie generowania odpowiedzi od przywoływania faktów ogranicza bezpośrednie warunkowanie odpowiedzi i łagodzi błąd potwierdzenia podczas weryfikacji przy użyciu wnioskowania w języku naturalnym (NLI), a zastosowanie adaptacyjnego progu statystycznego – zdefiniowanego jako τ = µ + kσ dla rozkładu wyników pewności NLI – pozwala na selektywną korektę wyłącznie twierdzeń sprzecznych. W przeciwieństwie do wcześniejszych metod opartych na NLI, które polegały na stałych granicach decyzyjnych, proponowany system dynamicznie dostosowuje próg weryfikacji do rozkładu pewności każdej odpowiedzi, wykazując stabilną wydajność we wszystkich ocenianych benchmarkach bez konieczności ponownego trenowania modelu. Testy przeprowadzone na zbiorach TruthfulQA i FEVER wykazały, że system redukuje wskaźnik halucynacji w TruthfulQA z 28% do 9% – co stanowi względny spadek o 67,9% – generując przy tym jedynie 160 ms dodatkowego opóźnienia względem bazowego modelu LLM i przewyższając modele SelfCheckGPT oraz FActScore pod względem dokładności wykrywania halucynacji. Wyniki te wskazują, że zaproponowany system zapewnia korzystny balans między wiarygodnością faktograficzną a opóźnieniem odpowiedzi w ocenianych benchmarkach, choć wymagana jest dalsza walidacja w różnych domenach i środowiskach wdrożeniowych.
Wprowadzenie
Duże modele językowe (LLM) stały się fundamentalnymi komponentami nowoczesnych systemów sztucznej inteligencji, wykazując niezwykłe możliwości w szerokim spektrum zadań z zakresu języka naturalnego, w tym w generowaniu tekstu, odpowiadaniu na pytania, streszczaniu oraz złożonym rozumowaniu1. Ich zdolność do tworzenia płynnych i spójnych kontekstowo odpowiedzi przyspieszyła ich wdrażanie w obszarach o dużym znaczeniu, takich jak systemy wspomagania decyzji klinicznych, analiza prawna, inżynieria oprogramowania oraz technologia edukacyjna2. Jednakże krytycznym i uporczywym ograniczeniem, które podważa ich niezawodność w tych środowiskach, są halucynacje, polegające na generowaniu przez modele odpowiedzi, które są poprawne językowo, lecz błędne merytorycznie, niepoparte dowodami lub całkowicie zmyślone 3. Badania empiryczne wskazują na współczynnik halucynacji wynoszący od 15% do ponad 40% w zależności od zadania i modelu, przy czym nawet najnowocześniejsze systemy, takie jak GPT-4, wykazują mierzalne niespójności faktyczne podczas ewaluacji specyficznej dla danej dziedziny2,3. Ograniczenie to niesie ze sobą poważne ryzyko w aplikacjach wymagających wysokiej precyzji, gdzie błędne wyniki mogą prowadzić do dezinformacji, błędnych diagnoz lub wadliwego podejmowania decyzji4. Halucynacje wynikają fundamentalnie z probabilistycznej natury modelowania języka – modele LLM generują tokeny poprzez przewidywanie statystycznie prawdopodobnych kontynuacji sekwencji wejściowych, a nie poprzez wyszukiwanie lub rozumowanie w oparciu o zweryfikowaną wiedzę faktyczną5. W konsekwencji generowane treści mogą zawierać brzmiące wiarygodnie, lecz nieprawdziwe twierdzenia, wprowadzać niepoparte dowodami stwierdzenia lub mieszać pojęcia powiązane semantycznie, ale odrębne pod względem faktycznym6.
Istniejące strategie łagodzenia tego problemu opierają się na kilku paradygmatach, z których każdy posiada istotne ograniczenia. Generowanie rozszerzone o wyszukiwanie (RAG) ogranicza halucynacje poprzez opieranie odpowiedzi na zewnętrznie pobranych dokumentach, jednak wprowadza znaczne opóźnienia, wymaga dostępu do aktualizowanych baz wiedzy i pozostaje podatne na błędy wyszukiwania w domenach specjalistycznych lub o ograniczonych zasobach7,8,9.
Mimo że generator odpowiedzi i generator referencji są instancjonowane przy użyciu tego samego podstawowego modelu GPT-3.5 Turbo, działają one w oparciu o różne cele promptowania i konteksty wykonawcze. Generator odpowiedzi tworzy nieograniczoną odpowiedź na zapytanie użytkownika, podczas gdy generator referencji wykonuje odizolowane zadanie przywołania faktów bez dostępu do wcześniej wygenerowanej odpowiedzi. Taka separacja ogranicza bezpośrednie efekty warunkowania odpowiedzi oraz minimalizuje błąd potwierdzenia podczas weryfikacji twierdzeń. W związku z tym ramy systemowe traktują wygenerowaną referencję jako niezależną proceduralnie, a nie statystycznie.
Niedawne badania analizowały również lekkie strategie dekodowania w celu ograniczenia halucynacji w generowaniu tekstu, bez polegania na zewnętrznym wyszukiwaniu lub wielokrotnej weryfikacji. Jednym z reprezentatywnych podejść jest Decoding by Contrasting Layers (DoLA), które poprawia faktyczność poprzez kontrastowanie reprezentacji z pośrednich i końcowych warstw transformera podczas dekodowania. W przeciwieństwie do ram weryfikacji po generowaniu, metody te ingerują bezpośrednio w proces generowania tokenów, a zatem optymalizują inny etap procesu generowania języka. Te komplementarne strategie pokazują, że mitygację halucynacji można osiągnąć zarówno podczas dekodowania, jak i poprzez weryfikację po generowaniu, przy czym każde z tych podejść oferuje odmienne kompromisy w zakresie obciążenia obliczeniowego, złożoności implementacji i wiarygodności faktograficznej.
Metody samospójności (self-consistency) zwiększają niezawodność faktograficzną poprzez próbkowanie wielu odpowiedzi i wybór najczęstszego lub najbardziej spójnego wyniku, jednak ich koszt obliczeniowy skaluje się liniowo wraz z liczbą próbek, co czyni je nieprzydatnymi w zastosowaniach wrażliwych na opóźnienia8. Podejścia oparte na iteracyjnym doprecyzowaniu (iterative refinement), które wielokrotnie korygują wyniki poprzez pętle samoprzypomnienia, stopniowo redukują wskaźniki błędów, ale znacząco wydłużają czas wnioskowania przy każdym kolejnym przejściu9. Metody weryfikacji oparte na NLI stanowią bardziej ukierunkowaną alternatywę poprzez ocenę wynikania semantycznego między wygenerowanymi twierdzeniami a tekstami referencyjnymi, lecz istniejące implementacje opierają się na stałych progach decyzyjnych, które nie adaptują się do zmiennych rozkładów ufności, domen lub zachowań modelu10,11. Wspólnie podejścia te albo nakładają niedopuszczalne obciążenie obliczeniowe, zależą od zewnętrznej infrastruktury, albo brakuje im adaptacyjności wymaganej do uogólnionego wdrożenia. Porównanie głównych cech tych podejść do weryfikacji halucynacji przedstawiono w tabeli uzupełniającej 1 (Supplementary Table 1).
W niniejszej pracy zaproponowano lekki, dwuetapowy system weryfikacji twierdzeń, zaprojektowany w celu ograniczenia halucynacji w wynikach LLM przy zachowaniu niskiego opóźnienia odpowiedzi. W pierwszym etapie LLM generuje wstępną odpowiedź, która następnie zostaje rozbita na atomowe twierdzenia faktyczne. W drugim etapie każde twierdzenie jest weryfikowane za pomocą wnioskowania w języku naturalnym (Natural Language Inference) względem oddzielnie wygenerowanego punktu odniesienia faktów, stworzonego w ramach odizolowanego procesu rozumowania, który nie ma dostępu do pierwotnie wygenerowanej odpowiedzi; decyzja o akceptacji lub korekcie na poziomie twierdzenia jest sterowana przez statystycznie wyprowadzony próg ufności. Główne wkłady tej pracy są następujące: (1) dwuetapowy potok weryfikacji na poziomie twierdzeń, który oddziela generowanie odpowiedzi od walidacji faktycznej, umożliwiając niezależną i ukierunkowaną ocenę każdego atomowego twierdzenia bez konieczności zewnętrznego wyszukiwania lub pełnej regeneracji odpowiedzi; (2) adaptacyjny mechanizm progowania statystycznego oparty na rozkładzie wyników ufności NLI (τ = µ + kσ), który dynamicznie określa granice akceptacji i korekty zamiast polegać na stałych regułach decyzyjnych, co poprawia odporność w różnych rozkładach ufności; (3) strategia selektywnej korekty, która ogranicza regenerację tylko do tych twierdzeń, które zostały zaklasyfikowane jako sprzeczne, co znacznie redukuje koszty obliczeniowe w porównaniu do ponownego próbkowania pełnej odpowiedzi lub podejść iteracyjnego ulepszania; (4) ewaluacja empiryczna na benchmarku skoncentrowanym na halucynacjach, wykazująca, że proponowany system redukuje wskaźnik halucynacji z 28% do 9%, utrzymując jednocześnie opóźnienie odpowiedzi w granicach praktycznego wdrożenia.
Protokół
Badanie to nie obejmowało uczestników będących ludźmi, zwierząt, próbek biologicznych ani danych pacjentów. W związku z tym nie wymagano instytucjonalnej zgody komisji etycznej ani świadomej zgody.
Przegląd projektu badania
W celu poprawy rzetelności faktograficznej wyników generowanych przez duże modele językowe (LLM) wdrożono dwuetapowy schemat weryfikacji. Procedura obejmowała generowanie odpowiedzi, ekstrakcję twierdzeń, konstruowanie izolowanych referencji (Isolated Reference Construction), weryfikację opartą na wnioskowaniu w języku naturalnym (NLI), adaptacyjne podejmowanie decyzji statystycznych, selektywną korektę oraz końcowy montaż odpowiedzi. Schemat został oceniony z wykorzystaniem zbiorów danych benchmarkowych TruthfulQA oraz FEVER.
Ogólny schemat postępowania
Zapytanie użytkownika → Generowanie wstępnej odpowiedzi → Ekstrakcja twierdzeń → Niezależne generowanie referencji → Weryfikacja NLI → Obliczanie progu statystycznego → Korekta twierdzeń → Końcowa zweryfikowana odpowiedź. Ogólny schemat działania adaptacyjnego systemu weryfikacji twierdzeń został przedstawiony na Rysunku 1.
Przygotowanie zbioru danych
Zbiór danych TruthfulQA12, zawierający 817 pytań zorientowanych na fakty, został pobrany i przygotowany do ewaluacji. Zbiór danych FEVER13 składa się ze 185 445 adnotowanych twierdzeń oznaczonych jako Wspierane (Supported), Odparte (Refuted) lub Brak wystarczających informacji (Not Enough Information); w ewaluacji wykorzystano oznaczone dane rozwojowe z polami twierdzenia, dowodu oraz etykiety prawdy obiektywnej. Każde twierdzenie oceniano w odniesieniu do dostarczonego dowodu, natomiast oryginalną etykietę FEVER zachowano jako referencyjny wynik weryfikacji. Zbiór danych FEVER, zawierający pary twierdzenie-dowód do weryfikacji faktów, został pozyskany i poddany wstępnej obróbce. Pytania i twierdzenia wejściowe przekształcono do ustandaryzowanego formatu tekstowego. Przed rozpoczęciem eksperymentów usunięto zdublowane wpisy oraz niekompletne próbki. Zbiór TruthfulQA podzielono na podzbiory walidacyjne i testowe. Około 20% próbek TruthfulQA (164 pytania) wykorzystano do dostrojenia progu, natomiast pozostałe 653 pytania zarezerwowano do oceny wydajności. W przypadku FEVER twierdzenia dostarczone w benchmarku wykorzystano bezpośrednio jako jednostki weryfikacyjne i nie poddano ich procedurze generowania odpowiedzi oraz ekstrakcji twierdzeń zastosowanej w TruthfulQA. Charakterystyka zbiorów danych benchmarkowych wykorzystanych do opracowania i ewaluacji struktury została podsumowana w Tabeli 1.
Wstępna generacja odpowiedzi
Każde zapytanie zostało przekazane do bazowego modelu językowego. Odpowiedzi generowano przy użyciu próbkowania jądrowego (nucleus sampling) z temperaturą 0,7 i top-p wynoszącym 0,9. Maksymalna długość wyjścia została ograniczona do 256 tokenów. Wygenerowane odpowiedzi zapisano bez żadnego przetwarzania końcowego ani ręcznej modyfikacji. Wygenerowany tekst przekazano bezpośrednio do etapu ekstrakcji twierdzeń.
Ekstrakcja roszczeń
Każdą wygenerowaną odpowiedź rozłożono na niezależnie weryfikowalne stwierdzenia faktyczne. Do identyfikacji twierdzeń atomowych wykorzystano ustrukturyzowany prompt do dekompozycji. Stwierdzenia złożone oddzielono na minimalne jednostki faktyczne. Usunięto opinie subiektywne, wyrażenia stylistyczne oraz wypełniacze konwersacyjne. Każde wyodrębnione twierdzenie zapisano jako niezależną jednostkę weryfikacyjną.
Przykład:
Oryginalna odpowiedź:
"Marie Curie była fizykiem i chemikiem polskiego pochodzenia, która prowadziła pionierskie badania nad promieniotwórczością."
Wyodrębnione twierdzenia: (1) Marie Curie urodziła się w Polsce; (2) Marie Curie była fizykiem i chemikiem; (3) Marie Curie prowadziła badania nad promieniotwórczością.
Konstrukcja referencyjna izolowana:
Dla każdego wyodrębnionego twierdzenia wygenerowano niezależną referencję faktyczną. Model weryfikujący otrzymał jedynie oryginalne zapytanie użytkownika. Dostęp do oryginalnej wygenerowanej odpowiedzi został ograniczony, aby uniknąć błędu potwierdzenia. Zastosowano monit przypominający o faktach, aby zachęcić do zwięzłych odpowiedzi opartych na dowodach. Wygenerowane referencje zostały zapisane do późniejszej weryfikacji.
Weryfikacja wnioskowania w języku naturalnym
Każda para twierdzenie-referencja została przekazana do wstępnie wytrenowanego modelu NLI. Model NLI zaklasyfikował relację jako: wynikającą (entailment), neutralną lub sprzeczną (contradiction). Odnotowano prawdopodobieństwa ufności dla wszystkich trzech klas. Przypisano podpisany wynik weryfikacji: wartość dodatnią dla relacji wynikającej, zero dla neutralnej oraz wartość ujemną dla sprzeczności. Wszystkie wyniki weryfikacji zostały zebrane w celu obliczenia wartości progowej.
Adaptacyjne obliczanie progu statystycznego
Poziom pewności weryfikacji generowany przez model NLI znacznie różni się w zależności od odpowiedzi, ponieważ poszczególne zapytania generują różną liczbę twierdzeń, różny stopień złożoności semantycznej oraz odmienne rozkłady pewności. Stały próg globalny zakłada, że wszystkie odpowiedzi wykazują podobny profil pewności, co w praktyce rzadko występuje. Aby uwzględnić tę zmienność, proponowany framework szacuje granicę decyzyjną indywidualnie dla każdej odpowiedzi, wykorzystując średnią i odchylenie standardowe jej wyników weryfikacji. Średnia odzwierciedla ogólny poziom pewności odpowiedzi, natomiast odchylenie standardowe oddaje rozproszenie wartości pewności pomiędzy wyekstrahowanymi twierdzeniami. Ta adaptacyjna formulacja pozwala kryterium akceptacji dostosować się do niepewności specyficznej dla danej odpowiedzi, zamiast polegać na pojedynczym progu dla wszystkich danych wejściowych.
Obliczono średnią (µ) oraz odchylenie standardowe (σ) dla wszystkich podpisanych wyników weryfikacji.
Adaptacyjny próg decyzyjny obliczono jako:
gdzie τ oznacza próg adaptacyjny, µ oznacza średni wynik weryfikacji, σ oznacza odchylenie standardowe, a k oznacza parametr czułości.
Parametr czułości został zainicjowany na wartości 0,7. Twierdzenia zaklasyfikowane jako Wynikanie (Entailment) z wynikami większymi lub równymi +τ zostały zaakceptowane. Twierdzenia zaklasyfikowane jako Sprzeczność (Contradiction) z wynikami mniejszymi lub równymi −τ zostały oznaczone do poprawy. Twierdzenia z wynikami mieszczącymi się w przedziale (−τ, +τ) pozostały neutralne.
Selektywna korekta zastrzeżeń
Twierdzenie było przekazywane do korekty tylko wtedy, gdy model NLI klasyfikował parę twierdzenie-referencja jako sprzeczność (Contradiction), a odpowiadający jej podpisany wynik weryfikacji spełniał kryterium adaptacyjnego progu si ≤ -τ. Zatem decyzja o korekcie była wspólnie określana przez etykietę klasy NLI oraz specyficzny dla odpowiedzi próg statystyczny. Twierdzenia zaklasyfikowane jako wynikające (Entailment) z si ≥ τ zostały zaakceptowane, natomiast twierdzenia mieszczące się w przedziale -τ < si < τ uznano za neutralne i pozostawiono bez korekty. To połączone kryterium zapewniło, że korekta była stosowana wyłącznie do twierdzeń wykazujących zarówno sprzeczność semantyczną, jak i wystarczająco silne negatywne dowody weryfikacyjne.
Rekonstrukcja odpowiedzi
Zaakceptowane i poprawione twierdzenia zostały uporządkowane w ich pierwotnej sekwencji. Przywrócono granice zdań w celu zachowania czytelności. W razie potrzeby wprowadzono niewielkie korekty gramatyczne. Złożony wynik zapisano jako ostateczną zweryfikowaną odpowiedź.
Ocena wydajności
Ramę oceniono za pomocą czterech wskaźników: (1) Dokładność: proporcja odpowiedzi, które pozostały poprawne merytorycznie po weryfikacji; (2) Wynik F1: średnia harmoniczna precyzji i pełności wykrywania halucynacji; (3) Opóźnienie odpowiedzi: całkowity czas przetwarzania od przesłania zapytania do wygenerowania zweryfikowanej odpowiedzi; (4) Współczynnik halucynacji
Opóźnienie raportowano jako średni czas wykonania z powtórzonych pomiarów. Ponieważ nie zachowano indywidualnych wartości opóźnień dla poszczególnych uruchomień, nie obliczono odchyleń standardowych ani przedziałów ufności.
Ocena poprawności specyficzna dla benchmarku
W przypadku TruthfulQA końcowa zweryfikowana odpowiedź była porównywana z referencyjnymi odpowiedziami zatwierdzonymi przez ludzi oraz listami błędnych odpowiedzi w benchmarku. Odpowiedź uznawano za poprawną, gdy zawarte w niej twierdzenia faktyczne były spójne z zaakceptowanymi informacjami w odpowiedziach i nie zawierały treści odpowiadających zidentyfikowanym wzorcom błędnych odpowiedzi. W przypadku FEVER każde twierdzenie w końcowym wyniku oceniano w odniesieniu do powiązanych z nim dowodów i oryginalnej adnotacji FEVER; twierdzenia uznane za „Supported” (potwierdzone) traktowano jako zweryfikowane faktycznie, natomiast twierdzenia „Refuted” (obalone) liczono jako błędne. Przypadki „Not Enough Information” (brak wystarczających informacji) pozostawiono jako nierozstrzygnięte, zamiast traktować je jako pozytywne dowody faktyczne. Wynikowe decyzje na poziomie poszczególnych twierdzeń zostały zagregowane w ramach każdego benchmarku, aby obliczyć raportowaną dokładność (Accuracy) oraz wskaźnik halucynacji (Hallucination Rate).
Środowisko eksperymentalne
Struktura została zaimplementowana przy użyciu języka Python 3.9. Operacje przetwarzania danych wykonano z wykorzystaniem bibliotek do analizy numerycznej i tabularnej. Model NLI pracował w trybie wnioskowania bez dodatkowego dostrajania. Eksperymenty przeprowadzono na stacji roboczej wyposażonej w procesor Intel Core i5, 16 GB RAM oraz 64-bitowy system operacyjny. Wszystkie oceny przeprowadzono w ustawieniu wnioskowania jednoprzepływowego w celu zapewnienia niskich opóźnień podczas pracy. Wszystkie eksperymenty przeprowadzono przy użyciu identycznych konfiguracji sprzętowych i programowych, aby zapewnić spójną ewaluację we wszystkich zbiorach danych i metodach bazowych.
Oczekiwany wynik
Protokół został zaprojektowany w celu generowania decyzji weryfikacyjnych na poziomie stwierdzeń poprzez identyfikację potencjalnie niepopartych twierdzeń i selektywne przesyłanie silnie sprzecznych treści do korekty. Oczekiwanym wynikiem jest zweryfikowana odpowiedź z ograniczoną liczbą niespójności faktycznych i minimalnym dodatkowym obciążeniem procesowym, w zależności od wydajności zaobserwowanej podczas ewaluacji eksperymentalnej.
Wyniki
Generowanie wstępnej odpowiedzi
Bazowy model językowy generował płynne i kontekstowo dopasowane odpowiedzi na pytania z obu zbiorów danych benchmarkowych. Jednak szczegółowa analiza ujawniła niepoparte dowodami i niezgodne z faktami stwierdzenia w kilku odpowiedziach. W zbiorze danych TruthfulQA system bazowy wykazał wskaźnik halucynacji na poziomie 28%, natomiast w zbiorze danych FEVER zaobserwowano wskaźnik halucynacji wynoszący 26%. Wyniki te potwierdziły, że bezpośrednie generowanie tekstu jest niewystarczające w zastosowaniach wymagających wysokiej wiarygodności faktograficznej i ustanowiły warunki bazowe, z którymi porównywano wszystkie kolejne procedury weryfikacyjne.
Ekstrakcja twierdzeń
Procedura ekstrakcji twierdzeń pomyślnie rozbiła wygenerowane odpowiedzi na niezależnie weryfikowalne jednostki faktyczne. Odpowiedzi z TruthfulQA zawierały średnio 3,2 twierdzenia atomowych, podczas gdy próbki z FEVER zazwyczaj składały się z pojedynczego twierdzenia. Proces dekompozycji wyizolował stwierdzenia faktyczne bez wprowadzania dodatkowych informacji, co pozwoliło na oddzielną ocenę każdego z nich. Obserwacja ta potwierdziła hipotezę, że weryfikacja na poziomie twierdzeń zapewnia większą precyzję niż ocenianie całych odpowiedzi jako jednej jednostki.
Niezależna konstrukcja referencyjna
Dla każdego wyodrębnionego twierdzenia wygenerowano niezależne odniesienia, stosując oddzielny proces rozumowania uwarunkowany wyłącznie oryginalnym zapytaniem. Wygenerowane odniesienia zawierały zwięzłe opisy faktów, które były na tyle odrębne od pierwotnych odpowiedzi, aby mogły służyć jako niezależne źródła weryfikacji. Proces generowania odniesień został odizolowany od początkowej odpowiedzi, aby uniknąć bezpośredniego uwarunkowania faktograficznego odniesienia wcześniejszym wynikiem modelu. Separacja ta miała na celu ograniczenie potencjalnego błędu potwierdzenia i zapewnienie kontrolowanej podstawy do późniejszej weryfikacji na poziomie poszczególnych twierdzeń; badanie nie określa niezależnie zakresu tego efektu. Pomyślne wygenerowanie niezależnych odniesień potwierdziło zaproponowaną zasadę projektową, polegającą na oddzieleniu przywoływania wiedzy od generowania odpowiedzi.
Weryfikacja wnioskowania w języku naturalnym
Etap weryfikacji NLI skutecznie zaklasyfikował pary twierdzenie-referencja do kategorii wynikania, sprzeczności oraz neutralności. Twierdzenia sprzeczne konsekwentnie otrzymywały negatywne wyniki weryfikacji, podczas gdy twierdzenia poparte faktami otrzymywały wyniki pozytywne. Klasyfikacje neutralne przypisywano twierdzeniom, dla których dostępne były niewystarczające dowody wspierające. Takie zachowanie wykazało, że wnioskowanie semantyczne może wiarygodnie identyfikować niepoparte dowodami stwierdzenia faktyczne i dostarczyło dowodów niezbędnych do ukierunkowanej korekty. W porównaniu ze zwykłą strategią sprawdzania spójności, weryfikacja NLI obniżyła wskaźnik halucynacji z 20% do 15%, co wskazuje na poprawę zdolności detekcji.
Adaptacyjne progowanie statystyczne
Zastosowanie adaptacyjnego progowania statystycznego dodatkowo poprawiło wydajność weryfikacji poprzez dynamiczne dostosowywanie granic decyzyjnych w oparciu o rozkład wyników pewności każdej odpowiedzi. Analiza czułości progu wykazała, że wydajność wzrosła wraz ze zwiększeniem parametru progu z 0,3 do 0,7. Przy wartości czułości 0,7 system osiągnął dokładność na poziomie 0,87, jednocześnie redukując liczbę halucynacji do 9% (Rysunek 2). Pełne wyniki analizy czułości dla ocenianych wartości k znajdują się w Tabeli uzupełniającej 2. Zwiększenie progu powyżej tej wartości przyniosło jedynie niewielkie zyski w dokładności, zwiększając jednocześnie opóźnienie. Obserwacje te potwierdziły hipotezę, że progi adaptacyjne są bardziej skuteczne niż stałe granice decyzyjne w obsłudze zmiennych rozkładów pewności w różnych odpowiedziach.
Adaptacyjny próg odzwierciedla również zmienność wyników pewności w obrębie każdej odpowiedzi. Odpowiedzi z wysoce spójnymi wynikami weryfikacji generują mniejsze odchylenie standardowe, co prowadzi do bardziej selektywnej granicy decyzyjnej. W przeciwieństwie do nich, odpowiedzi zawierające twierdzenia o niejednorodnych wartościach pewności dają większe odchylenie standardowe, co skutkuje szerszym obszarem akceptacji i redukcją niepotrzebnych korekt dla niepewnych twierdzeń. Choć takie adaptacyjne zachowanie nie może wyeliminować każdego wyniku fałszywie dodatniego lub fałszywie ujemnego, pozwala ono granicy decyzyjnej reagować na charakterystykę niepewności każdej odpowiedzi, zamiast stosować jednolity kryterium dla wszystkich danych wejściowych.
Selektywna korekta roszczeń i opracowywanie odpowiedzi
Do korekty przekazano jedynie twierdzenia zidentyfikowane jako sprzeczne, natomiast twierdzenia potwierdzone i neutralne pozostawiono bez zmian. Ta selektywna strategia korekty zminimalizowała niepotrzebną regenerację i zachowała oryginalną strukturę odpowiedzi. Po korekcie i rekonstrukcji odpowiedzi wskaźnik halucynacji w zestawie TruthfulQA spadł z 28% do 9%, co stanowi względną redukcję o 67,9%. Podobną poprawę zaobserwowano w zestawie FEVER, gdzie halucynacje zmniejszyły się z 26% do 10%. Porównania dokładności i wskaźnika halucynacji dla ocenianych konfiguracji przedstawiono odpowiednio na Rysunkach 3 i 4.
Ocena wydajności
Ocena porównawcza wykazała, że zaproponowany system osiągnął najwyższą ogólną wydajność spośród wszystkich testowanych metod. W zbiorze TruthfulQA system uzyskał dokładność na poziomie 0,87 oraz wynik F1 wynoszący 0,85, przewyższając zarówno weryfikację z ustalonym progiem, jak i podejścia oparte na samospójności (Tabela 2, Ryciny 3 i 4). W zbiorze FEVER system osiągnął dokładność 0,89 oraz wynik F1 równy 0,87 (Tabela 3, Ryciny 3 i 4). Przyrostowy wkład poszczególnych komponentów systemu zbadzano w analizie ablacyjnej przedstawionej w Tabeli 4. Udoskonaleń tych potwierdzono, że połączenie weryfikacji na poziomie twierdzeń z adaptacyjnym statystycznym podejmowaniem decyzji zwiększyło rzetelność faktograficzną w wielu zbiorach danych. Dokładność wykrywania halucynacji dla SelfCheckGPT, FActScore oraz zaproponowanego systemu porównano na Rycini 5.
Analiza czasu utajenia
Kompletny potok weryfikacji charakteryzował się niskim obciążeniem obliczeniowym. Średni czas odpowiedzi wzrósł z 820 ms dla modelu bazowego do 980 ms dla pełnego frameworka, co stanowi niewielki wzrost czasu przetwarzania (Tabela 5). Generowanie odpowiedzi odpowiadało za większość całkowitego opóźnienia, podczas gdy etapy weryfikacji i korekty wnosiły stosunkowo niewielkie dodatkowe obciążenie. Szczegółowy podział czasu przetwarzania na poszczególnych etapach znajduje się w Tabeli uzupełniającej 3. W porównaniu z systemami weryfikacji opartymi na wyszukiwaniu, które wymagały około 1600 ms na zapytanie, proponowany framework osiągnął znacznie niższe opóźnienie, zachowując porównywalną dokładność faktograficzną. Wyniki te potwierdziły hipotezę, że redukcję halucynacji można osiągnąć bez poświęcania użyteczności w czasie rzeczywistym.
Ponieważ generowanie odpowiedzi opiera się na modelu językowym w chmurze, poszczególne pomiary opóźnień podlegają wahaniom wynikającym z warunków sieciowych i harmonogramowania po stronie serwera, a nie deterministycznemu czasowi wykonania. W związku z tym zastosowano pomiary powtórzone w celu uzyskania reprezentatywnych wartości średnich, co pozwoliło ograniczyć wpływ przejściowej zmienności wykonania przy zachowaniu możliwości porównań relatywnych między ocenianymi metodami. Wartości opóźnień przedstawiono jako średnie czasy wykonania z powtórzonych serii eksperymentalnych. Poszczególne wartości opóźnień dla każdej serii nie zostały zachowane, w związku z czym obliczenie wariancji, przedziałów ufności lub innych miar zmienności post hoc nie było możliwe. Odpowiednio, wartości opóźnień oraz porównanie szybkości i dokładności na Rysunku 6 są przedstawione jako estymacje punktowe bez słupków błędu.
Podsumowując, wyniki wykazały, że połączenie ekstrakcji twierdzeń, niezależnego generowania referencji, weryfikacji za pomocą wnioskowania w języku naturalnym (Natural Language Inference), adaptacyjnego progowania statystycznego oraz selektywnej korekty poprawiło wiarygodność faktyczną wyników generowanych przez duże modele językowe. Zastosowana struktura zredukowała poziom halucynacji z 28% do 9% w zestawie TruthfulQA oraz z 26% do 10% w zestawie FEVER. Wyniki wskazują, że adaptacyjna weryfikacja na poziomie poszczególnych twierdzeń poprawiła wskaźniki wiarygodności faktycznej, ograniczając jednocześnie dodatkowe opóźnienie w generowaniu odpowiedzi w ocenianych warunkach
Dostępność danych
Zbiory danych analizowane w niniejszym badaniu są ogólnodostępne poprzez ich odpowiednie oficjalne źródła. Rękopis zawiera informacje o zbiorach danych, konfiguracjach modeli oraz szczegóły metodologiczne niezbędne do replikacji opisanych analiz. Przetworzone dane ewaluacyjne i wyniki uzupełniające wygenerowane podczas badania znajdują się w Plikach Uzupełniających.
Rycina 1: Przepływ pracy w adaptacyjnym systemie weryfikacji twierdzeń. Początkowa odpowiedź wygenerowana przez LLM jest rozkładana na twierdzenia faktyczne, po czym następuje niezależne generowanie referencji, weryfikacja oparta na NLI, punktacja pewności oraz statystyczna analiza progowa. Twierdzenia spełniające kryterium akceptacji są zachowywane, natomiast twierdzenia spełniające kryterium korekty podlegają ukierunkowanej poprawie przed końcowym złożeniem odpowiedzi. Kliknij tutaj, aby zobaczyć powiększoną wersję tej ryciny.
Rysunek 2: Wpływ parametru czułości (k) na dokładność weryfikacji. Dokładność dla TruthfulQA i FEVER przy wartościach k wynoszących 0.3, 0.5, 0.7 i 1.0. Dokładność wzrastała wraz ze wzrostem k w obu zbiorach danych, przy czym do głównej ewaluacji wybrano k = 0.7. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Rysunek 3: Porównanie dokładności różnych metod weryfikacji. Dokładność bazowego modelu LLM, weryfikacji opartej na NLI oraz proponowanego adaptacyjnego systemu weryfikacji w zbiorach TruthfulQA i FEVER. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Rysunek 4: Porównanie wskaźników halucynacji w zależności od metod weryfikacji. Wskaźniki halucynacji dla bazowego modelu LLM, weryfikacji opartej na NLI oraz proponowanej architektury w zbiorach TruthfulQA i FEVER. Proponowana architektura zredukowała wskaźnik z 28% do 9% w TruthfulQA oraz z 26% do 10% w FEVER. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Rycina 5: Dokładność wykrywania halucynacji w różnych metodach. Dokładność wykrywania dla SelfCheckGPT, FActScore oraz proponowanej architektury na zbiorach TruthfulQA i FEVER. Proszę kliknąć tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Rysunek 6Kompromis między czasem odpowiedzi a dokładnością w różnych metodach weryfikacji. Zależność między latencją odpowiedzi a dokładnością dla ocenianych metod w zbiorach TruthfulQA i FEVER, ilustrująca kompromis między wydajnością a latencją w przypadku proponowanego frameworku oraz podejść porównawczych. Kliknij tutaj, aby wyświetlić powiększoną wersję tej figury.
| Zbiór danych | Wykorzystane próbki | Dziedziny | Średnia długość odpowiedzi (tokeny) | Bazowy wskaźnik halucynacji LLM |
| TruthfulQA | 817 | 38 (nauka, historia, prawo itd.) | 42 | 28% |
| GORĄCZKA | 1,000 | Ogólne twierdzenia faktyczne | 18 | 26% |
Tabela 1: Charakterystyka zestawu danych referencyjnych. Podsumowanie zbiorów danych TruthfulQA i FEVER wykorzystanych do opracowania i oceny frameworka, zawierające liczbę próbek, dokładność bazową, bazowy wskaźnik halucynacji oraz średnią liczbę twierdzeń na próbkę.
| Metoda | Dokładność | Precyzja | Czułość | Wskaźnik F1 | % halucynacji |
| Bazowy model LLM (pojedyncza inferencja) | 0.72 | 0.71 | 0.69 | 0.7 | 28% |
| Weryfikacja w oparciu o NLI (stały próg) | 0.82 | 0.815 | 0.785 | 0.8 | 15% |
| SelfCheckGPT | 0.76 | 0.755 | 0.725 | 0.74 | 22% |
| FActScore | 0.85 | 0.8425 | 0.8175 | 0.83 | 11% |
| Proponowany model (próg statystyczny) | 0.87 | 0.86 | 0.84 | 0.85 | 9% |
Tabela 2: Porównanie wydajności w zbiorze TruthfulQA. Dokładność (accuracy), precyzja (precision), pełność (recall), wynik F1 oraz wskaźnik halucynacji dla bazowego modelu LLM, SelfCheckGPT, FActScore, weryfikacji NLI oraz proponowanego modelu.
| Metoda | Dokładność | Precyzja | Czułość | Wskaźnik F1 | % halucynacji |
| SelfCheckGPT | 0.78 | — | — | — | — |
| FActScore | 0.87 | — | — | — | — |
| Bazowy model LLM† | 0.74 | 0.73 | 0.71 | 0.72 | 26% |
| Weryfikacja w oparciu o NLI (stały próg) | 0.83 | 0.8225 | 0.7975 | 0.81 | 14% |
| Proponowane ramy (próg statystyczny) | 0.89 | 0.8775 | 0.8625 | 0.87 | 10% |
Tabela 3: Porównanie wydajności w zbiorze FEVER. Dokładność, precyzja, pełność, wynik F1 oraz wskaźnik halucynacji dla bazowego modelu LLM, SelfCheckGPT, FActScore, weryfikacji NLI oraz proponowanego frameworku.
| Konfiguracja | Dokładność | Precyzja | Czułość | F1 (dodano) | Współczynnik halucynacji |
| Bazowy model językowy | 0.72 | 0.71 | 0.69 | 0.7 | 28% |
| Poziom podstawowy + kontrola wtórna (bez NLI) | 0.78 | 0.7725 | 0.7475 | 0.76* | 20% |
| Baseline + weryfikacja oparta na NLI (stały próg) | 0.82 | 0.815 | 0.785 | 0.8 | 15% |
| Baseline + Moduł Decyzji Statystycznej (Pełny) | 0.87 | 0.86 | 0.84 | 0.85 | 9% |
Tabela 4: Analiza ablacyjna komponentów strukturalnych. Zmiany dokładności, wyniku F1 oraz wskaźnika halucynacji po sekwencyjnym wprowadzeniu wtórnej walidacji, weryfikacji NLI oraz adaptacyjnego progowania statystycznego.
| Metoda | Średni czas reakcji (ms) |
| Podstawowy model LLM (pojedyncze generowanie) | 820 |
| Mechanizm samowalidacji | 910 |
| Proponowane ramy statystyczne | 980 |
| Weryfikacja z wzmocnieniem wyszukiwania (RAG) | 1600 |
Tabela 5: Opóźnienie odpowiedzi w zależności od metody weryfikacji. Średni czas odpowiedzi oraz dodatkowe opóźnienie w stosunku do bazowego modelu LLM dla Self-Validation (proponowanego frameworka) oraz weryfikacji z rozszerzoną możliwością wyszukiwania (retrieval-augmented verification).
Tabela uzupełniająca 1: Porównanie podejść do weryfikacji halucynacji. Porównanie proponowanego frameworka z istniejącymi metodami pod kątem zewnętrznego wyszukiwania informacji, weryfikacji na poziomie twierdzeń, adaptacyjnego progowania oraz przetwarzania z niskimi opóźnieniami.Kliknij tutaj, aby pobrać ten plik.
Tabela uzupełniająca 2: Analiza czułości parametru progowego (k). Dokładność, precyzja, pełność, wynik F1 oraz wskaźnik halucynacji uzyskano dla wartości parametru progowego wynoszących 0.3, 0.5, 0.7 i 1.0. Do głównej oceny wykorzystano wartość k = 0.7.Prosimy kliknąć tutaj, aby pobrać ten plik.
Tabela uzupełniająca 3: Czas przetwarzania w poszczególnych etapach potoku weryfikacyjnego. Średni czas wykonania i procentowy udział początkowego generowania odpowiedzi, dekompozycji twierdzeń, generowania referencji, wnioskowania NLI oraz selektywnej korekty w całkowitym czasie odpowiedzi.Kliknij tutaj, aby pobrać ten plik.
Tabela uzupełniająca 4: Rozkład błędów zidentyfikowanych podczas weryfikacji. Liczba i procent fałszywie ujemnych, fałszywie dodatnich oraz błędów korekty, wraz z głównymi kategoriami halucynacji powiązanymi z każdym typem błędu.Proszę kliknąć tutaj, aby pobrać ten plik.
Dyskusja
Zaproponowany schemat poprawił wydajność weryfikacji faktów, unikając jednocześnie powtarzalnego próbkowania i zewnętrznego wyszukiwania informacji. W zbiorze TruthfulQA wskaźnik halucynacji spadł z 28% dla bazowego modelu LLM do 9% przy zastosowaniu pełnego schematu, natomiast dokładność wzrosła z 0,72 do 0,87. W zbiorze FEVER wskaźnik halucynacji spadł z 26% do 10%, a dokładność wzrosła z 0,74 do 0,89. Porównania te należy interpretować w kontekście ustawień eksperymentalnych i implementacji zastosowanych w niniejszym badaniu, a nie jako dowód uniwersalnej wyższości we wszystkich warunkach wdrożenia. Schemat wykonuje weryfikację na poziomie twierdzeń po wygenerowaniu odpowiedzi, wykorzystując odizolowany punkt odniesienia dla faktów oraz selektywną korektę, co stanowi kompromis pomiędzy ugruntowaniem w wiedzy zewnętrznej, powtarzalną inferencją a lekką weryfikacją po generowaniu. Generatory odpowiedzi i punktów odniesienia wykorzystują ten sam podstawowy model GPT-3.5 Turbo, ale działają według różnych celów promptowania i w odizolowanych kontekstach wykonawczych. Generator punktów odniesienia otrzymuje jedynie oryginalne zapytanie i nie ma dostępu do wcześniej wygenerowanej odpowiedzi. Zatem dwa procesy generowania są niezależne proceduralnie, a nie statystycznie, i mogą zachowywać skorelowane błędy faktograficzne wynikające ze wspólnego modelu wstępnie wytrenowanego.
Porównanie z istniejącymi podejściami
Bazowy model NLI z ustalonym progiem stosuje próg ufności wynoszący 0,7, opierając się na wcześniejszych badaniach nad weryfikacją faktów w oparciu o NLI14. SelfCheckGPT15 reprezentuje podejście do wykrywania halucynacji bez wykorzystania dodatkowych zasobów, które generuje wiele próbek stochastycznych i wykorzystuje NLI do identyfikacji niespójnych twierdzeń. FActScore16 rozkłada wygenerowane odpowiedzi na fakty atomowe i weryfikuje je w odniesieniu do pobranych referencji z bazy wiedzy opartej na Wikipedii. W przeciwieństwie do nich, proponowany model wykonuje weryfikację na poziomie twierdzenia bez konieczności wielokrotnego generowania pełnych odpowiedzi lub zewnętrznego pobierania danych.
DoLA jest uzupełniającym, lekkim podejściem, które usprawnia generowanie faktów poprzez kontrastowanie prawdopodobieństw tokenów pochodzących z różnych warstw transformera podczas wnioskowania. Bezpośrednie porównanie eksperymentalne nie zostało przeprowadzone, ponieważ DoLA modyfikuje proces generowania tokenów, podczas gdy proponowana struktura wykonuje weryfikację na poziomie twierdzeń po generowaniu oraz selektywną korektę. Implementacja DoLA wymagałaby dostępu do wewnętrznych reprezentacji warstw transformera, które nie są udostępniane przez API GPT-3.5 Turbo wykorzystane w niniejszym badaniu. Brak zewnętrznego wyszukiwania zmniejsza zależność od procesu pobierania danych i związane z tym wymagania procesowe, ale ogranicza również weryfikację do wiedzy dostępnej dla bazowych modeli. W konsekwencji, całkowite zmyślenia lub specjalistyczne twierdzenia wykraczające poza zakres wiedzy weryfikatora pozostają trudne do skorygowania.
Adaptacyjne progowanie statystyczne i selektywna korekta
Adaptacyjny próg jest wyprowadzany z empirycznego rozkładu wyników ufności i kontroluje kompromis między czułością wykrywania halucynacji a precyzją korekcji. Analiza wrażliwości oceniła wartości 0,3, 0,5, 0,7 i 1,0 na wydzielonym zbiorze walidacyjnym TruthfulQA. Wartość k = 0,7 zapewniła najbardziej zrównoważony kompromis między redukcją halucynacji a wydajnością obliczeniową dla ocenianych benchmarków.
Optymalny próg może się różnić w zależności od obszaru zastosowania, ponieważ rozkład wyników ufności NLI zależy od charakteru generowanej treści. W przypadku zastosowania w nowej dziedzinie można zatem wykorzystać zbiór walidacyjny odzwierciedlający docelowe zastosowanie, aby ocenić potencjalne wartości i wybrać taką, która zrównoważy wydajność weryfikacji faktów, wskaźnik korekty oraz opóźnienia w przetwarzaniu. Ponieważ optymalizacja progu polega na zmianie pojedynczego parametru skalarnego, a nie na ponownym trenowaniu modeli, adaptacja nie wymaga modyfikacji podstawowych modeli.
Selektywna korekta ogranicza regenerację do twierdzeń zaklasyfikowanych jako sprzeczność i spełniających kryterium progu statystycznego. Pozwala to uniknąć wielokrotnego przetwarzania twierdzeń, które nie spełniają kryterium korekty, i odróżnia ten model od podejść opartych na ponownym próbkowaniu pełnych odpowiedzi oraz iteracyjnym doprecyzowaniu.
Kompromis między opóźnieniem a wydajnością
Zaproponowana struktura osiągnęła średni czas odpowiedzi wynoszący 980 ms w porównaniu z 820 ms dla bazowego modelu LLM oraz 1600 ms dla weryfikacji wspomaganej wyszukiwaniem. Analiza na poziomie etapów wykazała, że generowanie początkowej odpowiedzi odpowiadało za 83,7% całkowitego opóźnienia, podczas gdy wnioskowanie NLI przyczyniło się w 3,9%, a selektywna korekta w średnim stopniu poniżej 1%. Wartości opóźnień podano jako średnie czasy wykonania w powtórzonych seriach eksperymentalnych. Pojedyncze wartości opóźnień dla każdego uruchomienia nie zostały zachowane, w związku z czym obliczenie post hoc wariancji, przedziałów ufności lub innych miar zmienności nie było możliwe. W konsekwencji wartości opóźnień oraz porównanie szybkości i dokładności przedstawiono jako estymatory punktowe bez słupków błędu. Raportowane wartości opóźnień odzwierciedlają środowisko eksperymentalne wykorzystane w niniejszym badaniu i mogą różnić się w zależności od warunków wdrożenia, szczególnie w przypadku zastosowania chmurowych interfejsów API modeli językowych. Opóźnienia sieciowe, obciążenie serwera i dostępność usług mogą niezależnie wpływać na bezwzględne czasy odpowiedzi, niezależnie od zaproponowanej struktury weryfikacji.
Analiza błędów
Twierdzenia błędnie obsłużone w zbiorze testowym TruthfulQA sklasyfikowano jako fałszywie negatywne, fałszywie pozytywne lub błędy korekty. Rozkład i główne kategorie tych błędów zestawiono w Tabeli uzupełniającej 4. Wyniki fałszywie negatywne stanowiły 52,6% wszystkich błędów i były one głównie związane z halucynacjami czasowymi oraz subtelnymi podstawieniami faktograficznymi. Błędy czasowe mogą zostać pominięte, gdy weryfikator posiada tę samą datę odcięcia danych treningowych co model bazowy, natomiast subtelne podstawienia faktograficzne mogą otrzymać wyniki NLI w przedziale Neutral zamiast Contradiction.
Fałszywie dodatnie wyniki stanowiły 35,9% błędów i występowały głównie w przypadku faktów rzadkich, wysoce specyficznych lub niedawno ustalonych, wykraczających poza obszar wiedzy modelu weryfikującego o wysokim stopniu pewności. Przypadki te generowały niskie wyniki entailmentu NLI, mimo że twierdzenia były merytorycznie poprawne. Błędy korekty stanowiły 11,5% wszystkich błędów i występowały w sytuacjach, gdy zidentyfikowano całkowite zmyślenia, lecz proces korekty wygenerował kolejne nieprawdziwe stwierdzenie z powodu niewystarczającego zakresu wiedzy weryfikatora.
Wyniki te wskazują, że błędy rezydualne wynikają zarówno z dyskryminacji NLI, jak i z zakresu wiedzy weryfikatora, szczególnie w przypadku nieścisłości czasowych, subtelnych podstawień faktycznych, rzadkich faktów oraz całkowitych fabrykacji.
Analiza statystyczna
Wskaźnik halucynacji spadł z 15% przy weryfikacji NLI z ustalonym progiem do 9% przy zastosowaniu proponowanego modelu statystycznego, natomiast pełny model zredukował ten wskaźnik z 28% w przypadku wariantu bazowego do 9% w zbiorze TruthfulQA. Różnice te są raportowane jako opisowe zmiany wydajności i nie przypisuje się im formalnej istotności statystycznej, ponieważ obecna ocena nie obejmuje wyników testów statystycznych ani szacunków wielkości efektu niezbędnych do poparcia takiej konkluzji17,18.
Ograniczenia
Wydajność weryfikacji w ramach tej struktury jest ograniczona możliwościami bazowego modelu NLI. DeBERTa-v3-large może mieć trudności z precyzyjnymi porównaniami numerycznymi, rozumowaniem czasowym oraz twierdzeniami wymagającymi wieloetapowego wnioskowania w oparciu o wiele faktów. Ograniczenia modelu NLI wiązały się również z błędami typu fałszywie negatywne w przypadku subtelnych zamian faktów, a systematyczne słabości modelu NLI mogą przenosić się na decyzje dotyczące weryfikacji.
Generatory odpowiedzi i referencji wykorzystują ten sam podstawowy model GPT-3.5 Turbo. Chociaż różne cele promptowania oraz odizolowane konteksty wykonawcze zapewniają niezależność proceduralną, dwa te procesy nie są statystycznie niezależne i mogą zachowywać skorelowane uprzedzenia faktyczne wynikające ze wspólnego modelu wstępnie wytrenowanego.
Kolejnym ograniczeniem jest sprzężenie między ewaluatorem a weryfikatorem. Końcowa ocena halucynacji wykorzystuje ten sam model NLI, który weryfikuje twierdzenia w proponowanym potoku przetwarzania. Może to prowadzić do zbieżności wyników weryfikatora i ewaluatora oraz wpływać na zmierzoną poprawę. Przedstawione wyniki należy zatem interpretować jako wydajność w ramach zdefiniowanej procedury ewaluacyjnej opartej na NLI, a nie jako w pełni niezależny dowód na redukcję halucynacji. Silniejszą walidację zapewniłaby niezależna ocena ludzka lub osobno opracowany model ewaluacyjny.
Etap dekompozycji twierdzeń oceniano wyłącznie pod kątem jego wkładu w weryfikację end-to-end i nie poddano go niezależnej ocenie w odniesieniu do granic twierdzeń naniesionych przez ludzi. W konsekwencji badanie nie dostarcza oddzielnej ilościowej oceny dokładności dekompozycji ani analizy propagacji błędów wynikających z tego etapu do późniejszych kroków weryfikacji.
Ocena została ograniczona do zbiorów TruthfulQA oraz FEVER i do treści w języku angielskim. W związku z tym zaobserwowana wydajność nie potwierdza generalizacji na domeny specjalistyczne, środowiska wielojęzyczne ani generowanie długich tekstów. Optymalna wartość k może również różnić się w zależności od domeny zastosowania, ponieważ rozkłady wyników ufności NLI zależą od charakteru generowanej treści. Przed rozszerzeniem wyników poza warunki ocenione w niniejszym badaniu wymagana jest zatem kalibracja specyficzna dla danej domeny oraz szersza ocena.
W końcu pomiary opóźnień są specyficzne dla konfiguracji eksperymentalnej i mogą różnić się w zależności od środowisk wykonawczych. Ponieważ nie zachowano indywidualnych pomiarów opóźnień dla każdego uruchomienia, nie można było post hoc oszacować zmienności ani przedziałów ufności. Przyszłe ewaluacje powinny uwzględniać zachowanie pomiarów indywidualnych oraz szerszą charakterystykę statystyczną opóźnień w różnych środowiskach wykonawczych.
Dalsze prace
Przyszłe badania powinny odnieść się do głównych ograniczeń zidentyfikowanych w obecnym modelu. Konieczna jest kalibracja progu uwzględniająca specyfikę dziedziny, ponieważ stała wartość (k = 0.7) wybrana na podstawie TruthfulQA może nie być optymalna dla wyspecjalizowanych dziedzin o innych rozkładach wyników pewności NLI. Dane walidacyjne specyficzne dla danej dziedziny mogłyby zostać wykorzystane do kalibracji progu i, w razie potrzeby, zastosowania asymetrycznych kar za błędy fałszywie ujemne i fałszywie dodatnie19.
Udoskonalona dekompozycja twierdzeń powinna obejmować niezależną ewaluację z wykorzystaniem granic twierdzeń naniesionych przez ludzi, aby określić stopień kompletności, poprawności oraz propagację błędów w dalszych etapach. Dostrojone modele dekompozycji oraz miary pewności dekompozycji mogłyby dodatkowo zredukować błędy wynikające z niewłaściwej segmentacji twierdzeń. Przyszłe oceny porównawcze powinny również obejmować lekkie podejścia oparte na dekodowaniu, takie jak DoLA, w ramach ujednoliconego protokołu eksperymentalnego.
Lekka augmentacja wyszukiwaniem może pomóc w rozwiązaniu problemu całkowitych halucynacji, które pozostają trudne do wyeliminowania, gdy weryfikator nie posiada wystarczającej wiedzy faktycznej. Ukierunkowany mechanizm zapasowy wyszukiwania dla twierdzeń sprzecznych o niskim poziomie ufności mógłby zapewnić zewnętrzne wsparcie faktyczne bez konieczności wyszukiwania informacji dla każdego twierdzenia20.
Wymagane jest również rozszerzenie wielojęzyczne, ponieważ obecna ocena ogranicza się do benchmarków w języku angielskim3. Przyszłe badania powinny ocenić wielojęzyczne modele NLI oraz specyficzne dla danego języka prompty do dekompozycji i korekty twierdzeń na wielojęzycznych benchmarkach halucynacji.
Podsumowanie
W niniejszym badaniu zaprezentowano dwuetapowy model weryfikacji twierdzeń, łączący dekompozycję twierdzeń atomowych, generowanie referencji faktycznych za pomocą oddzielnych promptów, weryfikację NLI, adaptacyjne progowanie statystyczne oraz selektywną korektę. W zbiorze TruthfulQA model ten zredukował wskaźnik halucynacji z 28% do 9%, zwiększając jednocześnie średnią latencję o 160 ms w stosunku do bazowego modelu LLM. W zbiorze FEVER wskaźnik halucynacji spadł z 26% do 10%.
Zaproponowane ramy osiągnęły konkurencyjną wydajność w weryfikacji faktów bez konieczności powtarzalnego próbkowania pełnych odpowiedzi lub zewnętrznego wyszukiwania danych. Adaptacyjne progowanie i selektywna korekta przyczyniły się do zaobserwowanej wydajności, ograniczając jednocześnie dodatkowy narzut obliczeniowy. Wyniki są jednak ograniczone do ocenianych zestawów benchmarkowych i warunków eksperymentalnych oraz pozostają zależne od modelu NLI, powiązania ewaluatora z weryfikatorem, niepewności związanej z dekompozycją twierdzeń, kalibracji progów specyficznych dla danej dziedziny oraz zmienności opóźnień. W związku z tym, przed rozszerzeniem wyników na szersze środowiska wdrożeniowe, wymagana jest szersza, niezależna, dziedzinowa i wielojęzyczna ewaluacja.
Oświadczenia
Autorzy nie deklarują żadnych konfliktów interesów.
Podziękowania
Autorzy pragną wyrazić szczerą wdzięczność swojej instytucji za zapewnienie środowiska akademickiego i zasobów obliczeniowych niezbędnych do przeprowadzenia niniejszych badań. Autorzy dziękują również twórcom i opiekunom publicznie dostępnych zbiorów danych referencyjnych wykorzystanych w tej pracy, które umożliwiły kompleksową ocenę proponowanego modelu. Podziękowania kierujemy do współpracowników oraz recenzentów za konstruktywne uwagi, które pomogły poprawić jakość i przejrzystość niniejszej pracy. Autorzy dziękują ponadto społeczności badawczej open-source za udostępnienie bibliotek oprogramowania i narzędzi, które ułatwiły przeprowadzanie eksperymentów, analizę danych oraz wizualizację wyników. Ich nieustanne wysiłki znacząco przyczyniły się do rozwoju badań w dziedzinie przetwarzania języka naturalnego i godnej zaufania sztucznej inteligencji. Autorzy oświadczają, że nie otrzymali żadnego zewnętrznego wsparcia finansowego ani funduszy na realizację tych badań.
Materiały
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| Zbiór danych referencyjnych FEVER | FEVER Shared Task (Thorne et al.) | https://fever.ai/dataset/fever.html | Publicznie dostępny zbiór danych do weryfikacji faktów, składający się z par twierdzenie-dowód, używany do ewaluacji |
| GPT-3.5 Turbo (duży model językowy) | OpenAI | Model ID: gpt-3.5-turbo; https://developers.openai.com/api/docs/models/gpt-3.5-turbo | Używany zarówno jako generator odpowiedzi, jak i niezależny generator referencji, dostępny poprzez API OpenAI |
| NumPy | NumPy Developers (open source) | https://numpy.org/ | Biblioteka do obliczeń numerycznych wykorzystywana do kalkulacji statystycznych, w tym średniej i odchylenia standardowego wyników weryfikacji NLI |
| Openai (biblioteka klienta Python API) | OpenAI | https://github.com/openai/openai-python | Biblioteka klienta Python używana do przesyłania promptów i pobierania odpowiedzi z GPT-3.5 Turbo |
| pandas | pandas Development Team (open source) | https://pandas.pydata.org/ | Biblioteka do analizy danych tabelarycznych wykorzystywana do wstępnego przetwarzania zbiorów danych i obsługi wyników |
| Wstępnie wytrenowany model klasyfikacji Natural Language Inference (NLI) | Hugging Face model hub (model oparty na architekturze DeBERTa-v3-large firmy Microsoft) | MoritzLaurer/DeBERTa-v3-large-mnli-fever-anli-ling-wanli | Używany w trybie inferencji, bez dostrajania (fine-tuning), do klasyfikacji każdej pary twierdzenie-referencja jako wynikania (entailment), neutralności lub sprzeczności |
| Python | Python Software Foundation | Wersja 3.9; https://www.python.org/downloads/release/python-390/ | Główny język programowania użyty do implementacji frameworka weryfikacyjnego |
| SciPy | SciPy Developers (open source) | https://scipy.org/ | Biblioteka obliczeń naukowych wykorzystywana do wsparcia analizy statystycznej wyników eksperymentalnych |
| Transformers (biblioteka Hugging Face Transformers) | Hugging Face | https://github.com/huggingface/transformers | Biblioteka Python wykorzystywana do ładowania i uruchamiania wstępnie wytrenowanego modelu NLI |
| Zbiór danych referencyjnych TruthfulQA | Oryginalnie wydany przez Lin, Hilton i Evans | https://github.com/sylinrl/TruthfulQA | Publicznie dostępny benchmark zawierający 817 pytań zorientowanych na fakty, używany do strojenia progów i ewaluacji |
| Stacja robocza | Nie określono w manuskrypcie (proszę potwierdzić producenta/model) | Procesor Intel Core i5; 16 GB RAM; 64-bitowy system operacyjny | Sprzęt użyty do przeprowadzenia wszystkich eksperymentów w identycznych konfiguracjach |
| Uwaga: Wszystkie powyższe adresy URL zostały sprawdzone i potwierdzone jako aktywne w dacie sporządzenia tej tabeli. |
Bibliografia
- Dai Z, et al. Promptagator: Few-shot dense retrieval from 8 examples [conference presentation]. Presented at: The Eleventh International Conference on Learning Representations; 2022. [https://iclr.cc/virtual/2023/poster/10937]
- Achiam J, et al. GPT-4 technical report. arXiv. 2023;arXiv:2303.08774. [https://arxiv.org/abs/2303.08774]
- Ji Z, et al. Survey of hallucination in natural language generation. ACM Comput Surv. 2023;55(12):1-38.
- Bender EM, McMillan-Major A, Shmitchell S, Gebru T. On the dangers of stochastic parrots: Can language models be too big? [conference presentation]. Presented at: 2021 ACM Conference on Fairness, Accountability, and Transparency; 2021. [https://dl.acm.org/doi/10.1145/3442188.3445922]
- Devlin J, et al. BERT: Pre-training of deep bidirectional transformers for language understanding [conference presentation]. Presented at: 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies; 2019. [https://arxiv.org/abs/1810.04805]
- Maynez J, Narayan S, Bohnet B, McDonald R. On faithfulness and factuality in abstractive summarization [conference presentation]. Presented at: 58th Annual Meeting of the Association for Computational Linguistics; 2020. [https://arxiv.org/abs/2005.00661]
- Brown T, et al. Language models are few-shot learners. Adv Neural Inf Process Syst. 2020;33:1877-901.
- Guu K, et al. Retrieval augmented language model pre-training [conference presentation]. Presented at: International Conference on Machine Learning; 2020. [https://arxiv.org/abs/2002.08909]
- Izacard G, Grave E. Leveraging passage retrieval with generative models for open domain question answering [conference presentation]. Presented at: 16th Conference of the European Chapter of the Association for Computational Linguistics; 2021. [https://arxiv.org/abs/2007.01282]
- Bowman SR, Angeli G, Potts C, Manning CD. A large annotated corpus for learning natural language inference [conference presentation]. Presented at: 2015 Conference on Empirical Methods in Natural Language Processing; 2015. [https://arxiv.org/abs/1508.05326]
- Platt J. Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods. Adv Large Margin Classif. 1999;10(3):61-74.
- Lin S, Hilton J, Evans O. Truthfulqa: Measuring how models mimic human falsehoods. InProceedings of the 60th annual meeting of the association for computational linguistics (volume 1: long papers) 2022 May (pp. 3214-3252).
- Thorne J, Vlachos A, Christodoulopoulos C, Mittal A. FEVER: A large-scale dataset for fact extraction and verification [conference presentation]. Presented at: 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies; 2018. [https://aclanthology.org/N18-1074/]
- Williams A, Nangia N, Bowman SR. A broad-coverage challenge corpus for sentence understanding through inference. arXiv. 2017;arXiv:1704.05426.
- Manakul P, Liusie A, Gales M. SelfCheckGPT: Zero-resource black-box hallucination detection for generative large language models [conference presentation]. Presented at: 2023 Conference on Empirical Methods in Natural Language Processing; 2023.
- Min S, et al. FActScore: Fine-grained atomic evaluation of factual precision in long-form text generation. arXiv. 2023;arXiv:2305.14251.
- Cohen J. Statistical power analysis for the behavioral sciences. Routledge; New York; 2013.
- Kadavath S, et al. Language models (mostly) know what they know. arXiv. 2022;arXiv:2207.05221.
- Hendrycks D, et al. Aligning AI with shared human values. arXiv. 2020;arXiv:2008.02275.
- Lewis P, et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. Adv Neural Inf Process Syst. 2020;33:9459-74.
Przedruki i uprawnienia
Ten artykuł został opublikowany
Film wkrótce dostępny