Dostrajanie dużych modeli językowych za pomocą indeksu urojeń entytytów do sumaryzacji tekstu

Summary

Proponujemy podejście do dostrajania modeli językowych opartych na uczeniu się przez wzmacnianie, które wykorzystuje Enti Hallucination Index (EHI) jako sygnał nagrody w celu zmniejszenia halucynacji na poziomie encji w podsumowaniu tekstu. Eksperymenty na transkrypcjach spotkań pokazują, że ta metoda poprawia wierność i dokładność encji.

Abstract

Ostatnie osiągnięcia w dużych modelach językowych (LLMs) doprowadziły do znacznej poprawy jakości abstrakcyjnego sumaryzowania. Jednak hallucynacja – szczególnie hallucynacja na poziomie encji, gdzie wprowadzane są nieistniejące lub nieprawidłowe encje – pozostaje krytycznym wyzwaniem. W niniejszej pracy proponujemy ramy do dostrajania modeli sumaryzacyjnych opartych na wskaźniku nagród, wykorzystując wskaźnik hallucynacji encji (EHI) jako wskaźnik kierujący. Metodologia rozpoczyna się od generowania początkowych streszczeń z wstępnie przetrenowanych modeli takich jak Flan-T5, DistilBART i Mistral (lub innych popularnych LLM) na strukturalnych zbiorach danych transkrypcji, XSUM. Obliczamy EHI przez wyodrębnianie nazwanych encji zarówno z wygenerowanych streszczeń, jak i z referencyjnych streszczeń, oceniając precyzję i karząc sfałszowane encje. Proces dostrajania jest kierowany przez uczenie wzmacniające, gdzie EHI służy jako sygnał nagród. Stosujemy mechanizm aktualizacji w stylu REINFORCE w celu zoptymalizowania modelu sumaryzacji pod kątem maksymalizacji wiarygodności encji. Eksperymenty wykazują, że modele dostrojone z wykorzystaniem EHI osiągają niższe współczynniki hallucynacji bez kompromisu dla ich pouczającej treści. Ponadto pokazujemy, że modele kierowane przez EHI lepiej generalizują się w zadaniach sumaryzacyjnych poza domeną, sugerując zwiększoną odporność. Zaproponowane podejście oferuje praktyczny kierunek poprawy faktyczności w sumaryzacji, podkreślając krytyczną rolę dokładnego przedstawiania encji.

Introduction

Modele sumaryzacyjne abstrakcyjne, zasilane dużymi modelami językowymi (LLMs), osiągnęły imponujące wyniki w różnych dziedzinach. Jednakże nadal istnieje trwałe wyzwanie polegające na halucynacjach, gdzie wygenerowane podsumowania zawierają niepoprawne lub fabrykowane informacje, które nie są zakorzenione w źródłowym wejściu^1,2. W zastosowaniach o wysokich stajkach, takich jak podsumowanie spotkań, raportowanie medyczne czy dokumentacja finansowa, halucynacje, szczególnie te zawierające nazwane jednostki, mogą znacząco podważyć wiarygodność i użyteczność³.

Badanie przeprowadzone przez badaczy na dużą skalę wykazało, że summarizery często generują halucynacje – treść, która nie jest wspierana przez dokument źródłowy – i że te halucynacje koreluje się z powtórzeniami i niekoherencją¹. Inne badanie wykazało, że modele o wyższym stopniu abstrakcyjności mają tendencję do mniejszej wierności; ich badanie doniosło, że wyniki zawierające więcej abstrakcji miały niższą dokładność faktualną i więcej niewiernych zdań². Benchmark FRANK doniósł, że około 30% podsumowań zawierało niezgody faktualne, a inne popularne badanie zwróciło uwagę na podobne współczynniki błędów, twierdząc, że wysoki poziom halucynacji sprawia, że podsumowania są praktycznie bezużyteczne^1,2. Halucynacje można sklasyfikować jako wewnętrzne (sprzeczne ze źródłem) lub zewnętrzne (nieweryfikowalne ze źródła). Tutorial na temat halucynacji w abstrakcyjnym podsumowywaniu wyjaśnia, że halucynacje wewnętrzne występują, gdy wygenerowana treść jest sprzeczna z wejściem (np. niewłaściwe zgłoszenie zatwierdzonej szczepionki jako odrzucone), podczas gdy halucynacje zewnętrzne dodają nieweryfikowalne fakty, takie jak twierdzenie o przeprowadzaniu badań klinicznych dla szczepionki, które nie zostały wspomniane⁴. Badanie doniosło również, że najlepsze summarizery generują halucynującą treść w około 25% ich wyników, gdy są oceniane za pomocą ROUGE, BLEU i METEOR, i ostrzega, że halucynacje mogą być szkodliwe w dziedzinach takich jak zdrowie, prawo czy bezpieczeństwo cybernetyczne.

Tradycyjne metryki n-gramowe (ROUGE⁵, BLEU, METEOR) słabo korelują z ludzkimi ocenakami faktualności, co skłoniło do opracowania metryk opartych na referencji i nieopartych na referencji⁶. Metryki oparte na QA, takie jak FEQA i QuestEval, oceniają podsumowania poprzez pytanie, czy pary pytanie-odpowiedz pochodzące z podsumowania mogą być odpowiedziane przy użyciu tekstu źródłowego. FEQA koreluje silniej z ocenakami ludzkimi i pokazuje, że bardziej abstrakcyjne podsumowania mają tendencję do mniejszej wierności, podczas gdy QuestEval znacząco poprawia korelacje z ocenakami ludzkimi w zakresie spójności, koherencji, płynności i istotności. QAFactEval udoskonalił to podejście poprzez wybieranie odpowiedzi w postaci fraz nominalnych i generowanie pytań przed ich odpowiedzią; ta strategia poprawia korelacje z ocenami ludzkimi w benchmarku SummaC. Metryki ekstrakcji informacji (IE) reprezentują wiedzę jako trójki podmiot-relacja-obiekt, ale są podatne na błędy w procesie ekstrakcji. Metryki wnioskowania naturalnego języka (NLI) – takie jak FactCC i SummaC – klasyfikują zdania podsumowania jako zawarte lub sprzeczne ze źródłem⁴. FactCC używa słabo nadzorowanych danych do trenowania klasyfikatora, który wykrywa spójność faktualną i podświetla niespójne fragmenty². SummaC stosuje modele NLI na odpowiedniej granicy i daje silne oszacowania faktualności, ale benchmark FRANK zauważa, że te metryki nadal traktują faktualność jako binarną i brakuje im ujednoliconej ramy^1,7,8. Proponowane przez badaczy wymiary oceny ludzkiej – płynność, koherencja, istotność i spójność – są szeroko stosowane⁹. Inne badanie oceny podkreśla, że spójność jest najbardziej obiektywnym wymiarem, ponieważ po prostu sprawdza, czy podsumowanie jest zawarte w źródle; wskazuje, że aż do 92% podsumowań XSum zawiera błędy wierności^9,10. Jednakże ocena ludzka jest czasochłonna i kosztowna, więc automatyczne metryki są niezbędne dla skalowalnej oceny⁸. Obecne metryki często łączą halucynacje wewnętrzne i zewnętrzne w pojedynczy wynik, utrudniając diagnozowanie błędów⁴.

Ponieważ trening o maksymalnym prawdopodobieństwie nie optymalizuje bezpośrednio jakości podsumowania, uczenie wzmacniające (RL) zostało zastosowane, aby poprawić istotność i faktualność. Pasunuru i Bansal wprowadzili wielowyznaniowe otoczenie RL, które łączy nagrody z saliency (ROUGE) i wyników z zakresu wyników, i wykazało najlepszą wydajność¹¹. RL zostało zastosowane do podsumowywania ek

Protocol

Celem niniejszej pracy jest dostrojenie modelu językowego (LM) w celu generowania podsumowań z zmniejszoną halucynacją encji. Halucynacje występują, gdy model "z pewnością produkuje niewłaściwe lub nieistotne wyniki", ponieważ generuje tekst zgodnie ze statystyczną prawdopodobieństwem, a nie weryfikacją faktyczną. Osiąga się to poprzez zaprojektowanie funkcji nagrody opartej na indeksie halucynacji encji (EHI) i zastosowanie uczenia wzmacniającego w celu jej zmaksymalizowania.

Sformułowanie problemu
Mając dokument wejściowy X_i, celem jest wygenerowanie podsumowania Y_i takiego, że encje wymienione w Y_i są zakorzenione w X_i. Tradycyjne trenowanie o maksymalnym prawdopodobieństwie nie optymalizuje bezpośrednio spójności faktycznej. Te metody trenowania nie karzą za dołączenie wymyślonych encji. Dlatego wprowadzona zostaje strategia dostojenia napędzana nagrodami, gdzie nagroda jest proporcjonalna do wierności encji, mierzonej za pomocą EHI.

Zestaw danych i metoda
Wykorzystano dwa korpusy: po pierwsze, zbiór transkrypcji dialogów z wielowypowiedziowych transkrypcji spotkań i abstrakcyjnych podsumowań referencyjnych, a po drugie, benchmark sumaryzacji wiadomości XSUM^22,23. Każdy zbiór został oczyszczony, spłaszczony i podzielony na 80% na trening, 10% na walidację i 10% na test. Dialogi są bogate w język potoczny i zaimki, podczas gdy XSUM zawiera zwięzłe artykuły informacyjne; kombinacja pozwala nam na ewaluację zarówno generalizacji w obrębie domeny, jak i poza nią.

Wyciąganie encji jest przeprowadzane zarówno na źródłowych dokumentach, jak i podsumowaniach w celu obliczenia Indeksu Halucynacji Encji (EHI). Podczas dostojenia, niniejsza praca wyłącznie wykorzystuje podzbiór treningowy, podczas gdy wskaźniki EHI na walidacji są monitorowane, aby wybrać najlepszy checkpoint. Ostateczne ewaluacje są raportowane na wyłączonym zbiorze testowym, który pozostaje zero-shot przed i po dostrojeniu modeli.

Podsumowując, po pierwsze, transkrypcje są organizowanie w spłaszczony format i dzielone na dane. Przetrenowany model generuje podsumowania bazowe. Po drugie, EHI jest obliczany za pomocą opartego na transformatorach NER i pięciu czynników halucynacji. Podczas dostojenia, model jest aktualizowany za pomocą nagrody EHI przez adaptery LoRa. Wreszcie, podsumowania są generowane za pomocą dostrojonego modelu i oceniane za pomocą EHI, Encja F1 i innych wskaźników (Rysunek 2). Wszystkie eksperymenty są powtarzalne dzięki dostarczonym kodom i plikom konfiguracyjnym. Rysunek 3 przedstawia stopniowy przepływ procesu przygotowania zbioru danych, bazowego sumaryzowania, obliczania EHI, dostojenia i ewaluacje.

Podsumowanie bazowe
Wybrane zostały trzy przetrenowanie LLM, a ich bazowe sumaryzowanie zostało uchwycone: Flan-T5, Mistral (Nous-Hermes-2-Mistral-7B-DPO) i DistilBART^24,25,26. Każdy model był uruchamiany w trybie zero-shot, aby wygenerować początkowe podsumowanie (Y_i) dla każdego dokumentu wejściowego (x_i). Wyszukiwanie wiązkowe z szerokością wiązki równą 4 i karą długości równą 1.0 zostało zastosowane, aby zachęcić do płynnych, ale zwięzłych podsumowań. Te bazowe podsumowania służyły do oszacowania częstości występowania halucynacji i dostarczyły punktów wyjściowych do dostojenia.

Wyciąganie encji i obliczanie EHI
Dokładne obliczenie Indeksu Halucynacji Encji (EHI) wymaga solidnego NER. Początkowo, do operacji NER używano Spacy. Rozumie się, że modele NER oparte na transformatorach są bardziej dokładne, ale Spacy był początkowym wyborem z następujących powodów: (1) Modele NER oparte na transformatorach udowodniły, że halucynują bardziej niż Spacy. (2) Spacy będąc statystycznym wprowadza efektywność obliczeniową pod względem kosztów implementacji i czasu wykonania. (3) Pomaga nam również udowodnić, że EHI jest odporny na zmniejszenie halucynacji nawet z słabszym modelem NER. Jednak, biorąc pod uwagę fakt, że eksperymenty są przeprowadzane na uznanych zbiorach danych i spaCy's en_core_web_sm model jest kruchy na potocznych transkrypcjach¹³. Spacy jest zastępowany transformatorowym modelem NER (dslim/bert-base-NER), który jest modelem BERT dostrojonym na zbiorze danych CoNLL-2003. Systemy NER oparte na BERT zostały wykazane jako lepsze od modeli spaCy w zadaniach specyficznych dla domeny - na przykład, model Aviation-BERT-NER osiągnął F1 równe 94,78% identyfikując 17 encji w porównaniu z 93,73% dla spaCy NER, który rozpoznał siedem encji²⁷. Model NER BERT został skonfigurowany za pomocą Hugging Face Transformers²⁸ i wykonywał dopasowanie niezależne od wielkości liter. Aby uchwycić zaimki i wariacje powierzchniowe, ta metoda dodatkowo zastosowała proste zasady, które mapują "Pan Smith" i "Smith" do tej samej kanonicznej formy; jednak peł

Results

Eksperymenty tutaj koncentrują się na ilościowych dowodach wpływu, jaki EHI-guided fine-tuning ma na zmniejszenie halucynacji na poziomie jednostek w wielu architekturach modeli i zbiorach danych. Wyniki pokazują spójne poprawy w metrykach halucynacji, zachowując spójność faktograficzną i zachowując zdolności odpowiedzi na pytania.

Wyniki działania zestawu danych
Wyniki działania zestawu danych rozmów:
Tabela 5 przedstawia wyniki r...

Discussion

Mierniki oparte na pytaniach (np. FEQA/QuestEval/QAFactEval) i mierniki oparte na NIJ (np. FactCC/SummaC) wymagają dodatkowych komponentów QA/entailment i często dostarczają ocen na poziomie zdania. W przeciwieństwie do tego, EHI jest lekkim, niezależnym od referencji, wskaźnikiem na poziomie encji, który (i) bezpośrednio atakuje główny tryb awarii, który obserwujemy -- halucynacje encji; (ii) jest niezależny od modelu i szybki do obliczenia; oraz (iii) służy jako gęsta nagroda dla dostrajania RL. Empirycznie, EHI uzupeł...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Colab NVIDIA A100 GPU	NVIDIA	N/A	Google Colaboratory Pro
DistilBART (Encoder–Decoder)	Hugging Face	https://huggingface.co/sshleifer/distilbart-cnn-12-6
dslim/bert-base-NER	Hugging Face (dslim)	https://huggingface.co/dslim/bert-base-NER	Fine-tuned BERT base for English NER
Evaluation Models  QAGS (QA-based)	Salesforce Research	N/A	Klasyfikator faktów
Evaluation Models (Factuality) FactCC	Google Research	N/A	Klasyfikator faktów
Flan-T5 (Encoder–Decoder)	Google	https://huggingface.co/docs/transformers/main/en/model_doc/flan-t5	open-source, text-to-text, large language model
Hugging Face Transformers	Hugging Face, Inc.	https://huggingface.co/docs/transformers/index	Ładowanie modelu & dostrajanie
Nous-Hermes-2-Mistral-7B-DPO	Mistral	https://huggingface.co/NousResearch/Nous-Hermes-2-Mistral-7B-DPO	Model językowy 7 miliardów parametrów
Język programowania Python 3.10 (środowisko uruchomieniowe Colab)	Python Software Foundation	Wersja 3.10	Implementacja rdzeniowa
Streamlit	Open Source	https://streamlit.io/	Klasyfikator faktów
Zestaw danych XLSUM	BUET	https://github.com/csebuetnlp/xl-sum
Zestaw danych XSUM	University of Edinburgh	https://github.com/EdinburghNLP/XSum