Dostrajanie dużych modeli językowych za pomocą indeksu urojeń entytytów do sumaryzacji tekstu
9 stycznia 2026
Proponujemy podejście do dostrajania modeli językowych opartych na uczeniu się przez wzmacnianie, które wykorzystuje Enti Hallucination Index (EHI) jako sygnał nagrody w celu zmniejszenia halucynacji na poziomie encji w podsumowaniu tekstu. Eksperymenty na transkrypcjach spotkań pokazują, że ta metoda poprawia wierność i dokładność encji.
To badanie wykorzystuje Entity Hallucination Index jako sygnał nagród, aby zmniejszyć nieprawidłową generację encji w tekście podsumowanym przez AI. Obecne metryki są zbyt ogólne, więc ten protokół stosuje subtelne nagrody encji, aby poprawić faktyczność bez etykiet ludzkich. Na początek używa się dwóch głównych korpusów, w tym zbioru danych transkrypcji rozmów z wieloobrottowymi transkrypcjami spotkań i wskaźnika sumaryzacji wiadomości XSum News.
Oczyść każdy zestaw danych, spłaszcz dane i podziel je na 80% zestawu treningowego, 10% zestawu walidacyjnego i 10% zestawu testowego. Wykonaj tokenizację i ekstrakcję encji przy użyciu modelu NER opartego na transformatorach D slim/BERT, aby zapewnić solidne zakotwiczenie. Wygeneruj początkowe podsumowania w trybie zero shot przy użyciu wyszukiwania wiązki o szerokości czterech, aby oszacować podstawową występowanie halucynacji.
Oblicz indeks halucynacji encji jako referencyjny poziom metryki encji, który klasyfikuje encje na pięć czynników, aby sprecyzować wierność. Nagrodź ekstraktywność i pozytywne halucynacje oraz ukarzaj negatywne halucynacje, przesadnie skoncentrowane encje i utracone ogniwo. Zdefiniuj funkcję nagród proporcjonalną do wierności encji i maksymalizuj oczekiwaną nagrodę EHI na wszystkich wygenerowanych podsumowaniach.
Zastosuj wzmocniony mechanizm aktualizacji stylu w celu optymalizacji parametrów modelu w kierunku maksymalizacji wierności encji. Użyj adaptacji niskiego rangi, aby umożliwić efektywne drobne dostrajanie i aktualizuj tylko adaptery LoRA, zachowując zamrożone wagi modelu bazowego. Następnie zastosuj aktualizacje gradientu polityki, aby zachęcać do wyższych wyników nagród i ponownie generują podsumowania co 500 aktualizacji, aby odświeżyć oszacowania nagród.
Wreszcie wygeneruj końcowe podsumowania za pomocą dostrojonych modeli i porównaj je z wynikami bazowymi. Oceń modele pod kątem pouczającości przy użyciu Rouge jednego, Rouge dwóch i Rouge L, płynności i spójności faktycznej za pomocą fact CC i CAGs. Dostrajanie EHI zmniejszyło halucynacje i poprawiło faktyczność w różnych modelach i zbiorach danych, co potwierdzają przesunięcia w kierunku dodatnim w EHI i rozkłady fact CC, a wyniki CAGs pozostały w dużej mierze niezmienione.
Szkodliwe typy halucynacji, takie jak negatywne, przesadnie skoncentrowane i utracone ogniwo, zostały zmniejszone w Mistral po dostrajeniu, podczas gdy czynnik ekstraktywności prawie się podwoił. Analiza korelacji wykazała, że EHI i CAGs miały słaby wskaźnik korelacji w Mistral i DistilBART, ale Flan-T5 wykazał silniejszą pozytywną korelację. Badacze mogą mierzyć wierność na poziomie encji i wskaźniki halucynacji w podsumowaniach za pomocą zautomatyzowanego sygnału nagrody EHI.
Najbardziej krytycznym wyzwaniem jest dokładność NER, ponieważ błędy ekstrakcji mogą rozprzestrzeniać się na nieprawidłowe obliczenia nagród podczas treningu. Przyszłe badania mogą zintegrować rozwiązywanie współreferencji i nagrody informacyjne, aby lepiej zbilansować wierność z pokryciem podsumowania.
Wyświetl pełny transkrypt i uzyskaj dostęp do tysięcy filmów naukowych
Przegląd
Niniejszy artykuł przedstawia nową strukturę dostrajania sterowanego nagrodą dla dużych modeli językowych (LLM), mającą na celu ograniczenie halucynacji na poziomie encji w streszczeniach abstrakcyjnych. Dzięki wykorzystaniu wskaźnika halucynacji encji (Entity Hallucination Index, EHI) jako metryki prowadzącej, podejście to zwiększa dokładność faktyczną generowanych streszczeń bez utraty ich informacyjności lub zdolności do generalizacji.
Kluczowe elementy badania
Dziedzina nauki
- Przetwarzanie języka naturalnego
- Uczenie maszynowe
- Streszczanie tekstów
Wprowadzenie
- LLM-y znacząco poprawiły jakość streszczania abstrakcyjnego.
- Halucynacje na poziomie encji, polegające na pojawianiu się w streszczeniach nieprawidłowych lub zmyślonych encji, wciąż stanowią główne wyzwanie.
- Istniejące modele często mają trudności z zachowaniem równowagi między informatywnością a dokładnością faktograficzną.
- Metryki bezpośrednio penalizujące halucynowane encje są niedostatecznie wykorzystywane w procesie trenowania modeli.
Cel badania
- Opracowanie ram dostrajania (fine-tuning), które ograniczają halucynacje encji w modelach streszczających.
- Wprowadzenie i wykorzystanie Wskaźnika Halucynacji Encji (Entity Hallucination Index – EHI) jako sygnału nagrody.
- Wykazanie poprawy faktyczności oraz odporności w streszczeniach generowanych przez modele LLM.
Zastosowane metody
- Wstępne streszczenia generowane przy użyciu modeli wstępnie wytrenowanych (np. Flan-T5, DistilBART, Mistral) na ustrukturyzowanych zbiorach danych transkrypcji, takich jak XSUM.
- Ekstrakcja nazwanych encji zarówno z wygenerowanych streszczeń, jak i ze wzorcowych streszczeń referencyjnych.
- Obliczanie EHI poprzez ocenę precyzji encji i nakładanie kar za sfabrykowane encje.
- Dostrajanie metodą uczenia ze wzmocnieniem z wykorzystaniem mechanizmu aktualizacji w stylu REINFORCE, gdzie sygnałem nagrody jest EHI.
Główne wyniki
- Dostrojone modele wykazały niższy wskaźnik halucynacji encji.
- Informatywność streszczeń została zachowana pomimo zmniejszenia liczby halucynacji.
- Modele prowadzone przez EHI wykazały lepszą generalizację w zadaniach streszczania treści spoza dziedziny.
- W ewaluacjach eksperymentalnych zaobserwowano zwiększoną odporność oraz dokładność faktograficzną.
Wnioski
- Ramy nagród oparte na EHI skutecznie redukują halucynacje na poziomie encji w streszczeniach generowanych przez LLM.
- Faktuatność i informatywność mogą być wspólnie optymalizowane przy użyciu tego podejścia.
- Metoda ta oferuje praktyczny kierunek doskonalenia niezawodności zautomatyzowanych systemów streszczania.
Najczęściej zadawane pytania
Znaczenie dla przemysłu
Halucynacje na poziomie encji w streszczeniach generowanych przez duże modele językowe (LLM) stanowią istotne ryzyko dla integralności danych i procesów podejmowania decyzji w badaniach i rozwoju (R&D) w sektorze biofarmaceutycznym. Ramy dostrajania sterowanego przez indeks halucynacji encji (Entity Hallucination Index, EHI) bezpośrednio odpowiadają na to wyzwanie, umożliwiając bardziej niezawodną ekstrakcję faktycznych informacji z naukowych i operacyjnych źródeł tekstowych. Zwiększona faktualność w automatycznym streszczaniu wspiera wyższą pewność predykcyjną i redukuje ryzyko w dalszych etapach potoków przetwarzania wiedzy.
Strategiczne zastosowania w badaniach biofarmaceutycznych&D
Wczesne odkrywanie i walidacja celu
- Zwiększa dokładność przeglądu literatury i eksploracji danych w celu identyfikacji celów poprzez minimalizację liczby sfabrykowanych encji.
- Wspiera redukcję ryzyka mechanistycznego poprzez zapewnienie, że wyodrębnione encje odzwierciedlają rzeczywiste zależności biologiczne.
- Umożliwia bardziej pewne generowanie hipotez na podstawie wyników automatycznego streszczania tekstów.
Przesiewanie i opracowywanie testów
- Umożliwia standaryzowaną ekstrakcję celów i warunków testu z różnorodnych źródeł dokumentacji.
- Zmniejsza ryzyko przenoszenia błędnych informacji o encjach do procesów przesiewowych.
- Wspiera odtwarzalność poprzez zachowanie wierności danych o encjach w automatycznych podsumowaniach.
Badania translacyjne i przedkliniczne
- Usprawnia mapowanie wyników przedklinicznych na podmioty istotne dla choroby poprzez ograniczenie halucynacji.
- Poprawia ciągłość śledzenia podmiotów od etapu odkrywania po fazy walidacji przedklinicznej.
- Wspiera postępy skorygowane o ryzyko, dostarczając bardziej wiarygodnych dowodów na poziomie podmiotu.
Integracja potoków i przepływów pracy
Struktura dostrajania sterowana przez EHI integruje się z warstwą informatyczną procesów odkrywania, przesiewania i badań translacyjnych, wspierając niezawodną ekstrakcję i streszczanie encji.
- Biologia odkrywcza: Umożliwia testowanie hipotez i wyjaśnianie ścieżek sygnałowych poprzez zapewnienie dokładności encji w streszczeniach uzyskanych z ekstrakcji danych.
- Przesiewanie: Zapewnia powtarzalne, wierne pod kątem encji streszczenia do dokumentacji testów i oceny związków.
- Analityka: Dostarcza ilościowe wyniki EHI w celu wyznaczania punktów odniesienia i porównywania wyników streszczania w różnych warunkach.
- Badania translacyjne: Zachowuje wierność encji w mapowaniu biomarkerów i chorób podczas przechodzenia z etapu odkrywania do etapów przedklinicznych.
- Ponowne wykorzystanie w przedsiębiorstwie: Tworzy skalowalną, opartą na systemie nagród funkcjonalność streszczania dla różnorodnych źródeł tekstowych w sektorze biofarmaceutycznym.
Wpływ operacyjny i przedsiębiorstwa
- Wartość naukowa: Zwiększa pewność predykcyjną i redukuje niejednoznaczność mechanistyczną w analizach wyciągniętych z tekstu.
- Wartość operacyjna: Standaryzuje ekstrakcję encji i generowanie podsumowań w różnych zespołach i projektach.
- Wartość strategiczna: Wspiera lepsze podejmowanie decyzji o kontynuacji lub przerwaniu projektu (go/no-go) poprzez poprawę niezawodności zautomatyzowanej ekstrakcji wiedzy.
- Wpływ na portfolio: Umożliwia priorytetyzację z uwzględnieniem ryzyka poprzez ograniczenie propagacji błędnych danych dotyczących encji.
Uwagi dotyczące wdrożenia
- Wymaga wiedzy specjalistycznej z zakresu przetwarzania języka naturalnego oraz uczenia ze wzmocnieniem w celu dostrajania modelu.
- Wymaga dostępu do ustrukturyzowanych zbiorów danych transkrypcyjnych oraz wzorcowych podsumowań referencyjnych do obliczeń EHI.
- Wymaga uzgodnienia definicji encji i standardów ekstrakcji pomiędzy zespołami.
- Może wymagać adaptacji progów EHI dla różnych dziedzin biomedycznych lub typów dokumentów.
- Zależność od jakości początkowych modeli wstępnie wytrenowanych oraz danych referencyjnych w celu uzyskania optymalnej wydajności.
