Name: Dostrajanie dużych modeli językowych za pomocą indeksu urojeń entytytów do sumaryzacji tekstu (Wideo) | JoVE Journal
Uploaded: 2026-01-09T13:45:00.000+00:00
Duration: 4 min 16 s
Description: Poznaj metodę dostrajania dużych modeli językowych przy użyciu indeksu urojeń entytytów, aby zmniejszyć halucynacje w streszczeniach tekstu. Technika poprawia wiarygodność faktów bez utraty informatywności.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Celem niniejszej pracy jest dostrojenie modelu językowego (LM) w celu generowania podsumowań z zmniejszoną halucynacją encji. Halucynacje występują, gdy model "z pewnością produkuje niewłaściwe lub nieistotne wyniki", ponieważ generuje tekst zgodnie ze statystyczną prawdopodobieństwem, a nie weryfikacją faktyczną. Osiąga się to poprzez zaprojektowanie funkcji nagrody opartej na indeksie halucynacji encji (EHI) i zastosowanie uczenia wzmacniającego w celu jej zmaksymalizowania.
Sformułowanie problemu 
Mając dokument wejściowy Xi, celem jest wygenerowanie podsumowania Yi takiego, że encje wymienione w Yi są zakorzenione w Xi. Tradycyjne trenowanie o maksymalnym prawdopodobieństwie nie optymalizuje bezpośrednio spójności faktycznej. Te metody trenowania nie karzą za dołączenie wymyślonych encji. Dlatego wprowadzona zostaje strategia dostojenia napędzana nagrodami, gdzie nagroda jest proporcjonalna do wierności encji, mierzonej za pomocą EHI.
Zestaw danych i metoda 
Wykorzystano dwa korpusy: po pierwsze, zbiór transkrypcji dialogów z wielowypowiedziowych transkrypcji spotkań i abstrakcyjnych podsumowań referencyjnych, a po drugie, benchmark sumaryzacji wiadomości XSUM22,23. Każdy zbiór został oczyszczony, spłaszczony i podzielony na 80% na trening, 10% na walidację i 10% na test. Dialogi są bogate w język potoczny i zaimki, podczas gdy XSUM zawiera zwięzłe artykuły informacyjne; kombinacja pozwala nam na ewaluację zarówno generalizacji w obrębie domeny, jak i poza nią.
Wyciąganie encji jest przeprowadzane zarówno na źródłowych dokumentach, jak i podsumowaniach w celu obliczenia Indeksu Halucynacji Encji (EHI). Podczas dostojenia, niniejsza praca wyłącznie wykorzystuje podzbiór treningowy, podczas gdy wskaźniki EHI na walidacji są monitorowane, aby wybrać najlepszy checkpoint. Ostateczne ewaluacje są raportowane na wyłączonym zbiorze testowym, który pozostaje zero-shot przed i po dostrojeniu modeli.
Podsumowując, po pierwsze, transkrypcje są organizowanie w spłaszczony format i dzielone na dane. Przetrenowany model generuje podsumowania bazowe. Po drugie, EHI jest obliczany za pomocą opartego na transformatorach NER i pięciu czynników halucynacji. Podczas dostojenia, model jest aktualizowany za pomocą nagrody EHI przez adaptery LoRa. Wreszcie, podsumowania są generowane za pomocą dostrojonego modelu i oceniane za pomocą EHI, Encja F1 i innych wskaźników (Rysunek 2). Wszystkie eksperymenty są powtarzalne dzięki dostarczonym kodom i plikom konfiguracyjnym. Rysunek 3 przedstawia stopniowy przepływ procesu przygotowania zbioru danych, bazowego sumaryzowania, obliczania EHI, dostojenia i ewaluacje.
Podsumowanie bazowe 
Wybrane zostały trzy przetrenowanie LLM, a ich bazowe sumaryzowanie zostało uchwycone: Flan-T5, Mistral (Nous-Hermes-2-Mistral-7B-DPO) i DistilBART24,25,26. Każdy model był uruchamiany w trybie zero-shot, aby wygenerować początkowe podsumowanie (Yi) dla każdego dokumentu wejściowego (xi). Wyszukiwanie wiązkowe z szerokością wiązki równą 4 i karą długości równą 1.0 zostało zastosowane, aby zachęcić do płynnych, ale zwięzłych podsumowań. Te bazowe podsumowania służyły do oszacowania częstości występowania halucynacji i dostarczyły punktów wyjściowych do dostojenia.
Wyciąganie encji i obliczanie EHI 
Dokładne obliczenie Indeksu Halucynacji Encji (EHI) wymaga solidnego NER. Początkowo, do operacji NER używano Spacy. Rozumie się, że modele NER oparte na transformatorach są bardziej dokładne, ale Spacy był początkowym wyborem z następujących powodów: (1) Modele NER oparte na transformatorach udowodniły, że halucynują bardziej niż Spacy. (2) Spacy będąc statystycznym wprowadza efektywność obliczeniową pod względem kosztów implementacji i czasu wykonania. (3) Pomaga nam również udowodnić, że EHI jest odporny na zmniejszenie halucynacji nawet z słabszym modelem NER. Jednak, biorąc pod uwagę fakt, że eksperymenty są przeprowadzane na uznanych zbiorach danych i spaCy's en_core_web_sm model jest kruchy na potocznych transkrypcjach13. Spacy jest zastępowany transformatorowym modelem NER (dslim/bert-base-NER), który jest modelem BERT dostrojonym na zbiorze danych CoNLL-2003. Systemy NER oparte na BERT zostały wykazane jako lepsze od modeli spaCy w zadaniach specyficznych dla domeny - na przykład, model Aviation-BERT-NER osiągnął F1 równe 94,78% identyfikując 17 encji w porównaniu z 93,73% dla spaCy NER, który rozpoznał siedem encji27. Model NER BERT został skonfigurowany za pomocą Hugging Face Transformers28 i wykonywał dopasowanie niezależne od wielkości liter. Aby uchwycić zaimki i wariacje powierzchniowe, ta metoda dodatkowo zastosowała proste zasady, które mapują "Pan Smith" i "Smith" do tej samej kanonicznej formy; jednak peł

<ol><li>Maynez, J., Narayan, S., Bohnet, B., McDonald, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((On+faithfulness+and+factuality+in+abstractive+summarization%5BTitle%5D)+AND+%22Proc+Annu+Meet+Assoc+Comput+Linguist%22%5BJournal%5D)">On faithfulness and factuality in abstractive summarization.</a> Proc Annu Meet Assoc Comput Linguist. 2020, 173-173 (2020).</li>
<li>FEQA: A question answering evaluation framework for faithfulness assessment in abstractive summarization. Durmus, E., He, H., Diab, M. Proc Conf Empir Methods Nat Lang Process, , 454-454 (2020).</li>
<li>A short summary of automatic summarization. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22NLG+Blog%22">NLG Blog</a>. , Andong. https://andongluis.github.io/nlg-blog/Summarization-post/ (2018).</li>
<li>Understanding factuality in abstractive summarization. Pagnoni, A., Padmakumar, V., May, J. Proc Conf North Am Chapter Assoc Comput Linguist Hum Lang Technol, 2021, 4812-4829 (2021).</li>
<li>Lin, C. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((ROUGE%3A+A+package+for+automatic+evaluation+of+summaries%5BTitle%5D)+AND+%22Workshop+Text+Summarization+Branches+Out%22%5BJournal%5D)">ROUGE: A package for automatic evaluation of summaries.</a> Workshop Text Summarization Branches Out. 2004, 74-81 (2004).</li>
<li>Evaluating the factual consistency of abstractive text summarization. Kryściński, W., McCann, B., Xiong, C., Socher, R. Proc Conf Empir Methods Nat Lang Process, 2020, 750-750 (2020).</li>
<li>Goyal, T., Durmus, E., Cardie, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fact+checking+summarization+with+self+supervised+and+few+shot+learning%5BTitle%5D)+AND+%22Proc+Annu+Meet+Assoc+Comput+Linguist%22%5BJournal%5D)">Fact checking summarization with self supervised and few shot learning.</a> Proc Annu Meet Assoc Comput Linguist. 2022, 564-579 (2022).</li>
<li>QuestEval: Summarization asks for fact-based evaluation. Scialom, T., Dray, P. A., Lamprier, S., Piwowarski, B., Staiano, J., Wang, A., Gallinari, P. Proc Conf Empir Methods Nat Lang Process, 2021, 6594-6604 (2021).</li>
<li>Mukesh, K. Hallucinations in abstractive summarization. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aMukesh%2C+K+%22Medium%22">Medium</a>. , https://medium.com/@mukesh.kr/hallucinations-in-abstractive-summarization-b5904bc1c5c5 (2023).</li>
<li>Factual error correction for abstractive summarization models. Cao, M., Dong, Y., Wu, J., Cheung, J. C. K. Proc Conf Empir Methods Nat Lang Process, 2020, 6251-6258 (2020).</li>
<li>Yan, E. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aYan%2C+E+%22Evaluation+%26+hallucination+detection+for+abstractive+summaries%22">Evaluation & hallucination detection for abstractive summaries</a>. , https://eugeneyan.com/writing/abstractive-summarization-evaluation/ (2021).</li>
<li>Uekawa, A. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aUekawa%2C+A+%22Evaluation+metrics+for+summarization%22">Evaluation metrics for summarization</a>. , https://dev.to/akuer/evaluation-metrics-for-summarization-1d7f (2023).</li>
<li>Honnibal, M., Montani, I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((spaCy+2%3A+Natural+language+understanding+with+Bloom+embeddings+convolutional+neural+networks+and+incremental+parsing%5BTitle%5D)+AND+%22Zenodo%22%5BJournal%5D)">spaCy 2: Natural language understanding with Bloom embeddings convolutional neural networks and incremental parsing.</a> Zenodo. , (2017).</li>
<li>Reinforcement learning from human feedback: Aligning large language models. , At
 <a target="_blank" href="https://neptune.ai/blog/reinforcement-learning-from-human-feedback">https://neptune.ai/blog/reinforcement-learning-from-human-feedback</a> (2023).</li>
<li>Shakil, H., Farooq, A., Kalita, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Abstractive+text+summarization%3A+State+of+the+art%2C+challenges%2C+and+improvements%5BTitle%5D)+AND+%22Neurocomputing%22%5BJournal%5D)">Abstractive text summarization: State of the art, challenges, and improvements.</a> Neurocomputing. 603, 128255-128255 (2024).</li>
<li>AI, Z. Reducing LLM hallucinations: A developer's guide. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aAI%2C+Z+%22GetZep%22">GetZep</a>. , https://www.getzep.com/ai-agents/reducing-llm-hallucinations/ (2025).</li>
<li>Ouyang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Training+language+models+to+follow+instructions+with+human+feedback%5BTitle%5D)+AND+%22Adv+Neural+Inf+Process+Syst%22%5BJournal%5D)">Training language models to follow instructions with human feedback.</a> Adv Neural Inf Process Syst. 2022, 27730-27744 (2022).</li>
<li>Entity hallucination index in abstractive summarization-A metric. Praveenkumar, K., Balbantaray, R. C., Vittala, K. P. Proc Int Conf Commun Circuits Syst, 2023, 1-5 (2023).</li>
<li>Multi-reward reinforced summarization with saliency and entailment. Pasunuru, R., Bansal, M. Proc Conf North Am Chapter Assoc Comput Linguist Hum Lang Technol, 2018, 646-653 (2018).</li>
<li>Williams, R. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Simple+statistical+gradient-following+algorithms+for+connectionist+reinforcement+learning%5BTitle%5D)+AND+%22Mach+Learn%22%5BJournal%5D)">Simple statistical gradient-following algorithms for connectionist reinforcement learning.</a> Mach Learn. 8 (3-4), 229-256 (1992).</li>
<li>Katwe NLP. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EHI_XLSUM_XSUM_Finetuning%22">EHI_XLSUM_XSUM_Finetuning</a>. , GitHub. https://github.com/katweNLP/EHI_XLSUM_XSUM_Finetuning (2025).</li>
<li>ELITR minuting corpus: A novel dataset for automatic minuting from multi-party meetings in English and Czech. Nedoluzhko, A., Singh, M., Hledíková, M., Ghosal, T., Bojar, O. Proc Int Conf Lang Resour Eval (LREC), 2022, 2623-2632 (2022).</li>
<li>Don't give me the details, just the summary! Topic aware convolutional neural networks for extreme summarization. Narayan, S., Cohen, S. B., Lapata, M. Proc Conf Empir Methods Nat Lang Process, 2018, 1797-1807 (2018).</li>
<li>Lewis, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Denoising+sequence+to+sequence+pre+training+for+natural+language+generation%2C+translation%2C+and+comprehension%5BTitle%5D)+AND+%22Proc+Annu+Meet+Assoc+Comput+Linguist%22%5BJournal%5D)">Denoising sequence to sequence pre training for natural language generation, translation, and comprehension.</a> Proc Annu Meet Assoc Comput Linguist. 2020, 7871-7880 (2020).</li>
<li>Chung, H. W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Scaling+instruction+fine-tuned+language+models%5BTitle%5D)+AND+%22J+Mach+Learn+Res%22%5BJournal%5D)">Scaling instruction fine-tuned language models.</a> J Mach Learn Res. 25 (1), 1-53 (2024).</li>
<li>Jiang, A. Q., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mistral+7B%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Mistral 7B.</a> arXiv. , (2023).</li>
<li>Chandra, C., Ojima, Y., Bendarkar, M. V., Mavris, D. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Aviation+BERT+NER%3A+Named+entity+recognition+for+aviation+safety+reports%5BTitle%5D)+AND+%22Aerospace%22%5BJournal%5D)">Aviation BERT NER: Named entity recognition for aviation safety reports.</a> Aerospace. 11 (11), 890-890 (2024).</li>
<li>Lim, D. S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aLim%2C+DS+%22bert-base-NER%22">bert-base-NER</a>. , https://huggingface.co/dslim/bert-base-NER (2021).</li>
<li>Adam: A method for stochastic optimization. Kingma, D. P., Ba, J. Int Conf Learn Represent, , (2015).</li>
<li>QAGS: Evaluating question answering and generation for summarization. Wang, A., Cho, K. Proc Conf Empir Methods Nat Lang Process, 2020, 390-402 (2020).</li>
<li>Patil, S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aPatil%2C+S+%22valhalla%2Ft5-small-qg-hl%22">valhalla/t5-small-qg-hl</a>. , https://huggingface.co/valhalla/t5-small-qg-hl (2020).</li>
<li><a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22deepset%2Froberta-base-squad2%22">deepset/roberta-base-squad2</a>. , Deepset GmbH. https://huggingface.co/deepset/roberta-base-squad2 (2020).</li>
<li>Factually consistent summarization via reinforcement learning with textual entailment feedback. Roit, P., et al. Proc Annu Meet Assoc Comput Linguist, 2023, 8027-8044 (2023).</li>
<li>Hallucination diversity aware active learning for text summarization. Xia, Y., et al. Proc Conf North Am Chapter Assoc Comput Linguist Hum Lang Technol, 2024, 3885-3900 (2024).</li>
<li>Wei, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((TruthRL%3A+Incentivizing+truthful+large+language+models+via+reinforcement+learning%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">TruthRL: Incentivizing truthful large language models via reinforcement learning.</a> arXiv. , (2025).</li>
</ol>

Autorzy nie mają nic do ujawnienia.

Mierniki oparte na pytaniach (np. FEQA/QuestEval/QAFactEval) i mierniki oparte na NIJ (np. FactCC/SummaC) wymagają dodatkowych komponentów QA/entailment i często dostarczają ocen na poziomie zdania. W przeciwieństwie do tego, EHI jest lekkim, niezależnym od referencji, wskaźnikiem na poziomie encji, który (i) bezpośrednio atakuje główny tryb awarii, który obserwujemy -- halucynacje encji; (ii) jest niezależny od modelu i szybki do obliczenia; oraz (iii) służy jako gęsta nagroda dla dostrajania RL. Empirycznie, EHI uzupeł...

Modele sumaryzacyjne abstrakcyjne, zasilane dużymi modelami językowymi (LLMs), osiągnęły imponujące wyniki w różnych dziedzinach. Jednakże nadal istnieje trwałe wyzwanie polegające na halucynacjach, gdzie wygenerowane podsumowania zawierają niepoprawne lub fabrykowane informacje, które nie są zakorzenione w źródłowym wejściu1,2. W zastosowaniach o wysokich stajkach, takich jak podsumowanie spotkań, raportowanie medyczne czy dokumentacja finansowa, halucynacje, szczególnie te zawierające nazwane jednostki, mogą znacząco podważyć wiarygodność i użyteczność3.
Badanie przeprowadzone przez badaczy na dużą skalę wykazało, że summarizery często generują halucynacje – treść, która nie jest wspierana przez dokument źródłowy – i że te halucynacje koreluje się z powtórzeniami i niekoherencją1. Inne badanie wykazało, że modele o wyższym stopniu abstrakcyjności mają tendencję do mniejszej wierności; ich badanie doniosło, że wyniki zawierające więcej abstrakcji miały niższą dokładność faktualną i więcej niewiernych zdań2. Benchmark FRANK doniósł, że około 30% podsumowań zawierało niezgody faktualne, a inne popularne badanie zwróciło uwagę na podobne współczynniki błędów, twierdząc, że wysoki poziom halucynacji sprawia, że podsumowania są praktycznie bezużyteczne1,2. Halucynacje można sklasyfikować jako wewnętrzne (sprzeczne ze źródłem) lub zewnętrzne (nieweryfikowalne ze źródła). Tutorial na temat halucynacji w abstrakcyjnym podsumowywaniu wyjaśnia, że halucynacje wewnętrzne występują, gdy wygenerowana treść jest sprzeczna z wejściem (np. niewłaściwe zgłoszenie zatwierdzonej szczepionki jako odrzucone), podczas gdy halucynacje zewnętrzne dodają nieweryfikowalne fakty, takie jak twierdzenie o przeprowadzaniu badań klinicznych dla szczepionki, które nie zostały wspomniane4. Badanie doniosło również, że najlepsze summarizery generują halucynującą treść w około 25% ich wyników, gdy są oceniane za pomocą ROUGE, BLEU i METEOR, i ostrzega, że halucynacje mogą być szkodliwe w dziedzinach takich jak zdrowie, prawo czy bezpieczeństwo cybernetyczne.
Tradycyjne metryki n-gramowe (ROUGE5, BLEU, METEOR) słabo korelują z ludzkimi ocenakami faktualności, co skłoniło do opracowania metryk opartych na referencji i nieopartych na referencji6. Metryki oparte na QA, takie jak FEQA i QuestEval, oceniają podsumowania poprzez pytanie, czy pary pytanie-odpowiedz pochodzące z podsumowania mogą być odpowiedziane przy użyciu tekstu źródłowego. FEQA koreluje silniej z ocenakami ludzkimi i pokazuje, że bardziej abstrakcyjne podsumowania mają tendencję do mniejszej wierności, podczas gdy QuestEval znacząco poprawia korelacje z ocenakami ludzkimi w zakresie spójności, koherencji, płynności i istotności. QAFactEval udoskonalił to podejście poprzez wybieranie odpowiedzi w postaci fraz nominalnych i generowanie pytań przed ich odpowiedzią; ta strategia poprawia korelacje z ocenami ludzkimi w benchmarku SummaC. Metryki ekstrakcji informacji (IE) reprezentują wiedzę jako trójki podmiot-relacja-obiekt, ale są podatne na błędy w procesie ekstrakcji. Metryki wnioskowania naturalnego języka (NLI) – takie jak FactCC i SummaC – klasyfikują zdania podsumowania jako zawarte lub sprzeczne ze źródłem4. FactCC używa słabo nadzorowanych danych do trenowania klasyfikatora, który wykrywa spójność faktualną i podświetla niespójne fragmenty2. SummaC stosuje modele NLI na odpowiedniej granicy i daje silne oszacowania faktualności, ale benchmark FRANK zauważa, że te metryki nadal traktują faktualność jako binarną i brakuje im ujednoliconej ramy1,7,8. Proponowane przez badaczy wymiary oceny ludzkiej – płynność, koherencja, istotność i spójność – są szeroko stosowane9. Inne badanie oceny podkreśla, że spójność jest najbardziej obiektywnym wymiarem, ponieważ po prostu sprawdza, czy podsumowanie jest zawarte w źródle; wskazuje, że aż do 92% podsumowań XSum zawiera błędy wierności9,10. Jednakże ocena ludzka jest czasochłonna i kosztowna, więc automatyczne metryki są niezbędne dla skalowalnej oceny8. Obecne metryki często łączą halucynacje wewnętrzne i zewnętrzne w pojedynczy wynik, utrudniając diagnozowanie błędów4.
Ponieważ trening o maksymalnym prawdopodobieństwie nie optymalizuje bezpośrednio jakości podsumowania, uczenie wzmacniające (RL) zostało zastosowane, aby poprawić istotność i faktualność. Pasunuru i Bansal wprowadzili wielowyznaniowe otoczenie RL, które łączy nagrody z saliency (ROUGE) i wyników z zakresu wyników, i wykazało najlepszą wydajność11. RL zostało zastosowane do podsumowywania ek

<table><tbody><tr><td>Colab NVIDIA A100 GPU</td><td>NVIDIA</td><td>N/A</td><td>Google Colaboratory Pro</td></tr><tr><td>DistilBART (Encoder&ndash;Decoder)</td><td>Hugging Face</td><td>https://huggingface.co/sshleifer/distilbart-cnn-12-6</td><td></td></tr><tr><td>dslim/bert-base-NER</td><td>Hugging Face (dslim)</td><td>https://huggingface.co/dslim/bert-base-NER</td><td>Fine-tuned BERT base for English NER</td></tr><tr><td>Evaluation Models&nbsp; QAGS (QA-based)</td><td>Salesforce Research</td><td>N/A</td><td>Klasyfikator faktów</td></tr><tr><td>Evaluation Models (Factuality) FactCC</td><td>Google Research</td><td>N/A</td><td>Klasyfikator faktów</td></tr><tr><td>Flan-T5 (Encoder&ndash;Decoder)</td><td>Google</td><td>https://huggingface.co/docs/transformers/main/en/model_doc/flan-t5</td><td>open-source, text-to-text, large language model</td></tr><tr><td>Hugging Face Transformers</td><td>Hugging Face, Inc.</td><td>https://huggingface.co/docs/transformers/index</td><td>Ładowanie modelu &amp; dostrajanie</td></tr><tr><td>Nous-Hermes-2-Mistral-7B-DPO</td><td>Mistral</td><td>https://huggingface.co/NousResearch/Nous-Hermes-2-Mistral-7B-DPO</td><td>Model językowy 7 miliardów parametrów</td></tr><tr><td>Język programowania Python 3.10 (środowisko uruchomieniowe Colab)</td><td>Python Software Foundation</td><td>Wersja 3.10</td><td>Implementacja rdzeniowa</td></tr><tr><td>Streamlit</td><td>Open Source&nbsp;</td><td>https://streamlit.io/</td><td>Klasyfikator faktów</td></tr><tr><td>Zestaw danych XLSUM</td><td>BUET</td><td>https://github.com/csebuetnlp/xl-sum</td><td></td></tr><tr><td>Zestaw danych XSUM</td><td>University of Edinburgh</td><td>https://github.com/EdinburghNLP/XSum</td><td></td></tr></tbody></table>

dostrajanie dużych modeli językowych za pomocą indeksu urojeń entytytów do sumaryzacji tekstu

Fine-Tuning Large Language Models Using Entity Hallucination Index for Text Summarization

Ostatnie osiągnięcia w dużych modelach językowych (LLMs) doprowadziły do znacznej poprawy jakości abstrakcyjnego sumaryzowania. Jednak hallucynacja – szczególnie hallucynacja na poziomie encji, gdzie wprowadzane są nieistniejące lub nieprawidłowe encje – pozostaje krytycznym wyzwaniem. W niniejszej pracy proponujemy ramy do dostrajania modeli sumaryzacyjnych opartych na wskaźniku nagród, wykorzystując wskaźnik hallucynacji encji (EHI) jako wskaźnik kierujący. Metodologia rozpoczyna się od generowania początkowych streszczeń z wstępnie przetrenowanych modeli takich jak Flan-T5, DistilBART i Mistral (lub innych popularnych LLM) na strukturalnych zbiorach danych transkrypcji, XSUM. Obliczamy EHI przez wyodrębnianie nazwanych encji zarówno z wygenerowanych streszczeń, jak i z referencyjnych streszczeń, oceniając precyzję i karząc sfałszowane encje. Proces dostrajania jest kierowany przez uczenie wzmacniające, gdzie EHI służy jako sygnał nagród. Stosujemy mechanizm aktualizacji w stylu REINFORCE w celu zoptymalizowania modelu sumaryzacji pod kątem maksymalizacji wiarygodności encji. Eksperymenty wykazują, że modele dostrojone z wykorzystaniem EHI osiągają niższe współczynniki hallucynacji bez kompromisu dla ich pouczającej treści. Ponadto pokazujemy, że modele kierowane przez EHI lepiej generalizują się w zadaniach sumaryzacyjnych poza domeną, sugerując zwiększoną odporność. Zaproponowane podejście oferuje praktyczny kierunek poprawy faktyczności w sumaryzacji, podkreślając krytyczną rolę dokładnego przedstawiania encji.

Eksperymenty tutaj koncentrują się na ilościowych dowodach wpływu, jaki EHI-guided fine-tuning ma na zmniejszenie halucynacji na poziomie jednostek w wielu architekturach modeli i zbiorach danych. Wyniki pokazują spójne poprawy w metrykach halucynacji, zachowując spójność faktograficzną i zachowując zdolności odpowiedzi na pytania.
Wyniki działania zestawu danych 
Wyniki działania zestawu danych rozmów: 
Tabela 5 przedstawia wyniki r...

Proponujemy podejście do dostrajania modeli językowych opartych na uczeniu się przez wzmacnianie, które wykorzystuje Enti Hallucination Index (EHI) jako sygnał nagrody w celu zmniejszenia halucynacji na poziomie encji w podsumowaniu tekstu. Eksperymenty na transkrypcjach spotkań pokazują, że ta metoda poprawia wierność i dokładność encji.

Dostrajanie dużych modeli językowych za pomocą indeksu urojeń entytytów do sumaryzacji tekstu

Recent advancements in large language models (LLMs) have led to notable improvements in abstractive summarization quality. However, hallucination - ...

To badanie wykorzystuje Entity Hallucination Index jako sygnał nagród, aby zmniejszyć nieprawidłową generację encji w tekście podsumowanym przez AI. Obecne metryki są zbyt ogólne, więc ten protokół stosuje subtelne nagrody encji, aby poprawić faktyczność bez etykiet ludzkich. Na początek używa się dwóch głównych korpusów, w tym zbioru danych transkrypcji rozmów z wieloobrottowymi transkrypcjami spotkań i wskaźnika sumaryzacji wiadomości XSum News.Oczyść każdy zestaw danych, spłaszcz dane i podziel je na 80% zestawu treningowego, 10% zestawu walidacyjnego i 10% zestawu testowego. Wykonaj tokenizację i ekstrakcję encji przy użyciu modelu NER opartego na transformatorach D slim/BERT, aby zapewnić solidne zakotwiczenie. Wygeneruj początkowe podsumowania w trybie zero shot przy użyciu wyszukiwania wiązki o szerokości czterech, aby oszacować podstawową występowanie halucynacji.Oblicz indeks halucynacji encji jako referencyjny poziom metryki encji, który klasyfikuje encje na pięć czynników, aby sprecyzować wierność. Nagrodź ekstraktywność i pozytywne halucynacje oraz ukarzaj negatywne halucynacje, przesadnie skoncentrowane encje i utracone ogniwo. Zdefiniuj funkcję nagród proporcjonalną do wierności encji i maksymalizuj oczekiwaną nagrodę EHI na wszystkich wygenerowanych podsumowaniach.Zastosuj wzmocniony mechanizm aktualizacji stylu w celu optymalizacji parametrów modelu w kierunku maksymalizacji wierności encji. Użyj adaptacji niskiego rangi, aby umożliwić efektywne drobne dostrajanie i aktualizuj tylko adaptery LoRA, zachowując zamrożone wagi modelu bazowego. Następnie zastosuj aktualizacje gradientu polityki, aby zachęcać do wyższych wyników nagród i ponownie generują podsumowania co 500 aktualizacji, aby odświeżyć oszacowania nagród.Wreszcie wygeneruj końcowe podsumowania za pomocą dostrojonych modeli i porównaj je z wynikami bazowymi. Oceń modele pod kątem pouczającości przy użyciu Rouge jednego, Rouge dwóch i Rouge L, płynności i spójności faktycznej za pomocą fact CC i CAGs. Dostrajanie EHI zmniejszyło halucynacje i poprawiło faktyczność w różnych modelach i zbiorach danych, co potwierdzają przesunięcia w kierunku dodatnim w EHI i rozkłady fact CC, a wyniki CAGs pozostały w dużej mierze niezmienione.Szkodliwe typy halucynacji, takie jak negatywne, przesadnie skoncentrowane i utracone ogniwo, zostały zmniejszone w Mistral po dostrajeniu, podczas gdy czynnik ekstraktywności prawie się podwoił. Analiza korelacji wykazała, że EHI i CAGs miały słaby wskaźnik korelacji w Mistral i DistilBART, ale Flan-T5 wykazał silniejszą pozytywną korelację. Badacze mogą mierzyć wierność na poziomie encji i wskaźniki halucynacji w podsumowaniach za pomocą zautomatyzowanego sygnału nagrody EHI.Najbardziej krytycznym wyzwaniem jest dokładność NER, ponieważ błędy ekstrakcji mogą rozprzestrzeniać się na nieprawidłowe obliczenia nagród podczas treningu. Przyszłe badania mogą zintegrować rozwiązywanie współreferencji i nagrody informacyjne, aby lepiej zbilansować wierność z pokryciem podsumowania.

fine-tuning-large-language-models-using-entity-hallucination-index

Research

JoVE Journal

Engineering

Inżynieria

W tym protokole, jakość odpowiedzi modelu dużego języka jest poprawiana poprzez wzbogacenie o recenzowane, specyficzne dla danej dziedziny artykuły naukowe dzięki mechanizmowi osadzania wektorów. Ponadto dostarczany jest kod, który pomaga w porównywaniu wydajności między dużymi modelami językowymi.

Rozszerzanie dużych modeli językowych za pomocą osadzania wektorów w celu poprawy responsywności specyficznej dla domeny

Organiczne materiały fotowoltaiczne (OPV) są z natury niejednorodne w skali nanometrów. Niejednorodność materiałów OPV w nanoskali wpływa na wydajność urządzeń fotowoltaicznych. W artykule opisano protokół pomiarów ilościowych właściwości elektrycznych i mechanicznych materiałów OPV o rozdzielczości poniżej 100 nm.

Równoczesne ilościowe pomiary przewodności i właściwości mechanicznych organicznych materiałów fotowoltaicznych za pomocą AFM

Ten artykuł demonstruje protokół przekształcania eksperymentalnych limitów uproszczonego modelu w konserwatywne i agresywne limity na dowolny nowy model fizyczny. Publicznie dostępne wyniki eksperymentów LHC mogą być w ten sposób przekształcone w limity w prawie każdym nowym modelu fizycznym z sygnaturą podobną do supersymetrii.

Ustawianie granic supersymetrii przy użyciu uproszczonych modeli

Przedstawiono metodologię przygotowania nanoporów w stanie stałym w roztworze do eksperymentów z translokacją biomolekularną. Stosując krótkie impulsy o silnym polu elektrycznym, średnica nanoporów może być kontrolowana z subnanometryczną precyzją, a jej charakterystyka szumu elektrycznego znacznie się poprawia. Procedura ta jest wykonywana in situ przy użyciu standardowego sprzętu laboratoryjnego w warunkach eksperymentalnych.

Dostrajanie rozmiaru i minimalizowanie szumów nanoporów w stanie stałym

Fizyczne modele biomolekuł mogą ułatwić badaczowi zrozumienie ich struktury-funkcji, pomóc w komunikacji między badaczami i służyć jako narzędzie edukacyjne w przedsięwzięciach pedagogicznych. Tutaj przedstawiamy szczegółowe wskazówki dotyczące drukowania 3D dokładnych modeli biomolekuł przy użyciu stacjonarnych drukarek 3D do produkcji topionych włókien.

Druk 3D modeli biomolekularnych do badań i pedagogiki

Ta metoda ma na celu zlokalizowanie pionowych defektów podpowierzchniowych. W tym przypadku łączymy laser z przestrzennym modulatorem światła i uruchamiamy jego wejście wideo, aby deterministycznie podgrzać powierzchnię próbki za pomocą dwóch modulowanych linii antyfazowych, uzyskując jednocześnie obrazy termiczne o wysokiej rozdzielczości. Pozycja defektu jest uzyskiwana z oceny minimów zakłóceń fal termicznych.

Lokalizacja defektów podpowierzchniowych poprzez ogrzewanie strukturalne za pomocą laserowej termografii fototermicznej

Poprzez siarkowanie wstępnie osadzonych metali przejściowych, można wytwarzać heterostruktury krystaliczne o dużej powierzchni i pionowe 2D. W niniejszym raporcie przedstawiono również procedury przenoszenia folii i produkcji urządzeń.

Otrzymywanie wielkopowierzchniowych pionowych heterostruktur krystalicznych 2D poprzez siarkowanie warstw metali przejściowych do wytwarzania urządzeń

Ten artykuł pokazuje metodę chirurgicznego umieszczania u myszy cewnika dootrzewnowego podłączonego do portu dostępowego, który znajduje się z tyłu zwierzęcia. Ponadto wyjaśnia procedurę nefrektomii 5/6, aby przypominała stan mocznicowy pacjentów z chorobą Parkinsona.

Techniki chirurgiczne zakładania cewnika i nefrektomii 5/6 w mysich modelach dializy otrzewnowej

Przedstawiono protokół demonstrujący dwuetapową technikę wytwarzania dużych rozmiarów, jednowarstwowych, prostokątnych płatków SnSe na tanich płytkach dielektrycznych SiO2/Si w systemie pieca z rurkami kwarcowymi pod ciśnieniem atmosferycznym.

Wytwarzanie pod ciśnieniem atmosferycznym wielkogabarytowych jednowarstwowych prostokątnych płatków SnSe

Ten protokół opisuje wytwarzanie urządzeń mikroprzepływowych z MY133-V2000 w celu wyeliminowania artefaktów, które często powstają w mikrokanałach z powodu niezgodności współczynników załamania światła między strukturami mikrokanalików a roztworem wodnym. Protokół ten wykorzystuje akrylowy uchwyt do ściskania zamkniętego urządzenia, poprawiając przyczepność zarówno chemicznie, jak i mechanicznie.

Produkcja urządzeń o dopasowanym współczynniku załamania światła dla mikrofluidyki biomedycznej

Poznaj metodę dostrajania dużych modeli językowych przy użyciu indeksu urojeń entytytów, aby zmniejszyć halucynacje w streszczeniach tekstu. Technika poprawia wiarygodność faktów bez utraty informatywności.

Dostrajanie dużych modeli językowych za pomocą indeksu urojeń entytytów do sumaryzacji tekstu

Przeglądaj więcej filmów