Name: Grote taalmodellen fijn afstellen met behulp van de Entity Hallucination Index voor tekstsamenvatting (Video) | JoVE Journal
Uploaded: 2026-01-09T13:45:00.000+00:00
Duration: 4 min 16 s
Description: Leer hoe je grote taalmodellen fijn afstelt met de Entity Hallucination Index om entiteithallucinaties in tekstsamenvattingen te verminderen. Deze methode verbetert feitelijke nauwkeurigheid zonder informativiteit te verliezen.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

<ol><li>Maynez, J., Narayan, S., Bohnet, B., McDonald, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((On+faithfulness+and+factuality+in+abstractive+summarization%5BTitle%5D)+AND+%22Proc+Annu+Meet+Assoc+Comput+Linguist%22%5BJournal%5D)">On faithfulness and factuality in abstractive summarization.</a> Proc Annu Meet Assoc Comput Linguist. 2020, 173-173 (2020).</li>
<li>FEQA: A question answering evaluation framework for faithfulness assessment in abstractive summarization. Durmus, E., He, H., Diab, M. Proc Conf Empir Methods Nat Lang Process, , 454-454 (2020).</li>
<li>A short summary of automatic summarization. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22NLG+Blog%22">NLG Blog</a>. , Andong. https://andongluis.github.io/nlg-blog/Summarization-post/ (2018).</li>
<li>Understanding factuality in abstractive summarization. Pagnoni, A., Padmakumar, V., May, J. Proc Conf North Am Chapter Assoc Comput Linguist Hum Lang Technol, 2021, 4812-4829 (2021).</li>
<li>Lin, C. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((ROUGE%3A+A+package+for+automatic+evaluation+of+summaries%5BTitle%5D)+AND+%22Workshop+Text+Summarization+Branches+Out%22%5BJournal%5D)">ROUGE: A package for automatic evaluation of summaries.</a> Workshop Text Summarization Branches Out. 2004, 74-81 (2004).</li>
<li>Evaluating the factual consistency of abstractive text summarization. Kryściński, W., McCann, B., Xiong, C., Socher, R. Proc Conf Empir Methods Nat Lang Process, 2020, 750-750 (2020).</li>
<li>Goyal, T., Durmus, E., Cardie, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fact+checking+summarization+with+self+supervised+and+few+shot+learning%5BTitle%5D)+AND+%22Proc+Annu+Meet+Assoc+Comput+Linguist%22%5BJournal%5D)">Fact checking summarization with self supervised and few shot learning.</a> Proc Annu Meet Assoc Comput Linguist. 2022, 564-579 (2022).</li>
<li>QuestEval: Summarization asks for fact-based evaluation. Scialom, T., Dray, P. A., Lamprier, S., Piwowarski, B., Staiano, J., Wang, A., Gallinari, P. Proc Conf Empir Methods Nat Lang Process, 2021, 6594-6604 (2021).</li>
<li>Mukesh, K. Hallucinations in abstractive summarization. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aMukesh%2C+K+%22Medium%22">Medium</a>. , https://medium.com/@mukesh.kr/hallucinations-in-abstractive-summarization-b5904bc1c5c5 (2023).</li>
<li>Factual error correction for abstractive summarization models. Cao, M., Dong, Y., Wu, J., Cheung, J. C. K. Proc Conf Empir Methods Nat Lang Process, 2020, 6251-6258 (2020).</li>
<li>Yan, E. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aYan%2C+E+%22Evaluation+%26+hallucination+detection+for+abstractive+summaries%22">Evaluation & hallucination detection for abstractive summaries</a>. , https://eugeneyan.com/writing/abstractive-summarization-evaluation/ (2021).</li>
<li>Uekawa, A. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aUekawa%2C+A+%22Evaluation+metrics+for+summarization%22">Evaluation metrics for summarization</a>. , https://dev.to/akuer/evaluation-metrics-for-summarization-1d7f (2023).</li>
<li>Honnibal, M., Montani, I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((spaCy+2%3A+Natural+language+understanding+with+Bloom+embeddings+convolutional+neural+networks+and+incremental+parsing%5BTitle%5D)+AND+%22Zenodo%22%5BJournal%5D)">spaCy 2: Natural language understanding with Bloom embeddings convolutional neural networks and incremental parsing.</a> Zenodo. , (2017).</li>
<li>Reinforcement learning from human feedback: Aligning large language models. , At
 <a target="_blank" href="https://neptune.ai/blog/reinforcement-learning-from-human-feedback">https://neptune.ai/blog/reinforcement-learning-from-human-feedback</a> (2023).</li>
<li>Shakil, H., Farooq, A., Kalita, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Abstractive+text+summarization%3A+State+of+the+art%2C+challenges%2C+and+improvements%5BTitle%5D)+AND+%22Neurocomputing%22%5BJournal%5D)">Abstractive text summarization: State of the art, challenges, and improvements.</a> Neurocomputing. 603, 128255-128255 (2024).</li>
<li>AI, Z. Reducing LLM hallucinations: A developer's guide. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aAI%2C+Z+%22GetZep%22">GetZep</a>. , https://www.getzep.com/ai-agents/reducing-llm-hallucinations/ (2025).</li>
<li>Ouyang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Training+language+models+to+follow+instructions+with+human+feedback%5BTitle%5D)+AND+%22Adv+Neural+Inf+Process+Syst%22%5BJournal%5D)">Training language models to follow instructions with human feedback.</a> Adv Neural Inf Process Syst. 2022, 27730-27744 (2022).</li>
<li>Entity hallucination index in abstractive summarization-A metric. Praveenkumar, K., Balbantaray, R. C., Vittala, K. P. Proc Int Conf Commun Circuits Syst, 2023, 1-5 (2023).</li>
<li>Multi-reward reinforced summarization with saliency and entailment. Pasunuru, R., Bansal, M. Proc Conf North Am Chapter Assoc Comput Linguist Hum Lang Technol, 2018, 646-653 (2018).</li>
<li>Williams, R. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Simple+statistical+gradient-following+algorithms+for+connectionist+reinforcement+learning%5BTitle%5D)+AND+%22Mach+Learn%22%5BJournal%5D)">Simple statistical gradient-following algorithms for connectionist reinforcement learning.</a> Mach Learn. 8 (3-4), 229-256 (1992).</li>
<li>Katwe NLP. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EHI_XLSUM_XSUM_Finetuning%22">EHI_XLSUM_XSUM_Finetuning</a>. , GitHub. https://github.com/katweNLP/EHI_XLSUM_XSUM_Finetuning (2025).</li>
<li>ELITR minuting corpus: A novel dataset for automatic minuting from multi-party meetings in English and Czech. Nedoluzhko, A., Singh, M., Hledíková, M., Ghosal, T., Bojar, O. Proc Int Conf Lang Resour Eval (LREC), 2022, 2623-2632 (2022).</li>
<li>Don't give me the details, just the summary! Topic aware convolutional neural networks for extreme summarization. Narayan, S., Cohen, S. B., Lapata, M. Proc Conf Empir Methods Nat Lang Process, 2018, 1797-1807 (2018).</li>
<li>Lewis, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Denoising+sequence+to+sequence+pre+training+for+natural+language+generation%2C+translation%2C+and+comprehension%5BTitle%5D)+AND+%22Proc+Annu+Meet+Assoc+Comput+Linguist%22%5BJournal%5D)">Denoising sequence to sequence pre training for natural language generation, translation, and comprehension.</a> Proc Annu Meet Assoc Comput Linguist. 2020, 7871-7880 (2020).</li>
<li>Chung, H. W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Scaling+instruction+fine-tuned+language+models%5BTitle%5D)+AND+%22J+Mach+Learn+Res%22%5BJournal%5D)">Scaling instruction fine-tuned language models.</a> J Mach Learn Res. 25 (1), 1-53 (2024).</li>
<li>Jiang, A. Q., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mistral+7B%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Mistral 7B.</a> arXiv. , (2023).</li>
<li>Chandra, C., Ojima, Y., Bendarkar, M. V., Mavris, D. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Aviation+BERT+NER%3A+Named+entity+recognition+for+aviation+safety+reports%5BTitle%5D)+AND+%22Aerospace%22%5BJournal%5D)">Aviation BERT NER: Named entity recognition for aviation safety reports.</a> Aerospace. 11 (11), 890-890 (2024).</li>
<li>Lim, D. S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aLim%2C+DS+%22bert-base-NER%22">bert-base-NER</a>. , https://huggingface.co/dslim/bert-base-NER (2021).</li>
<li>Adam: A method for stochastic optimization. Kingma, D. P., Ba, J. Int Conf Learn Represent, , (2015).</li>
<li>QAGS: Evaluating question answering and generation for summarization. Wang, A., Cho, K. Proc Conf Empir Methods Nat Lang Process, 2020, 390-402 (2020).</li>
<li>Patil, S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aPatil%2C+S+%22valhalla%2Ft5-small-qg-hl%22">valhalla/t5-small-qg-hl</a>. , https://huggingface.co/valhalla/t5-small-qg-hl (2020).</li>
<li><a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22deepset%2Froberta-base-squad2%22">deepset/roberta-base-squad2</a>. , Deepset GmbH. https://huggingface.co/deepset/roberta-base-squad2 (2020).</li>
<li>Factually consistent summarization via reinforcement learning with textual entailment feedback. Roit, P., et al. Proc Annu Meet Assoc Comput Linguist, 2023, 8027-8044 (2023).</li>
<li>Hallucination diversity aware active learning for text summarization. Xia, Y., et al. Proc Conf North Am Chapter Assoc Comput Linguist Hum Lang Technol, 2024, 3885-3900 (2024).</li>
<li>Wei, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((TruthRL%3A+Incentivizing+truthful+large+language+models+via+reinforcement+learning%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">TruthRL: Incentivizing truthful large language models via reinforcement learning.</a> arXiv. , (2025).</li>
</ol>

<table><tbody><tr><td>Colab NVIDIA A100 GPU</td><td>NVIDIA</td><td>N/A</td><td>Google Colaboratory Pro</td></tr><tr><td>DistilBART (Encoder&ndash;Decoder)</td><td>Hugging Face</td><td>https://huggingface.co/sshleifer/distilbart-cnn-12-6</td><td></td></tr><tr><td>dslim/bert-base-NER</td><td>Hugging Face (dslim)</td><td>https://huggingface.co/dslim/bert-base-NER</td><td>Fine-tuned BERT base voor Engelse NER</td></tr><tr><td>Evaluatiemodellen  QAGS (QA-gebaseerd)</td><td>Salesforce Research</td><td>N/A</td><td>Factualiteitsclassificator</td></tr><tr><td>Evaluatiemodellen (Factualiteit) FactCC</td><td>Google Research</td><td>N/A</td><td>Factualiteitsclassificator</td></tr><tr><td>Flan-T5 (Encoder&ndash;Decoder)</td><td>Google</td><td>https://huggingface.co/docs/transformers/main/en/model_doc/flan-t5</td><td>open-source, tekst-naar-tekst, groot taalmodel</td></tr><tr><td>Hugging Face Transformers</td><td>Hugging Face, Inc.</td><td>https://huggingface.co/docs/transformers/index</td><td>Model laden &amp; fijnafstemming</td></tr><tr><td>Nous-Hermes-2-Mistral-7B-DPO</td><td>Mistral</td><td>https://huggingface.co/NousResearch/Nous-Hermes-2-Mistral-7B-DPO</td><td>7 miljard parameter taalmodel</td></tr><tr><td>Programmeertaal Python 3.10 (Colab runtime)</td><td>Python Software Foundation</td><td>Versie 3.10</td><td>Kernimplementatie</td></tr><tr><td>Streamlit</td><td>Open Source&nbsp;</td><td>https://streamlit.io/</td><td>Factualiteitsclassificator</td></tr><tr><td>XLSUM dataset</td><td>BUET</td><td>https://github.com/csebuetnlp/xl-sum</td><td></td></tr><tr><td>XSUM dataset</td><td>University of Edinburgh</td><td>https://github.com/EdinburghNLP/XSum</td><td></td></tr></tbody></table>

grote taalmodellen fijn afstellen met behulp van de entity hallucination index voor tekstsamenvatting

Fine-Tuning Large Language Models Using Entity Hallucination Index for Text Summarization

Grote taalmodellen fijn afstellen met behulp van de Entity Hallucination Index voor tekstsamenvatting

Recent advancements in large language models (LLMs) have led to notable improvements in abstractive summarization quality. However, hallucination - ...

fine-tuning-large-language-models-using-entity-hallucination-index

Research

JoVE Journal

Engineering

Techniek

In dit protocol wordt de responskwaliteit van het grote taalmodel van de stichting verbeterd via uitbreiding met peer-reviewed, domeinspecifieke wetenschappelijke artikelen via een vectorinbeddingsmechanisme. Daarnaast wordt code verstrekt om te helpen bij het vergelijken van prestaties tussen grote taalmodellen.

Uitbreiding van grote taalmodellen via vectorinbeddingen om de domeinspecifieke responsiviteit te verbeteren

Organische fotovoltaïsche (OPV) materialen zijn inherent inhomogeen op de nanometer schaal. Nanoschaal inhomogeniteit van OPV materialen invloed op de prestaties van fotovoltaïsche apparaten. In dit artikel beschrijven we een protocol voor kwantitatieve metingen van elektrische en mechanische eigenschappen van OPV materialen met sub-100 nm resolutie.

Concurrent Kwantitatieve geleidbaarheid en mechanische eigenschappen metingen van organische fotovoltaïsche Materialen met AFM

Deze paper toont een protocol voor herschikking experimentele vereenvoudigd model maxima in conservatieve en agressieve beperkingen op een willekeurige nieuwe fysica model. Publiek beschikbare LHC experimentele resultaten kunnen worden herschikt op deze manier naar limieten op bijna elke nieuwe fysica model met een supersymmetrie-achtige handtekening.

Grenzen stellen op Supersymmetry behulp vereenvoudigd Modellen

Een methodologie voor het bereiden van solid-state nanoporiën in oplossing voor biomoleculaire translocatie experimenten wordt gepresenteerd. Door het toepassen van korte pulsen van hoge elektrische velden kan de nanopore diameter beheersbaar worden uitgebreid met subnanometer precisie en zijn elektrische ruis kenmerken aanzienlijk verbeterd. Deze procedure wordt uitgevoerd in situ met behulp van standaard laboratoriumapparatuur onder experimentele omstandigheden.

Fine-tuning van de grootte en het minimaliseren van de Noise van Solid-state Nanoporiën

Fysieke modellen van biomoleculen kunnen het begrip van hun structuur-functie voor de onderzoeker vergemakkelijken, helpen bij de communicatie tussen onderzoekers en dienen als een educatief hulpmiddel in pedagogische inspanningen. Hier bieden we gedetailleerde begeleiding voor het 3D-printen van nauwkeurige modellen van biomoleculen met behulp van desktop 3D-printers met gefuseerde filamentfabricage.

3D Printing Biomoleculaire modellen voor onderzoek en Pedagogiek

Deze methode streeft naar het lokaliseren van verticale ondergrondse defecten. Hier koppelen we een laser aan met een ruimtelijke lichtmodulator en trekken de video-ingang om deterministisch een monsteroppervlak te verwarmen met twee antifase gemoduleerde lijnen, met het verwerven van sterk opgeloste thermische beelden. De defectpositie wordt opgehaald om de thermische golfinterferentie minima te evalueren.

Subsurface Defect Localisatie door Gestructureerde Verwarming Met Laser Geprojecteerde Phot Thermische Thermografie

Via de sulfurization van eerder afgegeven overgangsmetalen, kunnen groot-gebied en verticale 2D hetero-kristalstructuren worden vervaardigd. De film overbrengen en apparaat fabricage procedures zijn ook aangetoond in dit verslag.

Voorbereiding van groot-gebied verticale 2D Crystal Hetero-structuren door de Sulfurization van overgangsmetalen Films voor de fabricatie van apparaat

Dit artikel toont de methode voor de chirurgische plaatsing in muizen van een intraperitoneaal katheter aangesloten op een toegangspoort die is gepositioneerd aan de achterkant van het dier. Bovendien verklaart het de procedure voor een 5/6 Nefrectomie te lijken op de uremisch staat van PD-patiënten.

Chirurgische technieken voor de plaatsing van de katheter en 5/6 Nefrectomie in lymfkliertest modellen van peritoneale dialyse

Een protocol wordt gepresenteerd tonen een tweestaps fabricage techniek om te groeien groot formaat enkellaags rechthoekige gevormde SnSe goedkope SiO2/Si diëlektrica (wafers) in een systeem met luchtdruk kwarts buisjes oven vlokken.

Luchtdruk fabricage van grote en middelgrote enkellaags rechthoekig SnSe vlokken

Dit protocol beschrijft de fabricage van microfluidic apparaten van MY133-V2000 te elimineren artefacten die zich vaak in microchannels als gevolg van de verschillen brekingsindices tussen microchannel structuren en een waterige oplossing voordoen. Dit protocol maakt gebruik van een acryl houder voor het comprimeren van de ingekapselde apparaat, verbetering van hechting, zowel chemisch als mechanisch.

Fabricage van refractieve-index-matched apparaten voor biomedische Microfluidics

Leer hoe je grote taalmodellen fijn afstelt met de Entity Hallucination Index om entiteithallucinaties in tekstsamenvattingen te verminderen. Deze methode verbetert feitelijke nauwkeurigheid zonder informativiteit te verliezen.

Grote taalmodellen fijn afstellen met behulp van de Entity Hallucination Index voor tekstsamenvatting

Meer video's verkennen