Name: כיוונון מדויק של מודלים גדולים של שפה באמצעות אינדקס הזיות של ישויות לסיכום טקסט (וידאו) | JoVE Journal
Uploaded: 2026-01-09T13:45:00.000+00:00
Duration: 4 min 16 s
Description: למד כיצד לכוונן מודלי שפה גדולים באמצעות אינדקס הזיות ישויות (EHI) כדי לשפר את הדיוק העובדתי בסיכומי טקסט. השיטה משתמשת בלמידת חיזוקים לצמצום הזיות ישויות שגויות.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

<ol><li>Maynez, J., Narayan, S., Bohnet, B., McDonald, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((On+faithfulness+and+factuality+in+abstractive+summarization%5BTitle%5D)+AND+%22Proc+Annu+Meet+Assoc+Comput+Linguist%22%5BJournal%5D)">On faithfulness and factuality in abstractive summarization.</a> Proc Annu Meet Assoc Comput Linguist. 2020, 173-173 (2020).</li>
<li>FEQA: A question answering evaluation framework for faithfulness assessment in abstractive summarization. Durmus, E., He, H., Diab, M. Proc Conf Empir Methods Nat Lang Process, , 454-454 (2020).</li>
<li>A short summary of automatic summarization. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22NLG+Blog%22">NLG Blog</a>. , Andong. https://andongluis.github.io/nlg-blog/Summarization-post/ (2018).</li>
<li>Understanding factuality in abstractive summarization. Pagnoni, A., Padmakumar, V., May, J. Proc Conf North Am Chapter Assoc Comput Linguist Hum Lang Technol, 2021, 4812-4829 (2021).</li>
<li>Lin, C. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((ROUGE%3A+A+package+for+automatic+evaluation+of+summaries%5BTitle%5D)+AND+%22Workshop+Text+Summarization+Branches+Out%22%5BJournal%5D)">ROUGE: A package for automatic evaluation of summaries.</a> Workshop Text Summarization Branches Out. 2004, 74-81 (2004).</li>
<li>Evaluating the factual consistency of abstractive text summarization. Kryściński, W., McCann, B., Xiong, C., Socher, R. Proc Conf Empir Methods Nat Lang Process, 2020, 750-750 (2020).</li>
<li>Goyal, T., Durmus, E., Cardie, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fact+checking+summarization+with+self+supervised+and+few+shot+learning%5BTitle%5D)+AND+%22Proc+Annu+Meet+Assoc+Comput+Linguist%22%5BJournal%5D)">Fact checking summarization with self supervised and few shot learning.</a> Proc Annu Meet Assoc Comput Linguist. 2022, 564-579 (2022).</li>
<li>QuestEval: Summarization asks for fact-based evaluation. Scialom, T., Dray, P. A., Lamprier, S., Piwowarski, B., Staiano, J., Wang, A., Gallinari, P. Proc Conf Empir Methods Nat Lang Process, 2021, 6594-6604 (2021).</li>
<li>Mukesh, K. Hallucinations in abstractive summarization. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aMukesh%2C+K+%22Medium%22">Medium</a>. , https://medium.com/@mukesh.kr/hallucinations-in-abstractive-summarization-b5904bc1c5c5 (2023).</li>
<li>Factual error correction for abstractive summarization models. Cao, M., Dong, Y., Wu, J., Cheung, J. C. K. Proc Conf Empir Methods Nat Lang Process, 2020, 6251-6258 (2020).</li>
<li>Yan, E. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aYan%2C+E+%22Evaluation+%26+hallucination+detection+for+abstractive+summaries%22">Evaluation & hallucination detection for abstractive summaries</a>. , https://eugeneyan.com/writing/abstractive-summarization-evaluation/ (2021).</li>
<li>Uekawa, A. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aUekawa%2C+A+%22Evaluation+metrics+for+summarization%22">Evaluation metrics for summarization</a>. , https://dev.to/akuer/evaluation-metrics-for-summarization-1d7f (2023).</li>
<li>Honnibal, M., Montani, I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((spaCy+2%3A+Natural+language+understanding+with+Bloom+embeddings+convolutional+neural+networks+and+incremental+parsing%5BTitle%5D)+AND+%22Zenodo%22%5BJournal%5D)">spaCy 2: Natural language understanding with Bloom embeddings convolutional neural networks and incremental parsing.</a> Zenodo. , (2017).</li>
<li>Reinforcement learning from human feedback: Aligning large language models. , At
 <a target="_blank" href="https://neptune.ai/blog/reinforcement-learning-from-human-feedback">https://neptune.ai/blog/reinforcement-learning-from-human-feedback</a> (2023).</li>
<li>Shakil, H., Farooq, A., Kalita, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Abstractive+text+summarization%3A+State+of+the+art%2C+challenges%2C+and+improvements%5BTitle%5D)+AND+%22Neurocomputing%22%5BJournal%5D)">Abstractive text summarization: State of the art, challenges, and improvements.</a> Neurocomputing. 603, 128255-128255 (2024).</li>
<li>AI, Z. Reducing LLM hallucinations: A developer's guide. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aAI%2C+Z+%22GetZep%22">GetZep</a>. , https://www.getzep.com/ai-agents/reducing-llm-hallucinations/ (2025).</li>
<li>Ouyang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Training+language+models+to+follow+instructions+with+human+feedback%5BTitle%5D)+AND+%22Adv+Neural+Inf+Process+Syst%22%5BJournal%5D)">Training language models to follow instructions with human feedback.</a> Adv Neural Inf Process Syst. 2022, 27730-27744 (2022).</li>
<li>Entity hallucination index in abstractive summarization-A metric. Praveenkumar, K., Balbantaray, R. C., Vittala, K. P. Proc Int Conf Commun Circuits Syst, 2023, 1-5 (2023).</li>
<li>Multi-reward reinforced summarization with saliency and entailment. Pasunuru, R., Bansal, M. Proc Conf North Am Chapter Assoc Comput Linguist Hum Lang Technol, 2018, 646-653 (2018).</li>
<li>Williams, R. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Simple+statistical+gradient-following+algorithms+for+connectionist+reinforcement+learning%5BTitle%5D)+AND+%22Mach+Learn%22%5BJournal%5D)">Simple statistical gradient-following algorithms for connectionist reinforcement learning.</a> Mach Learn. 8 (3-4), 229-256 (1992).</li>
<li>Katwe NLP. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EHI_XLSUM_XSUM_Finetuning%22">EHI_XLSUM_XSUM_Finetuning</a>. , GitHub. https://github.com/katweNLP/EHI_XLSUM_XSUM_Finetuning (2025).</li>
<li>ELITR minuting corpus: A novel dataset for automatic minuting from multi-party meetings in English and Czech. Nedoluzhko, A., Singh, M., Hledíková, M., Ghosal, T., Bojar, O. Proc Int Conf Lang Resour Eval (LREC), 2022, 2623-2632 (2022).</li>
<li>Don't give me the details, just the summary! Topic aware convolutional neural networks for extreme summarization. Narayan, S., Cohen, S. B., Lapata, M. Proc Conf Empir Methods Nat Lang Process, 2018, 1797-1807 (2018).</li>
<li>Lewis, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Denoising+sequence+to+sequence+pre+training+for+natural+language+generation%2C+translation%2C+and+comprehension%5BTitle%5D)+AND+%22Proc+Annu+Meet+Assoc+Comput+Linguist%22%5BJournal%5D)">Denoising sequence to sequence pre training for natural language generation, translation, and comprehension.</a> Proc Annu Meet Assoc Comput Linguist. 2020, 7871-7880 (2020).</li>
<li>Chung, H. W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Scaling+instruction+fine-tuned+language+models%5BTitle%5D)+AND+%22J+Mach+Learn+Res%22%5BJournal%5D)">Scaling instruction fine-tuned language models.</a> J Mach Learn Res. 25 (1), 1-53 (2024).</li>
<li>Jiang, A. Q., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mistral+7B%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Mistral 7B.</a> arXiv. , (2023).</li>
<li>Chandra, C., Ojima, Y., Bendarkar, M. V., Mavris, D. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Aviation+BERT+NER%3A+Named+entity+recognition+for+aviation+safety+reports%5BTitle%5D)+AND+%22Aerospace%22%5BJournal%5D)">Aviation BERT NER: Named entity recognition for aviation safety reports.</a> Aerospace. 11 (11), 890-890 (2024).</li>
<li>Lim, D. S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aLim%2C+DS+%22bert-base-NER%22">bert-base-NER</a>. , https://huggingface.co/dslim/bert-base-NER (2021).</li>
<li>Adam: A method for stochastic optimization. Kingma, D. P., Ba, J. Int Conf Learn Represent, , (2015).</li>
<li>QAGS: Evaluating question answering and generation for summarization. Wang, A., Cho, K. Proc Conf Empir Methods Nat Lang Process, 2020, 390-402 (2020).</li>
<li>Patil, S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aPatil%2C+S+%22valhalla%2Ft5-small-qg-hl%22">valhalla/t5-small-qg-hl</a>. , https://huggingface.co/valhalla/t5-small-qg-hl (2020).</li>
<li><a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22deepset%2Froberta-base-squad2%22">deepset/roberta-base-squad2</a>. , Deepset GmbH. https://huggingface.co/deepset/roberta-base-squad2 (2020).</li>
<li>Factually consistent summarization via reinforcement learning with textual entailment feedback. Roit, P., et al. Proc Annu Meet Assoc Comput Linguist, 2023, 8027-8044 (2023).</li>
<li>Hallucination diversity aware active learning for text summarization. Xia, Y., et al. Proc Conf North Am Chapter Assoc Comput Linguist Hum Lang Technol, 2024, 3885-3900 (2024).</li>
<li>Wei, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((TruthRL%3A+Incentivizing+truthful+large+language+models+via+reinforcement+learning%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">TruthRL: Incentivizing truthful large language models via reinforcement learning.</a> arXiv. , (2025).</li>
</ol>

<table><tbody><tr><td>Colab NVIDIA A100 GPU</td><td>NVIDIA</td><td>N/A</td><td>Google Colaboratory Pro</td></tr><tr><td>DistilBART (Encoder&ndash;Decoder)</td><td>Hugging Face</td><td>https://huggingface.co/sshleifer/distilbart-cnn-12-6</td><td></td></tr><tr><td>dslim/bert-base-NER</td><td>Hugging Face (dslim)</td><td>https://huggingface.co/dslim/bert-base-NER</td><td>Fine-tuned BERT base for English NER</td></tr><tr><td>Evaluation Models&nbsp; QAGS (QA-based)</td><td>Salesforce Research</td><td>N/A</td><td>Factuality classifier</td></tr><tr><td>Evaluation Models (Factuality) FactCC</td><td>Google Research</td><td>N/A</td><td>Factuality classifier</td></tr><tr><td>Flan-T5 (Encoder&ndash;Decoder)</td><td>Google</td><td>https://huggingface.co/docs/transformers/main/en/model_doc/flan-t5</td><td>open-source, text-to-text, large language model</td></tr><tr><td>Hugging Face Transformers</td><td>Hugging Face, Inc.</td><td>https://huggingface.co/docs/transformers/index</td><td>Model loading &amp; fine-tuning</td></tr><tr><td>Nous-Hermes-2-Mistral-7B-DPO</td><td>Mistral</td><td>https://huggingface.co/NousResearch/Nous-Hermes-2-Mistral-7B-DPO</td><td>7 billion parameter Language model</td></tr><tr><td>Programming Language Python 3.10 (Colab runtime)</td><td>Python Software Foundation</td><td>Version 3.10</td><td>Core implementation</td></tr><tr><td>Streamlit</td><td>Open Source&nbsp;</td><td>https://streamlit.io/</td><td>Factuality classifier</td></tr><tr><td>XLSUM dataset</td><td>BUET</td><td>https://github.com/csebuetnlp/xl-sum</td><td></td></tr><tr><td>XSUM dataset</td><td>University of Edinburgh</td><td>https://github.com/EdinburghNLP/XSum</td><td></td></tr></tbody></table>

כיוונון מדויק של מודלים גדולים של שפה באמצעות אינדקס הזיות של ישויות לסיכום טקסט

Fine-Tuning Large Language Models Using Entity Hallucination Index for Text Summarization

Recent advancements in large language models (LLMs) have led to notable improvements in abstractive summarization quality. However, hallucination - ...

fine-tuning-large-language-models-using-entity-hallucination-index

Research

JoVE Journal

Engineering

הנדסה

בפרוטוקול זה, איכות התגובה של מודל שפה גדול משופרת באמצעות אוגמנטציה עם מאמרים מדעיים ספציפיים לתחום שעברו ביקורת עמיתים באמצעות מנגנון הטבעה וקטורי. בנוסף, הקוד מסופק כדי לסייע בהשוואת ביצועים בין מודלי שפה גדולים.

הגדלת מודלי שפה גדולים באמצעות הטבעות וקטוריות לשיפור ההיענות הספציפית לתחום

מסמך זה מדגים פרוטוקול ללשכתב את גבולות מודל פשוטים ניסיוניים לגבולות שמרניים ואגרסיביים במודל פיסיקה חדש שרירותי. ניתן לשכתב תוצאות ניסוי ה-LHC זמינות לציבור באופן זה לגבולות כמעט על כל מודל פיסיקה חדש עם חתימה כמו סופר סימטריה.

קביעת מגבלות על שימוש במודלים פשוטה סימטריית

מתודולוגיה להכנת nanopores מצב מוצק בפתרון לניסויי טרנסלוקציה biomolecular מוצגת. על ידי יישום פולסים קצרים של שדות חשמליים גבוהים, בקוטר nanopore ניתן להגדיל מבוקר בדייקנות subnanometer ומאפייני הרעש החשמלי שלה השתפרו באופן משמעותי. הליך זה מבוצע באתרם באמצעות ציוד מעבדה סטנדרטי בתנאי ניסוי.

כיוון עדין גודל ומזעור הרעש של מצב המוצק Nanopores

מודלים פיזיקליים של ביומולקולות יכולים להקל על החוקר להבין את המבנה-תפקוד שלהן, לסייע בתקשורת בין חוקרים ולשמש כלי חינוכי בעשייה פדגוגית. כאן, אנו מספקים הנחיות מפורטות להדפסת תלת מימד של מודלים מדויקים של ביומולקולות באמצעות מדפסות תלת מימד שולחניות לייצור נימה התמזגה.

3D הדפסה של מודלים Biomolecular למחקר פדגוגיה

דרך sulfurization של מתכות המעבר מראש הופקדו, קריסטל 2D שטח גדול ואנכי הטרו-מבנים יכול להיות מפוברק. הסרט העברת ונהלים ייצור המכשיר מודגמות גם בדו ח זה.

הכנת שטח גדול אנכי 2D קריסטל הטרו-מבנים באמצעות Sulfurization של מתכות מעבר סרטים עבור ייצור המכשיר

מאמר זה מציג את שיטת המיקום כירורגי בעכברים של קטטר בקרום הבטן מחובר ליציאת גישה זה ממוקם מאחורי החיה. יתר על כן, זה מסביר את השגרה כריתת כליה 5/6 להידמות המדינה uremic של החולים במחלה.

טכניקות ניתוחיות קטטר השמה, כריתת כליה 5/6 דגמים מאתר של דיאליזה פריטוניאלית

פרוטוקול מוצג הפגינו טכניקה ייצור שני שלבים לגדול גדול בגודל בשכבה יחידה SnSe בצורת מלבנית פתיתי בעלות נמוכה SiO2/Si דיאלקטרים ופלים בכל מערכת תנור קוורץ לחץ אטמוספירי שפופרת.

לחץ אטמוספירי ייצור של פתיתי בשכבה יחידה מדוד גדול מלבני SnSe

פרוטוקול זה מתאר את הזיוף של התקנים microfluidic מ- MY133-V2000 כדי לסלק חפצים שעולות לעתים קרובות microchannels עקב המדדים השבירה המאולתר בין מבנים microchannel של תמיסה מימית. פרוטוקול זה משתמש של מחזיק אקרילי כדי לדחוס את המכשיר שעברו אנקפסולציה, שיפור הדבקות הן מבחינה כימית והן מבחינה מכנית.

ייצור של התקנים השבירה-אינדקס-מתאימים עבור מיקרופלואידיקה ביו

אנו מציגים פרוטוקול מפורט חלוקה לרמות ביצוע rheology לא לינארית הטיה מתנדנדות על חומרים רכים, וכיצד להפעיל את ניתוח SPP-לאוס כדי להבין את התגובות כרצף של תהליכים פיזיקליים.

לימוד התגובה הטיה מתנדנדות משרעת גדולה של חומרים רכים

פרוטוקול זה פרטים טכניקה ננו-ייצור חדשניים יכול לשמש כדי להפוך סרטים nanoparticle לשליטה וניתנים מעל אזורים גדולים על בסיס הרכבה עצמית של dewetting של סרטי מתכת רצ'ט.

שטח גדול Nanofabrication מבוססת על המצע של חלקיקי זהב לשליטה, להתאמה אישית באמצעות Dewetting רצ'ט

למד כיצד לכוונן מודלי שפה גדולים באמצעות אינדקס הזיות ישויות (EHI) כדי לשפר את הדיוק העובדתי בסיכומי טקסט. השיטה משתמשת בלמידת חיזוקים לצמצום הזיות ישויות שגויות.

כיוונון מדויק של מודלים גדולים של שפה באמצעות אינדקס הזיות של ישויות לסיכום טקסט

גלה סרטונים נוספים