Name: 텍스트 요약을 위한 엔터티 환각 지수를 이용한 대규모 언어 모델 미세 조정 (동영상) | JoVE Journal
Uploaded: 2026-01-09T13:45:00.000+00:00
Duration: 4 min 16 s
Description: 학습하세요 대규모 언어 모델의 엔터티 환각 감소를 위한 강화 학습 미세 조정 방법을. EHI 보상 신호를 활용해 텍스트 요약의 사실 정확성을 높이고 일반화 성능을 유지하는 기술을 탐색합니다.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

<ol><li>Maynez, J., Narayan, S., Bohnet, B., McDonald, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((On+faithfulness+and+factuality+in+abstractive+summarization%5BTitle%5D)+AND+%22Proc+Annu+Meet+Assoc+Comput+Linguist%22%5BJournal%5D)">On faithfulness and factuality in abstractive summarization.</a> Proc Annu Meet Assoc Comput Linguist. 2020, 173-173 (2020).</li>
<li>FEQA: A question answering evaluation framework for faithfulness assessment in abstractive summarization. Durmus, E., He, H., Diab, M. Proc Conf Empir Methods Nat Lang Process, , 454-454 (2020).</li>
<li>A short summary of automatic summarization. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22NLG+Blog%22">NLG Blog</a>. , Andong. https://andongluis.github.io/nlg-blog/Summarization-post/ (2018).</li>
<li>Understanding factuality in abstractive summarization. Pagnoni, A., Padmakumar, V., May, J. Proc Conf North Am Chapter Assoc Comput Linguist Hum Lang Technol, 2021, 4812-4829 (2021).</li>
<li>Lin, C. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((ROUGE%3A+A+package+for+automatic+evaluation+of+summaries%5BTitle%5D)+AND+%22Workshop+Text+Summarization+Branches+Out%22%5BJournal%5D)">ROUGE: A package for automatic evaluation of summaries.</a> Workshop Text Summarization Branches Out. 2004, 74-81 (2004).</li>
<li>Evaluating the factual consistency of abstractive text summarization. Kryściński, W., McCann, B., Xiong, C., Socher, R. Proc Conf Empir Methods Nat Lang Process, 2020, 750-750 (2020).</li>
<li>Goyal, T., Durmus, E., Cardie, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fact+checking+summarization+with+self+supervised+and+few+shot+learning%5BTitle%5D)+AND+%22Proc+Annu+Meet+Assoc+Comput+Linguist%22%5BJournal%5D)">Fact checking summarization with self supervised and few shot learning.</a> Proc Annu Meet Assoc Comput Linguist. 2022, 564-579 (2022).</li>
<li>QuestEval: Summarization asks for fact-based evaluation. Scialom, T., Dray, P. A., Lamprier, S., Piwowarski, B., Staiano, J., Wang, A., Gallinari, P. Proc Conf Empir Methods Nat Lang Process, 2021, 6594-6604 (2021).</li>
<li>Mukesh, K. Hallucinations in abstractive summarization. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aMukesh%2C+K+%22Medium%22">Medium</a>. , https://medium.com/@mukesh.kr/hallucinations-in-abstractive-summarization-b5904bc1c5c5 (2023).</li>
<li>Factual error correction for abstractive summarization models. Cao, M., Dong, Y., Wu, J., Cheung, J. C. K. Proc Conf Empir Methods Nat Lang Process, 2020, 6251-6258 (2020).</li>
<li>Yan, E. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aYan%2C+E+%22Evaluation+%26+hallucination+detection+for+abstractive+summaries%22">Evaluation & hallucination detection for abstractive summaries</a>. , https://eugeneyan.com/writing/abstractive-summarization-evaluation/ (2021).</li>
<li>Uekawa, A. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aUekawa%2C+A+%22Evaluation+metrics+for+summarization%22">Evaluation metrics for summarization</a>. , https://dev.to/akuer/evaluation-metrics-for-summarization-1d7f (2023).</li>
<li>Honnibal, M., Montani, I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((spaCy+2%3A+Natural+language+understanding+with+Bloom+embeddings+convolutional+neural+networks+and+incremental+parsing%5BTitle%5D)+AND+%22Zenodo%22%5BJournal%5D)">spaCy 2: Natural language understanding with Bloom embeddings convolutional neural networks and incremental parsing.</a> Zenodo. , (2017).</li>
<li>Reinforcement learning from human feedback: Aligning large language models. , At
 <a target="_blank" href="https://neptune.ai/blog/reinforcement-learning-from-human-feedback">https://neptune.ai/blog/reinforcement-learning-from-human-feedback</a> (2023).</li>
<li>Shakil, H., Farooq, A., Kalita, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Abstractive+text+summarization%3A+State+of+the+art%2C+challenges%2C+and+improvements%5BTitle%5D)+AND+%22Neurocomputing%22%5BJournal%5D)">Abstractive text summarization: State of the art, challenges, and improvements.</a> Neurocomputing. 603, 128255-128255 (2024).</li>
<li>AI, Z. Reducing LLM hallucinations: A developer's guide. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aAI%2C+Z+%22GetZep%22">GetZep</a>. , https://www.getzep.com/ai-agents/reducing-llm-hallucinations/ (2025).</li>
<li>Ouyang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Training+language+models+to+follow+instructions+with+human+feedback%5BTitle%5D)+AND+%22Adv+Neural+Inf+Process+Syst%22%5BJournal%5D)">Training language models to follow instructions with human feedback.</a> Adv Neural Inf Process Syst. 2022, 27730-27744 (2022).</li>
<li>Entity hallucination index in abstractive summarization-A metric. Praveenkumar, K., Balbantaray, R. C., Vittala, K. P. Proc Int Conf Commun Circuits Syst, 2023, 1-5 (2023).</li>
<li>Multi-reward reinforced summarization with saliency and entailment. Pasunuru, R., Bansal, M. Proc Conf North Am Chapter Assoc Comput Linguist Hum Lang Technol, 2018, 646-653 (2018).</li>
<li>Williams, R. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Simple+statistical+gradient-following+algorithms+for+connectionist+reinforcement+learning%5BTitle%5D)+AND+%22Mach+Learn%22%5BJournal%5D)">Simple statistical gradient-following algorithms for connectionist reinforcement learning.</a> Mach Learn. 8 (3-4), 229-256 (1992).</li>
<li>Katwe NLP. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EHI_XLSUM_XSUM_Finetuning%22">EHI_XLSUM_XSUM_Finetuning</a>. , GitHub. https://github.com/katweNLP/EHI_XLSUM_XSUM_Finetuning (2025).</li>
<li>ELITR minuting corpus: A novel dataset for automatic minuting from multi-party meetings in English and Czech. Nedoluzhko, A., Singh, M., Hledíková, M., Ghosal, T., Bojar, O. Proc Int Conf Lang Resour Eval (LREC), 2022, 2623-2632 (2022).</li>
<li>Don't give me the details, just the summary! Topic aware convolutional neural networks for extreme summarization. Narayan, S., Cohen, S. B., Lapata, M. Proc Conf Empir Methods Nat Lang Process, 2018, 1797-1807 (2018).</li>
<li>Lewis, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Denoising+sequence+to+sequence+pre+training+for+natural+language+generation%2C+translation%2C+and+comprehension%5BTitle%5D)+AND+%22Proc+Annu+Meet+Assoc+Comput+Linguist%22%5BJournal%5D)">Denoising sequence to sequence pre training for natural language generation, translation, and comprehension.</a> Proc Annu Meet Assoc Comput Linguist. 2020, 7871-7880 (2020).</li>
<li>Chung, H. W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Scaling+instruction+fine-tuned+language+models%5BTitle%5D)+AND+%22J+Mach+Learn+Res%22%5BJournal%5D)">Scaling instruction fine-tuned language models.</a> J Mach Learn Res. 25 (1), 1-53 (2024).</li>
<li>Jiang, A. Q., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mistral+7B%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Mistral 7B.</a> arXiv. , (2023).</li>
<li>Chandra, C., Ojima, Y., Bendarkar, M. V., Mavris, D. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Aviation+BERT+NER%3A+Named+entity+recognition+for+aviation+safety+reports%5BTitle%5D)+AND+%22Aerospace%22%5BJournal%5D)">Aviation BERT NER: Named entity recognition for aviation safety reports.</a> Aerospace. 11 (11), 890-890 (2024).</li>
<li>Lim, D. S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aLim%2C+DS+%22bert-base-NER%22">bert-base-NER</a>. , https://huggingface.co/dslim/bert-base-NER (2021).</li>
<li>Adam: A method for stochastic optimization. Kingma, D. P., Ba, J. Int Conf Learn Represent, , (2015).</li>
<li>QAGS: Evaluating question answering and generation for summarization. Wang, A., Cho, K. Proc Conf Empir Methods Nat Lang Process, 2020, 390-402 (2020).</li>
<li>Patil, S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aPatil%2C+S+%22valhalla%2Ft5-small-qg-hl%22">valhalla/t5-small-qg-hl</a>. , https://huggingface.co/valhalla/t5-small-qg-hl (2020).</li>
<li><a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22deepset%2Froberta-base-squad2%22">deepset/roberta-base-squad2</a>. , Deepset GmbH. https://huggingface.co/deepset/roberta-base-squad2 (2020).</li>
<li>Factually consistent summarization via reinforcement learning with textual entailment feedback. Roit, P., et al. Proc Annu Meet Assoc Comput Linguist, 2023, 8027-8044 (2023).</li>
<li>Hallucination diversity aware active learning for text summarization. Xia, Y., et al. Proc Conf North Am Chapter Assoc Comput Linguist Hum Lang Technol, 2024, 3885-3900 (2024).</li>
<li>Wei, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((TruthRL%3A+Incentivizing+truthful+large+language+models+via+reinforcement+learning%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">TruthRL: Incentivizing truthful large language models via reinforcement learning.</a> arXiv. , (2025).</li>
</ol>

```html
<table><tbody><tr><td>Colab NVIDIA A100 GPU</td><td>NVIDIA</td><td>N/A</td><td>Google Colaboratory Pro</td></tr><tr><td>DistilBART (Encoder&ndash;Decoder)</td><td>Hugging Face</td><td>https://huggingface.co/sshleifer/distilbart-cnn-12-6</td><td></td></tr><tr><td>dslim/bert-base-NER</td><td>Hugging Face (dslim)</td><td>https://huggingface.co/dslim/bert-base-NER</td><td>영어 NER에 미세 조정된 BERT 기본</td></tr><tr><td>Evaluation Models&nbsp; QAGS (QA-based)</td><td>Salesforce Research</td><td>N/A</td><td>사실 분류기</td></tr><tr><td>Evaluation Models (Factuality) FactCC</td><td>Google Research</td><td>N/A</td><td>사실 분류기</td></tr><tr><td>Flan-T5 (Encoder&ndash;Decoder)</td><td>Google</td><td>https://huggingface.co/docs/transformers/main/en/model_doc/flan-t5</td><td>오픈 소스, 텍스트-텍스트, 대규모 언어 모델</td></tr><tr><td>Hugging Face Transformers</td><td>Hugging Face, Inc.</td><td>https://huggingface.co/docs/transformers/index</td><td>모델 로딩 & 미세 조정</td></tr><tr><td>Nous-Hermes-2-Mistral-7B-DPO</td><td>Mistral</td><td>https://huggingface.co/NousResearch/Nous-Hermes-2-Mistral-7B-DPO</td><td>70억 파라미터 언어 모델</td></tr><tr><td>Programming Language Python 3.10 (Colab runtime)</td><td>Python Software Foundation</td><td>버전 3.10</td><td>코어 구현</td></tr><tr><td>Streamlit</td><td>오픈 소스</td><td>https://streamlit.io/</td><td>사실 분류기</td></tr><tr><td>XLSUM 데이터셋</td><td>BUET</td><td>https://github.com/csebuetnlp/xl-sum</td><td></td></tr><tr><td>XSUM 데이터셋</td><td>에딘버러 대학교</td><td>https://github.com/EdinburghNLP/XSum</td><td></td></tr></tbody></table>
```

텍스트 요약을 위한 엔터티 환각 지수를 이용한 대규모 언어 모델 미세 조정

Fine-Tuning Large Language Models Using Entity Hallucination Index for Text Summarization

Recent advancements in large language models (LLMs) have led to notable improvements in abstractive summarization quality. However, hallucination - ...

fine-tuning-large-language-models-using-entity-hallucination-index

Research

연구

JoVE Journal

Engineering

공학

이 프로토콜에서는 벡터 임베딩 메커니즘을 통해 동료 검토를 거친 도메인별 과학 논문과의 증강을 통해 Foundation Large Language Model 응답 품질이 향상됩니다. 또한 대규모 언어 모델 간의 성능 비교를 돕기 위해 코드가 제공됩니다.

벡터 임베딩을 통해 대규모 언어 모델을 보강하여 도메인별 응답성 향상

유기 태양 광 (OPV) 재료는 나노 미터 스케일에서 본질적으로 inhomogeneous입니다. OPV 재료의 Nanoscale inhomogeneity는 태양 광 디바이스의 성능에 영향을 미칩니다. 이 논문에서, 우리는 하위-100 나노 미터 해상도 OPV 재료의 전기 및 기계적 성질의 양적 측정을위한 프로토콜을 설명합니다.

동시 수량 전도성과 AFM을 사용하여 유기 태양 광 재료의 기계적 성질 측정

이 논문은 임의의 새로운 물리 모델에 대한 보수 및 적극적인 한계에 실험 단순화 된 모델의 한계를 개주를위한 프로토콜을 보여줍니다. 공개 LHC 실험 결과는 초대칭 같은 서명 거의 모든 새로운 물리 모델에 대한 제한으로이 방식으로 재조명 할 수 있습니다.

단순화 된 모델을 사용하여 초대칭에 대한 제한 설정

생명 전좌 실험 용액에 고체 상태의 나노 기공을 제조하는 방법이 제시된다. 높은 전기장의 짧은 펄스를인가함으로써, 나노 기공 직경이 나노 미터 이하로 제어 정밀도로 확대 될 수 있고 그 전기적 잡음 특성이 크게 개선되었다. 이 절차는 실험 조건 하에서 표준 실험실 장비를 사용하여 반응계 내에서 수행된다.

크기를 미세 조정 및 고체 나노 세공의 잡음을 최소화

생체 분자의 물리적 모델은 연구자의 구조 기능에 대한 이해를 촉진하고, 연구자 간의 의사 소통을 돕고, 교육학적 노력에서 교육 도구 역할을 할 수 있습니다. 여기에서는 융합 필라멘트 제작 데스크톱 3D 프린터를 사용하여 정확한 생체 분자 모델을 3D 프린팅하기 위한 자세한 지침을 제공합니다.

연구 및 교육학에 대한 생명 모델의 3D 인쇄

이 방법은 수직 표면 하의 결함을 찾는 것을 목표로합니다. 여기서 우리는 레이저를 공간 광 변조기와 결합시키고 비디오 입력을 트리거하여 고분해능 열 화상을 얻는 동안 2 개의 반대 위상 변조 선으로 결정 성있게 시료 표면을 가열합니다. 결함 위치는 열파 간섭 최소값을 평가하여 검색됩니다.

레이저 조사 형 광열 열 분석을 이용한 구조 가열에 의한 지층 결함 국산화

미리 입금된 전이 금속 sulfurization를 통해 큰 지역 및 수직 2D 크리스탈 이종 구조 날조 될 수 있다. 영화 전송 및 장치 제조 절차는 또한이 보고서에 설명 했다.

큰 지역 수직 2D 크리스탈 Hetero-구조 장치 제조에 전이 금속 영화 Sulfurization의 준비

이 문서는 복 카 테 테 르는 동물 뒤에 있던 한 액세스 포트에 연결 된 쥐에 외과 위치에 대 한 메서드를 보여 줍니다. 또한, 5/6 신 PD 환자의 신부전 상태를 위한 절차를 설명 합니다.

카 테 테 르 배치 및 5/6 신 복 막 투 석의 Murine 모델에 대 한 수술 기법

프로토콜은 대형 단일 레이어 직사각형 모양의 SnSe는 대기압 석 영 튜브로 시스템에 저가 SiO2/Si 유 전체 웨이퍼에 부스러기를 성장 하는 2 단계 제조 기법을 보여주는 제공 됩니다.

단일 레이어 사각형 SnSe 대형 조각의 대기압 제조

이 프로토콜의 MY133-V2000 아닌 구조와 용액 microchannels 일치 하지 않을 굴절율 때문에 자주 발생 하는 아티팩트를 제거 하기 위해 미세 소자의 제작을 설명 합니다. 이 프로토콜 캡슐화 된 장치, 화학적 그리고 기계적으로 접착을 향상을 압축 하는 아크릴 홀더를 사용 합니다.

생물 의학 마이크로 대 한 굴절 인덱스 일치 장치 제조

학습하세요 대규모 언어 모델의 엔터티 환각 감소를 위한 강화 학습 미세 조정 방법을. EHI 보상 신호를 활용해 텍스트 요약의 사실 정확성을 높이고 일반화 성능을 유지하는 기술을 탐색합니다.

텍스트 요약을 위한 엔터티 환각 지수를 이용한 대규모 언어 모델 미세 조정

더 많은 동영상 탐색