Metin Özetleme İçinde Varlık Halüsinasyon İndeksini kullanarak Büyük Dil Modellerinin İnce Ayarlanması

Summary

Metin özetlemede varlık düzeyindeki halüsinasyonu azaltmak için Enti Halüsinasyon İndeksi (EHI) ödül sinyali olarak kullanan büyük dil modelleri için pekiştirme öğrenme tabanlı ince ayar yaklaşımı öneriyoruz. Toplantı transkriptleri üzerinde yapılan deneyler, bu yöntemin varlık sadakatini ve doğruluğunu artırdığını göstermektedir.

Abstract

Büyük dil modellerindeki (LLM'ler) son gelişmeler, soyut özetleme kalitesinde kayda değer iyileşmelere yol açmıştır. Ancak, halüsinasyon - özellikle var olmayan veya yanlış varlıkların ortaya atıldığı varlık düzeyinde halüsinasyonlar - kritik bir zorluk olmaya devam ediyor. Bu çalışmada, Varlık Halüsinasyon Endeksi (EHI) rehber bir metrik olarak kullanan özetleme modelleri için ödül odaklı ince ayar çerçevesi öneriyoruz. Buradaki metodoloji, Flan-T5, DistilBART ve Mistral (veya diğer popüler LLM) gibi önceden eğitilmiş modellerden yapılandırılmış transkript veri setleri olan XSUM üzerinde ilk özetler oluşturmakla başlar. EHI'yi, hem oluşturulan özetlerden hem de altın referanslardan adlandırılmış varlıkları çıkararak, hassasiyeti değerlendirerek ve uydurma varlıkları cezalandırarak hesaplıyoruz. İnce ayar süreci, EHI'nin ödül sinyali olarak hizmet verdiği güçlendirme öğrenme tarafından yönlendirilir. Özetleme modelini varlık sadakatini maksimize etmeye yönelik optimize etmek için REINFORCE tarzı bir güncelleme mekanizması benimseyiyoruz. Deneyler, EHI ile ince ayarlanmış modellerin bilgilendiricilikten ödün vermeden daha düşük halüsinasyon oranları elde ettiğini göstermektedir. Ayrıca, EHI yönlendirilen modellerin alan dışı özetleme görevlerinde daha iyi genelleştirildiğini ve bunun daha sağlam olduğunu gösteriyoruz. Buradaki yaklaşım, özetlemede gerçekliği artırmak için pratik bir yön sunar ve doğru varlık temsilinin kritik rolünü vurgular.

Introduction

Büyük dil modelleri (LLM'ler) tarafından desteklenen soyut özetleme modelleri çeşitli alanlarda etkileyici sonuçlar elde etmiştir. Ancak, kalıcı bir zorluk halüsinasyondur; burada üretilen özetler, kaynak^{girdisi 1,2'ye} dayanmayan yanlış veya uydurma bilgileri içerir. Toplantı özetleme, tıbbi raporlama veya finansal dokümantasyon gibi yüksek riskli uygulamalarda, özellikle isimlendirilmiş varlıkları içeren halüsinasyonlar güvenilirlik ve faydayı önemli ölçüde^{zayıflatabilir.}

Researcher'lar büyük ölçekli bir insan değerlendirmesi yaptı ve özetleyicilerin sıklıkla halüsinasyonlar ürettiğini — kaynak belge tarafından desteklenmeyen içerik — ürettiğini ve bu halüsinasyonların tekrar ve^{tutarsızlıkla ilişkili olduğunu buldu 1}. Başka bir çalışma, daha yüksek soyutlığa sahip modellerin daha az sadık olduğunu gösterdi; Çalışmaları, daha fazla soyutlama içeren çıktıların daha düşük gerçek doğruluğuna ve daha fazla sadakatsiz cümlelere sahip^{olduğunu bildirdi 2}. FRANK kıyaslaması, özetlerin yaklaşık %30'unun gerçek tutarsızlıkları içerdiğini bildirdi ve başka bir popüler çalışma da benzer hata oranlarını belirterek yüksek halüsinasyon seviyelerinin özetleri neredeyse işe yaramaz^{hale getirdiğini savundu 1,2}. Halüsinasyonlar içsel (kaynağa ters gelen) veya dışsal (kaynaktan doğrulanamayan) olarak kategorize edilebilir. Soyut özetlemede halüsinasyonlar üzerine bir eğitim, içsel halüsinasyonların üretilen içerikle çeliştiğinde (örneğin, onaylanmış bir aşının reddedildiğini yanlış bildirmesi) ortaya çıktığını açıklar; dışsal halüsinasyonlar ise doğrulanamayan gerçekler ekler; örneğin bir aşı için klinik denemeler iddia edildiği ve bahsedilmeyen⁴. Ayrıca, son teknoloji özetleyicilerin ROUGE, BLEU ve METEOR ile değerlendirildiğinde çıktılarının yaklaşık %25'inde halüsinasyonlu içerik ürettiklerini ve halüsinasyonların sağlık, hukuk veya siber güvenlik gibi alanlarda zararlı olabileceği konusunda uyarıda bulunduğunu bildirdi.

Geleneksel n-gram metrikleri (ROUGE⁵, BLEU, METEOR) insanın gerçeklik hakkındaki yargılarıyla kötü korelasyonludur ve bu da referans temelli ve referanssız metriklerin^{geliştirilmesini tetikler 6}. FEQA ve QuestEval gibi QA tabanlı metrikler, özetten türetilen soru-cevap çiftlerinin kaynak metin kullanılarak yanıtlanıp yanıtlanamayacağını sorarak özetleri değerlendirir. FEQA, insan yargılarıyla daha güçlü bir ilişkiye sahiptir ve daha soyut özetlerin daha az sadık olduğunu gösterirken, QuestEval insan yargılarıyla tutarlılık, tutarlılık, akıcılık ve alakalılık açısından korelasyonu önemli ölçüde iyileştirir. QAFactEval bu yaklaşımı isim-cümle cevaplarını seçerek ve cevaplamadan önce sorular oluşturarak geliştirir; bu strateji, SummaC kıyas üzerindeki insan değerlendirmeleriyle korelasyonu iyileştirir. Bilgi çıkarma (IE) metrikleri, bilgiyi özne-ilişki-nesne tuple'ları olarak temsil eder, ancak çıkarma sürecinde hatalara karşı savunmasızdırlar. Doğal dil çıkarımı (NLI) metrikleri — örneğin FactCC ve SummaC — özet cümleleri kaynak tarafından zorunlu veya çelişkili olarak^{sınıflandırır 4}. FactCC, zayıf denetli veri kullanarak gerçek tutarlılığı tespit eden ve tutarsız aralıkları vurgulayan bir sınıflandırıcı^{eğitmek için kullanır 2}. SummaC, uygun granülerlikte NLI modelleri uygular ve güçlü gerçekçilik tahminleri verir, ancak FRANK kıyaslaması, bu metriklerin hâlâ gerçekliği ikili olarak ele aldığını ve birleşik ^{bir çerçeveye sahip olmadığını belirtir 1,7,8}. Araştırmacılar tarafından önerilen insan değerlendirme boyutları akılık, tutarlılık, önemlilik ve tutarlılık yaygın^{olarak benimsenmiştir 9}. Başka bir değerlendirme çalışması, tutarlılığın en nesnel boyut olduğunu vurgular; çünkü bu özetin kaynak tarafından alınıp alınmadığını sadece kontrol eder; XSum özetlerinin %92'sine kadar doğrultusundaki ^9,10 sadıklık^hataları içerdiğini belirtiyor. Ancak, insan değerlendirmesi zaman alıcı ve pahalıdır, bu nedenle otomatik metrikler ölçeklenebilir değerlendirme için gereklidir⁸. Mevcut metrikler genellikle içsel ve dışsal halüsinasyonları tek bir puanda toplayarak hata teşhisini engeller⁴.

Maksimum olasılık eğitimi özet kalitesini doğrudan optimize etmediğinden, önemliliği ve gerçekliği artırmak için pekiştirme öğrenmesi (RL) uygulanmıştır. Pasunuru ve Bansal, önemlilik (ROUGE) ve entestment ödüllerini birleştiren çoklu ödüllü bir RL çerçevesi tanıttı ve son teknoloji performansını¹¹ gösterdi. RL, REINFORCE algoritması kullanılarak ekstraaktif özetleme için uygulandı; modelleri, ROUGE puanlarını maksimize eder ve sınıflandırıcı tabanlı yaklaşımlardan daha bilgilendirici özetler sunar; bu, insan soru-cevaplama değerlendirmeleri¹² ile gösterilmiştir. Çok görevli modeller, kapsama ve tutarlılığı sağlamak için soru oluşturma ve sonuç oluşturma ile daha da içerir¹². 2024 tarihli kapsamlı bir soyutif özetleme anketi, gerçek tutarlılığı temel bir zorluk olarak vurguluyor ve gerçek özetlemenin teşvik edilmesini savunuyor. Anket, gerçeklere uygun özetlerin ödüllendirilmesini ve doğruluğu artırmak için dış bilgi kaynakları ile öznitelik kontrolünün dahil edilmesini^{öneriyor 13}. İnsan geri bildiriminden (RLHF) alınan gerçek bir fikir, insan tercihleri üzerine bir ödül modeli eğiterek ve özetleyiciyi bu öğrenilen ödülü en üst düzeye çıkarmak için ince ayar^{yaparak genişletir. 9}. İnsan geri bildiriminden pekiştirici öğrenme (RLHF), model çıktılarını gerçek ve yararlılık gibi istenen niteliklerle hizalamak^{için ivme kazanmıştır 4,14}. Çok ödüllü RL ve RLHF, modelleri insan sabat anlayışlarıyla uyumlu ^tutarken, ROUGE veya ikili gerçekçilik gibi kaba metriklere dayanırlar. Buna karşılık, burada detaylandırılan çalışma, insan geri bildirimi olmadan ampirik ve hesaplama açısından daha ucuz olan ince taneli varlık düzeyinde halüsinasyon endeksi kullanmayı önerir.

Birçok ölçüte rağmen, bazı sınırlamalar devam etmektedir. N-gram metrikleri anlamsal doğruluğu görmezden gelir, QA tabanlı ve IE tabanlı metrikler soru oluşturma ve çıkarma modellerinden hataları yayar, NLI metrikleri ise gerçekliği ikili sonuç^{kararlarına indirgetir 1,4,6}. Araştırma çalışmasında, mevcut model tabanlı metriklerin halüsinasyonları ince bir ayrıntıda tanımlamakta zorlandığı vurgulanmıştır; çünkü cümle veya belge düzeyinde çalışırlar ve hatalara neden olan belirli varlıkları izole^{edemezler 4}. İnsan değerlendirmeleri altın standart olarak kalmaya devam ediyor ancak maliyetli ve öznel¹⁵. Ayrıca, mevcut metrikler içsel ve dışsal halüsinasyonları ayırt etmez veya ilişkilerin aşırı ve eksik odaklanmasını^{yakalamaz 1}. Büyük dil modelleri, metni gerçek doğrulama yerine istatistiksel olasılıkla tahmin ettikleri için halüsinasyon görebilir. Modeller, eğitim verisindeki sınırlamalar, olasılıksal üretim ve gerçek kontrolü eksikliği nedeniyle kendinden emin ama yanlış çıktılar üretir; aşırı özgüven ve önyargılar yanlış bilgileri yüksek kesinlikle ifade etmesine neden olabilir; Rehber, dış verilerde geri alma ile artırılmış üretim ve uzun süreli hafızadan toprağa modelleri^{önermektedir 15}. Ancak bu teknikler geri alma tabanlı görevlere odaklanır; Özetleme ise halüsinasyon gören varlıkları belirleyen ve cezalandıran metrikler gerektiriyor. Önceki çalışmalar, gerçeklik açısından varlık düzeyinde değerlendirmenin önemini kabul etmiştir. FEQA ve QuestEval gibi metrikler, soru yanıtlama teknikleriyle gerçek tutarlılığı değerlendirmeye^{çalışır 16,17}. Ancak, bu yöntemler genellikle referans özetleri veya harici QA sistemleri gerektirir ve ölçeklenebilirliği sınırlar. Çalışmalarımız, Şekil 1'de gösterildiği gibi varlıkları beş tür halüsinasyon faktörüne ayırarak adlandırılmış varlıkların sadakatine odaklanan hafif ampirik bir metrik olan Varlık Halüsinasyon İndeksi (EHI) ile bu çizgiyi geliştirir.

Kanıtlar, halüsinasyonun yaygın olduğunu, değerlendirme metriklerinin eksik olduğunu ve gerçekçi yaşam tekniklerinin ince taneli ödüllerden yoksun olduğunu gösteriyor. İnsan çalışmaları, özetleme modellerinin önemli bir bölümde halüsinasyon yarattığını, çoğu zaman varlıkların değiş tokuş ettiğini veya detayları^{uydurduğunu göstermektedir 9}. Mevcut metrikler ya n-gram örtüşmesini vurgular ya da gerçekliği ikili olarak ele alır ve mevcut RL yöntemleri ROUGE veya kaba gerçekçilik sinyallerini optimize eder. Özetin kaynakta olmayan varlıklardan bahsettiğinde (Negatif halüsinasyon), ana varlıkları atladığında (Lost Focus halüsinasyonu) ve diğer senaryolarda varlık düzeyindeki metrikler arasında bir boşluk vardır. Varlık Halüsinasyon İndeksi (EHI) üzerinde önerilen ince ayar yöntemi, halüsinasyonları varlık seviyesinde nicelikten ölçerek ve pekiştirici öğrenme için yapılandırılmış bir ödül sağlayarak bu boşluğu dolduruyor. EHI'yi RLHF'ye entegre ederek, büyük dil modellerini ince ayarlayarak varlık düzeyinde halüsinasyonları en aza indirmeyi ve hem akıcı hem de gerçeklere uygun özetler üretmeyi hedefliyoruz.

Bu çalışmada, varlık düzeyinde halüsinasyonları azaltmak için Varlık Halüsinasyon Endeksi (EHI) ödül sinyali olarak kullanan yenilikçi bir ince ayar yaklaşımı öneriyoruz. EHI, model çıktılarından çıkarılan varlıkları giriş belgesinde bulunanlarla karşılaştırarak varlıkların doğruluğunu ve temelini nicelikle ölçüyor; böylece referanslara^{bağımlılık azalır. 18}. Burada açıklanan yöntem, modeli insan gerçeklik açıklamalarına gerek kalmadan daha varlığa sadık özetler üretmeye yöneltir.

Özetle, gerçeklere duyarlı ödül modelleri ince ayar^{için kullanılmıştır 19,20}. Kaba gerçekçilik ödülleri veya insan etiketli veri setlerine dayanan önceki yaklaşımların aksine, EHI'yi doğrudan ve otomatik ödül sinyali olarak kullanarak ince ayar öneriyoruz; böylece ek denetim olmadan varlık temelli özetleme teşvik ediliyor. Bu çalışmanın yenilikçi katkıları şunlardır: (i) çalışma, soyut özetlemede varlık sadakatini artıran EHI rehberli ince ayar çerçevesi sunar, (ii) çalışma, insan etiketli gerçek veri setlerine bağlı olmayan ölçeklenebilir bir pekiştirme öğrenme boru hattı sunar, (iii) çalışma, toplantı transkript veri setleri ve XSUM haber veri seti boyunca EHI puanlarında ampirik iyileşmeler gösterir ve halüsinasyondaki azalmaları vurgulamak için nitel analiz yapar, (iv) çalışma, halüsinasyona dayalı özetleme üzerine daha fazla araştırmayı kolaylaştırmak için tekrarlanabilir bir Colab tabanlı uygulamayı ^paylaşır.

Bu çalışma, EHI gibi ince taneli varlık odaklı ödüllerle dil modellerinin optimize edilmesinin, minimum hesaplama ile özetleme görevlerinde sadakat ve güvenilirliği artırmak için etkili bir yol sağladığı hipotezini değerlendirmektedir. Yaklaşım, özetlemede sadakatlilik için parametre verimli ince ayar alanının büyümesine katkıda bulunur: (i) hem kodlayıcı-çözücü (DistilBART, FlanT5) hem de sadece kodlayıcı (Mistral) mimarilerde etkinliği göstererek, (ii) farklı model türlerine, alanlara ve ölçeklere uyarlanabilen bir çerçeve sağlamak; (iii) tam yeniden eğitime kıyasla hesaplama verimliliği sunmak.

Protocol

Bu çalışmanın amacı, bir dil modelini (LM) ince ayarlayarak özetler üreterek halüsinasyonu azaltmaktır. Halüsinasyonlar, bir modelin metni gerçek doğrulama yerine istatistiksel olasılıkla ürettiği için "kendinden emin bir şekilde yanlış veya alakasız çıktı ürettiğinde" meydana gelir. Bu, Varlık Halüsinasyon Endeksi (EHI) temelli bir ödül fonksiyonu tasarlanarak ve bunu en üst düzeye çıkarmak için pekiştirici öğrenme uygulanarak sağlanır.

Problem formülasyonu
Bir giriş belgesi X_i verildiğinde, amaç, Y_i'de bahsedilen varlıkların X_i'ye bağlı olacak bir özet Y_i oluşturmaktır. Geleneksel maksimum olasılık eğitimi, gerçek tutarlılığı açıkça optimize etmez. Bu eğitim yöntemleri, uydurma varlıkların dahil edilmesini cezalandırmaz. Bu nedenle, ödülün varlığın sadakatiyle orantılı olduğu, EHI ile ölçüldüğünde, ödül odaklı bir ince ayar stratejisi getirilir.

Veri seti ve yöntem
İki korpus kullanılır: birincisi, çoklu turlu toplantı transkriptleri ve soyut altın özetlerden oluşan bir diyalog transkripsiyon veri seti, ikincisi ise XSUM haber özetleme^{kıyaslaması 22,23}. Her veri seti temizlendi, düzleştirildi ve %80 tren, %10 doğrulama ve %10 test bölümlerine bölündü. Diyaloglar gayri resmi dil ve zamirlerle zenginken, XSUM kısa haber makaleleri içerir; Bu kombinasyon, hem alan içi hem de alan dışı genellemeyi değerlendirmemize olanak tanır.

Varlık çıkarımı, hem kaynak belgeler hem de özetler üzerinde gerçekleştirilir ve Varlık Halüsinasyon İndeksi (EHI) hesaplanır. İnce ayar sırasında, bu çalışma yalnızca eğitim bölünmesini kullanırken, doğrulama EHI puanları en iyi kontrol noktasını seçmek için izlenir. Son değerlendirmeler, modellerin ince ayarından önce ve sonra sıfır atış kalınlığında kalan tutturulan test setinde rapor edilir.

Özetle, öncelikle transkriptler düzleştirilmiş bir formatta düzenlenir ve veri bölünür. Önden eğitilmiş model temel özetler üretir. İkinci olarak, EHI, trafo tabanlı NER ve beş halüsinasyon faktörü kullanılarak hesaplanır. İnce ayar sırasında model, LoRa adaptörleri aracılığıyla EHI ödülü ile güncellenir. Son olarak, özetler ince ayarlanmış model kullanılarak oluşturulur ve EHI, Entity F1 ve diğer metriklerle değerlendirilir (Şekil 2). Tüm deneyler, sağlanan kod ve yapılandırma dosyaları aracılığıyla tekrarlanabilir. Şekil 3, veri seti hazırlama, temel özetleme, EHI hesaplaması, ince ayar ve değerlendirme için kademeli süreç akışını göstermektedir.

Temel özetleme
Üç önceden eğitilmiş LLM seçilir ve onların temel özetleri ele geçirilir: Flan-T5, Mistral (Nous-Hermes-2-Mistral-7B-DPO) ve DistilBART 24,25,26. Her model, her giriş belgesi (x_i) için ilk özet (Y_i) oluşturmak amacıyla sıfır atış modunda çalıştırıldı. 4 ışın genişliği ve 1.0 uzunluk cezası ile ışın araması, akıcı ama özlü özetleri teşvik etmek için kullanıldı. Bu temel özetler, halüsinasyonun yaygınlığını tahmin etmeye hizmet etmiş ve ince ayar için başlangıç noktaları sağlamıştır.

Varlık çıkarımı ve EHI hesaplaması
Entity Hallucination Index (EHI) doğru hesaplaması sağlam bir NER gerektirir. Başlangıçta, Spacy NER operasyonları için kullanıldı. Transformatör tabanlı NER modellerinin daha doğru olduğu anlaşılmaktadır, ancak Spacy şu nedenlerle ilk tercih edilmiştir: (1) Transformatör tabanlı NER modelleri Spacy'den halüsinasyon yapabildiğini kanıtlamıştır. (2) Boşluk istatistiksel olması, uygulama maliyeti ve uygulama süresi açısından hesaplama verimliliği sağlar. (3) Ayrıca, daha zayıf bir NER modeliyle bile EHI'nin halüsinasyonu azaltmada sağlam olduğunu kanıtlamamıza yardımcı olur. Ancak, deneylerin yerleşik veri setleri üzerinde yapıldığı ve spaCy'nin en_core_web_sm modelinin günlük transkriptlerde kırılgan^{olduğu göz önüne alındığında 13}. Spacy, CoNLL-2003 veri setinde ince ayar edilmiş bir BERT modeli olan transformatör tabanlı bir NER modeli (dslim/bert-base-NER) ile değiştirilmiştir. BERT tabanlı NER sistemleri, alana özgü görevlerde spaCy modellerinden üstün olduğu gösterilmiştir—örneğin, bir Aviation-BERT-NER modeli 17 varlığı tanımlayarak %94,78 F1'e ulaşmış, spaCy NER ise %93,73 ile yedi varlığı²⁷ tanımıştır. BERT NER modeli, Hugging Face Transformers²⁸ ile yapılandırıldı ve küçük harflere duyarsız eşleştirme gerçekleştirdi. Zamirleri ve yüzey biçimi varyasyonlarını yakalamak için, bu yöntem ayrıca "Mr. Smith" ve "Smith"i aynı kanonik biçime eşleyen basit kurallar da uyguladı; Ancak, tam ko-referans çözümü gelecekteki çalışmalar olarak kalacak. XSUM veri setinden alınan 200 kayıt örnekleminde NER modellerinin karşılaştırmalı analizi Tablo 1'den çıkarılabilir.

Varlık Halüsinasyon Endeksi (EHI) şu şekilde hesaplanır:

burada PH, EF, OF, NH, LF, madde i için sırasıyla Pozitif Halüsinasyon (PH), Çıkarma Faktörü (EF), Negatif Halüsinasyon (NH), Aşırı Odaklanmış Varlıklar (OF) ve Kayıp Odak (LF) puanlarını temsil eder.

Halüsinasyon faktörlerinin detayları:

Pozitif Halüsinasyon (PH): Yeni tanıtılan varlıkların gerçeklere doğru ve faydalı ölçümleri.

Çıkarma Faktörü (EF): Ölçüm varlıkları, giriş belgesinden özete doğru şekilde çıkarılır.

Negatif Halüsinasyon (NH): Yanlış veya girdiye bağlı olmayan halüsinasyon varlıklarını yakalar.

Aşırı Odaklanmış (OF): Çeşitliliği eksik bırakan, dar bir alt küme odaklanan özetleri cezalandırır.

Lost Focus (LF): Girdide bulunan önemli varlıkları atlayan özetleri cezalandırır.

Yukarıdaki faktörlerin hesaplanması, örnek hesaplama ile Şekil 4'te ayrıntılı olarak gösterilmiştir. Giriş Belgesi Varlıkları örneğini ele alarak (I):"John"," AI", konferans" Referans Özet Varlıkları (R):"John", AI" Oluşturulan Özet Varlıklar (G):"John", "AI", technology". EHI'nin daha yüksek değerleri, daha iyi varlık sadakatini gösterir; hem çıkarıcı hem de olumlu halüsinasyonlu özetleri ödüllendirir (faydalı ama sadık varlıkları tanıtır), ancak temelsiz, aşırı veya eksik^{varlık 20'yi} cezalandırır. Bu faktörler, tespit edilen varlıkların toplam sayısıyla normalleştirilerek 0 ile 1 arasında bir EHI puanı elde edildi. En iyi kontrol noktası seçilmek için eğitim sırasında EHI doğrulaması izlendi. PH ve EF faydalı yeni varlıkları ödüllendirir ve doğru çıkarma sağlarken, OF, NH ve LF tekrar, uydurma ve ihmal cezalarını alır. Mükemmel 1.0 puan, özetteki tüm varlıkların topraklanmış veya faydalı halüsinasyonlarda olduğu anlamına gelirken, 0 puanı özette isimli bir varlığın kaynakta görünmediğini gösterir.

RL ile ince ayar prosedürü
İnce ayar için ayrıntılı hiperparametre yapılandırması, Mistral-7B, DistilBart ve Flan-T5 için optimizator türleri, öğrenme oranları, parti boyutları, donanım özellikleri ve diğer yapılandırma detaylarını gösteren Tablo 2, Tablo 3 ve Tablo 4'te ayrı ayrı olarak sunulmaktadır. Buradaki amaç, üretilen özetler arasında beklenen Varlık Halüsinasyon İndeksi (EHI) ödülünü en üst düzeye çıkararak model parametreleri θ'yi ince ayarlamaktır. Resmi olarak, bir giriş belgesi X_i, oluşturulmuş bir özet Y_i ve model parametreleri θ için beklenen ödül hedefi şu şekilde tanımlanır:

(2)

burada EHI (y, x), üretilen özet Y_i ile girdi X_i arasında hesaplanan Varlık Halüsinasyon İndeksini gösterir.

REINFORCE^{algoritması 25'e} göre, bu hedefin gradyanı şu şekilde tahmin edilir:

(3)

Pratikte, modellerden özetler alındı, karşılık gelen EHI puanları hesaplandı ve politika gradyanı güncellemeleri uygulanarak daha yüksek ödüllü çıktıları teşvik edildi. Parametre verimli ince ayarlamayı mümkün kılmak için bu çalışma Düşük Seviye Uyumu (LoRA) kullandı. Sadece LoRA adaptörleri güncellenirken, temel model ağırlıkları dondurulmuş kaldı. İnce ayarlama, küçük öğrenme hızı (örneğin, 5 × ^10-6), parti büyüklüğü 4 ve gradyan birikimiyle Adam optimizer²⁹ ile 8 adımda yapılan bir GPU üzerinde yapıldı. Her 500 güncellemede bir özetler yenilenerek ödül tahminleri yenilendi ve eğitim, doğrulama EHI'ye ulaşana kadar devam etti. REINFORCE temel çizgisi, varyansı azaltmak için son ödüllerin ortalamasına ayarlandı. EHI, Entity F1^2'ye ek olarak, genel kaliteyi izlemek için ROUGE-1/2/L puanları kaydedildi. Özetler, ince ayar sırasında model iyileştirmelerini yansıtmak için periyodik olarak yeniden oluşturulur.

Değerlendirme metrikleri
Çıktılar, Rouge-1, Rouge-2⁵ gibi Bilgilendiricilik metrikleri kullanılarak değerlendirildi. Rouge LCS⁵ gibi akıcılık metrikleri. Varlık metrikleri Varlık F1 ile EHI, FactCC ve QAGS 2,6,18,30 gibi halüsinasyon metrikleriyle örtüşüyor. FactCC, kaynağa bağlı veya çelişkili cümleleri etiketlemek için sentetik çelişki verileri üzerine eğitilmiş bir sınıflandırıcı kullanır. FactCC iki puan veriyor; notlar, etiketin GEÇERLİ olduğu yerde kaydedildi. Öte yandan, QAGS LLM üzerinde çalışan bir soru-cevap yöntemi kullanır. ^{Metin 31} üzerinde soru oluşturmak için hafif model T5 small kullanıldı. Roberta_base_Squad2, çıktı^{metni 32} üzerinden cevaplar üretmek için kullanıldı. Bu modeller, uygulama için pratik hesaplama maliyeti nedeniyle seçildi.

Results

Buradaki deneyler, EHI yönlendirilen ince ayarın birden fazla model mimarisi ve veri setinde varlık düzeyindeki halüsinasyonları azaltmadaki etkisine dair nicel kanıtlara odaklanmaktadır. Sonuçlar, halüsinasyon metriklerinde tutarlı iyileşmeler gösterirken, gerçek tutarlılığı koruyor ve soru yanıtlama yeteneklerini korur.

Veri seti performansları
Diyalog veri seti performansı:
Tablo 5 , çoklu turlu diy...

Discussion

QA tabanlı metrikler (örneğin, FEQA/QuestEval/QAFactEval) ve NLI tabanlı metrikler (ör. FactCC/SummaC) yardımcı QA/entailment bileşenleri gerektirir ve genellikle cümle düzeyinde kararlar sunar. Buna karşılık, EHI, hafif, referanssız, varlık düzeyinde bir puandır ve (i) gözlemlediğimiz birincil arıza modunu doğrudan hedefliyor -- varlık halüsinasyonu; (ii) modelden bağımsız ve hızlı hesaplanabilir; ve (iii) gerçek hayatta ince ayar için yoğun bir ödül olarak hizmet eder. Ampirik olarak, ...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Colab NVIDIA A100 GPU	NVIDIA	N/A	Google Colaboratory Pro
DistilBART (Encoder–Decoder)	Hugging Face	https://huggingface.co/sshleifer/distilbart-cnn-12-6
dslim/bert-base-NER	Hugging Face (dslim)	https://huggingface.co/dslim/bert-base-NER	Fine-tuned BERT base for English NER
Evaluation Models  QAGS (QA-based)	Salesforce Research	N/A	Factuality classifier
Evaluation Models (Factuality) FactCC	Google Research	N/A	Factuality classifier
Flan-T5 (Encoder–Decoder)	Google	https://huggingface.co/docs/transformers/main/en/model_doc/flan-t5	open-source, text-to-text, large language model
Hugging Face Transformers	Hugging Face, Inc.	https://huggingface.co/docs/transformers/index	Model loading & fine-tuning
Nous-Hermes-2-Mistral-7B-DPO	Mistral	https://huggingface.co/NousResearch/Nous-Hermes-2-Mistral-7B-DPO	7 billion parameter Language model
Programming Language Python 3.10 (Colab runtime)	Python Software Foundation	Version 3.10	Core implementation
Streamlit	Open Source	https://streamlit.io/	Factuality classifier
XLSUM dataset	BUET	https://github.com/csebuetnlp/xl-sum
XSUM dataset	University of Edinburgh	https://github.com/EdinburghNLP/XSum