Metin Özetleme İçinde Varlık Halüsinasyon İndeksini kullanarak Büyük Dil Modellerinin İnce Ayarlanması
9 Ocak 2026
Metin özetlemede varlık düzeyindeki halüsinasyonu azaltmak için Enti Halüsinasyon İndeksi (EHI) ödül sinyali olarak kullanan büyük dil modelleri için pekiştirme öğrenme tabanlı ince ayar yaklaşımı öneriyoruz. Toplantı transkriptleri üzerinde yapılan deneyler, bu yöntemin varlık sadakatini ve doğruluğunu artırdığını göstermektedir.
Bu çalışma, AI özetli metinde yanlış varlık üretimini azaltmak için Varlık Halüsinasyon Endeksi'ni ödül sinyali olarak kullanmaktadır. Mevcut metrikler iki kaba durumda, bu protokol insan etiketleri olmadan gerçekliği artırmak için ince taneli varlık ödülleri kullanıyor. Başlamak için, çoklu turlu toplantı transkriptlerinden oluşan diyalog transkripsiyon veri seti ve XSum News özetleme kıstası dahil olmak üzere iki ana korpus kullanın.
Her veri setini temizleyin, veriyi düzleştirin ve %80 eğitim, %10 doğrulama ve %10 test setlerine ayırın. Sağlam topraklama sağlamak için transformatör tabanlı NER model D slim/BERT tabanlı bir NER kullanarak tokenizasyon ve varlık çıkarımı gerçekleştirin. Sıfır atış modunda, dört genişlikli ışın araması kullanarak başlangıç halüsinasyon prevalansını tahmin etmek için ilk özetler oluşturun.
Varlık halüsinasyon endeksini, varlıkları beş faktöre ayıran ve sadakati nicelikten yararlanan referanssız bir varlık düzeyi metrik olarak hesaplayın. Çıkarma ve olumlu halüsinasyonları ödüllendirin ve olumsuz halüsinasyonları, aşırı odaklanmış varlıkları ve odaklanmayı kaybetmeyi cezalandırın. Ödül fonksiyonunu varlık sadakatiyle orantılı olarak tanımlayın ve üretilen özetler arasında beklenen EHI ödülünü en üst düzeye çıkarın.
Model parametrelerini en üst düzeye çıkararak varlığın sadakatini maksimize etmek için güçlendirilmiş bir stil güncelleme mekanizması uygulayın. Parametre verimli ince ayar sağlamak için düşük rank adaptasyonu kullanın ve sadece LoRA adaptörlerini güncelleyin ve temel model ağırlıklarını dondurulmuş tutar. Sonra politika gradyanı güncellemeleri uygulayarak daha yüksek ödül çıktılarını teşvik edin ve her 500 güncellemede özetleri yenileyin, böylece ödül tahminleri yenilen.
Son olarak, ince ayarlanmış modelleri kullanarak nihai özetler oluşturun ve bunları temel sonuçlarla karşılaştırın. Rouge bir, Rouge iki ve Rouge L kullanarak bilgilendiricilik modellerini, akıcılık ve gerçek tutarlılığı için gerçek CC ve CAG'leri kullanarak değerlendirin. EHI'nin ince ayarı, modeller ve veri setlerinde halüsinasyonları azalttı ve gerçekliği artırdı; EHI'de sağa kaymalar ve CC dağılımları varlık sadakatini ve olgusal tutarlılığı artırdı, CAGS puanları ise büyük ölçüde değişmeden kaldı.
Zararlı halüsinasyon türleri olan negatif, aşırı odaklanma ve odaklanma kaybı Mistral'da ince ayarlamadan sonra azalmış, ekstraksiyon faktörü ise neredeyse iki katına çıkmıştır. Korelasyon analizi, Mistral ve DistilBART'ta EHI ve CAGS'nin zayıf bir korelasyon olduğunu gösterdi, ancak Flan-T5 daha güçlü bir pozitif korelasyon gösterdi. Araştırmacılar, otomatik EHI ödül sinyali kullanarak özetlerde varlık düzeyinde sadakat ve halüsinasyon oranlarını ölçebilirler.
En kritik zorluk, NER doğruluğudur; çünkü çıkarma hataları eğitim sırasında yanlış ödül hesaplamalarına yol açabilir. Gelecekteki çalışmalar, ortak referans çözümü ve bilgilendiricilik ödüllerini birleştirerek sadakati özet kapsamla daha iyi dengeleyebilir.
Tam transkripti görüntüleyin ve binlerce bilimsel videoya erişin
Genel Bakış
Bu makale, özetleyici özetlemedeki varlık düzeyindeki halüsinasyonları azaltmayı amaçlayan, büyük dil modelleri (LLM'ler) için ödül güdümlü yeni bir ince ayar çerçevesi sunmaktadır. Rehber bir metrik olarak Varlık Halüsinasyon Endeksi'nden (EHI) yararlanan bu yaklaşım, bilgilendiricilikten veya genellenebilirlikten ödün vermeden üretilen özetlerin olgusal doğruluğunu artırmaktadır.
Temel Çalışma Bileşenleri
Bilim Alanı
- Doğal Dil İşleme
- Makine Öğrenimi
- Metin Özetleme
Arka Plan
- LLM'ler, özetleyici özetleme kalitesini önemli ölçüde artırmıştır.
- Özetlerde yanlış veya uydurma varlıkların ortaya çıktığı varlık düzeyindeki halüsinasyonlar, temel bir zorluk olmaya devam etmektedir.
- Mevcut modeller genellikle bilgilendiricilik ile olgusal doğruluk arasındaki dengeyi kurmakta zorlanmaktadır.
- Model eğitiminde, halüsinasyon gören varlıkları doğrudan cezalandıran metrikler yeterince araştırılmamıştır.
Çalışmanın Amacı
- Özetleme modellerindeki varlık halüsinasyonlarını azaltan bir ince ayar çerçevesi geliştirmek.
- Bir ödül sinyali olarak Varlık Halüsinasyon Endeksi'ni (EHI) tanıtmak ve kullanmak.
- LLM tarafından oluşturulan özetlerde iyileştirilmiş gerçeklik ve sağlamlık göstermek.
Kullanılan Yöntemler
- XSUM gibi yapılandırılmış transkript veri setleri üzerinde önceden eğitilmiş modeller (örneğin, Flan-T5, DistilBART, Mistral) kullanılarak oluşturulan başlangıç özetleri.
- Hem oluşturulan özetlerden hem de altın standart referans özetlerden adlandırılmış varlık çıkarımı.
- Varlık kesinliğinin değerlendirilmesi ve uydurma varlıkların cezalandırılması yoluyla EHI hesaplaması.
- Ödül sinyali olarak EHI'nın kullanıldığı, REINFORCE tarzı bir güncelleme mekanizması ile pekiştirmeli öğrenme ince ayarı.
Temel Sonuçlar
- İnce ayarlı modeller, daha düşük varlık halüsinasyonu oranları sergiledi.
- Azalan halüsinasyona rağmen özetlerin bilgilendiriciliği korundu.
- EHI kılavuzlu modeller, alan dışı özetleme görevlerinde daha iyi genelleme yeteneği gösterdi.
- Deneysel değerlendirmelerde artan sağlamlık ve olgusal doğruluk gözlemlendi.
Sonuçlar
- EHI tabanlı ödül çerçevesi, LLM özetlemedeki varlık düzeyindeki halüsinasyonları etkili bir şekilde azaltır.
- Bu yaklaşım kullanılarak gerçeklik ve bilgilendiricilik ortaklaşa optimize edilebilir.
- Yöntem, otomatik özetleme sistemlerinin güvenilirliğini artırmak için pratik bir yön sunmaktadır.
Sıkça Sorulan Sorular
Sektörel Uygunluk Özeti
Büyük dil modeli (LLM) özetlemesinde varlık düzeyindeki halüsinasyonlar, biyofarma Ar-Ge'sinde veri bütünlüğü ve karar verme süreçleri açısından önemli bir risk oluşturmaktadır.&D. Varlık Halüsinasyon İndeksi (EHI) kılavuzlu ince ayar çerçevesi, bu sorunu doğrudan ele alarak bilimsel ve operasyonel metin kaynaklarından olgusal bilgilerin daha güvenilir bir şekilde çıkarılmasını sağlar. Otomatik özetlemedeki artırılmış olgusallık, daha yüksek öngörü güvenini destekler ve bilgi odaklı veri hatlarında sonraki aşamalardaki riskleri azaltır.
Biyofarma Ar-Ge'sinde Stratejik Uygulamalar&D
Erken Keşif ve Hedef Doğrulama
- Kurgusal varlıkları minimize ederek hedef tanımlama için literatür ve veri madenciliğinin doğruluğunu artırır.
- Çıkarılan varlıkların gerçek biyolojik ilişkileri yansıtmasını sağlayarak mekanistik risk azaltmayı destekler.
- Otomatik metin özetleme çıktılarından daha güvenilir hipotez üretilmesine olanak tanır.
Tarama ve Analiz Geliştirme
- Çeşitli dokümantasyon kaynaklarından analiz hedeflerinin ve koşullarının standartlaştırılmış şekilde çıkarılmasını kolaylaştırır.
- Hatalı varlık bilgilerinin tarama iş akışlarına aktarılma riskini azaltır.
- Otomatik özetler boyunca varlık doğruluğunu koruyarak tekrarlanabilirliği destekler.
Translasyonel ve Preklinik Araştırmalar
- Halüsinasyonları azaltarak preklinik bulguların hastalıkla ilgili varlıklara eşlenmesini geliştirir.
- Keşif aşamasından preklinik doğrulama aşamalarına kadar varlık takibinin sürekliliğini artırır.
- Daha güvenilir varlık düzeyinde kanıtlar sağlayarak risk ayarlı ilerlemeyi destekler.
Boru Hattı ve İş Akışı Entegrasyonu
EHI kılavuzlu ince ayar çerçevesi; keşif, tarama ve translasyonel araştırma süreçlerinin bilişim katmanına entegre olarak, güçlü varlık çıkarımı ve özetlemeyi desteklemektedir.
- Keşif Biyolojisi: Madencilik yoluyla elde edilen özetlerde varlık doğruluğunu sağlayarak hipotez testlerini ve yolak netleştirme süreçlerini kolaylaştırır.
- Tarama: Deney dokümantasyonu ve bileşik değerlendirmesi için tekrarlanabilir ve varlıklara sadık özetler sunar.
- Analitik: Farklı koşullar altındaki özetleme çıktılarını kıyaslamak ve karşılaştırmak için kantitatif EHI skorları sağlar.
- Translasyonel Araştırma: Keşif aşamasından preklinik aşamalara geçişte biyobelirteç ve hastalık haritalaması için varlık sadakatini korur.
- Kurumsal Yeniden Kullanım: Çeşitli biyofarma metin kaynakları için ölçeklenebilir ve ödül tabanlı bir özetleme kapasitesi oluşturur.
Operasyonel ve Kurumsal Etki
- Bilimsel Değer: Metin kaynaklı içgörülerdeki öngörü güvenini artırır ve mekanistik belirsizliği azaltır.
- Operasyonel Değer: Ekipler ve projeler arasında varlık çıkarımını ve özet oluşturmayı standartlaştırır.
- Stratejik Değer: Otomatik bilgi çıkarımının güvenilirliğini artırarak daha iyi karar alma/durdurma (go/no-go) süreçlerini destekler.
- Portföy Etkisi: Hatalı varlık verilerinin yayılımını azaltarak risk ayarlı önceliklendirmeyi mümkün kılar.
Uygulama Hususları
- Model ince ayarı için doğal dil işleme ve pekiştirmeli öğrenme konularında uzmanlık gerektirir.
- EHI hesaplaması için yapılandırılmış transkript veri setlerine ve altın standart referans özetlere erişim gereklidir.
- Varlık tanımları ve çıkarma standartları konusunda ekipler arası mutabakat gerektirir.
- Farklı biyomedikal alanlar veya belge türleri için EHI eşik değerlerinin uyarlanmasını gerektirebilir.
- Optimum performans için başlangıçtaki önceden eğitilmiş modellerin ve referans verilerin kalitesine bağımlıdır.
