Büyük Dil Modellerinde Düşük Gecikmeli Halüsinasyon Azaltma için İstatistiksel Karar Modelleme ile Adaptif NLI Güdümlü İddia Doğrulama

Özet

Bu çalışma, iddia düzeyinde doğrulama ve adaptif istatistiksel eşikleme yoluyla büyük dil modellerindeki halüsinasyonları azaltmaya yönelik hafif bir çerçeve sunmaktadır. Desteklenmeyen iddiaları Doğal Dil Çıkarımı kullanarak seçici bir şekilde düzelten bu yaklaşım, düşük yanıt gecikmesini ve pratik dağıtım verimliliğini korurken olgusal doğruluğu artırmaktadır.

Özet

Büyük Dil Modelleri (LLM'ler), gerçekle bağdaşmayan ancak dilsel olarak akıcı çıktılar üretme şeklinde tanımlanan ve halüsinasyon olarak adlandırılan kritik bir eğilim sergilemektedir; bu durum, hassasiyet gerektiren uygulamalarda ciddi riskler oluşturur. Geri çağırma ile desteklenmiş üretim (retrieval-augmented generation) ve öz-tutarlılık örneklemesi (self-consistency sampling) dahil olmak üzere mevcut azaltma stratejileri, ya önemli düzeyde çıkarım gecikmesine yol açmakta ya da harici bilgi altyapısına bağımlı kalmaktadır ve bu da gerçek zamanlı dağıtımlardaki uygulanabilirliklerini sınırlamaktadır. Bu makale, LLM yanıtlarını atomik olgusal iddialara ayıran ve çıkarılan her bir iddiayı, izole bir olgusal hatırlama istemi aracılığıyla ayrı olarak üretilen bir referansa karşı bağımsız olarak doğrulayan hafif, iki aşamalı bir iddia doğrulama çerçevesi önermektedir. Üretici ve doğrulayıcı aynı temel dil modelini paylaşsa da, yanıt üretimini olgusal hatırlamadan ayırmak, Doğal Dil Çıkarımı (NLI) kullanarak doğrudan yanıt koşullandırmasını azaltmakta ve doğrulama sırasında onaylama yanlılığını hafifletmektedir; ayrıca yalnızca çelişen iddiaları seçerek düzeltmek için NLI güven puanı dağılımı üzerinden τ = µ + kσ olarak tanımlanan adaptif bir istatistiksel eşik uygulamaktadır. Sabit karar sınırlarına dayanan önceki NLI tabanlı yöntemlerin aksine, önerilen çerçeve doğrulama eşiğini her yanıtın güven dağılımına göre dinamik olarak uyarlamakta ve model yeniden eğitimine ihtiyaç duymadan değerlendirilen kıyaslamalarda tutarlı bir performans sergilemektedir. TruthfulQA ve FEVER üzerinde değerlendirilen çerçeve, TruthfulQA'daki halüsinasyon oranını %28'den %9'a indirerek %67,9 oranında bağıl bir azalma sağlamış, temel LLM'e kıyasla yalnızca 160 ms ek gecikme oluşturmuş ve halüsinasyon tespit doğruluğunda SelfCheckGPT ile FActScore'u geride bırakmıştır. Bu sonuçlar, çerçevenin değerlendirilen kıyaslamalarda olgusal güvenilirlik ile yanıt gecikmesi arasında uygun bir denge sağlayabileceğini göstermektedir; ancak farklı alanlar ve dağıtım ortamlarında daha fazla doğrulama yapılması gerekmektedir.

Giriş

Büyük Dil Modelleri (LLM'ler), metin oluşturma, soru yanıtlama, özetleme ve karmaşık akıl yürütme dahil olmak üzere geniş bir doğal dil görevleri yelpazesinde dikkat çekici yetenekler sergileyerek modern yapay zeka sistemlerinin temel bileşenleri olarak ortaya çıkmışlardır¹. Akıcı ve bağlamsal olarak tutarlı yanıtlar üretme yetenekleri; klinik karar desteği, hukuki analiz, yazılım mühendisliği ve eğitim teknolojileri gibi yüksek etkili alanlarda benimsenmelerini hızlandırmıştır². Ancak, bu ortamlardaki güvenilirliklerini sarsan kritik ve kalıcı bir sınırlama mevcuttur: modellerin dilsel olarak akıcı ancak olgusal olarak yanlış, desteklenmeyen veya tamamen uydurma yanıtlar ürettiği halüsinasyon durumu 3. Ampirik çalışmalar, göreve ve modele bağlı olarak %15'ten %40'ın üzerine kadar değişen halüsinasyon oranları bildirmekte olup, GPT-4 gibi en güncel sistemler bile alana özgü değerlendirmeler altında ölçülebilir olgusal tutarsızlıklar sergilemektedir^2,3. Bu sınırlama, hatalı çıktıların yanlış bilgilendirmeye, yanlış teşhise veya kusurlu karar verme süreçlerine yol açabileceği hassas uygulamalarda ciddi riskler oluşturmaktadır⁴. Halüsinasyonlar temel olarak dil modellemenin olasılıksal doğasından kaynaklanmaktadır; LLM'ler, doğrulanmış olgusal bilgileri geri çağırarak veya bunlar üzerinden akıl yürüterek değil, girdi dizilerinin istatistiksel olarak olası devamlarını tahmin ederek token'lar üretirler⁵. Bunun bir sonucu olarak, üretilen çıktılar kulağa makul gelen ancak yanlış iddialar içerebilir, desteklenmeyen önermeler sunabilir veya anlamsal olarak ilişkili ancak olgusal olarak farklı kavramları birbirine karıştırabilir⁶.

Mevcut azaltma stratejileri, her biri belirgin sınırlamalara sahip birkaç paradigma aracılığıyla bu sorunu ele almaktadır. Geri Getirme ile Artırılmış Üretim (RAG), yanıtları dışarıdan getirilen belgelere dayandırarak halüsinasyonları azaltır; ancak önemli bir gecikme yükü getirir, bakımı yapılan bilgi tabanlarına erişim gerektirir ve uzmanlaşmış veya düşük kaynaklı alanlardaki geri getirme hatalarına karşı savunmasız kalmaya devam eder^7,8,9.

Yanıt oluşturucu ve referans oluşturucu, aynı temel GPT-3.5 Turbo modeli kullanılarak örneklendirilmiş olsa da, farklı istemleme hedefleri ve yürütme bağlamları altında çalışırlar. Yanıt oluşturucu, kullanıcı sorgusuna kısıtlanmamış bir cevap üretirken; referans oluşturucu, daha önce üretilmiş yanıta erişimi olmaksızın izole bir olgusal hatırlama görevi gerçekleştirir. Bu ayrım, doğrudan yanıt koşullandırma etkilerini azaltır ve iddia doğrulama sırasında onaylama yanlılığını sınırlar. Bu nedenle çerçeve, üretilen referansı istatistiksel olarak bağımsız değil, prosedürel olarak bağımsız kabul eder.

Güncel araştırmalar ayrıca, harici geri çağırma veya tekrarlanan doğrulamalara dayanmadan, metin üretimindeki halüsinasyonları azaltmak için hafif ağırlıklı kod çözme stratejilerini de incelemiştir. Temsili yaklaşımlardan biri olan Katmanları Karşılaştırarak Kod Çözme (DoLA), kod çözme sırasında ara ve final transformer katmanlarından gelen temsilleri karşılaştırarak gerçekliği artırır. Üretim sonrası doğrulama çerçevelerinin aksine, bu yöntemler doğrudan token üretimi sırasında müdahale eder ve bu nedenle dil üretim sürecinin farklı bir aşamasını optimize eder. Bu tamamlayıcı stratejiler, halüsinasyon azaltmanın ya kod çözme sırasında ya da üretim sonrası doğrulama yoluyla gerçekleştirilebileceğini göstermekte olup, her yaklaşım hesaplama maliyeti, uygulama karmaşıklığı ve gerçeklik güvenilirliği açısından farklı ödünleşimler sunmaktadır.

Öz-tutarlılık yöntemleri, birden fazla yanıt örneği alarak ve en sık tekrarlanan veya tutarlı çıktıyı seçerek olgusal güvenilirliği artırır; ancak hesaplama maliyetleri örnek sayısıyla doğrusal olarak artar, bu da onları gecikmeye duyarlı dağıtımlar için uygunsuz kılar⁸. Öz-geribildirim döngüleri aracılığıyla çıktıları defalarca gözden geçiren yinelemeli iyileştirme yaklaşımları, hata oranlarını kademeli olarak azaltır ancak her ek geçişle birlikte çıkarım süresini önemli ölçüde uzatır⁹. NLI tabanlı doğrulama yöntemleri, üretilen iddialar ile referans metinler arasındaki anlamsal gerektirmeyi değerlendirerek daha hedef odaklı bir alternatif sunar; fakat mevcut uygulamalar, farklı güven dağılımlarına, alanlara veya model davranışlarına uyum sağlayamayan sabit karar eşiklerine dayanmaktadır^10,11. Toplu olarak değerlendirildiğinde, bu yaklaşımlar ya kabul edilemez bir hesaplama yükü getirir, ya harici altyapılara bağımlıdır ya da genel dağıtım için gereken uyumluluğa sahip değildir. Bu halüsinasyon doğrulama yaklaşımlarının temel özelliklerinin bir karşılaştırması Ek Tablo 1'de sunulmuştur.

Bu makale, düşük yanıt gecikmesini korurken LLM çıktılarındaki halüsinasyonları azaltmak için tasarlanmış, hafif ve iki aşamalı bir iddia doğrulama çerçevesi önermektedir. İlk aşamada, LLM bir başlangıç yanıtı oluşturur ve bu yanıt daha sonra atomik olgusal iddialara ayrıştırılır. İkinci aşamada, her bir iddia, orijinal oluşturulan yanıta erişim sağlamayan bağımsız bir muhakeme geçişiyle üretilen ayrı bir olgusal referansa karşı Doğal Dil Çıkarımı (NLI) kullanılarak doğrulanır ve istatistiksel olarak türetilmiş bir güven eşiği, iddia düzeyindeki kabul etme veya düzeltme kararını yönetir. Bu çalışmanın temel katkıları şunlardır: (1) Yanıt oluşturmayı olgusal doğrulamadan ayıran, harici veri getirme veya tam yanıtın yeniden oluşturulmasına gerek kalmadan her bir atomik iddianın bağımsız ve hedefli değerlendirilmesine olanak tanıyan iki aşamalı bir iddia düzeyinde doğrulama hattı; (2) NLI güven puanlarının dağılımına dayalı, sabit karar kurallarına güvenmek yerine kabul ve düzeltme sınırlarını dinamik olarak belirleyen ve farklı güven dağılımlarında sağlamlığı artıran adaptif bir istatistiksel eşikleme mekanizması (τ = µ + kσ); (3) Yeniden oluşturmayı yalnızca çelişkili olarak sınıflandırılan iddialarla sınırlayan ve tam yanıt yeniden örnekleme veya yinelemeli iyileştirme yaklaşımlarına kıyasla hesaplama yükünü önemli ölçüde azaltan seçici bir düzeltme stratejisi; (4) Halüsinasyon odaklı bir benchmark üzerinde yapılan ampirik değerlendirme, önerilen çerçevenin yanıt gecikmesini pratik uygulama sınırları içinde tutarken halüsinasyon oranlarını %28'den %9'a düşürdüğünü göstermektedir.

Protokol

Bu çalışma insan katılımcıları, hayvanları, biyolojik örnekleri veya hasta verilerini içermemiştir. Bu nedenle, kurumsal etik onay ve bilgilendirilmiş onam gerekmemiştir.

Çalışma tasarımına genel bakış

Büyük dil modeli (LLM) çıktılarının olgusal güvenilirliğini artırmak için iki aşamalı bir doğrulama çerçevesi uygulanmıştır. Prosedür; yanıt oluşturma, iddia çıkarma, İzole Referans Oluşturma, Doğal Dil Çıkarımı (NLI) tabanlı doğrulama, adaptif istatistiksel karar verme, seçici düzeltme ve nihai yanıt birleştirme aşamalarından oluşmuştur. Çerçeve, TruthfulQA ve FEVER kıyaslama veri setleri kullanılarak değerlendirilmiştir.

Genel iş akışı

Kullanıcı Sorgusu → İlk Yanıt Oluşturma → İddia Çıkarımı → Bağımsız Referans Oluşturma → NLI Doğrulaması → İstatistiksel Eşik Hesaplaması → İddia Düzeltme → Nihai Doğrulanmış Yanıt. Adaptif iddia doğrulama çerçevesinin genel iş akışı Şekil 1'de gösterilmiştir.

Veri seti hazırlama

817 gerçek odaklı soru içeren TruthfulQA veri seti¹² indirilmiş ve değerlendirme için hazırlanmıştır. FEVER veri seti¹³, Desteklenen, Çürütülen veya Yetersiz Bilgi olarak etiketlenmiş 185.445 açıklanmış iddiadan oluşmaktadır; değerlendirmede, iddia, kanıt ve temel gerçek etiket alanlarını içeren etiketli geliştirme verileri kullanılmıştır. Her bir iddia, kendisine sunulan kanıtlara göre değerlendirilmiş, orijinal FEVER etiketi ise doğrulama için referans sonuç olarak tutulmuştur. Gerçek doğrulama iddia-kanıt çiftlerini içeren FEVER veri seti temin edilmiş ve ön işlemeden geçirilmiştir. Giriş soruları ve iddialar standartlaştırılmış bir metin formatına dönüştürülmüştür. Deneyler öncesinde yinelenen girişler ve eksik örnekler kaldırılmıştır. TruthfulQA, doğrulama ve test alt kümelerine ayrılmıştır. TruthfulQA örneklerinin yaklaşık %20'si (164 soru) eşik değer ayarı için kullanılırken, geri kalan 653 soru performans değerlendirmesi için ayrılmıştır. FEVER için, kıyaslama referansında sağlanan iddialar doğrudan doğrulama birimleri olarak kullanılmış ve TruthfulQA'ya uygulanan yanıt oluşturma ile iddia çıkarma prosedürüne tabi tutulmamıştır. Çerçeve geliştirme ve değerlendirme için kullanılan kıyaslama veri setlerinin özellikleri Tablo 1'de özetlenmiştir.

Başlangıç yanıt üretimi

Her bir sorgu, temel dil modeline gönderilmiştir. Yanıtlar, 0,7 sıcaklık (temperature) ve 0,9 top-p değeriyle çekirdek örnekleme (nucleus sampling) kullanılarak oluşturulmuştur. Maksimum çıktı uzunluğu 256 token ile sınırlandırılmıştır. Oluşturulan yanıtlar, herhangi bir son işlem veya manuel düzenleme yapılmadan saklanmıştır. Oluşturulan metin, doğrudan iddia çıkarma aşamasına iletilmiştir.

İddia çıkarımı

Üretilen her yanıt, bağımsız olarak doğrulanabilen olgusal ifadelere ayrıştırılmıştır. Atomik iddiaları belirlemek için yapılandırılmış bir ayrıştırma istemi kullanılmıştır. Bileşik ifadeler, minimal olgusal birimlere ayrılmıştır. Öznel görüşler, üslup ifadeleri ve konuşma doldurucuları çıkarılmıştır. Çıkarılan her bir iddia, bağımsız bir doğrulama birimi olarak kaydedilmiştir.

Örnek:

Orijinal yanıt:

"Marie Curie, radyoaktivite üzerine öncü araştırmalar yürüten Polonya doğumlu bir fizikçi ve kimyagerdi."

Çıkarılan iddialar: (1) Marie Curie Polonya doğumluydu; (2) Marie Curie bir fizikçi ve kimyagerdi; (3) Marie Curie radyoaktivite üzerine araştırmalar yaptı.

İzole referans konstrüksiyonu:

Çıkarılan her bir iddia için bağımsız bir olgusal referans oluşturuldu. Doğrulayıcı model yalnızca orijinal kullanıcı sorgusunu aldı. Onaylama yanlılığını önlemek amacıyla orijinal olarak oluşturulan yanıta erişim kısıtlandı. Özlü ve kanıta dayalı yanıtları teşvik etmek için bir olgusal hatırlama istemi kullanıldı. Oluşturulan referanslar daha sonraki doğrulama işlemleri için saklandı.

Doğal dil çıkarımı doğrulaması

Her bir iddia-referans çifti, önceden eğitilmiş bir NLI modeline gönderilmiştir. NLI modeli ilişkiyi şu şekilde sınıflandırmıştır: Gerektirme (Entailment), Nötr (Neutral) veya Çelişki (Contradiction). Üç sınıf için de güven olasılıkları kaydedilmiştir. İmzalı bir doğrulama puanı atanmıştır: Gerektirme için pozitif değer, nötr için sıfır veya çelişki için negatif bir değer. Eşik hesaplaması için tüm doğrulama puanları toplanmıştır.

Adaptif istatistiksel eşik hesaplaması

NLI modeli tarafından üretilen doğrulama güveni, farklı sorguların farklı sayıda iddia, semantik karmaşıklık düzeyi ve güven dağılımları oluşturması nedeniyle yanıtlar arasında önemli ölçüde farklılık gösterir. Sabit bir küresel eşik, tüm yanıtların benzer bir güven profili izlediğini varsayar ki bu durum pratikte nadiren görülür. Bu değişkenliği karşılamak için önerilen çerçeve, her yanıt için karar sınırını, o yanıtın doğrulama puanlarının ortalamasını ve standart sapmasını kullanarak bireysel olarak tahmin eder. Ortalama, yanıtın genel güven düzeyini yansıtırken, standart sapma çıkarılan iddialar arasındaki güven değerlerinin dağılımını yakalar. Bu adaptif formülasyon, kabul kriterinin tüm girdiler için tek bir eşiğe güvenmek yerine yanıta özgü belirsizliğe göre ayarlanmasına olanak tanır.

Tüm imzalı doğrulama puanlarının ortalaması (µ) ve standart sapması (σ) hesaplandı.

Adaptif karar eşiği şu şekilde hesaplanmıştır:

burada τ adaptif eşiği, µ ortalama doğrulama skorunu, σ standart sapmayı ve k hassasiyet parametresini temsil eder.

Hassasiyet parametresi 0,7 olarak belirlenmiştir. Skoru +τ'ye eşit veya daha büyük olan ve Gerektirme (Entailment) olarak sınıflandırılan iddialar kabul edilmiştir. Skoru −τ'ye eşit veya daha küçük olan ve Çelişki (Contradiction) olarak sınıflandırılan iddialar düzeltme için işaretlenmiştir. Skorları (−τ, +τ) aralığında olan iddialar nötr olarak tutulmuştur.

Seçici istem düzeltmesi

Bir iddia, yalnızca NLI modeli iddia-referans çiftini Çelişki (Contradiction) olarak sınıflandırdığında ve buna karşılık gelen imzalı doğrulama puanı s_i ≤ -τ adaptif eşik kriterini karşıladığında düzeltme için iletildi. Böylece, düzeltme kararı NLI sınıf etiketi ve yanıta özgü istatistiksel eşik tarafından ortaklaşa belirlendi. s_i ≥ τ değerine sahip ve Gerektirme (Entailment) olarak sınıflandırılan iddialar kabul edilirken, -τ < s_i < τ aralığında kalan iddialar nötr olarak değerlendirildi ve düzeltilmeden korundu. Bu birleşik kriter, düzeltmenin yalnızca hem anlamsal çelişki hem de yeterince güçlü negatif doğrulama kanıtı sergileyen iddialara uygulanmasını sağladı.

Yanıt rekonstrüksiyonu

Kabul edilen ve düzeltilen iddialar orijinal sıralarıyla düzenlenmiştir. Okunabilirliği korumak için cümle sınırları yeniden oluşturulmuştur. Gerektiğinde küçük dilbilgisi düzeltmeleri uygulanmıştır. Birleştirilen çıktı, nihai doğrulanmış yanıt olarak saklanmıştır.

Performans değerlendirmesi

Çerçeve dört metrik kullanılarak değerlendirilmiştir: (1) Doğruluk: Doğrulama sonrası olgusal olarak doğru kalan yanıtların oranı; (2) F1 Skoru: Halüsinasyon tespit hassasiyeti ve geri çağırmasının harmonik ortalaması; (3) Yanıt Gecikmesi: Sorgu gönderiminden doğrulanmış yanıt oluşturulmasına kadar geçen toplam işlem süresi; (4) Halüsinasyon Oranı

Gecikme süresi, tekrarlanan ölçümler boyunca ortalama yürütme süresi olarak rapor edilmiştir. Her bir çalıştırmaya ait bireysel gecikme değerleri saklanmadığı için standart sapmalar ve güven aralıkları hesaplanmamıştır.

Benchmark'a özel doğruluk değerlendirmesi

TruthfulQA için, son doğrulanmış yanıt, kıyaslamanın insan tarafından onaylanmış yanıt referansları ve yanlış yanıt listeleriyle karşılaştırılmıştır. Bir yanıtın olgusal iddiaları, kabul edilen yanıt bilgileriyle tutarlı olduğunda ve belirlenen yanlış yanıt kalıplarına karşılık gelen içerikler barındırmadığında, yanıt doğru olarak sayılmıştır. FEVER için, nihai çıktıdaki her bir iddia, ilgili kanıtı ve orijinal FEVER açıklamasıyla değerlendirilmiştir; Desteklenen (Supported) iddialar olgusal olarak doğrulanmış kabul edilirken, Reddedilen (Refuted) iddialar yanlış olarak sayılmıştır. Yetersiz Bilgi (Not Enough Information) durumları, pozitif olgusal kanıt olarak değerlendirilmek yerine belirsiz olarak tutulmuştur. Elde edilen iddia düzeyindeki kararlar, bildirilen Doğruluk ve Halüsinasyon Oranı değerlerini hesaplamak için her bir kıyaslama genelinde toplulaştırılmıştır.

Deneysel ortam

Çatı, Python 3.9 kullanılarak uygulanmıştır. Veri işleme işlemleri, sayısal ve tablo analiz kütüphaneleri kullanılarak gerçekleştirilmiştir. NLI modeli, ek bir ince ayar yapılmadan çıkarım modunda çalıştırılmıştır. Deneyler; Intel Core i5 işlemci, 16 GB RAM ve 64-bit işletim sistemine sahip bir iş istasyonunda yürütülmüştür. Düşük gecikmeli çalışma sağlamak amacıyla tüm değerlendirmeler tek geçişli çıkarım ayarı kullanılarak yapılmıştır. Veri setleri ve temel yöntemler arasında tutarlı bir değerlendirme sağlamak için tüm deneyler, özdeş donanım ve yazılım yapılandırmaları kullanılarak gerçekleştirilmiştir.

Beklenen sonuç

Protokol, potansiyel olarak desteklenmeyen iddiaları belirleyerek ve güçlü bir şekilde çelişen iddiaları düzeltme için seçici olarak ileterek iddia düzeyinde doğrulama kararları üretmek üzere tasarlanmıştır. Beklenen çıktı, deneysel değerlendirme sırasında gözlemlenen performansa bağlı olarak, olgusal tutarsızlıkların azaltıldığı ve ek işlem yükünün sınırlandırıldığı doğrulanmış bir yanıttır.

Sonuçlar

İlk yanıt oluşturma

Temel dil modeli, her iki kıyaslama veri setindeki sorular için akıcı ve bağlamsal olarak ilgili yanıtlar üretmiştir. Ancak, detaylı bir inceleme sonucunda çeşitli yanıtlarda desteklenmeyen ve olgusal olarak yanlış ifadeler tespit edilmiştir. TruthfulQA veri setinde temel sistem %28'lik bir halüsinasyon oranı sergilerken, FEVER veri setinde %26'lık bir halüsinasyon oranı gözlemlenmiştir. Bu bulgular, yalnızca doğrudan dil üretiminin yüksek olgusal güvenilirlik gerektiren uygulamalar için yetersiz olduğunu doğrulamış ve sonraki tüm doğrulama prosedürlerinin karşılaştırılacağı temel koşulu belirlemiştir.

İddia çıkarımı

İddia çıkarma prosedürü, oluşturulan yanıtları bağımsız olarak doğrulanabilir olgusal birimlere başarıyla ayrıştırmıştır. TruthfulQA'dan gelen yanıtlar ortalama 3,2 atomik iddia içerirken, FEVER örnekleri genellikle tek bir iddiadan oluşmuştur. Ayrıştırma işlemi, ek bilgi eklemeden olgusal iddiaları izole ederek her bir ifadenin ayrı ayrı değerlendirilmesine olanak sağlamıştır. Bu gözlem, iddia düzeyinde doğrulamanın, tüm yanıtların tek bir birim olarak değerlendirilmesinden daha yüksek bir hassasiyet sağladığı hipotezini desteklemiştir.

Bağımsız referans oluşturma

Her bir çıkarılan iddia için, yalnızca orijinal sorguya dayalı ayrı bir akıl yürütme süreci kullanılarak bağımsız referanslar oluşturulmuştur. Oluşturulan referanslar, bağımsız doğrulama kaynakları olarak hizmet edebilecek düzeyde orijinal yanıtlardan yeterince farklı olan kısa ve olgusal tanımlamalar sağlamıştır. Referans oluşturma süreci, olgusal referansın modelin önceki çıktısına doğrudan bağlı olmasını önlemek amacıyla ilk yanıttan izole edilmiştir. Bu ayrım, potansiyel onaylama yanlılığını azaltmayı ve sonraki iddia düzeyindeki doğrulama için kontrollü bir temel sağlamayı amaçlamıştır; çalışma, bu etkinin boyutunu bağımsız olarak nicelleştirmemiştir. Bağımsız referansların başarıyla oluşturulması, bilgi geri çağırma ile yanıt oluşturma süreçlerini ayırma yönündeki önerilen tasarım ilkesini desteklemiştir.

Doğal dil çıkarımı doğrulaması

NLI doğrulama aşaması, iddia-referans çiftlerini gerektirme, çelişki ve nötr kategorilerine etkili bir şekilde sınıflandırmıştır. Çelişen iddialar tutarlı bir şekilde negatif doğrulama puanları alırken, gerçeklerle desteklenen iddialar pozitif puanlar almıştır. Yeterli destekleyici kanıtın bulunmadığı iddialara ise nötr sınıflandırmaları atanmıştır. Bu davranış, anlamsal çıkarımın desteklenmeyen olgusal ifadeleri güvenilir bir şekilde tanımlayabildiğini göstermiş ve hedeflenmiş düzeltme için gerekli kanıtları sağlamıştır. Basit bir tutarlılık kontrol stratejisiyle karşılaştırıldığında, NLI doğrulaması halüsinasyon oranını %20'den %15'e düşürerek tespit yeteneğinin geliştiğini göstermiştir.

Adaptif istatistiksel eşikleme

Adaptif istatistiksel eşikleme uygulaması, her bir yanıtın güven puanı dağılımına göre karar sınırlarını dinamik olarak ayarlayarak doğrulama performansını daha da artırmıştır. Eşik hassasiyeti analizi, eşik parametresi 0,3'ten 0,7'ye yükseldikçe performansın arttığını göstermiştir. 0,7 hassasiyet değerinde, çerçeve, halüsinasyonları %9'a indirgerken 0,87'lik bir doğruluk elde etmiştir (Şekil 2). Değerlendirilen k değerleri için eksiksiz hassasiyet analizi sonuçları Ek Tablo 2'de sunulmuştur. Eşiğin bu noktanın üzerine çıkarılması, gecikme süresini artırırken doğrulukta yalnızca küçük kazanımlar sağlamıştır. Bu gözlemler, yanıtlar arasındaki farklı güven dağılımlarını yönetmede adaptif eşiklerin sabit karar sınırlarından daha etkili olduğu hipotezini desteklemiştir.

Adaptif eşik, ayrıca her bir yanıt içindeki güven puanlarının değişkenliğini yansıtır. Çok tutarlı doğrulama puanlarına sahip yanıtlar daha küçük bir standart sapma oluşturarak daha seçici bir karar sınırı ile sonuçlanır. Buna karşılık, heterojen güven değerlerine sahip iddialar içeren yanıtlar daha büyük bir standart sapma üretir; bu da daha geniş bir kabul bölgesi sağlar ve belirsiz iddialar için gereksiz düzeltmeleri azaltır. Bu adaptif davranış her yanlış pozitif veya yanlış negatifi ortadan kaldıramasa da, karar sınırının tüm girdilere tek tip bir kriter uygulamak yerine, her bir yanıtın belirsizlik özelliklerine yanıt vermesine olanak tanır.

Seçici istem düzeltme ve yanıt hazırlama

Yalnızca çelişkili olduğu belirlenen iddialar düzeltme için gönderilmiş, desteklenen ve nötr iddialar ise değiştirilmeden tutulmuştur. Bu seçici düzeltme stratejisi, gereksiz yeniden üretimi en aza indirmiş ve yanıtın orijinal yapısını korumuştur. Düzeltme ve yanıt yeniden yapılandırmasının ardından, TruthfulQA üzerindeki halüsinasyon oranı %28'den %9'a düşerek %67,9'luk bir göreceli azalma göstermiştir. Benzer iyileşmeler, halüsinasyonların %26'dan %10'a düştüğü FEVER üzerinde de gözlemlenmiştir. Değerlendirilen konfigürasyonlar arasındaki doğruluk ve halüsinasyon oranı karşılaştırmaları sırasıyla Şekil 3 ve 4'te sunulmuştur.

Performans değerlendirmesi

Karşılaştırmalı değerlendirme, önerilen çerçevenin test edilen tüm yöntemler arasında en yüksek genel performansı sergilediğini göstermiştir. TruthfulQA üzerinde çerçeve, 0,87 doğruluk ve 0,85 F1 puanı elde ederek hem sabit eşikli doğrulama hem de öz-tutarlılık tabanlı yaklaşımlardan daha iyi performans göstermiştir (Tablo 2, Şekil 3 ve 4). FEVER üzerinde çerçeve, 0,89 doğruluk ve 0,87 F1 puanı elde etmiştir (Tablo 3, Şekil 3 ve 4). Çerçeve bileşenlerinin artımlı katkısı, Tablo 4'te sunulan ablasyon analizi ile incelenmiştir. Bu iyileştirmeler, iddia düzeyinde doğrulamanın adaptif istatistiksel karar verme ile birleştirilmesinin, birden fazla veri setinde olgusal güvenilirliği artırdığını doğrulamıştır. SelfCheckGPT, FActScore ve önerilen çerçevenin halüsinasyon tespit doğruluğu Şekil 5'te karşılaştırılmıştır.

Latans analizi

Tam doğrulama hattı, düşük hesaplama yükünü korumuştur. Ortalama yanıt süresi, temel model için 820 ms'den tam çerçeve için 980 ms'ye yükselmiş olup, bu durum işlem süresinde yalnızca mütevazı bir artışı temsil etmektedir (Tablo 5). Toplam gecikmenin büyük çoğunluğu yanıt üretiminden kaynaklanırken, doğrulama ve düzeltme aşamaları nispeten az ek yük getirmiştir. Aşama düzeyindeki işlem süresi dökümü Ek Tablo 3'te verilmiştir. Sorgu başına yaklaşık 1600 ms gerektiren geri çağırma tabanlı doğrulama sistemleri ile karşılaştırıldığında, önerilen çerçeve benzer bir olgusal doğruluğu korurken önemli ölçüde daha düşük gecikme süresi sağlamıştır. Bu bulgular, halüsinasyon azaltmanın gerçek zamanlı kullanımdan ödün vermeden gerçekleştirilebileceği hipotezini desteklemiştir.

Yanıt üretimi bulut tabanlı bir dil modeline dayandığı için, bireysel gecikme ölçümleri deterministik bir yürütme süresinden ziyade ağ koşulları ve sunucu tarafındaki zamanlamadan kaynaklanan dalgalanmalara tabidir. Bu nedenle, değerlendirilen yöntemler arasındaki göreceli karşılaştırmaları korurken geçici yürütme değişkenliğinin etkisini azaltmak amacıyla, temsili ortalama değerler elde etmek için tekrarlı ölçümler kullanılmıştır. Gecikme değerleri, tekrarlanan deneysel çalışmalar boyunca ortalama yürütme süreleri olarak bildirilmiştir. Tur başına düşen bireysel gecikme değerleri saklanmamıştır; bu nedenle varyansın, güven aralıklarının veya diğer değişkenlik ölçütlerinin a posteriori hesaplanması mümkün olmamıştır. Buna bağlı olarak, gecikme değerleri ve Şekil 6'daki hız-doğruluk karşılaştırması, hata çubukları olmaksızın nokta tahminleri olarak sunulmuştur.

Sonuç olarak, iddia çıkarımı, bağımsız referans oluşturma, Doğal Dil Çıkarımı doğrulaması, adaptif istatistiksel eşikleme ve seçici düzeltmenin birleştirilmesinin, büyük dil modeli çıktılarının olgusal güvenilirliğini artırdığı gösterilmiştir. Söz konusu çerçeve, halüsinasyon oranını TruthfulQA'da %28'den %9'a, FEVER'da ise %26'dan %10'a düşürmüştür. Sonuçlar, adaptif iddia düzeyindeki doğrulamanın, değerlendirilen koşullar altında ek yanıt gecikmesini sınırlarken olgusal güvenilirlik metriklerini iyileştirdiğini göstermektedir.

Veri Kullanılabilirliği

Bu çalışmada analiz edilen veri setleri, ilgili resmi kaynakları aracılığıyla kamuya açıktır. Makale, açıklanan analizlerin tekrarlanmasını desteklemek için gerekli olan veri seti bilgilerini, model konfigürasyonlarını ve metodolojik detayları sunmaktadır. Çalışma sırasında oluşturulan işlenmiş değerlendirme verileri ve ek sonuçlar, Ek Dosyalar kısmında sunulmuştur.

Şekil 1: Adaptif iddia doğrulama çerçevesinin iş akışı. LLM tarafından oluşturulan ilk yanıt olgusal iddialara ayrıştırılır; ardından bağımsız referans oluşturma, NLI tabanlı doğrulama, güven puanlaması ve istatistiksel eşikleme işlemleri uygulanır. Kabul kriterini karşılayan iddialar saklanırken, düzeltme kriterini karşılayan iddialar, nihai yanıt birleştirilmeden önce hedeflenmiş düzeltme işlemine tabi tutulur. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 2hassasiyet parametresinin etkisi (k) doğrulama doğruluğu üzerinde. 0,3, 0,5, 0,7 ve 1,0 k değerlerinde TruthfulQA ve FEVER üzerindeki doğruluk. Her iki veri setinde de doğruluk k değeriyle birlikte artmış olup, k Birincil değerlendirme için = 0,7 seçilmiştir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 3: Doğrulama yöntemleri arasındaki doğruluk karşılaştırması. Temel LLM, NLI tabanlı doğrulama ve önerilen adaptif doğrulama çerçevesinin TruthfulQA ve FEVER üzerindeki doğruluğu. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 4: Doğrulama yöntemleri genelinde halüsinasyon oranı karşılaştırması.TruthfulQA ve FEVER üzerinde temel LLM, NLI tabanlı doğrulama ve önerilen çerçeve için halüsinasyon oranları. Önerilen çerçeve, oranı TruthfulQA'da %28'den %9'a, FEVER'da ise %26'dan %10'a düşürmüştür. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 5: Yöntemlere göre halüsinasyon tespit doğruluğu. SelfCheckGPT, FActScore ve önerilen çerçevenin TruthfulQA ve FEVER üzerindeki tespit doğruluğu. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 6: Doğrulama yöntemleri genelinde yanıt süresi ve doğruluk ödünleşimi.TruthfulQA ve FEVER üzerinde değerlendirilen yöntemler için yanıt gecikmesi ile doğruluk arasındaki ilişki; önerilen çerçeve ve karşılaştırıcı yaklaşımlarla ilişkili performans-gecikme ödünleşimini göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Veri Seti	Kullanılan Örnekler	Alanlar	Ort. Yanıt Uzunluğu (token)	Baz Hattı LLM Halüsinasyon Oranı
TruthfulQA	817	38 (bilim, tarih, hukuk, vb.)	42	28%
ATEŞ	1,000	Genel olgusal iddialar	18	26%

Tablo 1: Kıyaslama veri kümesi özellikleri. Çerçeve geliştirme ve değerlendirme için kullanılan TruthfulQA ve FEVER veri kümelerinin; örnek sayıları, temel doğruluk, temel halüsinasyon oranı ve örnek başına ortalama iddia sayılarını içeren özeti.

Yöntem	Doğruluk	Keskinlik	Duyarlılık	F1 Skoru	Halüsinasyon %
Referans LLM (Tekil Çıkarım)	0.72	0.71	0.69	0.7	28%
NLI Tabanlı Doğrulama (Sabit Eşik)	0.82	0.815	0.785	0.8	15%
SelfCheckGPT	0.76	0.755	0.725	0.74	22%
FActScore	0.85	0.8425	0.8175	0.83	11%
Önerilen Çerçeve (İstatistiksel Eşik)	0.87	0.86	0.84	0.85	9%

Tablo 2: TruthfulQA üzerindeki performans karşılaştırması. Baseline LLM, SelfCheckGPT, FActScore, NLI doğrulaması ve önerilen çerçeve için doğruluk, kesinlik, duyarlılık, F1 skoru ve halüsinasyon oranı.

Yöntem	Doğruluk	Hassasiyet	Hatırlama	F1 Skoru	Halüsinasyon %
SelfCheckGPT	0.78	—	—	—	—
FActScore	0.87	—	—	—	—
Temel LLM†	0.74	0.73	0.71	0.72	26%
NLI Tabanlı Doğrulama (Sabit Eşik Değer)	0.83	0.8225	0.7975	0.81	14%
Önerilen Çerçeve (İstatistiksel Eşik)	0.89	0.8775	0.8625	0.87	10%

Tablo 3: FEVER üzerindeki performans karşılaştırması. Temel LLM, SelfCheckGPT, FActScore, NLI doğrulaması ve önerilen çerçeve için doğruluk, kesinlik, geri çağırma, F1 skoru ve halüsinasyon oranı.

Konfigürasyon	Doğruluk	Hassasiyet	Geri çağırma	F1 (eklenmiş)	Halüsinasyon Oranı
Temel Dil Modeli	0.72	0.71	0.69	0.7	28%
Temel Hat + İkincil Kontrol (NLI Olmaksızın)	0.78	0.7725	0.7475	0.76*	20%
Temel Hat + NLI Tabanlı Doğrulama (Sabit Eşik Değer)	0.82	0.815	0.785	0.8	15%
Temel Çizgi + İstatistiki Karar Modülü (Tam)	0.87	0.86	0.84	0.85	9%

Tablo 4: Çatı bileşenlerinin ablasyon analizi. İkincil doğrulama, NLI doğrulaması ve adaptif istatistiksel eşiklemenin ardışık olarak dahil edilmesinin ardından doğruluk, F1 skoru ve halüsinasyon oranındaki değişimler.

Yöntem	Ortalama Tepki Süresi (ms)
Temel LLM (Tekil Üretim)	820
Öz-Doğrulama Mekanizması	910
Önerilen İstatistiki Çerçeve	980
Erişimle Zenginleştirilmiş Doğrulama (RAG)	1600

Tablo 5: Doğrulama yöntemlerine göre yanıt gecikmesi.Self-Validation (önerilen çerçeve) ve erişim destekli doğrulama için ortalama yanıt süresi ve temel LLM'ye kıyasla ek gecikme.

Ek Tablo 1: Halüsinasyon doğrulama yaklaşımlarının karşılaştırılması. Önerilen çerçevenin; harici erişim, iddia düzeyinde doğrulama, adaptif eşikleme ve gecikme verimli işleme açısından mevcut yöntemlerle karşılaştırılması.Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Tablo 2: Eşik parametresinin (k) duyarlılık analizi. Doğruluk, kesinlik, duyarlılık, F1 skoru ve halüsinasyon oranı; 0,3, 0,5, 0,7 ve 1,0 eşik parametre değerlerinde elde edilmiştir. Birincil değerlendirme için k = 0,7 değeri kullanılmıştır.Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Tablo 3: Doğrulama hattının aşamalarına göre işlem süresi. İlk yanıt oluşturma, iddia ayrıştırma, referans oluşturma, NLI çıkarımı ve seçici düzeltmenin ortalama yürütme süresi ve toplam yanıt süresine yüzde katkısı.Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Tablo 4: Doğrulama sırasında tespit edilen hataların dağılımı. Yanlış negatiflerin, yanlış pozitiflerin ve düzeltme hatalarının sayısı ve yüzdesi ile her bir hata türüyle ilişkili temel halüsinasyon kategorileri.Lütfen bu dosyayı indirmek için buraya tıklayın.

Tartışma

Önerilen çerçeve, tekrarlı örnekleme ve harici veri getirmeden kaçınırken olgusal doğrulama performansını artırmıştır. TruthfulQA üzerinde, halüsinasyon oranı temel LLM için %28'den tam çerçeve ile %9'a düşerken, doğruluk 0,72'den 0,87'ye yükselmiştir. FEVER üzerinde ise halüsinasyon oranı %26'dan %10'a düşmüş, doğruluk ise 0,74'ten 0,89'a çıkmıştır. Bu karşılaştırmalar, farklı uygulama koşullarında evrensel bir üstünlüğün kanıtı olarak değil, bu çalışmada kullanılan deneysel ayarlar ve uygulamalar kapsamında yorumlanmalıdır. Çerçeve, izole bir olgusal referans ve seçici düzeltme kullanarak üretim sonrası iddia düzeyinde doğrulama gerçekleştirmekte; böylece harici bilgiye dayandırma, tekrarlı çıkarım ve hafif üretim sonrası doğrulama arasında bir denge sağlamaktadır. Yanıt ve referans oluşturucular aynı temel GPT-3.5 Turbo modelini kullanmakta ancak farklı istemleme hedefleri ve izole yürütme bağlamları altında çalışmaktadır. Referans oluşturucu yalnızca orijinal sorguyu alır ve daha önce oluşturulmuş yanıta erişmez. Bu nedenle, iki üretim süreci istatistiksel olarak değil, prosedürel olarak bağımsızdır ve paylaşılan ön eğitimli modellerinden kaynaklanan korele olgusal yanlılıkları koruyabilirler.

Mevcut yaklaşımlarla karşılaştırma

Sabit eşikli NLI temel çizgisi, NLI tabanlı gerçeklik kontrolü üzerine yapılan önceki çalışmalara dayanarak 0,7'lik bir güven eşiği uygular¹⁴. SelfCheckGPT¹⁵, birden fazla stokastik örnek üreten ve tutarsız iddiaları belirlemek için NLI kullanan sıfır kaynaklı bir halüsinasyon tespit yaklaşımını temsil eder. FActScore¹⁶, üretilen yanıtları atomik gerçeklere ayırır ve bunları Wikipedia tabanlı bir bilgi kaynağından alınan referanslara göre doğrular. Buna karşılık, önerilen çerçeve, tekrarlanan tam yanıt üretimi veya harici erişim olmaksızın iddia düzeyinde doğrulama gerçekleştirir.

DoLA, çıkarım sırasında farklı transformer katmanlarından elde edilen token olasılıklarını karşılaştırarak olgusal üretimi geliştiren tamamlayıcı ve hafif bir yaklaşımdır. Doğrudan bir deneysel karşılaştırma dahil edilmemiştir; çünkü DoLA token üretim sürecini değiştirirken, önerilen çerçeve üretim sonrası iddia düzeyinde doğrulama ve seçici düzeltme gerçekleştirir. DoLA'nın uygulanması, bu çalışmada kullanılan GPT-3.5 Turbo API tarafından sunulmayan dahili transformer katman temsilcimelerine erişim gerektirecektir. Harici geri getirimin olmayışı, geri getirme bağımlılığını ve ilgili işlem gereksinimlerini azaltsa da doğrulamayı temel modellerin sahip olduğu bilgilerle sınırlar. Sonuç olarak, tamamen uydurma olan veya doğrulayıcının bilgi kapsamı dışındaki özel iddiaları düzeltmek zor kalmaktadır.

Adaptif istatistiksel eşikleme ve seçici düzeltme

Adaptif eşik, ampirik güven puanı dağılımından türetilmiştir ve halüsinasyon tespit geri çağırması (recall) ile düzeltme hassasiyeti (precision) arasındaki dengeyi kontrol eder. Duyarlılık analizi, ayrılmış bir TruthfulQA doğrulama seti üzerinde 0,3, 0,5, 0,7 ve 1,0 değerlerini değerlendirmiştir. k = 0,7 değeri, değerlendirilen kıyaslamalar için halüsinasyon azaltma ve hesaplama verimliliği arasında en dengeli uzlaşmayı sağlamıştır.

NLI güven puanlarının dağılımı üretilen içeriğin doğasına bağlı olduğundan, optimal eşik uygulama alanlarına göre değişiklik gösterebilir. Bu nedenle, yeni bir alana uygulama yaparken, hedef uygulamayı yansıtan bir doğrulama seti kullanılarak aday değerler değerlendirilebilir ve gerçek doğrulama performansı, düzeltme oranı ile işlem gecikmesi arasında denge kuran bir değer seçilebilir. Eşik optimizasyonu modellerin yeniden eğitilmesini değil, tek bir skaler parametreyi içerdiğinden, adaptasyon süreci temel modellerin değiştirilmesini gerektirmez.

Seçici düzeltme, rejenerasyonu yalnızca Çelişki olarak sınıflandırılan ve istatistiksel eşik kriterini karşılayan iddialarla sınırlandırır. Bu durum, düzeltme kriterini karşılamayan iddiaların tekrarlanan işlemlerden geçirmesini önler ve bu çerçeveyi, tam yanıt yeniden örnekleme ve yinelemeli iyileştirme yaklaşımlarından ayırır.

Gecikme ve performans ödünleşimi

Önerilen çerçeve, temel LLM için 820 ms ve geri çağırma destekli doğrulama için 1600 ms'ye kıyasla 980 ms'lik bir ortalama yanıt süresi elde etmiştir. Aşama düzeyindeki analiz, toplam gecikmenin %83,7'sinin başlangıç yanıt üretimiyle, %3,9'unun NLI çıkarımıyla ve ortalama %1'den daha azının seçici düzeltmeyle gerçekleştiğini göstermiştir. Gecikme değerleri, tekrarlanan deneysel çalışmalar boyunca ortalama yürütme süreleri olarak raporlanmıştır. Çalışma başına bireysel gecikme değerleri saklanmamıştır; bu nedenle varyansın, güven aralıklarının veya diğer değişkenlik ölçütlerinin post hoc hesaplanması mümkün olmamıştır. Buna bağlı olarak, gecikme değerleri ve hız-doğruluk karşılaştırması, hata çubukları olmaksızın nokta tahminleri olarak sunulmuştur. Rapor edilen gecikme değerleri, bu çalışmada kullanılan deneysel ortamı yansıtmaktadır ve özellikle bulut tabanlı dil modeli API'leri kullanıldığında farklı dağıtım koşulları altında değişiklik gösterebilir. Ağ gecikmesi, sunucu iş yükü ve hizmet kullanılabilirliği, önerilen doğrulama çerçevesinden bağımsız olarak mutlak yanıt sürelerini etkileyebilir.

Hata analizi

TruthfulQA test setinde yanlış yönetilen iddialar; yanlış negatifler, yanlış pozitifler veya düzeltme hataları olarak kategorize edilmiştir. Bu hataların dağılımı ve ana kategorileri Ek Tablo 4'te özetlenmiştir. Tüm hataların %52,6'sını yanlış negatifler oluşturmuş olup, bunlar öncelikle zamansal halüsinasyonlar ve ince gerçeklik yerleştirmeleri ile ilişkilendirilmiştir. Doğrulayıcı, temel modelin eğitim kesme tarihini paylaştığında zamansal hatalar gözden kaçabilirken, ince gerçeklik yerleştirmeleri Çelişki bandı yerine Nötr bandında NLI skorları alabilmektedir.

Hataların %35,9'unu yanlış pozitifler oluşturmuş ve bunlar öncelikle doğrulayıcı modelin yüksek güvenilirlikli bilgi kapsamı dışındaki yaygın olmayan, oldukça spesifik veya yakın zamanda belirlenmiş gerçekler için ortaya çıkmıştır. Bu vakalar, iddialar olgusal olarak doğru olmasına rağmen zayıf NLI gerektirim skorları üretmiştir. Düzeltme hataları ise tüm hataların %11,5'ini oluşturmuş ve tamamen uydurma olan ifadelerin tespit edildiği, ancak yetersiz doğrulayıcı bilgi kapsamı nedeniyle düzeltme sürecinin başka bir yanlış ifade ürettiği durumlarda meydana gelmiştir.

Bu bulgular, kalıntsal hataların hem NLI ayrımından hem de doğrulayıcı bilgi kapsamından kaynaklandığını, özellikle zamansal yanlışlıklar, ince gerçeklik değişimleri, nadir gerçekler ve tamamen uydurma bilgiler için bunun geçerli olduğunu göstermektedir.

İstatistiksel analiz

Halüsinasyon oranı, sabit eşikli NLI doğrulaması ile %15'ten, önerilen istatistiksel çerçeve ile %9'a düşmüş; tam çerçeve ise TruthfulQA üzerinde oranı temel seviyedeki %28'den %9'a indirmiştir. Bu farklar tanımlayıcı performans değişiklikleri olarak rapor edilmiştir ve mevcut değerlendirme, böyle bir çıkarımı desteklemek için gerekli olan istatistiksel test sonuçlarını ve etki büyüklüğü tahminlerini içermediğinden, herhangi bir resmi istatistiksel anlamlılık iddiasında bulunulmamıştır^17,18.

Kısıtlamalar

Çerçevenin doğrulama performansı, temel alınan NLI modelinin kapasitesi ile sınırlıdır. DeBERTa-v3-large, detaylı sayısal karşılaştırmalarda, zamansal akıl yürütmelerde ve birden fazla olgu üzerinden çok aşamalı çıkarım gerektiren iddialarda zorlanabilir. NLI modelinin kısıtlamaları, aynı zamanda ince olgusal yer değiştirmelerin dahil olduğu yanlış negatiflerle de ilişkilendirilmiş olup, NLI modelindeki sistematik zayıflıklar doğrulama kararlarına sirayet edebilir.

Yanıt ve referans oluşturucular, aynı temel GPT-3.5 Turbo modelini kullanmaktadır. Farklı istemleme hedefleri ve izole yürütme bağlamları prosedürel bağımsızlık sağlasa da, bu iki süreç istatistiksel olarak bağımsız değildir ve paylaşılan ön eğitimli modellerinden gelen korele olgusal yanlılıkları koruyabilirler.

Değerlendirici–doğrulayıcı eşleşmesi ek bir sınırlamayı temsil etmektedir. Nihai halüsinasyon değerlendirmesi, önerilen boru hattı içinde iddiaları doğrulayan aynı NLI modelini kullanmaktadır. Bu durum, doğrulayıcı ile değerlendirici arasında bir uyum yaratarak ölçülen iyileşmeyi etkileyebilir. Bu nedenle, bildirilen sonuçlar halüsinasyon azalmasının tamamen bağımsız kanıtları olarak değil, tanımlanan NLI tabanlı değerlendirme prosedürü altındaki performans olarak yorumlanmalıdır. Bağımsız bir insan değerlendirmesi veya ayrı geliştirilmiş bir değerlendirme modeli daha güçlü bir doğrulama sağlayacaktır.

İddia-ayrıştırma aşaması, yalnızca uçtan uca doğrulamaya olan katkısı açısından değerlendirilmiş olup, insan tarafından işaretlenmiş iddia sınırlarına karşı bağımsız olarak analiz edilmemiştir. Sonuç olarak, çalışma, ayrıştırma doğruluğuna veya bunun sonraki doğrulama aşamalarına bireysel hata yayılımına dair ayrı bir nicel tahmin sunmamaktadır.

Değerlendirme, TruthfulQA ve FEVER ile İngilizce içeriklerle sınırlandırılmıştır. Bu nedenle, gözlemlenen performans; uzmanlık gerektiren alanlara, çok dilli ortamlara veya uzun formlu üretimlere genelleme yapıldığını kanıtlamaz. NLI güven puanı dağılımları üretilen içeriğin doğasına bağlı olduğundan, optimal k değeri uygulama alanlarına göre de değişiklik gösterebilir. Bu nedenle, bulguların bu çalışmada değerlendirilen koşulların ötesine genişletilmesinden önce, alana özgü kalibrasyon ve daha kapsamlı bir değerlendirme gereklidir.

Son olarak, gecikme ölçümleri deneysel konfigürasyona özgüdür ve yürütme ortamları arasında farklılık gösterebilir. Çalışma başına bireysel gecikme ölçümleri saklanmadığından, varyans ve güven aralıkları post hoc olarak tahmin edilememiştir. Gelecekteki değerlendirmeler bireysel ölçümleri saklamalı ve yürütme ortamları genelindeki gecikmenin daha kapsamlı bir istatistiksel karakterizasyonunu içermelidir.

Gelecekteki çalışmalar

Gelecekteki çalışmalar, mevcut çerçevede belirlenen temel sınırlamalara odaklanmalıdır. TruthfulQA kullanılarak seçilen sabit değer (k = 0,7), farklı NLI güven puanı dağılımlarına sahip özel alanlar için optimal olmayabileceğinden, alan odaklı eşik kalibrasyonuna ihtiyaç vardır. Eşiği kalibre etmek ve gerektiğinde yanlış-negatif ve yanlış-pozitif hatalar için asimetrik cezalar uygulamak amacıyla alana özgü doğrulama verileri kullanılabilir¹⁹.

Geliştirilmiş iddia ayrıştırma işlemleri; tamlık, doğruluk ve alt akış hata yayılımını nicelleştirmek için insan tarafından işaretlenmiş iddia sınırlarını kullanan bağımsız değerlendirmeleri içermelidir. İnce ayarlı ayrıştırma modelleri ve ayrıştırma güven ölçümleri, hatalı bölümlenmiş iddialardan kaynaklanan hataları daha da azaltabilir. Gelecekteki karşılaştırmalı değerlendirmeler, birleşik bir deneysel protokol altında DoLA gibi hafif kod çözme tabanlı yaklaşımları da içermelidir.

Hafifletilmiş erişim artırımı (retrieval augmentation), doğrulayıcının yeterli olgusal bilgiye sahip olmadığı durumlarda zorluk teşkil eden tam uydurma (fabrication) sorunlarının çözümüne yardımcı olabilir. Düşük güven seviyesindeki çelişkili iddialar için hedeflenmiş bir erişim yedekleme mekanizması, her bir iddia için erişim gerektirmeden dış olgusal destek sağlayabilir²⁰.

Mevcut değerlendirme İngilizce dilindeki kıyaslamalarla sınırlı olduğu için çok dilli bir genişletme de gereklidir³. Gelecekteki çalışmalar, çok dilli NLI modellerini ve dile özgü iddia ayrıştırma ve düzeltme istemlerini, çok dilli halüsinasyon kıyaslamaları üzerinde değerlendirmelidir.

Sonuç

Bu çalışma; atomik iddia ayrıştırması, ayrı ayrı istemlenmiş olgusal referans üretimi, NLI doğrulaması, adaptif istatistiksel eşikleme ve seçici düzeltmeyi birleştiren iki aşamalı bir iddia doğrulama çerçevesi sunmuştur. TruthfulQA üzerinde, çerçeve halüsinasyon oranını %28'den %9'a indirirken, temel LLM'e kıyasla ortalama gecikme süresini 160 ms artırmıştır. FEVER üzerinde ise halüsinasyon oranı %26'dan %10'a düşmüştür.

Önerilen çerçeve, tekrarlanan tam yanıt örneklemesi veya harici erişim gerektirmeden olgusal doğrulamada rekabetçi bir performans sergilemiştir. Adaptif eşikleme ve seçici düzeltme, ek işlem yükünü sınırlarken gözlemlenen performansa katkıda bulunmuştur. Bununla birlikte, bulgular değerlendirilen kıyaslamalar ve deneysel koşullar ile sınırlıdır; NLI-model bağımlılığına, değerlendirici–doğrulayıcı etkileşimine, iddia ayrıştırma belirsizliğine, alana özgü eşik kalibrasyonuna ve gecikme değişkenliğine tabidir. Bu nedenle, bulguların daha geniş dağıtım ortamlarına genişletilmeden önce daha kapsamlı, bağımsız, alana özgü ve çok dilli değerlendirmelere tabi tutulması gerekmektedir.

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
FEVER kıyaslama veri seti	FEVER Shared Task (Thorne et al.)	https://fever.ai/dataset/fever.html	Değerlendirme için kullanılan, iddia-kanıt çiftlerinden oluşan halka açık gerçeklik doğrulama veri seti
GPT-3.5 Turbo (büyük dil modeli B10+2:12:12	OpenAI	Model ID: gpt-3.5-turbo; https://developers.openai.com/api/docs/models/gpt-3.5-turbo	OpenAI API aracılığıyla erişilen, hem yanıt oluşturucu hem de bağımsız referans oluşturucu olarak kullanılmıştır
NumPy	NumPy Geliştiricileri (açık kaynak)	https://numpy.org/	NLI doğrulama skorlarının ortalaması ve standart sapması dahil olmak üzere istatistiksel hesaplamalar için kullanılan sayısal hesaplama kütüphanesi
Openai (Python API istemci kütüphanesi)	OpenAI	https://github.com/openai/openai-python	GPT-3.5 Turbo'ya istemler göndermek ve tamamlamaları almak için kullanılan Python istemci kütüphanesi
pandas	pandas Geliştirme Ekibi (açık kaynak)	https://pandas.pydata.org/	Veri seti ön işleme ve sonuçların yönetimi için kullanılan tablo tabanlı veri analiz kütüphanesi
Önceden eğitilmiş Doğal Dil Çıkarımı (NLI) sınıflandırma modeli	Hugging Face model merkezi (Microsoft'un DeBERTa-v3-large mimarisi üzerine kurulu model)	MoritzLaurer/DeBERTa-v3-large-mnli-fever-anli-ling-wanli	Her bir iddia-referans çiftini gerektirim, nötr veya çelişki olarak sınıflandırmak için, ince ayar yapılmadan çıkarım modunda kullanılmıştır
Python	Python Yazılım Vakfı	Sürüm 3.9; https://www.python.org/downloads/release/python-390/	Doğrulama çerçevesini uygulamak için kullanılan temel programlama dili
SciPy	SciPy Geliştiricileri (açık kaynak)	https://scipy.org/	Deneysel sonuçların istatistiksel analizini desteklemek için kullanılan bilimsel hesaplama kütüphanesi
Transformers (Hugging Face Transformers kütüphanesi)	Hugging Face	https://github.com/huggingface/transformers	Önceden eğitilmiş NLI modelini yüklemek ve çalıştırmak için kullanılan Python kütüphanesi
TruthfulQA kıyaslama veri seti	Orijinal olarak Lin, Hilton ve Evans tarafından yayınlanmıştır	https://github.com/sylinrl/TruthfulQA	Eşik ayarı ve değerlendirme için kullanılan, 817 olgu odaklı sorudan oluşan halka açık kıyaslama seti
İş istasyonu bilgisayarı	Yazımda belirtilmemiştir (lütfen üreticiyi/modeli onaylayın)	Intel Core i5 işlemci; 16 GB RAM; 64-bit işletim sistemi	Tüm deneyleri aynı konfigürasyonlar altında yürütmek için kullanılan donanım
Not: Yukarıda listelenen tüm URL'ler bu tablonun tarihi itibarıyla kontrol edilmiş ve aktif olduğu onaylanmıştır.