Yöntem makalesi

Web tabanlı kanser klinik uygulama kılavuzlarına atıfta bulunan rehber tabanlı bir geri dönüş ve artırılmış nesil sohbet botunun geliştirilmesi

DOI:

10.3791/71099

⸱

7 Ağustos 2026

 ,  , 
1National Cancer Center Japan, Institute for Cancer Control, 2The University of Tokyo, Department of Public Health and Health Policy, Graduate School of Medicine, 3National Cancer Center Japan, Headquarters for Cancer Information Services

Bu makalede

Özet

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu protokol, kullanıcı sorularına referans temelli yanıtlar oluşturan, web tabanlı kanser klinik uygulama kılavuzlarından içerik alıp özetleyen rehber tabanlı geri alma ve artırılmış nesil sohbet botunun geliştirilmesi ve değerlendirilmesini açıklar.

Özet

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

İnternette tıbbi bilgilerin yaygın erişilebilirliği, hastalar için sağlıkla ilgili bilgiye erişimi iyileştirmiştir; ancak aynı zamanda yanlış tıbbi bilgilere maruz kalma artışını da artırmıştır. Kanser bakımı karmaşık bilgiler içerir ve bu da hastaların doğru ve kanıta dayalı kaynakları belirlemesini zorlaştırır. Büyük dil modelleri doğal dil etkileşimini mümkün kılar ancak sıklıkla halüsinasyonlar oluşturur ve tıbbi bilgi teslimatında uygulanmasını sınırlar. Geri alım ile artırılmış üretim (RAG), yanıtları dış referans kaynaklarına bağlayarak bu riskleri azaltma potansiyeline sahiptir. Bu çalışma, halka açık ve web tabanlı kanser klinik uygulama kılavuzlarını kullanan rehber tabanlı bir RAG sohbet botunun geliştirilmesi ve değerlendirilmesini açıklamaktadır. Sistem, bir rehberin içindekiler sayfalarından URL'leri çıkarır, sayfa metnini terim sıklığı-ters belge sıklığına dayalı morfolojik analiz ve kosinüs benzerliği kullanarak işler ve son derece ilgili sayfalardan referans bilgileri oluşturur. Büyük bir dil modeli, bu referansları kılavuz içeriğine sınırlı yanıtlar oluşturmak için kullanır. JLCS Akciğer Kanseri Hastaları ve Aileleri için Rehber Kitabı referans rehberi olarak kullanılmıştır. Soru setleri, yanıt kontrolünü değerlendirmek için hem rehber kapsamı içindeki kanser türlerini hem de kapsam dışı kanser türlerini içeriyordu. Tıbbi bilgiler, içindekiler sayfalarından başarıyla çıkarıldı ve çıkarılan URL'lerin %98'i referans verilebilir tıbbi içerik içeriyordu. Kapsam içi sorular için, sohbet botu kılavuz içeriğini özetleyerek yanıtlar üretti ve tanımlanmış test koşullarında manuel inceleme sırasında herhangi bir halüsinasyon tespit edilmedi. Kapsam dışı sorular için sohbet botu sürekli cevap vermeyi reddetti ve mevcut bilgilerin yetersiz olduğunu belirtti. Rehberin web yapısı, referans içeriğinin URL düzeyinde verimli şekilde kazılması ve düzenlenmesini kolaylaştırmıştır. Bu protokol, web tabanlı klinik uygulama kılavuzları kullanarak tıbbi bilgi sunan yapay zeka sistemleri oluşturmak için pratik rehberlik sağlar.

Giriş

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

İnternet ve sosyal medyanın yaygın kullanımı, hastaların tıbbi bilgilere erişimini kolaylaştırmıştır 1,2. Kanser bakım bilgileri genellikle karmaşık ve kapsamlıdır, bu da hastaların doğru, ilgili ve bilimsel kanıtlara dayanan kaynakları belirlemesini özelliklezorlaştırır. Çevrimiçi kaynaklar hastaların anlayışını destekleyebilse de, aynı zamanda hastaların bakım kararlarını olumsuz etkileyebilecek önemli miktarda yanlış tıbbi bilgiiçerirler 4. Kanserle ilgili yanlış bilgiler hasta sonuçlarınıetkileyebildiğinden, bireysel kullanıcıların tıbbi bilgileri aramasına, özetlemesine ve yorumlamasına yardımcı olabilecek yapay zeka (YZE) sistemlerine olan ihtiyaç giderekartmaktadır 6.

Büyük dil modelleri (LLM'ler) kullanıcıların doğal dil konuşması yoluyla bilgiyeerişmesini sağlar 7; Ancak, yanlış bilgi (yani halüsinasyonlar) oluşumu tıp alanında ciddi bir endişe kaynağıolmaya devam etmektedir 8,9,10,11. Yanlış bilginin ana kaynaklarından biri, chatbot geliştirmek için kullanılan eğitim verilerinin kalitesi ve doğruluğudur. Ayrıca, model eğitiminin statik doğası, bilginin zamanla eskimesine yol açarak LLM'lerin güncel ve bağlamsal olarak uygun bilgi sağlama yeteneğinisınırlar. 12,13. Bu sınırlamalar, chatbot yanıtlarının doğru, ilgili ve güncel kalmasını sağlamak için etkili bilgi yönetimi stratejilerinin önemini vurgular. Özellikle, klinik uygulama kılavuzları gibi mevcut kanıta dayalı kaynaklara kolayca erişebilen ve referans verebilen sistemler, tavsiye ve bakım standartlarının sürekli geliştiği tıbbi ortamlarda arzu edilir. Bu zorluğu ele almak için, dış bilgi kaynaklarından gelen bilgileri dahil ederek yanıtlar üreten geri bildirimli üretim (RAG) giderek artan ilgi gördü 10,13,14,15,16,17.

RAG giderek tıbbi sohbet botlarına uygulanmaya başlasa da, klinik uygulama kılavuzlarının referans bilgi kaynakları olarak sistematik olarak nasıl dahil edilmesi gerektiğine sınırlı dikkatayrılmıştır 18. Birçok klinik uygulama rehberi internette kamuya açık olarak mevcuttur; ancak mevcut web yapılarının RAGsistemleri 18 için doğrudan bir başvuru çerçevesi olarak hizmet edip edemeyeceği belirsizdir. Ayrıca, manuel bilgi tabanı geliştirmeden referans bilgisi oluşturmanın pratik yöntemleri de iyi kurulmamıştır.

Bu çalışmada, tıp alanında rehber referanslı yapay zeka sistemleri için tasarım ilkelerini belirlemeyi, halka açık ve web tabanlı kanser klinik uygulama kılavuzlarını kullanan bir rehber tabanlı RAG sohbet botu geliştirip değerlendirmeyi amaçladık; böylece rehber temelli bilgilere basit ve zamanında erişim sağlandı. Bir kavram kanıtı olarak, kılavuz başvurusu, yanıt oluşturma ve yanıt kısıtlamasının teknik fizibilitesini mevcut halka açık klinik uygulama kılavuzlarının web yapısını kullanarak değerlendirdik ve rehber referanslı RAG sistemleri için tekrarlanabilir bir geliştirme protokolü önermeyi amaçladık.

Protokol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışma, araştırmaya dahil edilen risklerden korunması gereken insan denekleri kapsamamaktadır. Bu nedenle, insan denekleri içeren tıbbi araştırmalar için Japon etik yönergelerine göre kurumsal bir inceleme kurulu tarafından inceleme gerekmez19. Bu çalışma, Bireysel Prognoz veya Tanı için Çok Değişkenli Modelin Şeffaf Raporlaması (TRIPOD)-LLMrehberleri 20'ye uygun olarak raporlanmıştır.

Kılavuz tabanlı RAG chatbot protokolünün şematik bir genel görünümü için Şekil 1'e bakınız.

figure-protocol-1
Şekil 1. Kılavuz Tabanlı Retrieval-Augmented Generation (RAG) Chatbot Protokolünün İş Akışı. Kılavuz tabanlı RAG chatbot iş akışının şematik genel bakışı. URL'ler, web tabanlı bir klinik uygulama rehberinin içindekiler sayfasından çıkarılır ve referans bilgisi oluşturmak için kullanılır. Kullanıcı sorguları anahtar kelimelere dönüştürülür ve web sayfası içeriği tokenizasyon, terim sıklığı-ters belge frekansı vektörizasyonu ve kosinüs benzerliği analiziyle işlenir; böylece ilgili rehber sayfaları belirlenir. Seçilmiş referans bilgileri, yalnızca referans verilen kılavuz içeriğine dayalı olarak yanıtlar oluşturmak üzere büyük bir dil modeline entegre edilir ve sağlanır. Sağ panel, çıkarılan URL'ler, referans bilgileri ve chatbot yanıtları için kullanılan değerlendirme öğelerini özetler. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

1. Web Tabanlı Kılavuzlardan Referans Bilgisinin Hazırlanması

  1. Python (sürüm 3.12) programlama dilinde uygulanan BeautifulSoup 4 (HTML ayrıştırma kütüphanesi) kullanılarak hedef web tabanlı klinik uygulama rehberlerinin içindekiler sayfalarından tüm URL'leri çıkarın.
    NOT: URL çıkarma betiklerini programlama diliyle aşağıdaki paketlerle uygulayın: HTML ayrıştırma kütüphanesi (sürüm 4.12.3) ve istekler (web sayfası alma kütüphanesi; sürüm 2.32.3). Paketleri pip ile kurun. URL çıkarımı için tam kaynak kodu, Ek Dosya 1'de sağlanmıştır. Yazılım detayları için Materyaller Tablosu'na bakınız.
  2. Hedef klinik uygulama rehberine başarılı erişim ve alaka kazandırmak için çıkarılan tüm URL'leri manuel olarak inceleyin.
  3. Her URL'yi tıbbi veya tıbbi olmayan bilgiler içerecek şekilde sınıflandırın. Bir yazar (S.N.) tarafından URL sınıflandırması yapılabilir.
    NOT: Tıbbi bilgiler, klinik sorular (CQ'lar), arka plan soruları ve soru setleri dahil olmak üzere referans verilebilir rehber içeriği olarak tanımlanmıştır. Tıbbi olmayan bilgiler arasında bağlantılar, toplum veya organizasyon sayfaları ve referans için uygun olmayan diğer yardımcı içerikler bulunurdu.
  4. Doğrulanan URL'leri Microsoft Excel çalışma kitabına (.xlsx formatında) derleyin; her satırda bir URL kaydedilir. Ortaya çıkan URL listesini, sonraki metin alımı, ön işleme ve benzerlik analizleri için giriş veri seti olarak sakla.

2. Kullanıcı Sorgularından Anahtar Kelime Üretimi

  1. Doğal dil sorgusunu ChatGPT'ye girin (Üretken Önden Eğitilmiş Transformer, sürüm 4o; anahtar kelime oluşturma modeli).
  2. Modele, kullanıcı sorgusuna karşılık gelen iki anahtar kelimeyi çıkarmasını iste.
  3. Anahtar kelime üretimi için Japonca yazılmış aşağıdaki isteği kullanın:
    "figure-protocol-2"
    (İngilizce çevirisi: "Aşağıdaki metinden iki anahtar kelime çıkar.")
  4. Kullanıcının doğal dil sorgusunu bu talimata ekleyin ve anahtar kelime oluşturma modeline anahtar kelime oluşturma modeline gönderin.
  5. Hiçbir model parametresini manuel olarak değiştirmeyin. Anahtar kelime oluşturma modelinin varsayılan ayarlarını kullanarak anahtar kelime üretimi gerçekleştirin.
  6. Her kullanıcı sorgusu için iki anahtar kelime oluşturun. Her iki anahtar kelimeyi de daha fazla değişiklik, filtreleme veya manuel seçim olmadan koruyun ve bunları sonraki benzerlik hesaplamaları için kullanın.
  7. Oluşturulan anahtar kelimeleri Microsoft Excel çalışma kitabında (.xlsx formatında sakla. Her kayıt için, orijinal kullanıcı sorgusunu ve ona karşılık gelen oluşturulan anahtar kelimeleri benzer tabanlı arama için depolayın.

3. Metin İşleme ve Benzerlik Hesaplaması

  1. Her çıkarılmış URL'den tam metin içeriğini web sayfası alma kütüphanesi ve HTML ayrıştırma kütüphanesi kullanarak alın. BeautifulSoup get_text() fonksiyonunu kullanarak HTML kaynağından metin içeriğini çıkarın.
  2. Çıkarılan web sayfası metnini ve oluşturulan anahtar kelimeleri HTML etiketleri ve Japonca olmayan karakterler çıkararak ön işleyin.
  3. MeCab ile Japon morfolojik analizi yapmak (sürüm 0.996; Japonca morfolojik analizci) varsayılan sözlük ile birlikte kullanıldı. Sadece isimleri saklayıp onları uzay sınırlı bir metin dizemine birleştirin.
  4. Oluşturulan anahtar kelimeleri tek bir metin dizisinde birleştirin ve web sayfası metni için kullanılan aynı ön işleme ve tokenizasyon prosedürlerini uygulayın.
  5. Varsayılan parametre ayarlarıyla scikit-learn kütüphanesinde (sürüm 1.6.1) TfidfVectorizer uygulaması kullanılarak işlenen web sayfası metni ve anahtar kelime metininden terim sıklığı-ters belge frekansı (TF–IDF) vektörleri oluşturulur.
    NOT: Tüm TfidfVectorizer parametreleri varsayılan değerlerinde bırakıldı ve özel parametre ayarları uygulanmadı.
  6. Her web sayfası vektörü ile anahtar kelime vektörü arasındaki kosinüs benzerliğini kosinüs benzerlik fonksiyonu kullanarak hesaplayın.
  7. URL'leri kosinüs benzerlik puanlarına göre azalan sırayla sıralayın. Ek beraberlik bozma kriterleri uygulamayın.
  8. ≥0.2 kosinüs benzerlik puanına sahip sayfaları aday referans bilgisi olarak seçin.
    NOT: Kosinüs benzerlik eşiği (0.2), sistem geliştirme sırasında geri çağırma önceliği sağlamak ve potansiyel olarak ilgili rehber içeriğinin dışlanmasını önlemek için ampirik olarak seçilmiştir.
  9. Benzerlik eşiğini karşılayan tüm aday sayfalarını koruyun.

4. Referans Bilgisinin İnşası

  1. Sıralı listenin en üstünden seçilen sayfaların metin içeriğini sıralı olarak çıkarın.
  2. Çıkarılan metinleri tek bir referans belgesi oluşturmak üzere birleştirin.
  3. LLM'ye göndermeden önce, referans metindeki yeni satır karakterleri ve ardışık boşluk karakterlerini tek bir boşlukla değiştirin.
  4. Birleştirilmiş referans metnini LLM'ye vermeden önce ilk 4.096 karaktere kadar kısaltın.
    NOT: Kesme sınırı jetonlara değil, karakterlere dayanıyordu. 4.096 karakterlik bir sınır, GPT-3.5-turbo-16k yanıt üretim modelinin giriş kapasitesi içinde kalmasını sağlamak için ampirik olarak seçildi.

5. Yapay Zeka Tabanlı Yanıt Üretimi

  1. Oluşturulmuş referans bilgisini ve orijinal kullanıcı sorgusunu uygulama programlama arayüzü (API) aracılığıyla yanıt oluşturma modeline sağla.
  2. Yanıtların yalnızca verilen referans bilgilerine dayanarak oluşturulmasını sağlamak için aşağıdaki komutu (tamamen Japonca yazılmış) kullanarak yapay zekaya talimat verin:
    "Siz kanser hastalarına rehberlik sağlayan bir tıbbi bilgi asistanısınız. Yanıtları yalnızca aşağıdaki referans bilgilerine dayanarak oluşturun ve kendi genel bilginizi veya mantığını kullanmayın. Yanıtlar ayrıntılı ve anlaşılması kolay olmalı, yaklaşık 500 karakter uzunluğunda olmalı. Eğer referans bilgisi soruyu yanıtlamak için yeterli bilgi içermiyorsa, herhangi bir spekülasyon veya genel bilgi kullanmadan 'Metinde yeterli bilgi yok' diye yanıt verin."
  3. Referans bilgisi ve kullanıcı sorgusunu tek bir kullanıcı mesajında birlikte sunun. Girdi, "Referans Bilgisi: [referans metni]" ve ardından "Soru: [kullanıcı sorgu]" şeklinde yapılandırın.
  4. Yanıt oluşturma modelini kullanarak şu ayarlarda yanıt oluşturun: sıcaklık = 0.1, maksimum çıkış süresi = 1.024 token, n = 1 ve stop = Hiç yok.
  5. Sonraki değerlendirme için yapay zeka tarafından oluşturulan yanıtı alın.
    NOT: Referans bilgisini ve kullanıcı sorgusunu tek bir kullanıcı mesajı olarak gönderin. Yanıt oluşturma talimatlarını ayrı ayrı sistem mesajı olarak verin.

6. Referans Kılavuzu ve Soru Formülasyonu

  1. Kılavuz tabanlı RAG sohbet sistemi için referans bilgisi olarak, çevrimiçi olarak ücretsiz olarak erişilebilir olan JLCS Akciğer Kanseri Hastaları ve Aileleri Rehberi'ni (Lung Guidebook)21 seçin.
  2. Kanser türüne göre iki değerlendirme sorusu kategorisi oluşturun: rehber kapsamında olan timik tümörler ve referans alanının dışındaki pediatrik glioma.
  3. Her kanser türü için tanı ve tedaviyi kapsayan dört soru formüle edin:
    "XX (örneğin, timik veya pediatrik glioma) tümörleri için hangi tanı yöntemleri mevcut?"
    "XX tümörler için patolojik tanı yaklaşımları nelerdir?"
    "XX tümörler için hangi tedavi seçenekleri mevcut?"
    "XX tümörler için cerrahi tedavi seçenekleri nelerdir?"
  4. Referanslı web rehberinde kapsanan kanser türleriyle ilgili sorularınızı chatbot'a gönderin. Örneğin, timik tümör teşhisiyle ilgili bir soruyu akciğer rehberi referans olarak kullanarak gönderin.
  5. Referans kılavuzunun kapsamı dışındaki soruları chatbot'a göndererek dış veya alakasız bilgi kullanmama yeteneğini değerlendirin. Örneğin, Lung Guidebook'u referans bilgisi olarak kullanarak pediatrik glioma ile ilgili bir soru gönderin.
  6. Her soruyu bağımsız bir sohbet oturumunda değerlendirin. Sorular arasında konuşma geçmişini taşıma.
  7. Yapay zeka tarafından oluşturulan yanıtları sonraki değerlendirme için kaydedin.

7. Yanıt Değerlendirmesi

  1. Tüm oluşturulan yanıtların manuel gözden geçirilmesini gerçekleştirin.
  2. Her yanıtın halüsinasyon içerip içermediğini değerlendirin.
  3. Her yanıtın referans kılavuzunda yer alan bilgilerle desteklenip desteklenmediğini değerlendirin.
    NOT: Halüsinasyonlar, tıbbi zarar verebilecek mevcut olmayan olaylar, isimler veya terimler içeren tepkiler olaraktanımlanmıştır 14. Tüm oluşturulan yanıtlar, üniversite hastanesinde 8 yıllık deneyime sahip bir yazar tarafından, hasta desteği ve kanserli hastalar için tıbbi iletişim dahil olmak üzere, doğruluk ve halüsinasyon eksikliği açısından incelendi. Yanıt sınıflandırmasıyla ilgili herhangi bir belirsizlik, Japonya Ulusal Kanser Merkezi'nde kanser bilgi hizmetlerinde 20 yılı aşkın deneyime sahip bir doktor ortak yazarla yapılan görüşmelerle çözüldü.
  4. Bir yanıt, yalnızca tüm klinik açıdan ilgili ifadeler doğrudan alınan referans rehberinden doğrulanabildiğinde, ek bilgi veya desteklenmeyen çıkarım gerektirmediğinde desteklenmiş olarak kabul edin.
  5. Her yanıtı önceden tanımlanmış sonuç etiketleriyle sınıflandırın. Yalnızca referans kılavuzuyla desteklenen bilgileri içeren yanıtları "halüsinasyon yok" olarak sınıflandırın. Desteklenmeyen veya uydurma bilgi içeren yanıtları "halüsinasyon mevcut" olarak sınıflandırın.

Sonuçlar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Tıbbi İçerik Sayfaları Üzerinden Ulaşılabilirlik

Web kazıma mimarisi, rehberin içindekiler sayfasından URL'leri topladı. Akciğer Rehberi'nden 106 URL içindekiler sayfasından çıkarıldı ve bunların 104'ü (%98) tıbbi bilgi içeriyordu (Ek Tablo 1). Kılavuz içerik sayfalarına dayalı chatbot yanıtlarının etkinliği Tablo 1'de özetlenmiştir. Sohbet botu, sorular rehber kapsamına girdiğinde dört klinik anahtar kelimenin tamamı için yanıtlar üretti. "Timik tümör teşhisi" ve "patolojik tanı" için, her anahtar kelime için üç ilgili URL çıkarıldı ve çıkarılan tüm URL'ler etkili (%100) olarak değerlendirildi. "Tedavi yöntemleri" ve "cerrahi tedavi" için, her anahtar kelime için 15 URL çıkarıldı ve 14 etkili öğe (%93) bulundu.

SorguAnahtar KelimelerReferanslı İçerik Öğeleri, nEtkili Referans Öğeleri,
n (%)
Timik tümörler için hangi tanı yöntemleri mevcuttur?Timik tümör teşhisi33 (100)
Timik tümörler için patolojik tanı yaklaşımları nelerdir?Timik tümör patolojik tanı33 (100)
Timik tümörler için hangi tedavi seçenekleri mevcuttur?Timik tümör tedavi yöntemleri1514 (93)
Timik tümörler için cerrahi tedavi seçenekleri nelerdir?Timik tümör cerrahi tedavisi1514 (93)

Tablo 1: Akciğer Kanseri Hastaları ve Aileleri için JLCS Rehber Kitabına Dayalı Referans Bilgileri ve Sohbet Sohbeti Yanıtlarının İçeriği. Kullanıcı sorgularının özeti, oluşturulan anahtar kelimeler, benzerlik tabanlı arama yoluyla tanımlanan referans verilen içerik sayısı ve tıbbi bilgi içeren etkili referans öğelerinin sayısı. Referans verilen içerik öğeleri, her anahtar kelime bazında URL seviyesinde tanımlanan toplam ilgili web sayfası sayısını temsil eder. Etkili referans öğeleri, tekrarlanan URL'ler ve tıbbi olmayan web sayfaları hariç tutulan tıbbi bilgi içeren benzersiz web sayfalarının sayısını ve yüzdesini ifade eder.

Kapsam İçindeki Sorulara Chatbot Yanıtları

Tablo 2 , sunulan kılavuzun kapsamına giren sorulara chatbot yanıtlarını göstermektedir. Yeterli referans bilgisi bulunduğunda, sohbet botubu kılavuz metninin ilgili bölümlerini özetleyerek yanıtlar üretirdi. Oluşturulan yanıtlar yaklaşık 350 Japonca karakterden oluşuyordu. Tanımlanmış test koşullarında manuel inceleme sırasında herhangi bir halüsinasyon tespit edilmedi. Bu kapsam içi sorular için, yanıt üretimini destekleyen çok sayıda etkili referans maddesi (Tablo 1). Oluşturulan Japonca metin, ChatGPT sürüm 5.2 kullanılarak İngilizceye çevrildi ve ardından araştırmacılar tarafından orijinal Japonca yanıtlarla doğruluk ve tutarlılık açısından incelendi.

SorguYanıtlarKarakter Sayısı
Timik tümörler için hangi tanı yöntemleri mevcuttur?Timik tümör teşhisi hem görüntüleme tanısı hem de patolojik tanı gerektirir. Görüntüleme tanısı için göğüs BT ve göğüs MR'ı yapılır. Timoma ve timik karsinom, tümör içinde hava veya sıvı bileşenleri içermeyen katı tümörlerdir ve çevredeki normal dokulara invaziyonun, timomada hafif, timik karsinomda ise daha belirgin olduğu bilinir. Görüntüleme çalışmaları, çevredeki dokulara invaziya olmadığı veya birincil lezyondan uzakta tümör (metastaz) olmadığı tespit edildiğinde, tümör cerrahi olarak rezeksiyon yapılır ve patolojik tanı cerrahi örnekle yapılır. Cerrahi rezeksiyon zor olduğunda, BT rehberliğinde biyopsi yapılır ve tümör dokusunun bir kısmı alınarak tanı konur. Patolojik tanıda, timoma tümör içindeki normal lenfositlerin oranı ve tümör hücrelerinin morfolojisine göre sınıflandırılırken, timik karsinomlar histolojik alt tipe göre ayrıntılı olarak sınıflandırılır. Klinik aşamanın (evresin) belirlenmesi için, timik tümör lezyonlarının yayılma derecesi dikkate alınır ve tümörler üç aşamalı sınıflandırma sistemine göre I'den IV'e kadar evre olarak sınıflandırılır.366
Timik tümörler için patolojik tanı yaklaşımları nelerdir?Timik tümörlerinin patolojik tanısında, patolojik muayene tümör dokusunun bir parçası veya tamamı alınarak yapılır. Thymomalar, tümör içindeki normal lenfositlerin oranına ve tümör hücrelerinin morfolojisine göre tip A ve tip AB gibi alt tiplere ayrılır. Buna karşılık, timik karsinom, hücresel atipiyle karakterize edilen kötü huylu bir tümördür ve skuamöz hücreli karsinom en yaygın histolojik alt tiptir. Patolojik tanı yoluyla biyolojik özellikler ve tümör ilerleme derecesi değerlendirilir; bu da uygun tedavi stratejileri seçimi ve prognozun tahmin edilmesi için faydalıdır. Ayrıca, timik tümörlerin patolojik teşhisi, hastalığın evresinin (evresinin) belirlenmesine olanak tanır ve tedavi planlaması için önemli bilgiler sağlar. Klinik aşamalandırma, üç sistem kullanılarak sınıflandırılır—Masaoka sınıflandırması, Masaoka–Koga sınıflandırması ve UICC–TNM sınıflandırması—ve tümörler, tümör yayılımı ve istilayının kapsamına göre evre I'den IV. aşamaya kadar dört aşamaya ayrılır. Patolojik tanı, timik tümörlerin uygun tedavisi ve prognostik değerlendirmesi için vazgeçilmez bilgiler sağlar.330
Timik tümörler için hangi tedavi seçenekleri mevcuttur?Timik tümörlerin tedavi seçenekleri cerrahi tedavi (cerrahi), radyasyon tedavisi ve ilaç tedavisi (kemoterapi) içerir. Ameliyat, timusun tümör ile birlikte tamamen rezek edildiği bir işlem olarak yapılır ve timoma vakalarında ek tedavi gerekmeyebilir. Timik karsinomda, kanser çevre dokulara yayıldığında ameliyat sonrası radyasyon tedavisi eklenebilir. Kemoterapi veya kemoradyoterapi, cerrahi zor olan durumlarda veya tekrarlama veya uzak metastaz olduğunda uygulanır ve bunlar ilaç tedavisinin bir parçası olarak kullanılır. Ayrıca, ileri veya tekrarlayan timik karsinomda kemoterapi merkezli tedavi uygulanmakta ve gerekirse cerrahi ile radyasyon tedavisini birleştiren multimodal tedavi de uygulanabilir. Ayrıca, kemoterapi sonrası gelişmiş veya tekrarlayan timik karsinom için, moleküler hedefli bir tedavi ajanı olan lenvatinib kullanılabilir. Uygun tedavi yöntemleri kombinasyonu, hastalık durumuna ve hastanın klinik durumuna göre seçilir.342
Timik tümörler için cerrahi tedavi seçenekleri nelerdir?Timik tümörler için cerrahi tedavi, tümörün tamamen rezek edilebilir olduğu değerlendirildiğinde yapılır. Cerrahide genellikle tüm timusun tümörü ve birlikte alınması standart bir uygulamadır. Timoma vakalarında, tümör tamamen rezeksiyona alınırsa ek tedavi gerekmez. Buna karşılık, timik karsinom vakalarında, çevredeki dokulara kanser invazisi olduğunda, adjuvan postoperatif radyasyon tedavisi eklenebilir. Ameliyat zor bulunduğunda, önce kemoterapi veya kemoradyoterapi yapılır ve mümkün olursa ameliyat daha sonra değerlendirilir. Ameliyat yapılamazsa kemoterapi veya kemoradyoterapi devam ettirilebilir. Ayrıca, ameliyat mümkün olsa bile, tam rezeksiyon sağlanamazsa, kalıntı tümörü tedavi etmek için ameliyat sonrası radyasyon tedavisi veya kemoradyoterapi uygulanabilir. Cerrahi tedavi, tümör tipine ve hastalık ilerleme derecesine göre uygun şekilde seçilir.342

Tablo 2: Akciğer kanseri hastaları ve aileleri için JLCS rehberine dayalı rehber tabanlı Retrieval-Augmented Generation (RAG) sohbet botu tarafından oluşturulan yanıtlar. Kılavuz tabanlı RAG chatbot tarafından timik tümörlerle ilgili sorular için temsil yanıtları, JLCS Akciğer Kanseri Hastaları ve Aileleri Rehberi'nden (https://www.haigan.gr.jp/public/guidebook/2024/) alınan referans bilgileri kullanılarak oluşturuldu. Tablo, kullanıcı sorgusu, chatbot tarafından oluşturulan yanıt ve yanıt süresini içerir. Karakter sayıları, ChatGPT 5.2 sürümü kullanılarak İngilizceye çevrilmeden önce orijinal Japonca yanıtlarda ölçüldü.

Kapsam Dışı Sorulara Chatbot Yanıtları

Ağciğer Rehberi'nin kapsamı dışında kalan sorulara chatbot yanıtları Tablo 3'te özetlenmiştir. Bu sorular için sınırlı sayıda içerik öğesine referans verilse de, yanıt oluşturma modeli mevcut referans bilgisinin kanıta dayalı bir yanıt oluşturmak için yeterli olmadığını belirledi. Sonuç olarak, sohbet botu kapsam dışı sorgular için yeterli bilgi olmadığını belirten yanıtlar gönderdi. "Metinde yeterli bilgi yok" ve "Referans yok." ifadeleri, sistem komutunda belirtilen önceden tanımlanmış yanıtlardı. İlki, alınan referans bilgisi soruyu cevaplamak için yetersiz olduğunda geri verilirken, ikincisi referans bilgisi alınmadığında geri dönerdi.

SorguAnahtar KelimelerReferanslı İçerik Öğeleri, nChatbot Yanıtı
Pediatrik glioma için hangi tanı yöntemleri mevcuttur?Pediatrik glioma teşhisi0Referans yok.
Pediatrik glioma için patolojik tanı yaklaşımları nelerdir?Pediatrik glioma patolojik tanı13Metinde yeterli bilgi yok.
Pediatrik glioma için hangi tedavi seçenekleri mevcuttur?Pediatrik glioma tedavi yöntemleri13Metinde yeterli bilgi yok.
Pediatrik glioma için cerrahi tedavi seçenekleri nelerdir?Pediatrik glioma cerrahi tedavisi12Metinde yeterli bilgi yok.

Tablo 3: Akciğer Kanseri Hastaları ve Aileleri için JLCS Rehber Kitabına dayanarak klinik soru düzeyinde kapsam dışı sorulara chatbot yanıtları. Kılavuz tabanlı erişim-artırılmış nesil (RAG) chatbotu tarafından referans kılavuzunun kapsamı dışındaki sorular için oluşturulan yanıtlar. Tablo, kullanıcı sorgularını, oluşturulan anahtar kelimeleri, benzerlik tabanlı arama yoluyla tanımlanan referans verilen içerik öğelerinin sayısını ve ortaya çıkan chatbot yanıtlarını özetler. Referans verilen içerik öğeleri, her anahtar kelime bazında URL seviyesinde tanımlanan toplam ilgili web sayfası sayısını temsil eder. Kapsam dışı sorular için etkili referans öğeleri, alınan içerikte sorgulanan hastalıkla ilgili bilgi içermediği için hesaplanmamıştır.

Ek Dosya 1. Web tabanlı Klinik Uygulama Kılavuzlarından URL ve Metin Çıkarma için Python Kodu. Web tabanlı klinik uygulama kılavuzlarının içindekiler sayfalarından URL'leri ve web sayfası metnini çıkarmak için kullanılan kod. Çıkarılan URL'ler ve metin içeriği, kılavuz tabanlı erişim-artırılmış üretim (RAG) chatbot iş akışında sonraki metin işleme, benzerlik analizi ve referans bilgisi oluşturma için kullanıldı. Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Tablo 1. Web tabanlı Kılavuz İçindekiler sayfasından alınan URL'lerin listesi ve bunların tıbbi veya tıbbi olmayan bilgi olarak sınıflandırılması. JLCS Akciğer Kanseri Hastaları ve Aileleri için Rehber Rehberi'nin içindekiler sayfasından çıkarılan URL'ler, manuel olarak incelenip tıbbi veya tıbbi olmayan bilgiler olarak sınıflandırıldı. Tıbbi bilgiler, klinik sorular (CQ'lar), arka plan soruları, soru setleri ve hasta rehberliğiyle ilgili ek eğitim materyalleri dahil olmak üzere referans verilebilir rehber içeriği olarak tanımlandı. Tıbbi olmayan bilgiler, toplum veya organizasyon web sayfaları, gezinme sayfaları, hiperlinkler ve chatbot yanıt üretimi için referans bilgisi olarak kullanılmayan diğer yardımcı içerikleri içeriyordu. Tablo, çıkarılan tüm URL'leri ve sınıflandırma sonuçlarını özetler. *URL'ler, JLCS Akciğer Kanseri Hastaları ve Aileleri için Rehber Rehberi'nden (https://www.haigan.gr.jp/public/guidebook/2024/) alınmıştır. Bu dosyayı indirmek için lütfen buraya tıklayın.

Tartışma

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışmada, web tabanlı klinik uygulama rehberi—JLCS Akciğer Kanseri Hastaları ve Aileleri Rehberi—referans bilgi kaynağı olarak kullanan, rehber tabanlı bir RAG sohbet botunun faydasını inceledik. Sohbet botu, rehberin web yapısını kullanarak rehber içeriğine dayalı yanıtlar üretti ve sayfaları kullanıcı sorgularına benzerliklerine göre geri aldı. Bu yaklaşım, benzerlik temelli geri alım ile rehber tabanlı yanıt üretiminin güvenilir ve verimli tıbbi bilgi teslimatını destekleyebileceğini gösterdi. Son çalışmalar, özellikle halüsinasyonlar ve yanıt güvenilirliği konularında LLM tabanlı tıbbi sohbet botlarının potansiyelini ve sınırlamalarınıortaya koymuştur 12,13,14. Genel chatbotçerçevelerine odaklanan önceki çalışmaların aksine, mevcut protokol hasta rehberi içeriğini URL seviyesinde elde eden ve tanımlanabilir referans bilgilerine dayalı yanıtlar üreten tekrarlanabilir rehber tabanlı bir RAG yaklaşımını sergiler. Bu çalışma, tamamen doğrulanmış bir klinik sohbet botu sistemi yerine, kanser bilgisinin aktarımı için şeffaf bir protokol sunmaktadır.

Sistemimiz tüm rehber koleksiyonunda yapay zekayı eğitmek yerine, referans bilgisi olarak yalnızca her kullanıcı sorgusuna en ilgili CQ'ları seçti (Şekil 1). Soru metni ile her CQ arasındaki alaka, programlama dili tabanlı kosinüs benzerlik hesaplamaları kullanılarak TF–IDF vektör temsilleriyle nicel olarak değerlendirildi. Bu benzerlik puanlarına dayanarak, CQ'lar alaka sırasına göre azalan sırayla sıralanmış ve seçilmiş, böylece yönerge içinden uygun bilgi kaynaklarının öznel yargıya dayanmadan sistematik olarak çıkarılmasını mümkün kılmıştır (Tablo 1). Ayrıca, alınan CQ metinlerinin birleştirilmesi ve bunları ZE'ye toplu olarak sunması, yanıt üretimi için tutarlı bir kanıt temelinin korunmasına yardımcı oldu ve böylece oluşturulan yanıtların doğruluğunu ve bağlamsal tutarlılığını artırdı. RAG sistemlerinde, doğru bilginin üretimi kritik olarak doğru ve uygun referans kaynaklarına bağlıdır14. Bu tasarım, sistemin tek bir Sıkı Cevap ile yeterince kapsayamayan bilgileri telafi etmesini sağladı ve daha kapsamlı ve klinik olarak makul cevaplar alınmasına katkıda bulundu. Ayrıca, RAG güncel CQ içeriğinin esnek bir şekilde geri alınmasını sağlar ve kanıta dayalı tıbbi uygulamalar için oldukça uygundur10,11. Kılavuz tabanlı RAG yaklaşımları daha öncetanımlanmış olsa da 11,18, mevcut protokol, hasta odaklı bir rehberin mevcut CQ tabanlı web yapısını birincil başvuru çerçevesi olarak kullanmasında farklılık gösterir. Bu tasarım, manuel bilgi tabanı oluşturma veya model yeniden eğitimi olmadan uygulanabilecek şeffaf ve tekrarlanabilir bir iş akışı sağlar.

Önemli olarak, sohbet botu yanıtlarını referans verilen kılavuzun kapsamıyla sınırladı. Sorular rehber içeriğinin dışına çıktığında, sistem açıkça cevap üretmekten kaçınarak desteklenmeyen yanıtların riskini azalttı. Kontrol referans seçiminde kosinüs benzerliğinin kullanılması, üretilen yanıtların güvenliğini ve güvenilirliğini daha da artırmıştır (Tablo 2). Kılavuz kapsamı dışındaki sorular için de referans sayfaları alındı (Tablo 3). Kosinüs benzerlik değerleri, kapsam dışı sorulara (0.20–0.65) göre (0.20–0.65) kapsam dışı sorulara (0.20–0.31; veri gösterilmemiştir) daha yüksekti, ancak içerik klinik olarak alakalı olmasa bile bazı kılavuz sayfalarına düşük benzerlik puanları atandı. Bunun nedeni, kosinüs benzerliğinin yalnızca sorgu ile kılavuz metni arasındaki anahtar kelime eşleşmesine dayanarak hesaplanmasıdır. Önemli olarak, bu düşük alakalı referanslar uygunsuz yanıtlara yol açmadı, çünkü chatbot yeterli referans bilgisi bulunmadığında yanıt üretmekten kaçındı. Tanımlanmış test koşullarında manuel inceleme sırasında herhangi bir halüsinasyon tespit edilmedi. 0.2 kosinüs benzerlik eşiği, geri alma hassasiyeti ve özgüllüğü dengelemek için ön testlerde ampirik olarak seçildi. Bu eşik mevcut test koşullarında etkili olsa da, eşik hassasiyetinin sistematik değerlendirmesi bu protokol çalışmasının kapsamının dışındaydı. Gelecekteki çalışmalar, daha büyük kıyaslama veri setleri ve nicel arama metrikleri kullanarak alternatif eşik ayarlarının etkilerini araştırmalıdır. Gözlemlenen davranış, RAG tabanlı çıktı kontrolünün tıbbi yapay zeka uygulamalarında faydalı olabileceğini gösteriyor. Ancak mevcut değerlendirme, kapsam içi ve kapsam dışı sınırlı sayıda soruya dayanıyordu ve esas olarak önerilen iş akışının kavram kanıtı olarak değerlendirilmişti. Bu nedenle, bulgular klinik doğruluk, güvenlik veya genellenebilirliğin kapsamlı bir doğrulaması olarak yorumlanmamalıdır.

Bu çalışmanın birkaç teknik sınırlaması vardır. Japon morfolojik analizörü ve yanıt üretimi için GPT-3.5-turbo-16k (LLM) kullandık. LLM, sistem geliştirme döneminde yaygın ve kararlı bir model olduğu ve önerilen iş akışının tekrarlanabilir uygulanmasını mümkün kıldığı için seçildi. Morfolojik analizörler ve LLM'lerin kendine özgü özellikleri vardır; Bu nedenle, model veya kütüphane seçimi hem bilgi çıkarımın doğruluğunu hem de üretilen yanıtların içeriğinietkiler 22,23. Daha yeni modeller (örneğin, GPT-4 veya GPT-5 sınıfı LLM'ler) performansı ve haricigeçerliliği iyileştirebilse de, alternatif modellerin değerlendirilmesi mevcut protokol çalışmasının kapsamının dışındaydı. Daha yeni LLM'ler daha iyi akıl yürütme yeteneği, talimat takip etme ve yanıt kalitesi sunabilir; ancak bu çalışmanın birincil amacı, farklı LLM'lerin performansını karşılaştırmak yerine kılavuz tabanlı bir RAG çerçevesinin uygulanabilirliğini değerlendirmekti. Bu bileşenlerin daha fazla optimize edilmesi, daha verimli ve doğru yanıt üretimini mümkün kılabilir ve bu bulguların genellenebilirliğini değerlendirmek için farklı model konfigürasyonları kullanılarak doğrulama gereklidir. Ayrıca, mevcut protokol Japonca bir kılavuz ve Japonca morfolojik analiz kullanılarak geliştirilmiştir. TF–IDF vektörizasyonu, kosinüs benzerliği ve RAG temelli arama çerçevesi prensipte dil bağımsız olsa da, diğer dillerde uygulama dil özel metin işleme araçları ve doğrulama gerektirir. Bu çalışma tek bir kılavuzla sınırlı olmasına ve farklı rehber yapılarının doğrudan karşılaştırılmasına izin vermemesine rağmen, CQ düzeyindeki organizasyon rehber içeriğinin sistematik olarak çıkarılmasını kolaylaştırdı ve rehber tabanlı RAG sohbet botu için referans bilgisinin oluşturulmasını destekledi. Özellikle, rehberin web yapısı—her CQ'nun benzersiz bir URL ile ilişkilendirilmesi—referans içeriğinin URL düzeyinde verimli kazıma ve organizasyonunu mümkün kılan önemli pratik bir rol oynamıştır. PDF tabanlı belgeler veya CQ seviyesinde URL'leri olmayan web siteleri dahil olmak üzere farklı formatlara sahip yönergeler, alternatif segmentasyon ve geri alma stratejileri gerektirebilir. Bu nedenle, mevcut iş akışının diğer rehber yapıları ve tıbbi uzmanlıklara genellenebilirliği henüz belirlenmemiştir. Gelecekteki çalışmalar, bu yaklaşımın birden fazla hastalık, rehber formatları ve bilgi kaynakları üzerinde uygulanabilirliğini değerlendirmelidir.

Bu çalışmanın bulguları, rehber referanslı yapay zeka sistemlerinin tasarımı için pratik rehberlik sağlar ve web tabanlı klinik kılavuzlara referans veren bir rehber tabanlı RAG sohbet botunun kanserle ilgili tıbbi bilgilerin iletilmesi için bir araç potansiyeli olduğunu göstermektedir. Ancak bu çalışma, kılavuz alımı, yanıt oluşturma ve yanıt kısıtlama mekanizmalarının teknik fizibilitesini göstermeyi amaçlayan bir kavram kanıtı değerlendirmesini teşkil etmekte olup, tıbbi bilgi sisteminin resmi klinik doğrulaması olarak yorumlanmamalıdır. Klinik etkinliği, güvenliği ve kullanıcı sonuçları değerlendirilmedi ve gelecekteki çalışmalarla belirlenmemiştir. Etik ve kullanıcı güvenliği açısından, kılavuz destekli bilgilere verilen yanıtların sınırlandırılması, desteklenmeyen veya halüsinasyon edilmiş yanıtların riskini azaltabilir. Ancak, aşırı reddetme davranışı kullanıcı memnuniyetini ve algılanan faydalılığı da azaltabilir. Bu nedenle gelecekteki çalışmalar, güvenlik ile kullanılabilirlik arasındaki dengeyi değerlendirir ve yanlış bilgilere karşı uygun korumaları korumalıdır. Web tabanlı rehberlerin bilgi yapısını kullanarak ve kullanıcı sorularına odak cevaplar sunarak, bu sistem tıbbi bilgi sunumunda yapay zekanın gelecekteki uygulamaları için faydalı bir model olabilir.

Açıklamalar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarlar rekabet eden çıkarlar belirtmemektedir.

Teşekkürler

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarlar, rehber tabanlı geri alım ve artırılmış nesil chatbotun geliştirilmesindeki kapsamlı teknik desteği için Kenichi Inoue, MD, PhD'ye (Shonan Memorial Hospital Meme Merkezi) teşekkür ediyor. Yazarlar ayrıca, bu makalede ele alınan konuda değerli tavsiyeler verdikleri için Chikako Yamaki, PhD ve Kanser Kontrol Enstitüsü, Ulusal Kanser Merkezi Japonya'daki (Tokyo, Japonya) araştırma ekibinin tüm üyelerine teşekkür etmektedir. Ayrıca, yazarlar İngilizce düzenleme için Editage'e teşekkür ediyor. Bu çalışma, Sağlık ve İş Bilimleri Araştırma Hibesi (R6–Kanser Kontrolü–23EA1026) ile desteklenmiştir.

Malzemeler

```html

Bu makalede kullanılan malzemelerin listesi
AdŞirketKatalog numarasıYorumlar
Beautiful Soup 4 (version 4.12.3)Beautiful Soup ProjectN/AURL çıkarma ve HTML ayrıştırma için kullanılan Python kütüphanesi
ChatGPT version 4oOpenAIN/AAnahtar kelime oluşturma için kullanılır
GPT-3.5-turboOpenAIN/AYanıt oluşturma için kullanılır
JLCS Guidebook for Lung Cancer Patients and FamiliesJapan Lung Cancer SocietyN/AReferans bilgisi olarak kullanılan web tabanlı klinik uygulama klavuzu
MeCab (version 0.996)MeCab ProjectN/AJaponca morfolojik analizör
OpenAI APIOpenAIN/AYapay zeka tabanlı yanıt oluşturma için kullanılır
Python (version 3.12)Python Software FoundationN/AProgramlama ortamı
Requests (version 2.32.3)Requests ProjectN/AWeb sayfası alımı için kullanılan Python kütüphanesi
scikit-learn (version 1.6.1)scikit-learn DevelopersN/ATF–IDF vektörleştirme ve kosinüs benzerliği hesaplaması için kullanılır.
urllib.parsePython Software FoundationN/AURL normalleştirme ve birleştirme için kullanılan Python kütüphanesi
```

Kaynaklar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Helft PR, Hlubocky F, Daugherty CK. American oncologists' views of internet use by cancer patients: a mail survey of American Society of Clinical Oncology members. J Clin Oncol. 2003;21(5):942-947.
  2. Chen X, Siu LL. Impact of the media and the internet on oncology: survey of cancer patients and oncologists in Canada. J Clin Oncol. 2001;19(23):4291-4297.
  3. Goto Y, et al. Differences in the quality of information on the internet about lung cancer between the United States and Japan. J Thorac Oncol. 2009;4(7):829-833.
  4. Ogasawara R, et al. Reliability of cancer treatment information on the internet: observational study. JMIR Cancer. 2018;4(2):e10031.
  5. Johnson SB, Park HS, Gross CP, Yu JB. Complementary medicine, refusal of conventional cancer therapy, and survival among patients with curable cancers. JAMA Oncol. 2018;4(10):1375-1381.
  6. Rajpurkar P, Chen E, Banerjee O, Topol EJ. AI in health and medicine. Nat Med. 2022;28(1):31-38.
  7. The Lancet Digital Health. ChatGPT: friend or foe? Lancet Digit Health. 2023;5(3):e102.
  8. Huang L, et al. A survey on hallucination in large language models: principles, taxonomy, challenges, and open questions. arXiv. 2023;2311.05232.
  9. Ji Z, et al. Survey of hallucination in natural language generation. ACM Comput Surv. 2023;55(12):248.
  10. Yang R, et al. Retrieval-augmented generation for generative artificial intelligence in health care. npj Health Syst. 2025;2(2).
  11. Zakka C, et al. Almanac—retrieval-augmented language models for clinical medicine. NEJM AI. 2024;1(2):AIoa2300068.
  12. Chow JCL, Li K. Developing effective frameworks for large language model-based medical chatbots: insights from radiotherapy education with ChatGPT. JMIR Cancer. 2025;11:e66633.
  13. Chow JCL, Li K. Large language models in medical chatbots: opportunities, challenges, and the need to address AI risks. Information. 2025;16(7):549.
  14. Nishisako S, Higashi T, Wakao F. Reducing hallucinations and trade-offs in responses in generative AI chatbots for cancer information: development and evaluation study. JMIR Cancer. 2025;11:e70176.
  15. Lewis P, et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. Adv Neural Inf Process Syst. 2020;33:9459-9474.
  16. Gao Y, et al. Retrieval-augmented generation for large language models: a survey. arXiv. 2023;2312.10997.
  17. Jeong M, Sohn J, Sung M, Kang JJB. Improving medical reasoning through retrieval and self-reflection with retrieval-augmented large language models. Bioinformatics. 2024;40:i119-i129.
  18. Lewis M, et al. Grounding large language models in clinical evidence: a retrieval-augmented generation system for querying UK NICE clinical guidelines. arXiv. 2025;2510.02967.
  19. Ministry of Education, Culture, Sports, Science and Technology; Ministry of Health, Labour and Welfare; Ministry of Economy, Trade and Industry. Ethical guidelines for medical and biological research involving human subjects [Article in Japanese]. Ministry of Health, Labour and Welfare.
  20. Gallifant J, et al. The TRIPOD-LLM reporting guideline for studies using large language models. Nat Med. 2025;31:60-69.
  21. The Japanese Lung Cancer Society. JLCS Guidebook for Lung Cancer Patients and Families. Available at: https://www.haigan.gr.jp/public/guidebook/2024/. Accessed January 21, 2026.
  22. Liu M, et al. Evaluating the effectiveness of advanced large language models in medical knowledge: a comparative study using Japanese national medical examination. Int J Med Inform. 2025;193:105673.
  23. Kudo T, Yamamoto K, Matsumoto Y. Applying conditional random fields to Japanese morphological analysis. In: Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing. 2004:230-237.

Yeniden basım ve izinler

Bu JoVE makalesinin metnini veya şekillerini yeniden kullanmak için izin iste

İzin iste

Etiketler

T pSay 234Say 234Bo De erSayB y k Dil ModelleriGeri Getirme ile G lendirilmi retim RAGT bbi Bilgi letimiG venli T bbi Yapay ZekaBilgi Eri imi

İlgili makaleler