Bu içeriği görüntülemek için JoVE aboneliğiniz gereklidir. Giriş yapın veya ücretsiz denemenizi bugün başlatın.

Yöntem makalesi

Web tabanlı kanser klinik uygulama kılavuzlarına atıfta bulunan rehber tabanlı bir geri dönüş ve artırılmış nesil sohbet botunun geliştirilmesi

96 görüntülenme

⸱

DOI:

10.3791/71099

⸱

7 Ağustos 2026

 ,  , 
1National Cancer Center Japan, Institute for Cancer Control, 2The University of Tokyo, Department of Public Health and Health Policy, Graduate School of Medicine, 3National Cancer Center Japan, Headquarters for Cancer Information Services

Bu makalede

Özet

Bu protokol, kullanıcı sorularına referans temelli yanıtlar oluşturan, web tabanlı kanser klinik uygulama kılavuzlarından içerik alıp özetleyen rehber tabanlı geri alma ve artırılmış nesil sohbet botunun geliştirilmesi ve değerlendirilmesini açıklar.

Özet

İnternette tıbbi bilgilerin yaygın erişilebilirliği, hastalar için sağlıkla ilgili bilgiye erişimi iyileştirmiştir; ancak aynı zamanda yanlış tıbbi bilgilere maruz kalma artışını da artırmıştır. Kanser bakımı karmaşık bilgiler içerir ve bu da hastaların doğru ve kanıta dayalı kaynakları belirlemesini zorlaştırır. Büyük dil modelleri doğal dil etkileşimini mümkün kılar ancak sıklıkla halüsinasyonlar oluşturur ve tıbbi bilgi teslimatında uygulanmasını sınırlar. Geri alım ile artırılmış üretim (RAG), yanıtları dış referans kaynaklarına bağlayarak bu riskleri azaltma potansiyeline sahiptir. Bu çalışma, halka açık ve web tabanlı kanser klinik uygulama kılavuzlarını kullanan rehber tabanlı bir RAG sohbet botunun geliştirilmesi ve değerlendirilmesini açıklamaktadır. Sistem, bir rehberin içindekiler sayfalarından URL'leri çıkarır, sayfa metnini terim sıklığı-ters belge sıklığına dayalı morfolojik analiz ve kosinüs benzerliği kullanarak işler ve son derece ilgili sayfalardan referans bilgileri oluşturur. Büyük bir dil modeli, bu referansları kılavuz içeriğine sınırlı yanıtlar oluşturmak için kullanır. JLCS Akciğer Kanseri Hastaları ve Aileleri için Rehber Kitabı referans rehberi olarak kullanılmıştır. Soru setleri, yanıt kontrolünü değerlendirmek için hem rehber kapsamı içindeki kanser türlerini hem de kapsam dışı kanser türlerini içeriyordu. Tıbbi bilgiler, içindekiler sayfalarından başarıyla çıkarıldı ve çıkarılan URL'lerin %98'i referans verilebilir tıbbi içerik içeriyordu. Kapsam içi sorular için, sohbet botu kılavuz içeriğini özetleyerek yanıtlar üretti ve tanımlanmış test koşullarında manuel inceleme sırasında herhangi bir halüsinasyon tespit edilmedi. Kapsam dışı sorular için sohbet botu sürekli cevap vermeyi reddetti ve mevcut bilgilerin yetersiz olduğunu belirtti. Rehberin web yapısı, referans içeriğinin URL düzeyinde verimli şekilde kazılması ve düzenlenmesini kolaylaştırmıştır. Bu protokol, web tabanlı klinik uygulama kılavuzları kullanarak tıbbi bilgi sunan yapay zeka sistemleri oluşturmak için pratik rehberlik sağlar.

Giriş

İnternet ve sosyal medyanın yaygın kullanımı, hastaların tıbbi bilgilere erişimini kolaylaştırmıştır 1,2. Kanser bakım bilgileri genellikle karmaşık ve kapsamlıdır, bu da hastaların doğru, ilgili ve bilimsel kanıtlara dayanan kaynakları belirlemesini özelliklezorlaştırır. Çevrimiçi kaynaklar hastaların anlayışını destekleyebilse de, aynı zamanda hastaların bakım kararlarını olumsuz etkileyebilecek önemli miktarda yanlış tıbbi bilgiiçerirler 4. Kanserle ilgili yanlış bilgiler hasta sonuçlarınıetkileyebildiğinden, bireysel kullanıcıların tıbbi bilgileri aramasına, özetlemesine ve yorumlamasına yardımcı olabilecek yapay zeka (YZE) sistemlerine olan ihtiyaç giderekartmaktadır 6.

Büyük dil modelleri (LLM'ler) kullanıcıların doğal dil konuşması yoluyla bilgiyeerişmesini sağlar 7; Ancak, yanlış bilgi (yani halüsinasyonlar) oluşumu tıp alanında ciddi bir endişe kaynağıolmaya devam etmektedir 8,9,10,11. Yanlış bilginin ana kaynaklarından biri, chatbot geliştirmek için kullanılan eğitim verilerinin kalitesi ve doğruluğudur. Ayrıca, model eğitiminin statik doğası, bilginin zamanla eskimesine yol açarak LLM'lerin güncel ve bağlamsal olarak uygun bilgi sağlama yeteneğinisınırlar. 12,13. Bu sınırlamalar, chatbot yanıtlarının doğru, ilgili ve güncel kalmasını sağlamak için etkili bilgi yönetimi stratejilerinin önemini vurgular. Özellikle, klinik uygulama kılavuzları gibi mevcut kanıta dayalı kaynaklara kolayca erişebilen ve referans verebilen sistemler, tavsiye ve bakım standartlarının sürekli geliştiği tıbbi ortamlarda arzu edilir. Bu zorluğu ele almak için, dış bilgi kaynaklarından gelen bilgileri dahil ederek yanıtlar üreten geri bildirimli üretim (RAG) giderek artan ilgi gördü 10,13,14,15,16,17.

RAG giderek tıbbi sohbet botlarına uygulanmaya başlasa da, klinik uygulama kılavuzlarının referans bilgi kaynakları olarak sistematik olarak nasıl dahil edilmesi gerektiğine sınırlı dikkatayrılmıştır 18. Birçok klinik uygulama rehberi internette kamuya açık olarak mevcuttur; ancak mevcut web yapılarının RAGsistemleri 18 için doğrudan bir başvuru çerçevesi olarak hizmet edip edemeyeceği belirsizdir. Ayrıca, manuel bilgi tabanı geliştirmeden referans bilgisi oluşturmanın pratik yöntemleri de iyi kurulmamıştır.

Bu çalışmada, tıp alanında rehber referanslı yapay zeka sistemleri için tasarım ilkelerini belirlemeyi, halka açık ve web tabanlı kanser klinik uygulama kılavuzlarını kullanan bir rehber tabanlı RAG sohbet botu geliştirip değerlendirmeyi amaçladık; böylece rehber temelli bilgilere basit ve zamanında erişim sağlandı. Bir kavram kanıtı olarak, kılavuz başvurusu, yanıt oluşturma ve yanıt kısıtlamasının teknik fizibilitesini mevcut halka açık klinik uygulama kılavuzlarının web yapısını kullanarak değerlendirdik ve rehber referanslı RAG sistemleri için tekrarlanabilir bir geliştirme protokolü önermeyi amaçladık.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Protokol

Bu çalışma, araştırmaya dahil edilen risklerden korunması gereken insan denekleri kapsamamaktadır. Bu nedenle, insan denekleri içeren tıbbi araştırmalar için Japon etik yönergelerine göre kurumsal bir inceleme kurulu tarafından inceleme gerekmez19. Bu çalışma, Bireysel Prognoz veya Tanı için Çok Değişkenli Modelin Şeffaf Raporlaması (TRIPOD)-LLMrehberleri 20'ye uygun olarak raporlanmıştır.

Kılavuz tabanlı RAG chatbot protokolünün şematik bir genel görünümü için Şekil 1'e bakınız.

figure-protocol-1
Şekil 1. Kılavuz Tabanlı Retrieval-Augmented Generation (RAG) Chatbot Protokolünün İş Akışı. Kılavuz tabanlı RAG chatbot iş akışının şematik genel bakışı. URL'ler, web tabanlı bir klinik uygulama rehberinin içindekiler sayfasından çıkarılır ve referans bilgisi oluşturmak için kullanılır. Kullanıcı sorguları anahtar kelimelere dönüştürülür ve web sayfası içeriği tokenizasyon, terim sıklığı-ters belge frekansı vektörizasyonu ve kosinüs benzerliği analiziyle işlenir; böylece ilgili rehber sayfaları belirlenir. Seçilmiş referans bilgileri, yalnızca referans verilen kılavuz içeriğine dayalı olarak yanıtlar oluşturmak üzere büyük bir dil modeline entegre edilir ve sağlanır. Sağ panel, çıkarılan URL'ler, referans bilgileri ve chatbot yanıtları için kullanılan değerlendirme öğelerini özetler. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

1. Web Tabanlı Kılavuzlardan Referans Bilgisinin Hazırlanması

  1. Python (sürüm 3.12) programlama dilinde uygulanan BeautifulSoup 4 (HTML ayrıştırma kütüphanesi) kullanılarak hedef web tabanlı klinik uygulama rehberlerinin içindekiler sayfalarından tüm URL'leri çıkarın.
    NOT: URL çıkarma betiklerini programlama diliyle aşağıdaki paketlerle uygulayın: HTML ayrıştırma kütüphanesi (sürüm 4.12.3) ve istekler (web sayfası alma kütüphanesi; sürüm 2.32.3). Paketleri pip ile kurun. URL çıkarımı için tam kaynak kodu, Ek Dosya 1'de sağlanmıştır. Yazılım detayları için Materyaller Tablosu'na bakınız.
  2. Hedef klinik uygulama rehberine başarılı erişim ve alaka kazandırmak için çıkarılan tüm URL'leri manuel olarak inceleyin.
  3. Her URL'yi tıbbi veya tıbbi olmayan bilgiler içerecek şekilde sınıflandırın. Bir yazar (S.N.) tarafından URL sınıflandırması yapılabilir.
    NOT: Tıbbi bilgiler, klinik sorular (CQ'lar), arka plan soruları ve soru setleri dahil olmak üzere referans verilebilir rehber içeriği olarak tanımlanmıştır. Tıbbi olmayan bilgiler arasında bağlantılar, toplum veya organizasyon sayfaları ve referans için uygun olmayan diğer yardımcı içerikler bulunurdu.
  4. Doğrulanan URL'leri Microsoft Excel çalışma kitabına (.xlsx formatında) derleyin; her satırda bir URL kaydedilir. Ortaya çıkan URL listesini, sonraki metin alımı, ön işleme ve benzerlik analizleri için giriş veri seti olarak sakla.

2. Kullanıcı Sorgularından Anahtar Kelime Üretimi

  1. Doğal dil sorgusunu ChatGPT'ye girin (Üretken Önden Eğitilmiş Transformer, sürüm 4o; anahtar kelime oluşturma modeli).
  2. Modele, kullanıcı sorgusuna karşılık gelen iki anahtar kelimeyi çıkarmasını iste.
  3. Anahtar kelime üretimi için Japonca yazılmış aşağıdaki isteği kullanın:
    "figure-protocol-2"
    (İngilizce çevirisi: "Aşağıdaki metinden iki anahtar kelime çıkar.")
  4. Kullanıcının doğal dil sorgusunu bu talimata ekleyin ve anahtar kelime oluşturma modeline anahtar kelime oluşturma modeline gönderin.
  5. Hiçbir model parametresini manuel olarak değiştirmeyin. Anahtar kelime oluşturma modelinin varsayılan ayarlarını kullanarak anahtar kelime üretimi gerçekleştirin.
  6. Her kullanıcı sorgusu için iki anahtar kelime oluşturun. Her iki anahtar kelimeyi de daha fazla değişiklik, filtreleme veya manuel seçim olmadan koruyun ve bunları sonraki benzerlik hesaplamaları için kullanın.
  7. Oluşturulan anahtar kelimeleri Microsoft Excel çalışma kitabında (.xlsx formatında sakla. Her kayıt için, orijinal kullanıcı sorgusunu ve ona karşılık gelen oluşturulan anahtar kelimeleri benzer tabanlı arama için depolayın.

3. Metin İşleme ve Benzerlik Hesaplaması

  1. Her çıkarılmış URL'den tam metin içeriğini web sayfası alma kütüphanesi ve HTML ayrıştırma kütüphanesi kullanarak alın. BeautifulSoup get_text() fonksiyonunu kullanarak HTML kaynağından metin içeriğini çıkarın.
  2. Çıkarılan web sayfası metnini ve oluşturulan anahtar kelimeleri HTML etiketleri ve Japonca olmayan karakterler çıkararak ön işleyin.
  3. MeCab ile Japon morfolojik analizi yapmak (sürüm 0.996; Japonca morfolojik analizci) varsayılan sözlük ile birlikte kullanıldı. Sadece isimleri saklayıp onları uzay sınırlı bir metin dizemine birleştirin.
  4. Oluşturulan anahtar kelimeleri tek bir metin dizisinde birleştirin ve web sayfası metni için kullanılan aynı ön işleme ve tokenizasyon prosedürlerini uygulayın.
  5. Varsayılan parametre ayarlarıyla scikit-learn kütüphanesinde (sürüm 1.6.1) TfidfVectorizer uygulaması kullanılarak işlenen web sayfası metni ve anahtar kelime metininden terim sıklığı-ters belge frekansı (TF–IDF) vektörleri oluşturulur.
    NOT: Tüm TfidfVectorizer parametreleri varsayılan değerlerinde bırakıldı ve özel parametre ayarları uygulanmadı.
  6. Her web sayfası vektörü ile anahtar kelime vektörü arasındaki kosinüs benzerliğini kosinüs benzerlik fonksiyonu kullanarak hesaplayın.
  7. URL'leri kosinüs benzerlik puanlarına göre azalan sırayla sıralayın. Ek beraberlik bozma kriterleri uygulamayın.
  8. ≥0.2 kosinüs benzerlik puanına sahip sayfaları aday referans bilgisi olarak seçin.
    NOT: Kosinüs benzerlik eşiği (0.2), sistem geliştirme sırasında geri çağırma önceliği sağlamak ve potansiyel olarak ilgili rehber içeriğinin dışlanmasını önlemek için ampirik olarak seçilmiştir.
  9. Benzerlik eşiğini karşılayan tüm aday sayfalarını koruyun.

4. Referans Bilgisinin İnşası

  1. Sıralı listenin en üstünden seçilen sayfaların metin içeriğini sıralı olarak çıkarın.
  2. Çıkarılan metinleri tek bir referans belgesi oluşturmak üzere birleştirin.
  3. LLM'ye göndermeden önce, referans metindeki yeni satır karakterleri ve ardışık boşluk karakterlerini tek bir boşlukla değiştirin.
  4. Birleştirilmiş referans metnini LLM'ye vermeden önce ilk 4.096 karaktere kadar kısaltın.
    NOT: Kesme sınırı jetonlara değil, karakterlere dayanıyordu. 4.096 karakterlik bir sınır, GPT-3.5-turbo-16k yanıt üretim modelinin giriş kapasitesi içinde kalmasını sağlamak için ampirik olarak seçildi.

5. Yapay Zeka Tabanlı Yanıt Üretimi

  1. Oluşturulmuş referans bilgisini ve orijinal kullanıcı sorgusunu uygulama programlama arayüzü (API) aracılığıyla yanıt oluşturma modeline sağla.
  2. Yanıtların yalnızca verilen referans bilgilerine dayanarak oluşturulmasını sağlamak için aşağıdaki komutu (tamamen Japonca yazılmış) kullanarak yapay zekaya talimat verin:
    "Siz kanser hastalarına rehberlik sağlayan bir tıbbi bilgi asistanısınız. Yanıtları yalnızca aşağıdaki referans bilgilerine dayanarak oluşturun ve kendi genel bilginizi veya mantığını kullanmayın. Yanıtlar ayrıntılı ve anlaşılması kolay olmalı, yaklaşık 500 karakter uzunluğunda olmalı. Eğer referans bilgisi soruyu yanıtlamak için yeterli bilgi içermiyorsa, herhangi bir spekülasyon veya genel bilgi kullanmadan 'Metinde yeterli bilgi yok' diye yanıt verin."
  3. Referans bilgisi ve kullanıcı sorgusunu tek bir kullanıcı mesajında birlikte sunun. Girdi, "Referans Bilgisi: [referans metni]" ve ardından "Soru: [kullanıcı sorgu]" şeklinde yapılandırın.
  4. Yanıt oluşturma modelini kullanarak şu ayarlarda yanıt oluşturun: sıcaklık = 0.1, maksimum çıkış süresi = 1.024 token, n = 1 ve stop = Hiç yok.
  5. Sonraki değerlendirme için yapay zeka tarafından oluşturulan yanıtı alın.
    NOT: Referans bilgisini ve kullanıcı sorgusunu tek bir kullanıcı mesajı olarak gönderin. Yanıt oluşturma talimatlarını ayrı ayrı sistem mesajı olarak verin.

6. Referans Kılavuzu ve Soru Formülasyonu

  1. Kılavuz tabanlı RAG sohbet sistemi için referans bilgisi olarak, çevrimiçi olarak ücretsiz olarak erişilebilir olan JLCS Akciğer Kanseri Hastaları ve Aileleri Rehberi'ni (Lung Guidebook)21 seçin.
  2. Kanser türüne göre iki değerlendirme sorusu kategorisi oluşturun: rehber kapsamında olan timik tümörler ve referans alanının dışındaki pediatrik glioma.
  3. Her kanser türü için tanı ve tedaviyi kapsayan dört soru formüle edin:
    "XX (örneğin, timik veya pediatrik glioma) tümörleri için hangi tanı yöntemleri mevcut?"
    "XX tümörler için patolojik tanı yaklaşımları nelerdir?"
    "XX tümörler için hangi tedavi seçenekleri mevcut?"
    "XX tümörler için cerrahi tedavi seçenekleri nelerdir?"
  4. Referanslı web rehberinde kapsanan kanser türleriyle ilgili sorularınızı chatbot'a gönderin. Örneğin, timik tümör teşhisiyle ilgili bir soruyu akciğer rehberi referans olarak kullanarak gönderin.
  5. Referans kılavuzunun kapsamı dışındaki soruları chatbot'a göndererek dış veya alakasız bilgi kullanmama yeteneğini değerlendirin. Örneğin, Lung Guidebook'u referans bilgisi olarak kullanarak pediatrik glioma ile ilgili bir soru gönderin.
  6. Her soruyu bağımsız bir sohbet oturumunda değerlendirin. Sorular arasında konuşma geçmişini taşıma.
  7. Yapay zeka tarafından oluşturulan yanıtları sonraki değerlendirme için kaydedin.

7. Yanıt Değerlendirmesi

  1. Tüm oluşturulan yanıtların manuel gözden geçirilmesini gerçekleştirin.
  2. Her yanıtın halüsinasyon içerip içermediğini değerlendirin.
  3. Her yanıtın referans kılavuzunda yer alan bilgilerle desteklenip desteklenmediğini değerlendirin.
    NOT: Halüsinasyonlar, tıbbi zarar verebilecek mevcut olmayan olaylar, isimler veya terimler içeren tepkiler olaraktanımlanmıştır 14. Tüm oluşturulan yanıtlar, üniversite hastanesinde 8 yıllık deneyime sahip bir yazar tarafından, hasta desteği ve kanserli hastalar için tıbbi iletişim dahil olmak üzere, doğruluk ve halüsinasyon eksikliği açısından incelendi. Yanıt sınıflandırmasıyla ilgili herhangi bir belirsizlik, Japonya Ulusal Kanser Merkezi'nde kanser bilgi hizmetlerinde 20 yılı aşkın deneyime sahip bir doktor ortak yazarla yapılan görüşmelerle çözüldü.
  4. Bir yanıt, yalnızca tüm klinik açıdan ilgili ifadeler doğrudan alınan referans rehberinden doğrulanabildiğinde, ek bilgi veya desteklenmeyen çıkarım gerektirmediğinde desteklenmiş olarak kabul edin.
  5. Her yanıtı önceden tanımlanmış sonuç etiketleriyle sınıflandırın. Yalnızca referans kılavuzuyla desteklenen bilgileri içeren yanıtları "halüsinasyon yok" olarak sınıflandırın. Desteklenmeyen veya uydurma bilgi içeren yanıtları "halüsinasyon mevcut" olarak sınıflandırın.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Sonuçlar

Tıbbi İçerik Sayfaları Üzerinden Ulaşılabilirlik

Web kazıma mimarisi, rehberin içindekiler sayfasından URL'leri topladı. Akciğer Rehberi'nden 106 URL içindekiler sayfasından çıkarıldı ve bunların 104'ü (%98) tıbbi bilgi içeriyordu (Ek Tablo 1). Kılavuz içerik sayfalarına dayalı chatbot yanıtlarının etkinliği Tablo 1'de özetlenmiştir. Sohbet botu, sorular rehber kapsamına girdiğinde dört klinik anahtar kelimeni...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Tartışma

Bu çalışmada, web tabanlı klinik uygulama rehberi—JLCS Akciğer Kanseri Hastaları ve Aileleri Rehberi—referans bilgi kaynağı olarak kullanan, rehber tabanlı bir RAG sohbet botunun faydasını inceledik. Sohbet botu, rehberin web yapısını kullanarak rehber içeriğine dayalı yanıtlar üretti ve sayfaları kullanıcı sorgularına benzerliklerine göre geri aldı. Bu yaklaşım, benzerlik temelli geri alım ile rehber tabanlı yanıt üretiminin güvenilir ve verimli tıbbi bilgi teslimatını destekleyebileceğ...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Açıklamalar

Yazarlar rekabet eden çıkarlar belirtmemektedir.

Teşekkürler

Yazarlar, rehber tabanlı geri alım ve artırılmış nesil chatbotun geliştirilmesindeki kapsamlı teknik desteği için Kenichi Inoue, MD, PhD'ye (Shonan Memorial Hospital Meme Merkezi) teşekkür ediyor. Yazarlar ayrıca, bu makalede ele alınan konuda değerli tavsiyeler verdikleri için Chikako Yamaki, PhD ve Kanser Kontrol Enstitüsü, Ulusal Kanser Merkezi Japonya'daki (Tokyo, Japonya) araştırma ekibinin tüm üyelerine teşekkür etmektedir. Ayrıca, yazarlar İngilizce düzenleme için Editage'e teşekkür ediyor. Bu çalışma, Sağlık ve İş Bilimleri Araştırma Hibesi (R6–Kanser Kontrolü–23EA1026) ile desteklenmiştir.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Malzemeler

```html
Bu makalede kullanılan malzemelerin listesi
AdŞirketKatalog numarasıYorumlar
Beautiful Soup 4 (version 4.12.3)Beautiful Soup ProjectN/AURL çıkarma ve HTML ayrıştırma için kullanılan Python kütüphanesi
ChatGPT version 4oOpenAIN/AAnahtar kelime oluşturma için kullanılır
GPT-3.5-turboOpenAIN/AYanıt oluşturma için kullanılır
JLCS Guidebook for Lung Cancer Patients and FamiliesJapan Lung Cancer SocietyN/AReferans bilgisi olarak kullanılan web tabanlı klinik uygulama klavuzu
MeCab (version 0.996)MeCab ProjectN/AJaponca morfolojik analizör
OpenAI APIOpenAIN/AYapay zeka tabanlı yanıt oluşturma için kullanılır
Python (version 3.12)Python Software FoundationN/AProgramlama ortamı
Requests (version 2.32.3)Requests ProjectN/AWeb sayfası alımı için kullanılan Python kütüphanesi
scikit-learn (version 1.6.1)scikit-learn DevelopersN/ATF–IDF vektörleştirme ve kosinüs benzerliği hesaplaması için kullanılır.
urllib.parsePython Software FoundationN/AURL normalleştirme ve birleştirme için kullanılan Python kütüphanesi
```

Kaynaklar

  1. Helft PR, Hlubocky F, Daugherty CK. American oncologists' views of internet use by cancer patients: a mail survey of American Society of Clinical Oncology members. J Clin Oncol. 2003;21(5):942-947.
  2. Chen X, Siu LL. Impact of the media and the internet on oncology: survey of cancer patients and oncologists in Canada. J Clin Oncol. 2001;19(23):4291-4297.
  3. Goto Y, et al. Differences in the quality of information on the internet about lung cancer between the United States and Japan. J Thorac Oncol. 2009;4(7):829-833.
  4. Ogasawara R, et al. Reliability of cancer treatment information on the internet: observational study. JMIR Cancer. 2018;4(2):e10031.
  5. Johnson SB, Park HS, Gross CP, Yu JB. Complementary medicine, refusal of conventional cancer therapy, and survival among patients with curable cancers. JAMA Oncol. 2018;4(10):1375-1381.
  6. Rajpurkar P, Chen E, Banerjee O, Topol EJ. AI in health and medicine. Nat Med. 2022;28(1):31-38.
  7. The Lancet Digital Health. ChatGPT: friend or foe? Lancet Digit Health. 2023;5(3):e102.
  8. Huang L, et al. A survey on hallucination in large language models: principles, taxonomy, challenges, and open questions. arXiv. 2023;2311.05232.
  9. Ji Z, et al. Survey of hallucination in natural language generation. ACM Comput Surv. 2023;55(12):248.
  10. Yang R, et al. Retrieval-augmented generation for generative artificial intelligence in health care. npj Health Syst. 2025;2(2).
  11. Zakka C, et al. Almanac—retrieval-augmented language models for clinical medicine. NEJM AI. 2024;1(2):AIoa2300068.
  12. Chow JCL, Li K. Developing effective frameworks for large language model-based medical chatbots: insights from radiotherapy education with ChatGPT. JMIR Cancer. 2025;11:e66633.
  13. Chow JCL, Li K. Large language models in medical chatbots: opportunities, challenges, and the need to address AI risks. Information. 2025;16(7):549.
  14. Nishisako S, Higashi T, Wakao F. Reducing hallucinations and trade-offs in responses in generative AI chatbots for cancer information: development and evaluation study. JMIR Cancer. 2025;11:e70176.
  15. Lewis P, et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. Adv Neural Inf Process Syst. 2020;33:9459-9474.
  16. Gao Y, et al. Retrieval-augmented generation for large language models: a survey. arXiv. 2023;2312.10997.
  17. Jeong M, Sohn J, Sung M, Kang JJB. Improving medical reasoning through retrieval and self-reflection with retrieval-augmented large language models. Bioinformatics. 2024;40:i119-i129.
  18. Lewis M, et al. Grounding large language models in clinical evidence: a retrieval-augmented generation system for querying UK NICE clinical guidelines. arXiv. 2025;2510.02967.
  19. Ministry of Education, Culture, Sports, Science and Technology; Ministry of Health, Labour and Welfare; Ministry of Economy, Trade and Industry. Ethical guidelines for medical and biological research involving human subjects [Article in Japanese]. Ministry of Health, Labour and Welfare.
  20. Gallifant J, et al. The TRIPOD-LLM reporting guideline for studies using large language models. Nat Med. 2025;31:60-69.
  21. The Japanese Lung Cancer Society. JLCS Guidebook for Lung Cancer Patients and Families. Available at: https://www.haigan.gr.jp/public/guidebook/2024/. Accessed January 21, 2026.
  22. Liu M, et al. Evaluating the effectiveness of advanced large language models in medical knowledge: a comparative study using Japanese national medical examination. Int J Med Inform. 2025;193:105673.
  23. Kudo T, Yamamoto K, Matsumoto Y. Applying conditional random fields to Japanese morphological analysis. In: Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing. 2004:230-237.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Yeniden basım ve izinler

Etiketler

T pSay 234Say 234Bo De erSayB y k Dil ModelleriGeri Getirme ile G lendirilmi retim RAGT bbi Bilgi letimiG venli T bbi Yapay ZekaBilgi Eri imi
Bize Ulaşın
Kütüphaneye Öner

Gizlilik

Kullanım Koşulları

Politikalar

Telif Hakkı © 2026 MyJoVE Corporation. Tüm hakları saklıdır.