Bu protokolde, temel büyük dil modeli yanıt kalitesi, bir vektör yerleştirme mekanizması aracılığıyla hakemli, alana özgü bilimsel makalelerle artırma yoluyla iyileştirilir. Ayrıca, büyük dil modelleri arasında performans karşılaştırmasına yardımcı olmak için kod sağlanır.
Bu içeriği görüntülemek için JoVE aboneliğiniz gereklidir. Giriş yapın veya ücretsiz denemenizi bugün başlatın.
Yöntem makalesi
Etki alanına özgü yanıt verme hızını artırmak için vektör yerleştirmeleri aracılığıyla büyük dil modellerini artırma
Bu makalede
Özet
Özet
Büyük dil modelleri (LLM'ler), bir kullanıcı sorgusuyla ilgili bilgi oluşturmak için popüler bir kaynak olarak ortaya çıkmıştır. Bu tür modeller, kapsamlı, statik bir metinsel veri külliyatı kullanılarak kaynak yoğun bir eğitim süreci yoluyla oluşturulur. Bu statik yapı, hızla değişen bilgi, özel bilgi ve hassas verilere sahip etki alanlarında benimseme sınırlamalarına neden olur. Bu çalışmada, vakıf modelleri olarak bilinen genel amaçlı LLM'leri, güncel, hakemli bilimsel makaleleri dahil etmek için gömme tabanlı bir yaklaşım kullanılarak alana özgü bilgilerle artırmak için yöntemler özetlenmiştir. Bu, şeffaflığı, kullanıcı gizliliğini ve kontrolünü ve tekrarlanabilirliği en üst düzeye çıkarmak için Llama-Index gibi açık kaynaklı araçlar ve Llama-2 gibi halka açık modeller aracılığıyla elde edilir. Bilimsel makaleler örnek bir kullanım durumu olarak kullanılsa da, bu yaklaşım herhangi bir metin veri kaynağına genişletilebilir. Ek olarak, bu geliştirmeyi takiben model performansını değerlendirme yöntemleri tartışılmaktadır. Bu yöntemler, eğitim külliyatındaki bilgilerin kapsamlılığından bağımsız olarak, son derece uzmanlaşmış alanlar için LLM sistemlerinin hızlı bir şekilde geliştirilmesini sağlar.
Giriş
OpenAI'nin ChatGPT'si veya Meta AI'nin Llama'sı gibi büyük dil modelleri (LLM'ler), bir kullanıcı istemiyle ilgili metin oluşturmak için hızla popüler bir kaynak haline geldi. Başlangıçta bir dizideki bir sonraki sözcüksel öğeleri tahmin etmek için işlev gören bu modeller, bağlamı anlamak, klinik bilgileri kodlamak ve çeşitli görevlerde yüksek performans göstermek için gelişmiştir 1,2,3,4. Dil modelleri bu tür yeteneklerden ve mevcut popülerlik düzeylerinden onlarca yıl öncesine dayansada5, derin öğrenme ve bilgi işlem yeteneklerindeki son gelişmeler, önceden eğitilmiş, yüksek kaliteli ticari LLM'leri web tabanlı teknolojiler ve uygulama programı arayüzleri (API'ler) aracılığıyla kullanıcılara geniş çapta kullanılabilir hale getirmiştir6. Ancak, LLM'leri bu biçimde tüketmenin birkaç önemli sınırlaması vardır.
Zorluk 1: Statik eğitim külliyatı
LLM'ler muazzam (örneğin, Llama 27 durumunda iki trilyon jeton) ancak statik bir metin verisi kütlesi üzerinde eğitilir. Bu, hızlı gelişme gösteren veya değişen literatürle ilgili doğru yanıtlar üretmede bir zorluk teşkil etmektedir. Bu statik yaklaşımda, LLM'lerin en son verilere ayak uydurmak için sık sık yeniden eğitim alması gerekir ve bu ne pratik ne de ölçeklenebilirdir. Ayrıca, eğitim verilerinde bulunmayan bilgilere dayalı yanıtlar gerektiren yönlendirmeler, yararlı metin üretimini engelleyebilir veya halüsinasyonlara yol açabilir8. Halüsinasyon örnekleri veya gerçek uydurma örnekleri, özellikle bilgilerin doğruluğunun kritik olduğu ortamlarda, LLM'lerin güvenilirliği hakkında önemli endişelere yol açmaktadır9.
Zorluk 2: Etki alanı özgüllüğü eksikliği
Önceden eğitilmiş modeller genellikle genel kullanım için oluşturulurken, kullanıcılar belirli bir etki alanındaki performans için özel olarak optimize edilmiş bir modele ihtiyaç duyabilir. Ek olarak, bir modeli de novo eğitmek veya önemli ince ayarlar yapmak için gereken hesaplama kaynakları ve veriler birçok kullanıcı için engelleyicidir.
Zorluk 3: Gizlilik eksikliği
Hassas verileri veya özel bilgileri içeren uygulamaları takip eden kullanıcılar, verilerin nasıl saklanabileceği veya kullanılabileceği konusunda bilgi sahibi olmadıkları için belirli LLM hizmetlerini kullanmak istemeyebilir veya kullanamayabilirler.
Zorluk 4: Garantili istikrar eksikliği
Tescilli LLM'lere sahip hizmetler, herhangi bir zamanda mevcut modelleri değiştirebilir veya davranışı değiştirebilir, bu da kararlılığı bu hizmetlere dayanan uygulamaların uygulanması için bir endişe haline getirir.
Geri alma ile artırılmış nesil (RAG), özellikle modelin eğitim külliyatı dışındaki bilgilerle ilgili sorgularda LLM performansını iyileştirmek için geliştirilmiş bir tekniktir10,11. Bu sistemler, bir kullanıcı sorgusuna yanıt oluştururken dikkate alınması gereken bağlamsal bilgileri dahil ederek LLM'leri artırır. Son zamanlarda yapılan çeşitli çalışmalar, RAG sistemlerinin uygulamalarını ve potansiyel avantajlarını tanımlamıştır 12,13,14.
Bu çalışmada özetlenen yöntemin amacı, böyle bir sistemin inşasını göstermek ve araştırmacıların alana özgü, artırılmış LLM'ler üzerinde hızlı bir şekilde deney yapmaları için bir çerçeve sağlamaktır. Bu yöntem, bir LLM'yi harici bir metin tabanlı veri kaynağıyla artırmak isteyen kullanıcılar için geçerlidir. Özellikle, bu protokolün kapsayıcı bir amacı, dil modelleme alanında önemli bir teknik uzmanlığa ihtiyaç duymadan çeşitli pratik LLM ve RAG deneylerine genişletilebilen adım adım kod sağlamaktır, ancak bu yaklaşımı değişiklik yapmadan uygulamak için Python'un çalışma bilgisi gereklidir. Çözümlerin kullanıcı kontrolünü, şeffaflığını, taşınabilirliğini ve satın alınabilirliğini en üst düzeye çıkarmak için açık kaynaklı, halka açık araçlar kullanılır. Önerilen sistem, daha önce belirtilen sorunları aşağıdaki şekillerde ele almaktadır:
Çözüm 1 ve 2: Statik eğitim derlemi ve alan özgüllüğü eksikliği
Sağlanan metodoloji, orijinal eğitim verilerinde yer almayan alana özgü bilgileri sağlamak için yerleştirmeleri kullanan bir RAG yaklaşımından yararlanır. Yüksek düzeyde, katıştırma modelleri, metni veya diğer verileri bir vektör veya tek boyutlu sayı dizisi olarak bir gösterime dönüştürür. Bu teknik, metinde yer alan anlamsal bilgileri yoğun, sayısal bir forma dönüştürdüğü için faydalıdır. Bir kullanıcı sorgusunu aynı gömme alanına yansıtarak, kullanıcı sorgusu ile metin belgelerinin bölümleri arasındaki mesafeyi15 ve dolayısıyla yaklaşık anlamsal benzerliği hesaplamak için çeşitli algoritmalar kullanılabilir. Bu nedenle, ayrı bölümlere ayrılmış belgelerden bu tür vektörlerin bir veritabanını oluşturmak, bir kullanıcı sorgusuyla en alakalı metin için önemli sayıda belge üzerinde arama yapmayı kolaylaştırabilir (Şekil 1). Bu yaklaşım herhangi bir metin belgesine genişletilebilir. LLM'leri artırmak için çevrimiçi arama yetenekleri gibi diğer yaklaşımlar uygulanmaya başlanırken, bu yaklaşım kullanıcıların kullanım durumları için yeterince yüksek kalitede olduğu düşünülen kaynakları seçmelerine olanak tanır.
2. Çözüm: Gizlilik eksikliği
Bu uygulamada, barındırma için güvenli bir bulut ortamı kullanıldı ve kullanıcı istemleri, oluşturulan yanıtlar veya bu ekosistemden ayrılan diğer veriler yoktu. Bununla birlikte, tüm kodlar, başka bir bulut sağlayıcısının veya yerel donanımın değiştirilebilmesini sağlamak için platformdan bağımsız bir şekilde yazılmıştır.
3. Çözüm: Garantili stabilite eksikliği
Bu yaklaşım, açık kaynak kitaplıklarını kullanır ve LLM'leri genel kullanıma açık ağırlıklarla artırmaya odaklanarak gerekirse daha yüksek derecede şeffaflık, kararlılık ve sürüm oluşturma sağlar.
Önerdiğimiz sistemin tam bir şeması Şekil 2'de gösterilmiştir ve bu veya benzer bir sistemin çoğaltılmasına ilişkin ayrıntılı talimatlar protokol bölümünde özetlenmiştir. İnce ayar veya büyütme yoluyla model davranışını değiştirirken göz önünde bulundurulması gereken ek bir husus da performansın değerlendirilmesidir. Dil üreten modellerde, birçok geleneksel makine öğrenimi metriği uygulanamadığından bu benzersiz bir zorluk sunar. Çeşitli tekniklermevcut olmasına rağmen16, bu çalışmada, doğruluğu değerlendirmek ve artırma öncesi ve sonrası performansı karşılaştırmanın yanı sıra popüler alternatif LLM'lerle karşılaştırmak için uzmanlar tarafından yazılan çoktan seçmeli sorular (MCQ'lar) kullanılmıştır.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Protokol
Bu yazıda gösterilen kullanım örneğinde, vektör deposu Chicago Konsensüs Çalışma Grubu17'den yayınlanan yönergeler kullanılarak oluşturulmuştur. Bu uzman grubu, periton kanserlerinin yönetimi için kılavuzlar geliştirmek üzere kurulmuştur. Konu alanı, araştırmacıların klinik uzmanlık alanı içinde olduğu için seçilmiştir. Makale setine Cancer ve Annals of Surgical Oncology dahil olmak üzere çevrimiçi dergi havuzlarından erişildi. Kaynak belgelerden gömmeler oluşturmak için Pekin Yapay Zeka Akademisi (BAAI, https://www.baai.ac.cn/english.html) tarafından oluşturulan kompakt (33,4 milyon parametreli) bir gömme modeli olan bge-small-en kullanıldı. Elde edilen veritabanı daha sonra Llama 2 ve Open-AI temel modelleri7'yi artırmak için kullanıldı. Okuyucunun rahatlığı için kod GitHub (https://github.com/AnaiLab/AugmentedLLM) aracılığıyla kullanıma sunulmuştur. Tekrarlanabilirliği sağlamak için, sağlanan gereksinimler listesinde kullanılan kitaplıkların aynı sürümlerinin yanı sıra aynı Python sürümünün kullanılması önerilir. Aşağıdaki yöntemlerde kullanılan araçlarla ilgili kurulum veya belgelerle ilgili ek ayrıntılar, Python (https://www.python.org), git (https://git-scm.com), Llama-Index (https://llamaindex.ai) ve Chroma (https://trychroma.com) sağlayıcılarının resmi web sitelerinde bulunabilir.
1. Önkoşullar: Kodu gözden geçirin ve gerekli kitaplıkları yükleyin
- git, python ve pip öğelerinin yüklü olduğunu doğrulayın.
- Bir terminalde, yüklemeyi doğrulamak için aşağıdaki komutları çalıştırın:
git --versiyon
python3 --versiyon
pip3 --versiyon
- Bir terminalde, yüklemeyi doğrulamak için aşağıdaki komutları çalıştırın:
- Kodu kontrol edin ve gereksinimleri yükleyin.
- Bir terminalde aşağıdaki komutları çalıştırın:
git klon https://github.com/AnaiLab/AugmentedLLM.git
cd ./AugmentedLLM/
pip3 install -r requirements.txt
- Bir terminalde aşağıdaki komutları çalıştırın:
2. Llama-Index ile bir vektör veritabanının oluşturulması
- RTF dosya biçimlerini dönüştürün (yalnızca dosyalar RTF biçimindeyse gereklidir).
- Aşağıdaki komutları yazarak aşağıdaki koddaki dosya yollarını, dönüştürülecek RTF makalelerinin konumu ve düz metin dosyalarının yazılacağı konum ile değiştirerek config.py başlıklı dosyayı düzenleyiniz. Dosyayı kaydedin.
rtf_file_dir = './articles_rtf/'
converted_file_dir = './articles_converted/' - Bir terminalde, aynı dizinde, aşağıdaki komutu çalıştırarak RTF dosyalarının düz metin sürümlerini oluşturmak için kodu yürütün:
python3 ./convert_rtf.py
- Aşağıdaki komutları yazarak aşağıdaki koddaki dosya yollarını, dönüştürülecek RTF makalelerinin konumu ve düz metin dosyalarının yazılacağı konum ile değiştirerek config.py başlıklı dosyayı düzenleyiniz. Dosyayı kaydedin.
- Vektör veritabanını oluşturun ve kaydedin.
- Aşağıdaki değişkenin değerini, LLM'nin artırılacağı belgeleri içeren klasörün dosya yolu ile değiştirerek config.py dosyasını düzenleyin; Dosyayı kaydedin.
article_dir = './makaleler/' - Bir terminalde, aynı dizinde, veritabanını oluşturmak ve kalıcı hale getirmek için aşağıdaki komutla kodu yürütün. Veritabanının artık vector_db klasörüne kaydedildiğini doğrulayın.
python3 ./build_index.py
- Aşağıdaki değişkenin değerini, LLM'nin artırılacağı belgeleri içeren klasörün dosya yolu ile değiştirerek config.py dosyasını düzenleyin; Dosyayı kaydedin.
3. Bölüm 2'de oluşturulan vektör veritabanı ile bir Lama modelinin büyütülmesi
- Özel LLM'yi Yerel Olarak Örnekleyin (isteğe bağlı)
NOT: Bu adımın gerçekleştirilmesi yalnızca varsayılan Llama-2-7B'den farklı bir model kullanmak istiyorsanız gereklidir. Varsayılan modeli kullanmak istiyorsanız, adım 3.2'ye geçin.- (Özel bir LLM kullanarak) Aşağıdaki kod satırlarında None yerine llm parametresi olarak yapıcıda bir lama indeksi LLM nesnesini düzenleyerek ve run_augmented_llm.py düzenleyerek ve ileterek artırılacak bir LLM belirtin.
augmentedLLM = AugmentedLLM(vector_store, llm=Yok)
- (Özel bir LLM kullanarak) Aşağıdaki kod satırlarında None yerine llm parametresi olarak yapıcıda bir lama indeksi LLM nesnesini düzenleyerek ve run_augmented_llm.py düzenleyerek ve ileterek artırılacak bir LLM belirtin.
- Sorgu artırılmış LLM
- Terminalde aşağıdaki komutu çalıştırın:
python3 ./run_augmented_llm.py - El yazmaları kümesindeki verilerle zenginleştirilmiş bir yanıt almak için kullanıcı sorguları çalıştırın (Şekil 3 ve Şekil 4). İşiniz bittiğinde çıkmak için CTRL + C tuşlarına basın.
- Terminalde aşağıdaki komutu çalıştırın:
4. Alternatif LLM'lerin programatik karşılaştırması
- MCQ'lar oluşturun.
- Örneklerin formatını not alarak dosyayı questions.py düzenleyin. Benzer bir biçime uygun sorular ekleyin. Dosyayı kaydedin.
- API aracılığıyla GPT-3.5, GPT-4, OpenChat veya diğer karşılaştırıcı modellere bağlanın.
- Amaç her iki sağlayıcının modelleriyle kıyaslama yapmaksa, OpenAI veya Huggingface için API anahtarını ekleyerek config.py dosyasını düzenleyin. Dosyayı kaydedin.
huggingface_key = ''
openai_key = '' - compare_llms.py dosyasını düzenleyin ve karşılaştırılacak modellerin açıklamasını kaldırarak (bu satırın dilendiği '# ' karakterlerini silerek) test edilecek model kümesini seçin.
NOT: Bazı karşılaştırıcılar, adım 4.2.1'de ayarlandığı gibi bir API anahtarı gerektirir. Ek olarak, istenirse LLM çıktısının saklandığı yeri değiştirmek için output_dir parametresini düzenleyin; aksi takdirde, bir varsayılan kullanılacaktır.
output_dir = './llm_responses/' - Bir terminalde, kodu aşağıdaki komutla yürütün. Yürütmeden sonra, not verme veya başka bir inceleme için adım 4.2.2'de belirtilen klasördeki model yanıtlarını görüntüleyin.
python3 ./compare_llms.py
- Amaç her iki sağlayıcının modelleriyle kıyaslama yapmaksa, OpenAI veya Huggingface için API anahtarını ekleyerek config.py dosyasını düzenleyin. Dosyayı kaydedin.
- (İsteğe bağlı) MCQ yanıtlarının otomatik olarak derecelendirilmesiyle denemeler yapın. Örnek kod, LLM çıktısını beklenen bir biçime kısıtlamak için LMQL kitaplığını kullanır.
- Dosyayı automated_comparison.py açın ve adım 4.2.2'ye benzer şekilde, dahil edilecek modellerin açıklamasını kaldırın, output_dir değişkenini düzenleyin veya başka bir şekilde özelleştirin. Model çıktısının yine de benzer şekilde kaydedileceğini unutmayın. Dosyayı kaydedin.
- Bir terminalde aşağıdaki komutu çalıştırarak adım 4.3.1'deki kodu çalıştırın:
python3 ./automated_comparison.py
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Sonuçlar
Chicago Konsensüs Çalışma Grubu yönetim yönergelerinden 22 yayından oluşan bir set, temel Llama-7b model17'yi artırmak için kullanıldı. Belgeler, Llama-2-7b-CCWG-Embed oluşturmak için Llama-Index aracı kullanılarak bir vektör indeksine dönüştürüldü. GPT-3.5 ve GPT-4 gibi popüler OpenAI modelleri de GPT-XX-CCWG-Embed modelleri üretmek için benzer şekilde artırıldı. Çeşitli peritoneal yüzey malignitelerinin yönetimi ile ilgili bilgileri değerlendirmek için toplam 20 çoktan seçmeli soru (MCQ) gelişti...
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Tartışma
Burada sağlanan yöntemler, de novo eğitime veya kapsamlı ince ayara ihtiyaç duymadan LLM'lerin alana özgü uygulamalarının araştırılmasını kolaylaştırmayı amaçlamaktadır. LLM'ler önemli bir araştırma ilgi alanı haline geldikçe, bilgi tabanlarını artırmaya ve yanıtların doğruluğunu artırmaya yönelik yaklaşımlar giderek daha önemli hale gelecektir 18,19,20,21.<...
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Açıklamalar
Yazarların beyan edebilecekleri herhangi bir çıkar çatışması yoktur.
Teşekkürler
Bu çalışma, başta lama-index (https://www.llamaindex.ai/), ChromaDB (https://www.trychroma.com/) ve LMQL (https://lmql.ai/) olmak üzere çeşitli açık kaynaklı kütüphaneler tarafından kolaylaştırılmıştır.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Malzemeler
| Ad | Şirket | Katalog numarası | Yorumlar |
|---|---|---|---|
| pip3 sürüm 22.0.2 | |||
| Python sürüm 3.10.12 |
Kaynaklar
- Singhal, K., et al. Large language models encode clinical knowledge. Nature. 620 (7972), 172-180 (2023).
- Gilson, A., et al. How does ChatGPT perform on the United States medical licensing examination? The implications of large language models for medical education and knowledge assessment. JMIR Med Educ. 9 (1), e45312(2023).
- Guerra, G. A., et al. GPT-4 artificial intelligence model outperforms ChatGPT, medical students, and neurosurgery residents on neurosurgery written board-like questions. World Neurosurg. 179, e160-e165 (2023).
- Terwiesch, C. Would Chat GPT3 get a Wharton MBA? A prediction based on its performance in the Operations Management course. , https://mackinstitute.wharton.upenn.edu/wp-content/uploads/2023/01/Christian-Terwiesch-Chat-GTP.pdf (2023).
- Weizenbaum, J. ELIZA-a computer program for the study of natural language communication between man and machine. Communications of the ACM. 9 (1), 36-45 (1966).
- Wu, T., et al. A brief overview of ChatGPT: The history, status quo and potential future development. IEEE/CAA Journal of Automatica Sinica. 10 (5), 1122-1136 (2023).
- Touvron, H., et al. Llama 2: Open foundation and fine-tuned chat models. arXiv [cs.CL]. , http://arxiv.org/abs/2307.09288 (2023).
- Huang, L., et al. A survey on hallucination in large language models: Principles, taxonomy, challenges, and open questions. arXiv [cs.CL]. , http://arxiv.org/abs/2311.05232 (2023).
- Thirunavukarasu, A. J., et al. Large language models in medicine. Nature Med. 29 (8), 1930-1940 (2023).
- Lewis, P., et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. arXiv [cs.CL]. , http://arxiv.org/abs/2005.11401 (2020).
- Li, J., Yuan, Y., Zhang, Z. Enhancing LLM factual accuracy with RAG to counter hallucinations: A case study on domain-specific queries in private knowledge-bases. arXiv [cs.CL]. , http://arxiv.org/abs/2403.10446 (2024).
- Zhang, P., Xiao, S., Liu, Z., Dou, Z., Nie, J. -Y. Retrieve anything to augment large language models. arXiv [cs.IR]. , http://arxiv.org/abs/2310.07554 (2023).
- Ling, C., et al. Domain specialization as the key to make large language models disruptive: A comprehensive survey. arXiv [cs.CL]. , http://arxiv.org/abs/2305.18703 (2023).
- Ram, O., et al. In-Context retrieval-augmented language models. Trans Assoc Comput Linguist. 11, 1316-1331 (2023).
- Cormode, G. Sequence distance embeddings. , The University of Warwick. https://wrap.warwick.ac.uk/61310/7/WRAP_THESIS_Cormode_2003.pdf (2003).
- Guo, Z., et al. Evaluating large language models: A comprehensive survey. arXiv [cs.CL]. , http://arxiv.org/abs/2310.19736 (2023).
- Chicago Consensus Working Group. The Chicago Consensus Guidelines for peritoneal surface malignancies: Introduction. Cancer. 126 (11), 2510-2512 (2020).
- Wang, G., et al. OpenChat: Advancing open-source language models with mixed-quality data. arXiv [cs.CL]. , http://arxiv.org/abs/2309.11235 (2023).
- Jiang, A. Q., et al. Mistral 7B. arXiv [cs.CL]. , http://arxiv.org/abs/2310.06825 (2023).
- Megahed, F. M., et al. AI and the future of work in statistical quality control: Insights from a first attempt to augmenting ChatGPT with an SQC knowledge base (ChatSQC). arXiv [cs.HC]. , http://arxiv.org/abs/2308.13550 (2023).
- Wang, Y., Ma, X., Chen, W. Augmenting black-box LLMs with medical textbooks for clinical question answering. arXiv [cs.CL]. , http://arxiv.org/abs/2309.02233 (2023).
- Dodge, J., et al. Measuring the carbon intensity of AI in cloud instances. FACCT 2022. , (2022).
- Samsi, S., et al. From words to watts: Benchmarking the energy costs of large language model inference. arXiv [cs.CL]. , http://arxiv.org/abs/2310.03003 (2023).
- Khene, Z. -E., Bigot, P., Mathieu, R., Rouprêt, M., Bensalah, K. Development of a personalized chat model based on the European association of urology oncology guidelines: Harnessing the power of generative artificial intelligence in clinical practice. Eur Urol Oncol. 7 (1), 160-162 (2024).
- Kresevic, S., et al. Optimization of hepatological clinical guidelines interpretation by large language models: a retrieval augmented generation-based framework. NPJ Digit Med. 7 (1), 102(2024).
- Ge, J., et al. Development of a liver disease-specific large language model chat interface using retrieval augmented generation. medRxiv. , (2023).
- Rule-augmented artificial intelligence-empowered systems for medical diagnosis using large language models. Panagoulias, D. P., et al. 2023 IEEE 35th International Conference on Tools with Artificial Intelligence (ICTAI), , 70-77 (2023).
- Panagoulias, D. P., et al. Augmenting large language models with rules for enhanced domain-specific interactions: The case of medical diagnosis. Electronics. 13 (2), 320(2024).
- Jin, Q., et al. Matching patients to clinical trials with large language models. arXiv [cs.CL]. , http://arxiv.org/abs/2307.15051 (2023).
- Gupta, S. K., et al. PRISM: Patient records interpretation for semantic clinical trial matching using large language models. arXiv [cs.CL]. , http://arxiv.org/abs/2404.15549 (2024).
- Hendrycks, D., et al. Measuring massive multitask language understanding. arXiv [cs.CY]. , http://arxiv.org/abs/2009.03300 (2020).
- Lin, S., Hilton, J., Evans, O. TruthfulQA: Measuring how models mimic human falsehoods. arXiv [cs.CL]. , http://arxiv.org/abs/2109.07958 (2021).
- Bommasani, R., Liang, P., Lee, T. Holistic evaluation of language models. Ann N Y Acad Sci. 1525 (1), 140-146 (2023).
- Banerjee, D., Singh, P., Avadhanam, A., Srivastava, S. Benchmarking LLM powered Chatbots: Methods and Metrics. arXiv [cs.CL]. , http://arxiv.org/abs/2308.04624 (2023).
- Papineni, K., Roukos, S., Ward, T., Zhu, W. -J. Bleu. Proceedings of the 40th Annual Meeting on Association for Computational Linguistics - ACL '02. , (2001).
- Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., Bowman, S. R. Glue: A multi-task benchmark and analysis platform for natural language understanding. , http://arxiv.org/abs/1804.07461 (2019).
- Johnson, D., et al. Assessing the accuracy and reliability of AI-generated medical responses: An evaluation of the chat-GPT model. Res Sq. , (2023).
- Lin, C. -Y. ROUGE: A package for automatic evaluation of summaries. Text Summarization Branches Out. , 74-81 (2004).
- Chen, S., et al. Evaluating the ChatGPT family of models for biomedical reasoning and classification. J Am Med Inform Assoc. 31 (4), 940-948 (2024).
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Yeniden basım ve izinler
