Etki alanına özgü yanıt verme hızını artırmak için vektör yerleştirmeleri aracılığıyla büyük dil modellerini artırma

Özet

Bu protokolde, temel büyük dil modeli yanıt kalitesi, bir vektör yerleştirme mekanizması aracılığıyla hakemli, alana özgü bilimsel makalelerle artırma yoluyla iyileştirilir. Ayrıca, büyük dil modelleri arasında performans karşılaştırmasına yardımcı olmak için kod sağlanır.

Özet

Büyük dil modelleri (LLM'ler), bir kullanıcı sorgusuyla ilgili bilgi oluşturmak için popüler bir kaynak olarak ortaya çıkmıştır. Bu tür modeller, kapsamlı, statik bir metinsel veri külliyatı kullanılarak kaynak yoğun bir eğitim süreci yoluyla oluşturulur. Bu statik yapı, hızla değişen bilgi, özel bilgi ve hassas verilere sahip etki alanlarında benimseme sınırlamalarına neden olur. Bu çalışmada, vakıf modelleri olarak bilinen genel amaçlı LLM'leri, güncel, hakemli bilimsel makaleleri dahil etmek için gömme tabanlı bir yaklaşım kullanılarak alana özgü bilgilerle artırmak için yöntemler özetlenmiştir. Bu, şeffaflığı, kullanıcı gizliliğini ve kontrolünü ve tekrarlanabilirliği en üst düzeye çıkarmak için Llama-Index gibi açık kaynaklı araçlar ve Llama-2 gibi halka açık modeller aracılığıyla elde edilir. Bilimsel makaleler örnek bir kullanım durumu olarak kullanılsa da, bu yaklaşım herhangi bir metin veri kaynağına genişletilebilir. Ek olarak, bu geliştirmeyi takiben model performansını değerlendirme yöntemleri tartışılmaktadır. Bu yöntemler, eğitim külliyatındaki bilgilerin kapsamlılığından bağımsız olarak, son derece uzmanlaşmış alanlar için LLM sistemlerinin hızlı bir şekilde geliştirilmesini sağlar.

Giriş

OpenAI'nin ChatGPT'si veya Meta AI'nin Llama'sı gibi büyük dil modelleri (LLM'ler), bir kullanıcı istemiyle ilgili metin oluşturmak için hızla popüler bir kaynak haline geldi. Başlangıçta bir dizideki bir sonraki sözcüksel öğeleri tahmin etmek için işlev gören bu modeller, bağlamı anlamak, klinik bilgileri kodlamak ve çeşitli görevlerde yüksek performans göstermek için gelişmiştir 1,2,3,4. Dil modelleri bu tür yeteneklerden ve mevcut popülerlik düzeylerinden onlarca yıl öncesine dayansa^da5<....

Protokol

Bu yazıda gösterilen kullanım örneğinde, vektör deposu Chicago Konsensüs Çalışma Grubu^17'den yayınlanan yönergeler kullanılarak oluşturulmuştur. Bu uzman grubu, periton kanserlerinin yönetimi için kılavuzlar geliştirmek üzere kurulmuştur. Konu alanı, araştırmacıların klinik uzmanlık alanı içinde olduğu için seçilmiştir. Makale setine Cancer ve Annals of Surgical Oncology dahil olmak üzere çevrimiçi dergi havuzlarından erişildi. Kaynak belgelerden gömmeler oluşturmak için Pekin Yapay Zeka Akademisi (BAAI, https://www.baai.ac.cn/english.html) tarafından oluşturulan kompakt (33,4 milyon parametreli) bir gömme mode....

Sonuçlar

Chicago Konsensüs Çalışma Grubu yönetim yönergelerinden 22 yayından oluşan bir set, temel Llama-7b model^17'yi artırmak için kullanıldı. Belgeler, Llama-2-7b-CCWG-Embed oluşturmak için Llama-Index aracı kullanılarak bir vektör indeksine dönüştürüldü. GPT-3.5 ve GPT-4 gibi popüler OpenAI modelleri de GPT-XX-CCWG-Embed modelleri üretmek için benzer şekilde artırıldı. Çeşitli peritoneal yüzey malignitelerinin yönetimi ile ilgili bilgileri değerlendirmek için toplam 20 çoktan seçmeli soru (MCQ) gelişti.......

Tartışma

Burada sağlanan yöntemler, de novo eğitime veya kapsamlı ince ayara ihtiyaç duymadan LLM'lerin alana özgü uygulamalarının araştırılmasını kolaylaştırmayı amaçlamaktadır. LLM'ler önemli bir araştırma ilgi alanı haline geldikçe, bilgi tabanlarını artırmaya ve yanıtların doğruluğunu artırmaya yönelik yaklaşımlar giderek daha önemli hale gelecektir 18,19,20,21.^<.......

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
pip3 sürüm 22.0.2
Python sürüm 3.10.12