Araştırma makalesi

Few-Shot ve Zero-Shot Biyomedikal Adlandırılmış Varlık Tanıma: BioBERT'i İstem Tabanlı Öğrenme ve Büyük Dil Modelleriyle Geliştirme Prosedürü

DOI:

10.3791/69390

⸱

31 Mart 2026

 ,  , 
1Department of Computer Science and Engineering, Centurion University of Technology and Management, 2Department of Computer Science and Engineering, MVGR College of Engineering (A)

Bu makalede

Özet

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu makale, düşük kaynaklı senaryolar için BioBERT, prompt tabanlı öğrenme ve büyük dil modelleri kullanılarak biyomedikal adlandırılmış varlıkların tanınması protokolünü sunmaktadır.

Özet

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Biyomedikal Adı Varlık Tanıma (NER), klinik metinlerden ve biyomedikal literatürden değerli bilgilerin çıkarılmasında kritik bir rol oynar. BioBERT, ClinicalBERT ve RoBERTa gibi geleneksel derin öğrenme modelleri, NER görevlerinde önemli gelişmeler göstermiştir; ancak hâlâ düşük kaynaklı biyomedikal terimler, alan uyarlama zorlukları ve görünmeyen varlık genellemesi ile mücadele ederler. Bu sınırlamaları gidermek için, bu çalışma BioBERT, prompt tabanlı öğrenme ve Büyük Dil Modellerini (LLM) birleştirerek biyomedikal NER'de az atış ve sıfır atış öğrenme yeteneklerini artıran hibrit bir çerçeve sunmaktadır. Önerilen model, önceden eğitilmiş transformatörlerden elde edilen bağlamsal bilgiyi etkili bir şekilde kullanır; böylece geniş etiketlenmiş veri setlerine bağımlılığı azaltırken yüksek doğruluğu korur. Birden fazla biyomedikal kıyaslama veri setinde kapsamlı deneysel değerlendirmeden sonra, önerilen yaklaşım tutarlı güçlü performans göstermektedir. Özellikle, %89,8 doğruluk, %88,7 hassasiyet, %90,5 hatırlama ve 0,895 F1 puanı elde ederek temel yöntemleri geride bırakıyor ve biyomedikal metin madenciliği görevlerindeki etkinliğini gösteriyor. Diğer yöntemlere kıyasla, prompt mühendisliği modelin biyomedikal metinlerin benzersiz diline çok daha iyi uyum sağlamasına yardımcı olur. Ayrıca, büyük bir dil modeli (LLM) ile güçlendirmek, karmaşık anlamsal ve dilbilgisel detayları yakaladığı için NER performansına ciddi bir yükseliş kazandırıyor. Bu bulgular, biyomedikal metin madenciliğinde az atış ve sıfır atış öğrenmenin etkinliğini göstererek, daha iyi otomatik klinik veri analizi ve daha akıllı karar destek sistemleri için yol açıyor.

Giriş

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Biyomedikal literatür, elektronik sağlık kayıtları (EHR'ler) ve klinik deneme verilerinin patlaması gerçekten akıllı, sağlam Biyomedikal Adı Varlık Tanıma (BioNER) sistemlerine ihtiyaç duyuyor. BioNER, Doğal Dil İşleme (NLP) alanında özel bir görevdir ve yapılandırılmamış biyomedikal metinde hastalıklar, genler, proteinler, ilaçlar ve kimyasallar gibi varlıkları tanımlamayıamaçlar. 1. Bu varlıkları doğru şekilde seçebilmek, biyomedikal bilgi madenciliği, yeni ilaç bulmak, doktorları klinik kararlarda desteklemek veya araştırma makalelerini otomatik olarak sıralamak gibi birçok başka kullanım için de çok önemlidir2.

BioBERT, ClinicalBERT ve BlueBERT gibi derin öğrenme tabanlı modellerde önemli ilerlemeler elde edilmiş olsa da, mevcut çoğu denetimli biyomedikal adlandırılmış varlık tanıma (BioNER) yaklaşımları büyük ölçekli açıklamalı veri setlerine büyük ölçüde dayanmaya devam etmektedir. Kapsamlı etiketlenmiş verilere olan bu güçlü bağımlılık, yeni veya daha önce görülmemiş biyomedikal metinlere uygulandığında genelleme kapasitesinisınırlar 3. Klasik BioNER modelleri sadece ince ayar yapmak için tonlarca açıklamalı veriye ihtiyaç duyar; bu da yeterli veri olmayan alanlarda gerçek bir baş ağrısına dönüşür; örneğin nadir hastalıklar, farmakogenomik veya İngilizce dışında başka dillerde yayımlanan biyomedikalaraştırmalar gibi. Bunun üstüne, tüm bu biyomedikal metinleri manuel olarak etiketlemek yavaş, pahalı ve genellikle alanda gerçek uzmanlara ihtiyaçduyuyor. Bu yüzden az atışlı ve sıfır atışlı BioNER modelleri geliştirmek çok önemlidir: bu, etiketlenmiş veriye olan ihtiyacı önemli ölçüde azaltabilir ve modellerin geniş bir biyomedikal içerik yelpazesinde iyi çalışmasını sağlayabilir6.

Az atışlı öğrenme (FSL), modellerin yalnızca etiketlenmiş verinin küçük bir kısmını, yani tam eğitim veri setinin %1 ile %10'u arasında olan rekabetçi varlık tanıma performansını elde etmesini sağlar ve bu da düşük kaynaklı biyomedikal alanlar için özellikle değerlihale getirir 7. Sıfır atış öğrenme (ZSL) daha da ileri gidiyor; bir modelin daha önce hiç görülmediği varlıkları, sadece büyük, önceden eğitilmiş dil modellerinin (LLM'ler) gücünden yararlanarak, ekstra eğitim verisine ihtiyaç duymadantanımasına olanak tanır 8. Son zamanlarda, GPT-4, LLaMA ve Falcon gibi LLM'lerdeki gelişmeler, genel NER görevlerinde güçlü sıfır atış performansı göstermiştir, ancak biyomedikal metinlerde kullanımları hâlâ büyük ölçüde keşfedilmemiş bir alandır. Bunun sebebi biyomedikal konulardaki dilin çok özel ve karmaşıkolmasıdır. 9.

Bu araştırma, BioBERT ince ayarını, az atış öğrenmesini, sıfır atış LLM çıkarımı ve prompt tabanlı öğrenmeyi bir araya getirerek bu boşluğu kapatmayı amaçlar; tüm bunlar düşük kaynaklı biyomedikal ortamlarda BioNER için çıtayı yükseltmeyi amaçlamaktadır.

Zaten piyasada olanlar hakkında bir fikir vermek için: (1) BioBERT, PubMed özetleri ve tam metin makaleler üzerine yeniden eğitilmiş bir BERT versiyonudur, bu yüzden biyomedikal içerik için daha uygundur10. (2) ClinicalBERT, EHR'ler üzerinde eğitilmiş bir BERT varyantıdır, bu yüzden klinik notları ve doktor raporlarını anlamlandırmak için özel olarakayarlanmıştır 11. (3) BlueBERT, hem PubMed hem de MIMIC-III veri setlerinde eğitilen başka bir biyomedikal NLP modelidir vemetin 12'de tıbbi bilgileri tanımaya optimize edilmiştir. (4) PubMedBERT, yalnızca PubMed verileri üzerine eğitilmiş bir transformator modelidir ve bu da biyomedikal yazımda bulunan benzersiz kalıpları veterimleri gerçekten yakalamasına yardımcı olur 13.

Bu modeller BioNER benchmarklarında son teknoloji performansa ulaşsa da, büyük, etiketlenmiş veri setlerine ve denetimli ince ayarlamaya dayanmaları, yeni biyomedikal alanlara uyum sağlama kapasitesinisınırlar 14. Ayrıca, bilimsel biyomedikal literatür (örneğin, PubMed özetleri) ile klinik notlar (ör. i2b2 2010 veri seti) arasındaki alan kayımları, denetimli BioNER sistemlerinin performansınıdaha da düşürür 15.

Mevcut BioNER araştırmalarındaki temel sınırlamalar şunlardır: Açıklamalı Verilere Bağımlılık: Mevcut transformatör tabanlı modeller, uzmanlaşmış biyomedikal alanlarda nadir bulunan kapsamlı etiketlenmiş veri setlerigerektirir 16. Görünmeyen Varlıklara Genelleme Eksikliği: Mevcut modeller, eğitim verilerinde bulunmayan nadir veya yeni biyomedikal terimleri tanımaktazorlanıyor 17. Az Atışlı ve Sıfır Atışlı Öğrenmenin Sınırlı Keşfi: Çoğu araştırma, BioNER18 için düşük veri paradigmalarına minimum düzeyde bakılır ve tam denetimli öğrenmeye odaklanır. LLM'lerin Verimsiz Uyarlanması: GPT-4 ve LLaMA gibi LLM'ler genel NLP'de güçlü sıfır atış performansı gösterse de, biyomedikal NER'de kullanımları terminolojik karmaşıklık ve alana özgü promptların eksikliği nedeniyle hâlâ yeterincearaştırılmamıştır 19.

Bu boşlukları gidermek için bu çalışma aşağıdaki temel araştırma sorularını inceliyor: Az atışlı öğrenme, minimum etiketlenmiş veriyle BioBERT'in biyomedikal NER'deki performansını nasıl artırabilir? LLM'ler kullanılarak sıfır atış çıkarımı, biyomedikal varlıkları alana özgü ince ayar olmadan doğru tanıyabilir mi? Prompt tabanlı öğrenme, biyomedikal NER görevlerinde sıfır atış performansını nasıl artırabilir? Düşük kaynaklı ortamlarda BioNER'i geliştirmek için BioBERT ve LLM tarafından oluşturulan sözde etiketleri birleştiren optimal hibrit yaklaşım nedir? Düşman eğitimi, az atışlı ve sıfır atışlı BioNER modellerinin dayanıklılığını nasıl etkiler?

Bu araştırmanın amacı, etiketlenmiş veri kıtlığının yarattığı zorlukları ele almak için az atış ve sıfır atış öğrenmesini kullanan yeni, uyarlanabilir bir biyomedikal NER çerçevesi geliştirmektir. Çalışma, hızlı mühendislik tekniklerini, karşılaştırmalı öğrenmeyi ve rekabetçi eğitimi keşfederek BioBERT ve LLM'lerin genelleştirme yeteneklerini artırmayı amaçlamaktadır.

Araştırma aşağıdaki hedefler etrafında inşa edilmiştir: (1) Biyomedikal NER için sınırlı açıklamalı veriler üzerinde BioBERT'i ince ayar ederek birkaç denemeli öğrenme hattı geliştirmek. (2) Biyomedikal NER için sıfır atışlı LLM'lerin (örneğin, GPT-4, LLaMA, Falcon) alana özgü prompt mühendisliği kullanılarak değerlendirilmesi. (3) Düşük kaynaklı biyomedikal veri setlerinde varlık tanımını iyileştirmek için BioBERT ince ayarını LLM tarafından oluşturulan sözde etiketlerle entegre eden hibrit bir yaklaşım oluşturmak. (4) Az atış ile karşılaştırmalı bir analiz yapmak standart biyomedikal kıyaslamalar kullanılarak sıfır atış öğrenme (MedMentions, BC5CDR, i2b2 2010, PharmaCoNER, BioASQ). (5) Gürültülü biyomedikal metin varyasyonlarına karşı model dayanıklılığını artırmak için rakip eğitimi (FGSM, PGD) uygulamak.

Bu çalışma, biyomedikal veri setlerinde etiket kıtlığını gidermek için az ve sıfır atış BioNER stratejileri tanıtarak ve LLM'lerin optimize edilmiş hızlı mühendislik yoluyla sıfır atış biyomedikal NER için nasıl kullanılabileceğini göstererek biyomedikal NLP ve varlık tanıma alanına katkıda bulunuyor. Daha iyi genelleme için BioBERT ince ayar ve LLM tarafından oluşturulan sentetik açıklamaları birleştiren hibrit bir çerçeve önermek. Alan kaymalarına karşı dayanıklılığı artırmak için BioNER modelleri üzerindeki düşmanca eğitimin etkisinin değerlendirilmesi. Denetimli, az atış ve sıfır atış paradigmaları arasında BioNER performansının karşılaştırmalı bir kıyaslamasını sağlamak.

Literatür araştırması
Sivarajkumar veWang 20 , klinik NLP için Zero-Shot Learning (ZSL) çerçevesi olan HealthPrompt'u geliştirdi; bu çerçeve açıklamalı klinik veri setlerinin eksikliğini ele alıyor. Önden eğitilmiş bir dil modelini (PLM) ince ayar yapmak yerine, görev tanımlarının yapılandırılmış şablonlarla ayarlandığı prompt tabanlı öğrenmeyi kullandılar. MIMIC-III veri seti üzerinde BioBERT ve ClinicalBERT dahil olmak üzere altı PLM'nin değerlendirmesi, ClinicalBERT'in klinik metin sınıflandırmasında en iyi doğruluğu (%85) ve F1 puanını (%86) elde ettiğini göstermiştir. Bu çalışma, prompt tabanlı sıfır atış öğrenmenin (ZSL), klinik doğal dil işlemede (NLP) denetimli modellerle hiçbir eğitim verisi gerektirmeden ayak uydurabildiğini göstermektedir.

Keming Lu veekip 21 , biyomedikal alan için ayrımcı dil modellerini (DLM ) prompt tabanlı sürekli ön eğitim yoluyla ince ayarlayan yeni bir yaklaşım olan BIODLM'yi geliştirdi. Ana hedefleri, biyomedisinde hem az atışlı hem de sıfır atış görevlerinde akıllıca prompt ayarlama ve Değiştirilen Token Algılama (RTD) yöntemini kullanarak performansı artırmaktı. Bunu yürütmek için kelime dağarcığıyla oynuyorlar, alan adına özgü terimleri bilerek karıştırıyorlar ve ön eğitim sırasında PubMedBERT'i bir jeneratör olarak kullanıyorlar. Sonuçlar sağlam: BIODLM aslında alışılmış CLS tabanlı ince ayarlamayı geçti; tam denetimle %50,2 ve sıfır atış modunda %43,4 makro ortalama doğruluk elde etti.

Zonghai Yao vemeslektaşları 22 farklı bir yaklaşım benimsedi; bağlam varyansını hesaba katan prompt oluşturmaya odaklandı. Amaçları, prompt tabanlı soruşturma sırasında ortaya çıkabilecek garip önyargıları azaltmak ve BioLAMA değerlendirmesini daha şeffaf ve yorumlanabilir hale getirmekti. Yani, bu dil modellerinin bize mantıklı cevaplar vermesini sağlamaya çalışıyorlar ve sadece akıllıca ifade edilmiş soruları yakalamayıp yakalamaya çalışıyorlar.

Biyomedikal varlık tanıma PLM'lerini değerlendirmek için geleneksel Top-k doğruluğu yerine sıralama değişimine dayalı bir değerlendirme metriği (UCM: Anlamak–Şaşkınlık) getirdiler. BioBERT, ClinicalBERT ve RoBERTa tabanlı modeller dahil olmak üzere 12 PLM üzerinde yapılan deneyler, büyük-N-M ilişkileri ve nadir biyomedikal varlıklar için BioLAMA performansının arttığını gösterdi. BioBERT, geleneksel Top-k metriklerini geride bırakarak %40,7 Accuracy@1 ve UCM Anlaşılabilirliği %32,8 ile elde etti.

Yeh ve ark.23 , ChemProt veri setini kullanarak biyomedikal ilişki çıkarımı için yönlendirmeyi inceleyerek alana özgü az çekim ve tam veri ince ayarını geliştirmiştir. Etiket kelimesi seçimini optimize etmek için sıklık, özgüllük ve benzerlik gibi puanlama metriklerini içeren prompt tabanlı şablonlar tasarladılar. BioMed-RoBERTa tabanını kullanarak, yöntemleri 90.09 F1 puanı elde etti; SciFive-Large'ı 1.14 F1 ile geride bıraktı ve normal ince ayarlamayı 14.21 F1 ile geride bıraktı. Bu, prompt tabanlı öğrenmenin biyomedikal NER performansını daha az eğitim örneğiyle iyileştirdiğini doğrular.

Susanti ve Holsmoelle 24 , nedensel grafiklerin NLP tabanlı doğrulamasını inceleyerek ince ayarlanmış dil modelleri ile prompt tabanlı LLM'leri karşılaştırdılar. BioBERT ve GPT modellerini denetli nedensel ilişki sınıflandırması için eğittiler ve sıfır atış ile az atış tabanlı prompt tabanlı LLM'leri değerlendirdiler. Biyomedikal ve açık alan veri setleri üzerindeki sonuçlar, ince ayarlanmış modellerin LLM istemlerini geride bıraktığını ve %20,5'e kadar daha yüksek F1 puanları elde ettiğini ortaya koydu. Çalışma, nedensel ilişki çıkarma doğruluğunu artırmak için gelişmiş yönlendirme ve veri setine özgü ayarlama ihtiyacını vurgulamaktadır.

Chen ve ark.25 , az atışlı BioNER için bilgi rehberli örnek oluşturma ve prompt-kontrast öğrenme çerçevesi önermiştir. Yaklaşımları, çeşitli biyomedikal varlıklar oluşturmak için alan bilgi grafiklerini kullanır ve soru-cevap çiftleri arasındaki karşılıklı bilgiyi ölçerek varlık tanımını artırmak için soru-sorma tabanlı karşılaştırmalı öğrenmeyi kullanır. Fbenchmark veri setlerinde (NCBI, BC5CDR-Disease, BioNLP11EPI, BioNLP13GE) değerlendirilen modeller, 20 atışlık senaryolarda son teknoloji modellere göre %7,1'e kadar F1 puanı iyileştirme sağlamıştır. Kodları şu adreste halka açık bir şekilde mevcuttur: https://github.com/cpmss521/KGPC.

Chen ve ark.26ayrıca, metin sınıflandırmasını maskeli bir dil modelleme (MLM) görevine dönüştürerek biyomedikal iddia tespiti için prompt-öğrenme yaklaşımı önermiştir. BERT, RoBERTa ve T5'i sert ve karışık şablonlarla kullanarak iddia tahmin doğruluğunu artırdılar. BioClaim veri setinde, karışık şablonlarla T5 modeli, önceki modellere göre %5,3 F1 puanı iyileştirmesi sağladı ve maskeli token tahminiyle PLM'lerde ön eğitim ile ince ayar arasındaki boşluğu kapattı.

Ryan Shea Ying Cong Tan ve ark.27 , transformator modelleri, Bi-LSTM, CNN ve klasik ML kullanarak radyoloji raporlarından kanser hastalığı yanıt çıkarımı açısından LLM'leri değerlendirdi. Yöntemleri, veri artırımı (cümle permütasyonu ve tutarlılık kaybı) ve prompt tabanlı ince ayarlama içeriyordu. GatorTron transformatörü en iyi doğruluğu elde etti: test setinde 0.8916 ve artırmadan sonra 0.8976. İstem tabanlı ince ayarlama, sadece 500 etiketli raporla etkili performans sağladı.

Hu ve ark.28 , GPT-3.5 ve GPT-4'ü klinik NER için değerlendirerek, dört aşamalı bir yönlendirme çerçevesi aracılığıyla performansı artırdı: temel uyarılar, kılavuz tabanlı promptlar, hata tabanlı talimatlar ve az enjeksiyonlu örnekler. MTSamples ve VAERS veri setlerinde, GPT-3.5 ve GPT-4, gevşek F1 puanlarını sırasıyla 0.634/0.804 ve 0.301/0.593'ten sırasıyla 0.794/0.861 ve 0.676/0.736'ya yükseltti. Her ne kadar BioclinicalBERT'in (F1: MTSamples'ta 0.901, VAERS'te 0.802) gerisinde olmasına rağmen, bu sonuçlar LLM'lerin klinik NER'de doğru yönlendirme stratejileriyle artan etkinliğini göstermektedir.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Protokol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. Prosedür

  1. Veri ön işleme ve model ince ayarlama
    Veriler, metin normalizasyonu, tokenizasyon (WordPiece/BPE), durdurucu kelime kaldırma ve IOB notasyonu kullanılarak PubMed, BioASQ, MedQA ve MMLU'dan önceden işlendi. Maskeli Dil Modelleme (MLM) ve token sınıflandırma başı kullanarak BioBERT'in alan adına özel ince ayarını gerçekleştirdi. LoRA gibi adaptör tabanlı yöntemlerle karşılaştırıldığında.
  2. PROMPT-TABANLI Few Shot ve Zero-Shot öğrenmenin uygulanması
    Sıfır Atış Öğrenme İçin: Doğal dil istemleriyle (örneğin, "Aşağıdaki metinden biyomedikal varlıkları çıkarın: [Giriş cümlesi] içeren LLM'ler (GPT-4, GPT-3.5, T5) kullanıldı. Tanımlanması gereken varlıklar hastalıklar, ilaçlar, genler ve kimyasallardır. Her bir varlığı ve türlerini listeleyin.") ve komut ayarlama. Her varlık türü için 5–20 etiketli örnek kullanıldı; Pattern-Exploiting Training (PET) ve Prefix-Tuning ile kullanıldı.
  3. LLM'lerin entegrasyonu ve hibrit bir çerçeve oluşturulması
    Bağlamsal Gömütme Füzyonu ve Çok Aşamalı NER Tahmini (BioBERT tespiti + GPT-4 iyileştirmesi) gerçekleştirildi. Bu çerçeve, hesaplama karmaşıklığını yönetmek için iki aşamalı, ardışık ince ayar yöntemi (uçtan uca değil) kullandı. İlk olarak, BioBERT mevcut birkaç atış verisi üzerinde ince ayar yapıldı. İkinci olarak, bu donmuş BioBERT modeli, aynı veri üzerinde eğitilen füzyon katmanı aracılığıyla LLM bileşeniyle entegre edildi. Bu nedenle, iki aşamalı bir ince ayar stratejisiyle entegre edilmiştir:
    Aşama 1 – NER için denetimli BioBERT ince ayarlama.
    Aşama 2 – GPT-4 çıktıları üzerinden prompt tabanlı uyarlama.
    figure-protocol-1
    burada α öğrenilen katsayı, Wp ise projeksiyon matrisidir.
    Tahminlerin birleştirilmesi için ağırlıklı bir topluluk oyu (WBioBERT=0.45, WGPT4=0.35, WClinicalBERT=0.20) uygulandı.
    Her modelin ağırlıkları (W_BioBERT=0,45, W_Hybrid=0,35, W_ClinicalBERT=0,20) mikro F1 puanını maksimize etmek için ızgara araması kullanılarak bekletilmiş bir doğrulama setinde optimize edildi. Bu ağırlıklandırma şeması, her modelin göreceli katkılarını yansıtır: ince ayarlanmış BioBERT en güçlü alana özgü sinyali sağlar, hibrit model genelleme sağlar ve ClinicalBERT tamamlayıcı klinik bağlam sunar.
  4. Geliştirme ve ontoloji bağlantısını uygulamak
    GPT-4, ontoloji yönlendirilmiş iyileştirme için kullanılmış, ontoloji gömütmeleriyle kosinüs benzerliği 0.8 ≥ olduğunda düzeltmeleri kabul etmiş (sadece > 0.8 olan düzeltmeler zaten bahsedilmiştir). Bu varlıklar, eşanlamlı çözüm için UMLS, MeSH ve HPO veritabanlarına bağlandı.
  5. Sistemi optimize edilmiş çıkarımla dağıtmak
    Uyarlanabilir güven eşiği her varlık sınıfı için uygulandı: TC =μC + βσC (β=0.5).
    Çıkarım boru hattının önemli bir bileşeni, varlık türleri arasında hassasiyet ve geri çağırmayı dinamik olarak dengeleyen adaptif güven eşiğidir. Statik eşik kullanmak yerine, uyarlanabilir mekanizma tahminlerin ampirik güven dağılımına dayanarak sınıfa özgü eşik TC hesapladı:
    figure-protocol-2
    burada μC ve σC , varlık sınıfı C için güven puanlarının ortalama ve standart sapmasını temsil eder ve β ayarlanabilir bir ölçeklendirme faktörüdür (ampirik olarak 0.5 olarak ayarlanmıştır). Nadir bulunan biyomedikal varlık türleri (örneğin, nadir hastalıklar) genellikle güven puanlarında yüksek varyans gösterir. Adaptif eşik noktası, σC büyük olduğunda bunların korunmasını sağladı ve böylece nadir varlıkların aşırı filtrelenmesini önledi. Buna karşılık, sık bulunan varlıklar için eşik sıkılaştırılır ve yanlış pozitifleri azaltır.
    Sistem, Çoklu GPU işleme (PyTorch DDP) ve gerçek zamanlı çıkarım için 8-bit kuantizasyona sahip Flask tabanlı bir arayüz kullanılarak dağıtıldı.

2. Çevresel kurulum

  1. Veri setleri
    Çerçeve, adil bir karşılaştırma yapmak için standart biyomedikal NER veri setlerinde test edildi. Aşağıdaki veri setleri kullanıldı ve resmi bölünmeleri korundu.
    BC5CDR: Kimyasal ve hastalık varlıkları tanıma için.
    NCBI Hastalığı: Hastalık anma konularına odaklanıyor.
    i2b2 2010: Elektronik sağlık kayıtlarında (EHR) klinik kavram tanıma için.
  2. Değerlendirme
    İstatistiksel sağlamlığı sağlamak için, veri örnekleme ve ağırlık başlatma için farklı rastgele tohumlarla her birkaç atışlık deney için (K=5,10,15) 5 bağımsız çalışma yaptık. Bu seriler boyunca doğruluk, Hassasiyet, Hatırlama ve F1 puanı raporlandı. Sıfır atış sonuçları, deterministik olarak, tek bir çalışmadan rapor edildi.
    Önerilen Few Shot ve Zero-Shot biyomedikal NER sistemlerinin gerçek zamanlı biyomedikal ortamlarda uygulanmasının fizibilitesini değerlendirmek için ayrıntılı bir hesaplama verimliliği ve kaynak profilleme analizi yapıldı. Profilleme, hız ve bellek verimliliğini dengelemek için karma hassasiyet (FP16) çıkarımı kullanılarak CUDA 12.1 ve PyTorch 2.3.1 ile NVIDIA A100 GPU (40 GB VRAM) üzerinde gerçekleştirildi.
  3. Temel modeller
    BioBERT (İnce ayarlı): BioBERT-v1.1 temel model10, her kıyasın tüm eğitim verisi üzerinde tam denetimli bir şekilde ince ayar yapıldı.
    ClinicalBERT & RoBERTa-base: Alana özgü ve genel alan tabanları olarak ince ayarlanmış.
    GPT-3.5 & GPT-4 (Zero-Shot): Adım 3.3'te tanımlandığı gibi, göreve özgü ince ayar olmadan test edilmiştir.
    HealthPrompt20: Mevcut en son prompt tabanlı sıfır enjeksiyonlu klinik NER modeli.
    Tam tekrarlanabilirlik amacıyla, bu çalışmada kullanılan temel yazılım kütüphaneleri, model kontrol noktaları ve donanım detayları Materyaller Tablosu'nda listelenmiştir. Bu, BioBERT model varyantı, LLM, derin öğrenme çerçevesi ve hesaplama ortamı gibi temel bileşenlerin belirli sürümlerini içerir.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Sonuçlar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Few-Shot ve Zero-Shot Biyomedikal Adlandırılmış Varlıklar Tanıma (NER) modelinin değerlendirilmesi, PubMed özetleri, klinik notlar ve biyomedikal soru-cevaplama dersiyelerinden türetilen çeşitli biyomedikal veri seti üzerinde gerçekleştirildi. BioBERT, ClinicalBERT, RoBERTa, PhenoBERT29, GPT-3.5 ve GPT-4 gibi yerleşik modellerle karşılaştırmalı bir performans analizi yapıldı. Önerilen model, %89,8 hassasiyetle %89,8 hassasiyetle, %90,5 geri çağırma ile %90,5 ve F1...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Tartışma

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Çakışan sonuçlar, beklenmedik bulgular ve diğer araştırmalarla tutarsızlıklar
Önerilen modelin üstün performansına rağmen, mevcut çalışmalarla karşılaştırıldığında bazı çelişkili sonuçlar ortaya çıktı. BioBERT tabanlı modeller, önceki anketler ve biyomedikal NER sistemlerinin karşılaştırmalı çalışmalarında bildirildiği gibi, biyomedikal Adlandırılmış Varlıklar Tanıma (NER) alanında geleneksel olarak güçlü performansgöstermiştir 4,10<...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Açıklamalar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarların açıklayacak hiçbir şeyi yok.

Malzemeler

Bu makalede kullanılan malzemelerin listesi
AdŞirketKatalog numarasıYorumlar
Çekirdek ModelBioBERT tabanlı (v1.1)Sarılma Yüzü:  monologg/biobert-v1.1
Derin Öğrenme ÇerçevesiPyTorch 2.3.1https://pytorch.org/
GPU DonanımıNVIDIA A100 (40GB VRAM)NVIDIA
Büyük Dil Modeli (LLM)GPT-4OpenAI API
İşletim SistemiWindowsMicrosoft
Parametre Verimli AyarLoRA (PEFT kütüphanesi 0.6.2 aracılığıyla)https://github.com/huggingface/peft
Programlama DiliPython 3.9.18Python Yazılım Vakfı
Sıfır Atış Temel Çizgi LLMGPT-3.5-TurboOpenAI API

Kaynaklar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Chen, P., Wang, J., Luo, L., Lin, H., Yang, Z. Learning to explain is a good biomedical few-shot learner. Bioinformatics. 40 (10), 589(2024).
  2. Moscato, V., Postiglione, M., Sperlí, G. Few-shot named entity recognition: definition, taxonomy and research directions. ACM Trans Intell Syst Technol. 14 (5), 1-46 (2023).
  3. Nerella, S., et al. Transformers in healthcare: A survey. arXiv. , (2023).
  4. Song, B., Li, F., Liu, Y., Zeng, X. Deep learning methods for biomedical named entity recognition: A survey and qualitative comparison. Briefings Bioinform. 22 (6), bbab282(2021).
  5. Badawi, M., Abushanab, M., Bhat, S., Maier, A. Review of zero-shot and few-shot AI algorithms in the medical domain. arXiv. , (2024).
  6. Jin, M., Sang-Min, C., Gun-Woo, K. Comcare: A collaborative ensemble framework for context-aware medical named entity recognition and relation extraction. Electronics Basel. 14 (2), 328(2025).
  7. Ge, Y., Guo, Y., Das, S., Al-Garadi, M. A., Sarker, A. Few-shot learning for medical text: a review of advances, trends, and opportunities. J Biomed Inform. 144, 104458(2023).
  8. Picco, G., et al. Description boosting for zero-shot entity and relation classification. arXiv. , (2024).
  9. Khan, W., et al. A comprehensive survey of foundation models in medicine. IEEE Rev Biomed Eng. 18, 1-25 (2025).
  10. Ngo, Q. H., Kechadi, T., Le-Khac, N. A. Domain specific entity recognition with semantic-based deep learning approach. IEEE Access. 9, 152892-152902 (2021).
  11. Li, M., Zhang, R. How far is language model from 100% few-shot named entity recognition in medical domain. arXiv. , (2023).
  12. Nerella, S., et al. Transformers and large language models in healthcare: A review. Artif Intell Med. 148, 102900(2024).
  13. Rodríguez, H. Natural language technologies in the biomedical domain. Governing Asia. 93, 1-15 (2022).
  14. Mobasher, G. Welt: Weighted loss trainer for biomedical joint entity and relation extraction. [PhD thesis]. , https://www.mathinf.uni-heidelberg.de/en/thesis-defenses/welt-weighted-loss-trainer-for-biomedical-joint-entity-and-relation-extraction-2025-01-23 (2025).
  15. Giorgi, J. A study on the application of natural language processing methods to scientific text. [PhD thesis]. , University of Toronto. Canada. https://utoronto.scholaris.ca/items/0b02984d-5b6f-4287-9461-5afde0ec6c4e (2024).
  16. Amin, S. Learning entity and relation representation for low-resource medical language processing. [PhD thesis]. , https://publikationen.sulb.uni-saarland.de/bitstream/20.500.11880/38051/1/PhD_final_Amin.pdf (2024).
  17. Almudaifer, A. I. Entity information extraction and normalization from scientific and clinical texts. [PhD thesis]. , https://digitalcommons.library.uab.edu/etd-collection/3906/ (2024).
  18. One-shot biomedical named entity recognition via knowledge-inspired large language model. Bian, J., Zheng, J., Zhang, Y., Zhou, H., Zhu, S. Proc ACM Int Conf Bioinform Comput Biol Health Inform, , 1-10 (2024).
  19. Alotaibi, A., Nadeem, F., Hamdy, M. Weakly supervised deep learning for Arabic tweet sentiment analysis on education reforms: leveraging pre-trained models and LLMs with Snorkel. IEEE Access. 13, 1-15 (2025).
  20. Sivarajkumar, S., Wang, Y. HealthPrompt: A zero-shot learning paradigm for clinical natural language processing. AMIA Annu Symp Proc. , 972-981 (2023).
  21. Prompt discriminative language models for domain adaptation. Lu, K., et al. Proc Clin Nat Lang Process Workshop, , 247-258 (2023).
  22. Yao, Z., Cao, Y., Yang, Z., Yu, H. Context variance evaluation of pretrained language models for prompt-based biomedical knowledge probing. AMIA Jt Summits Transl Sci Proc. 2023, 592-601 (2023).
  23. Yeh, H. S., Lavergne, T., Zweigenbaum, P. Decorate the examples: a simple method of prompt design for biomedical relation extraction. arXiv. , (2022).
  24. Susanti, Y., Holsmoelle, N. Prompt-based vs fine-tuned LLMs toward causal graph verification. arXiv. , (2024).
  25. Chen, P., Wang, J., Lin, H., Zhao, D., Yang, Z. Few-shot biomedical named entity recognition via knowledge-guided instance generation and prompt contrastive learning. Bioinformatics. 39 (8), 496-504 (2023).
  26. Improving biomedical claim detection using prompt learning approaches. Chen, T., Stefanidis, A., Jiang, Z., Su, J. IEEE Int Conf Pattern Recognit Mach Learn, , 369-376 (2023).
  27. Tan, R. S. Y. C., et al. Inferring cancer disease response from radiology reports using large language models with data augmentation and prompting. J Am Med Inform Assoc. 30 (10), 1657-1664 (2023).
  28. Hu, Y., et al. Improving large language models for clinical named entity recognition via prompt engineering. J Am Med Inform Assoc. 31 (9), 1812-1820 (2024).
  29. Yang, J., et al. Enhancing phenotype recognition in clinical notes using large language models: PhenoBCBERT and PhenoGPT. Patterns NY. 5 (1), 100891(2024).

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Yeniden basım ve izinler

Bu JoVE makalesinin metnini veya şekillerini yeniden kullanmak için izin iste

İzin iste

Etiketler

Az rnekli renmeS f r rnekli renmeBiyomedikal Varl k simlendirme Tan maKlinik Metin Madencili iAlan AdaptasyonuKomut M hendisli i

İlgili makaleler