Forschungsartikel

Few-Shot und Zero-Shot Biomedical Named Entity Recognition: Ein Verfahren zur Verbesserung von BioBERT mit promptbasiertem Lernen und großen Sprachmodellen

DOI:

10.3791/69390

⸱

31. März 2026

 ,  , 
1Department of Computer Science and Engineering, Centurion University of Technology and Management, 2Department of Computer Science and Engineering, MVGR College of Engineering (A)

In diesem Artikel

Zusammenfassung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dieser Artikel präsentiert ein Protokoll zur biomedizinischen Erkennung von benannten Entitäten unter Verwendung von BioBERT, promptbasiertem Lernen und großen Sprachmodellen für ressourcenarme Szenarien.

Zusammenfassung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die biomedizinische Named Entity Recognition (NER) spielt eine entscheidende Rolle bei der Gewinnung wertvoller Informationen aus klinischen Texten und biomedizinischer Literatur. Traditionelle Deep-Learning-Modelle, darunter BioBERT, ClinicalBERT und RoBERTa, haben erhebliche Verbesserungen bei NER-Aufgaben gezeigt; sie kämpfen jedoch weiterhin mit ressourcenarmen biomedizinischen Begriffen, Herausforderungen bei der Domänenanpassung und der Verallgemeinerung unsichtbarer Entitäten. Um diese Einschränkungen zu adressieren, führt diese Studie ein hybrides Framework ein, das BioBERT, promptbasiertes Lernen und Large Language Models (LLMs) kombiniert, um die Fähigkeiten des Lernens mit wenigen und null Schüssen im biomedizinischen NER zu verbessern. Das vorgeschlagene Modell nutzt effektiv kontextbezogenes Wissen von vortrainierten Transformatoren, reduziert die Abhängigkeit von umfangreichen beschrifteten Datensätzen und erhält dabei eine hohe Genauigkeit. Nach einer umfangreichen experimentellen Auswertung mehrerer biomedizinischer Benchmark-Datensätze zeigt der vorgeschlagene Ansatz eine durchgehend starke Leistung. Konkret erreicht es 89,8 % Genauigkeit, 88,7 % Genauigkeit, 90,5 % Abruf und einen F1-Wert von 0,895, übertrifft damit Baseline-Methoden und demonstriert seine Wirksamkeit für biomedizinische Text-Mining-Aufgaben. Im Vergleich zu anderen Methoden hilft Prompt Engineering dem Modell, sich deutlich besser an die einzigartige Sprache biomedizinischer Texte anzupassen. Außerdem bringt das Boosten mit einem großen Sprachmodell (LLM) die NER-Leistung erheblich an, indem es schwierige semantische und grammatische Details erkennt. Diese Ergebnisse zeigen die Wirksamkeit von Few-Shot- und Zero-Shot-Lernen im biomedizinischen Textmining und ebnen den Weg für eine bessere automatisierte klinische Datenanalyse und intelligentere Entscheidungsunterstützungssysteme.

Einleitung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Explosion biomedizinischer Literatur, elektronischer Gesundheitsakten (EHRs) und klinischer Studiendaten erfordert wirklich intelligente, robuste Biomedical Named Entity Recognition (BioNER)-Systeme. BioNER ist eine spezialisierte Aufgabe in der Natural Language Processing (NLP), die darauf abzielt, Entitäten wie Krankheiten, Gene, Proteine, Arzneimittel und Chemikalien im unstrukturierten biomedizinischen Text1 zu identifizieren. Die Fähigkeit, diese Entitäten genau auszuwählen, ist für viele andere Anwendungen extrem wichtig, wie zum Beispiel biomedizinisches Wissen zu erforschen, neue Medikamente zu finden, Ärzte bei klinischen Entscheidungen zu unterstützen oder sogar automatisch durch Berge von Forschungsarbeiten zu sortieren2.

Obwohl bedeutende Fortschritte bei Deep-Learning-basierten Modellen wie BioBERT, ClinicalBERT und BlueBBERT erzielt wurden, stützen sich die meisten bestehenden beaufsichtigten biomedizinischen Ansätze zur Erkennung von benannten Entitäten (BioNER) weiterhin stark auf groß annotierte Datensätze. Diese starke Abhängigkeit von umfangreichen beschrifteten Daten begrenzt ihre Verallgemeinerungsfähigkeit, wenn sie auf neuartige oder bisher unbekannte biomedizinische Texteangewendet werden 3. Die klassischen BioNER-Modelle benötigen Unmengen an annotierten Daten, nur um sie zu feinjustieren, was in Bereichen, in denen es einfach nicht genug Daten gibt, zum Beispiel seltene Krankheiten, Pharmakogenomik oder biomedizinische Forschung, die in anderen Sprachen als Englisch4 veröffentlicht wird, zu einem echten Kopfschmerz wird. Außerdem ist das manuelle Markieren all dieses biomedizinischen Textes langsam, teuer und erfordert meist echte Experten auf diesem Gebiet5. Deshalb ist die Entwicklung von BioNER-Modellen mit wenigen und ohne Schuss so wichtig: Sie könnte den Bedarf an markierten Daten erheblich verringern und gleichzeitig sicherstellen, dass die Modelle über ein breites Spektrum biomedizinischerInhalte hinweg gut funktionieren.

Few-Shot Learning (FSL) ermöglicht es Modellen, mit nur einem kleinen Bruchteil der markierten Daten, typischerweise zwischen 1 % und 10 % des gesamten Trainingsdatensatzes, wettbewerbsfähige Entitätserkennungsleistungen zu erreichen, was es besonders für ressourcenarme biomedizinische Bereiche7 wertvoll macht. Zero-Shot Learning (ZSL) geht noch weiter und ermöglicht es einem Modell, Entitäten zu erkennen, die es noch nie zuvor gesehen hat, indem es einfach die Kraft großer, vortrainierter Sprachmodelle (LLMs) nutzt, ohne zusätzliche Trainingsdatenzu benötigen. In letzter Zeit haben Fortschritte in LLMs wie GPT-4, LLaMA und Falcon eine starke Zero-Shot-Leistung bei allgemeinen NER-Aufgaben gezeigt, doch ihr Einsatz in tatsächlichen biomedizinischen Texten bleibt weitgehend unerforscht. Das liegt daran, dass die Sprache in der Biomedizin einfach so spezialisiertund kompliziert ist.

Diese Forschung zielt darauf ab, diese Lücke zu schließen, indem sie BioBert-Feinabstimmung, Few-Shot Learning, Zero-Shot LLM-Inferenz und promptbasiertes Lernen zusammenbringt – alles mit dem Ziel, die Messlatte für BioNER in ressourcenarmen biomedizinischen Umgebungen zu erhöhen.

Um einen Eindruck davon zu geben, was es bereits gibt: (1) BioBERT ist eine Version von BERT, die auf PubMed-Abstracts und Volltextartikeln umtrainiert wurde, daher eignet sie sich besser für biomedizinische Inhalte10. (2) ClinicalBERT ist eine BERT-Variante, die auf EHRs trainiert wird und daher speziell darauf ausgelegt ist, klinische Notizen und ärztliche Berichte zu verstehen11. (3) BlueBERT ist ein weiteres biomedizinisches NLP-Modell, das sowohl auf PubMed- als auch auf MIMIC-III-Datensätzen trainiert ist und für die Erkennung medizinischer Inhalte in Text12 optimiert ist. (4) PubMedBERT ist ein Transformer-Modell, das ausschließlich auf PubMed-Daten trainiert wird und ihm hilft, die einzigartigen Muster und Terminologie im biomedizinischen Schreiben wirklich aufzufangen13.

Obwohl diese Modelle auf BioNER-Benchmarks Stand der Technik erzielen, begrenzt ihre Abhängigkeit von großen, markierten Datensätzen und überwachtem Feinabstimmung ihre Anpassungsfähigkeit an neue biomedizinische Bereiche14. Darüber hinaus verschlechtern Domänenwechsel zwischen wissenschaftlicher biomedizinischer Literatur (z. B. PubMed-Abstracts) und klinischen Notizen (z. B. i2b2 2010-Datensatz) die Leistung überwachter BioNER-Systemeweiter.

Die Haupteinschränkungen der aktuellen BioNER-Forschung umfassen: Abhängigkeit von annotierten Daten: Bestehende transformatorbasierte Modelle erfordern umfangreiche markierte Datensätze, die in spezialisierten biomedizinischen Bereichen selten sind16. Fehlende Verallgemeinerung auf unsichtbare Entitäten: Aktuelle Modelle haben Schwierigkeiten, seltene oder neuartige biomedizinische Begriffe zu erkennen, die in den Trainingsdaten nicht enthalten sind17. Begrenzte Untersuchung von Low-Shot- und Zero-Shot-Learning: Die meisten Forschungen konzentrieren sich auf vollständig überwachtes Lernen, mit minimaler Untersuchung von Low-Data-Paradigmen für BioNER18. Ineffiziente Anpassung von LLMs: Obwohl LLMs wie GPT-4 und LLaMA im allgemeinen NLP eine starke Zero-Shot-Leistung zeigen, bleibt ihre Anwendung im biomedizinischen NER aufgrund terminologischer Komplexität und fehlender domänenspezifischer Prompts wenig erforscht19.

Um diese Lücken zu schließen, untersucht diese Studie die folgenden zentralen Forschungsfragen: Wie kann Few-Shot Learning die Leistung von BioBERT im biomedizinischen NER mit minimalen markierten Daten verbessern? Kann Zero-Shot-Inferenz mit LLMs biomedizinische Entitäten ohne domänenspezifische Feinabstimmung genau erkennen? Wie kann promptbasiertes Lernen die Leistung von Zero-Shot bei biomedizinischen NER-Aufgaben verbessern? Was ist der optimale hybride Ansatz, der BioBERT- und LLM-generierte Pseudolabels kombiniert, um BioNER in ressourcenarmen Umgebungen zu verbessern? Wie wirkt sich das Adversarial-Training auf die Robustheit von Few-Shot- und Zero-Shot-BioNER-Modellen aus?

Ziel dieser Forschung ist es, ein neuartiges, adaptives biomedizinisches NER-Framework zu entwickeln, das Few-Shot- und Zero-Shot-Lernen nutzt, um die Herausforderungen durch die Knappheit markierter Daten zu bewältigen. Die Studie zielt darauf ab, die Verallgemeinerungsfähigkeiten von BioBERT und LLMs zu verbessern, indem Prompt-Engineering-Techniken, kontrastives Lernen und adversariales Training erforscht werden.

Die Forschung ist um folgende Ziele herum strukturiert: (1) Entwicklung einer wenigen Lernpipelines für biomedizinische NER durch Feinabstimmung von BioBERT auf begrenzt annotierten Daten. (2) Bewertung von Zero-Shot-LLMs (z. B. GPT-4, LLaMA, Falcon) für biomedizinische NER mittels domänenspezifischer Prompt-Engineering. (3) Schaffung eines hybriden Ansatzes, der BioBert-Feinabstimmung mit LLM-generierten Pseudo-Labels für eine verbesserte Entitätserkennung in ressourcenarmen biomedizinischen Datensätzen integriert. (4) Durchführung einer vergleichenden Analyse von Few-Shot-vs . Zero-Shot-Lernen mit standardisierten biomedizinischen Benchmarks (MedMentions, BC5CDR, i2b2 2010, PharmaCoNER, BioASQ). (5) Implementierung von adversarialem Training (FGSM, PGD) zur Verbesserung der Modellrobustheit gegenüber verrauschten biomedizinischen Textvariationen.

Diese Studie trägt zum Bereich der biomedizinischen NLP und Entitätenerkennung bei, indem sie Few-Shot- und Zero-Shot BioNER-Strategien einführt, um die Label-Knappheit in biomedizinischen Datensätzen zu adressieren, und demonstriert, wie LLMs für Zero-Shot-biomedizinisches NER durch optimiertes Prompt Engineering genutzt werden können. Vorschlag eines hybriden Frameworks, das BioBert-Feinabstimmung und LLM-generierte synthetische Annotationen für eine bessere Verallgemeinerung kombiniert. Bewertung der Auswirkungen von adversarialem Training auf BioNER-Modelle zur Verbesserung der Robustheit gegenüber Domänenwechseln. Bietet einen vergleichenden Benchmark der BioNER-Leistung über überwachte, wenige Schuss und Nullschuss-Paradigmen hinweg.

Literaturübersicht
Sivarajkumar und Wang20 entwickelten HealthPrompt, ein Zero-Shot Learning (ZSL)-Framework für klinische NLP, das den Mangel an annotierten klinischen Datensätzen adressiert. Anstatt ein vortrainiertes Sprachmodell (PLM) zu feinjustieren, setzten sie promptbasiertes Lernen ein, bei dem Aufgabendefinitionen anhand strukturierter Vorlagen abgestimmt werden. Die Bewertung von sechs PLMs, darunter BioBERT und ClinicalBERT, am MIMIC-III-Datensatz zeigte, dass ClinicalBERT die beste Genauigkeit (85 %) und den F1-Wert (86 %) für die klinische Textklassifikation erzielte. Diese Studie zeigt, dass promptbasiertes Zero-Shot-Lernen (ZSL) mit überwachten Modellen in der klinischen natürlichen Sprachverarbeitung (NLP) mithalten kann, ohne dass Trainingsdaten erforderlich sind.

Keming Lu und Team21 entwickelten BIODLM, einen neuen Ansatz zur Feinabstimmung diskriminierender Sprachmodelle (DLMs) für den biomedizinischen Bereich mittels promptbasiertem kontinuierlichem Vortraining. Ihr Hauptziel war es, die Leistung sowohl bei Few-Shot- als auch Zero-Shot-Aufgaben in der Biomedizin zu verbessern, indem sie clevere Prompt-Tuning und die Replacement Token Detection (RTD)-Methode nutzten. Damit es funktioniert, spielen sie mit dem Vokabular, mischen absichtlich fachspezifische Begriffe und nutzen PubMedBERT als Generator während des Vortrainings. Die Ergebnisse sind solide: BIODLM hat tatsächlich die übliche CLS-basierte Feinabstimmung übertroffen und erzielte eine makrodurchschnittliche Genauigkeit von 50,2 % bei vollständiger Überwachung und 43,4 % im Zero-Shot-Modus.

Zonghai Yao und Kollegen22 verfolgten einen anderen Ansatz und konzentrierten sich auf die Prompt-Generierung, die die Kontextvarianz berücksichtigt. Ihr Ziel war es, die seltsamen Verzerrungen, die während promptbasierter Probing auftreten können, zu verringern und die BioLama-Bewertung transparenter und interpretierbarer zu machen. Mit anderen Worten: Sie versuchen sicherzustellen, dass diese Sprachmodelle uns Antworten liefern, die Sinn ergeben und nicht nur auf clever formulierte Prompts basieren.

Sie führten eine auf Rangänderung basierende Bewertungsmetrik (UCM: Understand–Confuse–Misunderstand) ein, anstatt der traditionellen Top-K-Genauigkeit, um PLMs bei der biomedizinischen Entitäterkennung zu bewerten. Experimente an 12 PLMs, darunter BioBERT-, ClinicalBERT- und RoBERTa-basierte Modelle, zeigten eine verbesserte BioLAMA-Leistung für groß-N-M-Beziehungen und seltene biomedizinische Entitäten. BioBERT erreichte einen Accuracy@1 von 40,7 % und die UCM Verständlichkeit von 32,8 %, die traditionelle Top-K-Kennzahlen übertraf.

Yeh et al.23 untersuchten das Prompting für die biomedizinische Beziehungsextraktion mithilfe des ChemProt-Datensatzes, um domänenspezifische Feinabstimmung von Few Shot und Full-Data zu verbessern. Sie entwickelten promptbasierte Vorlagen, die Bewertungskennzahlen wie Häufigkeit, Spezifität und Ähnlichkeit einbeziehen, um die Auswahl der Etikettworte zu optimieren. Mit BioMed-RoBERTa-Basis erreichte ihre Methode einen F1-Wert von 90,09, übertraf SciFive-Large um 1,14 F1 und übertraf das reguläre Feintuning um 14,21 F1. Dies bestätigt, dass promptbasiertes Lernen die biomedizinische NER-Leistung mit weniger Trainingsbeispielen verbessert.

Susanti und Holsmoelle 24 untersuchten NLP-basierte Verifikation von kausalen Graphen und verglichen fein abgestimmte Sprachmodelle mit promptbasierten LLMs. Sie trainierten BioBert- und GPT-Modelle für überwachte kausale Klassifikation und bewerteten Zero-Shot- und Few-Shot-Prompt-basierte LLMs. Ergebnisse zu biomedizinischen und Open-Domain-Datensätzen zeigten, dass fein abgestimmte Modelle LLM-Prompts übertrahen und bis zu 20,5 % höhere F1-Scores erreichten. Die Studie unterstreicht die Notwendigkeit fortschrittlicher Eingaben und datensatzspezifischer Abstimmung, um die Genauigkeit der kausalen Zusammenhängeextraktion zu verbessern.

Chen et al.25 schlugen ein wissensgesteuertes Instanzgenerierungs- und prompt-kontrastives Lern-Framework für das wenige Schuss-BioNER vor. Ihr Ansatz nutzt Domänenwissensgraphen, um vielfältige biomedizinische Entitäten zu generieren, und setzt auf Frageprompt-basiertes kontrastives Lernen ein, um die Entitätserkennung zu verbessern, indem gegenseitige Informationen zwischen Frage-Antwort-Paaren gemessen werden. Ausgewertet an fbenchmark-Datensätzen (NCBI, BC5CDR-Disease, BioNLP11EPI, BioNLP13GE) erzielte ihr Modell eine Verbesserung von bis zu 7,1 % im F1-Wert gegenüber modernen Modellen in 20-Schuss-Szenarien. Ihr Code ist öffentlich verfügbar unter: https://github.com/cpmss521/KGPC.

Chen et al.26schlugen außerdem einen Prompt-Learning-Ansatz zur Erkennung biomedizinischer Ansprüche vor, indem Textklassifizierung in eine Aufgabe der Masked-Language-Modellierung (MLM) umgewandelt wurde. Mit BERT, RoBERTa und T5 sowie harten und gemischten Vorlagen verbesserten sie die Genauigkeit der Schadensprognose. Im BioClaim-Datensatz erzielte ihr T5-Modell mit gemischten Vorlagen eine Verbesserung des F1-Scores um 5,3 % gegenüber früheren Modellen und schloss damit die Lücke zwischen Pretraining und Finetuning in PLMs mittels maskierter Token-Vorhersage an.

Ryan Shea Ying Cong Tan et al.27 bewerteten LLMs auf die Inferenz der Krebserkrankungsreaktion anhand radiologischer Berichte mit Transformatormodellen, Bi-LSTM, CNN und klassischem ML. Ihre Methode umfasste Datenaugmentation (Satzpermutation und Konsistenzverlust) und promptbasierte Feinabstimmung. Der GatorTron-Transformator erreichte die beste Genauigkeit: 0,8916 auf dem Testset und 0,8976 nach der Verstärkung. Promptbasierte Feinabstimmung ermöglichte eine effektive Leistung mit nur 500 beschrifteten Berichten.

Hu et al.28 bewerteten GPT-3.5 und GPT-4 für klinische NER und verbesserten die Leistung durch ein vierteiliges Prompting-System: Baseline-Prompts, richtlinienbasierte Prompts, fehlerbasierte Anweisungen und Proben aus wenigen Schussen. In den MTSamples- und VAERS-Datensätzen verbesserten GPT-3,5 und GPT-4 ihre entspannten F1-Werte von 0,634/0,804 und 0,301/0,593 auf 0,794/0,861 bzw. 0,676/0,736. Obwohl sie weiterhin hinter BioClinicalBERT liegen (F1: 0,901 bei MTSamples, 0,802 bei VAERS), zeigen diese Ergebnisse die zunehmende Wirksamkeit von LLMs im klinischen NER mit geeigneten Prompting-Strategien.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Protokoll

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. Vorgehen

  1. Datenvorverarbeitung und Modellfeinabstimmung
    Die Daten wurden von PubMed, BioASQ, MedQA und MMLU vorverarbeitet, indem Textnormalisierung, Tokenisierung (WordPiece/BPE), Stopwortentfernung und IOB-Annotation verwendet wurden. Führte domänenspezifische Feinabstimmungen von BioBERT mittels Masked Language Modeling (MLM) und einem Token-Klassifikationskopf durch. Im Vergleich zu adapterbasierten Methoden wie LoRA.
  2. Implementierung von PROMPT-basiertem Few-Shot- und Zero-Shot-Lernen
    Für Zero-Shot-Lernen: Verwenden Sie LLMs (GPT-4, GPT-3.5, T5) mit natürlichen Spracheingaben (z. B. "Biomedizinische Entitäten aus folgendem Text extrahieren: [Eingabesatz]. Die zu identifizierenden Entitäten sind Krankheiten, Medikamente, Gene und Chemikalien. Listen Sie jede Einheit und ihre Art auf.") und Instruktionsabstimmung. Verwendete 5–20 beschriftete Beispiele pro Entitätstyp mit Pattern-Exploiting Training (PET) und Prefix-Tuning.
  3. Integration von LLMs und Etablierung eines hybriden Rahmens
    Kontextuelle Einbettungen: Fusion und Multi-Stage NER Prediction (BioBERT-Erkennung + GPT-4-Verfeinerung) wurden durchgeführt. Dieses Framework verwendete einen zweistufigen, sequentiellen Feinabstimmungsansatz (nicht End-to-End), um die Rechenkomplexität zu steuern. Erstens wurde BioBERT auf die verfügbaren Daten mit wenigen Schüssen verfeinert. Zweitens wurde dieses eingefrorene BioBert-Modell über die Fusionsschicht mit der LLM-Komponente integriert, die auf denselben Daten trainiert wurde. Daher wurde es mit einer zweistufigen Feinabstimmungsstrategie integriert:
    Stufe 1 – Überwachte BioBert-Feinabstimmung für NER.
    Stufe 2 – Promptbasierte Anpassung über GPT-4-Ausgaben.
    figure-protocol-1
    wobei α ein gelernter Koeffizient ist und Wp die Projektionsmatrix.
    Eine gewichtete Ensemble-Abstimmung (WBioBERT=0,45, WGPT4=0,35, WClinicalBERT=0,20) wurde zur Zusammenführung der Vorhersagen angewendet.
    Die Gewichte jedes Modells (W_BioBERT=0,45, W_Hybrid=0,35, W_ClinicalBERT=0,20) wurden auf einem gehaltenen Validierungssatz mithilfe einer Rastersuche optimiert, um den Mikro-F1-Wert zu maximieren. Dieses Gewichtungsschema spiegelt die relativen Beiträge jedes Modells wider: Das fein abgestimmte BioBERT liefert das stärkste domänenspezifische Signal, das hybride Modell fügt Verallgemeinerungen hinzu, und ClinicalBERT bietet ergänzenden klinischen Kontext.
  4. Anwendung von Verfeinerung und Ontologieverknüpfung
    GPT-4 wurde für ontologiegesteuerte Verfeinerungen verwendet, wobei Korrekturen akzeptiert wurden, wenn die Kosinusähnlichkeit mit Ontologie-Einbettungen ≥ 0,8 betrug (nur Korrekturen mit > 0,8 sind bereits erwähnt). Die Entitäten wurden mit UMLS-, MeSH- und HPO-Datenbanken verknüpft, um Synonyme aufzulösen.
  5. Einsatz des Systems mit optimierter Inferenz
    Adaptive Konfidenzschwelle wurde pro Entitätsklasse implementiert: TC =μC + βσC (β=0,5).
    Ein zentrales Element der Inferenzpipeline ist die adaptive Konfidenzschwelle, die dynamisch Präzision und Abruf zwischen Entitätstypen ausbalanciert. Anstatt eine statische Schwelle zu verwenden, berechnete der adaptive Mechanismus eine klassenspezifische Schwellenwert-TC basierend auf der empirischen Konfidenzverteilung der Vorhersagen:
    figure-protocol-2
    wobei μC und σC den Mittelwert und die Standardabweichung der Konfidenzwerte für Entitätsklasse C darstellen und β ein abstellbarer Skalierungsfaktor ist (empirisch auf 0,5 gesetzt). Seltene biomedizinische Entitätentypen (z. B. seltene Krankheiten) zeigen tendenziell eine hohe Varianz bei den Konfidenzwerten. Die adaptive Schwelle stellt sicher, dass diese bei σC hoch gehalten werden und so das Überfiltern seltener Entitäten verhindert werden. Umgekehrt wird bei häufigen Entitäten die Schwelle verschärft, um Fehlalarme zu reduzieren.
    Das System wurde über eine Flask-basierte Schnittstelle mit Multi-GPU-Verarbeitung (PyTorch DDP) und 8-Bit-Quantisierung für Echtzeit-Inferenz bereitgestellt.

2. Umweltaufbau

  1. Datensätze
    Das Framework wurde an den standardisierten biomedizinischen NER-Datensätzen getestet, um einen fairen Vergleich zu ermöglichen. Die folgenden Datensätze wurden verwendet, deren offizielle Aufteilungen erhalten blieben.
    BC5CDR: Zur Erkennung chemischer und krankheitsbezogener Entitäten.
    NCBI-Krankheit: Fokussiert auf Krankheit erwähnte Erwähnungen.
    i2b2 2010: Zur klinischen Konzepterkennung in elektronischen Gesundheitsakten (EHRs).
  2. Bewertung
    Um die statistische Robustheit zu gewährleisten, führten wir für jedes Zwei-Schuss-Experiment (K=5,10,15) fünf unabhängige Durchläufe mit verschiedenen Zufalls-Seeds für Datenstichproben und Gewichtungsinitialisierung durch. Genauigkeit, Präzision, Rückruf und F1-Score wurden über diese Läufe hinweg gemeldet. Zero-Shot-Ergebnisse wurden deterministisch aus einem einzigen Durchlauf gemeldet.
    Um die Machbarkeit der Einführung des vorgeschlagenen Few-Shot und Zero-Shot Biomedical NER-Systems in Echtzeit-biomedizinischen Umgebungen zu bewerten, wurde eine detaillierte Analyse der Recheneffizienz und der Ressourcenprofilierung durchgeführt. Das Profiling wurde auf einer NVIDIA A100 GPU (40 GB VRAM) mit CUDA 12.1 und PyTorch 2.3.1 durchgeführt, wobei Mixed-Precision (FP16) Inferenz verwendet wurde, um Geschwindigkeit und Speichereffizienz auszubalancieren.
  3. Basismodelle
    BioBERT (Feinabstimmung): Das BioBERT-v1.1 Basismodell10wurde vollständig überwacht auf die gesamten Trainingsdaten jedes Benchmarks fein abgestimmt.
    ClinicalBERT & RoBERTa-Basis: Feinabgestimmt als domänenspezifische und allgemeine Domänenbasislinien.
    GPT-3.5 & GPT-4 (Zero-Shot): Getestet wie in Schritt 3.3 beschrieben, ohne aufgabenspezifische Feinabstimmung.
    HealthPrompt20: Das aktuelle, hochmoderne, promptbasierte klinische NER-Modell mit null-Injektionen.
    Zur vollständigen Reproduzierbarkeit sind die in dieser Studie verwendeten Kernsoftwarebibliotheken, Modell-Checkpoints und Hardwaredetails in der Materialtabelle aufgeführt. Dies umfasst spezifische Versionen wichtiger Komponenten wie die BioBERT-Modellvariante, das LLM, das Deep-Learning-Framework und die Rechenumgebung.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Ergebnisse

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Bewertung des Few-Shot and Zero-Shot Biomedical Named Entity Recognition (NER)-Modells erfolgte an einem vielfältigen biomedizinischen Datensatz, der aus PubMed-Abstracts, klinischen Notizen und biomedizinischen Frage-Antwort-Korpora abgeleitet wurde. Eine vergleichende Leistungsanalyse mit etablierten Modellen wie BioBERT, ClinicalBERT, RoBERTa, PhenoBERT29, GPT-3.5 und GPT-4 wurde durchgeführt. Das vorgeschlagene Modell erreichte eine überlegene Gesamtgenaui...

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Diskussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Widersprüchliche Ergebnisse, unerwartete Ergebnisse und Diskrepanzen mit anderer Forschung
Trotz der überlegenen Leistung des vorgeschlagenen Modells traten im Vergleich zu bestehenden Studien einige widersprüchliche Ergebnisse hervor. BioBERT-basierte Modelle haben traditionell eine starke Leistung in der biomedizinischen Named Entity Recognition (NER) gezeigt, wie in früheren Umfragen und vergleichenden Studien zu biomedizinischen NER-Systemen

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Offenlegungen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Autoren haben nichts offenzulegen.

Materialien

Liste der in diesem Artikel verwendeten Materialien
NameUnternehmenKatalognummerKommentare
KernmodellBioBERT-Basis (v1.1)Umarmungsgesicht:  monologg/biobert-v1.1
Deep-Learning-FrameworkPyTorch 2.3.1https://pytorch.org/
GPU-HardwareNVIDIA A100 (40GB VRAM)NVIDIA
Großsprachmodell (LLM)GPT-4OpenAI API
BetriebssystemFensterMicrosoft
Parametereffiziente AbstimmungLoRA (über die PEFT-Bibliothek 0.6.2)https://github.com/huggingface/peft
ProgrammiersprachePython 3.9.18Python Software Foundation
Zero-Shot-Baseline-LLMGPT-3.5-TurboOpenAI API

Referenzen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Chen, P., Wang, J., Luo, L., Lin, H., Yang, Z. Learning to explain is a good biomedical few-shot learner. Bioinformatics. 40 (10), 589(2024).
  2. Moscato, V., Postiglione, M., Sperlí, G. Few-shot named entity recognition: definition, taxonomy and research directions. ACM Trans Intell Syst Technol. 14 (5), 1-46 (2023).
  3. Nerella, S., et al. Transformers in healthcare: A survey. arXiv. , (2023).
  4. Song, B., Li, F., Liu, Y., Zeng, X. Deep learning methods for biomedical named entity recognition: A survey and qualitative comparison. Briefings Bioinform. 22 (6), bbab282(2021).
  5. Badawi, M., Abushanab, M., Bhat, S., Maier, A. Review of zero-shot and few-shot AI algorithms in the medical domain. arXiv. , (2024).
  6. Jin, M., Sang-Min, C., Gun-Woo, K. Comcare: A collaborative ensemble framework for context-aware medical named entity recognition and relation extraction. Electronics Basel. 14 (2), 328(2025).
  7. Ge, Y., Guo, Y., Das, S., Al-Garadi, M. A., Sarker, A. Few-shot learning for medical text: a review of advances, trends, and opportunities. J Biomed Inform. 144, 104458(2023).
  8. Picco, G., et al. Description boosting for zero-shot entity and relation classification. arXiv. , (2024).
  9. Khan, W., et al. A comprehensive survey of foundation models in medicine. IEEE Rev Biomed Eng. 18, 1-25 (2025).
  10. Ngo, Q. H., Kechadi, T., Le-Khac, N. A. Domain specific entity recognition with semantic-based deep learning approach. IEEE Access. 9, 152892-152902 (2021).
  11. Li, M., Zhang, R. How far is language model from 100% few-shot named entity recognition in medical domain. arXiv. , (2023).
  12. Nerella, S., et al. Transformers and large language models in healthcare: A review. Artif Intell Med. 148, 102900(2024).
  13. Rodríguez, H. Natural language technologies in the biomedical domain. Governing Asia. 93, 1-15 (2022).
  14. Mobasher, G. Welt: Weighted loss trainer for biomedical joint entity and relation extraction. [PhD thesis]. , https://www.mathinf.uni-heidelberg.de/en/thesis-defenses/welt-weighted-loss-trainer-for-biomedical-joint-entity-and-relation-extraction-2025-01-23 (2025).
  15. Giorgi, J. A study on the application of natural language processing methods to scientific text. [PhD thesis]. , University of Toronto. Canada. https://utoronto.scholaris.ca/items/0b02984d-5b6f-4287-9461-5afde0ec6c4e (2024).
  16. Amin, S. Learning entity and relation representation for low-resource medical language processing. [PhD thesis]. , https://publikationen.sulb.uni-saarland.de/bitstream/20.500.11880/38051/1/PhD_final_Amin.pdf (2024).
  17. Almudaifer, A. I. Entity information extraction and normalization from scientific and clinical texts. [PhD thesis]. , https://digitalcommons.library.uab.edu/etd-collection/3906/ (2024).
  18. One-shot biomedical named entity recognition via knowledge-inspired large language model. Bian, J., Zheng, J., Zhang, Y., Zhou, H., Zhu, S. Proc ACM Int Conf Bioinform Comput Biol Health Inform, , 1-10 (2024).
  19. Alotaibi, A., Nadeem, F., Hamdy, M. Weakly supervised deep learning for Arabic tweet sentiment analysis on education reforms: leveraging pre-trained models and LLMs with Snorkel. IEEE Access. 13, 1-15 (2025).
  20. Sivarajkumar, S., Wang, Y. HealthPrompt: A zero-shot learning paradigm for clinical natural language processing. AMIA Annu Symp Proc. , 972-981 (2023).
  21. Prompt discriminative language models for domain adaptation. Lu, K., et al. Proc Clin Nat Lang Process Workshop, , 247-258 (2023).
  22. Yao, Z., Cao, Y., Yang, Z., Yu, H. Context variance evaluation of pretrained language models for prompt-based biomedical knowledge probing. AMIA Jt Summits Transl Sci Proc. 2023, 592-601 (2023).
  23. Yeh, H. S., Lavergne, T., Zweigenbaum, P. Decorate the examples: a simple method of prompt design for biomedical relation extraction. arXiv. , (2022).
  24. Susanti, Y., Holsmoelle, N. Prompt-based vs fine-tuned LLMs toward causal graph verification. arXiv. , (2024).
  25. Chen, P., Wang, J., Lin, H., Zhao, D., Yang, Z. Few-shot biomedical named entity recognition via knowledge-guided instance generation and prompt contrastive learning. Bioinformatics. 39 (8), 496-504 (2023).
  26. Improving biomedical claim detection using prompt learning approaches. Chen, T., Stefanidis, A., Jiang, Z., Su, J. IEEE Int Conf Pattern Recognit Mach Learn, , 369-376 (2023).
  27. Tan, R. S. Y. C., et al. Inferring cancer disease response from radiology reports using large language models with data augmentation and prompting. J Am Med Inform Assoc. 30 (10), 1657-1664 (2023).
  28. Hu, Y., et al. Improving large language models for clinical named entity recognition via prompt engineering. J Am Med Inform Assoc. 31 (9), 1812-1820 (2024).
  29. Yang, J., et al. Enhancing phenotype recognition in clinical notes using large language models: PhenoBCBERT and PhenoGPT. Patterns NY. 5 (1), 100891(2024).

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Nachdrucke und Genehmigungen

Genehmigung beantragen, um den Text oder die Abbildungen dieses JoVE-Artikels zu verwenden

Genehmigung beantragen

Schlagwörter

Few Shot LearningZero Shot Learningbiomedizinische NERklinisches Text MiningDom nenadaptationPrompt Engineering

Verwandte Artikel