مقالة بحثية

التعرف على الكيانات الطبية الحية ذات الطلقات القليلة والصفرية: إجراء لتعزيز BioBERT باستخدام التعلم القائم على الفورات ونماذج اللغة الكبيرة

DOI:

10.3791/69390

⸱

مارس 31, 2026

 ,  , 
1Department of Computer Science and Engineering, Centurion University of Technology and Management, 2Department of Computer Science and Engineering, MVGR College of Engineering (A)

في هذه المقالة

ملخص

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

تقدم هذه المقالة بروتوكولا للتعرف على الكيانات المسماة في الطب الحيوي باستخدام BioBERT، والتعلم القائم على الطلبات، ونماذج اللغة الكبيرة للسيناريوهات منخفضة الموارد.

الملخص

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

يلعب الاعتراف بالكيان الطبي الحيوي المسمى (NER) دورا حيويا في استخراج معلومات قيمة من النصوص السريرية والأدبيات الطبية الحيوية. أظهرت نماذج التعلم العميق التقليدية، بما في ذلك BioBERT وClinicalBERT وRoBERTa، تحسنا كبيرا في مهام التعلم العميق العميق؛ ومع ذلك، لا تزال تواجه صعوبة في مصطلحات طبية حيوية منخفضة الموارد، وتحديات تكيف المجالات، وتعميم الكيانات غير المرئية. لمعالجة هذه القيود، تقدم هذه الدراسة إطارا هجينا يجمع بين BioBERT، والتعلم القائم على التوجيه، ونماذج اللغة الكبيرة (LLMs) لتعزيز قدرات التعلم بقليل الطلقات والتعلم الصفري في الطب الحيوي العصبي المغناطيسي. يستفيد النموذج المقترح بفعالية من المعرفة السياقية من المحولات المدربة مسبقا، مما يقلل الاعتماد على مجموعات البيانات الموسومة الواسعة مع الحفاظ على دقة عالية. بعد تقييم تجريبي واسع النطاق عبر مجموعات بيانات مرجعية طبية حيوية متعددة، يظهر النهج المقترح أداء قويا باستمرار. على وجه التحديد، تحقق دقة 89.8٪، ودقة 88.7٪، واسترجاع بنسبة 90.5٪، ودرجة F1 تبلغ 0.895، متفوقا على الطرق الأساسية وتظهر فعاليتها في مهام التنقيب عن النصوص الطبية الحيوية. مقارنة بالطرق الأخرى، تساعد هندسة التوجيه النموذج على التكيف بشكل أفضل مع اللغة الفريدة للنصوص الطبية الحيوية. بالإضافة إلى ذلك، فإن التعزيز باستخدام نموذج لغوي كبير (LLM) يمنح أداء NER دفعة كبيرة من خلال التقاط تفاصيل دلالية ونحوية معقدة. تظهر هذه النتائج فعالية التعلم بنظام الطلقات القليلة والتعلم الصفري في التنقيب النصي الطبي الحيوي، مما يمهد الطريق لتحليل البيانات السريرية الآلي الأفضل وأنظمة دعم اتخاذ القرار الأكثر ذكاء.

المقدمة

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

إن انفجار الأدبيات الطبية الحيوية، والسجلات الصحية الإلكترونية (EHRs)، وبيانات التجارب السريرية يحتاج حقا إلى أنظمة ذكية وقوية للتعرف على الكيانات الطبية الحيوية المسماة (BioNER). BioNER هي مهمة متخصصة في معالجة اللغة الطبيعية (NLP) تهدف إلى تحديد كيانات مثل الأمراض والجينات والبروتينات والأدوية والمواد الكيميائية في نص طبي حيوي غير منظم1. القدرة على تحديد هذه الكيانات بدقة أمر بالغ الأهمية لاستخدامات أخرى كثيرة، مثل استخراج المعرفة الطبية الحيوية، واكتشاف أدوية جديدة، ودعم الأطباء في اتخاذ القرارات السريرية، أو حتى فرز أكوام الأوراق البحثية تلقائيا2.

على الرغم من تحقيق تقدم كبير في نماذج التعلم العميق مثل BioBERT وClinicalBERT وBlueBERT - إلا أن معظم الأساليب الطبية المراقبة الحالية للتعرف على الكيانات المسماة (BioNER) لا تزال تعتمد بشكل كبير على مجموعات البيانات المشروحة واسعة النطاق. هذا الاعتماد القوي على البيانات الموسومة الواسعة يحد من قدرتها على التعميم عند تطبيقها على النصوص الطبية الحيوية الجديدة أو غير المرئية سابقا3. نماذج BioNER الكلاسيكية تحتاج إلى الكثير من البيانات المشروحة فقط لتحسينها، وهذا يصبح صداعا حقيقيا في المجالات التي لا تتوفر فيها بيانات كافية، مثل الأمراض النادرة، علم الجينوميات الدوائية، أو الأبحاث الطبية الحيوية المنشورة بلغاتغير الإنجليزية. وفوق ذلك، وضع العلامات يدويا على كل هذا النص الطبي الحيوي بطيء ومكلف، وعادة ما يحتاج إلى خبراء حقيقيينفي المجال. لهذا السبب فإن تطوير نماذج BioNER قليلة الطلقات وصفر الطلقات أمر مهم جدا: فقد يقلل بشكل كبير من الحاجة إلى بيانات معنونة مع ضمان عمل النماذج بشكل جيد عبر نطاق واسع من المحتوى الطبي الحيوي.

يتيح التعلم القليل-الطلق (FSL) النماذج تحقيق أداء تنافسي في التعرف على الكيانات باستخدام جزء صغير فقط من البيانات المعنونة، عادة بين 1٪ و10٪ من مجموعة بيانات التدريب الكاملة، مما يجعله ذا قيمة خاصة في مجالات الطب الحيوي منخفضة الموارد7. التعلم ذو الطلقة الصفرية (ZSL) يذهب أبعد من ذلك، حيث يسمح للنموذج بالتعرف على كيانات لم يرها من قبل، فقط عن طريق الاستفادة من قوة نماذج اللغة الكبيرة والمدربة مسبقا (LLMs)، دون الحاجة إلى بيانات تدريب إضافية8. مؤخرا، أظهرت التطورات في نماذج اللغة الكبيرة مثل GPT-4 وLLaMA وFalcon أداء قويا في الطلقات الصفرية عبر مهام NER العامة، لكن استخدامها في النصوص الطبية الحيوية الفعلية لا يزال إلى حد كبير غير مستكشف. ذلك لأن اللغة في الأمور الطبية الحيوية متخصصة ومعقدةجدا.

يهدف هذا البحث إلى سد هذه الفجوة من خلال جمع الضبط الدقيق لBioBERT، والتعلم بقليل من الفرص، واستنتاج نماذج اللغة الكبيرة ذات الطلقات الصفرية، والتعلم القائم على السرعة، وكل ذلك بهدف رفع مستوى BioNER في البيئات الطبية الحيوية منخفضة الموارد.

لإعطاء فكرة عما هو موجود بالفعل: (1) BioBERT هو نسخة من BERT تم إعادة تدريبها على ملخصات PubMed والمقالات النصية الكاملة، لذا فهي الأنسب للمحتوى الطبي الحيوي10. (2) ClinicalBERT هو نوع من BERT مدرب على السجلات الصحية الإلكترونية، لذا فهو مضبوط خصيصا لفهم الملاحظات السريرية وتقارير الأطباء11. (3) BlueBERT هو نموذج معالجة لغوية طبية حيوية آخر، مدرب على مجموعات بيانات PubMed وMIMIC-III، وهو محسن للتعرف على الأمور الطبية في النص12. (4) PubMedBERT هو نموذج محول مدرب فقط على بيانات PubMed، مما يساعده على التقاط تلك الأنماط والمصطلحات الفريدة الموجودة في الكتابة الطبية الحيوية13.

بينما تحقق هذه النماذج أداء متقدما في معايير BioNER، فإن اعتمادها على مجموعات بيانات كبيرة ومعنونة وضبط دقيق تحت إشراف يحد من قدرتها على التكيف مع مجالات الطب الحيوي الجديدة14. علاوة على ذلك، فإن التحولات في المجال بين الأدبيات الطبية الحيوية العلمية (مثل ملخصات PubMed) والملاحظات السريرية (مثل مجموعة بيانات i2b2 2010) تؤثر بشكل أكبر على أداء أنظمة BioNER الخاضعة للإشراف15.

تشمل القيود الأساسية في أبحاث BioNER الحالية: الاعتماد على البيانات المشروحة: تتطلب النماذج القائمة على المحولات مجموعات بيانات موسومة واسعة، وهي نادرة في المجالات الطبية الحيوية المتخصصة16. عدم التعميم على الكيانات غير المرئية: تواجه النماذج الحالية صعوبة في التعرف على مصطلحات طبية حيوية نادرة أو جديدة غير موجودة في بيانات التدريب17. الاستكشاف المحدود للتعلم بقليل الطلقات والتعلم الصفري: تركز معظم الأبحاث على التعلم المراقب بالكامل، مع تحقيق محدود في نماذج البيانات المنخفضة لمشروع BioNER18. التكيف غير الفعال لنماذج اللغة الكبيرة: على الرغم من أن نماذج اللغة الكبيرة مثل GPT-4 وLLaMA تظهر أداء قويا في الطلقات الصفرية في معالجة اللغة الطبيعية بشكل عام، إلا أن تطبيقها على النماذج الطبيعية العلمية الطبية الحيوية لا يزال غير مستكشف بشكل كاف بسبب تعقيد المصطلحات وغياب المحفزات الخاصة بالمجالات19.

لمعالجة هذه الفجوات، تستكشف هذه الدراسة الأسئلة البحثية الرئيسية التالية: كيف يمكن للتعلم بقليل من الجرعات تحسين أداء BioBERT في التحليل النووي الطبي الحيوي مع بيانات معنونة قليلة؟ هل يمكن للاستدلال الصفري باستخدام نماذج اللغة الكبيرة التعرف بدقة على الكيانات الطبية الحيوية دون الحاجة إلى ضبط خاص بالمجال؟ كيف يمكن للتعلم القائم على التوجيه تعزيز الأداء الصفري في مهام NER الطبية الحيوية؟ ما هو النهج الهجين الأمثل الذي يجمع بين BioBERT والعلامات الزائفة المولدة بواسطة LLM لتحسين BioNER في البيئات ذات الموارد المنخفضة؟ كيف يؤثر التدريب العدائي على متانة نماذج BioNER قليلة الطلقات ونماذج BioNER ذات الطلقات الصفرية؟

الغرض من هذا البحث هو تطوير إطار عمل جديد ومتكيف للبيانات العلمية الحيوية الطبية يستفيد من التعلم المحدود والصفر لمعالجة التحديات التي تفرضها ندرة البيانات الموسومة. تهدف الدراسة إلى تعزيز قدرات التعميم في BioBERT ونماذج اللغة الكبيرة من خلال استكشاف تقنيات الهندسة الفورية، والتعلم التبايني، والتدريب الخصمي.

يركز البحث على الأهداف التالية: (1) تطوير خط أنابيب تعلم بضع خطوات لعلم العلوم الطبيعية الحيوي الطبي من خلال ضبط BioBERT على بيانات مشروحة محدودة. (2) تقييم نماذج اللغة الكبيرة ذات الطلقات الصفرية (مثل GPT-4، LLaMA، فالكون) للعلم الطبيعي الطبي الحيوي باستخدام هندسة التوجيه الخاصة بالمجال. (3) إنشاء نهج هجين يدمج الضبط الدقيق ل BioBERT مع التسميات الزائفة المولدة من قبل نماذج اللغة الكبيرة لتحسين التعرف على الكيانات في مجموعات البيانات الطبية الحيوية منخفضة الموارد. (4) إجراء تحليل مقارن بين الطلقات القليلة مقابل الطلقات القليلة التعلم ذو الطلقات الصفرية باستخدام المعايير الطبية الحيوية القياسية (MedMentions، BC5CDR، i2b2 2010، PharmaCoNER، BioASQ). (5) تنفيذ التدريب التنافسي (FGSM، PGD) لتعزيز متانة النموذج ضد التغيرات الصاخبة في النصوص الطبية الحيوية.

تساهم هذه الدراسة في مجال معالجة اللغة الطبيعية الحيوية الطبية والتعرف على الكيانات من خلال تقديم استراتيجيات BioNER ذات الطلقات القليلة والصفرية لمعالجة ندرة الملصقات في مجموعات البيانات الطبية الحيوية وتوضيح كيف يمكن الاستفادة من نماذج اللغة الكبيرة في NER الطبي الحيوي بدون حقن من خلال هندسة الفور المحسنة. اقتراح إطار عمل هجين يجمع بين ضبط BioBERT الدقيق والتعليقات الاصطناعية المولدة بواسطة نماذج اللغة الكبيرة لتعميم أفضل. تقييم تأثير التدريب الخصمي على نماذج BioNER لتحسين المتانة ضد تحولات المجالات. يوفر معيارا مقارنة لأداء BioNER عبر نماذج خاضعة للإشراف، ونماذج الطلقات القليلة، ونماذج الطلقات الصفرية.

مسح الأدبيات
طور سيفاراجكومار ووانغ20 برنامج HealthPrompt، وهو إطار عمل للتعلم بنظام الحقن الصفري (ZSL) لمعالجة معالجة اللغة الطبيعية السريرية التي تعالج نقص مجموعات البيانات السريرية المشروحة. بدلا من ضبط نموذج لغوي مدرب مسبقا (PLM)، استخدموا التعلم القائم على التوجيه، حيث يتم ضبط تعريفات المهام باستخدام قوالب منظمة. أظهر تقييمهم لستة نماذج PLM، بما في ذلك BioBERT وClinicalBERT، على مجموعة بيانات MIMIC-III أن ClinicalBERT حقق أفضل دقة (85٪) وأفضل درجة F1 (86٪) لتصنيف النصوص السريرية. تظهر هذه الدراسة أن التعلم الصفري القائم على الأوامر (ZSL) يمكنه مواكبة النماذج الخاضعة للإشراف في معالجة اللغة الطبيعية السريرية (NLP)، دون الحاجة إلى أي بيانات تدريبية.

طور كيمينغ لو والفريق21 تقنية BIODLM، وهي نهج جديد لضبط نماذج اللغة التمييزية (DLMs) للمجال الطبي الحيوي من خلال التدريب المسبق المستمر القائم على الطلبات. كان هدفهم الرئيسي تحسين الأداء في المهام القليلة والصفر في الطب الحيوي من خلال الاستفادة من ضبط الأوامر الذكية وطريقة اكتشاف الرموز المستبدل (RTD). لجعل الأمر ينجح، يلعبون بالمفردات، ويخلطون مصطلحات خاصة بالمجال عمدا، ويستخدمون PubMedBERT كمولد أثناء التدريب المسبق. النتائج متينة: فقد تفوق BIODLM فعليا على الضبط الدقيق المعتاد المعتمد على CLS، حيث حقق دقة متوسطة متوسطة بلغت 50.2٪ مع الإشراف الكامل و43.4٪ في وضع الطلقة الصفرية.

اتبع زونغهاي ياو وزملاؤه22 نهجا مختلفا، يركزون على توليد المحفزات التي تأخذ في الاعتبار تباين السياق. كان هدفهم تقليل التحيزات الغريبة التي قد تنشأ أثناء الفحص القائم على الطلبات وجعل تقييم BioLAMA أكثر شفافية وقابلية للتفسير. بعبارة أخرى، يحاولون التأكد من أن هذه النماذج اللغوية تعطينا إجابات منطقية وليست مجرد استدعاء لمحفزات ذكية الصياغة الدقيقة.

قدموا مقياس تقييم قائم على تغيير الرتبة (UCM: فهم-ارتباك-سوء فهم) بدلا من دقة Top-k التقليدية لتقييم PLMs بناء على التعرف على الكيانات الطبية الحيوية. أظهرت التجارب على 12 وحدة PLM، بما في ذلك نماذج BioBERT وClinicalBERT وRoBERTa، تحسنا في أداء BioLAMA للعلاقات الكبيرة بين N-M والكيانات الطبية الحيوية النادرة. حقق BioBERT Accuracy@1 بنسبة 40.7٪ وقابلية فهم UCM بنسبة 32.8٪، متفوقا على مقاييس Top-k التقليدية.

درس ييه وآخرون 23 التحفيز لاستخراج العلاقات الطبية الحيوية باستخدام مجموعة بيانات ChemProt لتعزيز ضبط البيانات الدقيقة والكاملة في المجالات المحددة. صمموا قوالب قائمة على الموجه تدمج مقاييس تقييم مثل التكرار، والتحديدية، والتشابه لتحسين اختيار كلمات التسمية. باستخدام قاعدة BioMed-RoBERTa، حققت طريقتهم درجة F1 بلغت 90.09، متفوقة على SciFive-Large بفارق 1.14 F1 وتجاوزت الضبط الدقيق العادي بمقدار 14.21 F1. هذا يؤكد أن التعلم القائم على التوجيه يحسن أداء NER الطبي الحيوي مع تقليل أمثلة التدريب.

درس سوسانتي وهولسمويل 24 التحقق القائم على معالجة اللغة الطبيعية للرسوم السببية، وقارنوا نماذج اللغة المضبوطة بدقة ونماذج اللغة الطويلة المعتمدة على الطلبات. دربوا نماذج BioBERT وGPT على تصنيف العلاقات السببية تحت الإشراف وقيموا نماذج اللغة الكبيرة المعتمدة على الأوامر ذات الطلقات الصفرية والقليلة الطلقات. كشفت النتائج على مجموعات البيانات الطبية الحيوية والبيانات مفتوحة المجال أن النماذج المضبوطة بدقة تفوقت على طلبات نماذج اللغة الكبيرة، محققة درجات F1 أعلى تصل إلى 20.5٪. تسلط الدراسة الضوء على الحاجة إلى التوجيه المتقدم والضبط الخاص بمجموعة البيانات لتحسين دقة استخراج العلاقات السببية.

اقترح تشين وآخرون 25 إطار عمل لتوليد الحالات والتعلم التبايني الفوري الموجه بالمعرفة لتقنية BioNER القليلة الطلقات. يستفيد نهجهم من الرسوم البيانية للمعرفة في المجال لتوليد كيانات طبية حيوية متنوعة ويستخدم التعلم التبايني القائم على أسئلة وأسئلة موجه لتعزيز التعرف على الكيانات من خلال قياس المعلومات المتبادلة بين أزواج الاستعلام والإجابة. تم تقييمهم على مجموعات بيانات fbenchmark (NCBI، BC5CDR-Disease، BioNLP11EPI، BioNLP13GE)، وحقق نموذجهم تحسنا بنسبة تصل إلى 7.1٪ في درجات F1 مقارنة بالنماذج الحديثة في سيناريوهات 20 جرعة. كودهم متاح للجمهور على: https://github.com/cpmss521/KGPC.

اقترح تشين وآخرون أيضانهجا للتعلم السريع لاكتشاف المطالبات الطبية الحيوية من خلال تحويل تصنيف النصوص إلى مهمة نمذجة لغوية مقنعة (MLM). باستخدام BERT وRoBERTa وT5 مع قوالب صلبة ومختلطة، حسنوا دقة التنبؤ بالمطالبات. في مجموعة بيانات BioClaim، حقق نموذج T5 مع القوالب المختلطة تحسنا بنسبة F1 بنسبة 5.3٪ مقارنة بالنماذج السابقة، مما يعالج الفجوة بين التدريب المسبق والضبط الدقيق في PLMs باستخدام التنبؤ بالرموز المقنعة.

قام رايان شيا يينغ كونغ تان وآخرون بتقييم نماذج اللغة الكبيرة لاستنتاج استجابة مرض السرطان من تقارير الأشعة باستخدام نماذج المحولات، وBi-LSTM، وCNN، وML الكلاسيكي. شملت طريقتهم تعزيز البيانات (تبديل الجملة وفقدان الاتساق) والضبط الدقيق القائم على الطلبات. حقق محول GatorTron أفضل دقة: 0.8916 في مجموعة الاختبار و0.8976 بعد التعزيز. مكنت الضبط الدقيق القائم على الأوامر من أداء فعال مع ما يصل إلى 500 تقرير معنون.

قام هو وآخرون بتقييم GPT-3.5 وGPT-4 للعلاج السريري العصبي، مع تعزيز الأداء عبر إطار عمل توجيه مكون من أربعة أجزاء: التوجيهات الأساسية، التعليمات المستندة إلى الإرشادات، التعليمات القائمة على الأخطاء، وعينات من اللقاح القليلة. في مجموعات بيانات MTSamples وVAERS، حسنت GPT-3.5 وGPT-4 درجاتهما المرنة في F1 من 0.634/0.804 و0.301/0.593 إلى 0.794/0.861 و0.676/0.736 على التوالي. على الرغم من أنها لا تزال متأخرة عن BioClinicalBERT (F1: 0.901 في عينات MTSamples، 0.802 على VAERS)، إلا أن هذه النتائج تظهر فعالية متزايدة لنماذج LLMs في NER السريري مع استراتيجيات تحفيز مناسبة.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

البروتوكول

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. الإجراءات

  1. معالجة البيانات وضبط النماذج بدقة
    تمت معالجة البيانات مسبقا من PubMed وBioASQ وMedQA وMMLU باستخدام تطبيع النصوص، والترميز (WordPiece/BPE)، وإزالة الكلمات المؤقتة، وتعليقات IOB. أجرى ضبطا دقيقا خاصا بمجال BioBERT باستخدام نمذجة اللغة المقنعة (MLM) ورأس تصنيف الرموز. مقارنة بالطرق القائمة على المحول مثل LoRA.
  2. تنفيذ التعلم القائم على التعليمات بنظام الطلقات القليلة والتعلم الصفري
    للتعلم بدون فرصة: استخدم نماذج اللغة الكبيرة (GPT-4، GPT-3.5، T5) مع تعليمات اللغة الطبيعية (مثل: "استخراج الكيانات الطبية الحيوية من النص التالي: [الجملة المدخلة]. الكيانات التي يجب تحديدها هي الأمراض، والأدوية، والجينات، والمواد الكيميائية. اذكر كل كيان ونوعه.") وضبط التعليمات. استخدمت 5–20 مثالا معنونا لكل نوع كيان مع تدريب استغلال الأنماط (PET) وضبط البادئات.
  3. دمج نماذج اللغة الكبيرة وإنشاء إطار عمل هجين
    تم إجراء دمج سياقي وتوقع NER متعدد المراحل (اكتشاف BioBERT + تحسين GPT-4). استخدم هذا الإطار نهج الضبط الدقيق المتسلسل المكون من مرحلتين (وليس من الطرف إلى النهاية) لإدارة تعقيد الحاسوب. أولا، تم ضبط BioBERT بدقة على البيانات المتاحة من اللقطة القليلة. ثانيا، تم دمج نموذج BioBERT المجمد هذا مع مكون LLM عبر طبقة الاندماج، التي تم تدريبها على نفس البيانات. لذا، تم دمجها باستخدام استراتيجية ضبط دقيقة من مرحلتين:
    المرحلة 1 – ضبط BioBERT تحت الإشراف ل NER.
    المرحلة الثانية – التكيف القائم على الأوامر عبر مخرجات GPT-4.
    figure-protocol-1
    حيث α معامل مكتسب، و Wp هو مصفوفة الإسقاط.
    تم تطبيق تصويت جماعي موزون (WBioBERT=0.45، WGPT4=0.35، WClinicalBERT=0.20) على توقعات الدمج.
    تم تحسين الأوزان لكل نموذج (W_BioBERT=0.45، W_Hybrid=0.35، W_ClinicalBERT=0.20) على مجموعة تحقق محفوظة باستخدام بحث شبكي لتعظيم درجة F1 الدقيقة. يعكس هذا النظام الوزني المساهمات النسبية لكل نموذج: يوفر BioBERT المضبوط بدقة أقوى إشارة خاصة بالمجال، والنموذج الهجين يضيف تعميما، ويوفر ClinicalBERT سياقا سريريا مكملا.
  4. تطبيق الربط بين التنقية والوجود
    تم استخدام GPT-4 لتحسين الموجه بالأنطولوجيا، حيث كان يقبل التصحيحات عندما يكون التشابه بين جيب تمام وتضمينات الأنطولوجيا ≥ 0.8 (ولم تذكر بالفعل التصحيحات التي تحتوي على > 0.8 إلا التصحيحات). تم ربط الكيانات بقواعد بيانات UMLS وMeSH وHPO لحل المرادفات.
  5. نشر النظام باستخدام استنتاج محسن
    تم تنفيذ عتبة الثقة التكيفية لكل فئة كيان: TC = μC + βσC (β=0.5).
    مكون رئيسي في خط أنابيب الاستدلال هو عتبة الثقة التكيفية، التي توازن ديناميكيا بين الدقة والاستدعاء عبر أنواع الكيانات. بدلا من استخدام عتبة ثابتة، حسبت آلية التكيف عتبة TC خاصة بالفئة بناء على توزيع الثقة التجريبي للتنبؤات:
    figure-protocol-2
    حيث تمثل μC و σC متوسط وانحراف معياري لدرجات الثقة لفئة الكيان C، و β عامل تعديل قابل للتعديل (تم ضبطه تجريبيا على 0.5). أنواع الكيانات الطبية الحيوية غير المتكررة (مثل الأمراض النادرة) تميل إلى إظهار تباين كبير في درجات الثقة. تضمن العتبة التكيفية الاحتفاظ بهذه المستويات عندما يكون σC كبيرا، مما يمنع الترشيح الزائد للكيانات النادرة. وعلى العكس، بالنسبة للكيانات المتكررة، يتم تشديد العتبة لتقليل الإيجابيات الكاذبة.
    تم نشر النظام باستخدام واجهة تعتمد على Flask مع معالجة متعددة وحدات معالجة الرسومات (PyTorch DDP) وتكميم 8-بت للاستدلال في الوقت الحقيقي.

2. الإعداد البيئي

  1. مجموعات البيانات
    تم اختبار الإطار على مجموعات بيانات NER الطبية الحيوية القياسية لإجراء مقارنة عادلة. تم استخدام مجموعات البيانات التالية، مع الحفاظ على تقسيماتها الرسمية.
    BC5CDR: للتعرف على الكيانات الكيميائية والأمراض.
    مرض NCBI: يركز على ذكر الأمراض.
    i2b2 2010: للاعتراف بالمفاهيم السريرية في السجلات الصحية الإلكترونية (EHRs).
  2. التقييم
    لضمان المتانة الإحصائية، أجرينا 5 محاولات مستقلة لكل تجربة بضع طلقات (K=5,10,15) مع بذور عشوائية مختلفة لأخذ عينات البيانات وتهيئة الوزن. تم الإبلاغ عن الدقة، والدقة، والاستدعاء، ونتيجة الفورمولا 1 خلال هذه الجولات. تم الإبلاغ عن نتائج الطلقات الصفرية، كونها حتمية، من محاولة واحدة.
    لتقييم جدوى نشر نظام NER الطبي الحيوي المقترح من نوع "قليلة الطلقات" و"صفر طلقة" في بيئات طبية حيوية فورية، تم إجراء تحليل دقيق للكفاءة الحاسوبية وتحليل تحليل الموارد. تم إجراء التحليل على معالج رسومات NVIDIA A100 (ذاكرة فيديو 40 جيجابايت) مع CUDA 12.1 وPyTorch 2.3.1، باستخدام استنتاج مختلط الدقة (FP16) لتحقيق توازن بين السرعة وكفاءة الذاكرة.
  3. نماذج الأساس
    BioBERT (مضبوطة بدقة): تم ضبط نموذج BioBERT-v1.1 الأساسي10بدقة بطريقة مراقبة بالكامل على بيانات التدريب لكل معيار.
    قاعدة ClinicalBERT و RoBERTa: مضبوطة بدقة كخطوط أساس خاصة بالمجال وخطوط أساس للمجالات العامة.
    GPT-3.5 & GPT-4 (طلقة صفرية): تم اختبارها كما هو موضح في الخطوة 3.3، دون ضبط دقيق خاص بالمهمة.
    HealthPrompt20: نموذج NER السريري الصفري القائم على التعليمات المتطور الحالي.
    لغرض إعادة الإنتاج الكاملة، تم سرد مكتبات البرمجيات الأساسية، ونقاط التحقق من النماذج، وتفاصيل الأجهزة المستخدمة في هذه الدراسة في جدول المواد. يشمل ذلك إصدارات محددة من المكونات الرئيسية، مثل نموذج BioBERT، ونموذج اللغة الكبيرة، وإطار عمل التعلم العميق، وبيئة الحوسبة.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

النتائج

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

تم إجراء تقييم نموذج التعرف على الكيانات الطبية الحية ذات الطلقات القليلة والصفرية على مجموعة بيانات طبية حيوية متنوعة مستمدة من ملخصات PubMed، والملاحظات السريرية، ومجموعات الأسئلة الطبية الحيوية. تم إجراء تحليل أداء مقارنة مع نماذج راسخة، بما في ذلك BioBERT، ClinicalBERT، RoBERTa، PhenoBERT29، GPT-3.5، وGPT-4. حقق النموذج المقترح دقة إجمالية متفوقة بلغت 89.8٪، ودقة 88.7٪، واستدعاء 90.5٪، ودرجة F1 بلغت 0.895. يمثل هذا الأداء زيادة كبيرة مقارنة ب ClinicalBERT (دقة...

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

المناقشة

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

نتائج متضاربة، ونتائج غير متوقعة، وتناقضات مع أبحاث أخرى
على الرغم من الأداء المتفوق للنموذج المقترح، ظهرت نتائج متضاربة عند مقارنتها بالدراسات القائمة. أظهرت النماذج المبنية على BioBERT تقليديا أداء قويا في التعرف على الكيانات المسماة الطبية الحيوية (NER)، كما ورد في مسوحات سابقة ودراسات مقارنة لأنظمة NER الطبية الحيوية 4,10. بينما تحقق البنى المعتمدة على المحولات دقة عالية باستمرار في مهام معالجة اللغة الطبي...

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

الإفصاحات

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

المؤلفون ليس لديهم ما يكشفون عنه.

المواد

قائمة المواد المستخدمة في هذه المقالة
الاسمالشركةرقم فهرسيالتعليقات
النموذج الأساسيقاعدة BioBERT (الإصدار 1.1)وجه العناق :  مونولوج/بايوبيرت-v1.1
إطار التعلم العميقPyTorch 2.3.1https://pytorch.org/
أجهزة وحدة معالجة الرسوماتNVIDIA A100 (ذاكرة فيديو 40GB)NVIDIA
نموذج اللغة الكبيرة (LLM)GPT-4واجهة برمجة تطبيقات OpenAI
نظام التشغيلويندوزمايكروسوفت
ضبط فعال من حيث المعلماتLoRA (عبر مكتبة PEFT 0.6.2)https://github.com/huggingface/peft
لغة البرمجةبايثون 3.9.18مؤسسة بايثون للبرمجيات
نموذج القاعدة الصفري للطلقةGPT-3.5-Turboواجهة برمجة تطبيقات OpenAI

المراجع

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Chen, P., Wang, J., Luo, L., Lin, H., Yang, Z. Learning to explain is a good biomedical few-shot learner. Bioinformatics. 40 (10), 589(2024).
  2. Moscato, V., Postiglione, M., Sperlí, G. Few-shot named entity recognition: definition, taxonomy and research directions. ACM Trans Intell Syst Technol. 14 (5), 1-46 (2023).
  3. Nerella, S., et al. Transformers in healthcare: A survey. arXiv. , (2023).
  4. Song, B., Li, F., Liu, Y., Zeng, X. Deep learning methods for biomedical named entity recognition: A survey and qualitative comparison. Briefings Bioinform. 22 (6), bbab282(2021).
  5. Badawi, M., Abushanab, M., Bhat, S., Maier, A. Review of zero-shot and few-shot AI algorithms in the medical domain. arXiv. , (2024).
  6. Jin, M., Sang-Min, C., Gun-Woo, K. Comcare: A collaborative ensemble framework for context-aware medical named entity recognition and relation extraction. Electronics Basel. 14 (2), 328(2025).
  7. Ge, Y., Guo, Y., Das, S., Al-Garadi, M. A., Sarker, A. Few-shot learning for medical text: a review of advances, trends, and opportunities. J Biomed Inform. 144, 104458(2023).
  8. Picco, G., et al. Description boosting for zero-shot entity and relation classification. arXiv. , (2024).
  9. Khan, W., et al. A comprehensive survey of foundation models in medicine. IEEE Rev Biomed Eng. 18, 1-25 (2025).
  10. Ngo, Q. H., Kechadi, T., Le-Khac, N. A. Domain specific entity recognition with semantic-based deep learning approach. IEEE Access. 9, 152892-152902 (2021).
  11. Li, M., Zhang, R. How far is language model from 100% few-shot named entity recognition in medical domain. arXiv. , (2023).
  12. Nerella, S., et al. Transformers and large language models in healthcare: A review. Artif Intell Med. 148, 102900(2024).
  13. Rodríguez, H. Natural language technologies in the biomedical domain. Governing Asia. 93, 1-15 (2022).
  14. Mobasher, G. Welt: Weighted loss trainer for biomedical joint entity and relation extraction. [PhD thesis]. , https://www.mathinf.uni-heidelberg.de/en/thesis-defenses/welt-weighted-loss-trainer-for-biomedical-joint-entity-and-relation-extraction-2025-01-23 (2025).
  15. Giorgi, J. A study on the application of natural language processing methods to scientific text. [PhD thesis]. , University of Toronto. Canada. https://utoronto.scholaris.ca/items/0b02984d-5b6f-4287-9461-5afde0ec6c4e (2024).
  16. Amin, S. Learning entity and relation representation for low-resource medical language processing. [PhD thesis]. , https://publikationen.sulb.uni-saarland.de/bitstream/20.500.11880/38051/1/PhD_final_Amin.pdf (2024).
  17. Almudaifer, A. I. Entity information extraction and normalization from scientific and clinical texts. [PhD thesis]. , https://digitalcommons.library.uab.edu/etd-collection/3906/ (2024).
  18. One-shot biomedical named entity recognition via knowledge-inspired large language model. Bian, J., Zheng, J., Zhang, Y., Zhou, H., Zhu, S. Proc ACM Int Conf Bioinform Comput Biol Health Inform, , 1-10 (2024).
  19. Alotaibi, A., Nadeem, F., Hamdy, M. Weakly supervised deep learning for Arabic tweet sentiment analysis on education reforms: leveraging pre-trained models and LLMs with Snorkel. IEEE Access. 13, 1-15 (2025).
  20. Sivarajkumar, S., Wang, Y. HealthPrompt: A zero-shot learning paradigm for clinical natural language processing. AMIA Annu Symp Proc. , 972-981 (2023).
  21. Prompt discriminative language models for domain adaptation. Lu, K., et al. Proc Clin Nat Lang Process Workshop, , 247-258 (2023).
  22. Yao, Z., Cao, Y., Yang, Z., Yu, H. Context variance evaluation of pretrained language models for prompt-based biomedical knowledge probing. AMIA Jt Summits Transl Sci Proc. 2023, 592-601 (2023).
  23. Yeh, H. S., Lavergne, T., Zweigenbaum, P. Decorate the examples: a simple method of prompt design for biomedical relation extraction. arXiv. , (2022).
  24. Susanti, Y., Holsmoelle, N. Prompt-based vs fine-tuned LLMs toward causal graph verification. arXiv. , (2024).
  25. Chen, P., Wang, J., Lin, H., Zhao, D., Yang, Z. Few-shot biomedical named entity recognition via knowledge-guided instance generation and prompt contrastive learning. Bioinformatics. 39 (8), 496-504 (2023).
  26. Improving biomedical claim detection using prompt learning approaches. Chen, T., Stefanidis, A., Jiang, Z., Su, J. IEEE Int Conf Pattern Recognit Mach Learn, , 369-376 (2023).
  27. Tan, R. S. Y. C., et al. Inferring cancer disease response from radiology reports using large language models with data augmentation and prompting. J Am Med Inform Assoc. 30 (10), 1657-1664 (2023).
  28. Hu, Y., et al. Improving large language models for clinical named entity recognition via prompt engineering. J Am Med Inform Assoc. 31 (9), 1812-1820 (2024).
  29. Yang, J., et al. Enhancing phenotype recognition in clinical notes using large language models: PhenoBCBERT and PhenoGPT. Patterns NY. 5 (1), 100891(2024).

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

إعادة الطباعة والأذونات

طلب إذن لإعادة استخدام النص أو الأشكال في مقالة JoVE هذه

طلب إذن

الوسوم

مقالات ذات صلة