مقالة منهجية

إطار عمل متعدد الوسائط للتعلم العميق لتشخيص الغدة النكفية بدقة

DOI:

10.3791/70231

⸱

مايو 8, 2026

 ,  ,  ,  ,  ,  , 
1Stomatology Department, The Affiliated Wuxi People's Hospital of Nanjing Medical University, 2Department of Oral and Maxillofacial Surgery, Zhongshan Hospital, Fudan University

في هذه المقالة

ملخص

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

تقدم هذه المقالة إطار عمل تعلم عميق متعدد الوسائط متعدد الطلقات لتصنيف أورام الغدة النكفية بدقة باستخدام تسلسلات التصوير بالرنين المغناطيسي.

الملخص

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

التمييز الدقيق بين الأورام الحميدة والخبيثة في النكف النكفية أمر ضروري لتشخيص المرضى. ومع ذلك، وبسبب درجة التفاوت العالية في أورام الغدة النكفية وقلة توفر بيانات التصوير، يظل التشخيص قبل العملية تحديا كبيرا. لمعالجة هذه القضية، تقترح الدراسة الحالية إطارا متعدد الوسائط للتعلم العميق يعتمد على التعلم من عينات صغيرة. يدمج هذا الإطار معلومات الرنين المغناطيسي متعدد التسلسلات ويدمج آلية انتباه مكاني متعددة المقاييس لتحسين أداء استخراج الميزات وتصنيفها في الحالات التي تكون فيها العينات محدودة. تم تقييم النموذج بشكل منهجي باستخدام مجموعة جمعت بأثر رجعي مكونة من 198 مريضا يعانون من أورام الغدة النكفية الأولية المؤكدة نسيجيا (107 حميدة، 91 خبيثة) وخضعوا للتصوير بالرنين المغناطيسي الكامل قبل الجراحة — بما في ذلك التصوير الموزون بوزن T1، وT2، والانتشار — في مؤسستنا، دون علاج مسبق للآفة النكفية. تم تقسيم المجموعة على مستوى المريض إلى مجموعات تدريب (70٪)، والتحقق (15٪)، ومجموعات اختبار (15٪) باستخدام أخذ عينات عشوائية طبقية للحفاظ على نسبة الحميدة إلى الخبيثة، مما يضمن مجموعات فرعية متعارضة ومنع تسرب البيانات. حقق النموذج مساحة تحت المنحنى (AUC) تبلغ 0.9822. تؤكد هذه النتيجة قدرة النظام على التمييز بين الأورام الحميدة والخبيثة. علاوة على ذلك، أظهر النموذج مزايا كبيرة من حيث الدقة التشخيصية مقارنة بأطباء الأشعة ذوي الخبرة، مما يؤكد تطبيقه المحتمل في التمييز بين الحميدة والخبيثة قبل الجراحة ودعم اتخاذ القرار السريري لأورام الغدة النكفية.

المقدمة

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

تشير البيانات الوبائية إلى أن معدل حدوث أورام الغدة النكفية في ازدياد. الغدة النكفية، وهي أكبر غدة لعابيةفي جسم الإنسان، هي واحدة من المواقع الأكثر انتشارا لأورام الرأس والرقبة. بينما تعد أورام الغدد النكفية نادرة نسبيا، حيث تمثل حوالي 5٪ من أورام الرأس والرقبة، فإن الآفات الحميدة تفوق الآفات الخبيثة بكثير، حيث تشكل حوالي 80٪ من جميع أورام الغدد النكفية 2,3. تظهر الأورام الحميدة والخبيثة في الغدة النكفية اختلافات كبيرة في السلوك البيولوجي، واستراتيجيات العلاج، والتوقعات الطبيعية. عادة ما تنمو الأورام الحميدة ببطء، وتظهر نموا متوترا، ونادرا ما تنتشر. نتائج إيجابية بعد الاستئصال الجراحي الكامل. على النقيض من ذلك، تظهر الأورام الخبيثة أنماط نمو غازية مميزة وتغزو الأنسجة المحيطة بشكل متكرر مثل العصب الوجهي والجلد والعظم. كما أنها قادرة على انتشار الانتشار البعيد، مما يؤدي إلى توقعات أسوأ 4,5.

ومع ذلك، لا يزال التمييز قبل العملية بين الأورام الحميدة والخبيثة في النكف النكفي تحديا تشخيصيا سريريا. نظرا لعدم وجود مظاهر سريرية محددة، فإن العرض الأولي لمعظم أورام الغدة النكفية (بغض النظر عن الورم الخبيث) هو كتلة غير مؤلمة، مما يعقد التمايز بناء فقط على العلامات أو الأعراض6،7. على الرغم من أن أعراض مثل الألم أو شلل الوجه تعتبر غالبا مؤشرات محتملة على السرطان، إلا أنها نادرة في الآفات الخبيثة المبكرة. وعلى العكس، قد تظهر بعض الأورام الحميدة ذات الاستجابات الالتهابية مظاهر مماثلة. يتم التقييم قبل العملية لأورام الغدة النكفية بشكل أساسي من خلال دراسات التصوير، والتي تمثل الطريقة غير الجراحية الأساسية لهذا التقييم. ومع ذلك، يجب ملاحظة أن لكل طريقة تصوير حدودها. يعتبر التصوير بالرنين المغناطيسي (MRI) الطريقة المثلى لتقييم أورام الغدة النكفية بسبب دقته الاستثنائية للأنسجة الرخوة، حيث أظهرت الدراسات دقة قصوى تبلغ 93٪ في التمييز بين الآفات الحميدة والخبيثة8. ومع ذلك، تظهر التسلسلات التقليدية تداخلا كبيرا في خصائص الإشارة9. يستخدم التصوير المقطعي بشكل أساسي لتقييم تورط العظام؛ ومع ذلك، فإن حساسيته أقل من التصوير بالرنين المغناطيسي عندما يتعلق الأمر بالتمييز بين الأورام الحميدة والخبيثة10,11. الموجات فوق الصوتية هي وسيلة فعالة للتقييم الأولي للآفات السطحية؛ ومع ذلك، فإن فعاليته تعتمد على خبرة المشغل12. يتميز PET-CT بحساسيته الأيضية العالية؛ ومع ذلك، فإن تكلفته العالية ومعدل الإيجابية الكاذبة يحد من استخدامه في التشخيص الأولي، مما يجعله أكثر ملاءمة لمرحلة ومتابعة الأورام الخبيثة. وبالتالي، غالبا ما تكون طرق التصوير المفردة غير قادرة على تحقيق تشخيصات دقيقة، ويعتمد التمييز قبل العملية بين الآفات الحميدة والخبيثة عادة على تحليل شامل للمعلومات متعددة الوسائط.

في السنوات الأخيرة، برز مجال الذكاء الاصطناعي (AI)، وخاصة مجموعة تقنيات التعلم العميق (DL) التي تمثلها الشبكات العصبية الالفافية (CNNs)، كمساهم مهم في التقدم في تشخيص تصوير الأورام. ويرجع ذلك إلى القدرات القوية في استخراج ميزات الصور والتعرف على الأنماط التي توفرها هذه التقنيات. تستخرج نماذج التعلم العميق تلقائيا ميزات معقدة متعددة المقاييس عبر شبكات عصبية متعددة الطبقات، مما يقلل بشكل كبير من الاعتماد على التصميم اليدوي للميزات مع تعزيز الأداء التشخيصي. وقد أكدت مجموعة كبيرة من الأبحاث إمكاناتها في التصوير الطبي متعدد الوسائط. طور غو جيونغهوي وآخرون نظام تعلم عميق متعدد الوسائط يدمج الموجات فوق الصوتية للثدي والرنين المغناطيسي، والذي تنبأ بفعالية بالاستجابة للعلاج الكيميائي المساعد الجديد، متفوقا على الطرق التقليدية. حقق لو ج وآخرون تمييزا دقيقا بين أورام الثدي الحميدة والخبيثة من خلال دمج صور الموجات فوق الصوتية، والتصوير الشعاعي، والرنين المغناطيسي مع استراتيجيات التعلم التحويلي، مما أدى إلى تقييم الأشعة السحابية 0.947. أجرى هوراسان أ وآخرون تحليل اندماج للتصوير بالرنين المغناطيسي متعدد المعايير للبروستاتا باستخدام CNN ثلاثية الأبعاد مع معماريات ResNet وInception، محققين دقة تقارب 91.3٪. في تصوير النكفة، أنشأ تشانغ ج وآخرون نموذج تعلم عميق يدمج بيانات الموجات فوق الصوتية والسريرية للتمايز بين الحميدة والخبيثة؛ حقق هو إكس ووانغ H.17 دقة تصنيف بنسبة 92.3٪ (AUC=0.96) باستخدام نموذج aResNet50 المعتمد على صور CT. تشير الأدلة الجماعية من هذه الدراسات إلى الفوائد الكبيرة لاستخدام نماذج التعلم العميق لتحليل صور الأورام الصلبة والنكفية.

ومع ذلك، تعتمد طرق التعلم العميق التقليدية غالبا على مجموعات بيانات كبيرة لتحقيق الأداء الأمثل. سرطان الغدة النكفية، كونه ورما منخفض الظروف، يمتلك بيانات محدودة نسبيا.18. بالإضافة إلى ذلك، تظهر أورام الغدة النكفية تباينا كبيرا في التصوير، يتسم بتغيرات دقيقة في شدة الإشارة، والتركيب الشفري، والعلاقات مع الأنسجة الغدية المحيطة. تمتد هذه السمات عبر مقاييس مكانية متنوعة—مثل شكل الورم العالمي وتعريف الحدود، بالإضافة إلى الخصائص المحلية مثل التباين الداخلي للإشارة وأنماط التسلل—مما يجعل من الصعب على طرق استخراج الميزات ذات المقياس الواحد أو البسيط التقاط الفروق الرئيسية بين الآفات الحميدة والخبيثة بشكل كامل. علاوة على ذلك، اعتمدت الدراسات السابقة غالبا على تسلسلات الرنين المغناطيسي الفردية (مثل التصوير البنيوي أو الوظيفي فقط)، مما يحد من القدرة على الحصول على تمثيلات شاملة لخصائص الورم، كما ورد في أبحاث سابقة19,20.

لمعالجة هذه التحديات، نفترض أن إطار التعلم العميق متعدد الوسائط صغير العينات الذي يدمج التصوير بالرنين المغناطيسي متعدد التسلسلات وآلية الانتباه المكاني متعددة المقاييس يمكنه التمييز بفعالية بين الأورام الحميدة والخبيثة في ظل ظروف بيانات محدودة، ويتفوق على الأساليب التقليدية وتقييم اختصاصي الأشعة. على وجه التحديد، يستخدم هذا الإطار استراتيجية التعلم21 بنظام الجرعات القليلة لتعلم السمات التمييزية من عدد محدود من الحالات الحميدة والخبيثة الممثلة. يستخدم النموذج آلية انتباه مكاني للتركيز على المناطق الرئيسية للآفة، مما يحسن دقة النموذج في التمييز بين الأورام الحميدة والأورم الخبيثة في نكف النكفة. تم تقييم النموذج باستخدام مجموعة جمعت بأثر رجعي مكونة من 198 مريضا يعانون من أورام الغدة النكفية المؤكدة مرضيا في مؤسستنا. تدمج هذه الدراسة تسلسلات الرنين المغناطيسي الهيكلي (T1WI، T2WI) والوظيفية (DWI) لدعم المعلومات الشكلية والوظيفية. تم تصميم الإطار المقترح لتسهيل التمييز قبل العملية بين الأورام الحميدة والخبيثة في الغدة النكفية.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

البروتوكول

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

تم جمع جميع بيانات المرضى المستخدمة في هذه الدراسة حصريا في مستشفى ووشي بيبول، وكانت تتألف من 198 حالة أورام نكفية مؤكدة مرضيا. تمت الموافقة على هذه الدراسة من قبل مجلس المراجعة المؤسسية لمستشفى ووشي بيبول (رقم IRB) KY24068) ويتم ذلك وفقا للإرشادات المؤسسية والمعايير الأخلاقية الدولية. تم إخفاء هوية جميع البيانات بالكامل قبل التحليل.

استحواذ صورة الرنين المغناطيسي

تم التقاط جميع تسلسلات الرنين المغناطيسي (التصوير المرجح بوزن T1، والتصوير الموزون بوزن T2، والتصوير المرجح بالانتشار) باستخدام ماسح رنين مغناطيسي من نوع تسلا 3.0 (Siemens MAGNETOM Verio أو Prisma) باستخدام ملف رأس ورقبة ب 16 قناة. كانت معايير الاكتساب كما يلي: تم الحصول على صور موزونة بوزن T1 مع TR/TE = 500/15 مللي ثانية، سمك الشريحة = 3 مم، المصفوفة = 256 × 256، مجال الرؤية = 240 مم؛ تم التقاط صور موزونة بوزن T2 باستخدام TR/TE = 4000/90 مللي ثانية، سمك الشريحة = 3 مم، المصفوفة = 320 × 320، مجال الرؤية = 240 مم؛ تم الحصول على صور موزونة بالانتشار باستخدام TR/TE = 5000/80 مللي ثانية، قيم B = 0 و1000 ثانية/مم2، سمك الشريحة = 3 مم، المصفوفة = 128 × 128، مجال الرؤية = 240 مم، مع توليد خرائط معاملات الانتشار الظاهرة تلقائيا. تم الحصول على جميع التسلسلات في المستوى المحوري دون وجود فجوة بين القطع.

تصميم الدراسة

حللت هذه الدراسة الاستعادية بيانات الرنين المغناطيسي قبل العملية من 198 مريضا يعانون من أورام الغدة النكفية الأولية المؤكدة نسيجيا (107 حميدة و91 خبيثة). خضع جميع المرضى لفحوصات الرنين المغناطيسي الكاملة للنكف النكفي في مؤسستنا، بما في ذلك التصوير الموزون بوزن T1، والتصوير الموزون بالنوع T2، وتسلسلات التصوير المرجحة بالانتشار، دون علاج مسبق للآفة النكفية. استخدم عينات الاستئصال الجراحي أو خزعة النواة كمعيار مرجعي. كانت معايير الإدراج هي وجود ورم غدد نكفية مؤكد نسيجيا في علم الجراحة، وتصوير بالرنين المغناطيسي قبل العملية مع جميع التسلسلات المطلوبة المتاحة في مؤسستنا، وعدم وجود جراحة أو علاج إشعاعي أو علاج كيميائي أو استئصال سابقة لآفة الغدة النكفية. شملت معايير الاستبعاد أورام منتشرة إلى الغدة النكفية، وعيوب حركة كبيرة أو تسلسلات غير مكتملة جعلت الصور غير تشخيصية، وأورام متكررة بعد العلاج السابق. تكونت المجموعة الإجمالية من 118 ذكرا (59.6٪) و80 أنثى (40.4٪) تتراوح أعمارهم بين 26 و89 سنة (متوسط ± الورديات 53.0 ± 12.8 سنة)، وكانت الخصائص الديموغرافية المقسمة حسب نوع الورم كما يلي: المجموعة الحميدة (n=107) التي تضم 59 ذكرا (55.1٪) و48 أنثى (44.9٪)، وتتراوح أعمارهم بين 28–87 سنة (المتوسط ± العزل 54.2 ± 12.1 سنة). والمجموعة الخبيثة (n=91) التي تضم 59 ذكرا (64.8٪) و32 أنثى (35.2٪)، ضمن الفئة العمرية 26–89 سنة (متوسط ± المرض 51.6 ± 13.4 سنة)؛ تم استخدام نهج أخذ عينات عشوائية طبقية لتقسيم 198 مريضا إلى مجموعات تدريب (70٪، n=138)، والتحقق (15٪، n=30)، والاختبار (15٪، n=30) مع الحفاظ على نسبة الحميدة إلى الخبيثة عبر جميع المجموعات الفرعية (حيث احتوت كل مجموعة التحقق والاختبار على 16 حالة حميدة و14 حالة خبيثة)، مع إجراء التقسيم على مستوى المريض بدلا من كل شريحة أو صورة لكل صورة. ضمان أن جميع مجموعات التدريب والتحقق والاختبار كانت متعارضة دون تداخل المرضى بينها لمنع تسرب البيانات وتمكين تقييم غير متحيز لقابلية تعميم النموذج.

معالجة البيانات المسبقة

نفذت الدراسة معالجة متقدمة موحدة على جميع صور الرنين المغناطيسي من خلال أربع خطوات رئيسية: تسجيل الصور وإعادة أخذ العينات، إزالة الصور، تعزيز البيانات، والتطبيع. لمعالجة التغيرات في بروتوكولات الرنين المغناطيسي وتحديد موقع المرضى، تم تسجيل جميع أحجام T1WI وT2WI وDWI بشكل صلب في تسلسل T1WI كمساحة مرجعية وأعيد أخذ عينات إلى دقة متساوية الخواص 1 مم3 باستخدام الاستيفاء الثلاثي. ثم تم إجراء إزالة الضوضاء على جميع الأحجام المسجلة باستخدام خوارزمية الوسائل غير المحلية (NLM)رقم 22، مع تعيين معامل التنميم تلقائيا إلى 0.8 ضعف الانحراف المعياري المقدر للضوضاء، ونافذة بحث من 21×21×21 فوكسل، ونافذة تشابه بحجم 7×7×7 فوكسل. يقلل هذا النهج بشكل فعال من الضوضاء العشوائية مع الحفاظ على التفاصيل الهيكلية المهمة. لاحقا، لتوسيع حجم عينة التدريب الفعال، وتحسين تعميم النموذج، والتخفيف من الإفراط في التكييف على مجموعة البيانات المحدودة، تم تطبيق استراتيجيات تعزيز بيانات متعددة، بما في ذلك الدوران العشوائي (±15°) والتدرج العشوائي (0.9–1.1)23،24، بشكل فوري حصريا على صور مجموعة التدريب خلال كل فترة تدريب، مع جميع التحويلات المولدة باستخدام بذرة عشوائية ثابتة مقدارها 42 لإعادة إنتاج كاملة؛ ظلت مجموعات التحقق والاختبار غير معززة لضمان تقييم النموذج الموضوعي. وأخيرا، لإزالة التغيرات المنهجية في شدة الإشارة عبر أجهزة المسح والجلسات المختلفة، تم تطبيق تطبيع درجة Z على كل حجم عن طريق طرح المتوسط والقسمة على الانحراف المعياري، وبعد ذلك تم تعديل قيم البكسل الموحدة خطيا إلى النطاق [0, 1] لتلبية متطلبات الإدخال لإطار التعلم العميق PyTorch25.

بنية النماذج

تقترح الدراسة الحالية إطار عمل تعلم عميق متعدد الوسائط يعتمد على التعلم بقليل من اللقحات يدمج المعلومات التكميلية من تسلسلات الرنين المغناطيسي المتعددة (التصوير المرجح بT1، والتصوير المرجح بT2، والتصوير المرجح بالانتشار) ويدمج آلية تركيز مكاني متعددة المقاييس لتعزيز تمثيل الميزات وأداء التصنيف في ظروف عينة محدودة. تم التقاط جميع أحجام التصوير بالرنين المغناطيسي في المستوى المحوري على نفس الماسح؛ قبل الإدخال، خضعت لتسجيل صلب لضمان المحاذاة المكانية عبر التسلسلات، مع التحقق يدويا من جودة المحاذاة بواسطة أخصائي أشعة كبير، وتم قص الأحجام ثلاثية الأبعاد الكاملة التي تتركز حول آفة الغدة النكفية إلى منطقة موحدة ذات اهتمام، وأعيد أخذ عينات إلى دقة متساوية الاتجاه، وإعادة حجمها إلى أبعاد متسقة. من خلال دمج نموذج التعلم بنظام اللقطة القليلة، ووحدة الانتباه المكاني متعددة المقاييس، ودمج الميزات متعددة الوسائط من خلال الربط على قناة متتالية، يعالج الإطار التحديات المرتبطة بتعميم النماذج في البيئات المحدودة للبيانات ويتيح التعلم القوي للميزات المميزة من عدد قليل من العينات المشروحة، مع موضحة البنية الكاملة في الشكل 1. على الرغم من أن مجموعة البيانات تشمل 198 مريضا، إلا أن نهج الحقن القليلة يعتمد لأن أورام الغدة النكفية تظهر تباينا تصويريا عاليا، وتبقى بيانات الوسائط الجلدية المشروحة محدودة نسبيا مقارنة بتعقيد المهمة، مما يحاكي سيناريوهات سريرية واقعية بشكل أفضل مع أمثلة معنونة نادرة؛ كما تم تقييم نهج تدريب خاضع للمراقبة التقليدية للمقارنة، وتم عرض مزايا تكوين الحقن القليلة في دراسات الاستئصال في قسم النتائج. تستخدم شبكة العمود الفقري R3D-1826 (نسخة ثلاثية الأبعاد من ResNet-18 مع التفافيات مكانية وزمنية كاملة)، مدربة مسبقا على كينيتكس-400، كمستخرج ميزة الوزن المشترك لكل تسلسل تصوير بالرنين المغناطيسي؛ أثناء التكيف، يستخدم رأس شبكة نموذجي لتصنيف اللقاءات القليلة، حيث يتم إدخال وحدة الانتباه المكاني متعددة المقاييس بعد مراحل الالتفاف لكل فرع خاص بالنمط، تليها دمج متعدد الوسائط ومصنف مشترك. تكمن جدة آلية الانتباه المكاني متعددة المقاييس المقترحة في استخدامها مسارات التفافية متوازية بأحجام نواة 1×1، 3×3، و5×5، حيث يولد كل مسار بشكل مستقل خريطة انتباه مكانية في مجال استقبال مختلف يتم تطبيعها لاحقا باستخدام softmax ودمجه التكيفي مع ميزات الإدخال من خلال الجمع المرجح؛ يلتقط هذا التصميم بشكل صريح خصائص الآفات عبر مقاييس مكانية متعددة — من التفاصيل المحلية الدقيقة مثل تباين الإشارة الداخلية إلى الهياكل السياقية الأوسع مثل هوامش الورم والتفاعلات مع الأنسجة المحيطة — ويوفر أداء أفضل مقارنة بوحدات الانتباه التقليدية. تسير استراتيجية الضبط الدقيق على مرحلتين: في البداية، يتم تجميد طبقات العمود الفقري R3D-18 المدربة مسبقا للحفاظ على التمثيلات المكانية والزمانية العامة بينما يتم تدريب وحدات الانتباه، وطبقات الاندماج، والرأس النموذجي فقط؛ بعد ذلك، يتم فك تجميد الكتلتين المتبقيتين الأخيرتين (الطبقة 3 والطبقة 4) من كل عمود فقري لتمكين التكيف الشامل مع الميزات الحجمية الخاصة بالرنين المغناطيسي. تم إجراء التدريب باستخدام محسن آدم بمعدل تعلم ابتدائي 0.0001، مع تقليل بمقدار 0.1 مرة كل 20 فترة من خلال جدولة تراجع الخطوات؛ خضع النموذج ل100 فترة من التدريب الحلقي مع دفعة مكونة من 8 حلقات (كل منها يتضمن مجموعات دعم واستعلام)، متبعا بروتوكول الشوت المحدود القياسي في تكوين K-shot ثنائي الاتجاه (مع K=5 أثناء التدريب الأساسي والتقييم)؛ أجريت جميع التجارب على وحدة معالجة رسومات عالية الأداء بذاكرة 24 جيجابايت، وتم تطبيق بذرة عشوائية ثابتة بقيمة 42 خلال تقسيم البيانات، وتهيئة الوزن، والتعزيز لضمان إمكانية إعادة الإنتاج الكاملة.

نموذج مهمة التعلم القليلة لتصنيف أورام الغدد النكفية

نظرا لمحدودية توفر البيانات المشروحة عالية الجودة لأورام الغدد النكفية وتفاوت التصوير العالي لهذه الآفات، تعتمد هذه الدراسة نموذج التعلم القائم على القياس القائم على اللقاح القليلة رغم أن مجموعة البيانات الكلية تضم 198 مريضا. يستخدم هيكل مهمة مجموعة الدعم–مجموعة الاستعلام لمحاكاة عملية التفكير التشخيصي في الممارسة السريرية، حيث تتوفر عادة عدد قليل من الأمثلة التمثيلية لأنواع الأورام النادرة أو غير المتجانسة. يتم تعريف كل مهمة تدريبية بصيغة N-way K-shot (N=2، والتي تتوافق مع تصنيف الحميدة/الخبيثة)، مما يمكن النموذج من تعلم تمثيلات الميزات التمييزية من عدد قليل من العينات. تحديدا، لكل مهمة، تتضمن مجموعة الدعم K عينات متعددة الوسائط (تصوير موزون بT1، تصوير موزون بوزن T2، وتصوير موزون بالانتشار) لكل فئة لبناء نماذج أولية للفئة، بينما تحتوي مجموعة الاستعلام على عينات سيتم تصنيفها. يقوم النموذج باتخاذ قرارات التصنيف بناء على مقاييس المسافة من خلال حساب التشابه بين ميزات عينة الاستعلام ونماذج الفئات الأولية في فضاء التضمين. تتميز هذه الآلية التعليمية بقدرتها على تحرير النموذج من الاعتماد على البيانات المشروحة واسعة النطاق، مما يجعله أكثر ملاءمة للتطبيقات العملية في البيئات السريرية المحدودة بالبيانات. للمقارنة المباشرة، تم تقييم نهج تدريب خاضع للرقابة تقليدية باستخدام مجموعة التدريب الكاملة دون أخذ عينات قليلة متقطعة، كما تم توضيح مزايا تكوين الجرعات القليلة من حيث التعميم والاستقرار في ظروف العينة المحدودة بشكل كمية في دراسات الاستئصال المقدمة في قسم النتائج.

في مرحلة التصنيف، تستخدم هذه الدراسة شبكة نموذجية كمصنف. لكل فئة c في مجموعة الدعم، يحسب p_c المتجه النموذجي كمتوسط عينات الدعم المدمجة:

figure-protocol-1(1)

حيث f(·) تمثل دالة التضمين (مستخرج الميزات)، figure-protocol-2 وتعد عينة الدعم رقم i من الفئة C، وK هو عدد الطلقات لكل فئة.

بالنسبة لعينة استعلام معينة x، يتم حساب احتمال الانتماء إلى الفئة c باستخدام دالة softmax على المسافات الإقليدية السالبة:

figure-protocol-3(2)

حيث يمثل d(·, ·) دالة المسافة الإقليدية.

البنية المبنية على دمج الميزات متعددة الوسائط

للاستفادة الكاملة من القيمة التكميلية لبيانات الرنين المغناطيسي متعدد التسلسلات، صممت هذه الدراسة شبكة دمج ثلاثية الفروع تعالج التصوير المرجح بوزن T1 (T1WI)، والتصوير المرجح بوزن T2 (T2WI)، والتصوير المرجح بالانتشار (DWI) بشكل منفصل. يخضع كل تسلسل أولا لاستخراج الميزات باستخدام نموذج R3D-18 بوزن مشترك مدرب مسبقا على مجموعة بيانات Kinetics-400 مع أوزان تم الحصول عليها من تنفيذ PyTorch TorchVision الرسمي؛ خلال التكيف، تم تطبيق استراتيجية ضبط دقيق من مرحلتين حيث تم تثبيت جميع طبقات العمود الفقري المدرب مسبقا للحفاظ على التمثيلات المكانية والزمانية العامة، بينما تم تدريب وحدات الانتباه المكاني متعددة المقاييس، وطبقات الاندماج متعددة الوسائط، ورأس الشبكة النموذجي فقط، وبعد ذلك تم فك تجميد الكتلتين المتبقيتين الأخيرتين (الطبقة 3 والطبقة 4) من كل عمود فقري للتكيف الشامل مع الميزات الحجمية الخاصة بالرنين المغناطيسي. مع بقاء الطبقات السابقة (الطبقة الأولى والطبقة الثانية) متجمدة طوال فترة التدريب. تستخدم هذه الشبكة النوى الالتفافية ثلاثية الأبعاد تنزلق عبر الأبعاد المكانية والزمانية لالتقاط الشكل الحجمي للورم والمعلومات السياقية المكانية بفعالية. خلال دمج الميزات، يتم استخدام استراتيجية متقاطعة قائمة على التسلسل، حيث يتم دمج تمثيلات الميزات المعززة بالانتباه من الأنماط الثلاث على طول بعد القناة لتشكيل متجه ميزات متعدد الوسائط شامل. يحافظ هذا النهج على المعلومات الفريدة لكل طريقة — وضوح T1WI التشريحي، حساسية تركيب الأنسجة في T2WI، ووظيفة كثافة الخلايا في DWI — مع تحقيق تكامل فعال للمعلومات التشخيصية، مما يعزز بشكل كبير غنى تعبير الميزات وقوة التمييز.

آلية الانتباه المكاني متعددة المقاييس

تتضمن هذه الدراسة وحدة انتباه مكاني متعددة المستويات لالتقاط خصائص الآفات على مقاييس مكانية مختلفة. كما هو موضح في الشكل 2، تستخدم الوحدة مسارات التفافية متوازية بأحجام نواة 1×1، 3×3، و5×5. كل مسار يولد بشكل مستقل خريطة انتباه مكانية، يتم تطبيعها باستخدام softmax ثم تدمج تكيفيا مع ميزات الإدخال من خلال الجمع الموزون. يتيح هذا التصميم للنموذج التركيز على المناطق الأكثر صلة بالتمييز بين الآفات الحميدة والخبيثة مع تقليل تأثير المناطق الخلفية غير ذات الصلة. قد تساعد خرائط الانتباه الناتجة في إبراز مناطق الاهتمام في الصور.

توفر البيانات:

مجموعة ممثلة من تسلسلات الرنين المغناطيسي متعددة الوسائط المجهولة بالكامل (T1WI، T2WI، DWI) من مجموعة الدراسة متاحة للجمهور في مستودع زينودو على: https://doi.org/10.5281/zenodo.17744149 (الإصدار v1). يتم مشاركة هذه البيانات بموجب رخصة المشاع الإبداعي Attribution 4.0 International (CC-BY 4.0) دون قيود على الوصول. مجموعة البيانات المجهولة بالكامل غير متاحة بعد للجمهور، وسيتم إصدارها في نسخة لاحقة من المستودع بعد النشر الرسمي لهذه المخطوطة، وذلك مع مراعاة الموافقة المؤسسية والأخلاقية.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

النتائج

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

نظرة عامة على أداء النماذج

لتقييم أداء التشخيص للنموذج، تم استخدام مجموعة من المقاييس القياسية، بما في ذلك الدقة، والدقة، والاسترجاع، ودرجة F1. تحت تكوين الحقن الخماسي ثنائي الاتجاه، حقق نموذج التعلم متعدد الوسائط بقليل الحقن المبني على R3D-18 النتائج التالية في مجموعة اختبار تصنيف أورام الغدد النكفية: دقة 96.88٪، دقة 97.50٪، استرجاع 96.88٪، ودرجة F1 96.83٪. تشير مصفوفة الالتباس المعروضة في الشكل 3A إلى أن النموذج...

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

المناقشة

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

في هذه الدراسة، افترضنا أن إطار التعلم العميق متعدد الوسائط بقليل اللقاء، الذي يدمج التصوير بالرنين المغناطيسي متعدد التسلسلات (التصوير المرجح بوزن T1، والتصوير المرجح بوزن T2، والتصوير المرجع بالانتشار) مع آلية الانتباه المكاني متعددة المقاييس، يمكنه التمييز بدقة بين أورام الغدد النكفية الحميدة والخبيثة تحت ظروف بيانات مشروحة محدودة ويتفوق على طرق التعلم العميق التقليدية وأطباء الأشعة ذوي الخبرة.

تدعم النتائج التجريبية هذه الفرضية بقوة. في مجموعة الاختبار الم...

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

الإفصاحات

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

يعلن المؤلفون عدم وجود مصالح مالية أو غير مالية متنافسة.

شكر وتقدير

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

تم تمويل هذا البحث من قبل المؤسسة الوطنية للعلوم الطبيعية في الصين (رقم 82473200)، ومشروع البحث الطبي الرئيسي للجنة الصحة الإقليمية في جيانغسو (رقم K2023061)، ومشروع لجنة الصحة الإقليمية لصحة كبار السن (KLM2023019) إلى YJH

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

المواد

قائمة المواد المستخدمة في هذه المقالة
الاسمالشركةرقم فهرسيالتعليقات
Grad-CAMhttps://github.com/jacobgil/pytorch-grad-cam
NumPy 1.25مطورو نومبيhttps://numpy.org/
الباندا 2.1مطوري البانداhttps://pandas.pydata.org/
بايتشارمجيت برينزhttps://www.jetbrains.com/zh-cn/pycharm/
بايثون 3.10مؤسسة بايثون للبرمجياتhttps://www.python.org/
بايتورش 2.1شركة ميتا پلاتفورمز، إنك.https://pytorch.org/
سكيكيت-ليرن 1.3مطورو Scikit-learnhttps://scikit-learn.org/
شابhttps://github.com/slundberg/shap
نظام التصوير بالرنين المغناطيسي سيمنز ماجنيتوم بريزما 3.0Tسيمنز هيلثاينرزhttps://www.siemens-healthineers.cn/magnetic-resonance-imaging/3t-mri-scanner/magnetom-prisma

المراجع

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Liu, X., Pan, Y., Zhang, X., Sha, Y., Wang, S., et al. A Deep Learning Model for Classification of Parotid Neoplasms Based on Multimodal Magnetic Resonance Image Sequences. Laryngoscope. 133 (2), 327-335 (2023).
  2. Moore, M. G., Yueh, B., Lin, D. T., Bradford, C. R., Smith, R. V., et al. Controversies in the Workup and Surgical Management of Parotid Neoplasms. Otolaryngol Head Neck Surg. 164 (1), 27-36 (2021).
  3. Gautam, S. K., Kumar, S., Singh, H. P., Singh, A. B., Chandra, M. Clinico-Pathological Profile of Parotid Gland Tumors at a Tertiary Care Center in North India. Natl J Maxillofac Surg. 14 (3), 438-443 (2023).
  4. Alshammari, A., Aljufairi, E., Alsayed, A. Oncocytic Mucoepidermoid Carcinoma of the Parotid Gland: Case Report. J Surg Case Rep. 2022 (4), rjac039(2022).
  5. Thielker, J., Grosheva, M., Ihrler, S., Wittig, A., Guntinas-Lichius, O. Contemporary Management of Benign and Malignant Parotid Tumors. Front Surg. 5, 39(2018).
  6. Davachi, B., Imanimoghaddam, M., Majidi, M. R., Sahebalam, A., Johari, M., et al. The Efficacy of Magnetic Resonance Imaging and Color Doppler Ultrasonography in Diagnosis of Salivary Gland Tumors. J Dent Res Dent Clin Dent Prospects. 8 (4), 246-250 (2014).
  7. Pedicelli, A., Trombatore, P., Bartolo, A., Camilli, A., Rossi, E. D., et al. Preoperative Direct Puncture Embolization of Castleman Disease of the Parotid Gland: A Case Report. Curr Oncol. 31 (4), 2047-2056 (2024).
  8. Paris, J., Facon, F., Pascal, T., Chrestian, M., Moulin, G., et al. Preoperative Diagnostic Values of Fine-Needle Cytology and MRI in Parotid Gland Tumors. Eur Arch Otorhinolaryngol. 262 (1), 27-31 (2005).
  9. Yologlu, Z., Aydin, H., Alp, N. A., Aribas, B. K., Kizilgoz, V., et al. Diffusion-Weighted Magnetic Resonance Imaging in the Diagnosis of Parotid Masses: Preliminary Results. Saudi Med J. 37 (12), 1412-1417 (2016).
  10. Stoia, S., et al. Cross-Sectional Imaging and Cytologic Investigations in the Preoperative Diagnosis of Parotid Gland Tumors: An Updated Literature Review. Bosn J Basic Med Sci. 21 (1), 19-32 (2021).
  11. Christe, A., Waldherr, C., Hallett, R., Zbaeren, P., Thoeny, H. MR Imaging of Parotid Tumors: Typical Lesion Characteristics Improve Discrimination Between Benign and Malignant Disease. Am J Neuroradiol. 32 (7), 1202-1207 (2011).
  12. Li, L., Zhao, Y., Luo, D., Yang, L., Hu, L., et al. Diagnostic Value of Single-Source Dual-Energy Spectral Computed Tomography in Differentiating Parotid Gland Tumors: Initial Results. Quant Imaging Med Surg. 8 (6), 588-596 (2018).
  13. Gu, J., Zhong, X., Fang, C., Lou, W., Fu, P., et al. Deep Learning of Multimodal Ultrasound: Stratifying the Response to Neoadjuvant Chemotherapy in Breast Cancer Before Treatment. Oncologist. 29 (2), e187-e197 (2024).
  14. Lu, G., Tian, R., Yang, W., Liu, R., Liu, D., et al. Deep Learning Radiomics Based on Multimodal Imaging for Distinguishing Benign and Malignant Breast Tumors. Front Med. 11, 1402967(2024).
  15. Horasan, A., Güneş, A. Advancing Prostate Cancer Diagnosis: A Deep Learning Approach for Enhanced Detection in MRI Images. Diagnostics. 14 (14), 1871(2024).
  16. Zhang, G., et al. A Deep Learning Model for the Differential Diagnosis of Benign and Malignant Salivary Gland Tumors Based on Ultrasound Imaging and Clinical Data. Quant Imaging Med Surg. 13 (5), 2989-3000 (2023).
  17. Hu, Z., Wang, B., Pan, X., Cao, D., Gao, A., et al. Using Deep Learning to Distinguish Malignant from Benign Parotid Tumors on Plain Computed Tomography Images. Front Oncol. 12, 919088(2022).
  18. Khodabakhshi, Z., et al. MRI-Based Radiomics for Predicting Histology in Malignant Salivary Gland Tumors: Methodology and Proof of Principle. Sci Rep. 14 (1), 9945(2024).
  19. Sreecharan, V., et al. Multiparametric MRI in Diagnosis of Parotid Gland Tumor: An Observational Study in 3-T MRI. Indian J Radiol Imaging. 35 (2), 402-410 (2024).
  20. Chang, Y. J., Huang, T. Y., Liu, Y. J., Chung, H. W., Juan, C. J. Classification of Parotid Gland Tumors by Using Multimodal MRI and Deep Learning. NMR Biomed. 34 (8), e4408(2021).
  21. Parnami, A., Lee, M. Learning from Few Examples: A Summary of Approaches to Few-Shot Learning. ArXiv. abs/2203.04291, (2022).
  22. Buades, A., Coll, B., Morel, J. M. A Non-Local Algorithm for Image Denoising. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), 2, 60-65 (2005).
  23. Maharana, K., Mondal, S., Nemade, B. A Review: Data Pre-Processing and Data Augmentation Techniques. Global Transitions Proceedings, 3, 91-99 (2022).
  24. Mumuni, A., Mumuni, F. Data augmentation: A comprehensive survey of modern approaches. Array. 16, 100258(2022).
  25. Au, R. C., Tan, W. C., Bourbeau, J., Hogg, J. C., Kirby, M. Impact of Image Pre-Processing Methods on Computed Tomography Radiomics Features in Chronic Obstructive Pulmonary Disease. Phys Med Biol. 66 (24), 245015(2021).
  26. Tran, D., Wang, H., Torresani, L., Ray, J., LeCun, Y., et al. A Closer Look at Spatiotemporal Convolutions for Action Recognition. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, , 6450-6459 (2017).
  27. He, K., Zhang, X., Ren, S., Sun, J. Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 770-778 (2016).
  28. Huang, G., Liu, Z., Van Der Maaten, L., Weinberger, K. Q. Densely Connected Convolutional Networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 2261-2269 (2017).
  29. Xie, S., Girshick, R., Dollár, P., Tu, Z., He, K. Aggregated Residual Transformations for Deep Neural Networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 5987-5995 (2017).
  30. Snell, J., Swersky, K., Zemel, R. Prototypical Networks for Few-Shot Learning. NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing System, , 4080-4090 (2017).
  31. Zhou, F., Wang, P., Zhang, L., Wei, W., Zhang, Y. Revisiting Prototypical Network for Cross-Domain Few-Shot Learning. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), , 20061-20070 (2023).
  32. Li, T., et al. Automated Diagnosis of Major Depressive Disorder With Multi-Modal MRIs Based on Contrastive Learning: A Few-Shot Study. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 32, 1566-1576 (2024).
  33. Liu, Q., Tian, Y., Zhou, T., et al. A Few-Shot Disease Diagnosis Decision Making Model Based on Meta-Learning for General Practice. Artif Intell Med. 147, 102718(2024).
  34. Jiao, S., et al. Multi-Modal Contrastive Learning for Medical Image Classification with Limited Training Data. 2024 International Conference on Machine Learning and Applications (ICMLA), , 1083-1088 (2024).
  35. Ouahab, A., Ahmed, O. B. ProtoMed: Prototypical Networks with Auxiliary Regularization for Few-Shot Medical Image Classification. Image and Vision Computing. 154, 105337(2025).
  36. Wang, L., Uddin, I. I., Santosh, K. C. Expert-Guided Explainable Few-Shot Learning with Active Sample Selection for Medical Image Analysis. IEEE Journal of Biomedical and Health Informatics. , (2025).
  37. Hu, J., Shen, L., Sun, G. Squeeze-and-Excitation Networks. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, , 7132-7141 (2018).
  38. Woo, S., Park, J., Lee, J. Y., Kweon, I. S. CBAM: Convolutional Block Attention Module. Computer Vision – ECCV 2018: 15th European Conference, Munich, Germany, September 8–14, 2018, Proceedings, Part VII, , 3-19 (2018).
  39. Wang, Q., et al. ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), , 11534-11542 (2020).
  40. Misra, D., et al. Rotate to Attend: Convolutional Triplet Attention Module. 2021 IEEE Winter Conference on Applications of Computer Vision (WACV), , 3138-3147 (2021).
  41. Selvaraju, R. R., Cogswell, M., Das, A., Vedantam, R., Parikh, D., et al. Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization. 2017 IEEE International Conference on Computer Vision (ICCV), , 618-626 (2017).
  42. Wang, S., Zhang, Y. Grad-CAM: Understanding AI Models. Computers, Materials & Continua. 76 (2), 1321-1324 (2023).
  43. Lundberg, S. M., Lee, S. I. A Unified Approach to Interpreting Model Predictions. NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems, , 4768-4777 (2017).

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

إعادة الطباعة والأذونات

طلب إذن لإعادة استخدام النص أو الأشكال في مقالة JoVE هذه

طلب إذن

الوسوم

Few Shot LearningParotid Gland TumorsMRI DiagnosisSpatial AttentionTumor ClassificationBenign Malignant DifferentiationSmall Sample LearningClinical Decision Support

مقالات ذات صلة