Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Medicine
Click here for the English version

Medicine

نموذج قائم على محول سوين للكشف عن عقيدات الغدة الدرقية في صور الموجات فوق الصوتية

Published: April 21, 2023 doi: 10.3791/64480
Automatic Translation
1, 2, 3, 3, 3, 3, 1, 2
1Department of Ultrasonography, West China Hospital of Sichuan University, 2Department of Thyroid Surgery, West China Hospital of Sichuan University, 3MedAI Technology (Wuxi) Co. Ltd.

Summary

هنا ، يقترح نموذج جديد للكشف عن عقيدات الغدة الدرقية في صور الموجات فوق الصوتية ، والذي يستخدم Swin Transformer كعمود فقري لإجراء نمذجة السياق طويلة المدى. تثبت التجارب أنه يعمل بشكل جيد من حيث الحساسية والدقة.

Abstract

في السنوات الأخيرة ، تزايد معدل الإصابة بسرطان الغدة الدرقية. يعد اكتشاف عقيدات الغدة الدرقية أمرا بالغ الأهمية للكشف عن سرطان الغدة الدرقية وعلاجه. حققت الشبكات العصبية التلافيفية (CNNs) نتائج جيدة في مهام تحليل صور الموجات فوق الصوتية للغدة الدرقية. ومع ذلك ، نظرا لمحدودية مجال الاستقبال الصحيح للطبقات التلافيفية ، تفشل شبكات CNN في التقاط التبعيات السياقية طويلة المدى ، والتي تعتبر مهمة لتحديد عقيدات الغدة الدرقية في صور الموجات فوق الصوتية. شبكات المحولات فعالة في التقاط المعلومات السياقية طويلة المدى. مستوحاة من هذا ، نقترح طريقة جديدة للكشف عن عقيدات الغدة الدرقية تجمع بين العمود الفقري لمحول سوين و Faster R-CNN. على وجه التحديد ، يتم عرض صورة الموجات فوق الصوتية أولا في تسلسل 1D من عمليات التضمين ، والتي يتم إدخالها بعد ذلك في محول سوين الهرمي.

يتميز العمود الفقري لمحول Swin بخمسة مقاييس مختلفة من خلال استخدام النوافذ المتغيرة لحساب الانتباه الذاتي. بعد ذلك ، يتم استخدام شبكة هرمية للمعالم (FPN) لدمج الميزات من مقاييس مختلفة. أخيرا ، يتم استخدام رأس الكشف للتنبؤ بالمربعات المحيطة ودرجات الثقة المقابلة. تم استخدام البيانات التي تم جمعها من 2,680 مريضا لإجراء التجارب ، وأظهرت النتائج أن هذه الطريقة حققت أفضل درجة mAP بنسبة 44.8٪ ، متفوقة على خطوط الأساس المستندة إلى CNN. بالإضافة إلى ذلك ، اكتسبنا حساسية أفضل (90.5٪) من المنافسين. يشير هذا إلى أن نمذجة السياق في هذا النموذج فعالة للكشف عن عقيدات الغدة الدرقية.

Introduction

ازداد معدل الإصابة بسرطان الغدة الدرقية بسرعة منذ عام 1970 ، خاصة بين النساء في منتصف العمر1. قد تتنبأ عقيدات الغدة الدرقية بظهور سرطان الغدة الدرقية ، ومعظم عقيدات الغدة الدرقية بدون أعراض2. الكشف المبكر عن عقيدات الغدة الدرقية مفيد جدا في علاج سرطان الغدة الدرقية. لذلك ، وفقا لإرشادات الممارسة الحالية ، يجب أن يخضع جميع المرضى الذين يعانون من تضخم الغدة الدرقية العقدي المشتبه به في الفحص البدني أو الذين لديهم نتائج تصوير غير طبيعية لمزيد من الفحص 3,4.

الموجات فوق الصوتية للغدة الدرقية (الولايات المتحدة) هي طريقة شائعة تستخدم للكشف عن آفات الغدة الدرقية وتوصيفها 5,6. الولايات المتحدة هي تقنية مريحة وغير مكلفة وخالية من الإشعاع. ومع ذلك ، فإن تطبيق الولايات المتحدة يتأثر بسهولة بالمشغل 7,8. يمكن تمييز ميزات مثل الشكل والحجم والصدى والملمس للعقيدات الدرقية بسهولة على الصور الأمريكية. على الرغم من أن بعض السمات الأمريكية - التكلسات ، والصدى ، والحدود غير المنتظمة - غالبا ما تعتبر معايير لتحديد عقيدات الغدة الدرقية ، إلا أن وجود تباين بين المراقبين أمر لا مفر منه 8,9. تختلف نتائج تشخيص أخصائيي الأشعة بمستويات مختلفة من الخبرة. من المرجح أن يخطئ أخصائيو الأشعة عديمي الخبرة في التشخيص أكثر من أخصائيي الأشعة ذوي الخبرة. يمكن أن تؤدي بعض خصائص الولايات المتحدة مثل الانعكاسات والظلال والأصداء إلى تدهور جودة الصورة. هذا التدهور في جودة الصورة الناجم عن طبيعة التصوير الأمريكي يجعل من الصعب حتى على الأطباء ذوي الخبرة تحديد موقع العقيدات بدقة.

تطور التشخيص بمساعدة الكمبيوتر (CAD) لعقيدات الغدة الدرقية بسرعة في السنوات الأخيرة ويمكن أن يقلل بشكل فعال من الأخطاء التي يسببها الأطباء المختلفون ويساعد أخصائيي الأشعة على تشخيص العقيدات بسرعة ودقة10,11. تم اقتراح العديد من أنظمة CAD المستندة إلى CNN لتحليل عقيدات الغدة الدرقية الأمريكية ، بما في ذلك التجزئة12،13 ، والكشف 14،15 ، والتصنيف16،17. CNN هو نموذج تعليمي متعدد الطبقات وخاضع للإشراف18 ، والوحدات الأساسية ل CNN هي طبقات الالتفاف والتجميع. يتم استخدام طبقات الالتفاف لاستخراج المعالم ، ويتم استخدام طبقات التجميع لاختزال العينات. يمكن لطبقات الظل التلافيفية استخراج الميزات الأساسية مثل النسيج والحواف والخطوط ، بينما تتعلم الطبقات التلافيفية العميقة ميزات دلالية عالية المستوى.

حققت CNNs نجاحا كبيرا في رؤية الكمبيوتر19،20،21. ومع ذلك ، تفشل شبكات CNN في التقاط التبعيات السياقية طويلة المدى بسبب المجال المستقبلي الصالح المحدود للطبقات التلافيفية. في الماضي ، كانت البنى الأساسية لتصنيف الصور تستخدم في الغالب شبكات CNN. مع ظهور Vision Transformer (ViT)22,23 ، تغير هذا الاتجاه ، والآن تستخدم العديد من النماذج الحديثة المحولات كعمود فقري. استنادا إلى تصحيحات الصور غير المتداخلة ، يستخدم ViT مشفر محول قياسي25 لنمذجة العلاقات المكانية عالميا. يقدم Swin Transformer24 أيضا نوافذ التحول لتعلم الميزات. لا توفر نوافذ التحول كفاءة أكبر فحسب ، بل تقلل أيضا بشكل كبير من طول التسلسل لأن الاهتمام الذاتي يتم حسابه في النافذة. في الوقت نفسه ، يمكن إجراء التفاعل بين نافذتين متجاورتين من خلال تشغيل التحول (الحركة). أدى التطبيق الناجح لمحول سوين في رؤية الكمبيوتر إلى التحقيق في البنى القائمة على المحولات لتحليل صور الموجات فوق الصوتية26.

في الآونة الأخيرة ، اقترح Li et al. نهج التعلم العميق28 للكشف عن سرطان الغدة الدرقية الحليمي المستوحى من Faster R-CNN27. أسرع R-CNN هي بنية كلاسيكية للكشف عن الكائنات تستند إلى CNN. يحتوي Faster R-CNN الأصلي على أربع وحدات - العمود الفقري ل CNN ، وشبكة اقتراح المنطقة (RPN) ، وطبقة تجميع عائد الاستثمار ، ورأس الكشف. يستخدم العمود الفقري ل CNN مجموعة من طبقات conv + bn + relu + التجميع الأساسية لاستخراج خرائط المعالم من صورة الإدخال. بعد ذلك ، يتم إدخال خرائط المعالم في RPN وطبقة تجميع عائد الاستثمار. ويتمثل دور شبكة RPN في وضع مقترحات إقليمية. تستخدم هذه الوحدة softmax لتحديد ما إذا كانت نقاط الارتساء موجبة وتولد نقاط ارتساء دقيقة عن طريق انحدار المربع المحيط. تستخرج طبقة تجميع عائد الاستثمار خرائط معالم الاقتراح من خلال جمع خرائط معالم الإدخال والمقترحات وتغذي خرائط معالم الاقتراح في رأس الكشف التالي. يستخدم رأس الكشف خرائط معالم الاقتراح لتصنيف الكائنات والحصول على مواضع دقيقة لمربعات الكشف عن طريق انحدار المربع المحيط.

تقدم هذه الورقة شبكة جديدة للكشف عن عقيدات الغدة الدرقية تسمى Swin Faster R-CNN تم تشكيلها عن طريق استبدال العمود الفقري ل CNN في Faster R-CNN بمحول Swin ، مما يؤدي إلى استخراج أفضل لميزات اكتشاف العقيدات من صور الموجات فوق الصوتية. وبالإضافة إلى ذلك، تستخدم الشبكة الهرمية للمعالم (FPN)29 لتحسين أداء الكشف عن نموذج العقيدات ذات الأحجام المختلفة عن طريق تجميع السمات ذات المقاييس المختلفة.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

تمت الموافقة على هذه الدراسة بأثر رجعي من قبل مجلس المراجعة المؤسسية لمستشفى غرب الصين ، جامعة سيتشوان ، سيتشوان ، الصين ، وتم التنازل عن شرط الحصول على الموافقة المستنيرة.

1. إعداد البيئة

  1. برنامج وحدة معالجة الرسومات (GPU)
    1. لتنفيذ تطبيقات التعلم العميق ، قم أولا بتكوين البيئة المتعلقة بوحدة معالجة الرسومات. قم بتنزيل وتثبيت البرامج وبرامج التشغيل المناسبة لوحدة معالجة الرسومات من موقع GPU على الويب.
      ملاحظة: انظر جدول المواد لتلك المستخدمة في هذه الدراسة.
  2. تثبيت بايثون 3.8
    1. افتح محطة طرفية على الجهاز. اكتب ما يلي:
      سطر الأوامر: sudo apt-get install python3.8 python-dev python-virtualenv
  3. تركيب الشعلة 1.7
    1. اتبع الخطوات الموجودة على الموقع الرسمي لتنزيل Miniconda وتثبيته.
    2. إنشاء بيئة كوندا وتنشيطها.
      سطر الأوامر: كوندا إنشاء --name SwinFastRCNN python = 3.8 -y
      سطر الأوامر: كوندا تنشيط SwinFastRCNN
    3. تثبيت Pytorch.
      سطر الأوامر: كوندا تثبيت pytorch == 1.7.1 torchvision == 0.8.2 torchaudio == 0.7.2
  4. تركيب MMDetection
    1. استنساخ من مستودع جيثب الرسمي.
      سطر الأوامر: استنساخ بوابة https://github.com/open-mmlab/mmdetection.git
    2. تثبيت MMDetection.
      سطر الأوامر: مؤتمر نزع السلاح mmdetection
      سطر الأوامر: نقطة تثبيت -v -e .

2. إعداد البيانات

  1. جمع البيانات
    1. جمع صور الموجات فوق الصوتية (هنا ، 3000 حالة من مستشفى من الدرجة الأولى). تأكد من أن كل حالة لديها سجلات تشخيصية وخطط علاج وتقارير أمريكية وصور أمريكية مقابلة.
    2. ضع جميع الصور الأمريكية في مجلد باسم "الصور".
      ملاحظة: تضمنت البيانات المستخدمة في هذه الدراسة 3,853 صورة أمريكية من 3,000 حالة.
  2. تنظيف البيانات
    1. تحقق يدويا من مجموعة البيانات بحثا عن صور للمناطق غير الدرقية، مثل الصور اللمفاوية.
    2. تحقق يدويا من مجموعة البيانات بحثا عن الصور التي تحتوي على تدفق دوبلر ملون.
    3. احذف الصور المحددة في الخطوتين السابقتين.
      ملاحظة: بعد تنظيف البيانات ، تم ترك 3000 صورة من 2680 حالة.
  3. التعليق التوضيحي للبيانات
    1. اطلب من أحد كبار الأطباء تحديد موقع منطقة العقيدات في صورة الولايات المتحدة وتحديد حدود العقيدات.
      ملاحظة: يمكن العثور على برنامج التعليقات التوضيحية والعملية في الملف التكميلي 1.
    2. اطلب من طبيب كبير آخر مراجعة نتائج التعليقات التوضيحية ومراجعتها.
    3. ضع البيانات المشروحة في مجلد منفصل يسمى "التعليقات التوضيحية".
  4. تقسيم البيانات
    1. قم بتشغيل البرنامج النصي python ، وقم بتعيين مسار الصورة في الخطوة 2.1.2 ومسارات التعليقات التوضيحية في الخطوة 2.3.3. قسم جميع الصور والملفات المسماة المقابلة بشكل عشوائي إلى مجموعات تدريب وتحقق بنسبة 8: 2. احفظ بيانات مجموعة التدريب في مجلد "التدريب" وبيانات مجموعة التحقق من الصحة في مجلد "Val".
      ملاحظة: يتم توفير البرامج النصية Python في الملف التكميلي 2.
  5. التحويل إلى تنسيق مجموعة بيانات CoCo
    ملاحظة: لاستخدام MMDetection، قم بمعالجة البيانات في تنسيق مجموعة بيانات CoCo، والذي يتضمن ملف json الذي يحتوي على معلومات التعليق التوضيحي ومجلد صور يحتوي على الصور الأمريكية.
    1. قم بتشغيل البرنامج النصي python ، وأدخل مسارات مجلد التعليقات التوضيحية (الخطوة 2.3.3) لاستخراج مناطق العقيدات التي حددها الطبيب وتحويلها إلى أقنعة. احفظ جميع الأقنعة في مجلد "الأقنعة".
      ملاحظة: يتم توفير البرامج النصية Python في الملف التكميلي 3.
    2. قم بتشغيل البرنامج النصي python ، وقم بتعيين مسار مجلد الأقنعة في الخطوة 2.5.1 لتحويل البيانات إلى مجموعة بيانات بتنسيق CoCo وإنشاء ملف json مع الصور الأمريكية.
      ملاحظة: يتم توفير البرامج النصية Python في الملف التكميلي 4.

3. سوين أسرع تكوين RCNN

  1. قم بتنزيل ملف نموذج Swin Transformer (https://github.com/microsoft/Swin-Transformer/blob/main/models/swin_transformer.py) ، وقم بتعديله ، وضعه في مجلد "mmdetection / mmdet / models / العمود الفقري /". افتح ملف "swin_transformer.py" في محرر نصوص vim ، وقم بتعديله كملف نموذج Swin Transformer المتوفر في الملف التكميلي 5.
    سطر الأوامر: vim swin_transformer.py
  2. قم بعمل نسخة من ملف تكوين R-CNN الأسرع ، وقم بتغيير العمود الفقري إلى Swin Transformer ، وقم بإعداد معلمات FPN.
    سطر الأوامر: cd mmdetection / configs / faster_rcnn
    سطر الأوامر: cp faster_rcnn_r50_fpn_1x_coco.py swin_faster_rcnn_swin.py
    ملاحظة: يتم توفير ملف تكوين Swin Faster R-CNN (swin_faster_rcnn_swin.py) في الملف التكميلي 6. يظهر هيكل شبكة Swin Faster R-CNN في الشكل 1.
  3. قم بتعيين مسار مجموعة البيانات إلى مسار مجموعة بيانات تنسيق CoCo (الخطوة 2.5.2) في ملف التكوين. افتح ملف "coco_detection.py" في محرر نصوص vim ، وقم بتعديل السطر التالي:
    data_root = "مسار مجموعة البيانات (الخطوة 2.5.2)"
    سطر الأوامر: vim mmdetection / configs / _base_ / datasets / coco_detection.py

4. تدريب سوين أسرع R-CNN

  1. قم بتحرير mmdetection/configs/_base_/schedules/schedule_1x.py، وقم بتعيين المعلمات الافتراضية المتعلقة بالتدريب، بما في ذلك معدل التعلم والمحسن والعصر. افتح ملف "schedule_1x.py" في محرر نصوص vim ، وقم بتعديل الأسطر التالية:
    محسن = dict (النوع = "AdamW" ، lr = 0.001 ، الزخم = 0.9 ، weight_decay = 0.0001)
    عداء = dict (النوع = 'EpochBasedRunner' ، max_epochs = 48)
    سطر الأوامر: vim mmdetection / configs / _base_ / schedules / schedule_1x.py
    ملاحظة: في هذا البروتوكول لهذه الورقة ، تم تعيين معدل التعلم على 0.001 ، وتم استخدام محسن AdamW ، وتم تعيين الحد الأقصى لحقبة التدريب على 48 ، وتم تعيين حجم الدفعة على 16.
  2. ابدأ التدريب بكتابة الأوامر التالية. انتظر حتى تبدأ الشبكة في التدريب لمدة 48 حقبة وحتى يتم إنشاء الأوزان المدربة الناتجة لشبكة Swin Faster R-CNN في مجلد الإخراج. احفظ أوزان النموذج بأعلى دقة في مجموعة التحقق من الصحة.
    سطر الأوامر: مؤتمر نزع السلاح mmdetection
    سطر الأوامر: أدوات بيثون / قطار .py congfigs / faster_rcnn / swin_faster_rcnn_swin.py --work-dir ./work_dirs
    ملاحظة: تم تدريب النموذج على وحدة معالجة الرسومات "NVIDIA GeForce RTX3090 24G". كانت وحدة المعالجة المركزية المستخدمة هي "معالج AMD Epyc 7742 64-core × 128" ، وكان نظام التشغيل Ubuntu 18.06. كان وقت التدريب الإجمالي ~ 2 ساعة.

5. إجراء الكشف عن عقيدات الغدة الدرقية على صور جديدة

  1. بعد التدريب ، حدد النموذج الذي يتمتع بأفضل أداء في مجموعة التحقق من الصحة للكشف عن عقيدات الغدة الدرقية في الصور الجديدة.
    1. أولا ، قم بتغيير حجم الصورة إلى 512 بكسل × 512 بكسل ، وقم بتطبيعها. يتم تنفيذ هذه العمليات تلقائيا عند تشغيل البرنامج النصي للاختبار.
      سطر الأوامر: أدوات بيثون / اختبار .py congfigs / faster_rcnn / swin_faster_rcnn_swin.py - خارج ./الإخراج
    2. انتظر حتى يقوم البرنامج النصي بتحميل معلمات النموذج المدرب مسبقا تلقائيا إلى Swin Faster R-CNN ، وقم بتغذية الصورة المعالجة مسبقا في Swin Faster R-CNN للاستدلال. انتظر حتى يقوم Swin Faster R-CNN بإخراج مربع التنبؤ لكل صورة.
    3. أخيرا ، اسمح للبرنامج النصي بإجراء معالجة NMS اللاحقة تلقائيا على كل صورة لإزالة مربعات الكشف المكررة.
      ملاحظة: يتم إخراج نتائج الكشف إلى المجلد المحدد ، والذي يحتوي على الصور مع مربعات الكشف وإحداثيات المربع المحيط في ملف معبأ.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

تم جمع صور الغدة الدرقية الأمريكية من مستشفيين في الصين من سبتمبر 2008 إلى فبراير 2018. كانت معايير الأهلية لتضمين الصور الأمريكية في هذه الدراسة هي الفحص الأمريكي التقليدي قبل الخزعة والعلاج الجراحي ، والتشخيص بالخزعة أو علم الأمراض بعد الجراحة ، والعمر ≥ 18 عاما. كانت معايير الاستبعاد هي الصور بدون أنسجة الغدة الدرقية.

تضمنت صور الموجات فوق الصوتية البالغ عددها 3000 صورة 1384 عقيدة خبيثة و 1616 عقيدة حميدة. كانت غالبية (90٪) من العقيدات الخبيثة سرطانا حليميا، و 66٪ من العقيدات الحميدة كانت تضخم الغدة الدرقية عقيدية. هنا ، كانت 25٪ من العقيدات أصغر من 5 مم ، و 38٪ بين 5 مم و 10 مم ، و 37٪ كانت أكبر من 10 مم.

تم جمع جميع الصور الأمريكية باستخدام Philips IU22 و DC-80 ، وتم استخدام وضع فحص الغدة الدرقية الافتراضي. تم تجهيز كلا الجهازين بمجسات خطية 5-13 ميجاهرتز. من أجل التعرض الجيد لهوامش الغدة الدرقية السفلية ، تم فحص جميع المرضى في وضع ضعيف مع تمديد ظهورهم. تم فحص كل من فص الغدة الدرقية والبرزخ في المستويين الطولي والعرضي وفقا لمعايير اعتماد الكلية الأمريكية للأشعة. تم إجراء جميع الفحوصات من قبل اثنين من كبار أخصائيي أشعة الغدة الدرقية مع ≥10 سنوات من الخبرة السريرية. استند تشخيص الغدة الدرقية إلى النتائج النسيجية المرضية من خزعة الشفط بالإبرة الدقيقة أو جراحة الغدة الدرقية.

في الحياة الواقعية ، نظرا لأن الصور الأمريكية تالفة بسبب الضوضاء ، فمن المهم إجراء معالجة مسبقة مناسبة للصور الأمريكية ، مثل تقليل تشويش الصورة بناء على تحويل المويجات30 ، والاستشعار الانضغاطي 31 ، ومعادلة الرسم البياني32. في هذا العمل ، استخدمنا معادلة الرسم البياني للمعالجة المسبقة للصور الأمريكية ، وتحسين جودة الصورة ، وتخفيف تدهور جودة الصورة الناجم عن الضوضاء.

في ما يلي ، يشار إلى الإيجابية الحقيقية والإيجابية الخاطئة والسالبة الحقيقية والسالبة الخاطئة باسم TP و FP و TN و FN على التوالي. استخدمنا mAP والحساسية والنوعية لتقييم أداء اكتشاف العقيدات في النموذج. mAP هو مقياس شائع في اكتشاف الكائنات. تم حساب الحساسية والنوعية باستخدام المعادلة (1) والمعادلة (2):

Equation 1 (1)

Equation 2 (2)

في هذه الورقة ، يتم تعريف TP على أنه عدد العقيدات المكتشفة بشكل صحيح ، والتي لها تقاطع على الاتحاد (IoU) بين مربع التنبؤ ومربع الحقيقة الأرضي >0.3 ودرجة ثقة >0.6. IoU هو التقاطع على الاتحاد ، والذي يتم حسابه باستخدام المعادلة (3):

Equation 3 (3)

قارنا العديد من شبكات الكشف عن الكائنات الكلاسيكية ، بما في ذلك SSD 33 و YOLO-v334 و Faster R-CNN27 و RetinaNet 35 و DETR 36 المستندة إلى العمود الفقري CNN. YOLO-v3 و SSD عبارة عن شبكات كشف أحادية المرحلة ، و DETR عبارة عن شبكة للكشف عن الكائنات قائمة على المحولات ، و Faster R-CNN و RetinaNet هي شبكات كشف على مرحلتين. يوضح الجدول 1 أن أداء Swin Faster R-CNN متفوق على الطرق الأخرى ، حيث يصل إلى 0.448 mAP ، وهو أعلى بمقدار 0.028 من العمود الفقري ل CNN Faster R-CNN و 0.037 أعلى من YOLO-v3. باستخدام Swin Faster R-CNN ، يمكن اكتشاف 90.5٪ من عقيدات الغدة الدرقية تلقائيا ، وهو ~ 3٪ أعلى من العمود الفقري ل CNN Faster R-CNN (87.1٪). كما هو موضح في الشكل 2 ، فإن استخدام Swin Transformer باعتباره العمود الفقري يجعل تحديد موضع الحدود أكثر دقة.

Figure 1
الشكل 1: رسم تخطيطي لبنية شبكة Swin Faster R-CNN. الرجاء الضغط هنا لعرض نسخة أكبر من هذا الشكل.

Figure 2
الشكل 2: نتائج الكشف. توجد نتائج الكشف لنفس الصورة في صف معين. الأعمدة هي نتائج الكشف ، من اليسار إلى اليمين ، ل Swin Faster R-CNN و Faster R-CNN و YOL-v3 و SSD و RetinaNet و DETR ، على التوالي. يتم تمييز الحقائق الأرضية للمناطق بصناديق مستطيلة خضراء. يتم تأطير نتائج الكشف بواسطة الصناديق المستطيلة الحمراء. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

أسلوب عمود فقري خريطة حساسية خصوصيه
يولو-v3 دارك نت 0.411 0.869 0.877
فرقه في جي جي 16 0.425 0.841 0.849
ريتينا نت ريسنت 50 0.382 0.845 0.841
أسرع R-CNN ريسنت 50 0.42 0.871 0.864
ديتر ريسنت 50 0.416 0.882 0.86
سوين أسرع R-CNN دون FPN سوين محول 0.431 0.897 0.905
سوين أسرع R-CNN مع FPN 0.448 0.905 0.909

الجدول 1: مقارنة الأداء مع أحدث طرق الكشف عن الكائنات.

الملف التكميلي 1: تعليمات التشغيل للتعليق التوضيحي للبيانات والبرنامج المستخدم. الرجاء الضغط هنا لتنزيل هذا الملف.

الملف التكميلي 2: يستخدم برنامج Python النصي لتقسيم مجموعة البيانات إلى مجموعة التدريب ومجموعة التحقق من الصحة ، كما هو مذكور في الخطوة 2.4.1. الرجاء الضغط هنا لتنزيل هذا الملف.

الملف التكميلي 3: يستخدم برنامج Python النصي لتحويل ملف التعليقات التوضيحية إلى أقنعة، كما هو مذكور في الخطوة 2.5.1. الرجاء الضغط هنا لتنزيل هذا الملف.

الملف التكميلي 4: يستخدم برنامج Python النصي لتحويل البيانات إلى مجموعة بيانات بتنسيق CoCo ، كما هو مذكور في الخطوة 2.5.2. الرجاء الضغط هنا لتنزيل هذا الملف.

الملف التكميلي 5: ملف نموذج محول سوين المعدل المذكور في الخطوة 3.1. الرجاء الضغط هنا لتنزيل هذا الملف.

الملف التكميلي 6: ملف تكوين Swin Faster R-CNN المذكور في الخطوة 3.2. الرجاء الضغط هنا لتنزيل هذا الملف.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

تصف هذه الورقة بالتفصيل كيفية إجراء إعداد البيئة وإعداد البيانات وتكوين النموذج والتدريب على الشبكة. في مرحلة إعداد البيئة ، يحتاج المرء إلى الانتباه للتأكد من أن المكتبات التابعة متوافقة ومتطابقة. معالجة البيانات هي خطوة مهمة للغاية. يجب بذل الوقت والجهد لضمان دقة التعليقات التوضيحية. عند تدريب النموذج ، قد تصادف "ModuleNotFoundError". في هذه الحالة ، من الضروري استخدام الأمر "pip install" لتثبيت المكتبة المفقودة. إذا لم ينخفض فقدان مجموعة التحقق من الصحة أو تذبذب بشكل كبير ، فيجب على المرء التحقق من ملف التعليق التوضيحي ومحاولة ضبط معدل التعلم وحجم الدفعة لجعل الخسارة تتقارب.

الكشف عن عقيدات الغدة الدرقية مهم جدا لعلاج سرطان الغدة الدرقية. يمكن لنظام CAD مساعدة الأطباء في الكشف عن العقيدات ، وتجنب الاختلافات في نتائج التشخيص الناجمة عن العوامل الذاتية ، وتقليل الكشف الفائت عن العقيدات. بالمقارنة مع أنظمة CAD الحالية القائمة على CNN ، تقدم الشبكة المقترحة في هذه الورقة محول Swin لاستخراج ميزات صورة الموجات فوق الصوتية. من خلال التقاط التبعيات لمسافات طويلة ، يمكن ل Swin Faster R-CNN استخراج ميزات العقيدات من صور الموجات فوق الصوتية بشكل أكثر كفاءة. تظهر النتائج التجريبية أن Swin Faster R-CNN يحسن حساسية اكتشاف العقيدات بنسبة ~ 3٪ مقارنة ب Faster R-CNN القائم على العمود الفقري CNN. يمكن أن يؤدي تطبيق هذه التقنية إلى تقليل العبء على الأطباء بشكل كبير ، حيث يمكنها اكتشاف عقيدات الغدة الدرقية في الفحص المبكر بالموجات فوق الصوتية وتوجيه الأطباء لمزيد من العلاج. ومع ذلك ، نظرا للعدد الكبير من معلمات Swin Transformer ، فإن وقت الاستدلال ل Swin Faster R-CNN هو ~ 100 مللي ثانية لكل صورة (تم اختباره على وحدة معالجة الرسومات NVIDIA TITAN 24G ووحدة المعالجة المركزية AMD Epyc 7742). قد يكون من الصعب تلبية متطلبات التشخيص في الوقت الفعلي باستخدام Swin Faster R-CNN. في المستقبل ، سنستمر في جمع الحالات للتحقق من فعالية هذه الطريقة وإجراء المزيد من الدراسات حول تحليل صور الموجات فوق الصوتية الديناميكية.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

يعلن أصحاب البلاغ عدم وجود تضارب في المصالح.

Acknowledgments

تم دعم هذه الدراسة من قبل المؤسسة الوطنية للعلوم الطبيعية في الصين (المنحة رقم 32101188) والمشروع العام لإدارة العلوم والتكنولوجيا في مقاطعة سيتشوان (المنحة رقم 2021YFS0102) ، الصين.

Materials

Name Company Catalog Number Comments
GPU RTX3090 Nvidia 1 24G GPU
mmdetection2.11.0 SenseTime 4 https://github.com/open-mmlab/mmdetection.git
python3.8 — 2 https://www.python.org
pytorch1.7.1 Facebook 3 https://pytorch.org

DOWNLOAD MATERIALS LIST

References

  1. Grant, E. G., et al. Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee. Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).
  2. Zhao, J., Zheng, W., Zhang, L., Tian, H. Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology. Health Information Science and Systems. 1, 5 (2013).
  3. Haugen, B. R. American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed. Cancer. 123 (3), 372-381 (2017).
  4. Shin, J. H., et al. Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations. Korean Journal of Radiology. 17 (3), 370-395 (2016).
  5. Horvath, E., et al. An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management. The Journal of Clinical Endocrinology & Metabolism. 94 (5), 1748-1751 (2009).
  6. Park, J. -Y., et al. A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma. Thyroid. 19 (11), 1257-1264 (2009).
  7. Moon, W. -J., et al. Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study. Radiology. 247 (3), 762-770 (2008).
  8. Park, C. S., et al. Observer variability in the sonographic evaluation of thyroid nodules. Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).
  9. Kim, S. H., et al. Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules. Korean Journal of Radiology. 11 (2), 149-155 (2010).
  10. Choi, Y. J., et al. A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment. Thyroid. 27 (4), 546-552 (2017).
  11. Chang, T. -C. The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography. Journal of Medical Ultrasound. 23 (4), 177-184 (2015).
  12. Fully convolutional networks for ultrasound image segmentation of thyroid nodules. Li, X. IEEE 20th International Conference on High Performance Computing and Communications; IEEE 16th International Conference on Smart City; IEEE 4th International Conference on Data Science and Systems (HPCC/SmartCity/DSS), , 886-890 (2018).
  13. Nguyen, D. T., Choi, J., Park, K. R. Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks. Mathematics. 10 (19), 3484 (2022).
  14. Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images. Medical Physics. 44 (5), 1678-1691 (2017).
  15. Song, W., et al. Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition. IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).
  16. Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images. Wang, J., et al. 2018 25Th IEEE International Conference on Image Processing (ICIP), , IEEE. 3114-3118 (2018).
  17. Wang, L., et al. A multi-scale densely connected convolutional neural network for automated thyroid nodule classification. Frontiers in Neuroscience. 16, 878718 (2022).
  18. Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Communications of the ACM. 60 (6), 84-90 (2017).
  19. He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).
  20. Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. Relation networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).
  21. Szegedy, C., et al. Going deeper with convolutions. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).
  22. Dosovitskiy, A., et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929. , (2020).
  23. Touvron, H., et al. Training data-efficient image transformers & distillation through attention. arXiv:2012.12877. , (2021).
  24. Liu, Z., et al. Swin Transformer: Hierarchical vision transformer using shifted windows. 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).
  25. Vaswani, A., et al. Attention is all you need. Advances in Neural Information Processing Systems. 30, (2017).
  26. Chen, J., et al. TransUNet: Transformers make strong encoders for medical image segmentation. arXiv. arXiv:2102.04306. , (2021).
  27. Ren, S., He, K., Girshick, R., Sun, J. Faster r-cnn: Towards real-time object detection with region proposal networks. Advances in Neural Information Processing Systems. 28, 91-99 (2015).
  28. Li, H., et al. An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images. Scientific Reports. 8, 6600 (2018).
  29. Lin, T. -Y., et al. Feature pyramid networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).
  30. Ouahabi, A. A review of wavelet denoising in medical imaging. 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).
  31. Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. Image denoising using a compressive sensing approach based on regularization constraints. Sensors. 22 (6), 2199 (2022).
  32. Castleman, K. R. Digital Image Processing. , Prentice Hall Press. Hoboken, NJ. (1996).
  33. Liu, W., et al. Ssd: Single shot multibox detector. European Conference on Computer Vision. , 21-37 (2016).
  34. Redmon, J., Farhadi, A. Yolov3: An incremental improvement. arXiv. arXiv:1804.02767. , (2018).
  35. Lin, T. -Y., Goyal, P., Girshick, R., He, K., Dollár, P. Focalloss for dense object detection. arXiv. arXiv:1708.02002. , (2017).
  36. Carion, N., et al. End-to-end object detection with transformers. Computer Vision-ECCV 2020: 16th European Conference. , Glasgow, UK. 23-28 (2020).

Tags

الطب، العدد 194،
نموذج قائم على محول سوين للكشف عن عقيدات الغدة الدرقية في صور الموجات فوق الصوتية
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Tian, Y., Zhu, J., Zhang, L., Mou,… More

Tian, Y., Zhu, J., Zhang, L., Mou, L., Zhu, X., Shi, Y., Ma, B., Zhao, W. A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images. J. Vis. Exp. (194), e64480, doi:10.3791/64480 (2023).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter