Waiting
Elaborazione accesso...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Medicine
Click here for the English version

Medicine

अल्ट्रासाउंड छवियों में थायराइड नोड्यूल का पता लगाने के लिए एक स्विन ट्रांसफार्मर-आधारित मॉडल

Published: April 21, 2023 doi: 10.3791/64480
Automatic Translation
1, 2, 3, 3, 3, 3, 1, 2
1Department of Ultrasonography, West China Hospital of Sichuan University, 2Department of Thyroid Surgery, West China Hospital of Sichuan University, 3MedAI Technology (Wuxi) Co. Ltd.

Summary

यहां, अल्ट्रासाउंड छवियों में थायरॉयड नोड्यूल का पता लगाने के लिए एक नया मॉडल प्रस्तावित है, जो लंबी दूरी के संदर्भ मॉडलिंग करने के लिए रीढ़ की हड्डी के रूप में स्विन ट्रांसफार्मर का उपयोग करता है। प्रयोगों से साबित होता है कि यह संवेदनशीलता और सटीकता के मामले में अच्छा प्रदर्शन करता है।

Abstract

हाल के वर्षों में, थायराइड कैंसर की घटनाएं बढ़ रही हैं। थायराइड नोड्यूल का पता लगाना थायराइड कैंसर का पता लगाने और उपचार दोनों के लिए महत्वपूर्ण है। संक्रामक तंत्रिका नेटवर्क (सीएनएन) ने थायरॉयड अल्ट्रासाउंड छवि विश्लेषण कार्यों में अच्छे परिणाम प्राप्त किए हैं। हालांकि, संक्रामक परतों के सीमित वैध ग्रहणशील क्षेत्र के कारण, सीएनएन लंबी दूरी की प्रासंगिक निर्भरताओं को पकड़ने में विफल रहते हैं, जो अल्ट्रासाउंड छवियों में थायरॉयड नोड्यूल्स की पहचान करने के लिए महत्वपूर्ण हैं। ट्रांसफार्मर नेटवर्क लंबी दूरी की प्रासंगिक जानकारी को कैप्चर करने में प्रभावी हैं। इससे प्रेरित होकर, हम एक नई थायराइड नोड्यूल डिटेक्शन विधि का प्रस्ताव करते हैं जो स्विन ट्रांसफॉर्मर बैकबोन और फास्टर आर-सीएनएन को जोड़ती है। विशेष रूप से, एक अल्ट्रासाउंड छवि को पहले एम्बेडिंग के 1 डी अनुक्रम में प्रक्षेपित किया जाता है, जिसे बाद में एक पदानुक्रमित स्विन ट्रांसफार्मर में खिलाया जाता है।

स्विन ट्रांसफॉर्मर बैकबोन आत्म-ध्यान की गणना के लिए स्थानांतरित खिड़कियों का उपयोग करके पांच अलग-अलग पैमानों पर सुविधाओं को निकालता है। इसके बाद, विभिन्न पैमानों से सुविधाओं को फ्यूज करने के लिए एक फीचर पिरामिड नेटवर्क (एफपीएन) का उपयोग किया जाता है। अंत में, एक डिटेक्शन हेड का उपयोग बाउंडिंग बॉक्स और संबंधित आत्मविश्वास स्कोर की भविष्यवाणी करने के लिए किया जाता है। प्रयोगों का संचालन करने के लिए 2,680 रोगियों से एकत्र किए गए डेटा का उपयोग किया गया था, और परिणामों से पता चला कि इस विधि ने सीएनएन-आधारित बेसलाइन से बेहतर प्रदर्शन करते हुए 44.8% का सबसे अच्छा एमएपी स्कोर हासिल किया। इसके अलावा, हमने प्रतिस्पर्धियों की तुलना में बेहतर संवेदनशीलता (90.5%) प्राप्त की। यह इंगित करता है कि इस मॉडल में संदर्भ मॉडलिंग थायराइड नोड्यूल का पता लगाने के लिए प्रभावी है।

Introduction

1970 के बाद से थायराइड कैंसर की घटनाओं में तेजी से वृद्धि हुई है, खासकर मध्यम आयु वर्ग की महिलाओंमें। थायराइड नोड्यूल ्स थायराइड कैंसर के उद्भव की भविष्यवाणी कर सकते हैं, और अधिकांश थायरॉयड नोड्यूल स्पर्शोन्मुखहैं 2. थायराइड नोड्यूल्स का जल्दी पता लगाना थायराइड कैंसर को ठीक करने में बहुत मददगार है। इसलिए, वर्तमान अभ्यास दिशानिर्देशों के अनुसार, शारीरिक परीक्षा पर या असामान्य इमेजिंग निष्कर्षों के साथ संदिग्ध नोडुलर गोइटर वाले सभी रोगियों को आगे की परीक्षा से गुजरना चाहिए 3,4।

थायराइड अल्ट्रासाउंड (यूएस) एक सामान्य विधि है जिसका उपयोग थायरॉयडघावों का पता लगाने और चिह्नित करने के लिए किया जाता है। अमेरिका एक सुविधाजनक, सस्ती और विकिरण मुक्त तकनीक है। हालांकि, ऑपरेटर 7,8 से यूएस का आवेदन आसानी से प्रभावित होता है। थायराइड नोड्यूल्स के आकार, आकार, इकोजेनेसिटी और बनावट जैसी विशेषताएं अमेरिकी छवियों पर आसानी से अलग-अलग हैं। यद्यपि कुछ अमेरिकी विशेषताएं-कैल्सीफिकेशन, इकोजेनेसिटी और अनियमित सीमाएं- अक्सर थायरॉयड नोड्यूल्स की पहचान करने के लिए मानदंड मानी जाती हैं, इंटरऑब्जर्वर परिवर्तनशीलता की उपस्थिति अपरिहार्यहै 8,9. अनुभव के विभिन्न स्तरों वाले रेडियोलॉजिस्ट के निदान के परिणाम अलग-अलग हैं। अनुभवहीन रेडियोलॉजिस्ट अनुभवी रेडियोलॉजिस्ट की तुलना में गलत निदान करने की अधिक संभावना रखते हैं। अमेरिका की कुछ विशेषताएं जैसे प्रतिबिंब, छाया और प्रतिध्वनियां छवि की गुणवत्ता को कम कर सकती हैं। यूएस इमेजिंग की प्रकृति के कारण छवि की गुणवत्ता में यह गिरावट अनुभवी चिकित्सकों के लिए भी नोड्यूल्स का सटीक पता लगाना मुश्किल बनाती है।

थायराइड नोड्यूल्स के लिए कंप्यूटर-एडेड निदान (सीएडी) हाल के वर्षों में तेजी से विकसित हुआ है और विभिन्न चिकित्सकों के कारण त्रुटियों को प्रभावी ढंग से कम कर सकता है और रेडियोलॉजिस्ट को नोड्यूल्स का जल्दीऔर सटीक रूप से निदान करने में मदद कर सकता है। थायराइड यूएस नोड्यूल विश्लेषण के लिए विभिन्न सीएनएन-आधारित सीएडी सिस्टम प्रस्तावित किए गए हैं, जिसमें विभाजन12,13, पता लगानेवाला 14,15 और वर्गीकरण16,17 शामिल हैं। सीएनएन एक बहुस्तरीय, पर्यवेक्षित शिक्षण मॉडल18 है, और सीएनएन के मुख्य मॉड्यूल संक्रामक और पूलिंग परतें हैं। कन्वोल्यूशन परतों का उपयोग सुविधा निष्कर्षण के लिए किया जाता है, और पूलिंग परतों का उपयोग डाउनसैंपलिंग के लिए किया जाता है। छाया संक्रामक परतें बनावट, किनारों और आकृति जैसी प्राथमिक विशेषताओं को निकाल सकती हैं, जबकि गहरी संक्रामक परतें उच्च-स्तरीय शब्दार्थ विशेषताओं को सीखती हैं।

CNN को कंप्यूटर दृष्टि 19,20,21 में बड़ी सफलता मिली है। हालांकि, सीएन संक्रामक परतों के सीमित वैध ग्रहणशील क्षेत्र के कारण लंबी दूरी की प्रासंगिक निर्भरताओं को पकड़ने में विफल रहते हैं। अतीत में, छवि वर्गीकरण के लिए बैकबोन आर्किटेक्चर ज्यादातर सीएनएन का उपयोग करते थे। विजन ट्रांसफॉर्मर (वीआईटी) 22,23 के आगमन के साथ, यह प्रवृत्ति बदल गई है, और अब कई अत्याधुनिक मॉडल ट्रांसफार्मर को रीढ़ की हड्डी के रूप में उपयोग करते हैं। गैर-अतिव्यापी छवि पैच के आधार पर, वीआईटी विश्व स्तर पर स्थानिक संबंधों को मॉडल करने के लिए एक मानक ट्रांसफार्मर एनकोडर25 का उपयोग करता है। स्विन ट्रांसफॉर्मर24 आगे सुविधाओं को सीखने के लिए शिफ्ट विंडो पेश करता है। शिफ्ट विंडो न केवल अधिक दक्षता लाती हैं बल्कि अनुक्रम की लंबाई को भी बहुत कम करती हैं क्योंकि विंडो में आत्म-ध्यान की गणना की जाती है। इसी समय, दो आसन्न खिड़कियों के बीच बातचीत शिफ्टिंग (आंदोलन) के संचालन के माध्यम से की जा सकती है। कंप्यूटर दृष्टि में स्विन ट्रांसफार्मर के सफल अनुप्रयोग ने अल्ट्रासाउंड छवि विश्लेषण के लिए ट्रांसफार्मर-आधारित आर्किटेक्चर की जांच कीहै।

हाल ही में, ली एट अल ने फास्टर आर-सीएनएन27 से प्रेरित थायराइड पैपिलरी कैंसर का पता लगाने के लिए एक गहरी सीखने के दृष्टिकोण28 का प्रस्ताव दिया। फास्टर आर-सीएनएन एक क्लासिक सीएनएन-आधारित ऑब्जेक्ट डिटेक्शन आर्किटेक्चर है। मूल फास्टर आर-सीएनएन में चार मॉड्यूल हैं- सीएनएन बैकबोन, क्षेत्र प्रस्ताव नेटवर्क (आरपीएन), आरओआई पूलिंग परत और डिटेक्शन हेड। सीएनएन बैकबोन इनपुट छवि से फीचर मैप्स निकालने के लिए बुनियादी कन्व + बीएन + रेलू + पूलिंग परतों के एक सेट का उपयोग करता है। फिर, फीचर मैप्स को आरपीएन और आरओआई पूलिंग परत में खिलाया जाता है। RPN नेटवर्क की भूमिका क्षेत्र प्रस्ताव उत्पन्न करना है। यह मॉड्यूल यह निर्धारित करने के लिए सॉफ्टमैक्स का उपयोग करता है कि क्या एंकर सकारात्मक हैं और बॉक्स रिग्रेशन को बाध्य करके सटीक एंकर उत्पन्न करता है। आरओआई पूलिंग परत इनपुट फीचर मैप्स और प्रस्तावों को एकत्र करके प्रस्ताव फीचर मैप्स निकालती है और प्रस्ताव फीचर मैप्स को बाद के डिटेक्शन हेड में फीड करती है। डिटेक्शन हेड ऑब्जेक्ट्स को वर्गीकृत करने और बाउंडिंग बॉक्स रिग्रेशन द्वारा डिटेक्शन बॉक्स की सटीक स्थिति प्राप्त करने के लिए प्रस्ताव सुविधा मानचित्रों का उपयोग करता है।

यह पेपर स्विन फास्टर आर-सीएनएन नामक एक नया थायराइड नोड्यूल डिटेक्शन नेटवर्क प्रस्तुत करता है, जो फास्टर आर-सीएनएन में सीएनएन बैकबोन को स्विन ट्रांसफॉर्मर के साथ बदलकर बनाया गया है, जिसके परिणामस्वरूप अल्ट्रासाउंड छवियों से नोड्यूल का पता लगाने के लिए सुविधाओं का बेहतर निष्कर्षण होता है। इसके अलावा, फीचर पिरामिड नेटवर्क (एफपीएन) 29 का उपयोग विभिन्न पैमानों की विशेषताओं को एकत्र करके विभिन्न आकारों के नोड्यूल्स के लिए मॉडल के पहचान प्रदर्शन में सुधार करने के लिए किया जाता है।

Subscription Required. Please recommend JoVE to your librarian.

Protocol

इस पूर्वव्यापी अध्ययन को वेस्ट चाइना हॉस्पिटल, सिचुआन विश्वविद्यालय, सिचुआन, चीन के संस्थागत समीक्षा बोर्ड द्वारा अनुमोदित किया गया था, और सूचित सहमति प्राप्त करने की आवश्यकता को माफ कर दिया गया था।

1. पर्यावरण सेटअप

  1. ग्राफिक प्रोसेसिंग यूनिट (GPU) सॉफ्टवेयर
    1. गहन शिक्षण अनुप्रयोगों को लागू करने के लिए, पहले जीपीयू से संबंधित वातावरण को कॉन्फ़िगर करें। डाउनलोड और जीपीयू की वेबसाइट से जीपीयू-उपयुक्त सॉफ़्टवेयर और ड्राइवर स्थापित करें।
      नोट: इस अध्ययन में उपयोग किए जाने वाले लोगों के लिए सामग्री की तालिका देखें।
  2. Python3.8 स्थापना
    1. मशीन पर एक टर्मिनल खोलें। निम्न टाइप करें:
      कमांड लाइन: sudo apt-get install python3.8 python-dev python-virtualenv
  3. Pytorch1.7 स्थापना
    1. मिनीकोंडा डाउनलोड और इंस्टॉल करने के लिए आधिकारिक वेबसाइट पर दिए गए चरणों का पालन करें।
    2. एक कोंडा वातावरण बनाएं और इसे सक्रिय करें।
      कमांड लाइन: conda create -- नाम SwinFasterRCNN python=3.8 -y
      कमांड लाइन: SwinFasterRCNN को सक्रिय करें
    3. Pytorch स्थापित करें।
      कमांड लाइन: conda इंस्टॉल pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2
  4. MMDetection installation
    1. आधिकारिक गिथब रिपॉजिटरी से क्लोन।
      कमांड लाइन: गिट क्लोन https://github.com/open-mmlab/mmdetection.git
    2. MMDetection स्थापित करें।
      कमांड लाइन: सीडी एमएमडिटेक्शन
      कमांड लाइन: पिप इंस्टॉल -वी -ई।

2. डेटा तैयार करना

  1. डेटा संग्रह
    1. अल्ट्रासाउंड छवियों को एकत्र किया (यहां, ग्रेड-ए तृतीयक अस्पताल से 3,000 मामले)। सुनिश्चित करें कि प्रत्येक मामले में नैदानिक रिकॉर्ड, उपचार योजनाएं, अमेरिकी रिपोर्ट और संबंधित अमेरिकी छवियां हैं।
    2. सभी अमेरिकी छवियों को "छवियों" नामक फ़ोल्डर में रखें।
      नोट: इस अध्ययन में उपयोग किए गए डेटा में 3,000 मामलों से 3,853 अमेरिकी छवियां शामिल थीं।
  2. डेटा सफाई
    1. गैर-थायरॉयड क्षेत्रों की छवियों के लिए मैन्युअल रूप से डेटासेट की जांच करें, जैसे कि लिम्फ छवियां।
    2. रंग डॉपलर प्रवाह वाली छवियों के लिए मैन्युअल रूप से डेटासेट की जांच करें।
    3. पिछले दो चरणों में चयनित छवियों को हटाएँ।
      नोट: डेटा सफाई के बाद, 2,680 मामलों से 3,000 छवियां छोड़ दी गईं।
  3. डेटा एनोटेशन
    1. एक वरिष्ठ डॉक्टर को अमेरिकी छवि में नोड्यूल क्षेत्र का पता लगाने और नोड्यूल सीमा को रेखांकित करने दें।
      नोट: एनोटेशन सॉफ्टवेयर और प्रक्रिया पूरक फ़ाइल 1 में पाया जा सकता है।
    2. एक और वरिष्ठ चिकित्सक समीक्षा करें और एनोटेशन परिणामों को संशोधित करें।
    3. एनोटेट किए गए डेटा को "एनोटेशन" नामक एक अलग फ़ोल्डर में रखें।
  4. डेटा विभाजन
    1. पायथन स्क्रिप्ट चलाएँ, और चरण 2.1.2 में छवि का पथ और चरण 2.3.3 में एनोटेशन के पथ सेट करें। यादृच्छिक रूप से सभी छवियों और संबंधित लेबल वाली फ़ाइलों को 8: 2 के अनुपात में प्रशिक्षण और सत्यापन सेट में विभाजित करें। प्रशिक्षण सेट डेटा को "ट्रेन" फ़ोल्डर में और सत्यापन सेट डेटा को "Val" फ़ोल्डर में सहेजें।
      नोट: पायथन स्क्रिप्ट पूरक फ़ाइल 2 में प्रदान किए जाते हैं।
  5. कोको डेटासेट स्वरूप में कनवर्ट करना
    नोट: एमएमडिटेक्शन का उपयोग करने के लिए, डेटा को कोको डेटासेट प्रारूप में संसाधित करें, जिसमें एक जेएसओएन फ़ाइल शामिल है जो एनोटेशन जानकारी रखती है और अमेरिकी छवियों वाला एक छवि फ़ोल्डर है।
    1. पायथन स्क्रिप्ट चलाएं, और डॉक्टर द्वारा उल्लिखित नोड्यूल क्षेत्रों को निकालने और उन्हें मास्क में परिवर्तित करने के लिए एनोटेशन फ़ोल्डर पथ (चरण 2.3.3) इनपुट करें। सभी मास्क को "मास्क" फ़ोल्डर में सहेजें।
      नोट: पायथन स्क्रिप्ट पूरक फ़ाइल 3 में प्रदान किए जाते हैं।
    2. पायथन स्क्रिप्ट चलाएं, और डेटा को कोको प्रारूप में डेटासेट बनाने और अमेरिकी छवियों के साथ एक जेएसओएन फ़ाइल उत्पन्न करने के लिए चरण 2.5.1 में मास्क फ़ोल्डर का पथ सेट करें।
      नोट: पायथन स्क्रिप्ट पूरक फ़ाइल 4 में प्रदान किए जाते हैं।

3. स्विन फास्टर आरसीएनएन कॉन्फ़िगरेशन

  1. Swin ट्रांसफॉर्मर मॉडल फ़ाइल (https://github.com/microsoft/Swin-Transformer/blob/main/models/swin_transformer.py) डाउनलोड करें, इसे संशोधित करें, और इसे "mmdet/mmdet/models/बैकबोन/" फ़ोल्डर में रखें। एक vim पाठ संपादक में "swin_transformer.py" फ़ाइल खोलें, और इसे पूरक फ़ाइल 5 में प्रदान की गई Swin ट्रांसफॉर्मर मॉडल फ़ाइल के रूप में संशोधित करें।
    कमांड लाइन: vim swin_transformer.py
  2. तेज़ R-CNN कॉन्फ़िगरेशन फ़ाइल की एक प्रतिलिपि बनाएँ, बैकबोन को Swin Transformer में बदलें, और FPN पैरामीटर सेट करें।
    कमांड लाइन: सीडी एमएमडिटेक्शन/कॉन्फ़िगरेशन/faster_rcnn
    कमांड लाइन: सीपी faster_rcnn_r50_fpn_1x_coco.py swin_faster_rcnn_swin.py
    नोट: Swin Faster R-CNN कॉन्फ़िगरेशन फ़ाइल (swin_faster_rcnn_swin.py) पूरक फ़ाइल 6 में प्रदान की जाती है। स्विन फास्टर आर-सीएनएन नेटवर्क संरचना चित्रा 1 में दिखाया गया है।
  3. कॉन्फ़िगरेशन फ़ाइल में कोको स्वरूप डेटासेट पथ (चरण 2.5.2) के लिए डेटासेट पथ सेट करें। vim पाठ संपादक में "coco_detection.py" फ़ाइल खोलें, और निम्न पंक्ति संशोधित करें:
    data_root = "डेटासेट पथ(चरण 2.5.2)"
    कमांड लाइन: vim mmdetection/configs/_base_/डेटासेट/coco_detection.py

4. स्विन फास्टर आर-सीएनएन को प्रशिक्षण

  1. mmdetection/configs/_base_/schedules/schedule_1x.py संपादित करें, और सीखने की दर, ऑप्टिमाइज़र और युग सहित डिफ़ॉल्ट प्रशिक्षण-संबंधी पैरामीटर सेट करें। vim पाठ संपादक में "schedule_1x.py" फ़ाइल खोलें, और निम्न पंक्तियों को संशोधित करें:
    ऑप्टिमाइज़र = डिक्ट (प्रकार = "एडमडब्ल्यू", एलआर = 0.001, संवेग = 0.9, weight_decay = 0.0001)
    धावक = डिक्ट (प्रकार = 'Epoch BasedEdRunner', max_epochs = 48)
    कमांड लाइन: विम एमएमडिटेक्शन/कॉन्फ़िगरेशन/_बेस_/शेड्यूल/schedule_1x.py
    नोट: इस पेपर के लिए इस प्रोटोकॉल में, सीखने की दर 0.001 पर सेट की गई थी, एडमडब्ल्यू ऑप्टिमाइज़र का उपयोग किया गया था, अधिकतम प्रशिक्षण युग 48 पर सेट किया गया था, और बैच का आकार 16 पर सेट किया गया था।
  2. निम्नलिखित आदेश टाइप करके प्रशिक्षण शुरू करें। नेटवर्क के लिए 48 युगों के लिए प्रशिक्षण शुरू करने और आउटपुट फ़ोल्डर में उत्पन्न होने वाले स्विन फास्टर आर-सीएनएन नेटवर्क के परिणामी प्रशिक्षित भार के लिए प्रतीक्षा करें। सत्यापन सेट पर उच्चतम सटीकता के साथ मॉडल भार सहेजें।
    कमांड लाइन: सीडी एमएमडिटेक्शन
    कमांड लाइन: पायथन टूल्स/ट्रेन.py कॉन्गिग्स/faster_rcnn/swin_faster_rcnn_swin.py --वर्क-डीआईआर ./work_dirs
    नोट: मॉडल को "एनवीडिया जीफोर्स आरटीएक्स 3090 24 जी" जीपीयू पर प्रशिक्षित किया गया था। इस्तेमाल की जाने वाली केंद्रीय प्रसंस्करण इकाई "एएमडी एपिक 7742 64-कोर प्रोसेसर × 128" थी, और ऑपरेटिंग सिस्टम उबंटू 18.06 था। समग्र प्रशिक्षण समय ~ 2 घंटे था।

5. नई छवियों पर थायराइड नोड्यूल का पता लगाना

  1. प्रशिक्षण के बाद, नई छवियों में थायराइड नोड्यूल का पता लगाने के लिए सत्यापन सेट पर सर्वश्रेष्ठ प्रदर्शन वाले मॉडल का चयन करें।
    1. सबसे पहले, छवि को 512 पिक्सेल x 512 पिक्सेल पर आकार दें, और इसे सामान्य करें। परीक्षण स्क्रिप्ट चलाए जाने पर ये कार्रवाई स्वचालित रूप से की जाती है।
      कमांड लाइन: पायथन टूल्स/टेस्ट.py कॉन्गिग्स/faster_rcnn/swin_faster_rcnn_swin.py --आउट./आउटपुट
    2. स्क्रिप्ट को स्विन फास्टर आर-सीएनएन पर पूर्वप्रशिक्षित मॉडल मापदंडों को स्वचालित रूप से लोड करने के लिए प्रतीक्षा करें, और अनुमान के लिए प्रीप्रोसेस्ड छवि को स्विन फास्टर आर-सीएनएन में फीड करें। प्रत्येक छवि के लिए पूर्वानुमान बॉक्स आउटपुट करने के लिए स्विन फास्टर आर-सीएनएन की प्रतीक्षा करें।
    3. अंत में, डुप्लिकेट डिटेक्शन बॉक्स को हटाने के लिए स्क्रिप्ट को प्रत्येक छवि पर स्वचालित रूप से एनएमएस पोस्टप्रोसेसिंग करने की अनुमति दें।
      नोट: डिटेक्शन परिणाम निर्दिष्ट फ़ोल्डर में आउटपुट होते हैं, जिसमें डिटेक्शन बॉक्स के साथ छवियां और पैक की गई फ़ाइल में बाउंडिंग बॉक्स निर्देशांक होते हैं।

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

सितंबर 2008 से फरवरी 2018 तक चीन के दो अस्पतालों से थायराइड यूएस की तस्वीरें एकत्र की गई थीं। इस अध्ययन में अमेरिकी छवियों को शामिल करने के लिए पात्रता मानदंड बायोप्सी और सर्जिकल उपचार से पहले पारंपरिक अमेरिकी परीक्षा, बायोप्सी या पोस्टसर्जिकल पैथोलॉजी के साथ निदान और 18 वर्ष ≥ आयु थी। बहिष्करण मानदंड थायरॉयड ऊतकों के बिना छवियां थीं।

3,000 अल्ट्रासाउंड छवियों में 1,384 घातक और 1,616 सौम्य नोड्यूल शामिल थे। घातक नोड्यूल्स के बहुमत (90%) पैपिलरी कार्सिनोमा थे, और सौम्य नोड्यूल्स के 66% नोडुलर गोइटर थे। यहां, 25% नोड्यूल 5 मिमी से छोटे थे, 38% 5 मिमी और 10 मिमी के बीच थे, और 37% 10 मिमी से बड़े थे।

सभी अमेरिकी छवियों को फिलिप्स आईयू 22 और डीसी -80 का उपयोग करके एकत्र किया गया था, और उनके डिफ़ॉल्ट थायरॉयड परीक्षा मोड का उपयोग किया गया था। दोनों उपकरण 5-13 मेगाहर्ट्ज रैखिक जांच से लैस थे। कम थायराइड मार्जिन के अच्छे जोखिम के लिए, सभी रोगियों को उनकी पीठ के विस्तार के साथ लापरवाह स्थिति में जांच की गई थी। अमेरिकन कॉलेज ऑफ रेडियोलॉजी मान्यता मानकों के अनुसार अनुदैर्ध्य और अनुप्रस्थ विमानों में थायरॉयड लोब और इस्थमस दोनों को स्कैन किया गया था। सभी परीक्षाएं दो वरिष्ठ थायराइड रेडियोलॉजिस्ट द्वारा की गईं, जिनके पास ≥10 साल का नैदानिक अनुभव था। थायराइड निदान ठीक सुई आकांक्षा बायोप्सी या थायरॉयड सर्जरी से हिस्टोपैथोलॉजिकल निष्कर्षों पर आधारित था।

वास्तविक जीवन में, जैसा कि अमेरिकी छवियां शोर से दूषित होती हैं, अमेरिकी छवियों के उचित प्रीप्रोसेसिंग का संचालन करना महत्वपूर्ण है, जैसे कि तरंगिका ट्रांसफॉर्म30, संपीड़ित संवेदन31 और हिस्टोग्राम इक्वलाइजेशन32 के आधार पर छवि डीनोइज़िंग। इस काम में, हमने अमेरिकी छवियों को पूर्व-संसाधित करने, छवि की गुणवत्ता बढ़ाने और शोर के कारण छवि गुणवत्ता गिरावट को कम करने के लिए हिस्टोग्राम इक्वलाइजेशन का उपयोग किया।

निम्नलिखित में, सच्चे सकारात्मक, झूठे सकारात्मक, सच्चे नकारात्मक और झूठे नकारात्मक को क्रमशः टीपी, एफपी, टीएन और एफएन के रूप में संदर्भित किया जाता है। हमने मॉडल के नोड्यूल डिटेक्शन प्रदर्शन का मूल्यांकन करने के लिए एमएपी, संवेदनशीलता और विशिष्टता का उपयोग किया। एमएपी ऑब्जेक्ट डिटेक्शन में एक सामान्य मीट्रिक है। संवेदनशीलता और विशिष्टता की गणना समीकरण (1) और समीकरण (2) का उपयोग करके की गई थी:

Equation 1 (1)

Equation 2 (2)

इस पेपर में, टीपी को सही ढंग से पता लगाए गए नोड्यूल्स की संख्या के रूप में परिभाषित किया गया है, जिसमें भविष्यवाणी बॉक्स और >0.3 के ग्राउंड ट्रुथ बॉक्स और >0.6 के आत्मविश्वास स्कोर के बीच एक इंटरसेक्शन ओवर यूनियन (आईओयू) है। IoU संघ पर प्रतिच्छेदन है, जिसकी गणना समीकरण (3) का उपयोग करके की जाती है:

Equation 3 (3)

हमने कई क्लासिक ऑब्जेक्ट डिटेक्शन नेटवर्क की तुलना की, जिसमें एसएसडी33, योलो-वी34, सीएनएन बैकबोन-आधारित फास्टर आर-सीएनएन27, रेटिनानेट35 और डीईटीआर36 शामिल हैं। YOLO-v3 और SSD एकल-चरण पहचान नेटवर्क हैं, DETR एक ट्रांसफार्मर-आधारित ऑब्जेक्ट-डिटेक्शन नेटवर्क है, और फास्टर R-CNN और RetinaNet दो-चरण पहचान नेटवर्क हैं। तालिका 1 से पता चलता है कि स्विन फास्टर आर-सीएनएन का प्रदर्शन अन्य तरीकों से बेहतर है, जो 0.448 एमएपी तक पहुंच गया है, जो सीएनएन बैकबोन के फास्टर आर-सीएनएन से 0.028 अधिक है और योलो-वी 3 से 0.037 अधिक है। स्विन फास्टर आर-सीएनएन का उपयोग करके, 90.5% थायराइड नोड्यूल्स का स्वचालित रूप से पता लगाया जा सकता है, जो सीएनएन बैकबोन-आधारित फास्टर आर-सीएनएन (87.1%) की तुलना में ~ 3% अधिक है। जैसा कि चित्रा 2 में दिखाया गया है, रीढ़ की हड्डी के रूप में स्विन ट्रांसफार्मर का उपयोग सीमा की स्थिति को अधिक सटीक बनाता है।

Figure 1
चित्र 1: स्विन फास्टर आर-सीएनएन नेटवर्क आर्किटेक्चर का आरेख. कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें.

Figure 2
चित्र 2: डिटेक्शन परिणाम। एक ही छवि के लिए डिटेक्शन परिणाम एक दी गई पंक्ति में हैं। कॉलम क्रमशः स्विन फास्टर आर-सीएनएन, फास्टर आर-सीएनएन, योलो-वी 3, एसएसडी, रेटिनानेट और डीईटीआर के लिए बाएं से दाएं डिटेक्शन परिणाम हैं। क्षेत्रों की जमीनी सच्चाइयों को हरे आयताकार बक्से के साथ चिह्नित किया गया है। पहचान परिणाम लाल आयताकार बक्से द्वारा तैयार किए जाते हैं। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें।

पद्धति मेरुदंड मानचित्र संवेदनशीलता विशिष्टता
YOLO-v3 DarkNet 0.411 0.869 0.877
SSD VGG16 0.425 0.841 0.849
RetinaNet ResNet50 0.382 0.845 0.841
तेजी से R-CNN ResNet50 0.42 0.871 0.864
DETR ResNet50 0.416 0.882 0.86
FPN के बिना Swin Faster R-CNN स्विन ट्रांसफार्मर 0.431 0.897 0.905
FPN के साथ Swin Faster R-CNN 0.448 0.905 0.909

तालिका 1: अत्याधुनिक ऑब्जेक्ट डिटेक्शन विधियों के साथ प्रदर्शन तुलना।

पूरक फ़ाइल 1: डेटा एनोटेशन और उपयोग किए गए सॉफ़्टवेयर के लिए ऑपरेटिंग निर्देश। कृपया इस फ़ाइल को डाउनलोड करने के लिए यहाँ क्लिक करें.

पूरक फ़ाइल 2: पायथन स्क्रिप्ट का उपयोग डेटासेट को प्रशिक्षण सेट और सत्यापन सेट में विभाजित करने के लिए किया जाता है, जैसा कि चरण 2.4.1 में उल्लेख किया गया है। कृपया इस फ़ाइल को डाउनलोड करने के लिए यहाँ क्लिक करें.

पूरक फ़ाइल 3: पायथन स्क्रिप्ट का उपयोग एनोटेशन फ़ाइल को मास्क में बदलने के लिए किया जाता है, जैसा कि चरण 2.5.1 में उल्लेख किया गया है। कृपया इस फ़ाइल को डाउनलोड करने के लिए यहाँ क्लिक करें.

पूरक फ़ाइल 4: पायथन स्क्रिप्ट का उपयोग कोको प्रारूप में डेटासेट में डेटा बनाने के लिए किया जाता है, जैसा कि चरण 2.5.2 में उल्लेख किया गया है। कृपया इस फ़ाइल को डाउनलोड करने के लिए यहाँ क्लिक करें.

पूरक फ़ाइल 5: चरण 3.1 में उल्लिखित संशोधित स्विन ट्रांसफार्मर मॉडल फ़ाइल। कृपया इस फ़ाइल को डाउनलोड करने के लिए यहाँ क्लिक करें.

पूरक फ़ाइल 6: स्विन फास्टर आर-सीएनएन कॉन्फ़िगरेशन फ़ाइल चरण 3.2 में उल्लिखित है। कृपया इस फ़ाइल को डाउनलोड करने के लिए यहाँ क्लिक करें.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

यह पेपर विस्तार से वर्णन करता है कि पर्यावरण सेटअप, डेटा तैयारी, मॉडल कॉन्फ़िगरेशन और नेटवर्क प्रशिक्षण कैसे करें। पर्यावरण सेटअप चरण में, किसी को यह सुनिश्चित करने के लिए ध्यान देने की आवश्यकता है कि आश्रित पुस्तकालय संगत और मेल खाते हैं। डेटा प्रोसेसिंग एक बहुत ही महत्वपूर्ण कदम है; एनोटेशन की सटीकता सुनिश्चित करने के लिए समय और प्रयास खर्च किया जाना चाहिए। मॉडल को प्रशिक्षित करते समय, एक "ModuleNotFoundErr" का सामना करना पड़ सकता है। इस मामले में, लापता लाइब्रेरी को स्थापित करने के लिए "पिप इंस्टॉल" कमांड का उपयोग करना आवश्यक है। यदि सत्यापन सेट का नुकसान बहुत कम नहीं होता है या बहुत अधिक घटता-बढ़ता है, तो किसी को एनोटेशन फ़ाइल की जांच करनी चाहिए और नुकसान को अभिसरण करने के लिए सीखने की दर और बैच आकार को समायोजित करने का प्रयास करना चाहिए।

थायराइड कैंसर के इलाज के लिए थायराइड नोड्यूल का पता लगाना बहुत जरूरी है। सीएडी प्रणाली नोड्यूल्स का पता लगाने में डॉक्टरों की सहायता कर सकती है, व्यक्तिपरक कारकों के कारण निदान परिणामों में अंतर से बच सकती है, और नोड्यूल्स की मिस्ड डिटेक्शन को कम कर सकती है। मौजूदा सीएनएन-आधारित सीएडी सिस्टम की तुलना में, इस पेपर में प्रस्तावित नेटवर्क अल्ट्रासाउंड छवि सुविधाओं को निकालने के लिए स्विन ट्रांसफार्मर का परिचय देता है। लंबी दूरी की निर्भरताओं को कैप्चर करके, स्विन फास्टर आर-सीएनएन अल्ट्रासाउंड छवियों से नोड्यूल सुविधाओं को अधिक कुशलता से निकाल सकता है। प्रयोगात्मक परिणामों से पता चलता है कि स्विन फास्टर आर-सीएनएन सीएनएन बैकबोन-आधारित फास्टर आर-सीएनएन की तुलना में नोड्यूल डिटेक्शन की संवेदनशीलता में ~ 3% तक सुधार करता है। इस तकनीक के उपयोग से डॉक्टरों पर बोझ बहुत कम हो सकता है, क्योंकि यह प्रारंभिक अल्ट्रासाउंड परीक्षा में थायराइड नोड्यूल का पता लगा सकता है और डॉक्टरों को आगे के उपचार के लिए मार्गदर्शन कर सकता है। हालांकि, स्विन ट्रांसफार्मर के मापदंडों की बड़ी संख्या के कारण, स्विन फास्टर आर-सीएनएन का अनुमान समय ~ 100 एमएस प्रति छवि है (एनवीडिया टाइटन 24 जी जीपीयू और एएमडी एपिक 7742 सीपीयू पर परीक्षण किया गया)। स्विन फास्टर आर-सीएनएन के साथ वास्तविक समय निदान की आवश्यकताओं को पूरा करना चुनौतीपूर्ण हो सकता है। भविष्य में, हम इस पद्धति की प्रभावशीलता को सत्यापित करने और गतिशील अल्ट्रासाउंड छवि विश्लेषण पर आगे के अध्ययन करने के लिए मामलों को इकट्ठा करना जारी रखेंगे।

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

लेखक ों ने हितों के टकराव की घोषणा नहीं की है।

Acknowledgments

इस अध्ययन को चीन के राष्ट्रीय प्राकृतिक विज्ञान फाउंडेशन (अनुदान संख्या 32101188) और सिचुआन प्रांत के विज्ञान और प्रौद्योगिकी विभाग की सामान्य परियोजना (अनुदान संख्या 2021वाईएफएस0102), चीन द्वारा समर्थित किया गया था।

Materials

Name Company Catalog Number Comments
GPU RTX3090 Nvidia 1 24G GPU
mmdetection2.11.0 SenseTime 4 https://github.com/open-mmlab/mmdetection.git
python3.8 — 2 https://www.python.org
pytorch1.7.1 Facebook 3 https://pytorch.org

DOWNLOAD MATERIALS LIST

References

  1. Grant, E. G., et al. Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee. Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).
  2. Zhao, J., Zheng, W., Zhang, L., Tian, H. Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology. Health Information Science and Systems. 1, 5 (2013).
  3. Haugen, B. R. American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed. Cancer. 123 (3), 372-381 (2017).
  4. Shin, J. H., et al. Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations. Korean Journal of Radiology. 17 (3), 370-395 (2016).
  5. Horvath, E., et al. An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management. The Journal of Clinical Endocrinology & Metabolism. 94 (5), 1748-1751 (2009).
  6. Park, J. -Y., et al. A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma. Thyroid. 19 (11), 1257-1264 (2009).
  7. Moon, W. -J., et al. Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study. Radiology. 247 (3), 762-770 (2008).
  8. Park, C. S., et al. Observer variability in the sonographic evaluation of thyroid nodules. Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).
  9. Kim, S. H., et al. Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules. Korean Journal of Radiology. 11 (2), 149-155 (2010).
  10. Choi, Y. J., et al. A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment. Thyroid. 27 (4), 546-552 (2017).
  11. Chang, T. -C. The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography. Journal of Medical Ultrasound. 23 (4), 177-184 (2015).
  12. Fully convolutional networks for ultrasound image segmentation of thyroid nodules. Li, X. IEEE 20th International Conference on High Performance Computing and Communications; IEEE 16th International Conference on Smart City; IEEE 4th International Conference on Data Science and Systems (HPCC/SmartCity/DSS), , 886-890 (2018).
  13. Nguyen, D. T., Choi, J., Park, K. R. Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks. Mathematics. 10 (19), 3484 (2022).
  14. Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images. Medical Physics. 44 (5), 1678-1691 (2017).
  15. Song, W., et al. Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition. IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).
  16. Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images. Wang, J., et al. 2018 25Th IEEE International Conference on Image Processing (ICIP), , IEEE. 3114-3118 (2018).
  17. Wang, L., et al. A multi-scale densely connected convolutional neural network for automated thyroid nodule classification. Frontiers in Neuroscience. 16, 878718 (2022).
  18. Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Communications of the ACM. 60 (6), 84-90 (2017).
  19. He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).
  20. Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. Relation networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).
  21. Szegedy, C., et al. Going deeper with convolutions. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).
  22. Dosovitskiy, A., et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929. , (2020).
  23. Touvron, H., et al. Training data-efficient image transformers & distillation through attention. arXiv:2012.12877. , (2021).
  24. Liu, Z., et al. Swin Transformer: Hierarchical vision transformer using shifted windows. 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).
  25. Vaswani, A., et al. Attention is all you need. Advances in Neural Information Processing Systems. 30, (2017).
  26. Chen, J., et al. TransUNet: Transformers make strong encoders for medical image segmentation. arXiv. arXiv:2102.04306. , (2021).
  27. Ren, S., He, K., Girshick, R., Sun, J. Faster r-cnn: Towards real-time object detection with region proposal networks. Advances in Neural Information Processing Systems. 28, 91-99 (2015).
  28. Li, H., et al. An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images. Scientific Reports. 8, 6600 (2018).
  29. Lin, T. -Y., et al. Feature pyramid networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).
  30. Ouahabi, A. A review of wavelet denoising in medical imaging. 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).
  31. Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. Image denoising using a compressive sensing approach based on regularization constraints. Sensors. 22 (6), 2199 (2022).
  32. Castleman, K. R. Digital Image Processing. , Prentice Hall Press. Hoboken, NJ. (1996).
  33. Liu, W., et al. Ssd: Single shot multibox detector. European Conference on Computer Vision. , 21-37 (2016).
  34. Redmon, J., Farhadi, A. Yolov3: An incremental improvement. arXiv. arXiv:1804.02767. , (2018).
  35. Lin, T. -Y., Goyal, P., Girshick, R., He, K., Dollár, P. Focalloss for dense object detection. arXiv. arXiv:1708.02002. , (2017).
  36. Carion, N., et al. End-to-end object detection with transformers. Computer Vision-ECCV 2020: 16th European Conference. , Glasgow, UK. 23-28 (2020).

Tags

चिकित्सा अंक 194
अल्ट्रासाउंड छवियों में थायराइड नोड्यूल का पता लगाने के लिए एक स्विन ट्रांसफार्मर-आधारित मॉडल
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Tian, Y., Zhu, J., Zhang, L., Mou,… More

Tian, Y., Zhu, J., Zhang, L., Mou, L., Zhu, X., Shi, Y., Ma, B., Zhao, W. A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images. J. Vis. Exp. (194), e64480, doi:10.3791/64480 (2023).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter