Artykuł metodologiczny

Model oparty na transformatorze Swin do wykrywania guzków tarczycy w obrazach ultrasonograficznych

DOI:

10.3791/64480

⸱

21 kwietnia 2023

 ,  ,  ,  ,  ,  ,  , 
1Department of Ultrasonography, West China Hospital of Sichuan University, 2Department of Thyroid Surgery, West China Hospital of Sichuan University, 3MedAI Technology (Wuxi) Co. Ltd.

W tym artykule

Podsumowanie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Tutaj zaproponowano nowy model wykrywania guzków tarczycy na obrazach ultrasonograficznych, który wykorzystuje transformator Swin jako szkielet do wykonywania modelowania kontekstowego dalekiego zasięgu. Eksperymenty dowodzą, że radzi sobie dobrze pod względem czułości i dokładności.

Streszczenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

W ostatnich latach częstość występowania raka tarczycy wzrasta. Wykrywanie guzków tarczycy ma kluczowe znaczenie zarówno dla wykrywania, jak i leczenia raka tarczycy. Konwolucyjne sieci neuronowe (CNN) osiągnęły dobre wyniki w zadaniach analizy obrazu ultrasonograficznego tarczycy. Jednak ze względu na ograniczone prawidłowe pole recepcyjne warstw konwolucyjnych, CNN nie są w stanie uchwycić długodystansowych zależności kontekstowych, które są ważne dla identyfikacji guzków tarczycy na obrazach ultrasonograficznych. Sieci transformatorowe są skuteczne w przechwytywaniu informacji kontekstowych dalekiego zasięgu. Zainspirowani tym, proponujemy nowatorską metodę wykrywania guzków tarczycy, która łączy w sobie szkielet Swin Transformer i szybszy R-CNN. W szczególności obraz ultrasonograficzny jest najpierw rzutowany na sekwencję 1D osadzonych, które są następnie wprowadzane do hierarchicznego transformatora Swin.

Szkielet Transformera Swin wyodrębnia cechy w pięciu różnych skalach, wykorzystując przesunięte okna do obliczania samouwagi. Następnie stosuje się sieć piramidy cech (FPN) do łączenia cech z różnych skal. Na koniec głowica wykrywania służy do przewidywania pól ograniczenia i odpowiadających im wyników ufności. Do przeprowadzenia eksperymentów wykorzystano dane zebrane od 2680 pacjentów, a wyniki wykazały, że metoda ta osiągnęła najlepszy wynik mAP wynoszący 44,8%, przewyższając wartości wyjściowe oparte na CNN. Ponadto uzyskaliśmy lepszą czułość (90,5%) niż konkurencja. Oznacza to, że modelowanie kontekstowe w tym modelu jest skuteczne w wykrywaniu guzków tarczycy.

Wprowadzenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Częstość występowania raka tarczycy gwałtownie wzrosła od 1970 roku, szczególnie wśród kobiet w średnim wieku1. Guzki tarczycy mogą przewidywać pojawienie się raka tarczycy, a większość guzków tarczycy przebiega bezobjawowo2. Wczesne wykrycie guzków tarczycy jest bardzo pomocne w leczeniu raka tarczycy. W związku z tym, zgodnie z aktualnymi wytycznymi praktyki, wszyscy pacjenci z podejrzeniem wola guzkowego w badaniu fizykalnym lub z nieprawidłowymi wynikami obrazowania powinni zostać poddani dalszym badaniom3,4.

USG tarczycy (US) jest powszechną metodą używaną do wykrywania i charakteryzowania zmian w tarczycy5,6. US to wygodna, niedroga i wolna od promieniowania technologia. Jednak zastosowanie US jest łatwo wpływane przez operator7,8. Cechy takie jak kształt, rozmiar, echogeniczność i tekstura guzków tarczycy są łatwo rozpoznawalne na zdjęciach amerykańskich. Chociaż niektóre cechy amerykańskie - zwapnienia, echogeniczność i nieregularne granice - są często uważane za kryteria identyfikacji guzków tarczycy, obecność zmienności między obserwatorami jest nieunikniona8,9. Wyniki diagnozy radiologów o różnym poziomie doświadczenia są różne. Niedoświadczeni radiolodzy są bardziej narażeni na błędną diagnozę niż doświadczeni radiolodzy. Niektóre cechy US, takie jak odbicia, cienie i echa, mogą pogorszyć jakość obrazu. To pogorszenie jakości obrazu spowodowane naturą obrazowania w USA utrudnia nawet doświadczonym lekarzom dokładne zlokalizowanie guzków.

Diagnostyka wspomagana komputerowo (CAD) guzków tarczycy szybko się rozwinęła w ostatnich latach i może skutecznie zmniejszyć liczbę błędów spowodowanych przez różnych lekarzy oraz pomóc radiologom w szybkim i dokładnym diagnozowaniu guzków10,11. Do analizy guzków tarczycy w USA zaproponowano różne systemy CAD oparte na CNN, w tym segmentation12,13, detection14,15 i classification16,17. CNN to wielowarstwowy, nadzorowany model uczenia się18, a podstawowymi modułami CNN są warstwy konwolucji i łączenia. Warstwy konwolucyjne są używane do wyodrębniania obiektów, a warstwy puli są używane do próbkowania w dół. Warstwy konwolucyjne cieni mogą wyodrębniać podstawowe cechy, takie jak tekstura, krawędzie i kontury, podczas gdy głębokie warstwy konwolucyjne uczą się cech semantycznych wysokiego poziomu.

CNN odniosły wielki sukces w dziedzinie widzenia komputerowego19,20,21. Jednak CNN nie są w stanie uchwycić długodystansowych zależności kontekstowych ze względu na ograniczone prawidłowe pole recepcyjne warstw konwolucyjnych. W przeszłości architektury szkieletowe do klasyfikacji obrazów korzystały głównie z sieci CNN. Wraz z pojawieniem się transformatora wizyjnego (ViT)22,23, trend ten uległ zmianie i obecnie wiele najnowocześniejszych modeli wykorzystuje transformatory jako szkielety. Opierając się na nienakładających się na siebie łatach obrazu, ViT używa standardowego kodera transformatora25 do globalnego modelowania relacji przestrzennych. Swin Transformer24 wprowadza dalsze okna przesunięcia do nauki funkcji. Okna przesuwu nie tylko zapewniają większą wydajność, ale także znacznie skracają długość sekwencji, ponieważ w oknie obliczana jest samouwaga. Jednocześnie interakcja między dwoma sąsiednimi oknami może odbywać się poprzez operację przesuwania (ruchu). Udane zastosowanie transformatora Swin w komputerowym widzeniu doprowadziło do zbadania architektur opartych na transformatorach do analizy obrazów ultradźwiękowych26.

Niedawno, Li et al. zaproponowali podejście do głębokiego uczenia się28 do wykrywania raka brodawkowatego tarczycy zainspirowane Faster R-CNN27. Faster R-CNN to klasyczna architektura wykrywania obiektów oparta na CNN. Oryginalny Faster R-CNN ma cztery moduły - szkielet CNN, sieć propozycji regionów (RPN), warstwę puli ROI i głowicę detekcyjną. Sieć szkieletowa CNN wykorzystuje zestaw podstawowych warstw conv+bn+relu+pooling do wyodrębniania map obiektów z obrazu wejściowego. Następnie mapy obiektów są wprowadzane do warstwy puli RPN i ROI. Rolą sieci RPN jest generowanie propozycji regionalnych. Ten moduł używa softmax do określenia, czy kotwice są dodatnie i generuje dokładne kotwice przez regresję pola ograniczenia. Warstwa puli ROI wyodrębnia mapy funkcji propozycji, zbierając mapy obiektów wejściowych i propozycje, a następnie przekazuje mapy funkcji propozycji do późniejszej głowicy wykrywania. Głowica detekcji używa map funkcji propozycji do klasyfikowania obiektów i uzyskiwania dokładnych pozycji pól wykrywania za pomocą regresji pola ograniczenia.

Ten artykuł przedstawia nową sieć wykrywania guzków tarczycy o nazwie Swin Faster R-CNN, utworzoną przez zastąpienie szkieletu CNN w Faster R-CNN przez Transformer Swin, co skutkuje lepszym wydobyciem cech wykrywania guzków z obrazów ultrasonograficznych. Ponadto sieć piramidy cech (FPN)29 służy do poprawy wydajności wykrywania modelu dla guzków o różnych rozmiarach poprzez agregację cech o różnych skalach.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Protokół

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

To retrospektywne badanie zostało zatwierdzone przez instytucjonalną komisję rewizyjną Szpitala Zachodniochińskiego, Uniwersytet Syczuański, Syczuan, Chiny, a wymóg uzyskania świadomej zgody został zniesiony.

1. Konfiguracja środowiska

  1. Oprogramowanie procesora graficznego (GPU)
    1. Aby zaimplementować aplikacje głębokiego uczenia, najpierw skonfiguruj środowisko związane z procesorem GPU. Pobierz i zainstaluj oprogramowanie i sterowniki odpowiednie dla procesora graficznego ze strony internetowej procesora graficznego.
      UWAGA: Zapoznaj się z tabelą materiałów, aby zapoznać się z materiałami użytymi w tym badaniu.
  2. Instalacja Pythona 3.8
    1. Otwórz terminal na urządzeniu. Wpisz następujące polecenie:
      Wiersz poleceń: sudo apt-get install python3.8 python-dev python-virtualenv
  3. Instalacja Pytorch1.7
    1. Postępuj zgodnie z instrukcjami na oficjalnej stronie internetowej, aby pobrać i zainstalować Miniconda.
    2. Utwórz środowisko conda i aktywuj je.
      Wiersz poleceń: conda create --name SwinFasterRCNN python=3.8 -y
      Wiersz poleceń: conda activate SwinFasterRCNN
    3. Zainstaluj Pytorch.
      Wiersz poleceń: conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2
  4. Instalacja MMDetection
    1. Klonuj z oficjalnego repozytorium Github.
      Wiersz poleceń: git clone https://github.com/open-mmlab/mmdetection.git
    2. Zainstaluj plik MMDetection.
      Wiersz poleceń: cd mmdetection
      Wiersz polecenia: install -v -e .

2. Przygotowanie danych

  1. Gromadzenie danych
    1. Zebrano obrazy ultrasonograficzne (tutaj 3000 przypadków ze szpitala trzeciego stopnia stopnia). Upewnij się, że każdy przypadek ma dokumentację diagnostyczną, plany leczenia, raporty z USA i odpowiednie obrazy z USA.
    2. Umieść wszystkie obrazy z USA w folderze o nazwie "images"."
      UWAGA: Dane wykorzystane w tym badaniu obejmowały 3 853 zdjęcia z USA z 3 000 przypadków.
  2. Czyszczenie danych
    1. Ręcznie sprawdź zestaw danych pod kątem obrazów obszarów innych niż tarczyca, takich jak obrazy limfy.
    2. Ręcznie sprawdź zestaw danych pod kątem obrazów zawierających kolorowy przepływ Dopplera.
    3. Usuń obrazy zaznaczone w poprzednich dwóch krokach.
      UWAGA: Po wyczyszczeniu danych pozostało 3 000 obrazów z 2 680 przypadków.
  3. Adnotacja danych
    1. Poproś starszego lekarza, aby zlokalizował obszar guzka na obrazie w USA i nakreślił granicę guzka.
      UWAGA: Oprogramowanie i proces adnotacji można znaleźć w pliku uzupełniającym 1.
    2. Poproś innego starszego lekarza o przejrzenie i poprawienie wyników adnotacji.
    3. Umieść dane z adnotacjami w osobnym folderze o nazwie "Adnotacje".
  4. Podział danych
    1. Uruchom skrypt języka Python i ustaw ścieżkę obrazu w kroku 2.1.2 oraz ścieżki adnotacji w kroku 2.3.3. Losowo podziel wszystkie obrazy i odpowiadające im oznaczone pliki na zestawy treningowe i walidacyjne w stosunku 8:2. Zapisz dane zestawu treningowego w folderze "Train", a dane zestawu walidacji w folderze "Val".
      UWAGA: Skrypty Pythona znajdują się w pliku uzupełniającym 2.
  5. Konwertowanie na format zestawu danych CoCo
    UWAGA: Aby użyć narzędzia MMDetection, należy przetworzyć dane w formacie zestawu danych CoCo, który zawiera plik json zawierający informacje o adnotacjach oraz folder obrazów zawierający obrazy z USA.
    1. Uruchom skrypt Pythona i wprowadź ścieżki folderu adnotacji (krok 2.3.3), aby wyodrębnić obszary guzków nakreślone przez lekarza i przekształcić je w maski. Zapisz wszystkie maski w folderze "Maski".
      UWAGA: Skrypty Pythona są dostępne w pliku uzupełniającym 3.
    2. Uruchom skrypt języka Python i ustaw ścieżkę do folderu masks w kroku 2.5.1, aby przekształcić dane w zestaw danych w formacie CoCo i wygenerować plik json z obrazami USA.
      UWAGA: Skrypty Pythona są dostępne w pliku uzupełniającym 4.

3. Swin Szybsza konfiguracja RCNN

  1. Pobierz plik modelu Swin Transformer (https://github.com/microsoft/Swin-Transformer/blob/main/models/swin_transformer.py), zmodyfikuj go i umieść w folderze "mmdetection/mmdet/models/backbones/". Otwórz plik "swin_transformer.py" w edytorze tekstu vim i zmodyfikuj go jako plik modelu Swin Transformer dostarczony w pliku uzupełniającym 5.
    Wiersz poleceń: vim swin_transformer.py
  2. Utwórz kopię pliku konfiguracyjnego Faster R-CNN, zmień szkielet na Swin Transformer i skonfiguruj parametry FPN.
    Wiersz poleceń: cd mmdetection/configs/faster_rcnn
    Wiersz poleceń: cp faster_rcnn_r50_fpn_1x_coco.py swin_faster_rcnn_swin.py
    UWAGA: Plik konfiguracyjny Swin Faster R-CNN (swin_faster_rcnn_swin.py) znajduje się w pliku uzupełniającym 6. Struktura sieci Swin Faster R-CNN jest pokazana w Rysunek 1.
  3. Ustaw ścieżkę zestawu danych na ścieżkę zestawu danych w formacie CoCo (krok 2.5.2) w pliku konfiguracyjnym. Otwórz plik "coco_detection.py" w edytorze tekstu vim i zmodyfikuj następujący wiersz:
    data_root = "ścieżka zestawu danych(krok 2.5.2)"
    Wiersz poleceń:vim mmdetection/configs/_base_/datasets/coco_detection.py

4. Szybsze szkolenie Swin R-CNN

  1. Edytuj mmdetection/configs/_base_/schedules/schedule_1x.py i ustaw domyślne parametry związane ze szkoleniem, w tym szybkość uczenia się, optymalizator i epokę. Otwórz plik "schedule_1x.py" w edytorze tekstu vim i zmodyfikuj następujące wiersze:
    optymalizator = dict(type="AdamW", lr=0.001, momentum=0.9, weight_decay=0.0001)
    runner = dict(type='EpochBasedRunner', max_epochs=48)
    Wiersz poleceń: vim mmdetection/configs/_base_/schedules/schedule_1x.py
    UWAGA: W tym protokole dla tego artykułu szybkość uczenia się została ustawiona na 0,001, użyto optymalizatora AdamW, maksymalna epoka trenowania została ustawiona na 48, a rozmiar partii został ustawiony na 16.
  2. Rozpocznij trenowanie, wpisując następujące polecenia. Poczekaj, aż sieć rozpocznie trenowanie przez 48 epok i że wynikowe wytrenowane wagi sieci Swin Faster R-CNN zostaną wygenerowane w folderze wyjściowym. Zapisz wzorce masy modelu z najwyższą dokładnością w zestawie walidacyjnym.
    Wiersz poleceń: cd mmdetection
    Wiersz poleceń: python tools/train.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --work-dir ./work_dirs
    UWAGA: Model został przeszkolony na procesorze graficznym "NVIDIA GeForce RTX3090 24G". Zastosowaną jednostką centralną był "AMD Epyc 7742 64-rdzeniowy procesor × 128", a systemem operacyjnym był Ubuntu 18.06. Całkowity czas szkolenia wyniósł ~2 h.

5. Wykrywanie guzków tarczycy na nowych obrazach

  1. Po wytrenowaniu wybierz model o najlepszej wydajności w zestawie walidacji do wykrywania guzków tarczycy na nowych obrazach.
    1. Najpierw zmień rozmiar obrazu na 512 pikseli x 512 pikseli i znormalizuj go. Te operacje są wykonywane automatycznie po uruchomieniu skryptu testowego.
      Wiersz poleceń: python tools/test.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --out ./output
    2. Poczekaj, aż skrypt automatycznie załaduje wstępnie wytrenowane parametry modelu do Swin Faster R-CNN i przekaże wstępnie przetworzony obraz do Swin Faster R-CNN w celu wnioskowania. Poczekaj, aż Swin Faster R-CNN wyświetli pole przewidywania dla każdego obrazu.
    3. Na koniec zezwól skryptowi na automatyczne przetwarzanie końcowe NMS na każdym obrazie, aby usunąć zduplikowane pola wykrywania.
      UWAGA: Wyniki wykrywania są przesyłane do określonego folderu, który zawiera obrazy z polami wykrywania i współrzędnymi pola ograniczenia w spakowanym pliku.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Wyniki

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Zdjęcia tarczycy w USA zostały zebrane z dwóch szpitali w Chinach od września 2008 do lutego 2018. Kryteriami kwalifikacyjnymi do włączenia obrazów amerykańskich do tego badania były konwencjonalne badanie USG przed biopsją i leczeniem chirurgicznym, diagnoza za pomocą biopsji lub patologii pooperacyjnej oraz wiek ≥ 18 lat. Kryteriami wykluczenia były obrazy bez tkanek tarczycy.

3,000 obrazów ultrasonograficznych zawierało 1,384 złośliwe i 1,616 łagodnych guzków. Większość (90%) złośliwych guz...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Dyskusja

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

W tym dokumencie szczegółowo opisano, jak przeprowadzić konfigurację środowiska, przygotowanie danych, konfigurację modelu i trenowanie sieci. W fazie konfiguracji środowiska należy zwrócić uwagę na to, aby biblioteki zależne były kompatybilne i dopasowane. Przetwarzanie danych jest bardzo ważnym krokiem; Należy poświęcić czas i wysiłek, aby zapewnić dokładność adnotacji. Podczas trenowania modelu może wystąpić błąd "ModuleNotFoundError". W takim przypadku konieczne jest użycie polecenia "install", aby zainstalować braku...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Oświadczenia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy deklarują brak konfliktu interesów.

Podziękowania

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

To badanie było wspierane przez Narodową Fundację Nauk Przyrodniczych Chin (Grant No.32101188) oraz General Project of Science and Technology Department of Sichuan Province (Grant No. 2021YFS0102), China.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
Karta graficzna RTX3090Nvidia124G GPU
mmdetection2.11.0SenseTime4https://github.com/open-mmlab/mmdetection.git
python3.8—2https://www.python.org
pytorch1.7.1Facebook3https://pytorch.org

Bibliografia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Grant, E. G., et al. Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee. Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).
  2. Zhao, J., Zheng, W., Zhang, L., Tian, H. Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology. Health Information Science and Systems. 1, 5(2013).
  3. Haugen, B. R. American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed. Cancer. 123 (3), 372-381 (2017).
  4. Shin, J. H., et al. Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations. Korean Journal of Radiology. 17 (3), 370-395 (2016).
  5. Horvath, E., et al. An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management. The Journal of Clinical Endocrinology & Metabolism. 94 (5), 1748-1751 (2009).
  6. Park, J. -Y., et al. A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma. Thyroid. 19 (11), 1257-1264 (2009).
  7. Moon, W. -J., et al. Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study. Radiology. 247 (3), 762-770 (2008).
  8. Park, C. S., et al. Observer variability in the sonographic evaluation of thyroid nodules. Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).
  9. Kim, S. H., et al. Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules. Korean Journal of Radiology. 11 (2), 149-155 (2010).
  10. Choi, Y. J., et al. A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment. Thyroid. 27 (4), 546-552 (2017).
  11. Chang, T. -C. The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography. Journal of Medical Ultrasound. 23 (4), 177-184 (2015).
  12. Fully convolutional networks for ultrasound image segmentation of thyroid nodules. Li, X. IEEE 20th International Conference on High Performance Computing and Communications; IEEE 16th International Conference on Smart City; IEEE 4th International Conference on Data Science and Systems (HPCC/SmartCity/DSS), , 886-890 (2018).
  13. Nguyen, D. T., Choi, J., Park, K. R. Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks. Mathematics. 10 (19), 3484(2022).
  14. Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images. Medical Physics. 44 (5), 1678-1691 (2017).
  15. Song, W., et al. Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition. IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).
  16. Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images. Wang, J., et al. 2018 25Th IEEE International Conference on Image Processing (ICIP), , IEEE. 3114-3118 (2018).
  17. Wang, L., et al. A multi-scale densely connected convolutional neural network for automated thyroid nodule classification. Frontiers in Neuroscience. 16, 878718(2022).
  18. Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Communications of the ACM. 60 (6), 84-90 (2017).
  19. He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).
  20. Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. Relation networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).
  21. Szegedy, C., et al. Going deeper with convolutions. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).
  22. Dosovitskiy, A., et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929. , (2020).
  23. Touvron, H., et al. Training data-efficient image transformers & distillation through attention. arXiv:2012.12877. , (2021).
  24. Liu, Z., et al. Swin Transformer: Hierarchical vision transformer using shifted windows. 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).
  25. Vaswani, A., et al. Attention is all you need. Advances in Neural Information Processing Systems. 30, (2017).
  26. Chen, J., et al. TransUNet: Transformers make strong encoders for medical image segmentation. arXiv. arXiv:2102.04306. , (2021).
  27. Ren, S., He, K., Girshick, R., Sun, J. Faster r-cnn: Towards real-time object detection with region proposal networks. Advances in Neural Information Processing Systems. 28, 91-99 (2015).
  28. Li, H., et al. An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images. Scientific Reports. 8, 6600(2018).
  29. Lin, T. -Y., et al. Feature pyramid networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).
  30. Ouahabi, A. A review of wavelet denoising in medical imaging. 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).
  31. Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. Image denoising using a compressive sensing approach based on regularization constraints. Sensors. 22 (6), 2199(2022).
  32. Castleman, K. R. Digital Image Processing. , Prentice Hall Press. Hoboken, NJ. (1996).
  33. Liu, W., et al. Ssd: Single shot multibox detector. European Conference on Computer Vision. , 21-37 (2016).
  34. Redmon, J., Farhadi, A. Yolov3: An incremental improvement. arXiv. arXiv:1804.02767. , (2018).
  35. Lin, T. -Y., Goyal, P., Girshick, R., He, K., Dollár, P. Focalloss for dense object detection. arXiv. arXiv:1708.02002. , (2017).
  36. Carion, N., et al. End-to-end object detection with transformers. Computer Vision-ECCV 2020: 16th European Conference. , Glasgow, UK. 23-28 (2020).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Przedruki i uprawnienia

Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE

Poproś o pozwolenie

Tagi

Thyroid Nodule DetectionSwin TransformerUltrasound ImagesFaster R CNNFeature Pyramid NetworkSelf AttentionContext ModelingCNN BaselinesModel SensitivityBounding Box Prediction

Powiązane artykuły