Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Medicine
Click here for the English version

Medicine

En swin transformer-baseret model til skjoldbruskkirtlen knude detektion i ultralyd billeder

Published: April 21, 2023 doi: 10.3791/64480
Automatic Translation
1, 2, 3, 3, 3, 3, 1, 2
1Department of Ultrasonography, West China Hospital of Sichuan University, 2Department of Thyroid Surgery, West China Hospital of Sichuan University, 3MedAI Technology (Wuxi) Co. Ltd.

Summary

Her foreslås en ny model til detektering af skjoldbruskkirtelknuder i ultralydsbilleder, der bruger Swin Transformer som rygrad til at udføre langtrækkende kontekstmodellering. Eksperimenter viser, at det fungerer godt med hensyn til følsomhed og nøjagtighed.

Abstract

I de senere år har forekomsten af kræft i skjoldbruskkirtlen været stigende. Thyroid knude detektion er afgørende for både påvisning og behandling af kræft i skjoldbruskkirtlen. Convolutional neurale netværk (CNN'er) har opnået gode resultater i skjoldbruskkirtlen ultralyd billedanalyse opgaver. På grund af det begrænsede gyldige modtagelige felt af konvolutionelle lag undlader CNN'er imidlertid at fange langtrækkende kontekstuelle afhængigheder, som er vigtige for at identificere skjoldbruskkirtelknuder i ultralydsbilleder. Transformatornetværk er effektive til at fange langtrækkende kontekstuelle oplysninger. Inspireret af dette foreslår vi en ny metode til detektion af skjoldbruskkirtelknuder, der kombinerer Swin Transformer-rygraden og hurtigere R-CNN. Specifikt projiceres et ultralydsbillede først ind i en 1D-sekvens af indlejringer, som derefter føres ind i en hierarkisk Swin Transformer.

Swin Transformer backbone ekstrakter funktioner i fem forskellige skalaer ved at bruge forskudte vinduer til beregning af selvopmærksomhed. Derefter bruges et funktionspyramidenetværk (FPN) til at smelte funktionerne fra forskellige skalaer. Endelig bruges et registreringshoved til at forudsige afgrænsningsrammer og de tilsvarende konfidensscorer. Data indsamlet fra 2.680 patienter blev brugt til at gennemføre eksperimenterne, og resultaterne viste, at denne metode opnåede den bedste mAP-score på 44,8%, hvilket overgik CNN-baserede baselines. Derudover fik vi bedre følsomhed (90,5%) end konkurrenterne. Dette indikerer, at kontekstmodellering i denne model er effektiv til detektion af skjoldbruskkirtelknuder.

Introduction

Forekomsten af kræft i skjoldbruskkirtlen er steget hurtigt siden 1970, især blandt midaldrende kvinder1. Skjoldbruskkirtlen knuder kan forudsige fremkomsten af kræft i skjoldbruskkirtlen, og de fleste skjoldbruskkirtlen knuder er asymptomatiske2. Den tidlige påvisning af skjoldbruskkirtlen knuder er meget nyttigt i helbredelse af kræft i skjoldbruskkirtlen. Derfor skal alle patienter med mistænkt nodulær struma ved fysisk undersøgelse eller med unormale billeddannelsesfund ifølge gældende retningslinjer gennemgå yderligere undersøgelse 3,4.

Thyroid ultralyd (US) er en almindelig metode, der anvendes til at detektere og karakterisere skjoldbruskkirtlenlæsioner 5,6. USA er en praktisk, billig og strålingsfri teknologi. Imidlertid påvirkes anvendelsen af US let af operatøren 7,8. Funktioner som form, størrelse, ekkogenicitet og tekstur af skjoldbruskkirtelknuder kan let skelnes på amerikanske billeder. Selvom visse amerikanske træk - forkalkninger, ekkogenicitet og uregelmæssige grænser - ofte betragtes som kriterier for identifikation af skjoldbruskkirtelknuder, er tilstedeværelsen af interobservervariabilitet uundgåelig 8,9. Diagnoseresultaterne fra radiologer med forskellige niveauer af erfaring er forskellige. Uerfarne radiologer er mere tilbøjelige til at fejldiagnosticere end erfarne radiologer. Nogle egenskaber ved USA, såsom refleksioner, skygger og ekkoer, kan forringe billedkvaliteten. Denne forringelse af billedkvaliteten forårsaget af karakteren af amerikansk billeddannelse gør det vanskeligt for selv erfarne læger at lokalisere knuder nøjagtigt.

Computerstøttet diagnose (CAD) for skjoldbruskkirtelknuder har udviklet sig hurtigt i de senere år og kan effektivt reducere fejl forårsaget af forskellige læger og hjælpe radiologer med at diagnosticere knuder hurtigt og præcist10,11. Forskellige CNN-baserede CAD-systemer er blevet foreslået til skjoldbruskkirtlen US knudeanalyse, herunder segmentering 12,13, detektion 14,15 og klassificering 16,17. CNN er en flerlags, overvåget læringsmodel18, og kernemodulerne i CNN er konvolutions- og poolinglagene. Konvolutionslagene bruges til funktionsekstraktion, og poolinglagene bruges til nedsampling. Skyggekonvolutionlagene kan udtrække primære funktioner såsom tekstur, kanter og konturer, mens dybe viklingslag lærer semantiske funktioner på højt niveau.

CNN'er har haft stor succes i computer vision 19,20,21. CNN'er undlader imidlertid at fange langtrækkende kontekstuelle afhængigheder på grund af det begrænsede gyldige modtagelige felt af de konvolutionelle lag. Tidligere brugte backbone-arkitekturer til billedklassificering mest CNN'er. Med fremkomsten af Vision Transformer (ViT)22,23 har denne tendens ændret sig, og nu bruger mange state-of-the-art modeller transformere som rygrad. Baseret på ikke-overlappende billedpatches bruger ViT en standard transformerkoder25 til globalt at modellere rumlige relationer. Swin Transformer24 introducerer yderligere skiftevinduer for at lære funktioner. Skiftvinduerne giver ikke kun større effektivitet, men reducerer også sekvensens længde kraftigt, fordi selvopmærksomhed beregnes i vinduet. Samtidig kan samspillet mellem to tilstødende vinduer foretages gennem drift af forskydning (bevægelse). Den vellykkede anvendelse af Swin Transformer i computersyn har ført til undersøgelse af transformerbaserede arkitekturer til ultralydsbilledanalyse26.

For nylig foreslog Li et al. en dyb læringstilgang28 til påvisning af papillær kræft i skjoldbruskkirtlen inspireret af Faster R-CNN27. Hurtigere R-CNN er en klassisk CNN-baseret objektdetekteringsarkitektur. Den originale Faster R-CNN har fire moduler - CNN-rygraden, regionsforslagsnetværket (RPN), ROI-poolingslaget og detektionshovedet. CNN-rygraden bruger et sæt grundlæggende conv + bn+relu + pooling-lag til at udtrække funktionskort fra inputbilledet. Derefter føres funktionskortene ind i RPN og ROI-poolinglaget. RPN-netværkets rolle er at generere regionsforslag. Dette modul bruger softmax til at bestemme, om ankre er positive og genererer nøjagtige ankre ved afgrænsningsboksregression. ROI-puljelaget udtrækker forslagets funktionskort ved at indsamle inputfunktionskortene og forslagene og indfører forslagets funktionskort i det efterfølgende registreringshoved. Registreringshovedet bruger forslagets funktionskort til at klassificere objekter og opnå nøjagtige placeringer af registreringsbokse ved hjælp af afgrænsningsrammens regression.

Dette papir præsenterer et nyt skjoldbruskkirtelknudedetekteringsnetværk kaldet Swin Faster R-CNN dannet ved at erstatte CNN-rygraden i Faster R-CNN med Swin Transformer, hvilket resulterer i bedre udvinding af funktioner til knudedetektion fra ultralydsbilleder. Derudover bruges funktionspyramidenetværket (FPN)29 til at forbedre modellens detektionsydelse for knuder af forskellig størrelse ved at aggregere funktioner i forskellige skalaer.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

Denne retrospektive undersøgelse blev godkendt af det institutionelle bedømmelsesudvalg på West China Hospital, Sichuan University, Sichuan, Kina, og kravet om at indhente informeret samtykke blev frafaldet.

1. Opsætning af miljø

  1. GPU-software (grafisk behandlingsenhed)
    1. For at implementere deep learning-applikationer skal du først konfigurere det GPU-relaterede miljø. Download og installer GPU-passende software og drivere fra GPU'ens websted.
      BEMÆRK: Se materialetabellen for dem, der anvendes i denne undersøgelse.
  2. Installation af Python3.8
    1. Åbn en terminal på maskinen. Skriv følgende:
      Kommandolinje: sudo apt-get install python3.8 python-dev python-virtualenv
  3. Pytorch1.7 installation
    1. Følg trinene på det officielle websted for at downloade og installere Miniconda.
    2. Opret et conda-miljø og aktiver det.
      Kommandolinje: conda create --name SwinFasterRCNN python=3.8 -y
      Kommandolinje: conda aktiver SwinFasterRCNN
    3. Installer Pytorch.
      Kommandolinje: conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2
  4. MMDetection installation
    1. Klon fra det officielle Github-lager.
      Kommandolinje: git klon https://github.com/open-mmlab/mmdetection.git
    2. Installer MMDetection.
      Kommandolinje: cd mmdetection
      Kommandolinje: pip install -v -e .

2. Forberedelse af data

  1. Dataindsamling
    1. Indsamlede ultralydsbillederne (her 3.000 tilfælde fra et klasse A tertiært hospital). Sørg for, at hvert tilfælde har diagnostiske optegnelser, behandlingsplaner, amerikanske rapporter og de tilsvarende amerikanske billeder.
    2. Placer alle de amerikanske billeder i en mappe med navnet "billeder".
      BEMÆRK: De data, der blev brugt i denne undersøgelse, omfattede 3.853 amerikanske billeder fra 3.000 tilfælde.
  2. Rengøring af data
    1. Kontroller datasættet manuelt for billeder af områder, der ikke er skjoldbruskkirtel, f.eks. lymfebilleder.
    2. Kontroller datasættet manuelt for billeder, der indeholder Doppler-farveflow.
    3. Slet de billeder, der er valgt i de to foregående trin.
      BEMÆRK: Efter datarensning blev der efterladt 3.000 billeder fra 2.680 sager.
  3. Anmærkning af data
    1. Få en overlæge til at finde knudeområdet i det amerikanske billede og skitsere knudegrænsen.
      BEMÆRK: Annotationssoftwaren og -processen findes i supplerende fil 1.
    2. Få en anden overlæge til at gennemgå og revidere annotationsresultaterne.
    3. Placer de kommenterede data i en separat mappe kaldet "Anmærkninger".
  4. Opdeling af data
    1. Kør python-scriptet, og indstil stien til billedet i trin 2.1.2 og stierne til annotationerne i trin 2.3.3. Opdel tilfældigt alle billederne og de tilsvarende mærkede filer i trænings- og valideringssæt i forholdet 8:2. Gem træningssætdataene i mappen "Træn" og valideringssætdataene i mappen "Val".
      BEMÆRK: Python-scripts findes i supplerende fil 2.
  5. Konvertering til CoCo-datasætformatet
    BEMÆRK: Hvis du vil bruge MMDetection, skal du behandle dataene i et CoCo-datasætformat, som indeholder en json-fil, der indeholder annotationsoplysningerne, og en billedmappe, der indeholder de amerikanske billeder.
    1. Kør python-scriptet, og indtast annotationsmappestierne (trin 2.3.3) for at udtrække de knudeområder, der er skitseret af lægen, og konvertere dem til masker. Gem alle maskerne i mappen "Masker".
      BEMÆRK: Python-scripts findes i supplerende fil 3.
    2. Kør python-scriptet, og angiv stien til maskemappen i trin 2.5.1 for at gøre dataene til et datasæt i CoCo-format og generere en json-fil med de amerikanske billeder.
      BEMÆRK: Python-scripts findes i supplerende fil 4.

3. Swin hurtigere RCNN-konfiguration

  1. Download Swin Transformer-modelfilen (https://github.com/microsoft/Swin-Transformer/blob/main/models/swin_transformer.py), rediger den, og placer den i mappen "mmdetection/mmdet/models/backbones/". Åbn filen "swin_transformer.py" i en vim-teksteditor, og rediger den som Swin Transformer-modelfilen, der findes i supplerende fil 5.
    Kommandolinje: vim swin_transformer.py
  2. Lav en kopi af den hurtigere R-CNN-konfigurationsfil, skift rygraden til Swin Transformer, og konfigurer FPN-parametrene.
    Kommandolinje: cd mmdetection / configs / faster_rcnn
    Kommandolinje: cp faster_rcnn_r50_fpn_1x_coco.py swin_faster_rcnn_swin.py
    BEMÆRK: Swin Faster R-CNN-konfigurationsfilen (swin_faster_rcnn_swin.py) findes i supplerende fil 6. Swin Faster R-CNN-netværksstrukturen er vist i figur 1.
  3. Angiv stien til datasættets sti til CoCo-formatet (trin 2.5.2) i konfigurationsfilen. Åbn filen "coco_detection.py" i vim-teksteditoren, og rediger følgende linje:
    data_root = "Datasætsti(trin 2.5.2)"
    Kommandolinje:vim mmdetection/configs/_base_/datasets/coco_detection.py

4. Træning af swin hurtigere R-CNN

  1. Rediger mmdetection/configs/_base_/schedules/schedule_1x.py, og indstil standardtræningsrelaterede parametre, herunder indlæringshastighed, optimering og epoke. Åbn filen "schedule_1x.py" i vim-teksteditoren, og rediger følgende linjer:
    optimizer = dikt(type="AdamW", lr=0,001, momentum=0,9, weight_decay=0,0001)
    runner = dikt(type='EpochBasedRunner', max_epochs=48)
    Kommandolinje: vim mmdetection / configs / _base_ / tidsplaner / schedule_1x.py
    BEMÆRK: I denne protokol til dette papir blev indlæringshastigheden indstillet til 0,001, AdamW optimizer blev brugt, den maksimale træningsepoke blev sat til 48, og batchstørrelsen blev indstillet til 16.
  2. Start træningen ved at skrive følgende kommandoer. Vent på, at netværket begynder at træne i 48 epoker, og at de resulterende trænede vægte af Swin Faster R-CNN-netværket genereres i outputmappen. Gem modelvægtene med den højeste nøjagtighed på valideringssættet.
    Kommandolinje: cd mmdetection
    Kommandolinje: python værktøjer / tog.py congfigs / faster_rcnn / swin_faster_rcnn_swin.py --work-dir ./work_dirs
    BEMÆRK: Modellen blev trænet på en "NVIDIA GeForce RTX3090 24G" GPU. Den anvendte centrale behandlingsenhed var "AMD Epyc 7742 64-core processor × 128", og operativsystemet var Ubuntu 18.06. Den samlede træningstid var ~ 2 timer.

5. Udførelse af skjoldbruskkirtelknudedetektion på nye billeder

  1. Efter træning skal du vælge modellen med den bedste ydeevne på valideringssættet til detektering af skjoldbruskkirtelknuder i de nye billeder.
    1. Først skal du ændre størrelsen på billedet til 512 pixels x 512 pixels og normalisere det. Disse handlinger udføres automatisk, når testscriptet køres.
      Kommandolinje: python værktøjer / test.py congfigs / faster_rcnn / swin_faster_rcnn_swin.py --out ./output
    2. Vent på, at scriptet automatisk indlæser de forudtrænede modelparametre til Swin Faster R-CNN, og føder det forbehandlede billede ind i Swin Faster R-CNN for slutning. Vent på, at Swin Faster R-CNN udsender forudsigelsesboksen for hvert billede.
    3. Lad endelig scriptet automatisk udføre NMS-efterbehandling på hvert billede for at fjerne dubletdetekteringsbokse.
      BEMÆRK: Registreringsresultaterne sendes til den angivne mappe, som indeholder billederne med registreringsboksene og afgrænsningsrammens koordinater i en pakket fil.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Billederne af skjoldbruskkirtlen i USA blev indsamlet fra to hospitaler i Kina fra september 2008 til februar 2018. Kriterierne for at inkludere de amerikanske billeder i denne undersøgelse var konventionel amerikansk undersøgelse før biopsi og kirurgisk behandling, diagnose med biopsi eller postkirurgisk patologi og alder ≥ 18 år. Eksklusionskriterierne var billeder uden skjoldbruskkirtelvæv.

De 3.000 ultralydsbilleder omfattede 1.384 ondartede og 1.616 godartede knuder. Størstedelen (90%) af de ondartede knuder var papillært karcinom, og 66% af de godartede knuder var nodulær struma. Her var 25% af knuderne mindre end 5 mm, 38% var mellem 5 mm og 10 mm, og 37% var større end 10 mm.

Alle de amerikanske billeder blev indsamlet ved hjælp af Philips IU22 og DC-80, og deres standard skjoldbruskkirtelundersøgelsestilstand blev brugt. Begge instrumenter var udstyret med 5-13 MHz lineære sonder. For god eksponering af de nedre skjoldbruskkirtelmargener blev alle patienterne undersøgt i liggende stilling med ryggen udvidet. Både skjoldbruskkirtelloberne og isthmusen blev scannet i de langsgående og tværgående planer i henhold til American College of Radiology akkrediteringsstandarder. Alle undersøgelserne blev udført af to ledende skjoldbruskkirtelradiologer med ≥10 års klinisk erfaring. Skjoldbruskkirteldiagnosen var baseret på histopatologiske fund fra finnålsaspirationsbiopsi eller skjoldbruskkirtelkirurgi.

I det virkelige liv, da amerikanske billeder er ødelagt af støj, er det vigtigt at foretage korrekt forbehandling af de amerikanske billeder, såsom billeddenoising baseret på wavelettransformation30, komprimerende sensing31 og histogramudligning32. I dette arbejde brugte vi histogramudligning til at forbehandle de amerikanske billeder, forbedre billedkvaliteten og afhjælpe forringelse af billedkvaliteten forårsaget af støj.

I det følgende kaldes sand positiv, falsk positiv, sand negativ og falsk negativ henholdsvis TP, FP, TN og FN. Vi brugte mAP, følsomhed og specificitet til at evaluere modellens knudedetekteringsydelse. mAP er en almindelig måling inden for objektdetektion. Følsomhed og specificitet blev beregnet ved hjælp af ligning (1) og ligning (2):

Equation 1 (1)

Equation 2 (2)

I dette papir defineres TP som antallet af korrekt detekterede knuder, som har et skæringspunkt over forening (IoU) mellem forudsigelsesboksen og grundsandhedsboksen på >0,3 og en konfidensscore >0,6. IoU er skæringspunktet over union, som beregnes ved hjælp af ligning (3):

Equation 3 (3)

Vi sammenlignede flere klassiske objektdetekteringsnetværk, herunder SSD 33, YOLO-v334, CNN-backbone-baseret Faster R-CNN27, RetinaNet 35 og DETR 36. YOLO-v3 og SSD er et-trins detektionsnetværk, DETR er et transformerbaseret objektdetekteringsnetværk, og Faster R-CNN og RetinaNet er to-trins detektionsnetværk. Tabel 1 viser, at ydeevnen for Swin Faster R-CNN er bedre end de andre metoder og når 0,448 mAP, hvilket er 0,028 højere end CNN-rygradens hurtigere R-CNN og 0,037 højere end YOLO-v3. Ved at bruge Swin Faster R-CNN kan 90,5% af skjoldbruskkirtlen knuder detekteres automatisk, hvilket er ~ 3% højere end CNN rygradsbaseret hurtigere R-CNN (87,1%). Som vist i figur 2 gør brugen af Swin Transformer som rygrad grænsepositionering mere nøjagtig.

Figure 1
Figur 1: Diagram over Swin Faster R-CNN netværksarkitektur. Klik her for at se en større version af denne figur.

Figure 2
Figur 2: Registreringsresultater. Registreringsresultaterne for det samme billede er i en given række. Kolonnerne er registreringsresultaterne fra venstre mod højre for henholdsvis Swin Faster R-CNN, Faster R-CNN, YOLO-v3, SSD, RetinaNet og DETR. Regionernes grundlæggende sandheder er markeret med grønne rektangulære kasser. Registreringsresultaterne er indrammet af de røde rektangulære kasser. Klik her for at se en større version af denne figur.

Metode Rygrad kort Følsomhed Specificitet
YOLO-v3 DarkNet 0.411 0.869 0.877
SSD VGG16 0.425 0.841 0.849
RetinaNet ResNet50 0.382 0.845 0.841
Hurtigere R-CNN ResNet50 0.42 0.871 0.864
DETR ResNet50 0.416 0.882 0.86
Swin hurtigere R-CNN uden FPN Swin Transformer 0.431 0.897 0.905
Swin hurtigere R-CNN med FPN 0.448 0.905 0.909

Tabel 1: Sammenligning af ydeevne med avancerede objektdetekteringsmetoder.

Supplerende fil 1: Betjeningsvejledning til dataannotationen og den anvendte software. Klik her for at downloade denne fil.

Supplerende fil 2: Python-script, der bruges til at opdele datasættet i træningssættet og valideringssættet, som nævnt i trin 2.4.1. Klik her for at downloade denne fil.

Supplerende fil 3: Python-script, der bruges til at konvertere anmærkningsfilen til masker, som nævnt i trin 2.5.1. Klik her for at downloade denne fil.

Supplerende fil 4: Python-script, der bruges til at gøre dataene til et datasæt i CoCo-format, som nævnt i trin 2.5.2. Klik her for at downloade denne fil.

Supplerende fil 5: Den ændrede Swin Transformer-modelfil, der er nævnt i trin 3.1. Klik her for at downloade denne fil.

Supplerende fil 6: Den Swin Faster R-CNN-konfigurationsfil, der er nævnt i trin 3.2. Klik her for at downloade denne fil.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Dette dokument beskriver detaljeret, hvordan du udfører miljøopsætning, dataforberedelse, modelkonfiguration og netværkstræning. I miljøopsætningsfasen skal man være opmærksom på at sikre, at de afhængige biblioteker er kompatible og matchede. Databehandling er et meget vigtigt skridt. Der skal bruges tid og kræfter på at sikre nøjagtigheden af kommentarerne. Når du træner modellen, kan der opstå en "ModuleNotFoundError". I dette tilfælde er det nødvendigt at bruge kommandoen "pip install" til at installere det manglende bibliotek. Hvis tabet af valideringssættet ikke falder eller svinger meget, skal man kontrollere annotationsfilen og prøve at justere indlæringshastigheden og batchstørrelsen for at få tabet til at konvergere.

Skjoldbruskkirtlen knude detektion er meget vigtigt for behandling af kræft i skjoldbruskkirtlen. CAD-systemet kan hjælpe læger med at opdage knuder, undgå forskelle i diagnoseresultater forårsaget af subjektive faktorer og reducere den manglende påvisning af knuder. Sammenlignet med eksisterende CNN-baserede CAD-systemer introducerer netværket, der foreslås i dette papir, Swin Transformer til at udtrække ultralydsbilledfunktioner. Ved at fange langdistanceafhængigheder kan Swin Faster R-CNN udtrække knudefunktionerne fra ultralydsbilleder mere effektivt. De eksperimentelle resultater viser, at Swin Faster R-CNN forbedrer følsomheden af knudedetektion med ~ 3% sammenlignet med CNN backbone-baserede Faster R-CNN. Anvendelsen af denne teknologi kan i høj grad reducere byrden for læger, da den kan opdage skjoldbruskkirtelknuder i tidlig ultralydsundersøgelse og guide læger til videre behandling. På grund af det store antal parametre i Swin Transformer er inferenstiden for Swin Faster R-CNN ~ 100 ms pr. billede (testet på NVIDIA TITAN 24G GPU og AMD Epyc 7742 CPU). Det kan være udfordrende at opfylde kravene til realtidsdiagnose med Swin Faster R-CNN. I fremtiden vil vi fortsætte med at indsamle sager for at verificere effektiviteten af denne metode og gennemføre yderligere undersøgelser af dynamisk ultralydsbilledanalyse.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

Forfatterne erklærer ingen interessekonflikter.

Acknowledgments

Denne undersøgelse blev støttet af National Natural Science Foundation of China (bevilling nr. 32101188) og General Project of Science and Technology Department of Sichuan-provinsen (bevilling nr. 2021YFS0102), Kina.

Materials

Name Company Catalog Number Comments
GPU RTX3090 Nvidia 1 24G GPU
mmdetection2.11.0 SenseTime 4 https://github.com/open-mmlab/mmdetection.git
python3.8 — 2 https://www.python.org
pytorch1.7.1 Facebook 3 https://pytorch.org

DOWNLOAD MATERIALS LIST

References

  1. Grant, E. G., et al. Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee. Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).
  2. Zhao, J., Zheng, W., Zhang, L., Tian, H. Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology. Health Information Science and Systems. 1, 5 (2013).
  3. Haugen, B. R. American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed. Cancer. 123 (3), 372-381 (2017).
  4. Shin, J. H., et al. Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations. Korean Journal of Radiology. 17 (3), 370-395 (2016).
  5. Horvath, E., et al. An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management. The Journal of Clinical Endocrinology & Metabolism. 94 (5), 1748-1751 (2009).
  6. Park, J. -Y., et al. A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma. Thyroid. 19 (11), 1257-1264 (2009).
  7. Moon, W. -J., et al. Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study. Radiology. 247 (3), 762-770 (2008).
  8. Park, C. S., et al. Observer variability in the sonographic evaluation of thyroid nodules. Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).
  9. Kim, S. H., et al. Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules. Korean Journal of Radiology. 11 (2), 149-155 (2010).
  10. Choi, Y. J., et al. A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment. Thyroid. 27 (4), 546-552 (2017).
  11. Chang, T. -C. The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography. Journal of Medical Ultrasound. 23 (4), 177-184 (2015).
  12. Fully convolutional networks for ultrasound image segmentation of thyroid nodules. Li, X. IEEE 20th International Conference on High Performance Computing and Communications; IEEE 16th International Conference on Smart City; IEEE 4th International Conference on Data Science and Systems (HPCC/SmartCity/DSS), , 886-890 (2018).
  13. Nguyen, D. T., Choi, J., Park, K. R. Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks. Mathematics. 10 (19), 3484 (2022).
  14. Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images. Medical Physics. 44 (5), 1678-1691 (2017).
  15. Song, W., et al. Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition. IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).
  16. Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images. Wang, J., et al. 2018 25Th IEEE International Conference on Image Processing (ICIP), , IEEE. 3114-3118 (2018).
  17. Wang, L., et al. A multi-scale densely connected convolutional neural network for automated thyroid nodule classification. Frontiers in Neuroscience. 16, 878718 (2022).
  18. Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Communications of the ACM. 60 (6), 84-90 (2017).
  19. He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).
  20. Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. Relation networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).
  21. Szegedy, C., et al. Going deeper with convolutions. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).
  22. Dosovitskiy, A., et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929. , (2020).
  23. Touvron, H., et al. Training data-efficient image transformers & distillation through attention. arXiv:2012.12877. , (2021).
  24. Liu, Z., et al. Swin Transformer: Hierarchical vision transformer using shifted windows. 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).
  25. Vaswani, A., et al. Attention is all you need. Advances in Neural Information Processing Systems. 30, (2017).
  26. Chen, J., et al. TransUNet: Transformers make strong encoders for medical image segmentation. arXiv. arXiv:2102.04306. , (2021).
  27. Ren, S., He, K., Girshick, R., Sun, J. Faster r-cnn: Towards real-time object detection with region proposal networks. Advances in Neural Information Processing Systems. 28, 91-99 (2015).
  28. Li, H., et al. An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images. Scientific Reports. 8, 6600 (2018).
  29. Lin, T. -Y., et al. Feature pyramid networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).
  30. Ouahabi, A. A review of wavelet denoising in medical imaging. 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).
  31. Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. Image denoising using a compressive sensing approach based on regularization constraints. Sensors. 22 (6), 2199 (2022).
  32. Castleman, K. R. Digital Image Processing. , Prentice Hall Press. Hoboken, NJ. (1996).
  33. Liu, W., et al. Ssd: Single shot multibox detector. European Conference on Computer Vision. , 21-37 (2016).
  34. Redmon, J., Farhadi, A. Yolov3: An incremental improvement. arXiv. arXiv:1804.02767. , (2018).
  35. Lin, T. -Y., Goyal, P., Girshick, R., He, K., Dollár, P. Focalloss for dense object detection. arXiv. arXiv:1708.02002. , (2017).
  36. Carion, N., et al. End-to-end object detection with transformers. Computer Vision-ECCV 2020: 16th European Conference. , Glasgow, UK. 23-28 (2020).

Tags

Medicin nr. 194
En swin transformer-baseret model til skjoldbruskkirtlen knude detektion i ultralyd billeder
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Tian, Y., Zhu, J., Zhang, L., Mou,… More

Tian, Y., Zhu, J., Zhang, L., Mou, L., Zhu, X., Shi, Y., Ma, B., Zhao, W. A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images. J. Vis. Exp. (194), e64480, doi:10.3791/64480 (2023).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter