Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Medicine
Click here for the English version

Medicine

En Swin Transformer-basert modell for skjoldbrusk knutedeteksjon i ultralydbilder

Published: April 21, 2023 doi: 10.3791/64480
Automatic Translation
1, 2, 3, 3, 3, 3, 1, 2
1Department of Ultrasonography, West China Hospital of Sichuan University, 2Department of Thyroid Surgery, West China Hospital of Sichuan University, 3MedAI Technology (Wuxi) Co. Ltd.

Summary

Her foreslås en ny modell for skjoldbruskknutedeteksjon i ultralydbilder, som bruker Swin Transformer som ryggrad for å utføre langdistansekontekstmodellering. Eksperimenter viser at det fungerer bra når det gjelder følsomhet og nøyaktighet.

Abstract

De siste årene har forekomsten av kreft i skjoldbruskkjertelen vært økende. Deteksjon av skjoldbruskknuter er avgjørende for både påvisning og behandling av skjoldbruskkjertelkreft. Convolutional nevrale nettverk (CNN) har oppnådd gode resultater i skjoldbrusk ultralyd bildeanalyseoppgaver. På grunn av det begrensede gyldige mottakelige feltet av konvolusjonslag, klarer CNN-er imidlertid ikke å fange langdistansekontekstuelle avhengigheter, noe som er viktig for å identifisere skjoldbruskknuter i ultralydbilder. Transformatornettverk er effektive for å fange opp kontekstuell informasjon med lang rekkevidde. Inspirert av dette foreslår vi en ny skjoldbruskknutedeteksjonsmetode som kombinerer Swin Transformer-ryggraden og raskere R-CNN. Spesielt blir et ultralydbilde først projisert i en 1D-sekvens av innebygginger, som deretter mates inn i en hierarkisk Swin Transformer.

Den Swin Transformer ryggraden ekstrakter funksjoner på fem forskjellige skalaer ved å benytte forskjøvet vinduer for beregning av egenoppmerksomhet. Deretter brukes et funksjonspyramidenettverk (FPN) til å smelte sammen funksjonene fra forskjellige skalaer. Til slutt brukes et deteksjonshode til å forutsi markeringsrammer og tilsvarende konfidenspoengsum. Data samlet inn fra 2.680 pasienter ble brukt til å gjennomføre forsøkene, og resultatene viste at denne metoden oppnådde den beste mAP-poengsummen på 44.8%, bedre enn CNN-baserte grunnlinjer. I tillegg fikk vi bedre følsomhet (90,5%) enn konkurrentene. Dette indikerer at kontekstmodellering i denne modellen er effektiv for deteksjon av skjoldbruskknuter.

Introduction

Forekomsten av kreft i skjoldbruskkjertelen har økt raskt siden 1970, særlig blant middelaldrende kvinner1. Knuter i skjoldbruskkjertelen kan forutsi fremveksten av kreft i skjoldbruskkjertelen, og de fleste knuter i skjoldbruskkjertelen er asymptomatiske2. Den tidlige påvisning av skjoldbrusk knuter er svært nyttig i herding skjoldbruskkjertelkreft. I henhold til gjeldende retningslinjer bør derfor alle pasienter med mistanke om knutestruma ved fysisk undersøkelse eller med unormale bildefunn undersøkes videre 3,4.

Thyroid ultralyd (US) er en vanlig metode som brukes til å oppdage og karakterisere skjoldbrusk lesjoner 5,6. USA er en praktisk, billig og strålingsfri teknologi. Imidlertid påvirkes applikasjonen av USA lett av operatøren 7,8. Funksjoner som form, størrelse, ekkogenitet og tekstur av skjoldbruskknuter er lett å skille på amerikanske bilder. Selv om visse amerikanske trekk - forkalkninger, ekkogenitet og uregelmessige grenser - ofte betraktes som kriterier for å identifisere knuter i skjoldbruskkjertelen, er tilstedeværelsen av interobservatørvariabilitet uunngåelig 8,9. Diagnoseresultatene til radiologer med ulik erfaringsnivå er forskjellig. Uerfarne radiologer er mer sannsynlig å feildiagnostisere enn erfarne radiologer. Noen egenskaper ved USA, for eksempel refleksjoner, skygger og ekko, kan forringe bildekvaliteten. Denne forringelsen i bildekvalitet forårsaket av naturen til amerikansk bildebehandling gjør det vanskelig for selv erfarne leger å lokalisere knuter nøyaktig.

Dataassistert diagnose (CAD) for skjoldbruskknuter har utviklet seg raskt de siste årene og kan effektivt redusere feil forårsaket av forskjellige leger og hjelpe radiologer med å diagnostisere knuter raskt og nøyaktig10,11. Ulike CNN-baserte CAD-systemer har blitt foreslått for skjoldbrusk amerikansk knuteanalyse, inkludert segmentering 12,13, deteksjon 14,15 og klassifisering 16,17. CNN er en flerlags, veiledet læringsmodell18, og kjernemodulene til CNN er konvolusjons- og poolinglagene. Konvolusjonslagene brukes til funksjonsutvinning, og sammenslutningslagene brukes til reduksjon av oppløsning. Skyggekonvolusjonslagene kan trekke ut primære funksjoner som tekstur, kanter og konturer, mens dype konvolusjonslag lærer semantiske funksjoner på høyt nivå.

CNN har hatt stor suksess i datasyn 19,20,21. CNN-er klarer imidlertid ikke å fange opp kontekstuelle avhengigheter med lang rekkevidde på grunn av det begrensede gyldige mottakelige feltet i de konvolusjonelle lagene. Tidligere brukte ryggradsarkitekturer for bildeklassifisering mest CNN-er. Med ankomsten av Vision Transformer (ViT) 22,23 har denne trenden endret seg, og nå bruker mange toppmoderne modeller transformatorer som ryggrad. Basert på ikke-overlappende bildeoppdateringer bruker ViT en standard transformatorkoder25 for å modellere romlige forhold globalt. Den Swin Transformer24 videre introduserer skift vinduer for å lære funksjoner. Skiftvinduene gir ikke bare større effektivitet, men reduserer også lengden på sekvensen sterkt fordi selvoppmerksomhet beregnes i vinduet. Samtidig kan samspillet mellom to tilstøtende vinduer gjøres gjennom drift av skifting (bevegelse). Den vellykkede anvendelsen av Swin Transformer i datasyn har ført til undersøkelse av transformatorbaserte arkitekturer for ultralydbildeanalyse26.

Nylig foreslo Li et al. en dyp læringsmetode28 for deteksjon av skjoldbrusk papillær kreft inspirert av Faster R-CNN27. Raskere R-CNN er en klassisk CNN-basert objektdeteksjonsarkitektur. Den opprinnelige Faster R-CNN har fire moduler - CNN-ryggraden, regionforslagsnettverket (RPN), ROI-poolinglaget og deteksjonshodet. CNN-ryggraden bruker et sett med grunnleggende conv + bn + relu + pooling-lag for å trekke ut funksjonskart fra inndatabildet. Deretter mates funksjonskartene inn i RPN- og avkastningssammenslutningslaget. RPN-nettverkets rolle er å generere regionforslag. Denne modulen bruker softmax til å avgjøre om ankre er positive og genererer nøyaktige ankre ved markeringsboksregresjon. ROI-sammenslutningslaget trekker ut forslagsfunksjonskartene ved å samle inn funksjonskart og forslag, og mater forslagsfunksjonskartene inn i det påfølgende gjenkjenningshodet. Deteksjonshodet bruker forslagsfunksjonskartene til å klassifisere objekter og få nøyaktige posisjoner for deteksjonsboksene ved å markere regresjon.

Dette papiret presenterer et nytt skjoldbrusk knutedeteksjonsnettverk kalt Swin Faster R-CNN dannet ved å erstatte CNN-ryggraden i Faster R-CNN med Swin Transformer, noe som resulterer i bedre utvinning av funksjoner for knutedeteksjon fra ultralydbilder. I tillegg brukes funksjonspyramidenettverket (FPN)29 til å forbedre deteksjonsytelsen til modellen for knuter av forskjellige størrelser ved å aggregere funksjoner i forskjellige skalaer.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

Denne retrospektive studien ble godkjent av det institusjonelle gjennomgangsstyret ved West China Hospital, Sichuan University, Sichuan, Kina, og kravet om å innhente informert samtykke ble frafalt.

1. Miljø oppsett

  1. Programvare for grafikkbehandlingsenhet (GPU)
    1. For å implementere dyplæringsapplikasjoner, må du først konfigurere det GPU-relaterte miljøet. Last ned og installer GPU-passende programvare og drivere fra GPUs nettsted.
      MERK: Se materialfortegnelsen for de som ble brukt i denne studien.
  2. Python3.8 installasjon
    1. Åpne en terminal på maskinen. Skriv inn følgende:
      Kommandolinje: sudo apt-get install python3.8 python-dev python-virtualenv
  3. Pytorch1.7 installasjon
    1. Følg trinnene på den offisielle nettsiden for å laste ned og installere Miniconda.
    2. Opprett et conda-miljø og aktiver det.
      Kommandolinje: conda create --name SwinFasterRCNN python = 3.8 -y
      Kommandolinje: conda aktivere SwinFasterRCNN
    3. Installer Pytorch.
      Kommandolinje: Conda installere pytorch == 1.7.1 torchvision = = 0.8.2 fakkellyd = = 0.7.2
  4. MMDetection installasjon
    1. Klone fra det offisielle Github-depotet.
      Kommandolinje: git klone https://github.com/open-mmlab/mmdetection.git
    2. Installer MMDetection.
      Kommandolinje: cd mmdetection
      Kommandolinje: pip install -v -e .

2. Forberedelse av data

  1. Innsamling av data
    1. Samlet ultralydbildene (her 3000 tilfeller fra et Grade-A tertiærsykehus). Sørg for at hvert tilfelle har diagnostiske poster, behandlingsplaner, amerikanske rapporter og de tilsvarende amerikanske bildene.
    2. Plasser alle de amerikanske bildene i en mappe som heter "bilder".
      MERK: Dataene som ble brukt i denne studien inkluderte 3,853 amerikanske bilder fra 3,000-saker.
  2. Rensing av data
    1. Kontroller datasettet manuelt for bilder av områder som ikke er skjoldbruskkjertel, for eksempel lymfebilder.
    2. Kontroller datasettet manuelt for bilder som inneholder fargedopplerflyt.
    3. Slett bildene som er valgt i de to foregående trinnene.
      MERK: Etter datarensing ble det igjen 3.000 bilder fra 2.680 saker.
  3. Merknad til data
    1. Få en overlege til å finne knuteområdet i det amerikanske bildet og skissere knutegrensen.
      MERK: Merknadsprogramvaren og prosessen finner du i tilleggsfil 1.
    2. Få en annen senior lege til å gjennomgå og revidere merknadsresultatene.
    3. Plasser de kommenterte dataene i en egen mappe kalt "Merknader".
  4. Deling av data
    1. Kjør pythonskriptet, og angi banen til bildet i trinn 2.1.2 og banene til merknadene i trinn 2.3.3. Del tilfeldig alle bildene og de tilhørende merkede filene inn i trenings- og valideringssett i forholdet 8:2. Lagre treningssettdataene i "Tren"-mappen og valideringssettdataene i "Val"-mappen.
      MERK: Python-skript finnes i tilleggsfil 2.
  5. Konvertere til CoCo-datasettformatet
    MERK: Hvis du vil bruke MMDetection, behandler du dataene i et CoCo-datasettformat, som inkluderer en json-fil som inneholder merknadsinformasjonen, og en bildemappe som inneholder US-bildene.
    1. Kjør pythonskriptet, og skriv inn merknadsmappebanene (trinn 2.3.3) for å trekke ut knuteområdene som er skissert av legen og konvertere dem til masker. Lagre alle masker i "Masker" -mappen.
      MERK: Python-skriptene finnes i tilleggsfil 3.
    2. Kjør pythonskriptet, og angi banen til maskemappen i trinn 2.5.1 for å gjøre dataene til et datasett i CoCo-format og generere en json-fil med de amerikanske bildene.
      MERK: Python-skript finnes i tilleggsfil 4.

3. Vinn raskere RCNN-konfigurasjon

  1. Last ned Swin Transformer modellfilen (https://github.com/microsoft/Swin-Transformer/blob/main/models/swin_transformer.py), endre den, og plasser den i mappen "mmdetection/mmdet/models/backbones/". Åpne "swin_transformer.py" -filen i et vim-tekstredigeringsprogram, og endre den som Swin Transformer-modellfilen som følger med i tilleggsfil 5.
    Kommandolinje: vim swin_transformer.py
  2. Lag en kopi av Raskere R-CNN-konfigurasjonsfilen, endre ryggraden til Swin Transformer, og sett opp FPN-parametrene.
    Kommandolinje: cd mmdetection / configs / faster_rcnn
    Kommandolinje: cp faster_rcnn_r50_fpn_1x_coco.py swin_faster_rcnn_swin.py
    MERK: Swin Faster R-CNN-konfigurasjonsfilen (swin_faster_rcnn_swin.py) finnes i tilleggsfil 6. Swin Faster R-CNN-nettverksstrukturen er vist i figur 1.
  3. Sett datasettbanen til CoCo-formatdatasettbanen (trinn 2.5.2) i konfigurasjonsfilen. Åpne "coco_detection.py" -filen i vim tekstredigeringsprogrammet, og endre følgende linje:
    data_root = "datasettbane(trinn 2.5.2)"
    Kommandolinje: vim mmdetection / configs / _base_ / datasets / coco_detection.py

4. Trene Swin raskere R-CNN

  1. Rediger mmdetection/configs/_base_/schedules/schedule_1x.py, og angi standard treningsrelaterte parametere, inkludert læringshastighet, optimalisering og epoke. Åpne "schedule_1x.py" -filen i vim-tekstredigeringsprogrammet, og endre følgende linjer:
    optimizer = dikt (type = "AdamW", lr = 0.001, momentum = 0.9, weight_decay = 0.0001)
    runner = dict(type='EpochBasedRunner', max_epochs=48)
    Kommandolinje: vim mmdetection / configs / _base_ / tidsplaner / schedule_1x.py
    MERK: I denne protokollen for denne artikkelen ble læringshastigheten satt til 0,001, AdamW optimizer ble brukt, maksimal treningsepoke ble satt til 48, og batchstørrelsen ble satt til 16.
  2. Begynn opplæringen ved å skrive inn følgende kommandoer. Vent til nettverket begynner å trene i 48 epoker og til de resulterende trente vektene til Swin Faster R-CNN-nettverket genereres i utdatamappen. Lagre modelltykkelsene med høyest nøyaktighet i valideringssettet.
    Kommandolinje: cd mmdetection
    Kommandolinje: python verktøy / tog.py congfigs / faster_rcnn / swin_faster_rcnn_swin.py --work-dir ./work_dirs
    MERK: Modellen ble trent på en "NVIDIA GeForce RTX3090 24G" GPU. Den sentrale prosesseringsenheten som ble brukt var "AMD Epyc 7742 64-kjerneprosessor × 128", og operativsystemet var Ubuntu 18.06. Den totale treningstiden var ~ 2 timer.

5. Utføre skjoldbrusk knutedeteksjon på nye bilder

  1. Etter opplæringen velger du modellen med best ytelse på valideringssettet for deteksjon av knuter i skjoldbruskkjertelen i de nye bildene.
    1. Først endrer du størrelsen på bildet til 512 piksler x 512 piksler, og normaliserer det. Disse operasjonene utføres automatisk når testskriptet kjøres.
      Kommandolinje: pythonverktøy / test.py congfigs / faster_rcnn / swin_faster_rcnn_swin.py --out ./output
    2. Vent til skriptet automatisk laster de forhåndstrente modellparametrene til Swin Faster R-CNN, og mater det forhåndsbehandlede bildet inn i Swin Faster R-CNN for slutning. Vent til Swin Faster R-CNN sender ut prediksjonsboksen for hvert bilde.
    3. Til slutt, la skriptet automatisk utføre NMS-etterbehandling på hvert bilde for å fjerne dupliserte deteksjonsbokser.
      MERK: Gjenkjenningsresultatene sendes ut til den angitte mappen, som inneholder bildene med deteksjonsboksene og markeringsbokskoordinatene i en pakket fil.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

De amerikanske skjoldbruskkjertelbildene ble samlet inn fra to sykehus i Kina fra september 2008 til februar 2018. Valgbarhetskriteriene for å inkludere de amerikanske bildene i denne studien var konvensjonell amerikansk undersøkelse før biopsi og kirurgisk behandling, diagnose med biopsi eller postkirurgisk patologi og alder ≥ 18 år. Eksklusjonskriteriene var bilder uten tyreoideavev.

De 3.000 ultralydbildene inkluderte 1.384 ondartede og 1.616 godartede knuter. Flertallet (90 %) av de ondartede knutene var papillært karsinom, og 66 % av de godartede knutene var knutestruma. Her var 25% av knutene mindre enn 5 mm, 38% var mellom 5 mm og 10 mm, og 37% var større enn 10 mm.

Alle de amerikanske bildene ble samlet inn med Philips IU22 og DC-80, og standard thyreoideaundersøkelsesmodus ble brukt. Begge instrumentene var utstyrt med 5-13 MHz lineære sonder. Ved god eksponering av nedre thyreoideamarginer ble alle pasientene undersøkt liggende med utstrakt rygg. Både skjoldbruskkjertelen og isthmusen ble skannet i langsgående og tverrgående plan i henhold til American College of Radiology akkrediteringsstandarder. Alle undersøkelsene ble utført av to senior thyreoidearadiologer med ≥10 års klinisk erfaring. Tyreoideadiagnosen var basert på histopatologiske funn ved finnålsaspirasjonsbiopsi eller tyreoideakirurgi.

I det virkelige liv, ettersom amerikanske bilder er ødelagt av støy, er det viktig å utføre riktig forhåndsbehandling av de amerikanske bildene, for eksempel støydemping basert på wavelet transform30, compressive sensing 31 og histogramutjevning32. I dette arbeidet brukte vi histogramutjevning for å forhåndsbehandle de amerikanske bildene, forbedre bildekvaliteten og lindre forringelse av bildekvaliteten forårsaket av støy.

I det følgende blir sann positiv, falsk positiv, sann negativ og falsk negativ referert til som henholdsvis TP, FP, TN og FN. Vi brukte mAP, sensitivitet og spesifisitet for å evaluere modellens knutedeteksjonsytelse. mAP er en vanlig beregning i objektdeteksjon. Sensitivitet og spesifisitet ble beregnet ved hjelp av ligning (1) og ligning (2):

Equation 1 (1)

Equation 2 (2)

I denne artikkelen er TP definert som antall korrekt oppdagede knuter, som har et skjæringspunkt over union (IoU) mellom prediksjonsboksen og bakkens sannhetsboks på >0,3 og en konfidensscore >0,6. IoU er skjæringspunktet over union, som beregnes ved hjelp av ligning (3):

Equation 3 (3)

Vi sammenlignet flere klassiske objektdeteksjonsnettverk, inkludert SSD 33, YOLO-v334, CNN-ryggradsbaserte Faster R-CNN27, RetinaNet 35 og DETR 36. YOLO-v3 og SSD er ett-trinns deteksjonsnettverk, DETR er et transformatorbasert objektdeteksjonsnettverk, og raskere R-CNN og RetinaNet er to-trinns deteksjonsnettverk. Tabell 1 viser at ytelsen til Swin Faster R-CNN er bedre enn de andre metodene, og når 0.448 mAP, som er 0.028 høyere enn CNN-ryggradens Faster R-CNN og 0.037 høyere enn YOLO-v3. Ved å bruke Swin Faster R-CNN, kan 90,5% av skjoldbruskkjertelknuter oppdages automatisk, noe som er ~ 3% høyere enn CNN-ryggradsbaserte Faster R-CNN (87,1%). Som vist i figur 2, gjør bruk av Swin Transformer som ryggrad grenseposisjonering mer nøyaktig.

Figure 1
Figur 1: Diagram over Swin Faster R-CNN-nettverksarkitekturen. Klikk her for å se en større versjon av denne figuren.

Figure 2
Figur 2: Deteksjonsresultater. Gjenkjenningsresultatene for det samme bildet er i en gitt rad. Kolonnene er deteksjonsresultatene, fra venstre til høyre, for henholdsvis Swin Faster R-CNN, Faster R-CNN, YOLO-v3, SSD, RetinaNet og DETR. Grunnsannhetene i regionene er merket med grønne rektangulære bokser. Deteksjonsresultatene er innrammet av de røde rektangulære boksene. Klikk her for å se en større versjon av denne figuren.

Metode Ryggrad kart Følsomhet Spesifisitet
YOLO-v3 DarkNet 0.411 0.869 0.877
SSD VGG16 0.425 0.841 0.849
RetinaNet ResNet50 0.382 0.845 0.841
Raskere R-CNN ResNet50 0.42 0.871 0.864
AVSKREKKE ResNet50 0.416 0.882 0.86
Vinn raskere R-CNN uten FPN Swin Transformator 0.431 0.897 0.905
Vinn raskere R-CNN med FPN 0.448 0.905 0.909

Tabell 1: Ytelsessammenligning med toppmoderne objektdeteksjonsmetoder.

Tilleggsfil 1: Bruksanvisning for merknaden og programvaren som brukes. Klikk her for å laste ned denne filen.

Tilleggsfil 2: Python-skript som brukes til å dele datasettet inn i treningssettet og valideringssettet, som nevnt i trinn 2.4.1. Klikk her for å laste ned denne filen.

Tilleggsfil 3: Python-skript som brukes til å konvertere merknadsfilen til masker, som nevnt i trinn 2.5.1. Klikk her for å laste ned denne filen.

Tilleggsfil 4: Python-skript som brukes til å gjøre dataene til et datasett i CoCo-format, som nevnt i trinn 2.5.2. Klikk her for å laste ned denne filen.

Tilleggsfil 5: Den modifiserte Swin Transformer modellfilen nevnt i trinn 3.1. Klikk her for å laste ned denne filen.

Tilleggsfil 6: Swin Faster R-CNN-konfigurasjonsfilen nevnt i trinn 3.2. Klikk her for å laste ned denne filen.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Dette dokumentet beskriver i detalj hvordan du utfører miljøoppsett, klargjøring av data, modellkonfigurasjon og nettverksopplæring. I miljøoppsettfasen må man være oppmerksom på at de avhengige bibliotekene er kompatible og matchet. Databehandling er et veldig viktig skritt; Tid og krefter må brukes for å sikre nøyaktigheten av merknadene. Når du trener modellen, kan det oppstå en "ModuleNotFoundError". I dette tilfellet er det nødvendig å bruke kommandoen "pip install" for å installere det manglende biblioteket. Hvis tapet av valideringssettet ikke reduseres eller svinger sterkt, bør man sjekke merknadsfilen og prøve å justere læringshastigheten og batchstørrelsen for å få tapet til å konvergere.

Deteksjon av skjoldbruskknuter er svært viktig for behandling av skjoldbruskkjertelkreft. CAD-systemet kan hjelpe leger med å oppdage knuter, unngå forskjeller i diagnoseresultater forårsaket av subjektive faktorer, og redusere savnet deteksjon av knuter. Sammenlignet med eksisterende CNN-baserte CAD-systemer, introduserer nettverket foreslått i dette papiret Swin Transformer for å trekke ut ultralydbildefunksjoner. Ved å fange langdistanseavhengigheter, kan Swin Faster R-CNN trekke ut knutefunksjonene fra ultralydbilder mer effektivt. De eksperimentelle resultatene viser at Swin Faster R-CNN forbedrer følsomheten til knutedeteksjon med ~ 3% sammenlignet med CNN-ryggradsbasert raskere R-CNN. Anvendelsen av denne teknologien kan i stor grad redusere byrden på leger, da den kan oppdage skjoldbruskknuter i tidlig ultralydsundersøkelse og veilede leger til videre behandling. På grunn av det store antallet parametere til Swin Transformer er slutningstiden til Swin Faster R-CNN ~ 100 ms per bilde (testet på NVIDIA TITAN 24G GPU og AMD Epyc 7742 CPU). Det kan være utfordrende å oppfylle kravene til sanntidsdiagnose med Swin Faster R-CNN. I fremtiden vil vi fortsette å samle inn saker for å verifisere effektiviteten av denne metoden og gjennomføre videre studier på dynamisk ultralydbildeanalyse.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

Forfatterne oppgir ingen interessekonflikter.

Acknowledgments

Denne studien ble støttet av National Natural Science Foundation of China (Grant No.32101188) og General Project of Science and Technology Department of Sichuan Province (Grant No. 2021YFS0102), Kina.

Materials

Name Company Catalog Number Comments
GPU RTX3090 Nvidia 1 24G GPU
mmdetection2.11.0 SenseTime 4 https://github.com/open-mmlab/mmdetection.git
python3.8 — 2 https://www.python.org
pytorch1.7.1 Facebook 3 https://pytorch.org

DOWNLOAD MATERIALS LIST

References

  1. Grant, E. G., et al. Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee. Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).
  2. Zhao, J., Zheng, W., Zhang, L., Tian, H. Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology. Health Information Science and Systems. 1, 5 (2013).
  3. Haugen, B. R. American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed. Cancer. 123 (3), 372-381 (2017).
  4. Shin, J. H., et al. Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations. Korean Journal of Radiology. 17 (3), 370-395 (2016).
  5. Horvath, E., et al. An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management. The Journal of Clinical Endocrinology & Metabolism. 94 (5), 1748-1751 (2009).
  6. Park, J. -Y., et al. A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma. Thyroid. 19 (11), 1257-1264 (2009).
  7. Moon, W. -J., et al. Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study. Radiology. 247 (3), 762-770 (2008).
  8. Park, C. S., et al. Observer variability in the sonographic evaluation of thyroid nodules. Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).
  9. Kim, S. H., et al. Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules. Korean Journal of Radiology. 11 (2), 149-155 (2010).
  10. Choi, Y. J., et al. A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment. Thyroid. 27 (4), 546-552 (2017).
  11. Chang, T. -C. The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography. Journal of Medical Ultrasound. 23 (4), 177-184 (2015).
  12. Fully convolutional networks for ultrasound image segmentation of thyroid nodules. Li, X. IEEE 20th International Conference on High Performance Computing and Communications; IEEE 16th International Conference on Smart City; IEEE 4th International Conference on Data Science and Systems (HPCC/SmartCity/DSS), , 886-890 (2018).
  13. Nguyen, D. T., Choi, J., Park, K. R. Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks. Mathematics. 10 (19), 3484 (2022).
  14. Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images. Medical Physics. 44 (5), 1678-1691 (2017).
  15. Song, W., et al. Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition. IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).
  16. Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images. Wang, J., et al. 2018 25Th IEEE International Conference on Image Processing (ICIP), , IEEE. 3114-3118 (2018).
  17. Wang, L., et al. A multi-scale densely connected convolutional neural network for automated thyroid nodule classification. Frontiers in Neuroscience. 16, 878718 (2022).
  18. Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Communications of the ACM. 60 (6), 84-90 (2017).
  19. He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).
  20. Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. Relation networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).
  21. Szegedy, C., et al. Going deeper with convolutions. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).
  22. Dosovitskiy, A., et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929. , (2020).
  23. Touvron, H., et al. Training data-efficient image transformers & distillation through attention. arXiv:2012.12877. , (2021).
  24. Liu, Z., et al. Swin Transformer: Hierarchical vision transformer using shifted windows. 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).
  25. Vaswani, A., et al. Attention is all you need. Advances in Neural Information Processing Systems. 30, (2017).
  26. Chen, J., et al. TransUNet: Transformers make strong encoders for medical image segmentation. arXiv. arXiv:2102.04306. , (2021).
  27. Ren, S., He, K., Girshick, R., Sun, J. Faster r-cnn: Towards real-time object detection with region proposal networks. Advances in Neural Information Processing Systems. 28, 91-99 (2015).
  28. Li, H., et al. An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images. Scientific Reports. 8, 6600 (2018).
  29. Lin, T. -Y., et al. Feature pyramid networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).
  30. Ouahabi, A. A review of wavelet denoising in medical imaging. 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).
  31. Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. Image denoising using a compressive sensing approach based on regularization constraints. Sensors. 22 (6), 2199 (2022).
  32. Castleman, K. R. Digital Image Processing. , Prentice Hall Press. Hoboken, NJ. (1996).
  33. Liu, W., et al. Ssd: Single shot multibox detector. European Conference on Computer Vision. , 21-37 (2016).
  34. Redmon, J., Farhadi, A. Yolov3: An incremental improvement. arXiv. arXiv:1804.02767. , (2018).
  35. Lin, T. -Y., Goyal, P., Girshick, R., He, K., Dollár, P. Focalloss for dense object detection. arXiv. arXiv:1708.02002. , (2017).
  36. Carion, N., et al. End-to-end object detection with transformers. Computer Vision-ECCV 2020: 16th European Conference. , Glasgow, UK. 23-28 (2020).

Tags

Medisin utgave 194
En Swin Transformer-basert modell for skjoldbrusk knutedeteksjon i ultralydbilder
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Tian, Y., Zhu, J., Zhang, L., Mou,… More

Tian, Y., Zhu, J., Zhang, L., Mou, L., Zhu, X., Shi, Y., Ma, B., Zhao, W. A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images. J. Vis. Exp. (194), e64480, doi:10.3791/64480 (2023).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter