Summary
Hier wordt een nieuw model voor schildklierknobbeldetectie in echografiebeelden voorgesteld, dat Swin Transformer gebruikt als de ruggengraat om contextmodellering op lange afstand uit te voeren. Experimenten bewijzen dat het goed presteert in termen van gevoeligheid en nauwkeurigheid.
Abstract
In de afgelopen jaren is de incidentie van schildklierkanker toegenomen. Detectie van schildklierknobbels is van cruciaal belang voor zowel de detectie als de behandeling van schildklierkanker. Convolutionele neurale netwerken (CNN's) hebben goede resultaten behaald bij schildklier echografie beeldanalysetaken. Vanwege het beperkte geldige receptieve veld van convolutionele lagen, slagen CNN's er echter niet in om contextuele afhankelijkheden op lange afstand vast te leggen, die belangrijk zijn voor het identificeren van schildklierknobbels in echografiebeelden. Transformatornetwerken zijn effectief in het vastleggen van contextuele informatie over lange afstand. Geïnspireerd door dit, stellen we een nieuwe schildklierknobbeldetectiemethode voor die de Swin Transformer-backbone en Faster R-CNN combineert. Concreet wordt een echografisch beeld eerst geprojecteerd in een 1D-reeks inbeddingen, die vervolgens worden ingevoerd in een hiërarchische Swin-transformator.
De Swin Transformer-backbone extraheert functies op vijf verschillende schalen door gebruik te maken van verschoven vensters voor de berekening van zelfaandacht. Vervolgens wordt een feature pyramid network (FPN) gebruikt om de functies van verschillende schalen samen te voegen. Ten slotte wordt een detectiekop gebruikt om begrenzingskaders en de bijbehorende betrouwbaarheidsscores te voorspellen. Gegevens verzameld van 2.680 patiënten werden gebruikt om de experimenten uit te voeren, en de resultaten toonden aan dat deze methode de beste mAP-score van 44,8% behaalde, beter dan cnn-gebaseerde baselines. Bovendien kregen we een betere gevoeligheid (90,5%) dan de concurrenten. Dit geeft aan dat contextmodellering in dit model effectief is voor detectie van schildklierknobbels.
Introduction
De incidentie van schildklierkanker is sinds 1970 snel toegenomen, vooral bij vrouwen van middelbare leeftijd1. Schildklierknobbels kunnen de opkomst van schildklierkanker voorspellen en de meeste schildklierknobbels zijn asymptomatisch2. De vroege detectie van schildklierknobbels is zeer nuttig bij het genezen van schildklierkanker. Daarom moeten volgens de huidige praktijkrichtlijnen alle patiënten met vermoedelijke nodulaire struma bij lichamelijk onderzoek of met abnormale beeldvormingsbevindingen verder onderzoek ondergaan 3,4.
Schildklierechografie (VS) is een veelgebruikte methode om schildklierlaesies te detecteren en te karakteriseren 5,6. De VS is een handige, goedkope en stralingsvrije technologie. De toepassing van US wordt echter gemakkelijk beïnvloed door de operator 7,8. Kenmerken zoals de vorm, grootte, echogeniciteit en textuur van schildklierknobbels zijn gemakkelijk te onderscheiden op Amerikaanse afbeeldingen. Hoewel bepaalde Amerikaanse kenmerken - verkalkingen, echogeniciteit en onregelmatige grenzen - vaak worden beschouwd als criteria voor het identificeren van schildklierknobbels, is de aanwezigheid van interobservervariabiliteit onvermijdelijk 8,9. De diagnoseresultaten van radiologen met verschillende ervaringsniveaus zijn verschillend. Onervaren radiologen hebben meer kans om een verkeerde diagnose te stellen dan ervaren radiologen. Sommige kenmerken van de VS, zoals reflecties, schaduwen en echo's, kunnen de beeldkwaliteit verslechteren. Deze verslechtering van de beeldkwaliteit veroorzaakt door de aard van amerikaanse beeldvorming maakt het zelfs voor ervaren artsen moeilijk om knobbeltjes nauwkeurig te lokaliseren.
Computerondersteunde diagnose (CAD) voor schildklierknobbels heeft zich de afgelopen jaren snel ontwikkeld en kan fouten veroorzaakt door verschillende artsen effectief verminderen en radiologen helpen bij het snel en nauwkeurig diagnosticeren van knobbeltjes10,11. Verschillende CNN-gebaseerde CAD-systemen zijn voorgesteld voor schildklier US nodule analyse, waaronder segmentatie 12,13, detectie 14,15 en classificatie 16,17. CNN is een meerlaags, begeleid leermodel18 en de kernmodules van CNN zijn de convolutie- en poolinglagen. De convolutielagen worden gebruikt voor functie-extractie en de poolinglagen worden gebruikt voor downsampling. De convolutionele schaduwlagen kunnen primaire kenmerken zoals de textuur, randen en contouren extraheren, terwijl diepe convolutionele lagen semantische kenmerken op hoog niveau leren.
CNN's hebben veel succes gehad in computer vision 19,20,21. CNN's slagen er echter niet in om contextuele afhankelijkheden op lange afstand vast te leggen vanwege het beperkte geldige receptieve veld van de convolutionele lagen. In het verleden gebruikten backbone-architecturen voor beeldclassificatie meestal CNN's. Met de komst van Vision Transformer (ViT)22,23 is deze trend veranderd en nu gebruiken veel state-of-the-art modellen transformatoren als backbones. Op basis van niet-overlappende beeldpatches gebruikt ViT een standaard transformator-encoder25 om ruimtelijke relaties globaal te modelleren. De Swin Transformer24 introduceert verder schakelvensters om functies te leren. De schakelvensters brengen niet alleen meer efficiëntie, maar verminderen ook de lengte van de reeks aanzienlijk omdat zelfaandacht in het venster wordt berekend. Tegelijkertijd kan de interactie tussen twee aangrenzende vensters worden gemaakt door de werking van verschuiven (beweging). De succesvolle toepassing van de Swin Transformer in computer vision heeft geleid tot het onderzoek naar transformator-gebaseerde architecturen voor ultrasone beeldanalyse26.
Onlangs stelden Li et al. een deep learning-benadering28 voor de detectie van schildklierpapillaire kanker voor, geïnspireerd door Faster R-CNN27. Sneller R-CNN is een klassieke CNN-gebaseerde objectdetectiearchitectuur. De originele Faster R-CNN heeft vier modules: de CNN-backbone, het regiovoorstelnetwerk (RPN), de ROI-poolinglaag en de detectiekop. De CNN-backbone gebruikt een set basisconv+bn+relu+poolinglagen om functiekaarten uit de invoerafbeelding te extraheren. Vervolgens worden de functietoewijzingen ingevoerd in de RPN en de ROI-poolinglaag. De rol van het RPN-netwerk is het genereren van regiovoorstellen. Deze module gebruikt softmax om te bepalen of ankers positief zijn en genereert nauwkeurige ankers door vakregressie te begrenzen. De ROI-poolinglaag extraheert de voorstelfunctiekaarten door de invoerfunctiekaarten en -voorstellen te verzamelen en voert de voorstelfunctiekaarten in de daaropvolgende detectiekop in. De detectiekop gebruikt de voorstelfunctiekaarten om objecten te classificeren en nauwkeurige posities van de detectievakken te verkrijgen door regressie van het selectiekader te omzeilen.
Dit artikel presenteert een nieuw schildklierknobbeldetectienetwerk genaamd Swin Faster R-CNN, gevormd door de CNN-backbone in Faster R-CNN te vervangen door de Swin Transformer, wat resulteert in de betere extractie van functies voor knobbeldetectie uit echografiebeelden. Daarnaast wordt het functiepiramidenetwerk (FPN)29 gebruikt om de detectieprestaties van het model voor knobbeltjes van verschillende groottes te verbeteren door kenmerken van verschillende schalen samen te voegen.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Deze retrospectieve studie werd goedgekeurd door de institutionele beoordelingsraad van het West China Hospital, Sichuan University, Sichuan, China, en de vereiste om geïnformeerde toestemming te verkrijgen werd opgeheven.
1. Omgeving instellen
- Gpu-software (Graphic Processing Unit)
- Als u deep learning-toepassingen wilt implementeren, configureert u eerst de GPU-gerelateerde omgeving. Download en installeer GPU-geschikte software en stuurprogramma's vanaf de website van de GPU.
OPMERKING: Zie de tabel met materialen voor degenen die in dit onderzoek worden gebruikt.
- Als u deep learning-toepassingen wilt implementeren, configureert u eerst de GPU-gerelateerde omgeving. Download en installeer GPU-geschikte software en stuurprogramma's vanaf de website van de GPU.
- Python3.8 installatie
- Open een terminal op het apparaat. Typ het volgende:
Opdrachtregel: sudo apt-get install python3.8 python-dev python-virtualenv
- Open een terminal op het apparaat. Typ het volgende:
- Pytorch1.7 installatie
- Volg de stappen op de officiële website om Miniconda te downloaden en te installeren.
- Creëer een conda-omgeving en activeer deze.
Command line: conda create --name SwinFasterRCNN python=3.8 -y
Command line: conda activeren SwinFasterRCNN - Installeer Pytorch.
Command line: conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2
- MMDetection installatie
- Kloon van de officiële Github-repository.
Command line: git clone https://github.com/open-mmlab/mmdetection.git - Installeer MMDetection.
Command line: cd mmdetection
Command line: pip install -v -e .
- Kloon van de officiële Github-repository.
2. Voorbereiding van de gegevens
- Dataverzameling
- Verzamelde de echografiebeelden (hier 3.000 gevallen van een grade-A tertiair ziekenhuis). Zorg ervoor dat elk geval diagnostische gegevens, behandelplannen, Amerikaanse rapporten en de bijbehorende Amerikaanse afbeeldingen heeft.
- Plaats alle Amerikaanse afbeeldingen in een map met de naam 'afbeeldingen'.
OPMERKING: De gegevens die in deze studie werden gebruikt, omvatten 3.853 Amerikaanse afbeeldingen van 3.000 gevallen.
- Gegevens opschonen
- Controleer de gegevensset handmatig op afbeeldingen van niet-schildkliergebieden, zoals lymfebeelden.
- Controleer de gegevensset handmatig op afbeeldingen die een dopplerstroom in kleur bevatten.
- Verwijder de afbeeldingen die in de vorige twee stappen zijn geselecteerd.
OPMERKING: Na het opschonen van de gegevens bleven er 3.000 afbeeldingen over van 2.680 gevallen.
- Gegevensannotatie
- Laat een senior arts het knobbelgebied in de Amerikaanse afbeelding lokaliseren en de knobbelgrens schetsen.
OPMERKING: De annotatiesoftware en het annotatieproces zijn te vinden in Aanvullend bestand 1. - Laat een andere senior arts de annotatieresultaten beoordelen en herzien.
- Plaats de geannoteerde gegevens in een aparte map met de naam 'Annotaties'.
- Laat een senior arts het knobbelgebied in de Amerikaanse afbeelding lokaliseren en de knobbelgrens schetsen.
- Gegevenssplitsing
- Voer het python-script uit en stel het pad van de afbeelding in stap 2.1.2 en de paden van de annotaties in stap 2.3.3 in. Verdeel willekeurig alle afbeeldingen en de bijbehorende gelabelde bestanden in trainings- en validatiesets in een verhouding van 8:2. Sla de gegevens van de trainingsset op in de map "Train" en de gegevens van de validatieset in de map "Val".
OPMERKING: Python-scripts worden geleverd in Aanvullend bestand 2.
- Voer het python-script uit en stel het pad van de afbeelding in stap 2.1.2 en de paden van de annotaties in stap 2.3.3 in. Verdeel willekeurig alle afbeeldingen en de bijbehorende gelabelde bestanden in trainings- en validatiesets in een verhouding van 8:2. Sla de gegevens van de trainingsset op in de map "Train" en de gegevens van de validatieset in de map "Val".
- Converteren naar de CoCo-gegevenssetindeling
OPMERKING: Als u MMDetection wilt gebruiken, verwerkt u de gegevens in een CoCo-gegevenssetindeling, die een json-bestand bevat met de annotatiegegevens en een afbeeldingsmap met de Amerikaanse afbeeldingen.- Voer het python-script uit en voer de mappaden voor annotaties in (stap 2.3.3) om de door de arts geschetste knobbelgebieden te extraheren en om te zetten in maskers. Sla alle maskers op in de map "Maskers".
OPMERKING: De Python-scripts worden geleverd in Aanvullend bestand 3. - Voer het python-script uit en stel het pad van de map masks in stap 2.5.1 in om van de gegevens een gegevensset in CoCo-indeling te maken en een json-bestand met de Amerikaanse afbeeldingen te genereren.
OPMERKING: Python-scripts worden geleverd in Aanvullend bestand 4.
- Voer het python-script uit en voer de mappaden voor annotaties in (stap 2.3.3) om de door de arts geschetste knobbelgebieden te extraheren en om te zetten in maskers. Sla alle maskers op in de map "Maskers".
3. Swin snellere RCNN-configuratie
- Download het Swin Transformer-modelbestand (https://github.com/microsoft/Swin-Transformer/blob/main/models/swin_transformer.py), wijzig het en plaats het in de map "mmdetection/mmdet/models/backbones/". Open het bestand "swin_transformer.py" in een vim-teksteditor en wijzig het als het Swin Transformer-modelbestand in Aanvullend bestand 5.
Opdrachtregel: vim swin_transformer.py - Maak een kopie van het Faster R-CNN-configuratiebestand, wijzig de backbone in Swin Transformer en stel de FPN-parameters in.
Command line: cd mmdetection/configs/faster_rcnn
Opdrachtregel: cp faster_rcnn_r50_fpn_1x_coco.py swin_faster_rcnn_swin.py
OPMERKING: Het Swin Faster R-CNN configuratiebestand (swin_faster_rcnn_swin.py) is opgenomen in Aanvullend bestand 6. De Swin Faster R-CNN netwerkstructuur is weergegeven in figuur 1. - Stel het gegevenssetpad in op het gegevenssetpad in CoCo-indeling (stap 2.5.2) in het configuratiebestand. Open het bestand "coco_detection.py" in de vim-teksteditor en wijzig de volgende regel:
data_root = "datasetpad(stap 2.5.2)"
Opdrachtregel:vim mmdetection/configs/_base_/datasets/coco_detection.py
4. De Swin sneller trainen R-CNN
- Bewerk mmdetection/configs/_base_/schedules/schedule_1x.py en stel de standaard trainingsgerelateerde parameters in, waaronder de leersnelheid, optimizer en tijdperk. Open het bestand "schedule_1x.py" in de vim-teksteditor en wijzig de volgende regels:
optimizer = dict(type="AdamW", lr=0.001, momentum=0.9, weight_decay=0.0001)
runner = dict(type='EpochBasedRunner', max_epochs=48)
Opdrachtregel: vim mmdetection/configs/_base_/schedules/schedule_1x.py
OPMERKING: In dit protocol voor dit artikel werd de leersnelheid ingesteld op 0,001, AdamW-optimizer werd gebruikt, het maximale trainingstijdperk werd ingesteld op 48 en de batchgrootte werd ingesteld op 16. - Begin met trainen door de volgende opdrachten te typen. Wacht tot het netwerk begint met trainen gedurende 48 tijdperken en totdat de resulterende getrainde gewichten van het Swin Faster R-CNN-netwerk worden gegenereerd in de uitvoermap. Sla de modelgewichten op met de hoogste nauwkeurigheid op de validatieset.
Command line: cd mmdetection
Command line: python tools/train.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --work-dir ./work_dirs
OPMERKING: Het model is getraind op een "NVIDIA GeForce RTX3090 24G" GPU. De gebruikte centrale verwerkingseenheid was de "AMD Epyc 7742 64-core processor × 128", en het besturingssysteem was Ubuntu 18.06. De totale trainingstijd was ~2 uur.
5. Het uitvoeren van schildklierknobbeldetectie op nieuwe beelden
- Selecteer na de training het model met de beste prestaties op de validatieset voor detectie van schildklierknobbels in de nieuwe afbeeldingen.
- Wijzig eerst het formaat van de afbeelding naar 512 pixels x 512 pixels en normaliseer deze. Deze bewerkingen worden automatisch uitgevoerd wanneer het testscript wordt uitgevoerd.
Command line: python tools/test.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --out ./output - Wacht tot het script de voorgetrainde modelparameters automatisch laadt in de Swin Faster R-CNN en voer de voorbewerkte afbeelding in de Swin Faster R-CNN in voor gevolgtrekking. Wacht tot de Swin Faster R-CNN het voorspellingsvak voor elke afbeelding uitvoert.
- Laat ten slotte het script automatisch NMS-nabewerking uitvoeren op elke afbeelding om dubbele detectievakken te verwijderen.
OPMERKING: De detectieresultaten worden uitgevoerd naar de opgegeven map, die de afbeeldingen met de detectievakken en de coördinaten van het selectiekader in een verpakt bestand bevat.
- Wijzig eerst het formaat van de afbeelding naar 512 pixels x 512 pixels en normaliseer deze. Deze bewerkingen worden automatisch uitgevoerd wanneer het testscript wordt uitgevoerd.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
De Amerikaanse schildklierbeelden werden verzameld uit twee ziekenhuizen in China van september 2008 tot februari 2018. De geschiktheidscriteria voor het opnemen van de Amerikaanse beelden in deze studie waren conventioneel Amerikaans onderzoek vóór biopsie en chirurgische behandeling, diagnose met biopsie of postoperatieve pathologie en leeftijd ≥ 18 jaar. De exclusiecriteria waren afbeeldingen zonder schildklierweefsel.
De 3.000 echografiebeelden omvatten 1.384 kwaadaardige en 1.616 goedaardige knobbeltjes. De meerderheid (90%) van de kwaadaardige knobbeltjes waren papillair carcinoom en 66% van de goedaardige knobbeltjes waren nodulair struma. Hier was 25% van de knobbeltjes kleiner dan 5 mm, 38% tussen 5 mm en 10 mm en 37% was groter dan 10 mm.
Alle Amerikaanse beelden werden verzameld met Philips IU22 en DC-80, en hun standaard schildklieronderzoeksmodus werd gebruikt. Beide instrumenten waren uitgerust met 5-13 MHz lineaire sondes. Voor een goede blootstelling van de lagere schildkliermarges werden alle patiënten in rugligging onderzocht met gestrekte rug. Zowel schildklierkwabben als de landengte werden gescand in de lengte- en dwarsvlakken volgens de accreditatienormen van het American College of Radiology. Alle onderzoeken werden uitgevoerd door twee senior schildklierradiologen met ≥10 jaar klinische ervaring. De schildklierdiagnose was gebaseerd op de histopathologische bevindingen van fijne naaldaspiratiebiopsie of schildklierchirurgie.
In het echte leven, omdat Amerikaanse afbeeldingen worden beschadigd door ruis, is het belangrijk om de juiste voorbewerking van de Amerikaanse afbeeldingen uit te voeren, zoals beelddenoising op basis van wavelettransformatie30, compressieve detectie 31 en histogram-egalisatie32. In dit werk hebben we histogram-egalisatie gebruikt om de Amerikaanse afbeeldingen voor te bewerken, de beeldkwaliteit te verbeteren en de achteruitgang van de beeldkwaliteit door ruis te verminderen.
In wat volgt, worden echt positief, vals positief, waar negatief en vals negatief respectievelijk TP, FP, TN en FN genoemd. We gebruikten mAP, sensitiviteit en specificiteit om de noduledetectieprestaties van het model te evalueren. mAP is een veelgebruikte metriek bij objectdetectie. Sensitiviteit en specificiteit werden berekend met behulp van vergelijking (1) en vergelijking (2):
(1)
(2)
In dit artikel wordt TP gedefinieerd als het aantal correct gedetecteerde knobbeltjes, die een doorsnede over vereniging (IoU) hebben tussen de voorspellingsdoos en de grondwaarheidsdoos van >0,3 en een betrouwbaarheidsscore >0,6. IoU is het snijpunt over vereniging, dat wordt berekend met behulp van vergelijking (3):
(3)
We hebben verschillende klassieke objectdetectienetwerken vergeleken, waaronder SSD 33, YOLO-v334, CNN-backbone-gebaseerde Faster R-CNN27, RetinaNet 35 en DETR 36. YOLO-v3 en SSD zijn eentraps detectienetwerken, DETR is een op transformatoren gebaseerd objectdetectienetwerk en Faster R-CNN en RetinaNet zijn tweetraps detectienetwerken. Tabel 1 laat zien dat de prestaties van Swin Faster R-CNN superieur zijn aan de andere methoden, met een bereik van 0,448 mAP, wat 0,028 hoger is dan de Faster R-CNN van CNN backbone en 0,037 hoger dan YOLO-v3. Door Swin Faster R-CNN te gebruiken, kan 90,5% van de schildklierknobbels automatisch worden gedetecteerd, wat ~ 3% hoger is dan CNN-backbone-gebaseerde Faster R-CNN (87,1%). Zoals te zien is in figuur 2, maakt het gebruik van Swin Transformer als ruggengraat grenspositionering nauwkeuriger.
Figuur 1: Diagram van de Swin Snellere R-CNN netwerkarchitectuur. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 2: Detectieresultaten. De detectieresultaten voor dezelfde afbeelding bevinden zich in een bepaalde rij. De kolommen zijn de detectieresultaten, van links naar rechts, voor respectievelijk Swin Faster R-CNN, Faster R-CNN, YOLO-v3, SSD, RetinaNet en DETR. De grondwaarheden van de regio's zijn gemarkeerd met groene rechthoekige vakken. De detectieresultaten worden omlijst door de rode rechthoekige vakken. Klik hier om een grotere versie van deze figuur te bekijken.
| Methode | Ruggegraat | kaart | Gevoeligheid | Specificiteit |
| Yolo-v3 | DarkNet | 0.411 | 0.869 | 0.877 |
| SSD | VGG16 | 0.425 | 0.841 | 0.849 |
| RetinaNet | ResNet50 | 0.382 | 0.845 | 0.841 |
| Snellere R-CNN | ResNet50 | 0.42 | 0.871 | 0.864 |
| DETR | ResNet50 | 0.416 | 0.882 | 0.86 |
| Swin Snellere R-CNN zonder FPN | Swin Transformator | 0.431 | 0.897 | 0.905 |
| Swin Sneller R-CNN met FPN | 0.448 | 0.905 | 0.909 |
Tabel 1: Prestatievergelijking met state-of-the-art objectdetectiemethoden.
Aanvullend bestand 1: Gebruiksaanwijzing voor de gegevensannotatie en de gebruikte software. Klik hier om dit bestand te downloaden.
Aanvullend bestand 2: Python-script dat wordt gebruikt om de gegevensset te verdelen in de trainingsset en validatieset, zoals vermeld in stap 2.4.1. Klik hier om dit bestand te downloaden.
Aanvullend bestand 3: Python-script dat wordt gebruikt om het annotatiebestand om te zetten in maskers, zoals vermeld in stap 2.5.1. Klik hier om dit bestand te downloaden.
Aanvullend bestand 4: Python-script dat wordt gebruikt om van de gegevens een gegevensset in CoCo-indeling te maken, zoals vermeld in stap 2.5.2. Klik hier om dit bestand te downloaden.
Aanvullend bestand 5: Het gewijzigde Swin Transformer-modelbestand dat in stap 3.1 wordt vermeld. Klik hier om dit bestand te downloaden.
Aanvullend bestand 6: Het Swin Faster R-CNN configuratiebestand dat wordt vermeld in stap 3.2. Klik hier om dit bestand te downloaden.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
In dit artikel wordt in detail beschreven hoe u de omgevingsinstellingen, gegevensvoorbereiding, modelconfiguratie en netwerktraining uitvoert. In de installatiefase van de omgeving moet men erop letten dat de afhankelijke bibliotheken compatibel en gematcht zijn. Gegevensverwerking is een zeer belangrijke stap; Er moet tijd en moeite worden besteed om de nauwkeurigheid van de annotaties te waarborgen. Bij het trainen van het model kan een "ModuleNotFoundError" worden aangetroffen. In dit geval is het noodzakelijk om de opdracht "pip install" te gebruiken om de ontbrekende bibliotheek te installeren. Als het verlies van de validatieset niet afneemt of sterk oscilleert, moet men het annotatiebestand controleren en proberen de leersnelheid en batchgrootte aan te passen om het verlies te laten convergeren.
Detectie van schildklierknobbels is erg belangrijk voor de behandeling van schildklierkanker. Het CAD-systeem kan artsen helpen bij het detecteren van knobbeltjes, verschillen in diagnoseresultaten als gevolg van subjectieve factoren voorkomen en de gemiste detectie van knobbeltjes verminderen. In vergelijking met bestaande CNN-gebaseerde CAD-systemen introduceert het in dit artikel voorgestelde netwerk de Swin Transformer om ultrasone beeldfuncties te extraheren. Door afhankelijkheden op lange afstand vast te leggen, kan Swin Faster R-CNN de nodulefuncties efficiënter uit echografiebeelden extraheren. De experimentele resultaten tonen aan dat Swin Faster R-CNN de gevoeligheid van knobbeldetectie met ~ 3% verbetert in vergelijking met CNN-backbone-gebaseerde Faster R-CNN. De toepassing van deze technologie kan de last voor artsen aanzienlijk verminderen, omdat het schildklierknobbels kan detecteren bij vroeg echografisch onderzoek en artsen kan begeleiden naar verdere behandeling. Vanwege het grote aantal parameters van de Swin Transformer is de inferentietijd van Swin Faster R-CNN echter ~ 100 ms per afbeelding (getest op NVIDIA TITAN 24G GPU en AMD Epyc 7742 CPU). Het kan een uitdaging zijn om te voldoen aan de vereisten van real-time diagnose met Swin Faster R-CNN. In de toekomst zullen we cases blijven verzamelen om de effectiviteit van deze methode te verifiëren en verdere studies uit te voeren naar dynamische echografie-beeldanalyse.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
De auteurs verklaren geen belangenverstrengeling te hebben.
Acknowledgments
Deze studie werd ondersteund door de National Natural Science Foundation of China (Grant No.32101188) en het General Project of Science and Technology Department van de provincie Sichuan (Grant No. 2021YFS0102), China.
Materials
| Name | Company | Catalog Number | Comments |
| GPU RTX3090 | Nvidia | 1 | 24G GPU |
| mmdetection2.11.0 | SenseTime | 4 | https://github.com/open-mmlab/mmdetection.git |
| python3.8 | — | 2 | https://www.python.org |
| pytorch1.7.1 | 3 | https://pytorch.org |
References
- Grant, E. G., et al. Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee. Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).
- Zhao, J., Zheng, W., Zhang, L., Tian, H. Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology. Health Information Science and Systems. 1, 5 (2013).
- Haugen, B. R. American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed. Cancer. 123 (3), 372-381 (2017).
- Shin, J. H., et al. Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations. Korean Journal of Radiology. 17 (3), 370-395 (2016).
- Horvath, E., et al. An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management. The Journal of Clinical Endocrinology & Metabolism. 94 (5), 1748-1751 (2009).
- Park, J. -Y., et al. A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma. Thyroid. 19 (11), 1257-1264 (2009).
- Moon, W. -J., et al. Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study. Radiology. 247 (3), 762-770 (2008).
- Park, C. S., et al. Observer variability in the sonographic evaluation of thyroid nodules. Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).
- Kim, S. H., et al. Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules. Korean Journal of Radiology. 11 (2), 149-155 (2010).
- Choi, Y. J., et al. A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment. Thyroid. 27 (4), 546-552 (2017).
- Chang, T. -C. The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography. Journal of Medical Ultrasound. 23 (4), 177-184 (2015).
- Fully convolutional networks for ultrasound image segmentation of thyroid nodules. Li, X. IEEE 20th International Conference on High Performance Computing and Communications; IEEE 16th International Conference on Smart City; IEEE 4th International Conference on Data Science and Systems (HPCC/SmartCity/DSS), , 886-890 (2018).
- Nguyen, D. T., Choi, J., Park, K. R. Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks. Mathematics. 10 (19), 3484 (2022).
- Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images. Medical Physics. 44 (5), 1678-1691 (2017).
- Song, W., et al. Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition. IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).
- Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images. Wang, J., et al. 2018 25Th IEEE International Conference on Image Processing (ICIP), , IEEE. 3114-3118 (2018).
- Wang, L., et al. A multi-scale densely connected convolutional neural network for automated thyroid nodule classification. Frontiers in Neuroscience. 16, 878718 (2022).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Communications of the ACM. 60 (6), 84-90 (2017).
- He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).
- Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. Relation networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).
- Szegedy, C., et al.
- Dosovitskiy, A., et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929. , (2020).
- Touvron, H., et al. Training data-efficient image transformers & distillation through attention. arXiv:2012.12877. , (2021).
- Liu, Z., et al. Swin Transformer: Hierarchical vision transformer using shifted windows. 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).
- Vaswani, A., et al. Attention is all you need. Advances in Neural Information Processing Systems. 30, (2017).
- Chen, J., et al. TransUNet: Transformers make strong encoders for medical image segmentation. arXiv. arXiv:2102.04306. , (2021).
- Ren, S., He, K., Girshick, R., Sun, J. Faster r-cnn: Towards real-time object detection with region proposal networks. Advances in Neural Information Processing Systems. 28, 91-99 (2015).
- Li, H., et al. An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images. Scientific Reports. 8, 6600 (2018).
- Lin, T. -Y., et al. Feature pyramid networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).
- Ouahabi, A. A review of wavelet denoising in medical imaging. 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).
- Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. Image denoising using a compressive sensing approach based on regularization constraints. Sensors. 22 (6), 2199 (2022).
- Castleman, K. R. Digital Image Processing. , Prentice Hall Press. Hoboken, NJ. (1996).
- Liu, W., et al. Ssd: Single shot multibox detector. European Conference on Computer Vision. , 21-37 (2016).
- Redmon, J., Farhadi, A.
- Lin, T. -Y., Goyal, P., Girshick, R., He, K., Dollár, P. Focalloss for dense object detection. arXiv. arXiv:1708.02002. , (2017).
- Carion, N., et al. End-to-end object detection with transformers. Computer Vision-ECCV 2020: 16th European Conference. , Glasgow, UK. 23-28 (2020).
