Summary
Här föreslås en ny modell för detektering av sköldkörtelnoduler i ultraljudsbilder, som använder Swin Transformer som ryggrad för att utföra långväga kontextmodellering. Experiment visar att det fungerar bra när det gäller känslighet och noggrannhet.
Abstract
Under de senaste åren har förekomsten av sköldkörtelcancer ökat. Sköldkörtelnoduldetektering är avgörande för både upptäckt och behandling av sköldkörtelcancer. Convolutional neurala nätverk (CNNs) har uppnått goda resultat i sköldkörtel ultraljud bildanalys uppgifter. På grund av det begränsade giltiga receptiva fältet av faltningsskikt misslyckas CNN dock med att fånga långväga kontextuella beroenden, vilket är viktigt för att identifiera sköldkörtelnoduler i ultraljudsbilder. Transformatornätverk är effektiva för att fånga kontextuell information med lång räckvidd. Inspirerade av detta föreslår vi en ny metod för detektering av sköldkörtelnoduler som kombinerar Swin Transformer-ryggraden och Faster R-CNN. Specifikt projiceras en ultraljudsbild först i en 1D-sekvens av inbäddningar, som sedan matas in i en hierarkisk Swin Transformer.
Swin Transformer ryggrad extraherar funktioner i fem olika skalor genom att använda skiftade fönster för beräkning av självuppmärksamhet. Därefter används ett funktionspyramidnätverk (FPN) för att smälta samman funktionerna från olika skalor. Slutligen används ett detekteringshuvud för att förutsäga begränsningsrutor och motsvarande förtroendepoäng. Data som samlats in från 2 680 patienter användes för att genomföra experimenten, och resultaten visade att denna metod uppnådde den bästa mAP-poängen på 44,8%, vilket överträffade CNN-baserade baslinjer. Dessutom fick vi bättre känslighet (90,5%) än konkurrenterna. Detta indikerar att kontextmodellering i denna modell är effektiv för detektering av sköldkörtelnodul.
Introduction
Incidensen av sköldkörtelcancer har ökat snabbt sedan 1970, särskilt bland medelålders kvinnor1. Sköldkörtelnoduler kan förutsäga uppkomsten av sköldkörtelcancer, och de flesta sköldkörtelnoduler är asymptomatiska2. Den tidiga upptäckten av sköldkörtelnoduler är till stor hjälp för att bota sköldkörtelcancer. Därför, enligt gällande praxisriktlinjer, bör alla patienter med misstänkt nodulär struma vid fysisk undersökning eller med onormala avbildningsfynd genomgå ytterligare undersökning 3,4.
Sköldkörtel ultraljud (US) är en vanlig metod som används för att upptäcka och karakterisera sköldkörtelskador 5,6. USA är en bekväm, billig och strålningsfri teknik. Tillämpningen av US påverkas dock lätt av operatören 7,8. Funktioner som form, storlek, ekogenitet och struktur av sköldkörtelnoduler är lätt att skilja på amerikanska bilder. Även om vissa amerikanska egenskaper - förkalkningar, ekogenicitet och oregelbundna gränser - ofta betraktas som kriterier för att identifiera sköldkörtelnoduler, är förekomsten av interobservatörsvariabilitet oundviklig 8,9. Diagnosresultaten från radiologer med olika erfarenhetsnivåer är olika. Oerfarna radiologer är mer benägna att feldiagnostisera än erfarna radiologer. Vissa egenskaper hos USA som reflektioner, skuggor och ekon kan försämra bildkvaliteten. Denna försämring av bildkvaliteten orsakad av den amerikanska bildbehandlingens natur gör det svårt för även erfarna läkare att lokalisera knölar exakt.
Datorstödd diagnos (CAD) för sköldkörtelnoduler har utvecklats snabbt de senaste åren och kan effektivt minska fel orsakade av olika läkare och hjälpa radiologer att diagnostisera knölar snabbt och exakt10,11. Olika CNN-baserade CAD-system har föreslagits för sköldkörtel US nodulanalys, inklusive segmentering 12,13, detektion 14,15 och klassificering 16,17. CNN är en flerskiktad, övervakad inlärningsmodell18, och kärnmodulerna i CNN är faltnings- och poolningslagren. Faltningsskikten används för extrahering av objekt och poolningsskikten används för nedsampling. Skuggfaltningslagren kan extrahera primära funktioner som textur, kanter och konturer, medan djupa faltningslager lär sig semantiska funktioner på hög nivå.
CNN har haft stor framgång i datorsyn 19,20,21. CNN misslyckas dock med att fånga långväga kontextuella beroenden på grund av det begränsade giltiga receptiva fältet för faltningslagren. Tidigare använde ryggradsarkitekturer för bildklassificering mestadels CNN. Med tillkomsten av Vision Transformer (ViT) 22,23 har denna trend förändrats, och nu använder många toppmoderna modeller transformatorer som ryggrad. Baserat på icke-överlappande bildpatchar använder ViT en standard transformatorkodare25 för att globalt modellera rumsliga relationer. Swin Transformer24 introducerar dessutom skiftfönster för att lära sig funktioner. Skiftfönstren ger inte bara större effektivitet utan minskar också sekvensens längd kraftigt eftersom självuppmärksamhet beräknas i fönstret. Samtidigt kan interaktionen mellan två intilliggande fönster göras genom växling (rörelse). Den framgångsrika tillämpningen av Swin Transformer i datorseende har lett till undersökningen av transformatorbaserade arkitekturer för ultraljudsbildanalys26.
Nyligen föreslog Li et al. en djupinlärningsmetod28 för upptäckt av papillär sköldkörtelcancer inspirerad av Faster R-CNN27. Snabbare R-CNN är en klassisk CNN-baserad objektidentifieringsarkitektur. Den ursprungliga Faster R-CNN har fyra moduler - CNN-stamnätet, regionförslagsnätverket (RPN), ROI-poolningslagret och detekteringshuvudet. CNN-stamnätet använder en uppsättning grundläggande konv+bn+relu+pooling-lager för att extrahera funktionskartor från indatabilden. Sedan matas funktionsmappningarna in i RPN och ROI-poolningslagret. RPN-nätverkets roll är att generera regionförslag. Den här modulen använder softmax för att avgöra om fästpunkter är positiva och genererar korrekta fästpunkter genom regression av begränsningsram. ROI-poolningslagret extraherar förslagsgeoobjektmappningarna genom att samla in indatageoobjektmappningarna och förslagen och matar in förslagsgeoobjektmappningarna i det efterföljande identifieringshuvudet. Detekteringshuvudet använder förslagsfunktionsmappningarna för att klassificera objekt och hämta exakta positioner för detekteringsrutorna genom regression av begränsningsrutan.
Detta dokument presenterar ett nytt sköldkörtelnoduldetekteringsnätverk som heter Swin Faster R-CNN bildat genom att ersätta CNN-ryggraden i Faster R-CNN med Swin Transformer, vilket resulterar i bättre extraktion av funktioner för knöldetektering från ultraljudsbilder. Dessutom används funktionen pyramidnätverk (FPN)29 för att förbättra detekteringsprestandan för modellen för knölar av olika storlekar genom att aggregera funktioner i olika skalor.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Denna retrospektiva studie godkändes av den institutionella granskningsnämnden för West China Hospital, Sichuan University, Sichuan, Kina, och kravet på att få informerat samtycke upphävdes.
1. Inställning av miljö
- GPU-programvara (Graphic Processing Unit)
- Om du vill implementera djupinlärningsprogram konfigurerar du först den GPU-relaterade miljön. Ladda ner och installera GPU-lämplig programvara och drivrutiner från GPU: s webbplats.
OBS: Se materialtabellen för de som används i denna studie.
- Om du vill implementera djupinlärningsprogram konfigurerar du först den GPU-relaterade miljön. Ladda ner och installera GPU-lämplig programvara och drivrutiner från GPU: s webbplats.
- Python3.8 installation
- Öppna en terminal på maskinen. Skriv följande:
Kommandorad: sudo apt-get install python3.8 python-dev python-virtualenv
- Öppna en terminal på maskinen. Skriv följande:
- Pytorch1.7 installation
- Följ stegen på den officiella webbplatsen för att ladda ner och installera Miniconda.
- Skapa en conda-miljö och aktivera den.
Kommandorad: conda create --name SwinFasterRCNN python=3.8 -y
Kommandorad: conda aktivera SwinFasterRCNN - Installera Pytorch.
Kommandorad: conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2
- MMDetection installation
- Klona från det officiella Github-arkivet.
Kommandorad: git klon https://github.com/open-mmlab/mmdetection.git - Installera MMDetection.
Kommandorad: cd mmdetection
Kommandorad: pip install -v -e .
- Klona från det officiella Github-arkivet.
2. Förberedelse av data
- Datainsamling
- Samlade ultraljudsbilderna (här 3 000 fall från ett tertiärt sjukhus av klass A). Se till att varje fall har diagnostiska register, behandlingsplaner, amerikanska rapporter och motsvarande amerikanska bilder.
- Placera alla amerikanska bilder i en mapp med namnet "images".
OBS: De data som användes i denna studie inkluderade 3 853 amerikanska bilder från 3 000 fall.
- Rensning av data
- Kontrollera datauppsättningen manuellt för bilder av områden som inte är sköldkörteln, till exempel lymfbilder.
- Kontrollera datauppsättningen manuellt för bilder som innehåller färgdopplerflöde.
- Ta bort bilderna som markerades i föregående två steg.
OBS: Efter datarengöring lämnades 3 000 bilder från 2 680 lådor.
- Dataanteckning
- Låt en överläkare lokalisera nodulområdet i den amerikanska bilden och skissera knölgränsen.
OBS: Anteckningsprogrammet och processen finns i tilläggsfil 1. - Låt en annan överläkare granska och revidera anteckningsresultaten.
- Placera de kommenterade data i en separat mapp som heter "Anteckningar".
- Låt en överläkare lokalisera nodulområdet i den amerikanska bilden och skissera knölgränsen.
- Uppdelning av data
- Kör python-skriptet och ange sökvägen till bilden i steg 2.1.2 och sökvägarna till anteckningarna i steg 2.3.3. Dela slumpmässigt upp alla bilder och motsvarande märkta filer i tränings- och valideringsuppsättningar med förhållandet 8:2. Spara träningsuppsättningsdata i mappen "Träna" och valideringsuppsättningsdata i mappen "Val".
Python-skript finns i tilläggsfil 2.
- Kör python-skriptet och ange sökvägen till bilden i steg 2.1.2 och sökvägarna till anteckningarna i steg 2.3.3. Dela slumpmässigt upp alla bilder och motsvarande märkta filer i tränings- och valideringsuppsättningar med förhållandet 8:2. Spara träningsuppsättningsdata i mappen "Träna" och valideringsuppsättningsdata i mappen "Val".
- Konvertera till CoCo-datauppsättningsformat
Om du vill använda MMDetection bearbetar du data till ett CoCo-datauppsättningsformat, som innehåller en json-fil som innehåller anteckningsinformationen och en bildmapp som innehåller de amerikanska bilderna.- Kör python-skriptet och mata in sökvägarna till anteckningsmappen (steg 2.3.3) för att extrahera de knölområden som beskrivs av läkaren och konvertera dem till masker. Spara alla masker i mappen "Masker".
Python-skripten finns i tilläggsfil 3. - Kör python-skriptet och ange sökvägen till mappen masks i steg 2.5.1 för att göra data till en datauppsättning i CoCo-format och generera en json-fil med de amerikanska avbildningarna.
Python-skript finns i tilläggsfil 4.
- Kör python-skriptet och mata in sökvägarna till anteckningsmappen (steg 2.3.3) för att extrahera de knölområden som beskrivs av läkaren och konvertera dem till masker. Spara alla masker i mappen "Masker".
3. Swin snabbare RCNN-konfiguration
- Ladda ner Swin Transformer-modellfilen (https://github.com/microsoft/Swin-Transformer/blob/main/models/swin_transformer.py), ändra den och placera den i mappen "mmdetection/mmdet/models/backbones/". Öppna filen "swin_transformer.py" i en vim-textredigerare och ändra den som Swin Transformer-modellfilen som finns i tilläggsfil 5.
Kommandorad: vim swin_transformer.py - Gör en kopia av konfigurationsfilen Faster R-CNN, ändra stamnätet till Swin Transformer och konfigurera FPN-parametrarna.
Kommandorad: cd mmdetection/configs/faster_rcnn
Kommandorad: cp faster_rcnn_r50_fpn_1x_coco.py swin_faster_rcnn_swin.py
Konfigurationsfilen Swin Faster R-CNN (swin_faster_rcnn_swin.py) finns i tilläggsfil 6. Swin Faster R-CNN-nätverksstrukturen visas i figur 1. - Ange datauppsättningssökvägen till datauppsättningssökvägen i CoCo-format (steg 2.5.2) i konfigurationsfilen. Öppna filen "coco_detection.py" i vim-textredigeraren och ändra följande rad:
data_root = "datasetsökväg(steg 2.5.2)"
Kommandorad:vim mmdetection/configs/_base_/datasets/coco_detection.py
4. Träna Swin snabbare R-CNN
- Redigera mmdetection/configs/_base_/schedules/schedule_1x.py och ställ in standardutbildningsrelaterade parametrar, inklusive inlärningshastighet, optimerare och epok. Öppna filen "schedule_1x.py" i vim-textredigeraren och ändra följande rader:
optimizer = dict(type="AdamW", lr=0.001, momentum=0.9, weight_decay=0.0001)
runner = dict(type='EpochBasedRunner', max_epochs=48)
Kommandorad:vim mmdetection/configs/_base_/schedules/schedule_1x.py
OBS: I detta protokoll för detta dokument sattes inlärningshastigheten till 0,001, AdamW-optimeraren användes, den maximala träningsepoken sattes till 48 och batchstorleken sattes till 16. - Börja träningen genom att skriva följande kommandon. Vänta tills nätverket börjar träna för 48 epoker och för att de resulterande tränade vikterna för Swin Faster R-CNN-nätverket ska genereras i utdatamappen. Spara modellvikterna med högsta noggrannhet på valideringsuppsättningen.
Kommandorad: cd mmdetection
Kommandorad: python tools/train.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --work-dir ./work_dirs
Modellen har tränats på en "NVIDIA GeForce RTX3090 24G" GPU. Den centrala processorenheten som användes var "AMD Epyc 7742 64-core processor × 128", och operativsystemet var Ubuntu 18.06. Den totala träningstiden var ~ 2 timmar.
5. Utföra detektering av sköldkörtelnoduler på nya bilder
- Efter träningen väljer du den modell som har bäst prestanda i valideringsuppsättningen för identifiering av sköldkörtelnoduler i de nya bilderna.
- Ändra först storlek på bilden till 512 pixlar x 512 pixlar och normalisera den. Dessa åtgärder utförs automatiskt när testskriptet körs.
Kommandorad: python tools/test.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --out ./output - Vänta tills skriptet automatiskt läser in de förtränade modellparametrarna till Swin Faster R-CNN och matar in den förbearbetade bilden i Swin Faster R-CNN för slutsats. Vänta tills Swin Faster R-CNN matar ut förutsägelserutan för varje bild.
- Slutligen tillåter du skriptet att automatiskt utföra NMS-efterbearbetning på varje bild för att ta bort dubblettdetekteringsrutor.
Identifieringsresultaten matas ut till den angivna mappen, som innehåller bilderna med identifieringsrutorna och begränsningsramens koordinater i en packad fil.
- Ändra först storlek på bilden till 512 pixlar x 512 pixlar och normalisera den. Dessa åtgärder utförs automatiskt när testskriptet körs.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Sköldkörtelns amerikanska bilder samlades in från två sjukhus i Kina från september 2008 till februari 2018. Urvalskriterierna för att inkludera de amerikanska bilderna i denna studie var konventionell amerikansk undersökning före biopsi och kirurgisk behandling, diagnos med biopsi eller postkirurgisk patologi och ålder ≥ 18 år. Exklusionskriterierna var bilder utan sköldkörtelvävnad.
De 3 000 ultraljudsbilderna inkluderade 1 384 maligna och 1 616 godartade knölar. Majoriteten (90%) av de maligna knölarna var papillärt karcinom och 66% av de godartade knölarna var nodulär struma. Här var 25% av knölarna mindre än 5 mm, 38% var mellan 5 mm och 10 mm och 37% var större än 10 mm.
Alla amerikanska bilder samlades in med Philips IU22 och DC-80, och deras standardmetod för sköldkörtelundersökning användes. Båda instrumenten var utrustade med 5-13 MHz linjära sonder. För god exponering av de nedre sköldkörtelmarginalerna undersöktes alla patienter i ryggläge med ryggen utsträckt. Både sköldkörtelloberna och isthmusen skannades i längsgående och tvärgående plan enligt American College of Radiology ackrediteringsstandarder. Alla undersökningar utfördes av två seniora sköldkörtelradiologer med ≥10 års klinisk erfarenhet. Sköldkörteldiagnosen baserades på de histopatologiska fynden från fin nålaspirationsbiopsi eller sköldkörtelkirurgi.
I verkliga livet, eftersom amerikanska bilder skadas av brus, är det viktigt att genomföra korrekt förbehandling av de amerikanska bilderna, såsom bildbrusreducering baserat på wavelet-transform30, kompressiv avkänning 31 och histogramutjämning32. I det här arbetet använde vi histogramutjämning för att förbehandla de amerikanska bilderna, förbättra bildkvaliteten och lindra försämringen av bildkvaliteten orsakad av brus.
I det följande kallas sant positivt, falskt positivt, sant negativt och falskt negativt som TP, FP, TN respektive FN. Vi använde mAP, känslighet och specificitet för att utvärdera modellens noduldetekteringsprestanda. mAP är ett vanligt mått i objektidentifiering. Sensitivitet och specificitet beräknades med hjälp av ekvation (1) och ekvation (2):
(1)
(2)
I detta dokument definieras TP som antalet korrekt detekterade knölar, som har en skärningspunkt över unionen (IoU) mellan förutsägelserutan och grundsanningsrutan på >0,3 och en konfidenspoäng >0,6. IoU är skärningspunkten över unionen, som beräknas med hjälp av ekvation (3):
(3)
Vi jämförde flera klassiska objektdetekteringsnätverk, inklusive SSD 33, YOLO-v334, CNN-stamnätbaserade Faster R-CNN27, RetinaNet35 och DETR36. YOLO-v3 och SSD är enstegsdetekteringsnätverk, DETR är ett transformatorbaserat objektdetekteringsnätverk och Faster R-CNN och RetinaNet är tvåstegsdetekteringsnätverk. Tabell 1 visar att prestandan för Swin Faster R-CNN är överlägsen de andra metoderna och når 0,448 mAP, vilket är 0,028 högre än CNN-ryggradens snabbare R-CNN och 0,037 högre än YOLO-v3. Genom att använda Swin Faster R-CNN kan 90,5% av sköldkörtelnodulerna detekteras automatiskt, vilket är ~ 3% högre än CNN-ryggradsbaserade Faster R-CNN (87,1%). Som visas i figur 2 gör användningen av Swin Transformer som ryggrad gränspositioneringen mer exakt.
Bild 1: Diagram över Swin Faster R-CNN-nätverksarkitekturen. Klicka här för att se en större version av denna figur.
Figur 2: Detektionsresultat. Identifieringsresultaten för samma bild finns på en viss rad. Kolumnerna är detekteringsresultaten, från vänster till höger, för Swin Faster R-CNN, Faster R-CNN, YOLO-v3, SSD, RetinaNet respektive DETR. Regionernas grundsanningar är markerade med gröna rektangulära rutor. Detektionsresultaten ramas in av de röda rektangulära rutorna. Klicka här för att se en större version av denna figur.
| Metod | Ryggrad | karta | Känslighet | Säregenhet |
| YOLO-v3 | DarkNet | 0.411 | 0.869 | 0.877 |
| SSD | VGG16 | 0.425 | 0.841 | 0.849 |
| RetinaNet | ResNet50 | 0.382 | 0.845 | 0.841 |
| Snabbare R-CNN | ResNet50 | 0.42 | 0.871 | 0.864 |
| DETR | ResNet50 | 0.416 | 0.882 | 0.86 |
| Swin Faster R-CNN utan FPN | Swin transformator | 0.431 | 0.897 | 0.905 |
| Swin Snabbare R-CNN med FPN | 0.448 | 0.905 | 0.909 |
Tabell 1: Prestandajämförelse med toppmoderna objektdetekteringsmetoder.
Kompletterande fil 1: Bruksanvisning för dataanteckningen och den programvara som används. Klicka här för att ladda ner den här filen.
Tilläggsfil 2: Python-skript som används för att dela upp datauppsättningen i träningsuppsättningen och valideringsuppsättningen, enligt vad som nämns i steg 2.4.1. Klicka här för att ladda ner den här filen.
Tilläggsfil 3: Python-skript som används för att konvertera anteckningsfilen till masker, som nämns i steg 2.5.1. Klicka här för att ladda ner den här filen.
Tilläggsfil 4: Python-skript som används för att göra data till en datauppsättning i CoCo-format, som nämns i steg 2.5.2. Klicka här för att ladda ner den här filen.
Tilläggsfil 5: Den modifierade Swin Transformer-modellfilen som nämns i steg 3.1. Klicka här för att ladda ner den här filen.
Tilläggsfil 6: Swin Faster R-CNN-konfigurationsfilen som nämns i steg 3.2. Klicka här för att ladda ner den här filen.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Det här dokumentet beskriver i detalj hur du utför miljökonfiguration, förberedelse av data, modellkonfiguration och nätverksträning. I miljöinstallationsfasen måste man vara uppmärksam för att säkerställa att de beroende biblioteken är kompatibla och matchade. Databehandling är ett mycket viktigt steg; Tid och ansträngning måste spenderas för att säkerställa att anteckningarna är korrekta. När du tränar modellen kan en "ModuleNotFoundError" påträffas. I det här fallet är det nödvändigt att använda kommandot "pip install" för att installera det saknade biblioteket. Om förlusten av valideringsuppsättningen inte minskar eller svänger kraftigt, bör man kontrollera anteckningsfilen och försöka justera inlärningshastigheten och batchstorleken för att få förlusten att konvergera.
Sköldkörtelnoduldetektering är mycket viktigt för behandling av sköldkörtelcancer. CAD-systemet kan hjälpa läkare att upptäcka knölar, undvika skillnader i diagnosresultat orsakade av subjektiva faktorer och minska missad upptäckt av knölar. Jämfört med befintliga CNN-baserade CAD-system introducerar nätverket som föreslås i detta dokument Swin Transformer för att extrahera ultraljudsbildfunktioner. Genom att fånga långdistansberoenden kan Swin Faster R-CNN extrahera knölfunktionerna från ultraljudsbilder mer effektivt. De experimentella resultaten visar att Swin Faster R-CNN förbättrar känsligheten för knöldetektering med ~ 3% jämfört med CNN-ryggradsbaserad Faster R-CNN. Tillämpningen av denna teknik kan kraftigt minska belastningen på läkare, eftersom det kan upptäcka sköldkörtelnoduler vid tidig ultraljudsundersökning och vägleda läkare till vidare behandling. På grund av det stora antalet parametrar för Swin Transformer är inferenstiden för Swin Faster R-CNN ~ 100 ms per bild (testad på NVIDIA TITAN 24G GPU och AMD Epyc 7742 CPU). Det kan vara utmanande att uppfylla kraven på realtidsdiagnos med Swin Faster R-CNN. I framtiden kommer vi att fortsätta att samla in fall för att verifiera effektiviteten av denna metod och genomföra ytterligare studier om dynamisk ultraljudsbildanalys.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Författarna deklarerar inga intressekonflikter.
Acknowledgments
Denna studie stöddes av National Natural Science Foundation of China (Grant No.32101188) och General Project of Science and Technology Department of Sichuan Province (Grant No. 2021YFS0102), Kina.
Materials
| Name | Company | Catalog Number | Comments |
| GPU RTX3090 | Nvidia | 1 | 24G GPU |
| mmdetection2.11.0 | SenseTime | 4 | https://github.com/open-mmlab/mmdetection.git |
| python3.8 | — | 2 | https://www.python.org |
| pytorch1.7.1 | 3 | https://pytorch.org |
References
- Grant, E. G., et al. Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee. Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).
- Zhao, J., Zheng, W., Zhang, L., Tian, H. Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology. Health Information Science and Systems. 1, 5 (2013).
- Haugen, B. R. American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed. Cancer. 123 (3), 372-381 (2017).
- Shin, J. H., et al. Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations. Korean Journal of Radiology. 17 (3), 370-395 (2016).
- Horvath, E., et al. An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management. The Journal of Clinical Endocrinology & Metabolism. 94 (5), 1748-1751 (2009).
- Park, J. -Y., et al. A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma. Thyroid. 19 (11), 1257-1264 (2009).
- Moon, W. -J., et al. Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study. Radiology. 247 (3), 762-770 (2008).
- Park, C. S., et al. Observer variability in the sonographic evaluation of thyroid nodules. Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).
- Kim, S. H., et al. Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules. Korean Journal of Radiology. 11 (2), 149-155 (2010).
- Choi, Y. J., et al. A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment. Thyroid. 27 (4), 546-552 (2017).
- Chang, T. -C. The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography. Journal of Medical Ultrasound. 23 (4), 177-184 (2015).
- Fully convolutional networks for ultrasound image segmentation of thyroid nodules. Li, X. IEEE 20th International Conference on High Performance Computing and Communications; IEEE 16th International Conference on Smart City; IEEE 4th International Conference on Data Science and Systems (HPCC/SmartCity/DSS), , 886-890 (2018).
- Nguyen, D. T., Choi, J., Park, K. R. Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks. Mathematics. 10 (19), 3484 (2022).
- Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images. Medical Physics. 44 (5), 1678-1691 (2017).
- Song, W., et al. Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition. IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).
- Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images. Wang, J., et al. 2018 25Th IEEE International Conference on Image Processing (ICIP), , IEEE. 3114-3118 (2018).
- Wang, L., et al. A multi-scale densely connected convolutional neural network for automated thyroid nodule classification. Frontiers in Neuroscience. 16, 878718 (2022).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Communications of the ACM. 60 (6), 84-90 (2017).
- He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).
- Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. Relation networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).
- Szegedy, C., et al.
- Dosovitskiy, A., et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929. , (2020).
- Touvron, H., et al. Training data-efficient image transformers & distillation through attention. arXiv:2012.12877. , (2021).
- Liu, Z., et al. Swin Transformer: Hierarchical vision transformer using shifted windows. 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).
- Vaswani, A., et al. Attention is all you need. Advances in Neural Information Processing Systems. 30, (2017).
- Chen, J., et al. TransUNet: Transformers make strong encoders for medical image segmentation. arXiv. arXiv:2102.04306. , (2021).
- Ren, S., He, K., Girshick, R., Sun, J. Faster r-cnn: Towards real-time object detection with region proposal networks. Advances in Neural Information Processing Systems. 28, 91-99 (2015).
- Li, H., et al. An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images. Scientific Reports. 8, 6600 (2018).
- Lin, T. -Y., et al. Feature pyramid networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).
- Ouahabi, A. A review of wavelet denoising in medical imaging. 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).
- Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. Image denoising using a compressive sensing approach based on regularization constraints. Sensors. 22 (6), 2199 (2022).
- Castleman, K. R. Digital Image Processing. , Prentice Hall Press. Hoboken, NJ. (1996).
- Liu, W., et al. Ssd: Single shot multibox detector. European Conference on Computer Vision. , 21-37 (2016).
- Redmon, J., Farhadi, A.
- Lin, T. -Y., Goyal, P., Girshick, R., He, K., Dollár, P. Focalloss for dense object detection. arXiv. arXiv:1708.02002. , (2017).
- Carion, N., et al. End-to-end object detection with transformers. Computer Vision-ECCV 2020: 16th European Conference. , Glasgow, UK. 23-28 (2020).
