Name: Model oparty na transformatorze Swin do wykrywania guzków tarczycy w obrazach ultrasonograficznych (Wideo) | JoVE Journal
Uploaded: 2023-04-21T14:15:00.000+00:00
Duration: 4 min 23 s
Description: Poznaj automatyczną detekcję guzków tarczycy w obrazach ultrasonograficznych przy użyciu modelu Swin Transformer. Ta metoda uczenia maszynowego zwiększa czułość i dokładność diagnostyki, redukując obciążenie lekarzy.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

To badanie było wspierane przez Narodową Fundację Nauk Przyrodniczych Chin (Grant No.32101188) oraz General Project of Science and Technology Department of Sichuan Province (Grant No. 2021YFS0102), China.

To retrospektywne badanie zostało zatwierdzone przez instytucjonalną komisję rewizyjną Szpitala Zachodniochińskiego, Uniwersytet Syczuański, Syczuan, Chiny, a wymóg uzyskania świadomej zgody został zniesiony.
1. Konfiguracja środowiska
<ol>
	<li>Oprogramowanie procesora graficznego (GPU)
	<ol>
		<li>Aby zaimplementować aplikacje głębokiego uczenia, najpierw skonfiguruj środowisko związane z procesorem GPU. Pobierz i zainstaluj oprogramowanie i sterowniki odpowiednie dla procesora graficznego ze strony internetowej procesora graficznego. 
		UWAGA: Zapoznaj się z tabelą materiałów, aby zapoznać się z materiałami użytymi w tym badaniu.</li>
	</ol>
	</li>
	<li>Instalacja Pythona 3.8
	<ol>
		<li>Otwórz terminal na urządzeniu. Wpisz następujące polecenie: 
		Wiersz poleceń: sudo apt-get install python3.8 python-dev python-virtualenv</li>
	</ol>
	</li>
	<li>Instalacja Pytorch1.7
	<ol>
		<li>Postępuj zgodnie z instrukcjami na oficjalnej stronie internetowej, aby pobrać i zainstalować Miniconda.</li>
		<li>Utwórz środowisko conda i aktywuj je. 
		Wiersz poleceń: conda create --name SwinFasterRCNN python=3.8 -y 
		Wiersz poleceń: conda activate SwinFasterRCNN</li>
		<li>Zainstaluj Pytorch. 
		Wiersz poleceń: conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 </li>
	</ol>
	</li>
	<li>Instalacja MMDetection
	<ol>
		<li>Klonuj z oficjalnego repozytorium Github. 
		Wiersz poleceń: git clone https://github.com/open-mmlab/mmdetection.git</li>
		<li>Zainstaluj plik MMDetection. 
		Wiersz poleceń: cd mmdetection 
		Wiersz polecenia: install -v -e .</li>
	</ol>
	</li>
</ol>
2. Przygotowanie danych
<ol>
	<li>Gromadzenie danych
	<ol>
		<li>Zebrano obrazy ultrasonograficzne (tutaj 3000 przypadków ze szpitala trzeciego stopnia stopnia). Upewnij się, że każdy przypadek ma dokumentację diagnostyczną, plany leczenia, raporty z USA i odpowiednie obrazy z USA.</li>
		<li>Umieść wszystkie obrazy z USA w folderze o nazwie "images"." 
		UWAGA: Dane wykorzystane w tym badaniu obejmowały 3 853 zdjęcia z USA z 3 000 przypadków.</li>
	</ol>
	</li>
	<li>Czyszczenie danych
	<ol>
		<li>Ręcznie sprawdź zestaw danych pod kątem obrazów obszarów innych niż tarczyca, takich jak obrazy limfy.</li>
		<li>Ręcznie sprawdź zestaw danych pod kątem obrazów zawierających kolorowy przepływ Dopplera.</li>
		<li>Usuń obrazy zaznaczone w poprzednich dwóch krokach. 
		UWAGA: Po wyczyszczeniu danych pozostało 3 000 obrazów z 2 680 przypadków.</li>
	</ol>
	</li>
	<li>Adnotacja danych
	<ol>
		<li>Poproś starszego lekarza, aby zlokalizował obszar guzka na obrazie w USA i nakreślił granicę guzka. 
		UWAGA: Oprogramowanie i proces adnotacji można znaleźć w pliku uzupełniającym 1.</li>
		<li>Poproś innego starszego lekarza o przejrzenie i poprawienie wyników adnotacji.</li>
		<li>Umieść dane z adnotacjami w osobnym folderze o nazwie "Adnotacje".</li>
	</ol>
	</li>
	<li>Podział danych
	<ol>
		<li>Uruchom skrypt języka Python i ustaw ścieżkę obrazu w kroku 2.1.2 oraz ścieżki adnotacji w kroku 2.3.3. Losowo podziel wszystkie obrazy i odpowiadające im oznaczone pliki na zestawy treningowe i walidacyjne w stosunku 8:2. Zapisz dane zestawu treningowego w folderze "Train", a dane zestawu walidacji w folderze "Val". 
		UWAGA: Skrypty Pythona znajdują się w pliku uzupełniającym 2.</li>
	</ol>
	</li>
	<li>Konwertowanie na format zestawu danych CoCo 
	UWAGA: Aby użyć narzędzia MMDetection, należy przetworzyć dane w formacie zestawu danych CoCo, który zawiera plik json zawierający informacje o adnotacjach oraz folder obrazów zawierający obrazy z USA.
	<ol>
		<li>Uruchom skrypt Pythona i wprowadź ścieżki folderu adnotacji (krok 2.3.3), aby wyodrębnić obszary guzków nakreślone przez lekarza i przekształcić je w maski. Zapisz wszystkie maski w folderze "Maski". 
		UWAGA: Skrypty Pythona są dostępne w pliku uzupełniającym 3.</li>
		<li>Uruchom skrypt języka Python i ustaw ścieżkę do folderu masks w kroku 2.5.1, aby przekształcić dane w zestaw danych w formacie CoCo i wygenerować plik json z obrazami USA. 
		UWAGA: Skrypty Pythona są dostępne w pliku uzupełniającym 4.</li>
	</ol>
	</li>
</ol>
3. Swin Szybsza konfiguracja RCNN
<ol>
	<li>Pobierz plik modelu Swin Transformer (https://github.com/microsoft/Swin-Transformer/blob/main/models/swin_transformer.py), zmodyfikuj go i umieść w folderze "mmdetection/mmdet/models/backbones/". Otwórz plik "swin_transformer.py" w edytorze tekstu vim i zmodyfikuj go jako plik modelu Swin Transformer dostarczony w pliku uzupełniającym 5. 
	Wiersz poleceń: vim swin_transformer.py</li>
	<li>Utwórz kopię pliku konfiguracyjnego Faster R-CNN, zmień szkielet na Swin Transformer i skonfiguruj parametry FPN. 
	Wiersz poleceń: cd mmdetection/configs/faster_rcnn 
	Wiersz poleceń: cp faster_rcnn_r50_fpn_1x_coco.py swin_faster_rcnn_swin.py 
	UWAGA: Plik konfiguracyjny Swin Faster R-CNN (swin_faster_rcnn_swin.py) znajduje się w pliku uzupełniającym 6. Struktura sieci Swin Faster R-CNN jest pokazana w Rysunek 1.</li>
	<li>Ustaw ścieżkę zestawu danych na ścieżkę zestawu danych w formacie CoCo (krok 2.5.2) w pliku konfiguracyjnym. Otwórz plik "coco_detection.py" w edytorze tekstu vim i zmodyfikuj następujący wiersz: 
	data_root = "ścieżka zestawu danych(krok 2.5.2)" 
	Wiersz poleceń:vim mmdetection/configs/_base_/datasets/coco_detection.py</li>
</ol>
4. Szybsze szkolenie Swin R-CNN
<ol>
	<li>Edytuj mmdetection/configs/_base_/schedules/schedule_1x.py i ustaw domyślne parametry związane ze szkoleniem, w tym szybkość uczenia się, optymalizator i epokę. Otwórz plik "schedule_1x.py" w edytorze tekstu vim i zmodyfikuj następujące wiersze: 
	optymalizator = dict(type="AdamW", lr=0.001, momentum=0.9, weight_decay=0.0001) 
	runner = dict(type='EpochBasedRunner', max_epochs=48) 
	Wiersz poleceń: vim mmdetection/configs/_base_/schedules/schedule_1x.py 
	UWAGA: W tym protokole dla tego artykułu szybkość uczenia się została ustawiona na 0,001, użyto optymalizatora AdamW, maksymalna epoka trenowania została ustawiona na 48, a rozmiar partii został ustawiony na 16.</li>
	<li>Rozpocznij trenowanie, wpisując następujące polecenia. Poczekaj, aż sieć rozpocznie trenowanie przez 48 epok i że wynikowe wytrenowane wagi sieci Swin Faster R-CNN zostaną wygenerowane w folderze wyjściowym. Zapisz wzorce masy modelu z najwyższą dokładnością w zestawie walidacyjnym. 
	Wiersz poleceń: cd mmdetection 
	Wiersz poleceń: python tools/train.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --work-dir ./work_dirs 
	UWAGA: Model został przeszkolony na procesorze graficznym "NVIDIA GeForce RTX3090 24G". Zastosowaną jednostką centralną był "AMD Epyc 7742 64-rdzeniowy procesor × 128", a systemem operacyjnym był Ubuntu 18.06. Całkowity czas szkolenia wyniósł ~2 h.</li>
</ol>
5. Wykrywanie guzków tarczycy na nowych obrazach
<ol>
	<li>Po wytrenowaniu wybierz model o najlepszej wydajności w zestawie walidacji do wykrywania guzków tarczycy na nowych obrazach.
	<ol>
		<li>Najpierw zmień rozmiar obrazu na 512 pikseli x 512 pikseli i znormalizuj go. Te operacje są wykonywane automatycznie po uruchomieniu skryptu testowego. 
		Wiersz poleceń: python tools/test.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --out ./output</li>
		<li>Poczekaj, aż skrypt automatycznie załaduje wstępnie wytrenowane parametry modelu do Swin Faster R-CNN i przekaże wstępnie przetworzony obraz do Swin Faster R-CNN w celu wnioskowania. Poczekaj, aż Swin Faster R-CNN wyświetli pole przewidywania dla każdego obrazu.</li>
		<li>Na koniec zezwól skryptowi na automatyczne przetwarzanie końcowe NMS na każdym obrazie, aby usunąć zduplikowane pola wykrywania. 
		UWAGA: Wyniki wykrywania są przesyłane do określonego folderu, który zawiera obrazy z polami wykrywania i współrzędnymi pola ograniczenia w spakowanym pliku.</li>
	</ol>
	</li>
</ol>

<ol><li>Grant, E. G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Thyroid+ultrasound+reporting+lexicon%3A+White+paper+of+the+ACR+Thyroid+Imaging%2C+Reporting+and+Data+System+%28TIRADS%29+committee%5BTitle%5D)+AND+%22Journal+of+the+American+College+of+Radiology%22%5BJournal%5D)">Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee.</a> Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).</li>
<li>Zhao, J., Zheng, W., Zhang, L., Tian, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Segmentation+of+ultrasound+images+of+thyroid+nodule+for+assisting+fine+needle+aspiration+cytology%5BTitle%5D)+AND+%22Health+Information+Science+and+Systems%22%5BJournal%5D)">Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology.</a> Health Information Science and Systems. 1, 5(2013).</li>
<li>Haugen, B. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((American+Thyroid+Association+management+guidelines+for+adult+patients+with+thyroid+nodules+and+differentiated+thyroid+cancer%3A+What+is+new+and+what+has+changed%5BTitle%5D)+AND+%22Cancer%22%5BJournal%5D)">American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed.</a> Cancer. 123 (3), 372-381 (2017).</li>
<li>Shin, J. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Ultrasonography+diagnosis+and+imaging-based+management+of+thyroid+nodules%3A+Revised+Korean+Society+of+Thyroid+Radiology+consensus+statement+and+recommendations%5BTitle%5D)+AND+%22Korean+Journal+of+Radiology%22%5BJournal%5D)">Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations.</a> Korean Journal of Radiology. 17 (3), 370-395 (2016).</li>
<li>Horvath, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+ultrasonogram+reporting+system+for+thyroid+nodules+stratifying+cancer+risk+for+clinical+management%5BTitle%5D)+AND+%22The+Journal+of+Clinical+Endocrinology+%26+Metabolism%22%5BJournal%5D)">An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management.</a> The Journal of Clinical Endocrinology & Metabolism. 94 (5), 1748-1751 (2009).</li>
<li>Park, J. -Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+proposal+for+a+thyroid+imaging+reporting+and+data+system+for+ultrasound+features+of+thyroid+carcinoma%5BTitle%5D)+AND+%22Thyroid%22%5BJournal%5D)">A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma.</a> Thyroid. 19 (11), 1257-1264 (2009).</li>
<li>Moon, W. -J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Benign+and+malignant+thyroid+nodules%3A+US+differentiation-Multicenter+retrospective+study%5BTitle%5D)+AND+%22Radiology%22%5BJournal%5D)">Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study.</a> Radiology. 247 (3), 762-770 (2008).</li>
<li>Park, C. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Observer+variability+in+the+sonographic+evaluation+of+thyroid+nodules%5BTitle%5D)+AND+%22Journal+of+Clinical+Ultrasound%22%5BJournal%5D)">Observer variability in the sonographic evaluation of thyroid nodules.</a> Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).</li>
<li>Kim, S. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Observer+variability+and+the+performance+between+faculties+and+residents%3A+US+criteria+for+benign+and+malignant+thyroid+nodules%5BTitle%5D)+AND+%22Korean+Journal+of+Radiology%22%5BJournal%5D)">Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules.</a> Korean Journal of Radiology. 11 (2), 149-155 (2010).</li>
<li>Choi, Y. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+computer-aided+diagnosis+system+using+artificial+intelligence+for+the+diagnosis+and+characterization+of+thyroid+nodules+on+ultrasound%3A+initial+clinical+assessment%5BTitle%5D)+AND+%22Thyroid%22%5BJournal%5D)">A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment.</a> Thyroid. 27 (4), 546-552 (2017).</li>
<li>Chang, T. -C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+role+of+computer-aided+detection+and+diagnosis+system+in+the+differential+diagnosis+of+thyroid+lesions+in+ultrasonography%5BTitle%5D)+AND+%22Journal+of+Medical+Ultrasound%22%5BJournal%5D)">The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography.</a> Journal of Medical Ultrasound. 23 (4), 177-184 (2015).</li>
<li>Fully convolutional networks for ultrasound image segmentation of thyroid nodules. Li, X. IEEE 20th International Conference on High Performance Computing and Communications; IEEE 16th International Conference on Smart City; IEEE 4th International Conference on Data Science and Systems (HPCC/SmartCity/DSS), , 886-890 (2018).</li>
<li>Nguyen, D. T., Choi, J., Park, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Thyroid+nodule+segmentation+in+ultrasound+image+based+on+information+fusion+of+suggestion+and+enhancement+networks%5BTitle%5D)+AND+%22Mathematics%22%5BJournal%5D)">Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks.</a> Mathematics. 10 (19), 3484(2022).</li>
<li>Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cascade+convolutional+neural+networks+for+automatic+detection+of+thyroid+nodules+in+ultrasound+images%5BTitle%5D)+AND+%22Medical+Physics%22%5BJournal%5D)">Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images.</a> Medical Physics. 44 (5), 1678-1691 (2017).</li>
<li>Song, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Multitask+cascade+convolution+neural+networks+for+automatic+thyroid+nodule+detection+and+recognition%5BTitle%5D)+AND+%22IEEE+Journal+of+Biomedical+and+Health+Informatics%22%5BJournal%5D)">Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition.</a> IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).</li>
<li>Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images. Wang, J., et al. 2018 25Th IEEE International Conference on Image Processing (ICIP), , IEEE. 3114-3118 (2018).</li>
<li>Wang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multi-scale+densely+connected+convolutional+neural+network+for+automated+thyroid+nodule+classification%5BTitle%5D)+AND+%22Frontiers+in+Neuroscience%22%5BJournal%5D)">A multi-scale densely connected convolutional neural network for automated thyroid nodule classification.</a> Frontiers in Neuroscience. 16, 878718(2022).</li>
<li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Imagenet+classification+with+deep+convolutional+neural+networks%5BTitle%5D)+AND+%22Communications+of+the+ACM%22%5BJournal%5D)">Imagenet classification with deep convolutional neural networks.</a> Communications of the ACM. 60 (6), 84-90 (2017).</li>
<li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+residual+learning+for+image+recognition%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition%22%5BJournal%5D)">Deep residual learning for image recognition.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).</li>
<li>Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Relation+networks+for+object+detection%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition%22%5BJournal%5D)">Relation networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).</li>
<li>Szegedy, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Going+deeper+with+convolutions%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition%22%5BJournal%5D)">Going deeper with convolutions.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).</li>
<li>Dosovitskiy, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+image+is+worth+16x16+words%3A+Transformers+for+image+recognition+at+scale%5BTitle%5D)+AND+%22arXiv+preprint+arXiv%3A2010.11929%22%5BJournal%5D)">An image is worth 16x16 words: Transformers for image recognition at scale.</a> arXiv preprint arXiv:2010.11929. , (2020).</li>
<li>Touvron, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Training+data-efficient+image+transformers+%26+distillation+through+attention%5BTitle%5D)+AND+%22arXiv%3A2012.12877%22%5BJournal%5D)">Training data-efficient image transformers & distillation through attention.</a> arXiv:2012.12877. , (2021).</li>
<li>Liu, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Swin+Transformer%3A+Hierarchical+vision+transformer+using+shifted+windows%5BTitle%5D)+AND+%222021+IEEE%2FCVF+International+Conference+on+Computer+Vision+%28ICCV%29%22%5BJournal%5D)">Swin Transformer: Hierarchical vision transformer using shifted windows.</a> 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).</li>
<li>Vaswani, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Attention+is+all+you+need%5BTitle%5D)+AND+%22Advances+in+Neural+Information+Processing+Systems%22%5BJournal%5D)">Attention is all you need.</a> Advances in Neural Information Processing Systems. 30, (2017).</li>
<li>Chen, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((TransUNet%3A+Transformers+make+strong+encoders+for+medical+image+segmentation.+arXiv%5BTitle%5D)+AND+%22arXiv%3A2102.04306%22%5BJournal%5D)">TransUNet: Transformers make strong encoders for medical image segmentation. arXiv.</a> arXiv:2102.04306. , (2021).</li>
<li>Ren, S., He, K., Girshick, R., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Faster+r-cnn%3A+Towards+real-time+object+detection+with+region+proposal+networks%5BTitle%5D)+AND+%22Advances+in+Neural+Information+Processing+Systems%22%5BJournal%5D)">Faster r-cnn: Towards real-time object detection with region proposal networks.</a> Advances in Neural Information Processing Systems. 28, 91-99 (2015).</li>
<li>Li, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+improved+deep+learning+approach+for+detection+of+thyroid+papillary+cancer+in+ultrasound+images%5BTitle%5D)+AND+%22Scientific+Reports%22%5BJournal%5D)">An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images.</a> Scientific Reports. 8, 6600(2018).</li>
<li>Lin, T. -Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Feature+pyramid+networks+for+object+detection%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition%22%5BJournal%5D)">Feature pyramid networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).</li>
<li>Ouahabi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+review+of+wavelet+denoising+in+medical+imaging%5BTitle%5D)+AND+%222013+8th+International+Workshop+on+Systems%2C+Signal+Processing+and+their+Applications%22%5BJournal%5D)">A review of wavelet denoising in medical imaging.</a> 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).</li>
<li>Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Image+denoising+using+a+compressive+sensing+approach+based+on+regularization+constraints%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Image denoising using a compressive sensing approach based on regularization constraints.</a> Sensors. 22 (6), 2199(2022).</li>
<li>Castleman, K. R. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aCastleman%2C+KR+%22Digital+Image+Processing%22">Digital Image Processing</a>. , Prentice Hall Press. Hoboken, NJ. (1996).</li>
<li>Liu, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Ssd%3A+Single+shot+multibox+detector%5BTitle%5D)+AND+%22European+Conference+on+Computer+Vision%22%5BJournal%5D)">Ssd: Single shot multibox detector.</a> European Conference on Computer Vision. , 21-37 (2016).</li>
<li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Yolov3%3A+An+incremental+improvement%5BTitle%5D)+AND+%22arXiv.+arXiv%3A1804.02767%22%5BJournal%5D)">Yolov3: An incremental improvement.</a> arXiv. arXiv:1804.02767. , (2018).</li>
<li>Lin, T. -Y., Goyal, P., Girshick, R., He, K., Dollár, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Focalloss+for+dense+object+detection%5BTitle%5D)+AND+%22arXiv.+arXiv%3A1708.02002%22%5BJournal%5D)">Focalloss for dense object detection.</a> arXiv. arXiv:1708.02002. , (2017).</li>
<li>Carion, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((End-to-end+object+detection+with+transformers%5BTitle%5D)+AND+%22Computer+Vision-ECCV+2020%3A+16th+European+Conference%22%5BJournal%5D)">End-to-end object detection with transformers.</a> Computer Vision-ECCV 2020: 16th European Conference. , Glasgow, UK. 23-28 (2020).</li>
</ol>

Autorzy deklarują brak konfliktu interesów.

W tym dokumencie szczegółowo opisano, jak przeprowadzić konfigurację środowiska, przygotowanie danych, konfigurację modelu i trenowanie sieci. W fazie konfiguracji środowiska należy zwrócić uwagę na to, aby biblioteki zależne były kompatybilne i dopasowane. Przetwarzanie danych jest bardzo ważnym krokiem; Należy poświęcić czas i wysiłek, aby zapewnić dokładność adnotacji. Podczas trenowania modelu może wystąpić błąd "ModuleNotFoundError". W takim przypadku konieczne jest użycie polecenia "install", aby zainstalować braku...

Częstość występowania raka tarczycy gwałtownie wzrosła od 1970 roku, szczególnie wśród kobiet w średnim wieku1. Guzki tarczycy mogą przewidywać pojawienie się raka tarczycy, a większość guzków tarczycy przebiega bezobjawowo2. Wczesne wykrycie guzków tarczycy jest bardzo pomocne w leczeniu raka tarczycy. W związku z tym, zgodnie z aktualnymi wytycznymi praktyki, wszyscy pacjenci z podejrzeniem wola guzkowego w badaniu fizykalnym lub z nieprawidłowymi wynikami obrazowania powinni zostać poddani dalszym badaniom3,4.
USG tarczycy (US) jest powszechną metodą używaną do wykrywania i charakteryzowania zmian w tarczycy5,6. US to wygodna, niedroga i wolna od promieniowania technologia. Jednak zastosowanie US jest łatwo wpływane przez operator7,8. Cechy takie jak kształt, rozmiar, echogeniczność i tekstura guzków tarczycy są łatwo rozpoznawalne na zdjęciach amerykańskich. Chociaż niektóre cechy amerykańskie - zwapnienia, echogeniczność i nieregularne granice - są często uważane za kryteria identyfikacji guzków tarczycy, obecność zmienności między obserwatorami jest nieunikniona8,9. Wyniki diagnozy radiologów o różnym poziomie doświadczenia są różne. Niedoświadczeni radiolodzy są bardziej narażeni na błędną diagnozę niż doświadczeni radiolodzy. Niektóre cechy US, takie jak odbicia, cienie i echa, mogą pogorszyć jakość obrazu. To pogorszenie jakości obrazu spowodowane naturą obrazowania w USA utrudnia nawet doświadczonym lekarzom dokładne zlokalizowanie guzków.
Diagnostyka wspomagana komputerowo (CAD) guzków tarczycy szybko się rozwinęła w ostatnich latach i może skutecznie zmniejszyć liczbę błędów spowodowanych przez różnych lekarzy oraz pomóc radiologom w szybkim i dokładnym diagnozowaniu guzków10,11. Do analizy guzków tarczycy w USA zaproponowano różne systemy CAD oparte na CNN, w tym segmentation12,13, detection14,15 i classification16,17. CNN to wielowarstwowy, nadzorowany model uczenia się18, a podstawowymi modułami CNN są warstwy konwolucji i łączenia. Warstwy konwolucyjne są używane do wyodrębniania obiektów, a warstwy puli są używane do próbkowania w dół. Warstwy konwolucyjne cieni mogą wyodrębniać podstawowe cechy, takie jak tekstura, krawędzie i kontury, podczas gdy głębokie warstwy konwolucyjne uczą się cech semantycznych wysokiego poziomu.
CNN odniosły wielki sukces w dziedzinie widzenia komputerowego19,20,21. Jednak CNN nie są w stanie uchwycić długodystansowych zależności kontekstowych ze względu na ograniczone prawidłowe pole recepcyjne warstw konwolucyjnych. W przeszłości architektury szkieletowe do klasyfikacji obrazów korzystały głównie z sieci CNN. Wraz z pojawieniem się transformatora wizyjnego (ViT)22,23, trend ten uległ zmianie i obecnie wiele najnowocześniejszych modeli wykorzystuje transformatory jako szkielety. Opierając się na nienakładających się na siebie łatach obrazu, ViT używa standardowego kodera transformatora25 do globalnego modelowania relacji przestrzennych. Swin Transformer24 wprowadza dalsze okna przesunięcia do nauki funkcji. Okna przesuwu nie tylko zapewniają większą wydajność, ale także znacznie skracają długość sekwencji, ponieważ w oknie obliczana jest samouwaga. Jednocześnie interakcja między dwoma sąsiednimi oknami może odbywać się poprzez operację przesuwania (ruchu). Udane zastosowanie transformatora Swin w komputerowym widzeniu doprowadziło do zbadania architektur opartych na transformatorach do analizy obrazów ultradźwiękowych26.
Niedawno, Li et al. zaproponowali podejście do głębokiego uczenia się28 do wykrywania raka brodawkowatego tarczycy zainspirowane Faster R-CNN27. Faster R-CNN to klasyczna architektura wykrywania obiektów oparta na CNN. Oryginalny Faster R-CNN ma cztery moduły - szkielet CNN, sieć propozycji regionów (RPN), warstwę puli ROI i głowicę detekcyjną. Sieć szkieletowa CNN wykorzystuje zestaw podstawowych warstw conv+bn+relu+pooling do wyodrębniania map obiektów z obrazu wejściowego. Następnie mapy obiektów są wprowadzane do warstwy puli RPN i ROI. Rolą sieci RPN jest generowanie propozycji regionalnych. Ten moduł używa softmax do określenia, czy kotwice są dodatnie i generuje dokładne kotwice przez regresję pola ograniczenia. Warstwa puli ROI wyodrębnia mapy funkcji propozycji, zbierając mapy obiektów wejściowych i propozycje, a następnie przekazuje mapy funkcji propozycji do późniejszej głowicy wykrywania. Głowica detekcji używa map funkcji propozycji do klasyfikowania obiektów i uzyskiwania dokładnych pozycji pól wykrywania za pomocą regresji pola ograniczenia.
Ten artykuł przedstawia nową sieć wykrywania guzków tarczycy o nazwie Swin Faster R-CNN, utworzoną przez zastąpienie szkieletu CNN w Faster R-CNN przez Transformer Swin, co skutkuje lepszym wydobyciem cech wykrywania guzków z obrazów ultrasonograficznych. Ponadto sieć piramidy cech (FPN)29 służy do poprawy wydajności wykrywania modelu dla guzków o różnych rozmiarach poprzez agregację cech o różnych skalach.

<table><tbody><tr><td>Karta graficzna RTX3090</td><td>Nvidia</td><td>1</td><td>24G GPU</td></tr><tr><td>mmdetection2.11.0</td><td>SenseTime</td><td>4</td><td>https://github.com/open-mmlab/mmdetection.git</td></tr><tr><td>python3.8</td><td>&mdash;</td><td>2</td><td>https://www.python.org</td></tr><tr><td>pytorch1.7.1</td><td>Facebook</td><td>3</td><td>https://pytorch.org</td></tr></tbody></table>

model oparty na transformatorze swin do wykrywania guzków tarczycy w obrazach ultrasonograficznych

A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images

W ostatnich latach częstość występowania raka tarczycy wzrasta. Wykrywanie guzków tarczycy ma kluczowe znaczenie zarówno dla wykrywania, jak i leczenia raka tarczycy. Konwolucyjne sieci neuronowe (CNN) osiągnęły dobre wyniki w zadaniach analizy obrazu ultrasonograficznego tarczycy. Jednak ze względu na ograniczone prawidłowe pole recepcyjne warstw konwolucyjnych, CNN nie są w stanie uchwycić długodystansowych zależności kontekstowych, które są ważne dla identyfikacji guzków tarczycy na obrazach ultrasonograficznych. Sieci transformatorowe są skuteczne w przechwytywaniu informacji kontekstowych dalekiego zasięgu. Zainspirowani tym, proponujemy nowatorską metodę wykrywania guzków tarczycy, która łączy w sobie szkielet Swin Transformer i szybszy R-CNN. W szczególności obraz ultrasonograficzny jest najpierw rzutowany na sekwencję 1D osadzonych, które są następnie wprowadzane do hierarchicznego transformatora Swin. 
Szkielet Transformera Swin wyodrębnia cechy w pięciu różnych skalach, wykorzystując przesunięte okna do obliczania samouwagi. Następnie stosuje się sieć piramidy cech (FPN) do łączenia cech z różnych skal. Na koniec głowica wykrywania służy do przewidywania pól ograniczenia i odpowiadających im wyników ufności. Do przeprowadzenia eksperymentów wykorzystano dane zebrane od 2680 pacjentów, a wyniki wykazały, że metoda ta osiągnęła najlepszy wynik mAP wynoszący 44,8%, przewyższając wartości wyjściowe oparte na CNN. Ponadto uzyskaliśmy lepszą czułość (90,5%) niż konkurencja. Oznacza to, że modelowanie kontekstowe w tym modelu jest skuteczne w wykrywaniu guzków tarczycy.

Obrazy USG tarczycy zostały zebrane z dwóch szpitali w Chinach w okresie od września 2008 do lutego 2018 roku. Kryteria kwalifikacji do włączenia obrazów USG do niniejszego badania obejmowały: wykonanie konwencjonalnego badania USG przed biopsją i leczeniem chirurgicznym, rozpoznanie postawione na podstawie biopsji lub patomorfologii pooperacyjnej oraz wiek ≥ 18 lat. Kryteriami wykluczenia były obrazy nie przedstawiające tkanki tarczycy.
W ramach 3 000 obrazów ultradźwiękowych znajdowało się 1...

Tutaj zaproponowano nowy model wykrywania guzków tarczycy na obrazach ultrasonograficznych, który wykorzystuje transformator Swin jako szkielet do wykonywania modelowania kontekstowego dalekiego zasięgu. Eksperymenty dowodzą, że radzi sobie dobrze pod względem czułości i dokładności.

Model oparty na transformatorze Swin do wykrywania guzków tarczycy w obrazach ultrasonograficznych

In recent years, the incidence of thyroid cancer has been increasing. Thyroid nodule detection is critical for both the detection and treatment of thyroid ...

Program ten wdraża automatyczny i skuteczny środek do wykrywania guzków tarczycy, co może w przyszłości zmniejszyć obciążenie lekarzy. Ta technika wykorzystuje transformator Swin do sieci wykrywania guzków. Transformatory Swin są skuteczne w przechwytywaniu informacji o treściach z dużej odległości, co jest bardzo pomocne w poprawie czułości zatrzymywania guzków.Aby rozpocząć, otwórz terminal na komputerze i zainstaluj Pythona 3.8, wpisując sudo apt-get install python3.8 w wierszu poleceń. Aby zainstalować PyTorch 1.7, przejdź do oficjalnej strony internetowej Miniconda i zainstaluj go. Następnie utwórz środowisko Conda, wpisując polecenie wyświetlane na ekranie w wierszu poleceń i aktywuj je, wpisując conda activate SwinFasterRCNN.Zainstaluj PyTorch, wpisując pokazane polecenie w wierszu polecenia. W przypadku instalacji wykrywania MM sklonuj z oficjalnego repozytorium GitHub, a następnie zainstaluj MM Detection, wpisując polecenie install v e w wierszu polecenia. Otwórz schedule_1x.py w edytorze tekstu Vim i edytuj plik, aby ustawić domyślne parametry związane z trenowaniem, w tym optymalizator, szybkość uczenia się i epik. Rozpocznij szkolenie, wpisując polecenie wyświetlane na ekranie. Poczekaj, aż sieć rozpocznie trenowanie dla 48 epików i wynikowe wytrenowane wagi sieci SwinFasterRCNN zostaną wygenerowane w folderze wyjściowym.Zapisz wagi modelu z najwyższą dokładnością w zestawie walidacji. Po wytrenowaniu wybierz model o najlepszej wydajności w zestawie walidacji do wykrywania guzków tarczycy na nowych obrazach. Uruchom skrypt testowy, aby zmienić rozmiar obrazu na 512 pikseli na 512 pikseli i znormalizować go.Poczekaj, aż skrypt automatycznie załaduje wstępnie wytrenowane parametry modelu do SwinFasterRCNN i przekaż wstępnie przetworzony obraz do SwinFasterRCNN w celu wnioskowania. Poczekaj, aż SwinFasterRCNN wyświetli pole przewidywania dla każdego obrazu. Na koniec zezwól skryptowi na automatyczne przetwarzanie końcowe NMS na każdym obrazie, aby usunąć pola wykrywania duplikatów.Wyniki wykrywania dla tego samego obrazu są wyświetlane w danym wierszu. Kolumny zawierają wyniki wykrywania dla SwinFasterRCNN, FasterRCNN, YOLOv3, SSD, RetinaNet i DETR. Podstawowe prawdy regionów są oznaczone zielonymi prostokątnymi ramkami.Wyniki wykrywania są obramowane czerwonymi prostokątnymi polami. Bardzo ważne jest, aby wybrać odpowiedni hiperparametr, aby zapewnić te zbieżności, które muszą być określone przez wiele eksperymentów.

a-swin-transformer-based-model-for-thyroid-nodule-detection

Research

JoVE Journal

Medicine

Medycyna

Tutaj zaproponowano nową metodę tworzenia spersonalizowanego modelu drukowanego w 3D do przedoperacyjnej oceny operacji tarczycy. Sprzyja to rozmowie przedoperacyjnej, zmniejszając trudność operacji tarczycy.

Spersonalizowany model wydrukowany w 3D do oceny przedoperacyjnej w chirurgii tarczycy

Obecny protokół opisuje ultrasonografię wysokiej częstotliwości do wizualizacji całej tarczycy myszy i monitorowania wzrostu anaplastycznego raka tarczycy.

Ultrasonografia o wysokiej rozdzielczości do analizy ortotopowych guzów ATC w genetycznie zmodyfikowanym modelu myszy

Celem tego badania jest opracowanie nowatorskiego cyfrowego modelu 3D guzków płucnych, który służy jako pomost komunikacyjny między lekarzami a pacjentami, a także jest najnowocześniejszym narzędziem do wstępnej diagnozy i oceny prognostycznej.

Cyfrowy model 3D do diagnostyki i leczenia guzków płucnych

Niniejszy protokół opisuje wydajną metodę segmentacji wielonarządowej o nazwie Swin-PSAxialNet, która osiągnęła doskonałą dokładność w porównaniu z poprzednimi metodami segmentacji. Kluczowe kroki tej procedury obejmują zbieranie zestawów danych, konfigurację środowiska, wstępne przetwarzanie danych, trenowanie i porównywanie modeli oraz eksperymenty ablacyjne.

Swin-PSAxialNet: skuteczna technika segmentacji wielonarządowej

Tutaj prezentujemy technikę ultrasonograficzną 5D łączącą wielopłaszczyznową rekonstrukcję 3D i fuzję kolorowego Dopplera, która umożliwia synchroniczną wizualizację informacji strukturalnych i funkcjonalnych tarczycy. Minimalizując martwe punkty, metoda ta umożliwia szybką i precyzyjną lokalizację zmian w celu poprawy dokładności diagnostycznej, co jest szczególnie korzystne dla początkujących lekarzy.

Synchroniczna rekonstrukcja trójpłaszczyznowa zintegrowana z kolorowym mapowaniem dopplerowskim w celu precyzyjnej i szybkiej lokalizacji zmian w tarczycy

W niniejszym materiale opisano zastosowanie obrazowania luminescencji Czerenkowa (CLI) do monitorowania przedklinicznego leczenia nowotworów. Metoda ta wykorzystuje promieniowanie Czerenkowa (CR) oraz obrazowanie optyczne (OI) do wizualizacji sond znakowanych izotopowo, stanowiąc tym samym alternatywę dla PET w przedklinicznym monitorowaniu terapeutycznym i przesiewaniu leków.

Obrazowanie luminescencji Czerenkowa (CLI) w monitorowaniu terapii nowotworowej

Generacja ortotopowego mysiego modelu anaplastycznego raka tarczycy jest opisana tutaj. Technika ta polega na chirurgicznym umieszczaniu ludzkich komórek anaplastycznego raka tarczycy w tarczycy myszy z niedoborem odporności, tworząc w ten sposób bardziej istotne klinicznie warunki do badania postępu choroby, a także do badań przesiewowych innowacyjnych interwencji terapeutycznych.

Ortotopowy mysi model anaplastycznego raka tarczycy

Podmostkowe zmiany w tarczycy są powszechne i muszą być odróżniane od złośliwości. Uzyskanie przezskórnej biopsji cienkoigłowej nie jest możliwe ze względu na jej lokalizację zamostkową. W artykule zaproponowano protokół biopsji podmostkowych zmian tarczycy z wykorzystaniem wewnątrzoskrzelowej aspiracji igłowej pod kontrolą USG (EBUS-TBNA).

Biopsja podmostkowa tarczycy przy użyciu wewnątrzoskrzelowej aspiracji igły przezoskrzelowej pod kontrolą USG

To badanie ma na celu opracowanie standardowego protokołu śródoperacyjnego monitorowania neuronalnego operacji tarczycy na modelu świniowym. W tym miejscu przedstawiamy protokół demonstracji znieczulenia ogólnego, porównania różnych typów elektrod oraz zbadania charakterystyki elektrofizjologicznej prawidłowych i uszkodzonych nerwów krtaniowych wstecznych.

Śródoperacyjne monitorowanie neuronalne operacji tarczycy w modelu świni

Technika wirekowego miografu jest używana do badania funkcji mięśni gładkich naczyń krwionośnych i badania przesiewowego nowych leków. Przedstawiamy szczegółowy protokół pomiaru izometrycznej kurczliwości tętnicy krezkowej myszy oraz badań przesiewowych nowych środków zwiotczających mięśnie gładkie naczyń krwionośnych.

Izometryczny pomiar kurczliwości tętnicy krezkowej myszy za pomocą miografii drutowej

Poznaj automatyczną detekcję guzków tarczycy w obrazach ultrasonograficznych przy użyciu modelu Swin Transformer. Ta metoda uczenia maszynowego zwiększa czułość i dokładność diagnostyki, redukując obciążenie lekarzy.

Model oparty na transformatorze Swin do wykrywania guzków tarczycy w obrazach ultrasonograficznych

Przeglądaj więcej filmów