Name: Ultrason Görüntülerinde Tiroid Nodülü Tespiti için Swin Transformatör Tabanlı Bir Model (Video) | JoVE Journal
Uploaded: 2023-04-21T14:15:00.000+00:00
Duration: 4 min 23 s
Description: Keşfedin, ultrason görüntülerinde tiroid nodülü tespiti için Swin Transformer tabanlı derin öğrenme modeli geliştirmeyi. Python ve PyTorch kullanarak yüksek hassasiyetli otomatik tespit sistemi kurun ve sağlık profesyonellerinin iş yükünü azaltın.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Bu çalışma, Çin Ulusal Doğa Bilimleri Vakfı (Hibe No.32101188) ve Sichuan Eyaleti Bilim ve Teknoloji Bölümü Genel Projesi (Hibe No. 2021YFS0102), Çin tarafından desteklenmiştir.

Bu retrospektif çalışma, Batı Çin Hastanesi, Sichuan Üniversitesi, Sichuan, Çin'in kurumsal inceleme kurulu tarafından onaylandı ve bilgilendirilmiş onam alma zorunluluğundan feragat edildi.
1. Ortam kurulumu
<ol><li>Grafik işleme birimi (GPU) yazılımı<ol><li>Derin öğrenme uygulamalarını uygulamak için önce GPU ile ilgili ortamı yapılandırın. GPU'nun web sitesinden GPU'ya uygun yazılım ve sürücüleri indirip yükleyin. NOT: Bu çalışmada kullanılanlar için Malzeme Tablosuna bakınız.</li>
	</ol></li>
	<li>Python3.8 kurulumu<ol><li>Makinede bir terminal açın. Aşağıdakileri yazın: Komut satırı: sudo apt-get install python3.8 python-dev python-virtualenv</li>
	</ol></li>
	<li>Pytorch1.7 kurulumu<ol><li>Miniconda'yı indirmek ve yüklemek için resmi web sitesindeki adımları izleyin.</li>
		<li>Bir conda ortamı oluşturun ve etkinleştirin. Komut satırı: conda create --name SwinFasterRCNN python=3.8 -y Komut satırı: conda activate SwinFasterRCNN</li>
		<li>Pytorch'u yükleyin. Komut satırı: conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 </li>
	</ol></li>
	<li>MMDetection kurulumu<ol><li>Resmi Github deposundan klonlayın. Komut satırı: git clone https://github.com/open-mmlab/mmdetection.git</li>
		<li>MMDetection'ı yükleyin. Komut satırı: cd mmdetection Komut satırı: pip install -v -e .</li>
	</ol></li>
</ol>2. Veri hazırlama
<ol><li>Veri toplama<ol><li>Ultrason görüntülerini topladı (burada, A Sınıfı bir üçüncül hastaneden 3.000 vaka). Her vakanın tanı kayıtlarına, tedavi planlarına, ABD raporlarına ve ilgili ABD görüntülerine sahip olduğundan emin olun.</li>
		<li>Tüm ABD resimlerini "resimler" adlı bir klasöre yerleştirin. NOT: Bu çalışmada kullanılan veriler, 3.000 vakadan 3.853 ABD görüntüsünü içermektedir.</li>
	</ol></li>
	<li>Veri temizleme<ol><li>Lenf görüntüleri gibi tiroid olmayan alanların görüntüleri için veri kümesini el ile kontrol edin.</li>
		<li>Renkli Doppler akışı içeren görüntüler için veri kümesini el ile denetleyin.</li>
		<li>Önceki iki adımda seçilen görüntüleri silin. NOT: Veri temizliğinden sonra, 2.680 vakadan 3.000 görüntü kalmıştır.</li>
	</ol></li>
	<li>Veri ek açıklaması<ol><li>Kıdemli bir doktorun ABD görüntüsündeki nodül alanını bulmasını ve nodül sınırını ana hatlarıyla belirtmesini sağlayın. NOT: Ek açıklama yazılımı ve işlemi Ek Dosya 1'de bulunabilir.</li>
		<li>Başka bir kıdemli doktorun ek açıklama sonuçlarını gözden geçirmesini ve gözden geçirmesini sağlayın.</li>
		<li>Ek açıklamalı verileri "Ek Açıklamalar" adlı ayrı bir klasöre yerleştirin.</li>
	</ol></li>
	<li>Veri bölme<ol><li>Python betiğini çalıştırın ve adım 2.1.2'de görüntünün yolunu ve adım 2.3.3'te ek açıklamaların yollarını ayarlayın. Tüm görüntüleri ve ilgili etiketli dosyaları rastgele 8:2 oranında eğitim ve doğrulama kümelerine bölün. Eğitim seti verilerini "Train" klasörüne ve doğrulama seti verilerini "Val" klasörüne kaydedin. NOT: Python betikleri Ek Dosya 2'de sağlanır.</li>
	</ol></li>
	<li>CoCo veri kümesi biçimine dönüştürme NOT: MMDetection'ı kullanmak için, verileri ek açıklama bilgilerini tutan bir json dosyası ve ABD görüntülerini içeren bir görüntü klasörü içeren bir CoCo veri kümesi biçiminde işleyin.<ol><li>Python betiğini çalıştırın ve doktor tarafından özetlenen nodül alanlarını çıkarmak ve bunları maskelere dönüştürmek için ek açıklamalar klasör yollarını (adım 2.3.3) girin. Tüm maskeleri "Maskeler" klasörüne kaydedin. NOT: Python komut dosyaları Ek Dosya 3'te sağlanır.</li>
		<li>Python betiğini çalıştırın ve verileri CoCo biçiminde bir veri kümesine dönüştürmek ve ABD görüntüleriyle bir json dosyası oluşturmak için adım 2.5.1'de maskeler klasörünün yolunu ayarlayın. NOT: Python betikleri Ek Dosya 4'te sağlanır.</li>
	</ol></li>
</ol>3. Swin Daha hızlı RCNN yapılandırması
<ol><li>Swin Transformer model dosyasını (https://github.com/microsoft/Swin-Transformer/blob/main/models/swin_transformer.py) indirin, değiştirin ve "mmdetection/mmdet/models/backbones/" klasörüne yerleştirin. "swin_transformer.py" dosyasını bir vim metin düzenleyicisinde açın ve Ek Dosya 5'te sağlanan Swin Transformer model dosyası olarak değiştirin. Komut satırı: vim swin_transformer.py</li>
	<li>Daha Hızlı R-CNN yapılandırma dosyasının bir kopyasını oluşturun, omurgayı Swin Transformer olarak değiştirin ve FPN parametrelerini ayarlayın. Komut satırı: cd mmdetection/configs/faster_rcnn Komut satırı: cp faster_rcnn_r50_fpn_1x_coco.py swin_faster_rcnn_swin.py NOT: Swin Faster R-CNN yapılandırma dosyası (swin_faster_rcnn_swin.py) Ek Dosya 6'da sağlanır. Swin Faster R-CNN ağ yapısı Şekil 1'de gösterilmiştir.</li>
	<li>Veri kümesi yolunu, yapılandırma dosyasındaki CoCo biçimi veri kümesi yoluna (adım 2.5.2) ayarlayın. Vim metin düzenleyicisinde "coco_detection.py" dosyasını açın ve aşağıdaki satırı değiştirin: data_root = "veri kümesi yolu(adım 2.5.2)" Komut satırı:vim mmdetection/configs/_base_/datasets/coco_detection.py</li>
</ol>4. Swin Faster R-CNN'yi Eğitme
<ol><li>mmdetection/configs/_base_/schedules/schedule_1x.py düzenleyin ve öğrenme hızı, optimize edici ve dönem dahil olmak üzere eğitimle ilgili varsayılan parametreleri ayarlayın. Vim metin düzenleyicisinde "schedule_1x.py" dosyasını açın ve aşağıdaki satırları değiştirin: optimize edici = dict(type="AdamW", lr=0.001, momentum=0.9, weight_decay=0.0001) koşucu = dict(type='EpochBasedRunner', max_epochs=48) Komut satırı:vim mmdetection/configs/_base_/schedules/schedule_1x.py NOT: Bu makale için bu protokolde, öğrenme oranı 0.001 olarak ayarlandı, AdamW optimize edici kullanıldı, maksimum eğitim dönemi 48 olarak ayarlandı ve toplu iş boyutu 16 olarak ayarlandı.</li>
	<li>Aşağıdaki komutları yazarak eğitime başlayın. Ağın 48 dönem boyunca eğitime başlamasını ve sonuçta ortaya çıkan Swin Faster R-CNN ağının eğitilmiş ağırlıklarının çıktı klasöründe oluşturulmasını bekleyin. Model ağırlıklarını doğrulama kümesinde en yüksek doğrulukla kaydedin. Komut satırı: cd mmdetection Komut satırı: python tools/train.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --work-dir ./work_dirs NOT: Model "NVIDIA GeForce RTX3090 24G" GPU üzerinde eğitilmiştir. Kullanılan merkezi işlem birimi "AMD Epyc 7742 64 çekirdekli işlemci × 128" idi ve işletim sistemi Ubuntu 18.06 idi. Genel eğitim süresi ~ 2 saat idi.</li>
</ol>5. Yeni görüntülerde tiroid nodülü tespitinin yapılması
<ol><li>Eğitimden sonra, yeni görüntülerde tiroid nodülü tespiti için doğrulama setinde en iyi performansa sahip modeli seçin.<ol><li>İlk olarak, görüntüyü 512 piksel x 512 piksel olarak yeniden boyutlandırın ve normalleştirin. Bu işlemler, test komut dosyası çalıştırıldığında otomatik olarak gerçekleştirilir. Komut satırı: python tools/test.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --out ./output</li>
		<li>Komut dosyasının önceden eğitilmiş model parametrelerini otomatik olarak Swin Faster R-CNN'ye yüklemesini bekleyin ve çıkarım için önceden işlenmiş görüntüyü Swin Faster R-CNN'ye besleyin. Swin Faster R-CNN'nin her görüntü için tahmin kutusunu çıkarmasını bekleyin.</li>
		<li>Son olarak, yinelenen öğe algılama kutularını kaldırmak için komut dosyasının her görüntüde otomatik olarak NMS son işlemesini gerçekleştirmesine izin verin. NOT: Algılama sonuçları, algılama kutularını ve sınırlayıcı kutu koordinatlarını paketlenmiş bir dosyada içeren görüntüleri içeren belirtilen klasöre çıkarılır.</li>
	</ol></li>
</ol>

<ol><li>Grant, E. G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Thyroid+ultrasound+reporting+lexicon%3A+White+paper+of+the+ACR+Thyroid+Imaging%2C+Reporting+and+Data+System+%28TIRADS%29+committee%5BTitle%5D)+AND+%22Journal+of+the+American+College+of+Radiology%22%5BJournal%5D)">Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee.</a> Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).</li>
<li>Zhao, J., Zheng, W., Zhang, L., Tian, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Segmentation+of+ultrasound+images+of+thyroid+nodule+for+assisting+fine+needle+aspiration+cytology%5BTitle%5D)+AND+%22Health+Information+Science+and+Systems%22%5BJournal%5D)">Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology.</a> Health Information Science and Systems. 1, 5(2013).</li>
<li>Haugen, B. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((American+Thyroid+Association+management+guidelines+for+adult+patients+with+thyroid+nodules+and+differentiated+thyroid+cancer%3A+What+is+new+and+what+has+changed%5BTitle%5D)+AND+%22Cancer%22%5BJournal%5D)">American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed.</a> Cancer. 123 (3), 372-381 (2017).</li>
<li>Shin, J. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Ultrasonography+diagnosis+and+imaging-based+management+of+thyroid+nodules%3A+Revised+Korean+Society+of+Thyroid+Radiology+consensus+statement+and+recommendations%5BTitle%5D)+AND+%22Korean+Journal+of+Radiology%22%5BJournal%5D)">Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations.</a> Korean Journal of Radiology. 17 (3), 370-395 (2016).</li>
<li>Horvath, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+ultrasonogram+reporting+system+for+thyroid+nodules+stratifying+cancer+risk+for+clinical+management%5BTitle%5D)+AND+%22The+Journal+of+Clinical+Endocrinology+%26+Metabolism%22%5BJournal%5D)">An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management.</a> The Journal of Clinical Endocrinology & Metabolism. 94 (5), 1748-1751 (2009).</li>
<li>Park, J. -Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+proposal+for+a+thyroid+imaging+reporting+and+data+system+for+ultrasound+features+of+thyroid+carcinoma%5BTitle%5D)+AND+%22Thyroid%22%5BJournal%5D)">A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma.</a> Thyroid. 19 (11), 1257-1264 (2009).</li>
<li>Moon, W. -J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Benign+and+malignant+thyroid+nodules%3A+US+differentiation-Multicenter+retrospective+study%5BTitle%5D)+AND+%22Radiology%22%5BJournal%5D)">Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study.</a> Radiology. 247 (3), 762-770 (2008).</li>
<li>Park, C. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Observer+variability+in+the+sonographic+evaluation+of+thyroid+nodules%5BTitle%5D)+AND+%22Journal+of+Clinical+Ultrasound%22%5BJournal%5D)">Observer variability in the sonographic evaluation of thyroid nodules.</a> Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).</li>
<li>Kim, S. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Observer+variability+and+the+performance+between+faculties+and+residents%3A+US+criteria+for+benign+and+malignant+thyroid+nodules%5BTitle%5D)+AND+%22Korean+Journal+of+Radiology%22%5BJournal%5D)">Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules.</a> Korean Journal of Radiology. 11 (2), 149-155 (2010).</li>
<li>Choi, Y. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+computer-aided+diagnosis+system+using+artificial+intelligence+for+the+diagnosis+and+characterization+of+thyroid+nodules+on+ultrasound%3A+initial+clinical+assessment%5BTitle%5D)+AND+%22Thyroid%22%5BJournal%5D)">A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment.</a> Thyroid. 27 (4), 546-552 (2017).</li>
<li>Chang, T. -C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+role+of+computer-aided+detection+and+diagnosis+system+in+the+differential+diagnosis+of+thyroid+lesions+in+ultrasonography%5BTitle%5D)+AND+%22Journal+of+Medical+Ultrasound%22%5BJournal%5D)">The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography.</a> Journal of Medical Ultrasound. 23 (4), 177-184 (2015).</li>
<li>Fully convolutional networks for ultrasound image segmentation of thyroid nodules. Li, X. IEEE 20th International Conference on High Performance Computing and Communications; IEEE 16th International Conference on Smart City; IEEE 4th International Conference on Data Science and Systems (HPCC/SmartCity/DSS), , 886-890 (2018).</li>
<li>Nguyen, D. T., Choi, J., Park, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Thyroid+nodule+segmentation+in+ultrasound+image+based+on+information+fusion+of+suggestion+and+enhancement+networks%5BTitle%5D)+AND+%22Mathematics%22%5BJournal%5D)">Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks.</a> Mathematics. 10 (19), 3484(2022).</li>
<li>Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cascade+convolutional+neural+networks+for+automatic+detection+of+thyroid+nodules+in+ultrasound+images%5BTitle%5D)+AND+%22Medical+Physics%22%5BJournal%5D)">Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images.</a> Medical Physics. 44 (5), 1678-1691 (2017).</li>
<li>Song, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Multitask+cascade+convolution+neural+networks+for+automatic+thyroid+nodule+detection+and+recognition%5BTitle%5D)+AND+%22IEEE+Journal+of+Biomedical+and+Health+Informatics%22%5BJournal%5D)">Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition.</a> IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).</li>
<li>Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images. Wang, J., et al. 2018 25Th IEEE International Conference on Image Processing (ICIP), , IEEE. 3114-3118 (2018).</li>
<li>Wang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multi-scale+densely+connected+convolutional+neural+network+for+automated+thyroid+nodule+classification%5BTitle%5D)+AND+%22Frontiers+in+Neuroscience%22%5BJournal%5D)">A multi-scale densely connected convolutional neural network for automated thyroid nodule classification.</a> Frontiers in Neuroscience. 16, 878718(2022).</li>
<li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Imagenet+classification+with+deep+convolutional+neural+networks%5BTitle%5D)+AND+%22Communications+of+the+ACM%22%5BJournal%5D)">Imagenet classification with deep convolutional neural networks.</a> Communications of the ACM. 60 (6), 84-90 (2017).</li>
<li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+residual+learning+for+image+recognition%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition%22%5BJournal%5D)">Deep residual learning for image recognition.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).</li>
<li>Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Relation+networks+for+object+detection%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition%22%5BJournal%5D)">Relation networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).</li>
<li>Szegedy, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Going+deeper+with+convolutions%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition%22%5BJournal%5D)">Going deeper with convolutions.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).</li>
<li>Dosovitskiy, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+image+is+worth+16x16+words%3A+Transformers+for+image+recognition+at+scale%5BTitle%5D)+AND+%22arXiv+preprint+arXiv%3A2010.11929%22%5BJournal%5D)">An image is worth 16x16 words: Transformers for image recognition at scale.</a> arXiv preprint arXiv:2010.11929. , (2020).</li>
<li>Touvron, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Training+data-efficient+image+transformers+%26+distillation+through+attention%5BTitle%5D)+AND+%22arXiv%3A2012.12877%22%5BJournal%5D)">Training data-efficient image transformers & distillation through attention.</a> arXiv:2012.12877. , (2021).</li>
<li>Liu, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Swin+Transformer%3A+Hierarchical+vision+transformer+using+shifted+windows%5BTitle%5D)+AND+%222021+IEEE%2FCVF+International+Conference+on+Computer+Vision+%28ICCV%29%22%5BJournal%5D)">Swin Transformer: Hierarchical vision transformer using shifted windows.</a> 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).</li>
<li>Vaswani, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Attention+is+all+you+need%5BTitle%5D)+AND+%22Advances+in+Neural+Information+Processing+Systems%22%5BJournal%5D)">Attention is all you need.</a> Advances in Neural Information Processing Systems. 30, (2017).</li>
<li>Chen, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((TransUNet%3A+Transformers+make+strong+encoders+for+medical+image+segmentation.+arXiv%5BTitle%5D)+AND+%22arXiv%3A2102.04306%22%5BJournal%5D)">TransUNet: Transformers make strong encoders for medical image segmentation. arXiv.</a> arXiv:2102.04306. , (2021).</li>
<li>Ren, S., He, K., Girshick, R., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Faster+r-cnn%3A+Towards+real-time+object+detection+with+region+proposal+networks%5BTitle%5D)+AND+%22Advances+in+Neural+Information+Processing+Systems%22%5BJournal%5D)">Faster r-cnn: Towards real-time object detection with region proposal networks.</a> Advances in Neural Information Processing Systems. 28, 91-99 (2015).</li>
<li>Li, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+improved+deep+learning+approach+for+detection+of+thyroid+papillary+cancer+in+ultrasound+images%5BTitle%5D)+AND+%22Scientific+Reports%22%5BJournal%5D)">An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images.</a> Scientific Reports. 8, 6600(2018).</li>
<li>Lin, T. -Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Feature+pyramid+networks+for+object+detection%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition%22%5BJournal%5D)">Feature pyramid networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).</li>
<li>Ouahabi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+review+of+wavelet+denoising+in+medical+imaging%5BTitle%5D)+AND+%222013+8th+International+Workshop+on+Systems%2C+Signal+Processing+and+their+Applications%22%5BJournal%5D)">A review of wavelet denoising in medical imaging.</a> 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).</li>
<li>Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Image+denoising+using+a+compressive+sensing+approach+based+on+regularization+constraints%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Image denoising using a compressive sensing approach based on regularization constraints.</a> Sensors. 22 (6), 2199(2022).</li>
<li>Castleman, K. R. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aCastleman%2C+KR+%22Digital+Image+Processing%22">Digital Image Processing</a>. , Prentice Hall Press. Hoboken, NJ. (1996).</li>
<li>Liu, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Ssd%3A+Single+shot+multibox+detector%5BTitle%5D)+AND+%22European+Conference+on+Computer+Vision%22%5BJournal%5D)">Ssd: Single shot multibox detector.</a> European Conference on Computer Vision. , 21-37 (2016).</li>
<li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Yolov3%3A+An+incremental+improvement%5BTitle%5D)+AND+%22arXiv.+arXiv%3A1804.02767%22%5BJournal%5D)">Yolov3: An incremental improvement.</a> arXiv. arXiv:1804.02767. , (2018).</li>
<li>Lin, T. -Y., Goyal, P., Girshick, R., He, K., Dollár, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Focalloss+for+dense+object+detection%5BTitle%5D)+AND+%22arXiv.+arXiv%3A1708.02002%22%5BJournal%5D)">Focalloss for dense object detection.</a> arXiv. arXiv:1708.02002. , (2017).</li>
<li>Carion, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((End-to-end+object+detection+with+transformers%5BTitle%5D)+AND+%22Computer+Vision-ECCV+2020%3A+16th+European+Conference%22%5BJournal%5D)">End-to-end object detection with transformers.</a> Computer Vision-ECCV 2020: 16th European Conference. , Glasgow, UK. 23-28 (2020).</li>
</ol>

Yazarlar çıkar çatışması olmadığını beyan ederler.

Bu makalede, ortam kurulumunun, veri hazırlamanın, model yapılandırmasının ve ağ eğitiminin nasıl gerçekleştirileceği ayrıntılı olarak açıklanmaktadır. Ortam kurulumu aşamasında, bağımlı kitaplıkların uyumlu ve eşleşmiş olduğundan emin olmak için dikkat edilmesi gerekir. Veri işleme çok önemli bir adımdır; Ek açıklamaların doğruluğunu sağlamak için zaman ve çaba harcanmalıdır. Modeli eğitirken bir "ModuleNotFoundError" ile karşılaşılabilir. Bu durumda, eksik kütüphaneyi yüklemek için "pip install" komutunu kullanmak gere...

Tiroid kanseri insidansı, özellikle orta yaşlı kadınlar arasında 1970 yılından bu yana hızla artmıştır1. Tiroid nodülleri tiroid kanserinin ortaya çıkışını öngörebilir ve çoğu tiroid nodülü asemptomatiktir2. Tiroid nodüllerinin erken teşhisi, tiroid kanserinin tedavisinde çok yardımcıdır. Bu nedenle, güncel uygulama kılavuzlarına göre, fizik muayenede nodüler guatr şüphesi olan veya anormal görüntüleme bulguları olan tüm hastalar daha ileri muayeneye tabi tutulmalıdır 3,4.
Tiroid ultrasonografisi (USG), tiroid lezyonlarını saptamak ve karakterize etmek için yaygın olarak kullanılan yaygın bir yöntemdir 5,6. ABD kullanışlı, ucuz ve radyasyonsuz bir teknolojidir. Bununla birlikte, ABD uygulamasıoperatör 7,8'den kolayca etkilenir. Tiroid nodüllerinin şekli, boyutu, ekojenitesi ve dokusu gibi özellikler US görüntülerinde kolayca ayırt edilebilir. Bazı ABD özellikleri - kalsifikasyonlar, ekojenite ve düzensiz sınırlar - genellikle tiroid nodüllerini tanımlamak için kriter olarak kabul edilse de, gözlemciler arası değişkenliğin varlığı kaçınılmazdır 8,9. Farklı deneyim düzeylerine sahip radyologların tanı sonuçları farklıdır. Deneyimsiz radyologların yanlış teşhis koyma olasılığı deneyimli radyologlardan daha yüksektir. ABD'nin yansımalar, gölgeler ve yankılar gibi bazı özellikleri görüntü kalitesini düşürebilir. US görüntülemenin doğasından kaynaklanan görüntü kalitesindeki bu bozulma, deneyimli doktorların bile nodülleri doğru bir şekilde bulmasını zorlaştırmaktadır.
Tiroid nodülleri için bilgisayar destekli tanı (KAH) son yıllarda hızla gelişmiştir ve farklı hekimlerin neden olduğu hataları etkili bir şekilde azaltabilir ve radyologların nodülleri hızlı ve doğru bir şekilde teşhis etmelerine yardımcı olabilir10,11. Tiroid US nodül analizi için segmentasyon 12,13, tespit14,15 ve sınıflandırma 16,17 dahil olmak üzere çeşitli CNN tabanlı CAD sistemleri önerilmiştir. CNN, çok katmanlı, denetimli bir öğrenme modeli18'dir ve CNN'nin çekirdek modülleri evrişim ve havuzlama katmanlarıdır. Evrişim katmanları özellik ayıklama için kullanılır ve havuzlama katmanları alt örnekleme için kullanılır. Gölge evrişimli katmanlar doku, kenarlar ve konturlar gibi birincil özellikleri ayıklayabilirken, derin evrişimli katmanlar üst düzey anlamsal özellikleri öğrenir.
CNN'ler bilgisayar görüşünde büyük başarı elde ettiler 19,20,21. Bununla birlikte, CNN'ler, evrişimsel katmanların sınırlı geçerli alıcı alanı nedeniyle uzun vadeli bağlamsal bağımlılıkları yakalayamamaktadır. Geçmişte, görüntü sınıflandırması için omurga mimarileri çoğunlukla CNN'leri kullanıyordu. Vision Transformer (ViT)22,23'ün ortaya çıkmasıyla bu eğilim değişti ve şimdi birçok son teknoloji ürünü model transformatörleri omurga olarak kullanıyor. Çakışmayan görüntü yamalarına dayanan ViT, uzamsal ilişkileri küresel olarak modellemek için standart bir transformatör kodlayıcı25 kullanır. Swin Transformer24, özellikleri öğrenmek için vites değiştirme pencerelerini de sunar. Vites değiştirme pencereleri sadece daha fazla verimlilik sağlamakla kalmaz, aynı zamanda dizinin uzunluğunu da büyük ölçüde azaltır, çünkü penceredeki öz dikkat hesaplanır. Aynı zamanda, iki bitişik pencere arasındaki etkileşim, kaydırma (hareket) işlemi ile yapılabilir. Swin Transformer'ın bilgisayarlı görmede başarılı bir şekilde uygulanması, ultrason görüntü analizi için transformatör tabanlı mimarilerin araştırılmasına yol açmıştır26.
Son zamanlarda, Li ve ark., Faster R-CNN27'den esinlenerek tiroid papiller kanser tespiti için derin bir öğrenme yaklaşımı28 önermişlerdir. Daha hızlı R-CNN, klasik bir CNN tabanlı nesne algılama mimarisidir. Orijinal Hızlı R-CNN'nin dört modülü vardır: CNN omurgası, bölge teklif ağı (RPN), ROI havuzlama katmanı ve algılama kafası. CNN omurgası, giriş görüntüsünden özellik haritalarını ayıklamak için bir dizi temel conv+bn+relu+pooling katmanı kullanır. Ardından, özellik eşlemeleri RPN ve ROI havuzlama katmanına beslenir. RPN ağının rolü, bölge önerileri oluşturmaktır. Bu modül, çapaların pozitif olup olmadığını belirlemek için softmax kullanır ve kutu regresyonunu sınırlayarak doğru ankrajlar oluşturur. YG havuzu oluşturma katmanı, girdi özellik haritalarını ve teklifleri toplayarak teklif özellik haritalarını ayıklar ve teklif özellik haritalarını sonraki algılama kafasına besler. Algılama kafası, nesneleri sınıflandırmak ve kutu regresyonunu sınırlayarak algılama kutularının doğru konumlarını elde etmek için teklif özellik eşlemelerini kullanır.
Bu yazıda, Faster R-CNN'deki CNN omurgasının Swin Transformer ile değiştirilmesiyle oluşturulan Swin Faster R-CNN adlı yeni bir tiroid nodülü tespit ağı sunulmakta ve bu da ultrason görüntülerinden nodül tespiti için özelliklerin daha iyi çıkarılmasını sağlamaktadır. Ek olarak, özellik piramit ağı (FPN)29 , farklı ölçeklerdeki özellikleri toplayarak farklı boyutlardaki nodüller için modelin algılama performansını artırmak için kullanılır.

<table><tbody><tr><td>GPU RTX3090</td><td>Nvidia</td><td>1</td><td>24G GPU</td></tr><tr><td>mmdetection2.11.0</td><td>SenseTime</td><td>4</td><td>https://github.com/open-mmlab/mmdetection.git</td></tr><tr><td>python3.8</td><td>&mdash;</td><td>2</td><td>https://www.python.org</td></tr><tr><td>pytorch1.7.1</td><td>Facebook</td><td>3</td><td>https://pytorch.org</td></tr></tbody></table>

ultrason görüntülerinde tiroid nodülü tespiti için swin transformatör tabanlı bir model

A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images

Son yıllarda tiroid kanseri insidansı giderek artmaktadır. Tiroid nodülü tespiti, tiroid kanserinin hem tespiti hem de tedavisi için kritik öneme sahiptir. Konvolüsyonel sinir ağları (CNN'ler) tiroid ultrasonu görüntü analizi görevlerinde iyi sonuçlar elde etmiştir. Bununla birlikte, evrişimsel katmanların sınırlı geçerli alıcı alanı nedeniyle, CNN'ler ultrason görüntülerinde tiroid nodüllerini tanımlamak için önemli olan uzun menzilli bağlamsal bağımlılıkları yakalayamamaktadır. Transformatör ağları, uzun menzilli bağlamsal bilgilerin yakalanmasında etkilidir. Bundan esinlenerek, Swin Transformer omurgasını ve Faster R-CNN'yi birleştiren yeni bir tiroid nodülü tespit yöntemi öneriyoruz. Spesifik olarak, bir ultrason görüntüsü ilk önce 1D gömme dizisine yansıtılır ve daha sonra hiyerarşik bir Swin Transformatörüne beslenir. 
Swin Transformer omurgası, kendi kendine dikkatin hesaplanması için kaydırılmış pencereler kullanarak beş farklı ölçekte özellikler çıkarır. Daha sonra, farklı ölçeklerdeki özellikleri birleştirmek için bir özellik piramit ağı (FPN) kullanılır. Son olarak, sınırlayıcı kutuları ve karşılık gelen güven puanlarını tahmin etmek için bir algılama kafası kullanılır. Deneyleri yürütmek için 2.680 hastadan toplanan veriler kullanıldı ve sonuçlar, bu yöntemin CNN tabanlı taban çizgilerinden daha iyi performans göstererek% 44.8'lik en iyi mAP skorunu elde ettiğini gösterdi. Ayrıca rakiplerimize göre daha iyi hassasiyet (%90,5) elde ettik. Bu, bu modeldeki bağlam modellemesinin tiroid nodülü tespiti için etkili olduğunu göstermektedir.

Tiroid ABD görüntüleri, Eylül 2008'den Şubat 2018'e kadar Çin'deki iki hastaneden toplandı. Bu çalışmaya US görüntülerinin dahil edilmesi için uygunluk kriterleri, biyopsi ve cerrahi tedavi öncesi konvansiyonel US muayenesi, biyopsi veya cerrahi sonrası patoloji ile tanı ve 18 yaş ≥ idi. Dışlama kriterleri tiroid dokusu olmayan görüntülerdi.
<p class="jove_content...

Burada, ultrason görüntülerinde tiroid nodülü tespiti için, uzun menzilli bağlam modellemesi yapmak için omurga olarak Swin Transformer'ı kullanan yeni bir model önerilmektedir. Deneyler, hassasiyet ve doğruluk açısından iyi performans gösterdiğini kanıtlamaktadır.

Ultrason Görüntülerinde Tiroid Nodülü Tespiti için Swin Transformatör Tabanlı Bir Model

In recent years, the incidence of thyroid cancer has been increasing. Thyroid nodule detection is critical for both the detection and treatment of thyroid ...

Bu program, gelecekte doktorların iş yükünü azaltabilecek tiroid nodüllerini tespit etmek için otomatik ve etkili bir önlem uygular. Bu teknik, bir nodül algılama ağına bir Swin Transformatörü uygular. Swin Transformers, nodül gözaltı hassasiyetini artırmada çok yardımcı olan uzun menzilli içerik bilgilerini yakalamada etkilidir.Başlamak için, makinede bir terminal açın ve komut satırına sudo apt-get install python3.8 yazarak Python 3.8'i yükleyin. PyTorch 1.7'yi yüklemek için Miniconda'nın resmi web sitesine gidin ve yükleyin. Ardından komut satırında ekranda gösterilen komutu yazarak bir Conda ortamı oluşturun ve conda activate SwinFasterRCNN yazarak etkinleştirin.Gösterilen komutu komut satırına yazarak PyTorch'u yükleyin. MM algılama yüklemesi için resmi GitHub deposundan kopyalayın ve ardından komut satırına pip install v e komutunu yazarak MM Algılama'yı yükleyin. schedule_1x açın.py dosyasını Vim metin düzenleyicisinde açın ve optimize edici, öğrenme oranı ve epik dahil olmak üzere eğitimle ilgili varsayılan parametreleri ayarlamak için dosyayı düzenleyin. Ekranda gösterilen komutu yazarak eğitime başlayın. Ağın 48 destan için eğitime başlamasını ve sonuçta ortaya çıkan SwinFasterRCNN ağının eğitilmiş ağırlıklarının çıktı klasöründe oluşturulmasını bekleyin.Model ağırlıklarını doğrulama kümesinde en yüksek doğrulukla kaydedin. Eğitimden sonra, yeni görüntülerde tiroid nodülü tespiti için doğrulama setinde en iyi performansa sahip modeli seçin. Görüntüyü 512 piksele 512 piksel olarak yeniden boyutlandırmak ve normalleştirmek için test komut dosyasını çalıştırın.Komut dosyasının önceden eğitilmiş model parametrelerini otomatik olarak SwinFasterRCNN'ye yüklemesini bekleyin ve çıkarım için önceden işlenmiş görüntüyü SwinFasterRCNN'ye besleyin. SwinFasterRCNN'nin her görüntü için tahmin kutusunun çıktısını almasını bekleyin. Son olarak, yinelenen öğe algılama kutularını kaldırmak için komut dosyasının her görüntüde otomatik olarak NMS son işleme gerçekleştirmesine izin verin.Aynı görüntü için algılama sonuçları belirli bir satırda gösterilir. Sütunlar SwinFasterRCNN, FasterRCNN, YOLOv3, SSD, RetinaNet ve DETR için algılama sonuçlarıdır. Bölgelerin zemin gerçekleri yeşil dikdörtgen kutularla işaretlenmiştir.Algılama sonuçları kırmızı dikdörtgen kutularla çerçevelenir. Birçok deney tarafından belirlenmesi gereken yakınsamaları sağlamak için uygun hiper parametreyi seçmek çok önemlidir.

a-swin-transformer-based-model-for-thyroid-nodule-detection

Research

JoVE Journal

Medicine

Tıp

Burada, tiroid cerrahisinin ameliyat öncesi değerlendirilmesi için kişiselleştirilmiş 3D baskılı bir model oluşturmak için yeni bir yöntem önerilmektedir. Preoperatif tartışmaya elverişlidir ve tiroid cerrahisinin zorluğunu azaltır.

Tiroid cerrahisinde preoperatif değerlendirme için kişiselleştirilmiş 3D baskılı bir model

Bu protokol, fare tiroid bezinin tamamını görselleştirmek ve anaplastik tiroid karsinomunun büyümesini izlemek için yüksek frekanslı ultrasonografiyi tanımlamaktadır.

Genetiği Değiştirilmiş Bir Fare Modelinde Ortotopik ATC Tümörlerinin Analizi için Yüksek Çözünürlüklü Ultrasonografi

Bu çalışmanın amacı, hekimler ve hastalar arasında bir iletişim köprüsü görevi gören ve aynı zamanda ön tanı ve prognostik değerlendirme için son teknoloji bir araç olan pulmoner nodüllerin yeni bir 3D dijital modelini geliştirmektir.

Pulmoner nodüllerin tanı ve tedavisi için 3D dijital model

Mevcut protokol, önceki segmentasyon yöntemlerine kıyasla mükemmel doğruluk elde eden Swin-PSAxialNet adlı verimli bir çoklu organ segmentasyon yöntemini açıklamaktadır. Bu prosedürün temel adımları arasında veri kümesi toplama, ortam yapılandırması, veri ön işleme, model eğitimi ve karşılaştırması ve ablasyon deneyleri yer alır.

Swin-PSAxialNet: Verimli Bir Çoklu Organ Segmentasyon Tekniği

Burada, tiroid yapısal ve fonksiyonel bilgilerinin senkron görüntülenmesini sağlayan çok düzlemli 3D rekonstrüksiyon ve renkli Doppler füzyonunu birleştiren bir 5D ultrason tekniği sunuyoruz. Kör noktaları en aza indirerek, bu yöntem, özellikle acemi pratisyenlere fayda sağlayarak, tanısal doğruluğu artırmak için lezyonların hızlı ve kesin lokalizasyonuna izin verir.

Tiroid Lezyonlarının Kesin ve Hızlı Lokalizasyonu için Renkli Doppler Haritalama ile Entegre Senkron Triplanar Rekonstrüksiyon

Preklinik kanser tedavisi izlenmesi için Cerenkov Lüminesans Görüntüleme (CLI) kullanımı burada açıklanmıştır. Bu yöntem Cerenkov Radyasyon (CR) ve radyoaktif probları görselleştirmek için optik görüntüleme (OI) yararlanır ve böylece preklinik terapötik izleme ve ilaç tarama PET için bir alternatif sunuyor.

Kanser Tedavisi İzleme Cerenkov Lüminesans Görüntüleme (CLI)

Anaplastik tiroid kanseri ortotopik fare modeli Üretimi burada açıklanmıştır. Bu teknik böylece hastalığın ilerlemesi hem de ekran yenilikçi tedavi yaklaşımları incelemek için daha klinik ortam yaratan, bağışık yetmezliği olan farelerin tiroid, insan anaplastik tiroid kanser hücrelerinin cerrahi yerleştirme kullanır.

Anaplastik Tiroid Kanseri Ortotopik Fare Modeli

Substernal tiroid lezyonları yaygındır ve malignite ayırt edilmesi gerekir. Perkütan ince iğne biyopsisi nedeniyle Retrosternal yere mümkün değildir. Bu makale Endobronşiyal ultrason eşliğinde transbronşiyal Boßaltma (EBUS-TBİA) kullanılarak Substernal tiroid lezyonlarının biyopsi için bir protokol önermektedir.

Substernal Tiroid Biyopsi Endobronşiyal ultrason eşliğinde transbronşiyal Boßaltma kullanma

Bu çalışmada tiroid ameliyatı bir domuz modelinde intraoperatif sinir izleme standart bir protokol geliştirmeyi amaçlamaktadır. Burada, genel anestezi, farklı elektrot karşılaştırmak ve normal ve yaralı tekrarlayan gırtlak sinirlerin elektrofizyolojik özellikleri incelemek için göstermek için bir iletişim kuralı mevcut.

Tiroid ameliyatı bir domuz modelinde intraoperatif sinir izleme

Telli myograph teknik vasküler düz kas fonksiyonları ve ekran yeni ilaçlar araştırmak için kullanılır. Biz fare mezenterik arter izometrik contractility ölçme ve vasküler düz kas yeni gevşetici süzmek için detaylı bir protokol raporu.

İzometrik Contractility ölçüm tel Myography kullanarak fare mezenterik arter

Keşfedin, ultrason görüntülerinde tiroid nodülü tespiti için Swin Transformer tabanlı derin öğrenme modeli geliştirmeyi. Python ve PyTorch kullanarak yüksek hassasiyetli otomatik tespit sistemi kurun ve sağlık profesyonellerinin iş yükünü azaltın.

Ultrason Görüntülerinde Tiroid Nodülü Tespiti için Swin Transformatör Tabanlı Bir Model

Daha fazla video keşfet