Summary
Burada, ultrason görüntülerinde tiroid nodülü tespiti için, uzun menzilli bağlam modellemesi yapmak için omurga olarak Swin Transformer'ı kullanan yeni bir model önerilmektedir. Deneyler, hassasiyet ve doğruluk açısından iyi performans gösterdiğini kanıtlamaktadır.
Abstract
Son yıllarda tiroid kanseri insidansı giderek artmaktadır. Tiroid nodülü tespiti, tiroid kanserinin hem tespiti hem de tedavisi için kritik öneme sahiptir. Konvolüsyonel sinir ağları (CNN'ler) tiroid ultrasonu görüntü analizi görevlerinde iyi sonuçlar elde etmiştir. Bununla birlikte, evrişimsel katmanların sınırlı geçerli alıcı alanı nedeniyle, CNN'ler ultrason görüntülerinde tiroid nodüllerini tanımlamak için önemli olan uzun menzilli bağlamsal bağımlılıkları yakalayamamaktadır. Transformatör ağları, uzun menzilli bağlamsal bilgilerin yakalanmasında etkilidir. Bundan esinlenerek, Swin Transformer omurgasını ve Faster R-CNN'yi birleştiren yeni bir tiroid nodülü tespit yöntemi öneriyoruz. Spesifik olarak, bir ultrason görüntüsü ilk önce 1D gömme dizisine yansıtılır ve daha sonra hiyerarşik bir Swin Transformatörüne beslenir.
Swin Transformer omurgası, kendi kendine dikkatin hesaplanması için kaydırılmış pencereler kullanarak beş farklı ölçekte özellikler çıkarır. Daha sonra, farklı ölçeklerdeki özellikleri birleştirmek için bir özellik piramit ağı (FPN) kullanılır. Son olarak, sınırlayıcı kutuları ve karşılık gelen güven puanlarını tahmin etmek için bir algılama kafası kullanılır. Deneyleri yürütmek için 2.680 hastadan toplanan veriler kullanıldı ve sonuçlar, bu yöntemin CNN tabanlı taban çizgilerinden daha iyi performans göstererek% 44.8'lik en iyi mAP skorunu elde ettiğini gösterdi. Ayrıca rakiplerimize göre daha iyi hassasiyet (%90,5) elde ettik. Bu, bu modeldeki bağlam modellemesinin tiroid nodülü tespiti için etkili olduğunu göstermektedir.
Introduction
Tiroid kanseri insidansı, özellikle orta yaşlı kadınlar arasında 1970 yılından bu yana hızla artmıştır1. Tiroid nodülleri tiroid kanserinin ortaya çıkışını öngörebilir ve çoğu tiroid nodülü asemptomatiktir2. Tiroid nodüllerinin erken teşhisi, tiroid kanserinin tedavisinde çok yardımcıdır. Bu nedenle, güncel uygulama kılavuzlarına göre, fizik muayenede nodüler guatr şüphesi olan veya anormal görüntüleme bulguları olan tüm hastalar daha ileri muayeneye tabi tutulmalıdır 3,4.
Tiroid ultrasonografisi (USG), tiroid lezyonlarını saptamak ve karakterize etmek için yaygın olarak kullanılan yaygın bir yöntemdir 5,6. ABD kullanışlı, ucuz ve radyasyonsuz bir teknolojidir. Bununla birlikte, ABD uygulamasıoperatör 7,8'den kolayca etkilenir. Tiroid nodüllerinin şekli, boyutu, ekojenitesi ve dokusu gibi özellikler US görüntülerinde kolayca ayırt edilebilir. Bazı ABD özellikleri - kalsifikasyonlar, ekojenite ve düzensiz sınırlar - genellikle tiroid nodüllerini tanımlamak için kriter olarak kabul edilse de, gözlemciler arası değişkenliğin varlığı kaçınılmazdır 8,9. Farklı deneyim düzeylerine sahip radyologların tanı sonuçları farklıdır. Deneyimsiz radyologların yanlış teşhis koyma olasılığı deneyimli radyologlardan daha yüksektir. ABD'nin yansımalar, gölgeler ve yankılar gibi bazı özellikleri görüntü kalitesini düşürebilir. US görüntülemenin doğasından kaynaklanan görüntü kalitesindeki bu bozulma, deneyimli doktorların bile nodülleri doğru bir şekilde bulmasını zorlaştırmaktadır.
Tiroid nodülleri için bilgisayar destekli tanı (KAH) son yıllarda hızla gelişmiştir ve farklı hekimlerin neden olduğu hataları etkili bir şekilde azaltabilir ve radyologların nodülleri hızlı ve doğru bir şekilde teşhis etmelerine yardımcı olabilir10,11. Tiroid US nodül analizi için segmentasyon 12,13, tespit14,15 ve sınıflandırma 16,17 dahil olmak üzere çeşitli CNN tabanlı CAD sistemleri önerilmiştir. CNN, çok katmanlı, denetimli bir öğrenme modeli18'dir ve CNN'nin çekirdek modülleri evrişim ve havuzlama katmanlarıdır. Evrişim katmanları özellik ayıklama için kullanılır ve havuzlama katmanları alt örnekleme için kullanılır. Gölge evrişimli katmanlar doku, kenarlar ve konturlar gibi birincil özellikleri ayıklayabilirken, derin evrişimli katmanlar üst düzey anlamsal özellikleri öğrenir.
CNN'ler bilgisayar görüşünde büyük başarı elde ettiler 19,20,21. Bununla birlikte, CNN'ler, evrişimsel katmanların sınırlı geçerli alıcı alanı nedeniyle uzun vadeli bağlamsal bağımlılıkları yakalayamamaktadır. Geçmişte, görüntü sınıflandırması için omurga mimarileri çoğunlukla CNN'leri kullanıyordu. Vision Transformer (ViT)22,23'ün ortaya çıkmasıyla bu eğilim değişti ve şimdi birçok son teknoloji ürünü model transformatörleri omurga olarak kullanıyor. Çakışmayan görüntü yamalarına dayanan ViT, uzamsal ilişkileri küresel olarak modellemek için standart bir transformatör kodlayıcı25 kullanır. Swin Transformer24, özellikleri öğrenmek için vites değiştirme pencerelerini de sunar. Vites değiştirme pencereleri sadece daha fazla verimlilik sağlamakla kalmaz, aynı zamanda dizinin uzunluğunu da büyük ölçüde azaltır, çünkü penceredeki öz dikkat hesaplanır. Aynı zamanda, iki bitişik pencere arasındaki etkileşim, kaydırma (hareket) işlemi ile yapılabilir. Swin Transformer'ın bilgisayarlı görmede başarılı bir şekilde uygulanması, ultrason görüntü analizi için transformatör tabanlı mimarilerin araştırılmasına yol açmıştır26.
Son zamanlarda, Li ve ark., Faster R-CNN27'den esinlenerek tiroid papiller kanser tespiti için derin bir öğrenme yaklaşımı28 önermişlerdir. Daha hızlı R-CNN, klasik bir CNN tabanlı nesne algılama mimarisidir. Orijinal Hızlı R-CNN'nin dört modülü vardır: CNN omurgası, bölge teklif ağı (RPN), ROI havuzlama katmanı ve algılama kafası. CNN omurgası, giriş görüntüsünden özellik haritalarını ayıklamak için bir dizi temel conv+bn+relu+pooling katmanı kullanır. Ardından, özellik eşlemeleri RPN ve ROI havuzlama katmanına beslenir. RPN ağının rolü, bölge önerileri oluşturmaktır. Bu modül, çapaların pozitif olup olmadığını belirlemek için softmax kullanır ve kutu regresyonunu sınırlayarak doğru ankrajlar oluşturur. YG havuzu oluşturma katmanı, girdi özellik haritalarını ve teklifleri toplayarak teklif özellik haritalarını ayıklar ve teklif özellik haritalarını sonraki algılama kafasına besler. Algılama kafası, nesneleri sınıflandırmak ve kutu regresyonunu sınırlayarak algılama kutularının doğru konumlarını elde etmek için teklif özellik eşlemelerini kullanır.
Bu yazıda, Faster R-CNN'deki CNN omurgasının Swin Transformer ile değiştirilmesiyle oluşturulan Swin Faster R-CNN adlı yeni bir tiroid nodülü tespit ağı sunulmakta ve bu da ultrason görüntülerinden nodül tespiti için özelliklerin daha iyi çıkarılmasını sağlamaktadır. Ek olarak, özellik piramit ağı (FPN)29 , farklı ölçeklerdeki özellikleri toplayarak farklı boyutlardaki nodüller için modelin algılama performansını artırmak için kullanılır.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Bu retrospektif çalışma, Batı Çin Hastanesi, Sichuan Üniversitesi, Sichuan, Çin'in kurumsal inceleme kurulu tarafından onaylandı ve bilgilendirilmiş onam alma zorunluluğundan feragat edildi.
1. Ortam kurulumu
- Grafik işleme birimi (GPU) yazılımı
- Derin öğrenme uygulamalarını uygulamak için önce GPU ile ilgili ortamı yapılandırın. GPU'nun web sitesinden GPU'ya uygun yazılım ve sürücüleri indirip yükleyin.
NOT: Bu çalışmada kullanılanlar için Malzeme Tablosuna bakınız.
- Derin öğrenme uygulamalarını uygulamak için önce GPU ile ilgili ortamı yapılandırın. GPU'nun web sitesinden GPU'ya uygun yazılım ve sürücüleri indirip yükleyin.
- Python3.8 kurulumu
- Makinede bir terminal açın. Aşağıdakileri yazın:
Komut satırı: sudo apt-get install python3.8 python-dev python-virtualenv
- Makinede bir terminal açın. Aşağıdakileri yazın:
- Pytorch1.7 kurulumu
- Miniconda'yı indirmek ve yüklemek için resmi web sitesindeki adımları izleyin.
- Bir conda ortamı oluşturun ve etkinleştirin.
Komut satırı: conda create --name SwinFasterRCNN python=3.8 -y
Komut satırı: conda activate SwinFasterRCNN - Pytorch'u yükleyin.
Komut satırı: conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2
- MMDetection kurulumu
- Resmi Github deposundan klonlayın.
Komut satırı: git clone https://github.com/open-mmlab/mmdetection.git - MMDetection'ı yükleyin.
Komut satırı: cd mmdetection
Komut satırı: pip install -v -e .
- Resmi Github deposundan klonlayın.
2. Veri hazırlama
- Veri toplama
- Ultrason görüntülerini topladı (burada, A Sınıfı bir üçüncül hastaneden 3.000 vaka). Her vakanın tanı kayıtlarına, tedavi planlarına, ABD raporlarına ve ilgili ABD görüntülerine sahip olduğundan emin olun.
- Tüm ABD resimlerini "resimler" adlı bir klasöre yerleştirin.
NOT: Bu çalışmada kullanılan veriler, 3.000 vakadan 3.853 ABD görüntüsünü içermektedir.
- Veri temizleme
- Lenf görüntüleri gibi tiroid olmayan alanların görüntüleri için veri kümesini el ile kontrol edin.
- Renkli Doppler akışı içeren görüntüler için veri kümesini el ile denetleyin.
- Önceki iki adımda seçilen görüntüleri silin.
NOT: Veri temizliğinden sonra, 2.680 vakadan 3.000 görüntü kalmıştır.
- Veri ek açıklaması
- Kıdemli bir doktorun ABD görüntüsündeki nodül alanını bulmasını ve nodül sınırını ana hatlarıyla belirtmesini sağlayın.
NOT: Ek açıklama yazılımı ve işlemi Ek Dosya 1'de bulunabilir. - Başka bir kıdemli doktorun ek açıklama sonuçlarını gözden geçirmesini ve gözden geçirmesini sağlayın.
- Ek açıklamalı verileri "Ek Açıklamalar" adlı ayrı bir klasöre yerleştirin.
- Kıdemli bir doktorun ABD görüntüsündeki nodül alanını bulmasını ve nodül sınırını ana hatlarıyla belirtmesini sağlayın.
- Veri bölme
- Python betiğini çalıştırın ve adım 2.1.2'de görüntünün yolunu ve adım 2.3.3'te ek açıklamaların yollarını ayarlayın. Tüm görüntüleri ve ilgili etiketli dosyaları rastgele 8:2 oranında eğitim ve doğrulama kümelerine bölün. Eğitim seti verilerini "Train" klasörüne ve doğrulama seti verilerini "Val" klasörüne kaydedin.
NOT: Python betikleri Ek Dosya 2'de sağlanır.
- Python betiğini çalıştırın ve adım 2.1.2'de görüntünün yolunu ve adım 2.3.3'te ek açıklamaların yollarını ayarlayın. Tüm görüntüleri ve ilgili etiketli dosyaları rastgele 8:2 oranında eğitim ve doğrulama kümelerine bölün. Eğitim seti verilerini "Train" klasörüne ve doğrulama seti verilerini "Val" klasörüne kaydedin.
- CoCo veri kümesi biçimine dönüştürme
NOT: MMDetection'ı kullanmak için, verileri ek açıklama bilgilerini tutan bir json dosyası ve ABD görüntülerini içeren bir görüntü klasörü içeren bir CoCo veri kümesi biçiminde işleyin.- Python betiğini çalıştırın ve doktor tarafından özetlenen nodül alanlarını çıkarmak ve bunları maskelere dönüştürmek için ek açıklamalar klasör yollarını (adım 2.3.3) girin. Tüm maskeleri "Maskeler" klasörüne kaydedin.
NOT: Python komut dosyaları Ek Dosya 3'te sağlanır. - Python betiğini çalıştırın ve verileri CoCo biçiminde bir veri kümesine dönüştürmek ve ABD görüntüleriyle bir json dosyası oluşturmak için adım 2.5.1'de maskeler klasörünün yolunu ayarlayın.
NOT: Python betikleri Ek Dosya 4'te sağlanır.
- Python betiğini çalıştırın ve doktor tarafından özetlenen nodül alanlarını çıkarmak ve bunları maskelere dönüştürmek için ek açıklamalar klasör yollarını (adım 2.3.3) girin. Tüm maskeleri "Maskeler" klasörüne kaydedin.
3. Swin Daha hızlı RCNN yapılandırması
- Swin Transformer model dosyasını (https://github.com/microsoft/Swin-Transformer/blob/main/models/swin_transformer.py) indirin, değiştirin ve "mmdetection/mmdet/models/backbones/" klasörüne yerleştirin. "swin_transformer.py" dosyasını bir vim metin düzenleyicisinde açın ve Ek Dosya 5'te sağlanan Swin Transformer model dosyası olarak değiştirin.
Komut satırı: vim swin_transformer.py - Daha Hızlı R-CNN yapılandırma dosyasının bir kopyasını oluşturun, omurgayı Swin Transformer olarak değiştirin ve FPN parametrelerini ayarlayın.
Komut satırı: cd mmdetection/configs/faster_rcnn
Komut satırı: cp faster_rcnn_r50_fpn_1x_coco.py swin_faster_rcnn_swin.py
NOT: Swin Faster R-CNN yapılandırma dosyası (swin_faster_rcnn_swin.py) Ek Dosya 6'da sağlanır. Swin Faster R-CNN ağ yapısı Şekil 1'de gösterilmiştir. - Veri kümesi yolunu, yapılandırma dosyasındaki CoCo biçimi veri kümesi yoluna (adım 2.5.2) ayarlayın. Vim metin düzenleyicisinde "coco_detection.py" dosyasını açın ve aşağıdaki satırı değiştirin:
data_root = "veri kümesi yolu(adım 2.5.2)"
Komut satırı:vim mmdetection/configs/_base_/datasets/coco_detection.py
4. Swin Faster R-CNN'yi Eğitme
- mmdetection/configs/_base_/schedules/schedule_1x.py düzenleyin ve öğrenme hızı, optimize edici ve dönem dahil olmak üzere eğitimle ilgili varsayılan parametreleri ayarlayın. Vim metin düzenleyicisinde "schedule_1x.py" dosyasını açın ve aşağıdaki satırları değiştirin:
optimize edici = dict(type="AdamW", lr=0.001, momentum=0.9, weight_decay=0.0001)
koşucu = dict(type='EpochBasedRunner', max_epochs=48)
Komut satırı:vim mmdetection/configs/_base_/schedules/schedule_1x.py
NOT: Bu makale için bu protokolde, öğrenme oranı 0.001 olarak ayarlandı, AdamW optimize edici kullanıldı, maksimum eğitim dönemi 48 olarak ayarlandı ve toplu iş boyutu 16 olarak ayarlandı. - Aşağıdaki komutları yazarak eğitime başlayın. Ağın 48 dönem boyunca eğitime başlamasını ve sonuçta ortaya çıkan Swin Faster R-CNN ağının eğitilmiş ağırlıklarının çıktı klasöründe oluşturulmasını bekleyin. Model ağırlıklarını doğrulama kümesinde en yüksek doğrulukla kaydedin.
Komut satırı: cd mmdetection
Komut satırı: python tools/train.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --work-dir ./work_dirs
NOT: Model "NVIDIA GeForce RTX3090 24G" GPU üzerinde eğitilmiştir. Kullanılan merkezi işlem birimi "AMD Epyc 7742 64 çekirdekli işlemci × 128" idi ve işletim sistemi Ubuntu 18.06 idi. Genel eğitim süresi ~ 2 saat idi.
5. Yeni görüntülerde tiroid nodülü tespitinin yapılması
- Eğitimden sonra, yeni görüntülerde tiroid nodülü tespiti için doğrulama setinde en iyi performansa sahip modeli seçin.
- İlk olarak, görüntüyü 512 piksel x 512 piksel olarak yeniden boyutlandırın ve normalleştirin. Bu işlemler, test komut dosyası çalıştırıldığında otomatik olarak gerçekleştirilir.
Komut satırı: python tools/test.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --out ./output - Komut dosyasının önceden eğitilmiş model parametrelerini otomatik olarak Swin Faster R-CNN'ye yüklemesini bekleyin ve çıkarım için önceden işlenmiş görüntüyü Swin Faster R-CNN'ye besleyin. Swin Faster R-CNN'nin her görüntü için tahmin kutusunu çıkarmasını bekleyin.
- Son olarak, yinelenen öğe algılama kutularını kaldırmak için komut dosyasının her görüntüde otomatik olarak NMS son işlemesini gerçekleştirmesine izin verin.
NOT: Algılama sonuçları, algılama kutularını ve sınırlayıcı kutu koordinatlarını paketlenmiş bir dosyada içeren görüntüleri içeren belirtilen klasöre çıkarılır.
- İlk olarak, görüntüyü 512 piksel x 512 piksel olarak yeniden boyutlandırın ve normalleştirin. Bu işlemler, test komut dosyası çalıştırıldığında otomatik olarak gerçekleştirilir.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Tiroid ABD görüntüleri, Eylül 2008'den Şubat 2018'e kadar Çin'deki iki hastaneden toplandı. Bu çalışmaya US görüntülerinin dahil edilmesi için uygunluk kriterleri, biyopsi ve cerrahi tedavi öncesi konvansiyonel US muayenesi, biyopsi veya cerrahi sonrası patoloji ile tanı ve 18 yaş ≥ idi. Dışlama kriterleri tiroid dokusu olmayan görüntülerdi.
3.000 ultrason görüntüsü 1.384 malign ve 1.616 iyi huylu nodül içeriyordu. Malign nodüllerin çoğunluğu (%90) papiller karsinom, benign nodüllerin %66'sı nodüler guatr idi. Burada nodüllerin %25'i 5 mm'den küçük, %38'i 5 mm ile 10 mm arasında, %37'si ise 10 mm'den büyüktü.
Tüm ABD görüntüleri Philips IU22 ve DC-80 kullanılarak toplandı ve varsayılan tiroid muayene modu kullanıldı. Her iki cihaz da 5-13 MHz lineer problarla donatılmıştı. Alt tiroid sınırlarının iyi bir şekilde maruz kalması için, tüm hastalar sırtüstü pozisyonda sırtları uzatılmış olarak incelendi. Hem tiroid lobları hem de isthmus, Amerikan Radyoloji Koleji akreditasyon standartlarına göre uzunlamasına ve enine düzlemlerde tarandı. Tüm tetkikler ≥10 yıllık klinik deneyime sahip iki kıdemli tiroid radyoloğu tarafından yapıldı. Tiroid tanısı ince iğne aspirasyon biyopsisi veya tiroid cerrahisinden elde edilen histopatolojik bulgulara dayandırıldı.
Gerçek hayatta, ABD görüntüleri gürültü nedeniyle bozulduğu için, dalgacık dönüşümü 30, sıkıştırma algılama31 ve histogram eşitleme32'ye dayalı görüntü gürültüsü giderme gibi ABD görüntülerinin uygun şekilde ön işlenmesi önemlidir. Bu çalışmada, ABD görüntülerini önceden işlemek, görüntü kalitesini artırmak ve gürültünün neden olduğu görüntü kalitesi bozulmasını hafifletmek için histogram eşitlemeyi kullandık.
Aşağıda, gerçek pozitif, yanlış pozitif, gerçek negatif ve yanlış negatif sırasıyla TP, FP, TN ve FN olarak adlandırılır. Modelin nodül algılama performansını değerlendirmek için mAP, duyarlılık ve özgüllük kullandık. mAP, nesne algılamada yaygın bir ölçümdür. Duyarlılık ve özgüllük denklem (1) ve denklem (2) kullanılarak hesaplanmıştır:
(1)
(2)
Bu yazıda TP, tahmin kutusu ile zemin doğruluk kutusu arasında birleşme (IoU) kesişimi >0.3 ve güven puanı >0.6 olan, doğru saptanmış nodüllerin sayısı olarak tanımlanmıştır. IoU, denklem (3) kullanılarak hesaplanan birleşme üzerindeki kesişimdir:
(3)
SSD33, YOLO-v334, CNN omurga tabanlı Faster R-CNN27, RetinaNet 35 ve DETR36 dahil olmak üzere birçok klasik nesne algılama ağını karşılaştırdık. YOLO-v3 ve SSD tek aşamalı algılama ağlarıdır, DETR transformatör tabanlı bir nesne algılama ağıdır ve Daha Hızlı R-CNN ve RetinaNet iki aşamalı algılama ağlarıdır. Tablo 1, Swin Faster R-CNN'nin performansının diğer yöntemlerden daha üstün olduğunu ve CNN omurgasının Hızlı R-CNN'sinden 0.028 ve YOLO-v3'ten 0.037 daha yüksek olan 0.448 mAP'ye ulaştığını göstermektedir. Swin Faster R-CNN kullanarak, tiroid nodüllerinin% 90.5'i otomatik olarak tespit edilebilir, bu da CNN omurga tabanlı Hızlı R-CNN'den (% 87.1) ~% 3 daha yüksektir. Şekil 2'de gösterildiği gibi, omurga olarak Swin Transformer'ın kullanılması sınır konumlandırmasını daha doğru hale getirir.
Resim 1: Swin Faster R-CNN ağ mimarisinin diyagramı. Bu şeklin daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
Şekil 2: Algılama sonuçları. Aynı görüntü için algılama sonuçları belirli bir satırdadır. Sütunlar, sırasıyla Swin Faster R-CNN, Faster R-CNN, YOLO-v3, SSD, RetinaNet ve DETR için soldan sağa algılama sonuçlarıdır. Bölgelerin zemin gerçekleri yeşil dikdörtgen kutularla işaretlenmiştir. Algılama sonuçları kırmızı dikdörtgen kutularla çerçevelenir. Bu şeklin daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
| Yöntem | Omurga | harita | Duyarlılık | Özgüllüğü |
| YOLO-v3 | Karanlık Ağ | 0.411 | 0.869 | 0.877 |
| SSD | VGG16 Serisi | 0.425 | 0.841 | 0.849 |
| RetinaNet | ResNet50 | 0.382 | 0.845 | 0.841 |
| Daha Hızlı R-CNN | ResNet50 | 0.42 | 0.871 | 0.864 |
| cesaret | ResNet50 | 0.416 | 0.882 | 0.86 |
| FPN olmadan Daha Hızlı Swin R-CNN | Swin Transformatör | 0.431 | 0.897 | 0.905 |
| FPN ile Daha Hızlı R-CNN Kazanın | 0.448 | 0.905 | 0.909 |
Tablo 1: Son teknoloji ürünü nesne algılama yöntemleriyle performans karşılaştırması.
Ek Dosya 1: Veri ek açıklaması ve kullanılan yazılım için kullanım talimatları. Bu Dosyayı indirmek için lütfen buraya tıklayın.
Ek Dosya 2: Python betiği, adım 2.4.1'de belirtildiği gibi, veri kümesini eğitim kümesine ve doğrulama kümesine bölmek için kullanılır. Bu Dosyayı indirmek için lütfen buraya tıklayın.
Ek Dosya 3: Adım 2.5.1'de belirtildiği gibi, ek açıklamalar dosyasını maskelere dönüştürmek için kullanılan Python betiği. Bu Dosyayı indirmek için lütfen buraya tıklayın.
Ek Dosya 4: Verileri adım 2.5.2'de belirtildiği gibi CoCo biçiminde bir veri kümesine dönüştürmek için kullanılan Python betiği. Bu Dosyayı indirmek için lütfen buraya tıklayın.
Ek Dosya 5: Adım 3.1'de bahsedilen değiştirilmiş Swin Transformer model dosyası. Bu Dosyayı indirmek için lütfen buraya tıklayın.
Ek Dosya 6: Adım 3.2'de bahsedilen Swin Faster R-CNN yapılandırma dosyası. Bu Dosyayı indirmek için lütfen buraya tıklayın.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Bu makalede, ortam kurulumunun, veri hazırlamanın, model yapılandırmasının ve ağ eğitiminin nasıl gerçekleştirileceği ayrıntılı olarak açıklanmaktadır. Ortam kurulumu aşamasında, bağımlı kitaplıkların uyumlu ve eşleşmiş olduğundan emin olmak için dikkat edilmesi gerekir. Veri işleme çok önemli bir adımdır; Ek açıklamaların doğruluğunu sağlamak için zaman ve çaba harcanmalıdır. Modeli eğitirken bir "ModuleNotFoundError" ile karşılaşılabilir. Bu durumda, eksik kütüphaneyi yüklemek için "pip install" komutunu kullanmak gerekir. Doğrulama kümesinin kaybı azalmazsa veya büyük ölçüde salınım yaparsa, ek açıklama dosyasını kontrol etmeli ve kaybın yakınsamasını sağlamak için öğrenme hızını ve toplu iş boyutunu ayarlamaya çalışmalısınız.
Tiroid nodülü tespiti tiroid kanserinin tedavisi için çok önemlidir. CAD sistemi, nodüllerin tespitinde doktorlara yardımcı olabilir, subjektif faktörlerin neden olduğu tanı sonuçlarındaki farklılıkları önleyebilir ve nodüllerin eksik tespitini azaltabilir. Mevcut CNN tabanlı CAD sistemleriyle karşılaştırıldığında, bu makalede önerilen ağ, ultrason görüntü özelliklerini çıkarmak için Swin Transformer'ı tanıtmaktadır. Uzun mesafeli bağımlılıkları yakalayarak, Swin Faster R-CNN, nodül özelliklerini ultrason görüntülerinden daha verimli bir şekilde çıkarabilir. Deneysel sonuçlar, Swin Faster R-CNN'nin nodül algılama hassasiyetini CNN omurga tabanlı Faster R-CNN'ye kıyasla ~% 3 oranında artırdığını göstermektedir. Bu teknolojinin uygulanması, erken ultrason muayenesinde tiroid nodüllerini tespit edebildiği ve doktorları daha ileri tedaviye yönlendirebildiği için doktorlar üzerindeki yükü büyük ölçüde azaltabilir. Bununla birlikte, Swin Transformer'ın çok sayıda parametresi nedeniyle, Swin Faster R-CNN'nin çıkarım süresi görüntü başına ~ 100 ms'dir (NVIDIA TITAN 24G GPU ve AMD Epyc 7742 CPU üzerinde test edilmiştir). Swin Faster R-CNN ile gerçek zamanlı tanılama gereksinimlerini karşılamak zor olabilir. Gelecekte, bu yöntemin etkinliğini doğrulamak için vakaları toplamaya ve dinamik ultrason görüntü analizi konusunda daha ileri çalışmalar yapmaya devam edeceğiz.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Yazarlar çıkar çatışması olmadığını beyan ederler.
Acknowledgments
Bu çalışma, Çin Ulusal Doğa Bilimleri Vakfı (Hibe No.32101188) ve Sichuan Eyaleti Bilim ve Teknoloji Bölümü Genel Projesi (Hibe No. 2021YFS0102), Çin tarafından desteklenmiştir.
Materials
| Name | Company | Catalog Number | Comments |
| GPU RTX3090 | Nvidia | 1 | 24G GPU |
| mmdetection2.11.0 | SenseTime | 4 | https://github.com/open-mmlab/mmdetection.git |
| python3.8 | — | 2 | https://www.python.org |
| pytorch1.7.1 | 3 | https://pytorch.org |
References
- Grant, E. G., et al. Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee. Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).
- Zhao, J., Zheng, W., Zhang, L., Tian, H. Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology. Health Information Science and Systems. 1, 5 (2013).
- Haugen, B. R. American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed. Cancer. 123 (3), 372-381 (2017).
- Shin, J. H., et al. Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations. Korean Journal of Radiology. 17 (3), 370-395 (2016).
- Horvath, E., et al. An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management. The Journal of Clinical Endocrinology & Metabolism. 94 (5), 1748-1751 (2009).
- Park, J. -Y., et al. A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma. Thyroid. 19 (11), 1257-1264 (2009).
- Moon, W. -J., et al. Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study. Radiology. 247 (3), 762-770 (2008).
- Park, C. S., et al. Observer variability in the sonographic evaluation of thyroid nodules. Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).
- Kim, S. H., et al. Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules. Korean Journal of Radiology. 11 (2), 149-155 (2010).
- Choi, Y. J., et al. A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment. Thyroid. 27 (4), 546-552 (2017).
- Chang, T. -C. The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography. Journal of Medical Ultrasound. 23 (4), 177-184 (2015).
- Fully convolutional networks for ultrasound image segmentation of thyroid nodules. Li, X. IEEE 20th International Conference on High Performance Computing and Communications; IEEE 16th International Conference on Smart City; IEEE 4th International Conference on Data Science and Systems (HPCC/SmartCity/DSS), , 886-890 (2018).
- Nguyen, D. T., Choi, J., Park, K. R. Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks. Mathematics. 10 (19), 3484 (2022).
- Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images. Medical Physics. 44 (5), 1678-1691 (2017).
- Song, W., et al. Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition. IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).
- Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images. Wang, J., et al. 2018 25Th IEEE International Conference on Image Processing (ICIP), , IEEE. 3114-3118 (2018).
- Wang, L., et al. A multi-scale densely connected convolutional neural network for automated thyroid nodule classification. Frontiers in Neuroscience. 16, 878718 (2022).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Communications of the ACM. 60 (6), 84-90 (2017).
- He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).
- Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. Relation networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).
- Szegedy, C., et al.
- Dosovitskiy, A., et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929. , (2020).
- Touvron, H., et al. Training data-efficient image transformers & distillation through attention. arXiv:2012.12877. , (2021).
- Liu, Z., et al. Swin Transformer: Hierarchical vision transformer using shifted windows. 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).
- Vaswani, A., et al. Attention is all you need. Advances in Neural Information Processing Systems. 30, (2017).
- Chen, J., et al. TransUNet: Transformers make strong encoders for medical image segmentation. arXiv. arXiv:2102.04306. , (2021).
- Ren, S., He, K., Girshick, R., Sun, J. Faster r-cnn: Towards real-time object detection with region proposal networks. Advances in Neural Information Processing Systems. 28, 91-99 (2015).
- Li, H., et al. An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images. Scientific Reports. 8, 6600 (2018).
- Lin, T. -Y., et al. Feature pyramid networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).
- Ouahabi, A. A review of wavelet denoising in medical imaging. 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).
- Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. Image denoising using a compressive sensing approach based on regularization constraints. Sensors. 22 (6), 2199 (2022).
- Castleman, K. R. Digital Image Processing. , Prentice Hall Press. Hoboken, NJ. (1996).
- Liu, W., et al. Ssd: Single shot multibox detector. European Conference on Computer Vision. , 21-37 (2016).
- Redmon, J., Farhadi, A.
- Lin, T. -Y., Goyal, P., Girshick, R., He, K., Dollár, P. Focalloss for dense object detection. arXiv. arXiv:1708.02002. , (2017).
- Carion, N., et al. End-to-end object detection with transformers. Computer Vision-ECCV 2020: 16th European Conference. , Glasgow, UK. 23-28 (2020).
