Çok görüşlü Görüş Mamba U-Şekilli Ağ Çerçevesi Tıbbi Görüntü Segmentasyonu İçin

Özet

Bu protokol, tıbbi görüntü segmentasyonu için çok görüşlü Vision Mamba U-Shaped Network çerçevesinin nasıl oluşturulacağını, eğitileceğini ve değerlendirileceğini açıklar; böylece standart veri seti hazırlama, model uygulaması ve performans değerlendirmesi yoluyla cilt lezyonları ve karın organlarının tekrarlanabilir segmentasyonunu mümkün kılar.

Özet

Tıbbi görüntü segmentasyonu, küresel bağlamı, yerel sınırları ve çok ölçekli anatomik yapıları doğru şekilde yakalayan ve farklı uygulamalarda tekrarlanabilir kalan hesaplamalı yöntemler gerektirir. Bu makale, iki boyutlu tıbbi görüntü segmentasyonu için Multi-view Vision Mamba U-Shaped Network çerçevesinin oluşturulması, eğitilmesi ve değerlendirilmesi için bir protokol sunmaktadır. Protokol, kamuya açık veri seti edinimi, görüntü ve maske ön işleme, ağ oluşturma, model eğitimi, kontrol noktası seçimi ve nicel ve niteliksel performans değerlendirmesini içeren tekrarlanabilir bir iş akışı sağlar. Çerçeve, tamamlayıcı mekânsal, kontur, ölçek ve sınır bilgilerini yakalamak için çoklu görünüm özellik taramasını içerir ve segmentasyon sırasında özellik entegrasyonunu iyileştirmek için U şeklinde kodlayıcı-kodlayıcı mimarisi içinde çok aşamalı özellik birleşimi uygular. Protokol, halka açık cilt lezyonu ve karın organı segmentasyon veri setleri kullanılarak gösterilmiştir. Tarif edilen uygulama iş akışı kapsamında, çerçeve standart değerlendirme metrikleri kullanarak rekabetçi segmentasyon performansı elde eder. Bu protokolde sunulan prosedürleri takip ederek, araştırmacular model uygulamasını yeniden üretebilir, tanımlanmış deneysel ayarlarla ağı eğitebilir, segmentasyon performansını değerlendirebilir ve tekrarlanabilir derin öğrenme tabanlı analiz gerektiren ilgili tıbbi görüntü segmentasyon görevlerine iş akışını uyarlayabilir.

Giriş

Tıbbi görüntü segmentasyonu, bilgisayar görme ve tıbbi görüntü analizi alanlarında^temel bir görevdir ^1,2,3. Bu, bir görüntünün daha fazla analiz ve işleme için birden fazla bölgeye veya nesneye bölünmesini içerir. Bu teknoloji, klinisyenlerin patolojik bölgeleri tanımlama ve lokalize etmelerine yardımcı olmasıyla tıbbi görüntülemede özellikle önemlidir; böylece tanı doğruluğunu ve tedavi planlamasını iyileştirir. Manyetik rezonans görüntüleme (MRI), bilgisayarlı tomografi (BT) ve pozitron emisyon tomografisi (PET) gibi tıbbi görüntüleme tekno....

Protokol

Bu çalışma, ISIC 2017, ISIC 2018 ve Synapse dahil olmak üzere yalnızca kamuya açık ve kimliği yok edilmiş tıbbi görüntü veri setlerini kullanmıştır. Bu çalışmada yeni insan katılımcılar, hayvan denek veya tanımlanabilir özel tıbbi kayıtlar toplanmadı. Bu çalışmada kullanılan ISIC 2017 veri seti, resmi Uluslararası Cilt Görüntüleme İşbirliyi meydan okuma veri deposundan (https://challenge.isic-archive.com/data/#2017) elde edilen ISIC 2017 Challenge cilt lezyonu segmentasyon veri setidir. Bu çalışmada kullanılan veri seti versiyonu, resmi eğitim, doğrulama ve test bölümlerini içeren ISIC 2017 lezyon segmentasyon görevine karşılık gelmek....

Sonuçlar

Beklenen sonuçlar ve yorumlama
Bu protokol doğru uygulandığında, eğitilmiş MVM-UNet modelinin çoğu değerlendirme metrikinde farklı rastgele tohumlar arasında sadece küçük farklılıklarla tekrarlanan çalışmalar arasında istikrarlı segmentasyon performansı üretmesi beklenmektedir. ISIC 2017 ve ISIC 2018 için başarılı sonuçlar, yüksek DSC, mIoU, Acc, Sen ve Spe değerleri ile yer-gerçeklik lezyon sınırlarını yakından takip eden öngörülen lezyon maskeleriyle yansıtılır (

Tartışma

Bu protokol, Mamba tabanlı tıbbi görüntü segmentasyon çerçevesi olan MVM-UNet'i tanımlar. Yöntem, mevcut segmentasyon modellerinin iki sınırlamasını ele almak için tasarlandı. Birincisi, geleneksel CNN tabanlı yöntemler, karmaşık tıbbi görüntülerde uzun vadeli bağımlılıkları ve hiyerarşik bağlamsal bilgileri modelleme konusunda sınırlı bir yetkiye^{sahiptir 43}. İkinci olarak, Transformer tabanlı yöntemler küresel bağlamı modelleyebilir ancak genellikle daha yüksek h.......

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
Hardware - GPU workstation or GPU server	Institutional computing platform / local workstation	Custom-built local GPU workstation; Ubuntu 22.04.1 with Linux kernel 6.8.0; Intel Core i9-13900K CPU; NVIDIA A800 GPU; 128 GB RAM; 512 GB local storage.	Training, validation, testing, ablation, and inference-only experiments için hesaplama platformu.
Hardware - Graphics processing unit (GPU)	NVIDIA Corporation	NVIDIA A800 GPU (80 GB bellek).	GPU hızlandırmalı model eğitimi ve çıkarımı.
Hardware - Central processing unit (CPU)	Intel Corporation / AMD	13. Nesil Intel Core i9-13900K CPU.	Veri yükleme, ön işleme ve deney yürütme için ana işlemci.
Hardware - System memory (RAM)	Institutional computing platform / local workstation	128 GB sistem RAM	Veri seti yükleme, ön işleme ve eğitim için bellek.
Hardware - Storage	Institutional computing platform / local workstation	2 TB NVMe katı hal sürücüsü.	Veri setleri, kontrol noktaları, günlükler ve oluşturulan tahmin şekilleri için depolama.
Software environment - Operating system	Canonical Ltd.	Önerilen: Ubuntu 22.04.1 LTS	Hesaplama ortamı için işletim sistemi.
Software environment - Conda environment	Anaconda, Inc. / Miniconda	Ortam adı: mvmunet	Bağımlılıkları yüklemek ve izole etmek için kullanılan Python ortamı.
Software environment - Python	Python Software Foundation	Python 3.8	Uygulama ve deney yürütme için kullanılan programlama dili.
Software environment - CUDA toolkit	NVIDIA Corporation	CUDA Toolkit 11.8	PyTorch ve Mamba ile ilgili paketler tarafından gerektirilen GPU hesaplama arka ucu.
Software environment - cuDNN	NVIDIA Corporation	cuDNN 8.7.0.	PyTorch aracılığıyla kullanılan GPU hızlandırmalı derin öğrenme ilkelileri.
Python package - PyTorch	PyTorch	torch == 2.0.1	Model eğitimi, kayıp hesaplaması, optimizasyon ve çıkarım için derin öğrenme çerçevesi.
Python package - Torchvision	PyTorch	torchvision == 0.14.0	Ön işleme ve artırma sırasında kullanılan görüntü dönüştürme yardımcı programları.
Python package - Torchaudio	PyTorch	torchaudio == 0.13.0	Önerilen PyTorch ortamı ile birlikte yüklenir.
Python package - timm	timm developers	timm == 0.4.12	Depolama ortamı talimatlarında listelenen model bileşeni veya yardımcı program bağımlılığı.
Python package - triton	OpenAI / Triton developers	triton == 2.0.0	GPU hızlandırmalı dizi modelleme bileşenleri tarafından kullanılan bağımlılık.
Python package - causal-conv1d	causal-conv1d developers	causal_conv1d == 1.0.0	Mamba uygulaması tarafından gerektirilen verimli nedensel evrişim bağımlılığı.
Python package - mamba-ssm	Mamba SSM developers	mamba_ssm == 1.0.1	Mamba/S6 ile ilgili bileşenler için kullanılan durum-uzay dizi modelleme paketi.
Python package - NumPy	NumPy developers	NumPy sürümü 1.24.3.	Sayısal hesaplama ve dizi işlemleri.
Python package - SciPy	SciPy developers	SciPy sürümü 1.10.1.	Bilimsel hesaplama; scipy.ndimage.zoom, utils.py'de içe aktarılır.
Python package - SimpleITK	Insight Software Consortium	SimpleITK sürümü 2.2.1.	utils.py'de içe aktarılan tıbbi görüntü giriş/çıkışı ve ön işleme yardımcı programı.
Python package - MedPy	MedPy developers	MedPy sürümü 0.4.0.	utils.py'de içe aktarılan tıbbi görüntü metrik hesaplama paketi.
Python package - scikit-image	scikit-image developers	scikit-image sürümü 0.21.0.	README'de listelenen görüntü işleme bağımlılığı.
Python package - scikit-learn	scikit-learn developers	scikit-learn sürümü 1.3.2.	README'de listelenen makine öğrenimi yardımcı programı paketi.
Python package - matplotlib	Matplotlib developers	Matplotlib sürümü 3.7.2.	Niteliksel görselleştirme şekillerini kaydetmek için kullanılır.
Python package - h5py	h5py developers	h5py sürümü 3.9.0.	Synapse test hacimleri için HDF5 dosya desteği.
Python package - thop	THOP developers	THOP sürümü 0.1.1.post2209072238.	FLOP'lar ve parametreyle ilgili hesaplama maliyeti hesaplanırken kullanılır.
Python package - packaging	Python Packaging Authority	packaging sürümü 23.1.	README'de listelenen bağımlılık.
Python package - pytest	pytest developers	pytest sürümü 7.4.0.	README'de listelenen bağımlılık.
Python package - chardet	chardet developers	chardet sürümü 5.2.0.	README'de listelenen bağımlılık.
Python package - yacs	YACS developers	yacs sürümü 0.1.8.	README'de listelenen yapılandırma yardımcı programı bağımlılığı.
Python package - termcolor	termcolor developers	termcolor sürümü 2.3.0.	README'de listelenen oturum açma/terminal yardımcı programı bağımlılığı.
Python package - submitit	submitit developers	submitit sürümü 1.4.5.	README'de listelenen deney/iş yardımcı programı bağımlılığı.
Python package - tensorboardX	tensorboardX developers	tensorboardX sürümü 2.6.2.2.	README'de listelenen eğitim günlüğü görselleştirme yardımcı programı.
Python package - ml-collections	ml_collections developers	ml-collections sürümü 0.1.1.	configs/config_setting_synapse.py tarafından içe aktarılır.
Dataset