Multi-View Vision Mamba U-shaped Network Framework für medizinische Bildsegmentierung

Zusammenfassung

Dieses Protokoll beschreibt, wie ein Multiview-Vision Mamba U-shaped Network-Framework für medizinische Bildsegmentierung gebaut, trainiert und bewertet werden kann, wodurch eine reproduzierbare Segmentierung von Hautläsionen und Bauchorganen durch standardisierte Datensatzvorbereitung, Modellimplementierung und Leistungsbewertung möglich ist.

Zusammenfassung

Medizinische Bildsegmentierung erfordert rechnerische Methoden, die globalen Kontext, lokale Grenzen und multiskalige anatomische Strukturen genau erfassen und gleichzeitig in verschiedenen Anwendungen reproduzierbar bleiben. Dieser Artikel stellt ein Protokoll zur Konstruktion, zum Training und zur Bewertung eines Multi-view Vision Mamba U-Shaped Network-Frameworks für zweidimensionale medizinische Bildsegmentierung vor. Das Protokoll bietet einen reproduzierbaren Workflow, der öffentliche Datensatzerfassung, Bild- und Maskenvorverarbeitung, Netzwerkaufbau, Modelltraining, Checkpoint-Auswahl sowie quantitative und qualitative Leistungsbewertung umfasst. Das Framework integriert Multiview-Feature-Scanning, um komplementäre räumliche, Kontur-, Skalierungs- und Randinformationen zu erfassen, und wendet mehrstufige Feature-Fusion innerhalb einer U-förmigen Encoder-Decoder-Architektur an, um die Feature-Integration während der Segmentierung zu verbessern. Das Protokoll wird mithilfe öffentlich zugänglicher Datensätze zur Hautläsion und der Segmentierung von Bauchorganen demonstriert. Unter dem beschriebenen Implementierungsworkflow erreicht das Framework eine wettbewerbsfähige Segmentierungsleistung mittels standardisierter Bewertungskennzahlen. Durch die Befolgung der in diesem Protokoll vorgestellten Verfahren können Forscher die Modellimplementierung reproduzieren, das Netzwerk mit definierten experimentellen Umgebungen trainieren, die Segmentierungsleistung bewerten und den Arbeitsablauf für verwandte medizinische Bildsegmentierungsaufgaben anpassen, die reproduzierbare, auf Deep-Learning-Basis basierende Analyse erfordern.

Einleitung

Medizinische Bildsegmentierung ist eine grundlegende Aufgabe in den Bereichen Computer Vision und medizinische Bildanalyse ^1,2,3. Dabei wird ein Bild in mehrere Bereiche oder Objekte unterteilt, um es weiter zu analysieren und zu verarbeiten. Diese Technologie ist besonders wichtig in der medizinischen Bildgebung, da sie Klinikern hilft, pathologische Regionen zu identifizieren und zu lokalisieren, wodurch die diagnostische Genauigkeit und Behandlungsplanung verbessert werden. Mit dem Fortschritt medizinischer Bildgebungstechnologien wie Magn....

Protokoll

Diese Studie nutzte ausschließlich öffentlich zugängliche und de-identifizierte medizinische Bilddatensätze, darunter ISIC 2017, ISIC 2018 und Synapse. In dieser Studie wurden keine neuen menschlichen Teilnehmer, Tierprobanden oder identifizierbare private medizinische Unterlagen gesammelt. Der in dieser Studie verwendete ISIC-2017-Datensatz war der ISIC 2017 Challenge Skin Lesion Segmentation Dataset, der aus dem offiziellen International Skin Imaging Collaboration Challenge Data Repository (https://challenge.isic-archive.com/data/#2017) stammt. Die in dieser Studie verwendete Datensatzversion entspricht der ISIC-Läsionssegmentierung....

Ergebnisse

Erwartete Ergebnisse und Interpretation
Wenn dieses Protokoll korrekt implementiert ist, wird erwartet, dass das trainierte MVM-UNet-Modell eine stabile Segmentierungsleistung über wiederholte Durchläufe hinweg liefert, mit nur geringen Unterschieden zwischen verschiedenen Zufalls-Seeds für die meisten Evaluationsmetriken. Für ISIC 2017 und ISIC 2018 spiegeln sich erfolgreiche Ergebnisse in hohen DSC-, mIoU-, Acc-, Sen- und Spe-Werten wider, zusammen mit vorhergesagte.......

Diskussion

Dieses Protokoll beschreibt MVM-UNet, ein auf Mamba basierendes medizinisches Bildsegmentierungs-Framework. Die Methode wurde entwickelt, um zwei Einschränkungen bestehender Segmentierungsmodelle zu adressieren. Erstens haben konventionelle CNN-basierte Methoden eine begrenzte Fähigkeit, Langstreckenabhängigkeiten und hierarchische kontextuelle Informationen in komplexen medizinischen Bildern zu modellieren⁴³. Zweitens können Transformer-basierte Methoden den glob.......

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
Hardware - GPU workstation or GPU server	Institutional computing platform / local workstation	Custom-built local GPU workstation; Ubuntu 22.04.1 mit Linux Kernel 6.8.0; Intel Core i9-13900K CPU; NVIDIA A800 GPU; 128 GB RAM; 512 GB lokaler Speicher.	Berechnungsplattform für Training-, Validierungs-, Test-, Ablations- und Inferenz-only-Experimente.
Hardware - Graphics processing unit (GPU)	NVIDIA Corporation	NVIDIA A800 GPU (80 GB Speicher).	GPU-beschleunigte Modelltrainings- und Inferenz.
Hardware - Central processing unit (CPU)	Intel Corporation / AMD	13th Gen Intel Core i9-13900K CPU.	Host-Prozessor für Datenladen, Vorverarbeitung und Experimentausführung.
Hardware - System memory (RAM)	Institutional computing platform / local workstation	128 GB System-RAM	Speicher für Datensatzladen, Vorverarbeitung und Training.
Hardware - Storage	Institutional computing platform / local workstation	2 TB NVMe Solid-State-Laufwerk.	Speicher für Datensätze, Checkpoints, Logs und generierte Vorhersagefiguren.
Software environment - Operating system	Canonical Ltd.	Empfohlen: Ubuntu 22.04.1 LTS	Betriebssystem für die Berechnungsumgebung.
Software environment - Conda environment	Anaconda, Inc. / Miniconda	Umgebungsname: mvmunet	Python-Umgebung, die zum Installieren und Isolieren von Abhängigkeiten verwendet wird.
Software environment - Python	Python Software Foundation	Python 3.8	Programmiersprache, die für Implementierung und Experimentausführung verwendet wird.
Software environment - CUDA toolkit	NVIDIA Corporation	CUDA Toolkit 11.8	GPU-Computing-Backend, das von PyTorch und Mamba-bezogenen Paketen benötigt wird.
Software environment - cuDNN	NVIDIA Corporation	cuDNN 8.7.0.	GPU-beschleunigte Deep-Learning-Primitive, die über PyTorch verwendet werden.
Python package - PyTorch	PyTorch	torch == 2.0.1	Deep-Learning-Framework für Modelltraining, Verlustberechnung, Optimierung und Inferenz.
Python package - Torchvision	PyTorch	torchvision == 0.14.0	Bild-Transformations-Utilities, die bei der Vorverarbeitung und Augmentation verwendet werden.
Python package - Torchaudio	PyTorch	torchaudio == 0.13.0	Installiert mit der empfohlenen PyTorch-Umgebung.
Python package - timm	timm developers	timm == 0.4.12	Modellkomponenten- oder Dienstprogramm-Abhängigkeit, die in den Repository-Umgebungsanweisungen aufgeführt ist.
Python package - triton	OpenAI / Triton developers	triton == 2.0.0	Abhängigkeit, die von GPU-beschleunigten Sequenzmodellierungskomponenten verwendet wird.
Python package - causal-conv1d	causal-conv1d developers	causal_conv1d == 1.0.0	Effiziente kausale Faltungsabhängigkeit, die für die Mamba-Implementierung benötigt wird.
Python package - mamba-ssm	Mamba SSM developers	mamba_ssm == 1.0.1	Zustandsraum-Sequenzmodellierungspaket, das für Mamba/S6-bezogene Komponenten verwendet wird.
Python package - NumPy	NumPy developers	NumPy Version 1.24.3.	Numerische Berechnung und Array-Operationen.
Python package - SciPy	SciPy developers	SciPy Version 1.10.1.	Wissenschaftliche Berechnung; scipy.ndimage.zoom wird in utils.py importiert.
Python package - SimpleITK	Insight Software Consortium	SimpleITK Version 2.2.1.	Medizinische Bildeingabe/-ausgabe- und Vorverarbeitungsdienstprogramm, das in utils.py importiert wird.
Python package - MedPy	MedPy developers	MedPy Version 0.4.0.	Medizinische Bildmetrik-Berechnungspaket, das in utils.py importiert wird.
Python package - scikit-image	scikit-image developers	scikit-image Version 0.21.0.	Bildverarbeitungsabhängigkeit, die in README aufgeführt ist.
Python package - scikit-learn	scikit-learn developers	scikit-learn Version 1.3.2.	Maschinelles Lern-Dienstprogrammpaket, das in README aufgeführt ist.
Python package - matplotlib	Matplotlib developers	Matplotlib Version 3.7.2.	Verwendet zum Speichern qualitativer Visualisierungsfiguren.
Python package - h5py	h5py developers	h5py Version 3.9.0.	HDF5-Dateiunterstützung für Synapse-Testvolumina.
Python package - thop	THOP developers	THOP Version 0.1.1.post2209072238.	Verwendet bei der Berechnung von FLOPs und parameterbezogenen Berechnungskosten.
Python package - packaging	Python Packaging Authority	packaging Version 23.1.	Abhängigkeit, die in README aufgeführt ist.
Python package - pytest	pytest developers	pytest Version 7.4.0.	Abhängigkeit, die in README aufgeführt ist.
Python package - chardet	chardet developers	chardet Version 5.2.0.	Abhängigkeit, die in README aufgeführt ist.
Python package - yacs	YACS developers	yacs Version 0.1.8.	Konfigurationsdienstprogramm-Abhängigkeit, die in README aufgeführt ist.
Python package - termcolor	termcolor developers	termcolor Version 2.3.0.	Logging/Terminal-Dienstprogramm-Abhängigkeit, die in README aufgeführt ist.
Python package - submitit	submitit developers	submitit Version 1.4.5.	Experiment-/Job-Dienstprogramm-Abhängigkeit, die in README aufgeführt ist.
Python package - tensorboardX	tensorboardX developers	tensorboardX Version 2.6.2.2.	Trainingsprotokoll-Visualisierungsdienstprogramm, das in README aufgeführt ist.
Python package - ml-collections	ml_collections developers	ml-collections Version 0.1.1.	Importiert von configs/config_setting_synapse.py.
Dataset - ISIC 2017 Challenge dataset	International Skin Imaging Collaboration	ISIC 2017 Hautläsionssegmentierungsdatensatz	Öffentliche, anonymisierte dermoskopische Hautläsionsbilder und Masken, die für binäre Segmentierung verwendet werden.
Dataset - ISIC 2018 Challenge Task 1 dataset	International Skin Imaging Collaboration	ISIC 2018 Task 1: Läsionsgrenzsegmentierung	Öffentliche, anonymisierte dermoskopische Hautläsionsbilder und Masken, die für binäre Segmentierung verwendet werden.
Dataset - Synapse Multi-Atlas Labeling Beyond the Cranial Vault dataset	Synapse / Sage Bionetworks	Zugangskennung: syn3193805	Öffentlicher abdominaler CT-Multiorgan-Segmentierungsdatensatz.
Data organization - ISIC 2017 data folder	Authors / repository layout	data/isic2017/	Erwarteter lokaler Ordner mit Trainings- und Validierungsbildern/Masken.
Data organization - ISIC 2018 data folder	Authors / repository layout	data/isic2018/	Erwarteter lokaler Ordner mit Trainings- und Validierungsbildern/Mask