إطار شبكة مامبا على شكل U متعدد الرؤية لتقسيم الصور الطبية

ملخص

يصف هذا البروتوكول كيفية بناء وتدريب وتقييم إطار شبكة Vision Mamba U-Shape متعددة المنظورات لتقسيم الصور الطبية، مما يمكن من إعادة تقسيم آفات الجلد وأعضاء البطن من خلال إعداد مجموعات البيانات الموحدة، وتنفيذ النماذج، وتقييم الأداء.

الملخص

يتطلب تقسيم الصور الطبية طرقا حسابية تلتقط بدقة السياق العالمي، والحدود المحلية، والهياكل التشريحية متعددة المقاييس مع الحفاظ على قابلية التكرار عبر تطبيقات مختلفة. تقدم هذه المقالة بروتوكولا لبناء وتدريب وتقييم إطار شبكة مامبا متعددة الرؤى على شكل U لتقسيم الصور الطبية ثنائية الأبعاد. يوفر البروتوكول سير عمل قابل للتكرار يشمل اكتساب مجموعات البيانات العامة، والمعالجة المسبقة للصور والأقنعة، وبناء الشبكة، وتدريب النماذج، واختيار نقاط التحقق، والتقييم الكمي والنوعي للأداء. يدمج الإطار مسح الميزات متعددة الوجهات لالتقاط معلومات مكملة عن المكان، والكنتور، والمقياس، والحدود، ويطبق دمج الميزات متعددة المراحل ضمن بنية مشفر-مفكك على شكل حرف U لتحسين تكامل الميزات أثناء التقسيم. يتم عرض البروتوكول باستخدام مجموعات بيانات الآفات الجلدية وتقسيم الأعضاء البطنية المتاحة للجمهور. وفقا لسير العمل المذكور في التنفيذ، يحقق الإطار أداء تنافسي في التقسيم باستخدام مقاييس التقييم القياسية. باتباع الإجراءات المقدمة في هذا البروتوكول، يمكن للباحثين إعادة إنتاج تنفيذ النموذج، وتدريب الشبكة باستخدام إعدادات تجريبية محددة، وتقييم أداء التقسيم، وتكييف سير العمل لمهام تقسيم الصور الطبية ذات الصلة التي تتطلب تحليلا قائما على التعلم العميق القابل للتكرار.

المقدمة

تقسيم الصور الطبية هو مهمة أساسية في مجالات رؤية الحاسوب وتحليل الصور الطبية ^1,2,3. يتضمن تقسيم الصورة إلى مناطق أو كائنات متعددة لمزيد من التحليل والمعالجة. تكتسب هذه التقنية أهمية خاصة في التصوير الطبي لأنها تساعد الأطباء في تحديد وتحديد المناطق المرضية، مما يحسن دقة التشخيص وتخطيط العلاج. مع تقدم تقنيات التصوير الطبي، مثل التصوير بالرنين المغناطيسي (MRI)، والتصوير المقطعي المحوسب (CT)، والتصوير المقطعي بانبعاث البوزيترون (PET)، استمر الطلب على تقنيات تقسيم الصور الطبية الدقيقة في الازدياد. يمكن تصنيف الطرق الحالية لتقسيم الصور الطبية بشكل ....

البروتوكول

استخدمت هذه الدراسة فقط مجموعات بيانات الصور الطبية المتاحة للجمهور وغير المحددة الهوية، بما في ذلك ISIC 2017، ISIC 2018، وSynapse. لم يتم جمع أي مشاركين بشريين جدد، أو مواضيع حيوانات، أو سجلات طبية خاصة يمكن التعرف عليها في هذه الدراسة. كانت مجموعة بيانات ISIC 2017 المستخدمة في هذه الدراسة هي مجموعة بيانات تقسيم آفات الجلد لتحدي ISIC 2017، والتي تم الحصول عليها من مستودع بيانات تحدي التعاون الدولي لتصوير الجلد (https://challenge.isic-archive.com/data/#2017). النسخة المستخدمة في هذه الدراسة تتوافق مع مهمة تقسيم الآفة في ISIC 2017، بما في ذلك الأقسام الرسمية للتدريب، والتحقق، والاختبار. تم تحميل مجموعة البيانات في 15 مارس 2024. مجموعة ....

النتائج

النتائج المتوقعة والتفسير
عندما يتم تنفيذ هذا البروتوكول بشكل صحيح، من المتوقع أن ينتج نموذج MVM-UNet المدرب أداء تقسيم مستقر عبر عمليات متكررة، مع اختلافات بسيطة فقط بين البذور العشوائية المختلفة لمعظم مقاييس التقييم. بالنسبة لمعايير ISIC 2017 وISIC 2018، تنعكس النتائج الناجحة في قيم DSC وmIoU وAcc وSen وSpe مرتفعة، إلى جانب أقنعة آفات متوقعة تتبع عن كثب حدود الآفات الأرضية والحقيقة (الأشكال 6 و7). بالنسبة للسينابس، تنعكس النتائج الناجحة في متوسط قيم.......

المناقشة

يصف هذا البروتوكول إطار عمل MVM-UNet، وهو إطار عمل لتقسيم الصور الطبية يعتمد على مامبا. تم تصميم الطريقة لمعالجة محدودين في نماذج التقسيم الحالية. أولا، الطرق التقليدية المعتمدة على CNN لديها قدرة محدودة على نمذجة التبعيات طويلة المدى والمعلومات السياقية الهرمية في الصور الطبية المعقدة⁴³. ثانيا، يمكن للطرق المعتمدة على المحولات نمذجة السياق العالمي لكنها عادة ما تتطلب تكلفة حسابية أعلى^23,25. يستخدم MVM-UNe.......

المواد

قائمة المواد المستخدمة في هذه المقالة

الاسم	الشركة	رقم فهرسي	التعليقات
Hardware - GPU workstation or GPU server	Institutional computing platform / local workstation	Custom-built local GPU workstation; Ubuntu 22.04.1 with Linux kernel 6.8.0; Intel Core i9-13900K CPU; NVIDIA A800 GPU; 128 GB RAM; 512 GB local storage.	Computational platform for training, validation, testing, ablation, and inference-only experiments.
Hardware - Graphics processing unit (GPU)	NVIDIA Corporation	NVIDIA A800 GPU (80 GB memory).	GPU-accelerated model training and inference.
Hardware - Central processing unit (CPU)	Intel Corporation / AMD	13th Gen Intel Core i9-13900K CPU.	Host processor for data loading, preprocessing, and experiment execution.
Hardware - System memory (RAM)	Institutional computing platform / local workstation	128 GB system RAM	Memory for dataset loading, preprocessing, and training.
Hardware - Storage	Institutional computing platform / local workstation	2 TB NVMe solid-state drive.	Storage for datasets, checkpoints, logs, and generated prediction figures.
Software environment - Operating system	Canonical Ltd.	Recommended: Ubuntu 22.04.1 LTS	Operating system for the computational environment.
Software environment - Conda environment	Anaconda, Inc. / Miniconda	Environment name: mvmunet	Python environment used to install and isolate dependencies.
Software environment - Python	Python Software Foundation	Python 3.8	Programming language used for implementation and experiment execution.
Software environment - CUDA toolkit	NVIDIA Corporation	CUDA Toolkit 11.8	GPU computing backend required by PyTorch and Mamba-related packages.
Software environment - cuDNN	NVIDIA Corporation	cuDNN 8.7.0.	GPU-accelerated deep-learning primitives used through PyTorch.
Python package - PyTorch	PyTorch	torch == 2.0.1	Deep-learning framework for model training, loss calculation, optimization, and inference.
Python package - Torchvision	PyTorch	torchvision == 0.14.0	Image transform utilities used in preprocessing and augmentation.
Python package - Torchaudio	PyTorch	torchaudio == 0.13.0	Installed with the recommended PyTorch environment.
Python package - timm	timm developers	timm == 0.4.12	Model-component or utility dependency listed in the repository environment instructions.
Python package - triton	OpenAI / Triton developers	triton == 2.0.0	Dependency used by GPU-accelerated sequence modeling components.
Python package - causal-conv1d	causal-conv1d developers	causal_conv1d == 1.0.0	Efficient causal convolution dependency required by the Mamba implementation.
Python package - mamba-ssm	Mamba SSM developers	mamba_ssm == 1.0.1	State-space sequence modeling package used for Mamba/S6-related components.
Python package - NumPy	NumPy developers	NumPy version 1.24.3.	Numerical computation and array operations.
Python package - SciPy	SciPy developers	SciPy version 1.10.1.	Scientific computation; scipy.ndimage.zoom is imported in utils.py.
Python package - SimpleITK	Insight Software Consortium	SimpleITK version 2.2.1.	Medical image input/output and preprocessing utility imported in utils.py.
Python package - MedPy	MedPy developers	MedPy version 0.4.0.	Medical image metric calculation package imported in utils.py.
Python package - scikit-image	scikit-image developers	scikit-image version 0.21.0.	Image-processing dependency listed in README.
Python package - scikit-learn	scikit-learn developers	scikit-learn version 1.3.2.	Machine-learning utility package listed in README.
Python package - matplotlib	Matplotlib developers	Matplotlib version 3.7.2.	Used for saving qualitative visualization figures.
Python package - h5py	h5py developers	h5py version 3.9.0.	HDF5 file support for Synapse test volumes.
Python package - thop	THOP developers	THOP version 0.1.1.post2209072238.	Used when calculating FLOPs and parameter-related computational cost.
Python package - packaging	Python Packaging Authority	packaging version 23.1.	Dependency listed in README.
Python package - pytest	pytest developers	pytest version 7.4.0.	Dependency listed in README.
Python package - chardet	chardet developers	chardet version 5.2.0.	Dependency listed in README.
Python package - yacs	YACS developers	yacs version 0.1.8.	Configuration utility dependency listed in README.
Python package - termcolor	termcolor developers	termcolor version 2.3.0.	Logging/terminal utility dependency listed in README.
Python package - submitit	submitit developers	submitit version 1.4.5.	Experiment/job utility dependency listed in README.
Python package - tensorboardX	tensorboardX developers	tensorboardX version 2.6.2.2.	Training log visualization utility listed in README.
Python package - ml-collections	ml_collections developers	ml-collections version 0.1.1.	Imported by configs/config_setting_synapse.py.
Dataset - ISIC 2017 Challenge dataset	International Skin Imaging Collaboration	ISIC 2017 skin lesion segmentation dataset	Public de-identified dermoscopic skin lesion images and masks used for binary segmentation.
Dataset - ISIC 2018 Challenge Task 1 dataset	International Skin Imaging Collaboration	ISIC 2018 Task 1: Lesion Boundary Segmentation	Public de-identified dermoscopic skin lesion images and masks used for binary segmentation.
Dataset - Synapse Multi-Atlas Labeling Beyond the Cranial Vault dataset	Synapse / Sage Bionetworks	Accession identifier: syn3193805	Public abdominal CT multi-organ segmentation dataset.
Data organization - ISIC 2017 data folder	Authors / repository layout	data/isic2017/	Expected local folder containing train and validation images/masks.
Data organization - ISIC 2018 data folder	Authors / repository layout	data/isic2018/	Expected local folder containing train and validation images/masks.
Data organization - Synapse data folder	Authors / repository layout	data/Synapse/	Expected local folder for Synapse lists, train_npz, and test_vol_h5.
Source code - MVM-UNet source-code repository	Authors / GitHub	Branch: master;Git commit hash: ee891b42c2f083c4990eed72f1d4463adc5e103e.	Complete source-code implementation of the protocol.
Source code - ISIC configuration file	Authors	configs/config_setting.py	Configuration file for ISIC-style binary segmentation.
Source code - Synapse configuration file	Authors	configs/config_setting_synapse.py	Configuration file for Synapse multi-organ segmentation.
Source code - ISIC training script	Authors	train.py	Training and validation entry point for ISIC-style binary segmentation.
Source code - Synapse training script	Authors	train_synapse.py	Training and validation entry point for Synapse multi-class segmentation.
Source code -