È richiesta un abbonamento a JoVE per visualizzare questo contenuto. Accedi o inizia la tua prova gratuita.
Articolo metodologico
Questo protocollo descrive come costruire, addestrare e valutare un framework multiview Vision Mamba U-Shaped Network per la segmentazione delle immagini mediche, consentendo la segmentazione riproducibile di lesioni cutanee e organi addominali attraverso la preparazione standardizzata di dataset, l'implementazione del modello e la valutazione delle prestazioni.
La segmentazione delle immagini mediche richiede metodi computazionali che catturano con precisione il contesto globale, i confini locali e le strutture anatomiche su scala multipla, rimanendo pur riproducibili tra diverse applicazioni. Questo articolo presenta un protocollo per costruire, addestrare e valutare un framework Multi-view Vision Mamba U-Shaped Network per la segmentazione bidimensionale di immagini mediche. Il protocollo fornisce un flusso di lavoro riproducibile che include l'acquisizione di dataset pubblici, la pre-elaborazione di immagini e maschere, la costruzione di reti, l'addestramento del modello, la selezione dei checkpoint e la valutazione delle prestazioni quantitative e qualitative. Il framework incorpora la scansione delle feature multiview per catturare informazioni spaziali, di contorno, di scala e di confine complementari e applica la fusione delle feature multistadio all'interno di un'architettura encoder-decoder a forma di U per migliorare l'integrazione delle feature durante la segmentazione. Il protocollo viene dimostrato utilizzando dataset pubblici di segmentazione delle lesioni cutanee e degli organi addominali. Secondo il flusso di lavoro di implementazione descritto, il framework raggiunge prestazioni di segmentazione competitive utilizzando metriche di valutazione standard. Seguendo le procedure presentate in questo protocollo, i ricercatori possono riprodurre l'implementazione del modello, addestrare la rete utilizzando impostazioni sperimentali definite, valutare le prestazioni di segmentazione e adattare il flusso di lavoro per compiti correlati di segmentazione di immagini mediche che richiedono analisi riproducibili basate su deep learning.
La segmentazione delle immagini mediche è un compito fondamentale nei campi della visione artificiale e dell'analisi delle immaginimediche 1,2,3. Consiste nel partizionare un'immagine in più regioni o oggetti per ulteriori analisi e elaborazioni. Questa tecnologia è particolarmente importante nell'imaging medico perché aiuta i clinici a identificare e localizzare le regioni patologiche, migliorando così l'accuratezza diagnostica e la pianificazione del trattamento. Con il progresso delle tecnologie di imaging medico, come la risonanza magneti....
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Questo studio ha utilizzato solo dataset di immagini mediche pubblicamente disponibili e de-identificate, tra cui ISIC 2017, ISIC 2018 e Synapse. In questo studio non sono stati raccolti nuovi partecipanti umani, soggetti animali o cartelle cliniche private identificabili. Il dataset ISIC 2017 utilizzato in questo studio è stato il dataset di segmentazione delle lesioni cutanee ISIC 2017 Challenge, ottenuto dal repository ufficiale della International Skin Imaging Collaboration (https://challenge.isic-archive.com/data/#2017). La versione del dataset utilizzata in questo studio corrisponde al compito di segmentazione delle lesioni ISIC....
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Risultati attesi e interpretazione
Quando questo protocollo viene implementato correttamente, il modello addestrato MVM-UNet dovrebbe produrre prestazioni di segmentazione stabili su esecuzioni ripetute, con solo piccole variazioni tra diversi semi casuali per la maggior parte delle metriche di valutazione. Per ISIC 2017 e ISIC 2018, i risultati positivi sono riflessi da alti valori di DSC, mIoU, Acc, Sen e Spe, insieme a maschere lesionistiche previste che seguono da.......
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Questo protocollo descrive MVM-UNet, un framework di segmentazione delle immagini mediche basato su Mamba. Il metodo è stato progettato per affrontare due limitazioni dei modelli di segmentazione esistenti. Innanzitutto, i metodi convenzionali basati su CNN hanno una capacità limitata di modellare dipendenze a lungo raggio e informazioni contestuali gerarchiche in immagini medichecomplesse 43. In secondo luogo, i metodi basati su Transformer possono modellare il c.......
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Gli autori dichiarano di non avere interessi finanziari in competizione.
Questa ricerca non ricevette finanziamenti esterni.
....Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
| Nome | Azienda | Numero di catalogo | Commenti |
|---|---|---|---|
| Hardware - GPU workstation or GPU server | Institutional computing platform / local workstation | Custom-built local GPU workstation; Ubuntu 22.04.1 con kernel Linux 6.8.0; Intel Core i9-13900K CPU; GPU NVIDIA A800; 128 GB di RAM; 512 GB di spazio di archiviazione locale. | Piattaforma di calcolo per l'addestramento, la convalida, il test, l'abolizione e gli esperimenti di sola inferenza. |
| Hardware - Graphics processing unit (GPU) | NVIDIA Corporation | GPU NVIDIA A800 (80 GB di memoria). | Training e inferenza accelerati da GPU. |
| Hardware - Central processing unit (CPU) | Intel Corporation / AMD | CPU Intel Core i9-13900K di 13a generazione. | Processore host per il caricamento dei dati, la pre-elaborazione e l'esecuzione degli esperimenti. |
| Hardware - System memory (RAM) | Institutional computing platform / local workstation | 128 GB di RAM di sistema | Memoria per il caricamento dei dataset, la pre-elaborazione e l'addestramento. |
| Hardware - Storage | Institutional computing platform / local workstation | Unità a stato solido NVMe da 2 TB. | Spazio di archiviazione per dataset, checkpoint, log e figure di previsione generate. |
| Software environment - Operating system | Canonical Ltd. | Raccomandato: Ubuntu 22.04.1 LTS | Sistema operativo per l'ambiente di calcolo. |
| Software environment - Conda environment | Anaconda, Inc. / Miniconda | Nome dell'ambiente: mvmunet | Ambiente Python utilizzato per installare e isolare le dipendenze. |
| Software environment - Python | Python Software Foundation | Python 3.8 | Lingua di programmazione utilizzata per l'implementazione e l'esecuzione degli esperimenti. |
| Software environment - CUDA toolkit | NVIDIA Corporation | CUDA Toolkit 11.8 | Backend di calcolo GPU richiesto da PyTorch e pacchetti correlati a Mamba. |
| Software environment - cuDNN | NVIDIA Corporation | cuDNN 8.7.0. | Primitive di apprendimento profondo accelerate da GPU utilizzate tramite PyTorch. |
| Python package - PyTorch | PyTorch | torch == 2.0.1 | Framework di apprendimento profondo per l'addestramento del modello, il calcolo della perdita, l'ottimizzazione e l'inferenza. |
| Python package - Torchvision | PyTorch | torchvision == 0.14.0 | Utilità di trasformazione delle immagini utilizzate nella pre-elaborazione e nell'aumento. |
| Python package - Torchaudio | PyTorch | torchaudio == 0.13.0 | Installato con l'ambiente PyTorch raccomandato. |
| Python package - timm | timm developers | timm == 0.4.12 | Dipendenza del componente del modello o dell'utilità elencata nelle istruzioni dell'ambiente del repository. |
| Python package - triton | OpenAI / Triton developers | triton == 2.0.0 | Dipendenza utilizzata dai componenti di modellazione di sequenze accelerati da GPU. |
| Python package - causal-conv1d | causal-conv1d developers | causal_conv1d == 1.0.0 | Dipendenza di convoluzione causale efficiente richiesta dall'implementazione di Mamba. |
| Python package - mamba-ssm | Mamba SSM developers | mamba_ssm == 1.0.1 | Pacchetto di modellazione di sequenze statali utilizzato per i componenti relativi a Mamba/S6. |
| Python package - NumPy | NumPy developers | Versione di NumPy 1.24.3. | Operazioni di calcolo numerico e array. |
| Python package - SciPy | SciPy developers | Versione di SciPy 1.10.1. | Calcolo scientifico; scipy.ndimage.zoom è importato in utils.py. |
| Python package - SimpleITK | Insight Software Consortium | Versione di SimpleITK 2.2.1. | Utilità di input/output e pre-elaborazione di immagini mediche importata in utils.py. |
| Python package - MedPy | MedPy developers | Versione di MedPy 0.4.0. | Pacchetto di calcolo delle metriche delle immagini mediche importato in utils.py. |
| Python package - scikit-image | scikit-image developers | Versione di scikit-image 0.21.0. | Dipendenza di elaborazione delle immagini elencata nel README. |
| Python package - scikit-learn | scikit-learn developers | Versione di scikit-learn 1.3.2. | Pacchetto di utilità di apprendimento automatico elencato nel README. |
| Python package - matplotlib | Matplotlib developers | Versione di Matplotlib 3.7.2. | Utilizzato per salvare figure di visualizzazione qualitative. |
| Python package - h5py | h5py developers | Versione di h5py 3.9.0. | Supporto per file HDF5 per i volumi di test Synapse. |
| Python package - thop | THOP developers | Versione di THOP 0.1.1.post2209072238. | Utilizzato nel calcolo dei FLOP e del costo computazionale relativo ai parametri. |
| Python package - packaging | Python Packaging Authority | Versione di packaging 23.1. | Dipendenza elencata nel README. |
| Python package - pytest | pytest developers | Versione di pytest 7.4.0. | Dipendenza elencata nel README. |
| Python package - chardet | chardet developers | Versione di chardet 5.2.0. | Dipendenza elencata nel README. |
| Python package - yacs | YACS developers | Versione di yacs 0.1.8. | Dipendenza dell'utilità di configurazione elencata nel README. |
| Python package - termcolor | termcolor developers | Versione di termcolor 2.3.0. | Dipendenza dell'utilità di log/terminale elencata nel README. |
| Python package - submitit | submitit developers | Versione di submitit 1.4.5. | Dipendenza dell'utilità di esperimento/lavoro elencata nel README. |
| Python package - tensorboardX | tensorboardX developers | Versione di tensorboardX 2.6.2.2. | Utilità di visualizzazione dei log di addestramento elencata nel README. |
| Python package - ml-collections | ml_collections developers | Versione di ml-collections 0.1.1. | Importato da configs/config_setting_synapse.py. |
| Dataset - ISIC 2017 Challenge dataset | International Skin Imaging Collaboration | Dataset di segmentazione delle lesioni cutanee ISIC 2017 | Immagini e maschere di lesioni cutanee dermatoscopiche pubbliche e anonime utilizzate per la segmentazione binaria. |
| Dataset - ISIC 2018 Challenge Task 1 dataset | International Skin Imaging Collaboration | ISIC 2018 Task 1: Segmentazione del contorno della lesione | Immagini e maschere di lesioni cutanee dermatoscopiche pubbliche e anonime utilizzate per la segmentazione binaria. |
| Dataset - Synapse Multi-Atlas Labeling Beyond the Cranial Vault dataset | Synapse / Sage Bionetworks | Identificatore di accesso: syn3193805 | Dataset pubblico di segmentazione multi-organo di TC addominale. |
| Data organization - ISIC 2017 data folder | Authors / repository layout | data/isic2017/ | Cartella locale prevista con |
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.