Wielowidokowa struktura sieci Vision Mamba w kształcie litery U do segmentacji obrazów medycznych

Podsumowanie

Ten protokół opisuje, jak skonstruować, wytrenować i wycenić wieloperspektywiczną ramę sieci Vision Mamba w kształcie litery U dla segmentacji obrazów medycznych, umożliwiającą powtarzalną segmentację zmian skórnych i narządów jamy brzusznej poprzez standaryzowane przygotowanie zestawu danych, implementację modelu i ocenę wydajności.

Streszczenie

Segmentacja obrazów medycznych wymaga metod obliczeniowych, które dokładnie uchwytują globalny kontekst, lokalne granice oraz struktury anatomiczne wieloskalowe, zachowując jednocześnie możliwość reprodukcji w różnych zastosowaniach. W tym artykule przedstawiono protokół budowy, trenowania i oceny Multi-view Vision Mamba U-Shaped Network framework dla dwuwymiarowej segmentacji obrazów medycznych. Protokół zapewnia możliwość reprodukcji procesu, który obejmuje pozyskiwanie publicznego zbioru danych, przetwarzanie obrazu i maski, budowę sieci, trenowanie modelu, wybór punktów zapisu i ilościową oraz jakościową ocenę wydajności. Framework włącza skanowanie cech wielowidokowych, aby uchwycić uzupełniające informacje przestrzenne, konturowe, skalowe i graniczne, oraz stosuje wieloetapowe łączenie cech w architekturze kodera-dekodera w kształcie U w celu poprawy integracji cech podczas segmentacji. Protokół jest demonstrowany przy użyciu publicznie dostępnych zbiorów danych dotyczących segmentacji zmian skórnych i narządów jamy brzusznej. Zgodnie z opisanym przepływem implementacji, framework osiąga konkurencyjną wydajność segmentacji przy użyciu standardowych metryk ewaluacji. Dzięki przestrzeganiu procedur przedstawionych w tym protokole, naukowcy mogą odtworzyć implementację modelu, wytrenować sieć przy użyciu określonych ustawień eksperymentalnych, ocenić wydajność segmentacji oraz dostosować przepływ pracy do pokrewnych zadań segmentacji obrazów medycznych wymagających rozbudowanej analizy opartej na nauce głębokiej.

Wprowadzenie

Segmentacja obrazów medycznych jest fundamentalnym zadaniem w dziedzinie komputerowego rozpoznawania obrazów oraz analizy obrazów medycznych^1,2,3. Polega ona na podziale obrazu na wiele regionów lub obiektów w celu ich dalszej analizy i przetwarzania. Technologia ta jest szczególnie istotna w obrazowaniu medycznym, ponieważ pomaga klinicystom w identyfikacji i lokalizacji obszarów patologicznych, co przekłada się na poprawę dokładności diagnostycznej i planowania leczenia. Wraz z rozwojem technologii obrazowania medycznego, takich jak obrazowanie rezonansem magnetycznym (MRI), tomografia komputerowa (CT) oraz pozytonowa tomografia emisyjna (PET), zapotrzebowanie na dokładne techniki segmentacji obrazów medycznych stale rośnie. Obecne metody segmentacji obrazów medycznych można szeroko podzielić na trzy główne podejścia: metody oparte na splotowych sieciach neuronowych (CNN)⁴, metody oparte na Transformerach⁵ oraz metody oparte na modelach przestrzeni stanów (SSM)^6,7. Metody oparte na CNN zazwyczaj wykorzystują architektury sieci o kształcie litery U do segmentacji obrazów medycznych. Najszerzej stosowaną architekturą w tej kategorii jest U-Net⁸, która wykazała skuteczność architektury koder-dekoder w kształcie litery U w segmentacji obrazów biomedycznych. U-Net3+ łączy gęste połączenia pomijające (skip connections) z UNet++⁹ z pełnoskalowymi połączeniami pomijającymi w celu usprawnienia agregacji cech wieloskalowych. Jednakże metody oparte na CNN mają ograniczoną zdolność do wychwytywania zależności dalekozasięgowych, przez co mogą nie modelować efektywnie kontekstowych informacji długodystansowych.

Metody oparte na architekturze Transformer skutecznie wychwytują dalekozasięgowe zależności dzięki mechanizmowi self-attention, który umożliwia obliczenia równoległe i przypisuje różne wagi uwagi do różnych obszarów zainteresowania. UNETR++¹⁰ wprowadza moduł Efficient Paired Attention (EPA) w celu zmniejszenia liczby parametrów i kosztów obliczeniowych. nnFormer¹¹ łączy przeplatane operacje splotowe i self-attention oraz wprowadza lokalno-globalny mechanizm self-attention oparty na wolumenach do nauki reprezentacji wolumetrycznych w trójwymiarowej (3D) segmentacji obrazów medycznych. H2Former¹² proponuje wydajny hierarchiczny hybrydowy Vision Transformer, który w enkoderze łączy mechanizmy uwagi z ekstrakcją cech opartą na CNN. Jednakże metody oparte na Transformerach wykazują kwadratową złożoność obliczeniową wraz ze wzrostem długości sekwencji, co skutkuje znacznie wyższym kosztem obliczeniowym. Rysunek 1 ilustruje uzasadnienie dla MVM-UNet i porównuje proponowaną strategię skanowania wielowidokowego z istniejącymi ramami segmentacji opartymi na SSM.

Rycina 1. Porównanie MVM-UNet z istniejącymi architekturami segmentacji opartymi wyłącznie na modelach przestrzeni stanów (SSM). Porównanie konwencjonalnego frameworka segmentacji opartego wyłącznie na modelu przestrzeni stanów (SSM) z proponowaną architekturą Multi-View Mamba U-Net (MVM-UNet). Górny panel przedstawia MVM-UNet, w którym moduł Multi-View 4-Directional (MV4D) ekstrahuje komplementarne cechy za pomocą par skanowania zygzakowatego, hierarchicznego, spiralnego i radialnego, które są integrowane przez Spatial Fusion Mamba (SFusion Mamba), podczas gdy Multistage Fusion Mamba (MFusion Mamba) agreguje wieloskalowe cechy kodera przed dekodowaniem. Dolny panel pokazuje reprezentatywną architekturę opartą wyłącznie na SSM, wykorzystującą moduły Selective Scan 2-Dimensional (SS2D) ze skanowaniem krzyżowym. Rycina podkreśla różnice architektoniczne między konwencjonalnymi sieciami segmentacyjnymi opartymi na SSM a proponowanym MVM-UNet. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Metody oparte na SSM łączą możliwości globalnego modelowania Transformerów z liniową złożonością obliczeniową. Architektura Mamba selektywnie przetwarza informacje wejściowe przy użyciu selektywnego modelu przestrzeni stanów (Selective-SSM), co pozwala modelowi na dynamiczną regulację parametrów w zależności od danych wejściowych, przy jednoczesnym filtrowaniu nieistotnych informacji i podkreślaniu cech informacyjnych. Vim¹³ oraz VMamba¹⁴ adaptują architekturę Mamba do zadań z zakresu wizji komputerowej. U-Mamba¹⁵ wykorzystuje hybrydową architekturę CNN–SSM w celu zbadania zastosowania SSM w segmentacji obrazów medycznych, podczas gdy Mamba-UNet¹⁶ przyjmuje architekturę koder–dekoder w pełni opartą na SSM do segmentacji obrazów medycznych. Metody te osiągają konkurencyjne wyniki przy użyciu znacznie mniejszej liczby parametrów. Jednakże obecne metody oparte na SSM/Mamba ekstrahują cechy obrazu głównie za pomocą prostych patchy obrazu i strategii skanowania SS2D, co wiąże się z kilkoma ograniczeniami w przypadku segmentacji obrazów medycznych. Po pierwsze, techniki SS2D i metody oparte na patchach są projektowane przede wszystkim dla ogólnych zadań wizji komputerowej. Local Mamba¹⁷ oraz Motion Mamba¹⁸ zasugerowały, że strategia skanowania SS2D jest niewystarczająca dla wszystkich zadań wizualnych, ponieważ różne strategie skanowania wychwytują różne rodzaje informacji wizualnych. Po drugie, strategia skanowania SS2D jest stosunkowo prosta, opierając się jedynie na poziomych i pionowych kierunkach skanowania. W konsekwencji może ona nie oddawać w pełni złożonych relacji przestrzennych i drobnych szczegółów strukturalnych. Segmentacja obrazów medycznych wymaga jednoczesnego modelowania zarówno globalnego kontekstu przestrzennego, jak i precyzyjnych lokalnych cech anatomicznych. Co więcej, obecne metody oparte na SSM/Mamba zapewniają ograniczoną fuzję cech między koderem a dekoderem. Architektury takie jak UNet++ i FATNet poprawiają dokładność segmentacji poprzez ulepszoną fuzję cech, co podkreśla znaczenie efektywnej integracji cech w segmentacji obrazów medycznych.

Aby rozwiązać te ograniczenia, w niniejszej pracy zaproponowano nowatorską strukturę segmentacji obrazów medycznych opartą na Mamba, nazwaną MVM-UNet. Jak pokazano na Rysunku 1, proponowany moduł Multi-View Four-Directional (MV4D) służy jako główny komponent ekstrakcji cech MVM-UNet i został zaprojektowany specjalnie do segmentacji obrazów medycznych poprzez integrację informacji z czterech różnych strategii skanowania. Każda strategia skanowania ekstrahuje komplementarne cechy obrazu i reprezentuje inny widok obrazu wejściowego. Skanowanie zygzakowate (zigzag scanning)¹⁹ naprzemiennie zmienia kierunek przejścia na końcu każdego wiersza lub kolumny, równoważąc tym samym lokalne i globalne informacje przestrzenne. W przeciwieństwie do tego, schematy skanowania spiralnego i radialnego²⁰ zapewniają kompleksowe pokrycie poprzez rozszerzanie się od środka na zewnątrz lub od peryferii do wewnątrz. Skanowanie hierarchiczne¹⁸ rejestruje cechy lokalne i globalne w wielu skalach. Aby poprawić odporność każdej strategii skanowania, pary skanów są łączone przed wprowadzeniem do bloku S6. Moduł Scan-view Fusion Mamba (SFusion Mamba) integruje następnie cechy wyekstrahowane z czterech modalności skanowania. Aby efektywnie wykorzystać wieloskalowe cechy kodera, w pracy zaproponowano ponadto wieloskalowy moduł fuzji Mamba (MFusion Mamba), który akumuluje i łączy wyjścia z każdego etapu kodera przed przekazaniem połączonych cech do dekodera. MVM-UNet został oceniony na zbiorach danych ISIC 2017, ISIC 2018 oraz Synapse. Wyniki eksperymentalne wykazują, że MVM-UNet osiąga konkurencyjną wydajność segmentacji na zbiorach danych ISIC 2017, ISIC 2018 i Synapse.

Reprezentatywne architektury segmentacji przyczyniły się do dalszego rozwoju segmentacji obrazów medycznych. Sieć U-Net została z sukcesem zastosowana w zadaniach analizy obrazów biomedycznych, takich jak liczenie komórek, detekcja oraz morfometria²¹. Architektury CNN z mechanizmem uwagi, takie jak CA-Net²², poprawiają reprezentację cech dzięki kompleksowym mechanizmom uwagi. Reprezentatywne frameworki segmentacji oparte na Transformerach, w tym TransUNet²³, Pyramid Medical Transformer²⁴, Swin U-Net²⁵, TransAttUNet²⁶ oraz TransCUNet²⁷, dodatkowo demonstrują skuteczność globalnego modelowania cech opartego na mechanizmach uwagi w segmentacji obrazów medycznych.

Konstrukcja modelu MVM-UNet została podyktowana dwoma ograniczeniami istniejących metod segmentacji opartych na SSM/Mamba. Po pierwsze, wiele aktualnych modeli Vision Mamba opiera się na prostych dwuwymiarowych strategiach skanowania, które mogą być niewystarczające w przypadku obrazów medycznych zawierających nieregularne granice zmian chorobowych, małe obszary docelowe oraz wieloskalowe struktury anatomiczne. Po drugie, konwencjonalne architektury koder-dekoder w kształcie litery U przekazują cechy głównie poprzez odpowiadające im połączenia pomijające (skip connections), co ogranicza bezpośrednie wykorzystanie informacji z wieloetapowego kodera podczas dekodowania. W związku z tym w MVM-UNet wprowadzono moduł MV4D w celu usprawnienia wielowidokowego modelowania przestrzennego oraz MFusion Mamba do jawnej agregacji cech z wieloetapowego kodera. Konstrukcja ta ma na celu dostosowanie modelowania długodystansowego opartego na Mamba do specyficznych wymagań segmentacji obrazów medycznych.

Choć MVM-UNet opiera się na ogólnym paradygmacie koder–dekoder oraz modelowaniu sekwencji bazującym na Mamba, jego nowatorstwo polega na sposobie adaptacji i integracji tych komponentów w celu segmentacji obrazów medycznych. Zamiast prostego włączenia standardowego bloku Mamba do szkieletu sieci w kształcie litery U, proponowana struktura przeprojektowuje proces modelowania przestrzennego poprzez wiele zorientowanych na zadanie gałęzi par skanowania, wprowadza SFusion Mamba do integracji reprezentacji specyficznych dla skanowania, usprawnia blok MVV za pomocą ścieżek rezydualnych i projekcyjnych oraz wstawia MFusion Mamba pomiędzy koderem a dekoderem, aby zagregować wieloetapowe cechy kodera przed dekodowaniem. Ten projekt na poziomie architektury ma na celu rozwiązanie problemu nieregularnych granic, małych obszarów docelowych oraz wieloskalowych struktur anatomicznych powszechnie występujących w obrazach medycznych.

Niniejszy protokół jest najbardziej odpowiedni dla zadań segmentacji wymagających jednoczesnego modelowania dalekosiężnych informacji kontekstowych, nieregularnych granic obiektów oraz wieloskalowych struktur anatomicznych w dwuwymiarowych obrazach medycznych. W porównaniu z metodami segmentacji opartymi na sieciach CNN, konstrukcja koder-dekoder oparta na architekturze Mamba zapewnia skuteczny mechanizm modelowania kontekstu, zachowując jednocześnie znany badaczom segmentacji obrazów medycznych przepływ pracy w kształcie litery U. W porównaniu z metodami opartymi na Transformerach, proponowany framework unika bezpośredniego zastosowania kwadratowej samoatencji i jest przeznaczony dla badaczy poszukujących globalnego modelowania kontekstu przy użyciu stosunkowo wydajnego mechanizmu modelowania sekwencji. W związku z tym protokół ten jest odpowiedni do segmentacji zmian skórnych, segmentacji narządów jamy brzusznej oraz podobnych zadań segmentacji dwuwymiarowych obrazów medycznych, w których istotne są zarówno globalne informacje strukturalne, jak i lokalne szczegóły granic.

Niniejszy protokół posiada również ograniczenia, które należy rozważyć przed jego zastosowaniem. Może on być zbędny w przypadku stosunkowo prostych zadań segmentacji, w których lekka sieć CNN zapewnia już wystarczającą wydajność. Ponadto nie został on zaprojektowany bezpośrednio do pełnej trójwymiarowej segmentacji wolumetrycznej bez adaptacji architektury. Badacze dysponujący bardzo ograniczoną ilością danych adnotowanych, ograniczonymi zasobami jednostki przetwarzania graficznego (GPU) lub wymagający wysokiej interpretowalności modeli klasycznych powinni również wziąć pod uwagę te ograniczenia przed zastosowaniem protokołu. Ogólnie metoda ta jest przeznaczona dla badaczy dążących do odtworzenia i oceny opartej na Mamba architektury segmentacji w kształcie litery U, która równoważy modelowanie kontekstu długodystansowego, reprezentację lokalnych granic oraz wieloetapową fuzję cech.

Kluczowe wkładem są następujące:

1. Niniejszy artykuł przedstawia nowatorski framework do segmentacji obrazów medycznych oparty na architekturze Mamba, nazwany MVM-UNet. W przeciwieństwie do podejść, które bezpośrednio wykorzystują istniejące bloki oparte na SS2D lub standardowe bloki Mamba, MVM-UNet wprowadza MV4D w celu modelowania cech obrazów medycznych z czterech komplementarnych widoków par skanowania, obejmujących skanowanie zygzakowate, hierarchiczne, spiralne oraz radialne.

2. W niniejszej pracy zaprojektowano SFusion Mamba oraz blok MVV w celu zintegrowania reprezentacji specyficznych dla skanu i usprawnienia transformacji cech. SFusion Mamba łączy cechy wyekstrahowane z różnych gałęzi par skanów, natomiast gałęzie rezydualna oraz Up-Down Projection wewnątrz bloku MVV zapewniają komplementarne ścieżki cech, które stabilizują i wzbogacają reprezentacje cech.

3. Niniejsza praca wprowadza MFusion Mamba jako pośredni wieloetapowy moduł fuzji pomiędzy enkoderem a dekoderem. W przeciwieństwie do konwencjonalnych połączeń typu skip connections, które przede wszystkim przesyłają cechy z odpowiadających sobie etapów, MFusion Mamba w sposób jawny agreguje wieloetapowe cechy enkodera poprzez fuzję od ogółu do szczegółu (coarse-to-fine fusion), dostarczając wzbogaconych informacji do procesu dekodowania.

4. Obszerne wyniki eksperymentalne wykazują, że proponowany model MVM-UNet osiąga konkurencyjną wydajność segmentacji w zbiorach danych ISIC 2017 oraz ISIC 2018, a także wysoką wydajność w zbiorze danych do segmentacji wielu organów Synapse. Ponadto kompleksowe badania ablacyjne potwierdzają wkład każdego komponentu w strukturze MVM-UNet.

Protokół

W niniejszym badaniu wykorzystano wyłącznie publicznie dostępne i zanonimizowane zestawy danych obrazów medycznych, w tym ISIC 2017, ISIC 2018 oraz Synapse. W badaniu nie pozyskano nowych uczestników będących ludźmi, obiektów zwierzęcych ani możliwych do zidentyfikowania prywatnych dokumentacji medycznych. Zestaw danych ISIC 2017 użyty w tej pracy był zbiorem danych do segmentacji zmian skórnych z konkursu ISIC 2017 Challenge, pobranym z oficjalnego repozytorium danych International Skin Imaging Collaboration (https://challenge.isic-archive.com/data/#2017). Wersja zestawu danych wykorzystana w tym badaniu odpowiada zadaniu segmentacji zmian ISIC 2017, obejmując oficjalne partycje treningowe, walidacyjne i testowe. Zestaw danych pobrano 15 marca 2024 r. Zestaw danych ISIC 2018 użyty w tej pracy był zbiorem danych do segmentacji granic zmian z zadania 1 konkursu ISIC 2018 Challenge (Task 1), pobranym z oficjalnego repozytorium danych International Skin Imaging Collaboration (https://challenge.isic-archive.com/data/#2018). Wersja zestawu danych wykorzystana w tym badaniu odpowiada zadaniu ISIC 2018 Task 1: Lesion Boundary Segmentation. Zestaw danych pobrano 8 lipca 2024 r.

Zbiór danych Synapse wykorzystany w niniejszym badaniu to zbiór obrazów TK brzucha Multi-Atlas Labeling Beyond the Cranial Vault, pobrany z repozytorium Synapse pod identyfikatorem dostępu syn3193805 (https://www.synapse.org/Synapse:syn3193805). Zbiór danych użyty w tej pracy odpowiada powszechnie stosowanemu zbiorowi danych do segmentacji wielu narządów brzucha obejmującemu 30 przypadków. Pobranym archiwum było Abdomen/RawData.zip, dostępne pod identyfikatorem syn3193805. W momencie pobierania repozytorium nie podawało oddzielnego numeru wersji, etykiety wydania ani datowanej wersji. Zgodnie ze standardowym podziałem przyjętym w poprzednich badaniach, 18 przypadków wykorzystano do uczenia, a 12 przypadków do testowania. Podział danych był zgodny z listą przypadków użytą w TransUNet²³. Konkretnie, przypadki treningowe to case0031, case0007, case0009, case0005, case0026, case0039, case0024, case0034, case0033, case0030, case0023, case0040, case0010, case0021, case0006, case0027, case0028 oraz case0037, natomiast przypadki testowe to case0008, case0022, case0038, case0036, case0032, case0002, case0029, case0003, case0001, case0004, case0025 oraz case0035. Zbiór danych został pobrany 9 lipca 2024 r. Ponieważ w badaniu wykorzystano wyłącznie publicznie dostępne, zanonimizowane zbiory danych i nie prowadzono gromadzenia nowych danych od ludzi ani identyfikowalnych informacji prywatnych, eksperymenty obliczeniowe opisane w niniejszym protokole nie wymagały zgody komisji bioetycznej. Nie uzyskano formalnej pisemnej decyzji instytucji o zwolnieniu z tej procedury. Jeśli wymagają tego lokalne przepisy instytucjonalne, badacze powinni uzyskać decyzję o zwolnieniu przed przeprowadzeniem wtórnych analiz publicznie dostępnych zbiorów danych. Dla niniejszego badania nie był dostępny numer referencyjny zwolnienia z oceny etycznej ani formalna dokumentacja zwolnienia.

1. Przygotowanie zestawów danych

1. Pobierz zbiór danych do segmentacji zmian skórnych ISIC 2017 z oficjalnego repozytorium International Skin Imaging Collaboration. Użyj oficjalnych partycji treningowej, walidacyjnej i testowej. Zweryfikuj, czy zbiór danych zawiera 2 000 obrazów treningowych, 150 obrazów walidacyjnych i 600 obrazów testowych.
2. Pobierz zbiór danych do segmentacji zmian skórnych ISIC 2018 z oficjalnego repozytorium International Skin Imaging Collaboration. Użyj oficjalnych partycji treningowej, walidacyjnej i testowej. Zweryfikuj, czy zbiór danych do segmentacji zawiera 2 594 obrazy treningowe, 100 obrazów walidacyjnych i 1 000 obrazów testowych.
3. Pobierz wieloorganowy zbiór danych do segmentacji Synapse. Użyj standardnego podziału składającego się z 18 przypadków (2 212 przekrojów osiowych) do treningu i 12 przypadków (1 567 przekrojów osiowych) do testów. Nie wprowadzaj oddzielnego zbioru walidacyjnego.
   1. Zarezerwuj 12 przypadków testowych wyłącznie do końcowej ewaluacji. Nie używaj przypadków testowych do trenowania modelu, strojenia hiperparametrów ani wyboru modelu. Zadanie segmentacji obejmuje osiem organów jamy brzusznej: aortę, pęcherzyk żółciowy, śledzionę, lewą nerkę, prawą nerkę, wątrobę, trzustkę i żołądek.
   2. Użyj następującego podziału zbioru danych Synapse. 18 przypadków treningowych to: case0031, case0007, case0009, case0005, case0026, case0039, case0024, case0034, case0033, case0030, case0023, case0040, case0010, case0021, case0006, case0027, case0028 i case0037. 12 przypadków testowych to: case0008, case0022, case0038, case0036, case0032, case0002, case0029, case0003, case0001, case0004, case0025 i case0035.
4. Zorganizuj każdy zbiór danych w oddzielne foldery z obrazami i maskami. Upewnij się, że każdy obraz ma odpowiadającą mu maskę segmentacyjną z tym samym identyfikatorem przypadku.
   1. Przekształć każdą maskę zmiany skórnej w binarną mapę segmentacji tła i pierwszego planu. Zachowaj oryginalne wieloklasowe etykiety organów dla zbioru danych Synapse.
   2. Dla zbiorów danych ISIC 2017 i ISIC 2018, po konwersji maski binarnej przypisz wartość etykiety 0 do pikseli tła i 1 do pikseli zmiany (pierwszy plan). Piksele o oryginalnych wartościach maski większych od 0 są traktowane jako pierwszy plan i konwertowane na 1, natomiast piksele o oryginalnych wartościach maski równych 0 są traktowane jako tło i pozostają jako 0. Dla zbioru danych Synapse zachowaj oryginalne całkowite wartości etykiet, gdzie 0 reprezentuje klasę tła, a 1–8 reprezentuje osiem klas organów pierwszego planu.
5. Zmień rozmiar obrazów i masek ISIC 2017 oraz ISIC 2018 do 256 × 256 pikseli bez zachowania oryginalnych proporcji. Nie stosuj przycinania ani dopełniania.
   1. Zmień rozmiar każdego przekroju TK Synapse i odpowiadającej mu mapy etykiet do 224 × 224 pikseli. Użyj interpolacji bilinearnej dla obrazów RGB, interpolacji sklejanej trzeciego rzędu dla przekrojów TK i interpolacji najbliższego sąsiada dla masek segmentacyjnych.
   2. Zmień rozmiar obrazów w języku Python.
      1. Dla zbiorów danych ISIC 2017 i ISIC 2018 użyj niestandardowej transformacji myResize zaimplementowanej w utils.py, która wywołuje torchvision.transforms.functional.resize, aby zmienić rozmiar tensorów obrazu i maski do 256 × 256 pikseli. Nie określ jawnie trybu interpolacji ani argumentu antyaliasingu w tej transformacji.
      2. Dla zbioru danych Synapse użyj scipy.ndimage.zoom w datasets/dataset.py. Zmień rozmiar przekrojów obrazów TK do 224 × 224 pikseli przy użyciu interpolacji sklejanej trzeciego rzędu (order = 3) i zmień rozmiar map etykiet przy użyciu interpolacji najbliższego sąsiada (order = 0). Nie stosuj oddzielnej operacji antyaliasingu ani ustawienia anti_aliasing=True podczas zmiany rozmiaru.
6. Znormalizuj każdy obraz RGB ISIC przed konwersją na tensor, używając średniej i odchylenia standardowego (SD) specyficznych dla danego zbioru danych zgodnie z Równaniem 1:
    (1)
   ​Następnie przeskaluj znormalizowany obraz do zakresu 0–255 przy użyciu normalizacji min-max.
   1. Użyj µ = 159.922 i σ = 28.871 dla zbioru treningowego ISIC 2017 oraz µ = 148.429 i σ = 25.748 dla zbiorów walidacyjnego i testowego ISIC 2017. Użyj µ = 157.561 i σ = 26.706 dla zbioru treningowego ISIC 2018 oraz µ = 149.034 i σ = 32.022 dla zbiorów walidacyjnego i testowego ISIC 2018.
   2. Konwertuj każdy znormalizowany obraz na tensor o kształcie 3 × 256 × 256. Konwertuj każdą binarną maskę na tensor o kształcie 1 × 256 × 256.
   3. Wykonaj normalizację min-max niezależnie dla każdego obrazu po normalizacji średnią i odchyleniem standardowym specyficznymi dla zbioru danych. Konkretnie, odejmij średnią specyficzną dla zbioru od każdego obrazu i podziel przez odpowiadające odchylenie standardowe.
   4. Oblicz minimalne i maksymalne wartości intensywności z znormalizowanego obrazu i przeskaluj obraz do zakresu 0–255, używając tych wartości minimalnych i maksymalnych dla każdego obrazu. Nie używaj globalnych wartości minimalnych i maksymalnych dla całego zbioru danych w tym kroku przeskalowania min-max.
7. Przygotuj każdy przekrój TK Synapse jako dwuwymiarowy obraz w skali szarości. Konwertuj każdy przekrój TK na typ float32 i dodaj pojedynczy wymiar kanału, aby uzyskać tensor wejściowy o kształcie 1 × 224 × 224.
   1. Zachowaj każdą mapę etykiet Synapse jako jednokanałową maskę całkowitą o kształcie 224 × 224. Nie stosuj dodatkowej normalizacji średnia-SD na poziomie zbioru danych w ładowarce danych.
   2. Użyj wstępnie przetworzonych plików Synapse dostarczonych w formacie .npz dla przekrojów treningowych i formacie .npy.h5 dla wolumenów testowych. Ładuj tablice obrazów i etykiet bezpośrednio z każdego pliku .npz podczas treningu i bezpośrednio z każdego pliku .npy.h5 podczas testów. Nie stosuj dodatkowego przycinania intensywności, okienkowania TK, normalizacji na poziomie zbioru danych ani ponownego próbkowania surowych wolumenów w udostępnionej ładowarce danych.
   3. Podczas trenowania modelu konwertuj każdy załadowany dwuwymiarowy przekrój na float32, zmień jego rozmiar do docelowego rozmiaru przestrzennego za pomocą scipy.ndimage.zoom z order = 3 dla przekrojów obrazów i order = 0 dla map etykiet, a następnie konwertuj zmienione tablice na tensory z pojedynczym wymiarem kanału.
8. Zastosuj augmentację danych tylko do zbioru treningowego. Dla ISIC 2017 i ISIC 2018 zastosuj losowe odbicie poziome (p = 0.5), losowe odbicie pionowe (p = 0.5) i losową rotację (p = 0.5) z kątem losowanym z zakresu od 0° do 360°.
   1. Zastosuj tę samą transformację geometryczną do każdej pary obraz-maska. Podczas walidacji i testowania stosuj wyłącznie zmianę rozmiaru, normalizację i konwersję na tensor.
   2. Dla zbioru danych Synapse zastosuj losową rotację i losowe odbicie podczas treningu. Losowo obróć każdą parę obraz-etykieta o k × 90°, gdzie k ∈ {0,1,2,3}, losowo odbij parę obraz-etykieta wzdłuż jednej osi przestrzennej lub losowo obróć parę obraz-etykieta o kąt losowany z zakresu od −20° do 20°.
   3. Nie stosuj augmentacji stochastycznej podczas testowania.
   4. Zastosuj augmentację danych do zbioru Synapse za pomocą wzajemnie wykluczających się gałęzi zaimplementowanych w transformacji RandomGenerator.
      1. Dla każdej próbki treningowej najpierw sprawdź warunek random.random() > 0.5. Jeśli warunek jest spełniony, zastosuj random_rot_flip, składający się z losowej rotacji o 90° (k = 0, 1, 2 lub 3), a następnie losowego odbicia wzdłuż jednej osi przestrzennej.
      2. Jeśli pierwsza gałąź nie zostanie wybrana, sprawdź drugi warunek, random.random() > 0.5. Jeśli ten warunek jest spełniony, zastosuj random_rotate, używając losowo wybranego kąta obrotu między −20° a 20°. Jeśli żaden z warunków nie jest spełniony, nie stosuj augmentacji stochastycznej do próbki.
      3. Zastosuj tę samą transformację zarówno do obrazu wejściowego, jak i do odpowiadającej mu mapy etykiet.
9. Ustaw ziarno losowości przed ładowaniem zbioru danych, wstępnym przetwarzaniem i treningiem. Użyj ziarn losowości 1, 52 i 100 dla głównych eksperymentów porównawczych i ziarna 100 dla badań ablacyjnych, chyba że wskazano inaczej.
   1. Zainicjalizuj generatory liczb losowych dla Python, NumPy, PyTorch CPU, PyTorch CUDA i cuDNN przed skonstruowaniem ładowarki danych. Zachowaj partycje zbioru danych, procedury wstępnego przetwarzania, ustawienia augmentacji, parametry normalizacji, strategię zmiany rozmiaru i wstępne przetwarzanie ewaluacji bez zmian we wszystkich uruchomieniach z różnymi ziarnami.
   2. Ustaw num_workers = 0 dla eksperymentów ISIC i Synapse, aby ładowanie danych odbywało się w procesie głównym. Przed skonstruowaniem zbioru danych i utworzeniem DataLoader, zainicjalizuj globalne ziarno losowości za pomocą funkcji set_seed, aby zainicjować generatory liczb losowych dla Python, NumPy, PyTorch CPU, PyTorch CUDA i cuDNN. Nie definiuj oddzielnej funkcji worker_init_fn ani generatora losowości specyficznego dla DataLoader, ponieważ nie są one używane w udostępnionej implementacji.

2. Konstrukcja architektury MVM-UNet

1. Zbuduj proponowaną sieć Multi-view Vision Mamba UNet (MVM-UNet), wykorzystując architekturę koder-dekoder w kształcie litery U.
2. Ustaw wymiary obrazu wejściowego na H × W × 3. Przesuń obraz wejściowy przez warstwę embeddingu patchy.
   1. Zaimplementuj warstwę embeddingu patchy, używając splotu 2D o rozmiarze jądra 4 × 4, kroku (stride) 4, trzech kanałach wejściowych i 96 kanałach wyjściowych.
   2. Przekształć mapę cech wejściowych do rozdzielczości przestrzennej H/4 × W/4 z liczbą kanałów wyjściowych C = 96.
3. Skonstruuj cztery etapy kodera i cztery etapy dekodera. Po każdym etapie kodera zmniejsz rozdzielczość przestrzenną o połowę i podwoj wymiar kanałów.
4. Zastosuj symetryczną konfigurację koder-dekoder. Ustaw liczbę bloków MVV w koderze i dekoderze na {2, 2, 2, 2}.
   1. Umieść dwa bloki MVV w każdym etapie kodera i dwa bloki MVV w każdym etapie dekodera.
5. Wstaw blok MVV do każdego etapu kodera i dekodera. Wykorzystaj moduł MV4D jako rdzeń modułu ekstrakcji cech wewnątrz każdego bloku MVV.
6. Wstaw moduł MFusion Mamba pomiędzy koder a dekoder. Użyj tego modułu do fuzji wieloetapowych cech kodera przed dekodowaniem.
7. Skonfiguruj ogólny przepływ pracy MVM-UNet. Wykorzystaj MV4D do ekstrakcji cech w całym koderze.
   1. Zachowaj wyjścia kodera jako połączenia pomijające (skip connections). Prześlij wyjścia kodera do odpowiadających im etapów dekodera.
   2. Prześlij cechy kodera do modułu MFusion Mamba przed dekodowaniem. Progresywnie zwiększaj rozdzielczość (upsample) zfuzowanej reprezentacji w dekoderze i wygeneruj końcową mapę segmentacji za pomocą głowicy segmentacji.
8. Prześlij obraz wejściowy I ∈ ℝ^B×H×W×3 przez warstwę embeddingu patchy, aby otrzymać Gdzie C = 96.
   1. Wygeneruj mapy cech kodera: E₁ ∈ ℝ^{B×H/4×W/4×C}, E₂ ∈ ℝ^{B×H/8×W/8×2C}, E₃ ∈ ℝ^{B×H/16×W/16×4C} oraz E₄ ∈ ℝ^{B×H/32×W/32×8C}. Użyj bloków MVV zawierających MV4D w każdym etapie kodera.
   2. Zachowaj każdą cechę kodera dla odpowiadającego jej połączenia pomijającego. Prześlij wszystkie cechy kodera do modułu MFusion Mamba w celu wieloetapowej fuzji cech.
   3. Dostosuj cechy kodera do wspólnej przestrzeni cech przed fuzją grubą i precyzyjną wewnątrz modułu MFusion Mamba. Prześlij zfuzowaną reprezentację do dekodera.
   4. Progresywnie zwiększaj rozdzielczość reprezentacji dekodera. Zfuzuj cechy dekodera z E₃ przy H/16 × W/16, E₂  przy H/8 × W/8 oraz E₁ przy H/4 × W/4.
   5. Zwiększ rozdzielczość końcowej cechy dekodera do oryginalnej rozdzielczości obrazu. Wygeneruj mapę predykcji ∈ ℝ^B×H×W×K. Gdzie K = 1 dla binarnej segmentacji zmian i K = 8 dla wieloorganowej segmentacji Synapse.
   6. Zapoznaj się z Rysunkiem 2 w celu poznania ogólnej architektury sieci oraz z Tabelą uzupełniającą 1 w celu uzyskania pełnej specyfikacji architektury warstwa po warstwie, w tym operacji, głównych parametrów i wymiarów cech wyjściowych dla każdego etapu.
   7. Warstwy przejścia koder–dekoder
      1. Zmniejsz rozdzielczość cech kodera za pomocą warstw przejścia patch-merging. Dla każdego przejścia pobierz cztery przestrzennie przeplatane grupy cech z sąsiedztwa 2 × 2, skonkatenuj je wzdłuż wymiaru kanałów, zastosuj normalizację warstwową (LayerNorm) i rzutuj wynikową cechę 4C-wymiarową na 2C kanałów za pomocą liniowej warstwy bez przesunięcia (bias-free). Operacja ta zmniejsza rozdzielczość przestrzenną dwukrotnie, jednocześnie podwajając wymiar kanałów.
      2. Zwiększ rozdzielczość cech dekodera za pomocą warstw przejścia patch-expanding. Zastosuj liniową projekcję bez przesunięcia, przearanżuj przestrzennie rozszerzone cechy, aby zwiększyć rozdzielczość dwukrotnie, i zastosuj LayerNorm po rozszerzeniu przestrzennym. Powtórz tę operację, aby progresywnie zrekonstruować mapy cech od H/32 × W/32 do H/16 × W/16, H/8 × W/8 i H/4 × W/4.
      3. Dostosuj cechy kodera wewnątrz modułu MFusion Mamba, zmieniając ich rozmiar do docelowej rozdzielczości przestrzennej za pomocą interpolacji bilinearnej (align_corners = False), a następnie stosując wyuczalną liniową projekcję kanałów przed fuzją cech.
   8. Głowica segmentacji
      1. Zwiększ rozdzielczość końcowej mapy cech dekodera z H/4 × W/4 do oryginalnej rozdzielczości obrazu (H × W) za pomocą końcowej warstwy patch-expanding. Zastosuj projekcję liniową, wykonaj przearanżowanie przestrzenne z czynnikiem rozszerzenia 4 i zastosuj LayerNorm.
      2. Rzutuj zrekonstruowaną mapę cech na K kanałów wyjściowych za pomocą splotu 1 × 1 po konwersji tensora do formatu channel-first.
      3. Wygeneruj końcową predykcję podczas ewaluacji, stosując funkcję aktywacji sigmoid dla binarnej segmentacji zmian lub funkcję aktywacji softmax, a następnie argmax dla wieloorganowej segmentacji Synapse. Nie stosuj funkcji aktywacji wewnątrz samej głowicy segmentacji.

Rysunek 2. Ogólna architektura Multi-View Mamba U-Net (MVM-UNet). Przegląd proponowanej architektury Multi-View Mamba U-Net (MVM-UNet). Obraz wejściowy jest konwertowany na osadzenia patchy (patch embeddings) i przetwarzany przez cztery etapy kodera składające się z bloków Multi-View Vision (MVV) oddzielonych operacjami łączenia patchy (patch-merging). Cechy kodera są agregowane przez Multi-stage Fusion Mamba (MFusion Mamba) i przekazywane do dekodera poprzez połączenia pomijające (skip connections). Dekoder sukcesywnie przywraca rozdzielczość przestrzenną za pomocą operacji rozszerzania patchy (patch-expanding) i generuje końcową mapę segmentacji poprzez warstwę projekcji. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

3. Budowa modułu MV4D

1. Wykorzystaj moduł MV4D jako podstawową jednostkę ekstrakcji cech w bloku MVV. Przekaż wejściowe fragmenty cech (feature patches) do czterech gałęzi par skanowania. Pełny pseudokod spłaszczania przestrzennego, konstrukcji indeksów par skanowania, gromadzenia sekwencji, przetwarzania S6/Mamba, odwrotnego uporządkowania przestrzennego, fuzji par skanowania, fuzji SFusion Mamba, projekcji i zmiany kształtu wyjścia znajduje się w Algorytmie 1, Pliku uzupełniającym 1.
2. Zastosuj dokładnie te procedury generowania indeksów skanowania zygzakowatego, hierarchicznego, spiralnego i radialnego, które zostały zaimplementowane w models/mvmunet/core.py. Dla każdej strategii skanowania potraktuj kolejność skanowania w przód oraz jej kolejność odwrotną jako jedną dwukierunkową parę skanowania.
3. Skonstruuj parę skanowania zygzakowatego. Przesuwaj się po cechach obrazu w naprzemiennych kierunkach na końcu każdego wiersza lub kolumny. Wykorzystaj ten wzór skanowania, aby zrównoważyć lokalne i globalne informacje przestrzenne.
4. Skonstruuj parę skanowania hierarchicznego. Przechwyć cechy w wielu skalach przestrzennych. Wykorzystaj ten wzór skanowania, aby wzmocnić ekstrakcję reprezentacji zarówno lokalnych, jak i globalnych.
5. Skonstruuj parę skanowania spiralnego. Skanuj cechy obrazu od środka w stronę krawędzi lub od krawędzi w stronę środka. Wykorzystaj ten wzór skanowania, aby usprawnić ekstrakcję globalnych informacji o konturach.
6. Skonstruuj parę skanowania radialnego. Skanuj cechy obrazu wzdłuż wielu kierunków promieniowych. Wykorzystaj ten wzór skanowania, aby usprawnić ekstrakcję lokalnych szczegółów granic i krawędzi.
7. Połącz każdą parę skanowania przed przekazaniem połączonej sekwencji do bloku S6. Zastosuj projekt parowania, aby zwiększyć odporność każdej strategii skanowania przy zachowaniu wydajności obliczeniowej.
8. Przekaż sekwencję wyjściową z każdej gałęzi pary skanowania do bloku S6. Uzyskaj cztery reprezentacje cech odpowiadające widokom skanowania zygzakowatego, hierarchicznego, spiralnego i radialnego.
9. Połącz cztery wyekstrahowane reprezentacje cech za pomocą modułu SFusion Mamba. Zastosuj dwie równoległe ścieżki fuzji. W pierwszej ścieżce zintegruj cztery cechy poprzez dodawanie element po elemencie.
10. W drugiej ścieżce SFusion Mamba dokonaj konkatenacji czterech cech. Przetwórz skonkatenowaną reprezentację za pomocą Conv1d i Mamba. Zredukuj wymiar kanałów za pomocą warstwy projekcji, aby dopasować go do wymiaru wyjściowego bloku S6.
11. Skonfiguruj blok S6/Mamba, przyjmując wymiar cech C jako wymiar modelu. Użyj warstwy projekcji, aby zmapować każdą połączoną cechę pary skanowania z powrotem do wymiaru kanału C przed fuzją.
12. W SFusion Mamba wykonaj dodawanie element po elemencie w pierwszej ścieżce. W drugiej ścieżce dokonaj konkatenacji cech z czterech widoków skanowania przed Conv1d, Mamba i projekcją liniową. Zastosuj operacje normalizacji, projekcji liniowej, splotu separowalnego głębiowo (depth-wise separable convolution) oraz aktywacji otaczające MV4D, zgodnie z opisem w kroku 4.
13. Dodaj wyniki dwóch ścieżek fuzji, aby uzyskać końcowy wynik modułu MV4D.
14. Skonstruuj cztery komplementarne gałęzie par skanowania zamiast stosowania wyłącznie kierunków skanowania poziomego i pionowego. Wykorzystaj skanowanie zygzakowate, aby podkreślić ciągłe przemieszczanie się w przestrzeni, skanowanie hierarchiczne do wzmocnienia reprezentacji wieloskalowej, skanowanie spiralne do przechwytywania informacji o konturach od środka do krawędzi oraz skanowanie radialne do usprawnienia ekstrakcji lokalnych szczegółów zorientowanych na granice.
15. Przetwarzaj każdą gałąź pary skanowania niezależnie. Połącz uzyskane cechy za pomocą SFusion Mamba. Zmapuj każdą przetworzoną sekwencję z powrotem do jej oryginalnego porządku przestrzennego przed fuzją.
16. Dla mapy cech wejściowych X ∈ ℝ^B×H×W×C, spłaszcz ją do postaci X_seq ∈ ℝ^B×L×C, gdzie L = H × W.
17. Zmień kolejność spłaszczonej sekwencji zgodnie z indeksami skanowania dla każdej gałęzi pary skanowania. Przetwórz każdą uporządkowaną sekwencję za pomocą bloku S6. Przywróć przetworzoną sekwencję do oryginalnego porządku przestrzennego.
18. Połącz cechy z czterech widoków skanowania poprzez ścieżkę addytywną oraz ścieżkę SFusion Mamba, aby uzyskać końcowy wynik MV4D. Architekturę MV4D przedstawiono na Rysunku 3, a pełny przepływ implementacji na poziomie tensorów opisano w Algorytmie 1, Pliku uzupełniającym 1.
19. Skorzystaj z pełnej implementacji programowej w models/mvmunet/core.py. Plik ten zawiera generatory indeksów skanowania, PairwiseScanMamba, SequenceS6, SFusion Mamba oraz moduł opakowujący (wrapper) MV4D.
20. Wygeneruj wielowidokowe indeksy skanowania:
    1. Wygeneruj indeksy skanowania zgodnie z udostępnioną implementacją w models/mvmunet/core.py. Dla mapy cech wejściowych o rozmiarze przestrzennym H × W spłaszcz każdą lokalizację piksela do jednowymiarowego indeksu za pomocą wzoru: index = r × W + c, gdzie r i c oznaczają odpowiednio współrzędne wiersza i kolumny.
    2. Wygeneruj skan zygzakowaty, przechodząc przez przekątne obrazu o stałej wartości r + c. Zbierz prawidłowe indeksy pikseli dla każdej przekątnej i zmieniaj kierunek przechodzenia poprzez odwrócenie kolejności każdej parzystej przekątnej.
    3. Wygeneruj skan hierarchiczny poprzez rekurencyjny podział obrazu na cztery kwadranty. Odwiedzaj kolejno kwadranty: górny lewy, górny prawy, dolny lewy i dolny prawy, dopóki wysokość lub szerokość podregionu nie będzie mniejsza lub równa 2 pikselom, a następnie przejdź przez pozostałe piksele w kolejności wierszowej.
    4. Wygeneruj skan spiralny, przechodząc po zewnętrznej granicy obrazu od lewej do prawej wzdłuż górnego wiersza, w dół wzdłuż prawej kolumny, od prawej do lewej wzdłuż dolnego wiersza i w górę wzdłuż lewej kolumny, stopniowo zwężając granicę w stronę środka obrazu.
    5. Wygeneruj skan radialny, sortując każdy piksel według kwadratu jego odległości od środka obrazu, a następnie według jego kąta polarnego obliczonego za pomocą funkcji atan2.
    6. Wygeneruj skan odwrotny dla każdej strategii skanowania poprzez odwrócenie odpowiadającej mu kolejności skanowania w przód. Połącz sekwencje skanowania w przód i w tył, aby utworzyć jedną parę skanowania dla każdej strategii, przed przekazaniem par skanowania do modułu MV4D.

Rycina 3. Architektura modułu Multi-View 4-Directional (MV4D). Struktura modułu ekstrakcji cech Multi-View 4-Directional (MV4D). Patche wejściowe są przetwarzane przez cztery komplementarne gałęzie par skanowania, obejmujące skanowanie zygzakowate, hierarchiczne, spiralne i radialne. Cechy wyekstrahowane z czterech gałęzi są łączone, przetwarzane za pomocą bloków przestrzeni stanów i integrowane przez Spatial Fusion Mamba (SFusion Mamba) w celu wygenerowania wyjściowej reprezentacji cech. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

4. Konstrukcja bloku MVV

1. Zbuduj blok MVV, wykorzystując jedną gałąź główną i dwie gałęzie pomocnicze. Zastosuj ogólną strukturę przedstawioną na Rysunku 4.
2. Zastosuj normalizację warstwową (layer normalization) do cechy wejściowej w gałęzi głównej. Przekaż znormalizowaną cechę do warstwy liniowej. Następnie przekaż przetransformowaną cechę do splotu separowalnego głębokościowo (depth-wise separable convolution).
3. Przetwórz przetransformowaną cechę za pomocą splotu separowalnego głębokościowo. Zastosuj funkcję aktywacji GELU. Przekaż aktywowaną cechę do modułu MV4D.
4. Zbuduj pierwszą gałąź pomocniczą jako tożsamościowe połączenie rezydualne (identity residual connection). Połącz cechę wejściową bezpośrednio z końcowym wyjściem. Wykorzystaj tę gałąź do zachowania oryginalnej reprezentacji i stabilizacji procesu uczenia.
5. Zbuduj drugą gałąź pomocniczą jako gałąź projekcji w dół-w górę (projection down-up branch). Skompresuj cechę wejściową za pomocą warstwy projekcji w dół (down-projection layer). Przywróć wymiar cechy za pomocą warstwy projekcji w górę (up-projection layer).
6. Połącz wyjścia gałęzi głównej oraz obu gałęzi pomocniczych, aby uzyskać końcowe wyjście bloku MVV. Pełną architekturę przedstawiono na Rysunku 4.
7. Ustaw wymiar ukryty gałęzi głównej równy wymiarowi kanału wejściowego C_s. Zastosuj LayerNorm(C_s) przed główną projekcją liniową i użyj warstwy liniowej o wymiarach C_s→C_s. Użyj splotu separowalnego głębokościowo, składającego się ze splotu głębokościowego (depth-wise convolution) 3×3 z dopełnieniem (padding) 1, grupami groups = C_s i bez obciążenia (bias), a następnie splotu punktowego (point-wise convolution) 1×1 bez obciążenia.
8. Zastosuj funkcję aktywacji GELU po splotu separowalnym głębokościowo. Przekaż aktywowaną cechę do MV4D i zastosuj wyjściową projekcję liniową o wymiarach C_s→C_s. Skonfiguruj gałąź projekcji w dół-w górę, używając LayerNorm(C_s), współczynnika projekcji 4, projekcji w dół C_s→C_s/4, aktywacji GELU oraz projekcji w górę C_s/4→C_s.
9. Połącz gałąź tożsamościową, gałąź projekcji w dół-w górę oraz przetworzoną za pomocą drop-path gałąź główną, stosując dodawanie element po elemencie, aby uzyskać końcowe wyjście bloku MVV.

Rysunek 4. Architektura bloku Multi-View Vision (MVV). Struktura bloku Multi-View Vision (MVV). Blok składa się z głównej gałęzi ekstrakcji cech zawierającej moduł Multi-View 4-Directional (MV4D) wraz z warstwami splotu głębokościowego (depthwise convolution), normalizacji i projekcji liniowej. Pomocnicza gałąź projekcji góra-dół zapewnia bramkowaną modulację cech poprzez mnożenie element po elemencie przed dodaniem rezydualnym w celu wygenerowania wyjściowej reprezentacji cech. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

5. Konstrukcja MFusion Mamba

1. Zbierz mapy cech ze wszystkich etapów kodera. Dopasuj cechy kodera do jednolitej przestrzeni reprezentacji poprzez zmianę rozmiaru lub rzutowanie w razie potrzeby. Pełny przebieg implementacji na poziomie tensorów znajduje się w Algorytmie 2, Pliku uzupełniającym 1.
2. W razie potrzeby zmień rozmiar cech kodera do docelowej rozdzielczości przestrzennej. Rzutuj cechy o różnych wymiarach kanałów na ten sam wymiar kanałów. Dopasuj wszystkie cechy kodera przed wieloetapową fuzją.
3. Wprowadź dopasowane cechy kodera do komponentu fuzji wstępnej (Coarse Fusion). Wykonaj fuzję wstępną przy użyciu iloczynu Hadamarda. Wygeneruj reprezentację z fuzji wstępnej.
4. Wprowadź reprezentację z fuzji wstępnej do komponentu fuzji precyzyjnej (Fine Fusion). Skonstruuj dwie równoległe ścieżki fuzji precyzyjnej. Przetwarzaj obie ścieżki niezależnie.
5. Przetwórz pierwszą ścieżkę fuzji precyzyjnej za pomocą warstwy liniowej. Przetwórz drugą ścieżkę fuzji precyzyjnej za pomocą up-projection, Conv1d, Mamba oraz down-projection. Przywróć wymiar cech po operacji down-projection.
6. Połącz wyjścia dwóch ścieżek fuzji precyzyjnej przy użyciu iloczynu Hadamarda. Zastosuj końcową warstwę liniową. Uzyskaj wyjście MFusion Mamba.
7. Wprowadź wyjście MFusion Mamba do dekodera. Zdekoduj fuzjonowaną reprezentację wieloetapową wraz z cechami skip-connections kodera-dekodera. Wygeneruj końcową mapę segmentacji.
8. Dopasuj cechy kodera z różnych etapów do jednolitej przestrzeni cech przed fuzją wstępną. Przetwórz dopasowane reprezentacje cech w etapach fuzji wstępnej i precyzyjnej. Architekturę MFusion Mamba przedstawiono na Rysunku 5, a pełny przebieg implementacji na poziomie tensorów w uzupełniającym Algorytmie 2.
9. Użyj parametrów implementacji MFusion Mamba w następujący sposób. Dla każdej cechy kodera E_i rzutuj wymiar kanałów z C_i na C_t. W razie potrzeby zmień rozmiar rzutowanych cech do docelowego rozmiaru przestrzennego, stosując interpolację biliniową z parametrem align_corners=False.
10. Zastosuj iloczyn Hadamarda, aby przeprowadzić fuzję wstępną (Coarse Fusion) dopasowanych cech kodera. Skonfiguruj pierwszą ścieżkę fuzji precyzyjnej przy użyciu warstwy liniowej o wymiarach C_t → C_t. Skonfiguruj drugą ścieżkę fuzji precyzyjnej przy użyciu up-projection C_t → 2C_t, Conv1d, bloku Mamba/S6 o wymiarze modelu 2C_t, jednym kierunku skanowania, wymiarze stanu 16 oraz down-projection 2C_t → C_t.
11. Fuzjonuj wyjścia ścieżek fuzji precyzyjnej przy użyciu iloczynu Hadamarda. Zastosuj końcowe rzutowanie liniowe o wymiarach od C_t do C_t. Wprowadź fuzjonowaną reprezentację wieloetapową do dekodera.
12. Fuzjonuj wieloetapowe cechy kodera za pomocą MFusion Mamba:
    1. Zbierz cechy kodera ze wszystkich czterech etapów kodera (E₁, E₂, E₃ i E₄) i użyj ich jako wejścia do modułu MFusion Mamba. Do fuzji w dekoderze nie wybieraj tylko cechy kodera z odpowiadającego etapu.
    2. Dopasuj wszystkie cechy kodera do rozdzielczości przestrzennej wymaganej dla aktualnego etapu dekodera. Przed fuzją cech zmień rozmiar cech kodera do rozdzielczości docelowej i rzutuj je na wymagany wymiar kanałów.
    3. Powtórz procedurę dopasowania cech dla każdego etapu dekodera. Gdy dekoder pracuje w rozdzielczościach H/16 × W/16, H/8 × W/8 i H/4 × W/4, zmień rozmiar i rzutuj E₁, E₂, E₃ i E₄ do odpowiadającej im docelowej przestrzeni cech.
    4. Fuzjonuj dopasowane wieloetapowe cechy kodera za pomocą operacji Coarse Fusion i Fine Fusion modułu MFusion Mamba, a następnie połącz fuzjonowaną reprezentację z cechami dekodera w odpowiedniej skali.
    5. Wykonaj operacje rzutowania cech, zmiany rozmiaru i fuzji zgodnie z udostępnioną implementacją w pliku models/mvmunet/core.py.

Rysunek 5. Architektura modułu Multi-stage Fusion Mamba (MFusion Mamba). Struktura modułu Multi-stage Fusion Mamba (MFusion Mamba). Cechy wieloskalowego kodera są najpierw łączone poprzez fuzję wstępną (coarse fusion), a następnie dopracowywane w module fuzji precyzyjnej (Fine Fusion), składającym się z projekcji liniowej, splotu jednowymiarowego (Conv1d), bloku Mamba oraz warstw projekcji cech, przed wygenerowaniem zfuzowanej reprezentacji cech wykorzystywanej przez dekoder. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

6. Trenowanie modelu

1. Trenuj MVM-UNet w systemie Ubuntu 22.04.1 z jądrem Linux w wersji 6.8.0. Wykorzystaj stację roboczą wyposażoną w procesor Intel Core i9-13900K 13. generacji oraz GPU NVIDIA A800. Stosuj tę samą konfigurację sprzętową przez cały proces trenowania i ewaluacji.
2. Zaimplementuj i wytrenuj model przy użyciu PyTorch 2.0.1 z CUDA 11.8. Przed rozpoczęciem trenowania zainstaluj wszystkie wymagane zależności oprogramowania.
3. Użyj optymalizatora AdamW z początkową prędkością uczenia 3 × 10⁻⁵, β₁ = 0.9, β₂ = 0.999, ε = 1 × 10⁻⁸ oraz współczynnikiem decay wag wynoszącym 0.01. Ustaw wielkość partii (batch size) na 32, chyba że zaznaczono inaczej.
4. Trenuj każdy model przez 300 epok. Zastosuj harmonogram prędkości uczenia z wyżarzaniem cosinusoidalnym (cosine annealing) z η_min = 1 × 10⁻⁵. Ustaw rozmiar obrazu wejściowego na 256 × 256 dla zbiorów ISIC 2017 i ISIC 2018 oraz na 224 × 224 dla zbioru Synapse.
5. W głównych eksperymentach porównawczych wykorzystaj trzy niezależne ziarna losowości (random seeds: 1, 52 i 100). Powtórz pełną procedurę trenowania i ewaluacji dla każdego ziarna. Końcowe wyniki ilościowe przedstaw jako średnią ± SD z trzech uruchomień.
6. Dla wszystkich badań ablacyjnych stosuj stałe ziarno losowości 100, chyba że zaznaczono inaczej. Pozostaw bez zmian podziały zbioru danych, strategię preprocessingu, architekturę sieci, optymalizator, prędkość uczenia, wielkość partii oraz liczbę epok trenowania we wszystkich eksperymentach ablacyjnych.
7. Do binarnej segmentacji zmian w zbiorach ISIC 2017 i ISIC 2018 wykorzystaj funkcję straty BCE-Dice. Ustaw wagi dla strat BCE i Dice na 1.0. Dla zbioru Synapse wykorzystaj funkcję straty CE-Dice i ustaw wagi dla entropii krzyżowej (CE) oraz straty Dice na 1.0.
8. Zmień rozmiar, znormalizuj i rozszerz (augment) obrazy treningowe ISIC 2017 i ISIC 2018 zgodnie z procedurą preprocessingu opisaną w kroku 1. Zastosuj zmianę rozmiaru, losową rotację i losowe odbicie lustrzane dla obrazów treningowych Synapse zgodnie z opisem w kroku 1. Stosuj identyczne ustawienia preprocessingu podczas wszystkich cykli trenowania.
9. Wybieraj punkty kontrolne (checkpoints) modelu zgodnie z protokołem walidacji specyficznym dla danego zbioru danych. Dla ISIC 2017 i ISIC 2018 zapisuj punkt kontrolny z najlepszym wynikiem walidacji, przeprowadzając walidację co 30 epok. Trenuj model Synapse przez 300 epok bez zbioru walidacyjnego i do testów wykorzystaj końcowy punkt kontrolny z etapu trenowania.
10. Oficjalny zbiór walidacyjny wykorzystuj wyłącznie do wyboru modelu dla ISIC 2017 i ISIC 2018. Nie używaj zbioru testowego Synapse do trenowania, dostrajania hiperparametrów ani wyboru punktów kontrolnych. Całe dane testowe zarezerwuj wyłącznie do końcowej ewaluacji.
11. W celu zapewnienia powtarzalności zastosuj następujące parametry trenowania. Ustaw wielkość partii na 32 dla wszystkich zbiorów danych. Użyj optymalizatora AdamW z początkową prędkością uczenia 3 × 10⁻⁵, β₁ = 0.9, β₂ = 0.999, ε = 1 × 10⁻⁸ oraz współczynnikiem decay wag 1 × 10⁻².
12. Skonfiguruj harmonogram prędkości uczenia z wyżarzaniem cosinusoidalnym z T_max = 50 i η_min = 1×10⁻⁵ dla ISIC 2017 i ISIC 2018. Dla Synapse skonfiguruj harmonogram z T_max = 100 i η_min = 1×10⁻⁵. Pozostaw konfigurację harmonogramu bez zmian we wszystkich powtórzonych eksperymentach.
13. Trenuj wszystkie modele przy użyciu pełnej precyzji arytmetycznej FP32. Wyłącz automatyczne trenowanie z mieszaną precyzją (AMP). Nie stosuj przycinania gradientów (gradient clipping) podczas optymalizacji.
14. Zachowaj spójność ustawień precyzji, strategii aktualizacji gradientu, konfiguracji optymalizatora, harmonogramu prędkości uczenia oraz protokołu ziaren losowości we wszystkich eksperymentach porównawczych, badaniach ablacyjnych i uruchomieniach sprawdzających powtarzalność.
15. Wybierz najlepszy punkt kontrolny modelu:
    1. Ewaluuj model na zbiorze walidacyjnym po każdej epoce trenowania dla zbiorów danych ISIC 2017 i ISIC 2018.
    2. Oblicz stratę Binary Cross-Entropy (BCE)-Dice dla każdej partii walidacyjnej i wyznacz średnią stratę walidacyjną dla całego zbioru walidacyjnego.
    3. Zapisz aktualny model jako najlepszy punkt kontrolny, gdy średnia strata walidacyjna będzie niższa niż wcześniej odnotowane minimum.
    4. Podczas walidacji rejestruj średni wskaźnik Intersection over Union (mIoU), współczynnik podobieństwa Dice (DSC), dokładność (Acc), swoistość (Spe) oraz czułość (Sen) wyłącznie w celu monitorowania wydajności. Nie używaj tych metryk jako kryterium wyboru punktu kontrolnego.

7. Ewaluacja modelu

1. Oceń wytrenowany model, wykorzystując oficjalny zbiór testowy dla każdego zestawu danych. Zbioru testowego używaj wyłącznie do końcowej oceny wydajności.
2. Dla zbiorów ISIC 2017 i ISIC 2018 oblicz mIoU, DSC, Acc, Sen oraz Spe. We wszystkich obliczeniach wykorzystaj wartości prawdziwie dodatnie (TP), fałszywie dodatnie (FP), prawdziwie ujemne (TN) i fałszywie ujemne (FN) na poziomie pikseli.
3. Zastosuj funkcję aktywacji sigmoid do wyjścia modelu dla ISIC 2017 i ISIC 2018. Przekształć mapę prawdopodobieństwa w binarną maskę segmentacji, stosując próg 0.5. Oblicz metryki ewaluacyjne zgodnie z Równaniami 2–6:
   (2)
   (3)
   (4)
   (5)
   (6)
4. Dla zbioru Synapse zastosuj funkcję aktywacji softmax do wyjścia modelu. Przypisz każdy piksel lub woksel do klasy o najwyższym prawdopodobieństwie, korzystając z operacji argmax. Oblicz DSC oraz odległość Hausdorffa z 95. percentylem (HD95) dla każdego organu w obszarze zainteresowania i podaj średnie wartości dla wszystkich przypadków testowych.
5. Porównaj model MVM-UNet z reprezentatywnymi metodami segmentacji opartymi na CNN, Transformerach oraz modelach przestrzeni stanów (SSM). Dla wszystkich metod zastosuj identyczne podziały zbiorów danych, procedury preprocessingu, rozdzielczości wejściowe oraz metryki ewaluacyjne.
6. Wykorzystaj oficjalne podziały na zbiory treningowe, walidacyjne i testowe dla ISIC 2017 i ISIC 2018. Dla zbioru Synapse zastosuj standardny podział na 18 przypadków treningowych i 12 przypadków testowych. Ustaw rozdzielczość wejściową dla zbiorów ISIC oraz dla zbioru Synapse.
7. Zreprodukuj metody bazowe, korzystając z ich oficjalnych implementacji, jeśli są dostępne. Wyniki zreprodukowane przedstaw jako średnią ± SD z powtórzonych uruchomień. Wartości raportowane w literaturze pozostaw w formie oryginalnej i odróżnij je w odpowiednich przypisach do tabel.
8. Przeprowadź badania ablacyjne, stosując stałe ziarno losowości (seed) równe 100, chyba że wskazano inaczej. Pozostaw bez zmian podziały zbiorów danych, procedurę preprocessingu, rozdzielczość wejściową, optymalizator, harmonogram tempa uczenia, wielkość partii (batch size), liczbę epok, funkcję straty oraz metryki ewaluacyjne we wszystkich eksperymentach ablacyjnych.
9. Oceń wpływ komponentów MV4D, SFusion Mamba, gałęzi Up-Down Projection w bloku MVV, MFusion Mamba, rozmiaru obrazu wejściowego, wartości dropout oraz konfiguracji warstw kodera-dekodera. W każdym eksperymencie ablacyjnym modyfikuj tylko jeden wybrany komponent lub parametr.
10. Przeprowadź test znaków rang Wilcoxona, używając sparowanych wyników dla każdego obrazu w przypadku ISIC 2017 i ISIC 2018 oraz sparowanych wyników dla każdego przypadku w przypadku Synapse. Przyjmij wartość p mniejszą niż 0.05 jako wskaźnik istotności statystycznej.
11. Oceń wydajność obliczeniową, korzystając z tego samego środowiska sprzętowego i rozdzielczości wejściowej dla wszystkich metod. Zmierz czas trenowania na epokę, czas wnioskowania na obraz, maksymalne zużycie pamięci GPU podczas trenowania, liczbę parametrów modelu oraz liczbę operacji zmiennoprzecinkowych (FLOPs). Oblicz FLOPs na podstawie jednego przejścia w przód (forward pass).
12. Wybierz reprezentatywne przykłady jakościowe wyłącznie ze zbioru testowego po zakończeniu ewaluacji modelu. Porównaj oryginalny obraz, maskę referencyjną (ground-truth) i maskę przewidzianą, stosując identyczne przypadki testowe dla wszystkich metod. Wybierz reprezentatywne przykłady zawierające małe obiekty, nieregularne krawędzie, niejednoznaczne granice oraz reprezentatywne struktury wieloorganowe.
13. Oblicz metryki ewaluacyjne i przeprowadź analizę statystyczną:
    1. Oblicz metryki segmentacji dla zbiorów danych ISIC 2017 i ISIC 2018 w języku Python, korzystając z bibliotek NumPy oraz sklearn.metrics.confusion_matrix. Zastosuj próg 0.5 dla przewidzianej mapy prawdopodobieństwa, wyznacz wartości TP, FP, TN i FN na poziomie pikseli, a następnie oblicz mIoU, DSC, Acc, Sen i Spe na podstawie tych wartości.
    2. Oblicz DSC i HD95 dla zbioru danych Synapse, korzystając odpowiednio z funkcji medpy.metric.binary.dc oraz medpy.metric.binary.hd95. Przed obliczeniem metryk ewaluacyjnych zastosuj funkcję softmax, a następnie argmax do wyjścia modelu.
    3. Oblicz liczbę FLOPs i parametrów trenowalnych za pomocą thop.profile przy jednym przejściu w przód.
    4. Przeprowadź test znaków rang Wilcoxona w języku Python, korzystając z scipy.stats.wilcoxon. Wykorzystaj sparowane wartości metryk dla każdego obrazu w przypadku zbiorów ISIC 2017 i ISIC 2018 oraz sparowane wartości metryk dla każdego przypadku w przypadku zbioru Synapse.

8. Definicja funkcji straty

1. Do segmentacji wieloklasowej zastosuj standardową funkcję straty entropii krzyżowej (CE), a do segmentacji binarnej standardową funkcję straty BCE. Do segmentacji wykorzystaj standardową formulację straty Dice. Równania 7–11 definiują funkcje straty użyte w niniejszym protokole.
    (7)
    (8)
    (9)
    (10)
    (11)
2. Dla zbiorów ISIC 2017 oraz ISIC 2018 ustaw wagi strat BCE i Dice na 1,0, tak aby ₁ = 1,0 oraz ₂ = 1,0. Dla zbioru Synapse ustaw wagi strat CE i Dice na 1,0, tak aby φ₁ = 1,0 oraz φ₂ = 1,0.
3. Zaimplementuj funkcje straty w pliku utils.py. Do członu BCE użyj nn.BCELoss, a do członu CE użyj nn.CrossEntropyLoss. Oblicz binarną stratę Dice poprzez spłaszczenie każdej przewidzianej maski oraz maski prawdy terenowej (ground-truth), obliczenie straty Dice dla każdej próbki, a następnie wyciągnięcie średniej straty z całej partii (batch). Oblicz wieloklasową stratę Dice poprzez konwersję mapy etykiet docelowych na format one-hot, zastosowanie funkcji softmax do wyjścia modelu, obliczenie straty Dice dla każdej klasy i wyciągnięcie średniej straty ze wszystkich klas.
4. Ustaw stałą wygładzania (smoothing constant) na 1 dla binarnej straty Dice oraz na 1×10⁻⁵ dla wieloklasowej straty Dice. Zaimplementuj stratę BCE-Dice za pomocą klasy BceDiceLoss z parametrami wb = 1 i wd = 1. Zaimplementuj stratę CE-Dice za pomocą klasy CeDiceLoss z parametrem loss_weight = [1, 1]. Pozostaw stałe wygładzania, strategię redukcji oraz implementację programową bez zmian dla wszystkich zbiorów danych, ziarn seedów losowych i eksperymentów.
5. Skonfiguruj redukcję straty:
   1. Utwórz instancje nn.BCELoss() oraz nn.CrossEntropyLoss() bez jawnego określania argumentu reduction.
   2. Dla obu funkcji straty zastosuj domyślne ustawienie redukcji w PyTorch (reduction = "mean"). Nie używaj reduction = "sum" ani nieredukowanego wyjścia straty.

9. Ustawienia i wykonywanie powtórzeń

1. Pobrać udostępnioną implementację ze strony https://github.com/LIXUEGUANG002/MVM-UNet. Korzystać z repozytorium wraz z pakietami oprogramowania, zbiorami danych, specyfikacjami sprzętowymi i zasobami obliczeniowymi wymienionymi w Tabeli Materiałów.
2. Sklonować repozytorium i wejść do katalogu projektu, wykonując polecenie git clone https://github.com/LIXUEGUANG002/MVM-UNet.git, a następnie cd MVM-Unet.
3. Skonfigurować eksperyment ISIC 2017 lub ISIC 2018, ustawiając nazwę zbioru danych, ścieżkę do zbioru danych, rozmiar wejściowy, rozmiar partii (batch size), liczbę epok, funkcję straty, optymalizator, harmonogram tempa uczenia (learning-rate scheduler) oraz ziarno losowe w pliku configs/config_setting.py. Uruchomić skrypt treningowy z głównego katalogu repozytorium za pomocą polecenia python train.py.
4. Skonfigurować eksperyment Synapse, ustawiając nazwę zbioru danych, ścieżkę do danych treningowych, ścieżkę do wolumenu testowego, katalog listy, rozmiar wejściowy, liczbę klas, rozmiar partii, liczbę epok, funkcję straty, optymalizator, harmonogram tempa uczenia oraz ziarno losowe w pliku configs/config_setting_synapse.py. Uruchomić skrypt treningowy z głównego katalogu repozytorium za pomocą polecenia python train_synapse.py.
5. Przeprowadzić ewaluację opartą wyłącznie na inferencji, ustawiając only_test_and_save_figs = True, best_ckpt_path na wybranym wyuczonym punkcie kontrolnym (checkpoint) oraz img_save_path na katalog wyjściowy w odpowiednim pliku konfiguracyjnym. Uruchomić python train.py dla ISIC 2017 lub ISIC 2018 lub python train_synapse.py dla Synapse, aby wygenerować wyniki predykcji i ryciny jakościowe.
6. Użyć udostępnionej wersji kodu źródłowego:
   1. Sklonować udostępnione repozytorium GitHub i przejść do commita ee891b42c2f083c4990eed72f1d4463adc5e103e w gałęzi master przed konfiguracją zbiorów danych, skryptów treningowych i ustawień ewaluacji.
   2. Użyć tego commita, aby powtórzyć eksperymenty opisane w niniejszym badaniu. W momencie rewizji manuskryptu dla repozytorium nie była dostępna żadna oznaczona wersja wydawnicza (tagged release).

Wyniki

Oczekiwane wyniki i interpretacja
Przy prawidłowej implementacji niniejszego protokołu oczekuje się, że wytrenowany model MVM-UNet zapewni stabilną wydajność segmentacji w powtórzonych uruchomieniach, wykazując jedynie niewielkie różnice między różnymi ziarnami losowymi dla większości metryk ewaluacyjnych. W przypadku zbiorów ISIC 2017 i ISIC 2018 pomyślne wyniki objawiają się wysokimi wartościami DSC, mIoU, Acc, Sen oraz Spe, wraz z przewidywanymi maskami zmian, które ściśle odpowiadają granicom zmian w prawdzie terenowej (ryciny 6 i 7). Dla zbioru Synapse pomyślne wyniki odzwierciedlają wysokie średnie wartości DSC oraz niskie wartości HD95 dla organów na pierwszym planie (rycina 8). Podczas realizacji protokołu metryki ilościowe należy interpretować łącznie z odpowiadającymi im jakościowymi wynikami segmentacji. Model, który osiąga wysoki wskaźnik DSC, ale wykazuje przecieki na granicach, pomijanie małych struktur lub fragmentaryczne predykcje, należy uznać za jedynie częściowo udany, a następnie należy zweryfikować procedurę preprocessingu, wybór punktu kontrolnego (checkpoint) oraz ustawienia inferencji.

Rysunek 6. Reprezentatywne jakościowe wyniki segmentacji w zbiorze danych ISIC 2017. Reprezentatywne jakościowe wyniki segmentacji uzyskane w zbiorze danych do segmentacji zmian skórnych International Skin Imaging Collaboration (ISIC) 2017. Każdy przykład przedstawia oryginalny obraz dermoskopowy (Image), odpowiadającą mu maskę segmentacji prawdy obiektywnej (GT) oraz predykcję wygenerowaną przez MVM-UNet (Pred). Reprezentatywne przypadki testowe ilustrują skuteczność segmentacji dla zmian o różnej wielkości, morfologii i stopniu złożoności granic. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rycina 7. Reprezentatywne jakościowe wyniki segmentacji na zbiorze danych ISIC 2018. Reprezentatywne jakościowe wyniki segmentacji uzyskane na zbiorze danych do segmentacji zmian skórnych International Skin Imaging Collaboration (ISIC) 2018. Każdy przykład przedstawia oryginalny obraz dermoskopowy (Image), odpowiadającą mu maskę segmentacji referencyjnej (GT) oraz predykcję wygenerowaną przez MVM-UNet (Pred). Reprezentatywne przypadki testowe demonstrują wydajność segmentacji dla zróżnicowanego wyglądu zmian i charakterystyki ich granic. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rysunek 8. Reprezentatywne wyniki jakościowej segmentacji w zbiorze danych tomografii komputerowej wielu organów Synapse. Reprezentatywne wyniki jakościowej segmentacji wielu organów uzyskane w zbiorze danych Synapse Multi-Atlas Labeling Beyond the Cranial Vault. Każdy przykład przedstawia oryginalny obraz tomografii komputerowej (Image), odpowiadające mu adnotacje organów stanowiące prawdę obiektywną (GT) oraz predykcję wygenerowaną przez MVM-UNet (Pred). Reprezentatywne przykłady ilustrują zgodność między predykcjami a segmentacjami referencyjnymi dla wielu organów jamy brzusznej. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Wydajność w zbiorze ISIC 2017
Aby ocenić powtarzalność MVM-UNet, wszystkie główne eksperymenty porównawcze powtórzono z użyciem trzech niezależnych ziarn losowych (1, 52 i 100), a wyniki przedstawiono jako średnia ± SD. Istotność statystyczną oceniono za pomocą testu znaków rang Wilcoxona w oparciu o sparowane wyniki dla każdego obrazu w przypadku ISIC 2017 i ISIC 2018 oraz sparowane wyniki dla każdego przypadku w przypadku Synapse. Analizę statystyczną przeprowadzono przy użyciu sparowanych wartości metryk, a nie średnich na poziomie ziarna losowego. Dla zapewnienia rzetelnego porównania wyniki podane jako średnia ± SD odtworzono przy użyciu oficjalnych implementacji przy tych samych podziałach zbioru danych, rozdzielczościach wejściowych i metrykach oceny, o ile było to możliwe, natomiast wyniki pojedyncze przejęto z odpowiednich oryginalnych publikacji.

Model MVM-UNet został oceniony na zbiorze danych segmentacji zmian skórnych ISIC 2017 i porównany z reprezentatywnymi metodami segmentacji, w tym UNet^8,21, TransUNet²³, H-vmunet²⁸, MISSFormer³⁰, MaLUNet³¹, VM-UNet³², UNeXt-S³³, HResFormer³⁴, MedScale-Former³⁵, MCAFT³⁶ oraz H2Former¹² (Tabela 1). MVM-UNet osiągnął mIoU na poziomie 80.94 ± 1.01%, DSC 91.32% ± 0.68%, dokładność 96.58% ± 0.27%, swoistość 98.31% ± 0.23% oraz czułość 91.65% ± 0.77% w trzech niezależnych uruchomieniach. W porównaniu z ocenianymi metodami, MVM-UNet uzyskał najwyższe wartości mIoU, DSC i czułości. Reprezentatywne jakościowe wyniki segmentacji przedstawiono na Rysunku 6, gdzie przewidziane maski ściśle odpowiadają granicom zmian w rzeczywistości (ground-truth) na reprezentatywnych obrazach testowych.

Model	Ref.	mIoU (%)	DSC (%)	Acc (%)	Spe (%)	Sen (%)
UNet	8	76.98	86.99	95.65	97.43	86.82
TransUNet	23	75.32	81.23	91.45	95.77	82.63
MaLUNet	31	78.78	88.13	96.18	98.47	84.78
VM-UNet	32	80.23	89.03	96.29	97.58	89.90
UNeXt-S	33	78.26	87.80	95.95	97.74	87.04
HResFormer	34	79.89 ± 1.05	88.82 ± 0.65	96.25 ± 0.24	97.73 ± 0.22	87.72 ± 0.79
H-vmunet	28	80.34 ± 1.02	90.68 ± 0.55	96.42 ± 0.18	98.23 ± 0.32	88.97 ± 0.88
MISSFormer	30	80.16 ± 0.78	89.27 ± 0.61	94.36 ± 0.28	97.52 ± 0.38	87.71 ± 0.69
H2Former	12	80.35 ± 0.95	88.56 ± 0.72	96.61 ± 0.19	98.15 ± 0.14	88.21 ± 0.81
MedScale-Former	35	80.31 ± 0.82	89.11 ± 0.59	95.68 ± 0.33	98.24 ± 0.21	89.96 ± 0.92
MCAFT	36	80.59 ± 0.93	89.27 ± 0.63	96.42 ± 0.20	97.95 ± 0.17	90.05 ± 0.84
MVM-UNet (nasz model)	—	80.94 ± 1.01	91.32 ± 0.68	96.58 ± 0.27	98.31 ± 0.23	91.65 ± 0.77

Tabela 1: Porównanie wydajności na zbiorze danych do segmentacji zmian skórnych ISIC 2017. Porównanie modelu MVM-UNet z reprezentatywnymi metodami segmentacji opartymi na splotowych sieciach neuronowych (CNN), Transformerach oraz modelach przestrzeni stanów (SSM) z wykorzystaniem średniego współczynnika Intersection over Union (mIoU), współczynnika podobieństwa Dice'a (DSC), dokładności (Acc.), swoistości (Spe.) oraz czułości (Sen.). Wyniki dla MVM-UNet przedstawiono jako średnia ± odchylenie standardowe z trzech niezależnych eksperymentów z losowym ziarnem. Wyniki podane jako pojedyncze wartości zostały powtórzone z odpowiednich oryginalnych publikacji.

Przykłady jakościowe dodatkowo wykazują, że MVM-UNet precyzyjnie segmentował zarówno małe zmiany, jak i większe zmiany o nieregularnych granicach. W tych reprezentatywnych przykładach przewidziane maski ściśle odpowiadały odpowiednim adnotacjom prawdy terenowej (ground-truth) i zachowywały granice zmian przy minimalnym wycieku lub fragmentacji.

Aby dalej ocenić, czy zaobserwowane poprawy były istotne statystycznie, przeprowadzono testy znaków rang Wilcoxona z wykorzystaniem sparowanych wyników segmentacji dla każdego obrazu. W przypadku metryki mIoU, MVM-UNet wykazał statystycznie istotną poprawę w porównaniu z MCAFT, przy wartości p wynoszącej 0,0114. W przypadku metryki DSC, MVM-UNet również znacząco przewyższył H-vmunet, przy wartości p wynoszącej 0,0031. Wyniki te potwierdzają, że zaobserwowane poprawy w zbiorze ISIC 2017 prawdopodobnie nie były wynikiem przypadkowej zmienności.

Ogólnie rzecz biorąc, model MVM-UNet osiągnął najwyższą wydajność spośród porównanych metod pod względem mIoU, DSC oraz czułości w zbiorze danych ISIC 2017 (Tabela 1). Przykłady jakościowej segmentacji przedstawione na Rysunku 6 są zgodne z tymi wynikami ilościowymi.

Wyniki na zbiorze ISIC 2018
Model MVM-UNet został dodatkowo oceniony na zbiorze danych do segmentacji zmian skórnych ISIC 2018 i porównany z reprezentatywnymi metodami segmentacji, w tym UNet^8,21, UNet++⁹, UTNetV2³⁷, SANet³⁸, MaLUNet³¹, VM-UNet³², H-vmunet²⁸, MISSFormer³⁰, H2Former¹², HResFormer³⁴, MedScale-Former³⁵ oraz MCAFT³⁶ (Tabela 2). MVM-UNet osiągnął mIoU na poziomie 82.47% ± 1.28%, DSC 90.65% ± 0.94%, dokładność (accuracy) 96.02% ± 0.36%, swoistość (specificity) 97.06% ± 0.31% oraz czułość (sensitivity) 91.80% ± 0.82% w trzech niezależnych uruchomieniach. Wyniki te dowodzą, że wydajność modelu MVM-UNet pozostała spójna dla różnych ziarn losowości (random seeds). Reprezentatywne jakościowe wyniki segmentacji przedstawiono na Rysunku 7.

Model	Ref.	mIoU (%)	DSC (%)	Acc (%)	Spe (%)	Sen (%)
UNet	8	77.86	87.55	94.05	96.69	85.86
UNet++	9	78.31	87.83	94.02	95.75	88.65
UTNetV2	37	78.97	88.25	94.32	96.48	87.60
SANet	38	79.52	88.59	94.39	95.97	89.46
MaLUNet	31	80.25	89.04	94.62	96.19	89.74
VM-UNet	32	81.35	89.71	94.91	96.13	91.12
H-vmunet	28	81.93 ± 1.45	90.46 ± 0.62	95.19 ± 0.30	96.82 ± 0.21	88.37 ± 1.13
MISSFormer	30	80.27 ± 1.21	89.91 ± 0.46	94.76 ± 0.27	97.22 ± 0.15	90.84 ± 1.07
H2Former	12	80.40 ± 0.83	90.26 ± 0.73	94.89 ± 0.38	96.98 ± 0.25	91.57 ± 0.54
HResFormer	34	81.12 ± 1.18	88.86 ± 0.84	94.96 ± 0.33	96.43 ± 0.22	91.86 ± 1.01
MedScale-Former	35	80.97 ± 0.74	90.47 ± 0.68	95.02 ± 0.41	95.89 ± 0.26	90.65 ± 0.92
MCAFT	36	81.46 ± 1.03	89.06 ± 0.76	95.23 ± 0.29	96.72 ± 0.17	91.82 ± 0.57
MVM-UNet (nasz model)	—	82.47 ± 1.28	90.65 ± 0.94	96.02 ± 0.36	97.06 ± 0.31	91.80 ± 0.82

Tabela 2: Porównanie wydajności na zbiorze danych do segmentacji zmian skórnych ISIC 2018. Porównanie modelu MVM-UNet z reprezentatywnymi metodami segmentacji opartymi na CNN, Transformerach oraz SSM z wykorzystaniem średniego współczynnika Intersection over Union (mIoU), współczynnika podobieństwa Dice (DSC), dokładności (Acc.), swoistości (Spe.) oraz czułości (Sen.). Wyniki dla MVM-UNet przedstawiono jako średnią ± odchylenie standardowe z trzech niezależnych eksperymentów z losowymi ziarnami. Wyniki podane jako pojedyncze wartości zostały powtórzone z odpowiednich oryginalnych publikacji.

W porównaniu z H-vmunet, MVM-UNet poprawił mIoU o 0,54%. W porównaniu z MedScale-Former, MVM-UNet poprawił DSC o 0,18%. MVM-UNet osiągnął również najwyższą dokładność spośród porównanych metod. Reprezentatywne przykłady jakościowe przedstawione na Rysunku 7 wykazują dokładną segmentację reprezentatywnych zmian skórnych, w tym małych obszarów zmian oraz zmian o nieregularnych granicach.

W przypadku zbioru ISIC 2018 istotność statystyczną oceniono za pomocą testu znaków rang Wilcoxona w oparciu o sparowane wyniki segmentacji dla poszczególnych obrazów. Dla metryki mIoU model MVM-UNet osiągnął statystycznie istotną poprawę w porównaniu z MCAFT, przy wartości p < 0,001. Wyniki te potwierdzają, że zaobserwowana poprawa wydajności w zbiorze ISIC 2018 prawdopodobnie nie była wynikiem przypadkowej zmienności.

Ogólnie MVM-UNet osiągnął najwyższe wartości mIoU, DSC i dokładności spośród porównanych metod w zbiorze danych ISIC 2018 (Tabela 2). Przykłady jakościowe przedstawione na Rysunku 7 są zgodne z tymi ulepszeniami ilościowymi.

Wyniki na zbiorze Synapse
Zaproponowaną metodę oceniono również na wieloorganowym zbiorze danych do segmentacji Synapse i porównano z reprezentatywnymi metodami, takimi jak UNet^8,21, Attention U-Net³⁹, TransUNet²³, TransNorm⁴⁰, Swin U-Net²⁵, TransDeepLab⁴¹, MEW-UNet⁴², MISSFormer³⁰, H2Former¹², HResFormer³⁴, MedScale-Former³⁵ oraz MCAFT³⁶ (Tabela 3). Zbiór danych Synapse obejmował osiem organów jamy brzusznej: aortę, pęcherzyk żółciowy, śledzionę, lewą nerkę, prawą nerkę, wątrobę, trzustkę i żołądek. Zgodnie ze standardowym protokołem eksperymentalnym, 18 przypadków (2 212 przekrojów osiowych) wykorzystano do uczenia, a 12 przypadków (1 567 przekrojów osiowych) do testowania. Nie wprowadzono oddzielnego zbioru walidacyjnego. Przypadki testowe służyły wyłącznie do końcowej oceny i nie były wykorzystywane do trenowania modelu, dostrajania hiperparametrów ani wyboru modelu. Reprezentatywne jakościowe wyniki segmentacji wielu organów przedstawiono na Rysunku 8, a porównanie ilościowe podsumowano w Tabeli 3.

Model	Ref.	DSC	HD95	Aorta	Żółć	Nerka (L)	Nerka (P)	Wątróbka	Trzustka	Śledziona	Żołądek
UNet	8	76.85	39.78	89.07	69.72	77.77	68.69	93.43	54.01	86.66	75.59
Att-UNet	39	77.77	36.02	89.54	68.88	77.98	71.11	93.57	58.04	87.31	75.74
TransUNet	23	77.48	31.69	87.23	63.13	81.87	77.02	94.08	55.84	85.06	75.62
TransNorm	40	78.4	30.25	86.23	65.18	82.18	78.63	94.22	55.32	89.53	76.02
Swin U-Net	25	79.13	21.55	85.47	66.53	83.28	79.61	94.29	56.58	90.62	76.59
TransDeepLab	41	80.16	21.25	86.04	69.16	84.08	79.88	93.53	61.15	89.01	78.36
MEW-UNet	42	78.92	21.68	86.68	65.32	82.87	80.02	93.63	58.38	90.16	74.27
MISSFormer	30	80.92 ± 4.23	20.09 ± 1.89	86.43 ± 0.98	69.81 ± 4.56	84.29 ± 2.11	81.03 ± 3.34	93.85 ± 0.89	61.11 ± 4.67	90.05 ± 3.78	80.62 ± 1.02
H2Former	12	81.05 ± 2.56	20.13 ± 7.23	86.61 ± 3.21	69.32 ± 1.23	85.12 ± 4.78	82.01 ± 2.89	94.09 ± 2.45	61.16 ± 0.76	89.97 ± 4.12	80.94 ± 3.56
HResFormer	34	80.65 ± 4.02	17.48 ± 6.89	89.16 ± 2.78	66.94 ± 0.78	84.61 ± 4.34	82.15 ± 2.56	93.11 ± 1.34	59.92 ± 4.12	91.08 ± 3.45	80.75 ± 2.01
MedScale-Former	35	80.78 ± 1.34	20.02 ± 3.78	88.79 ± 4.02	69.82 ± 2.56	85.13 ± 0.87	81.63 ± 4.78	94.10 ± 2.78	60.72 ± 1.89	90.14 ± 1.56	80.93 ± 4.56
MCAFT	36	81.03 ± 3.45	19.98 ± 5.12	89.76 ± 0.76	68.96 ± 3.89	84.54 ± 2.56	81.98 ± 3.12	94.32 ± 4.01	60.85 ± 3.67	89.06 ± 4.89	80.91 ± 1.78
MVM-UNet (Nasz)	—	81.26 ± 1.89	18.72 ± 2.16	88.53 ± 3.22	69.84 ± 4.23	85.37 ± 2.69	82.67 ± 1.67	94.41 ± 3.56	61.02 ± 2.78	90.19 ± 0.67	81.48 ± 3.12

Tabela 3: Porównanie wydajności na zbiorze danych do segmentacji wielorganowej Synapse. Porównanie MVM-UNet z reprezentatywnymi metodami segmentacji opartymi na CNN, Transformerach i SSM z wykorzystaniem współczynnika podobieństwa Dice (DSC), odległości Hausdorffa dla 95. percentyla (HD95) oraz wyników Dice dla konkretnych organów: aorty (Aor.), pęcherzyka żółciowego (Gal.), lewej nerki (Kid. (L)), prawej nerki (Kid. (R)), wątroby (Liv.), trzustki (Pan.), śledziony (Spl.) i żołądka (Sto.). Wyniki dla MVM-UNet przedstawiono jako średnią ± odchylenie standardowe z trzech niezależnych eksperymentów z losowymi ziarnami (random-seed). Wyniki podane jako pojedyncze wartości zostały powtórzone z odpowiednich oryginalnych publikacji.

MVM-UNet osiągnął średnią wartość DSC wynoszącą 81,26% ± 1,89% oraz średnią wartość HD95 wynoszącą 18,72 ± 2,16 w trzech niezależnych uruchomieniach. Wyniki te wykazują stabilną wydajność segmentacji w zbiorze danych Synapse. spośród ocenianych metod MVM-UNet uzyskał najwyższą średnią wartość DSC oraz drugą najniższą średnią wartość HD95.

W przypadku Synapse istotność statystyczną oceniono za pomocą testu znaków Wilcoxona na podstawie sparowanych wartości DSC dla każdego przypadku. MVM-UNet wykazał statystycznie istotną poprawę w stosunku do H2Former, przy wartości p wynoszącej 0,026, co wskazuje, że zaobserwowana poprawa wydajności segmentacji była istotna statystycznie.

Reprezentatywne wyniki pomyślne i suboptimalne
Reprezentatywne pomyślne wyniki jakościowe przedstawiono na Rysunkach 6–8. Wyniki pomyślne charakteryzują się przewidywanymi maskami segmentacji, które ściśle odpowiadają adnotacjom referencyjnym (ground-truth) i dokładnie wyznaczają granice głównej zmiany lub narządu. Reprezentatywne wyniki suboptimalne mogą wystąpić w przypadku bardzo małych celów, granic o niskim kontraście, nieregularnych kształtów zmian, narządów o słabym kontraście intensywności lub anatomicznie niejednoznacznych granic; zazwyczaj objawiają się one jako niedosegmentacja, przesegmentowanie, przeciekanie granic lub nieciągłe fragmenty maski. W przypadku zaobserwowania takich wyników użytkownicy powinny zweryfikować, czy procedury zmiany rozmiaru obrazu, normalizacji, interpolacji masek, wyboru punktu kontrolnego modelu, progowania wnioskowania (dla zbiorów danych ISIC) lub predykcji argmax (dla Synapse) oraz obliczania metryk są zgodne z tymi opisanymi w Protokole.

Analiza ablacyjna modułu MV4D
Wkład modułu MV4D oceniono poprzez stopniowe dodawanie par skanowania typu zygzak, hierarchicznego, spiralnego i radialnego, a następnie modułu SFusion Mamba (Tabela 4; Rysunek 9). Gdy zastosowano wyłącznie parę skanowania zygzak, wydajność segmentacji była ograniczona. Dodanie pary skanowania hierarchicznego znacząco poprawiło wyniki, co wskazuje na korzyść z włączenia informacji wieloskalowych. Kolejne dodanie par skanowania spiralnego i radialnego dodatkowo poprawiło wydajność segmentacji poprzez usprawnienie reprezentacji konturów i granic. Włączenie modułu SFusion Mamba przyniosło najwyższą wydajność spośród ocenianych konfiguracji.

Model	Para skanowania zygzakowatego	Hierarchiczna para skanowania	Spiralna para skanowania	Radialna para skanowania	SFusion Mamba	ISIC 2017 mIoU (%)	ISIC 2017 DSC (%)	ISIC 2018 mIoU (%)	ISIC 2018 DSC (%)
MVM-UNet	✓					56.75	72.46	58.03	73.45
MVM-UNet	✓	✓				72.38	84.01	73.45	84.7
MVM-UNet	✓	✓	✓			75.69	86.20	76.94	86.94
MVM-UNet	✓	✓	✓	✓		76.41	86.61	78.28	87.82
MVM-UNet	✓	✓	✓	✓	✓	80.94	91.32	82.47	90.65

Tabela 4: Analiza ablacyjna modułu Multi-View 4-Directional (MV4D). Wyniki uzyskane poprzez progresywne włączanie hierarchicznych, spiralnych i radialnych par skanowania oraz modułu Spatial Fusion Mamba (SFusion Mamba) do bazowej architektury opartej na zygzakowatych parach skanowania. Wyniki przedstawiono z wykorzystaniem średniego współczynnika Intersection over Union (mIoU) oraz współczynnika podobieństwa Dice'a (DSC) dla zbiorów danych ISIC 2017 i ISIC 2018.

Rycina 9. Studium ablacyjne modułu Multi-View 4-Directional (MV4D). (A) Zmiana średniego współczynnika Intersection over Union (mIoU) po sekwencyjnym włączeniu hierarchicznej pary skanowania, spiralnej pary skanowania, radialnej pary skanowania oraz Spatial Fusion Mamba (SFusion Mamba) do architektury bazowej. (B) Zmiana współczynnika podobieństwa Dice'a (DSC) po sekwencyjnym włączeniu hierarchicznej pary skanowania, spiralnej pary skanowania, radialnej pary skanowania oraz Spatial Fusion Mamba (SFusion Mamba) do architektury bazowej. (C) Zmiana mIoU po sekwencyjnym włączeniu hierarchicznej pary skanowania, spiralnej pary skanowania, radialnej pary skanowania oraz Spatial Fusion Mamba (SFusion Mamba) do architektury bazowej w drugim ustawieniu eksperymentalnym. (D) Zmiana DSC po sekwencyjnym włączeniu hierarchicznej pary skanowania, spiralnej pary skanowania, radialnej pary skanowania oraz Spatial Fusion Mamba (SFusion Mamba) do architektury bazowej w drugim ustawieniu eksperymentalnym. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

W przypadku zbioru danych ISIC 2017 kompletny moduł MV4D osiągnął mIoU na poziomie 80,94% oraz DSC na poziomie 91,32%. Odpowiednie trendy wydajności dla mIoU i DSC przedstawiono odpowiednio na Rysunku 9A oraz Rysunku 9B. W przypadku zbioru danych ISIC 2018 kompletny moduł MV4D osiągnął mIoU na poziomie 82,47% oraz DSC na poziomie 90,65%. Odpowiednie trendy wydajności przedstawiono odpowiednio na Rysunku 9C oraz Rysunku 9D.

O ile nie określono inaczej, wszystkie eksperymenty ablacyjne przeprowadzono przy użyciu stałego ziarna losowości (seed) o wartości 100, natomiast główne wyniki porównawcze przedstawiono jako średnią ± SD z trzech niezależnych ziaren losowości (1, 52 i 100). W związku z tym wyniki ablacji mają na celu porównanie względnego wkładu poszczególnych komponentów w kontrolowanych warunkach z pojedynczym ziarnem, a nie odtworzenie końcowej wydajności wieloziarenowej raportowanej w głównych eksperymentach porównawczych.

Ogólnie rzecz biorąc, sukcesywne włączanie dodatkowych par skanów oraz modułu SFusion Mamba konsekwentnie poprawiało wyniki segmentacji, przy czym pełna konfiguracja MV4D osiągnęła najwyższą wydajność w obu zbiorach danych.

Analiza ablacyjna bloku Multi-View Vision (MVV)
Blok MVV oceniono poprzez porównanie architektury bazowej z wersją zawierającą odgałęzienie Up-Down Projection (Tabela 5). W przypadku zbioru danych ISIC 2017 wprowadzenie odgałęzienia Up-Down Projection zwiększyło mIoU z 78,83% do 80,96%, a DSC z 88,15% do 91,02%. W przypadku zbioru danych ISIC 2018 mIoU wzrosło z 80,32% do 82,46%, natomiast DSC zwiększyło się z 89,15% do 90,57%.

Model	Blok bazowej MVV	Projekcja góra-dół	ISIC 2017 mIoU (%)	ISIC 2017 DSC (%)	ISIC 2018 mIoU (%)	ISIC 2018 DSC (%)
MVM-UNet	✓		78.83	88.15	80.32	89.15
MVM-UNet	✓	✓	80.96	91.02	82.46	90.57

Tabela 5: Badanie ablacyjne bloku Multi-View Vision (MVV). Porównanie wydajności bazowego bloku Multi-View Vision (MVV) z odgałęzieniem Up-Down Projection i bez niego. Wydajność przedstawiono za pomocą średniego współczynnika Intersection over Union (mIoU) oraz współczynnika podobieństwa Dice'a (DSC) dla zbiorów danych ISIC 2017 i ISIC 2018.

Eksperymenty z ablacją bloku MVV przeprowadzono przy użyciu stałego losowego ziarna (seed) o wartości 100. W związku z tym wydajność konfiguracji zawierającej gałąź rzutu góra-dół (Up-Down Projection) odzwierciedla kontrolowane ustawienie ablacyjne dla pojedynczego ziarna i może nieznacznie różnić się od średniej wydajności z trzech ziaren raportowanej dla pełnego modelu MVM-UNet w głównych eksperymentach porównawczych.

Ogólnie rzecz biorąc, włączenie gałęzi projekcji góra-dół (Up-Down Projection) konsekwentnie poprawiło wydajność segmentacji w obu zbiorach danych, co objawiło się wzrostem wartości mIoU oraz DSC.

Badanie ablacyjne modułu Multi-stage Fusion Mamba (MFusion Mamba)
Moduł MFusion Mamba został oceniony poprzez porównanie różnych strategii fuzji gruboziarnistej (coarse fusion) wraz z komponentem fuzji drobnoziarnistej (Fine Fusion) (Tabela 6; Rysunek 10). Bez zastosowania MFusion Mamba, model MVM-UNet osiągnął mIoU na poziomie 75,47% oraz DSC na poziomie 86,01% w zbiorze danych ISIC 2017, a mIoU 77,49% oraz DSC 87,29% w zbiorze danych ISIC 2018. spośród ocenianych strategii fuzji gruboziarnistej największą poprawę uzyskano przy zastosowaniu produktu Hadamarda. Wprowadzenie komponentu Fine Fusion dodatkowo zwiększyło wydajność segmentacji. Pełna konfiguracja MFusion Mamba pozwoliła osiągnąć mIoU 80,95% i DSC 91,18% dla ISIC 2017 oraz mIoU 82,51% i DSC 90,58% dla ISIC 2018.

Model	Gruba fuzja – maksimum element po elemencie	Gruba fuzja – dodawanie element po elemencie	Gruba fuzja – produkt Hadamarda	Moduł precyzyjnej fuzji	ISIC 2017 mIoU (%)	ISIC 2017 DSC (%)	ISIC 2018 mIoU (%)	ISIC 2018 DSC (%)
MVM-UNet					75.47	86.01	77.49	87.29
MVM-UNet	✓				76.21	86.47	78.35	87.82
MVM-UNet		✓			76.83	86.86	79.11	88.30
MVM-UNet			✓		78.26	87.83	80.06	88.96
MVM-UNet			✓	✓	80.95	91.18	82.51	90.58

Tabela 6: Analiza ablacyjna modułu wieloetapowej fuzji Mamba (Multi-stage Fusion Mamba, MFusion Mamba). Porównanie wydajności różnych strategii fuzji grubej (Coarse Fusion), w tym fuzji maksymalnej (Max), dodawania element po elemencie (⊕) oraz produktu Hadamarda (⊙), wraz z pełnym modułem fuzji subtelnej (Fine Fusion). Wydajność przedstawiono za pomocą średniego współczynnika IoU (mIoU) oraz współczynnika podobieństwa Dice'a (DSC) dla zbiorów danych ISIC 2017 i ISIC 2018.

Rycina 10. Badanie ablacyjne modułu Multi-stage Fusion Mamba (MFusion Mamba). (A) Zmiana średniego współczynnika Intersection over Union (mIoU) uzyskana przy zastosowaniu różnych strategii fuzji gruboziarnistej (maximum, dodawanie element po elemencie oraz produkt Hadamarda) i pełnego modułu Fine Fusion. (B) Zmiana współczynnika podobieństwa Dice'a (DSC) uzyskana przy zastosowaniu różnych strategii fuzji gruboziarnistej (maximum, dodawanie element po elemencie oraz produkt Hadamarda) i pełnego modułu Fine Fusion. (C) Zmiana mIoU uzyskana przy zastosowaniu różnych strategii fuzji gruboziarnistej (maximum, dodawanie element po elemencie oraz produkt Hadamarda) i pełnego modułu Fine Fusion w drugim wariancie eksperymentalnym. (D) Zmiana DSC uzyskana przy zastosowaniu różnych strategii fuzji gruboziarnistej (maximum, dodawanie element po elemencie oraz produkt Hadamarda) i pełnego modułu Fine Fusion w drugim wariancie eksperymentalnym. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

W zbiorze danych ISIC 2017 pełna konfiguracja MFusion Mamba osiągnęła mIoU na poziomie 80,95% oraz DSC na poziomie 91,18%. Odpowiednie trendy wydajności dla mIoU i DSC przedstawiono odpowiednio na Rysunku 10A oraz Rysunku 10B. W zbiorze danych ISIC 2018 pełna konfiguracja MFusion Mamba osiągnęła mIoU na poziomie 82,51% oraz DSC na poziomie 90,58%. Odpowiednie trendy wydajności przedstawiono odpowiednio na Rysunku 10C oraz Rysunku 10D. Eksperymenty ablacyjne MFusion Mamba zostały przeprowadzone przy użyciu stałego ziarna losowości (seed) wynoszącego 100. W związku z tym pełna konfiguracja MFusion Mamba reprezentuje kontrolowany wynik ablacji dla jednego ziarna i może nieznacznie różnić się od średniej wydajności z trzech ziaren raportowanej dla pełnego modelu MVM-UNet w głównych eksperymentach porównawczych.

Ogólnie rzecz biorąc, stopniowe wprowadzanie strategii fuzji gruboziarnistej opartej na produkcie Hadamarda oraz komponentu Fine Fusion konsekwentnie poprawiało wyniki segmentacji, przy czym pełna konfiguracja MFusion Mamba osiągnęła najwyższą wydajność na obu zbiorach danych.

Podsumowanie badań ablacyjnych
W ramach eksperymentów ablacyjnych stopniowe wprowadzanie hierarchicznych, spiralnych i radialnych gałęzi par skanowania, wraz z modułem SFusion Mamba, konsekwentnie poprawiało wyniki segmentacji (Tabela 4; Rysunek 9). Podobnie, włączenie gałęzi Up-Down Projection w bloku MVV poprawiło wskaźniki mIoU oraz DSC w zbiorach danych ISIC 2017 i ISIC 2018 (Tabela 5). Pełna konfiguracja MFusion Mamba osiągnęła również najwyższą wydajność spośród ocenianych strategii wieloetapowej fuzji cech (Tabela 6; Rysunek 10).

Analiza ablacyjna hiperparametrów
Wpływ rozmiaru wejściowego oraz wartości dropout oceniono na zbiorach danych ISIC 2017 i ISIC 2018 (Tabela 7). Porównano trzy rozdzielczości wejściowe (256 × 256, 384 × 384 oraz 512 × 512). W ramach ocenianych ustawień rozdzielczość wejściowa 256 × 256 pozwoliła uzyskać najwyższą wydajność segmentacji w obu zbiorach danych.

Model	Rozmiar wejścia 256 × 256	Rozmiar wejścia 384 × 384	Rozmiar wejścia 512 × 512	Dropout 0,0	Dropout 0,1	Dropout 0,2	Dropout 0,3	ISIC 2017 mIoU (%)	ISIC 2017 DSC (%)	ISIC 2018 mIoU (%)	ISIC 2018 DSC (%)
MVM-UNet		✓				✓		80,02	88,91	81,76	89,92
MVM-UNet			✓			✓		79,96	88,87	80,97	89,47
MVM-UNet	✓			✓				77,48	87,28	78,76	88,11
MVM-UNet	✓				✓			79,36	88,53	81,13	89,62
MVM-UNet	✓					✓		80,94	90,15	82,49	90,50
MVM-UNet	✓						✓	79,71	88,71	80,46	89,18

Tabela 7: Badanie ablacyjne rozmiaru obrazu wejściowego i wartości dropoutu. Porównanie wydajności MVM-UNet przy zastosowaniu różnych rozmiarów obrazów wejściowych i wartości dropoutu. Wydajność segmentacji została przedstawiona przy użyciu średniego współczynnika Intersection over Union (mIoU) oraz współczynnika podobieństwa Dice'a (DSC) na zbiorach danych ISIC 2017 i ISIC 2018.

Oceniono również różne wartości dropout. Spośród przetestowanych konfiguracji wartość dropout wynosząca 0,2 zapewniła najwyższą skuteczność segmentacji w obu zbiorach danych i została zatem zastosowana w głównych eksperymentach.

Badanie ablacyjne konfiguracji warstw enkodera-dekodera
Oceniono różne konfiguracje warstw enkodera-dekodera, aby zbadać wpływ głębokości sieci na wydajność segmentacji oraz koszt obliczeniowy (Tabela 8). Wśród ocenionych konfiguracji symetryczna architektura {2, 2, 2, 2}-{2, 2, 2, 2} osiągnęła najwyższą ogólną wydajność segmentacji, zachowując jednocześnie stosunkowo niską złożoność modelu. Zwiększenie głębokości sieci do {2, 2, 9, 2}-{2, 9, 2, 2} przyniosło porównywalną wydajność segmentacji, ale zwiększyło zarówno liczbę parametrów, jak i koszt obliczeniowy.

Model	Konfiguracja warstw koder-dekoder	Parametry (M)	FLOPs (G)	ISIC 2017 mIoU (%)	ISIC 2017 DSC (%)	ISIC 2018 mIoU (%)	ISIC 2018 DSC (%)
MVM-UNet	{2,2,2,1}-{2,2,2,2}	28.22	4.12	80.02	88.91	81.16	89.64
MVM-UNet	{2,2,2,2}-{2,2,2,2}	28.36	4.39	80.95	90.17	82.5	90.41
MVM-UNet	{2,2,2,3}-{2,3,2,2}	30.14	4.88	79.83	88.8	81.56	89.85
MVM-UNet	{2,4,2,2}-{2,2,4,2}	33.46	5.32	79.65	88.7	81.45	89.79
MVM-UNet	{2,2,9,2}-{2,9,2,2}	45.63	7.78	80.96	90.09	82.48	90.43

Tabela 8: Badanie ablacyjne konfiguracji warstw koder-dekoder. Porównanie wydajności różnych konfiguracji warstw koder-dekoder. Tabela przedstawia liczbę parametrów modelu (Parameters), liczbę operacji zmiennoprzecinkowych (FLOPs), średni współczynnik IoU (mIoU) oraz współczynnik podobieństwa Dice (DSC) dla zbiorów danych ISIC 2017 i ISIC 2018.

Porównanie kosztów obliczeniowych
Wydajność obliczeniową końcowego modelu MVM-UNet porównano z reprezentatywnymi metodami bazowymi, w tym HResFormer, H-vmunet, MISSFormer, H2Former, MedScale-Former oraz MCAFT, w tym samym środowisku sprzętowym i przy tej samej rozdzielczości wejściowej (Tabela 9). Oceńiane metryki obejmowały czas trenowania na epokę, czas inferencji na obraz, szczytowe zużycie pamięci GPU podczas trenowania, liczbę trenowalnych parametrów (Params) oraz FLOPs. Czas trenowania mierzono jako czas wymagany do ukończenia jednej epoki trenowania, czas inferencji jako średni czas przetwarzania pojedynczego obrazu testowego, a FLOPs obliczano dla pojedynczego przejścia w przód.

Metoda	Ref.	Czas trenowania (s/epoch)	Czas wnioskowania (ms/obraz)	Szczytowa pamięć GPU (GB)	Parametry (M)	FLOPs (G)
HResFormer	34	520	213.08	19.2	117.00	131.70
H-vmunet	28	88	27.00	5.0	10.74	8.97
MISSFormer	30	355	92.86	12.6	42.33	109.45
H2Former	12	130	29.02	8.8	33.71	33.56
MedScale-Former	35	80	23.50	5.9	4.96	3.79
MCAFT	36	145	34.00	8.7	30.00	12.00
MVM-UNet (nasza metoda)	—	104	26.80	7.9	28.36	4.39

Tabela 9: Porównanie kosztów obliczeniowych MVM-UNet i reprezentatywnych metod bazowych. Porównanie wydajności obliczeniowej w tym samym środowisku sprzętowym i przy tej samej rozdzielczości wejściowej. Raportowane metryki obejmują czas trenowania na epokę, czas inferencji na obraz, szczytowe zużycie pamięci jednostki przetwarzania graficznego (GPU) podczas trenowania, liczbę parametrów modelu (Parameters) oraz liczbę operacji zmiennoprzecinkowych (FLOPs). Metody z dostępnymi implementacjami były oceniane w tym samym środowisku eksperymentalnym, gdy było to możliwe.

Jak podsumowano w Tabeli 9, model MVM-UNet wymagał 104 s na epokę treningową, 26,8 ms na obraz podczas inferencji, 7,9 GB szczytowej pamięci GPU, 28,36 mln trenowalnych parametrów oraz 4,39 GFLOPs. W porównaniu z modelami HResFormer, MISSFormer, H2Former i MCAFT, MVM-UNet wymagał krótszego czasu trenowania, krótszego czasu inferencji, mniejszego szczytowego zużycia pamięci GPU oraz mniejszej liczby FLOPs. W porównaniu z lekkimi modelami H-vmunet i MedScale-Former, MVM-UNet wymagał dłuższego czasu trenowania i większego zużycia pamięci, ale zachował porównywalną prędkość inferencji przy relatywnie niskiej złożoności obliczeniowej.

Dostępność danych i kodu
Zbiory danych ISIC 2017 i ISIC 2018 są ogólnodostępne w archiwum International Skin Imaging Collaboration (ISIC), a zbiór danych Synapse jest ogólnodostępny w repozytorium Synapse. Szczegóły dotyczące pozyskania zbiorów danych znajdują się w oświadczeniu etycznym. W skrócie, zbiór danych ISIC 2017 został pobrany z oficjalnego repozytorium danych ISIC 2017 Challenge (https://challenge.isic-archive.com/data/#2017), zbiór danych ISIC 2018 został pobrany z oficjalnego repozytorium danych ISIC 2018 Challenge Task 1 (https://challenge.isic-archive.com/data/#2018), a zbiór danych Synapse został pobrany z repozytorium Synapse pod identyfikatorem dostępu syn3193805 (https://www.synapse.org/Synapse:syn3193805). Odpowiednie daty pobierania danych są podane w oświadczeniu etycznym. Wstępna publiczna wersja kodu źródłowego MVM-UNet jest dostępna pod adresem https://github.com/LIXUEGUANG002/MVM-UNet. Repozytorium zawiera implementację modelu, główne moduły sieci, pliki konfiguracyjne, instrukcje organizacji zbiorów danych, skrypty treningowe oraz skrypty ewaluacyjne. Pełny pakiet reprodukcyjny, obejmujący sfinalizowane pliki konfiguracyjne, kompletne skrypty eksperymentalne, dodatkową dokumentację oraz punkty kontrolne (checkpoints) wytrenowanego modelu, zostanie udostępniony publicznie po publikacji.

Tabela uzupełniająca 1. Warstwowa architektura sieci Multi-view Vision Mamba UNet (MVM-UNet). Tabela podsumowuje sekwencyjną architekturę sieci MVM-UNet, w tym warstwę wejściową, osadzanie patchy (patch embedding), etapy kodera, bloki Multi-View Vision (MVV), operacje łączenia patchy (patch-merging), wieloetapową fuzję Mamba (MFusion Mamba), etapy dekodera, końcowe próbkowanie w górę (upsampling) oraz głowicę segmentacyjną. Dla każdego etapu wymieniono odpowiadającą mu operację, główne parametry oraz rozmiar cech wyjściowych. E1–E4 oznaczają mapy cech etapów kodera wykorzystywane do wieloetapowej fuzji cech. B, H i W oznaczają odpowiednio rozmiar partii (batch size), wysokość obrazu i szerokość obrazu, a K oznacza liczbę klas wyjściowych (K = 1 dla binarnej segmentacji zmian skórnych i K = 9 dla wieloklasowej segmentacji Synapse, obejmującej jedną klasę tła i osiem klas narządów pierwszego planu). MFusion Mamba generuje zfuzowane wieloetapowe cechy kodera, które są integrowane z odpowiadającymi im cechami dekodera podczas rekonstrukcji w dekoderze. Kliknij tutaj, aby pobrać ten plik.

Plik uzupełniający 1. Pseudokod modułu Multi-View Four-Directional (MV4D) oraz Multi-stage Fusion Mamba (MFusion Mamba). Plik uzupełniający przedstawia schemat algorytmiczny dwóch głównych modułów zastosowanych w MVM-UNet. Algorytm 1 opisuje pełny potok przetwarzania modułu Multi-View Four-Directional (MV4D), obejmujący spłaszczanie cech, konstrukcję czterech sekwencji par skanowania (zygzakowatej, hierarchicznej, spiralnej i radialnej), przetwarzanie selektywnej przestrzeni stanów (S6), Scan-view Fusion Mamba (SFusion Mamba) oraz rekonstrukcję wyjściowej mapy cech. Algorytm 2 opisuje moduł Multi-stage Fusion Mamba (MFusion Mamba), obejmujący wieloetapowe wyrównanie cech koderów, fuzję wstępną, fuzję precyzyjną, integrację dekodera oraz generowanie połączonej wejściowej cechy dekodera. Zmienne i wymiary tensorów zostały zdefiniowane w obrębie algorytmów. Kliknij tutaj, aby pobrać ten plik.

Uzupełniający plik z kodem 1. Pakiet kodu źródłowego dla MVM-UNet (MVM-UNet-master). Uzupełniające archiwum ZIP zawiera pełną implementację kodu źródłowego MVM-UNet wykorzystanego w niniejszym badaniu. Pakiet obejmuje architekturę sieci, moduły Multi-View Four-Directional (MV4D) oraz Multi-stage Fusion Mamba (MFusion Mamba), pliki konfiguracyjne, skrypty treningowe i ewaluacyjne dla zbiorów danych ISIC 2017, ISIC 2018 i Synapse, funkcje pomocnicze oraz dokumentację projektu niezbędną do odtworzenia eksperymentów opisanych w niniejszym protokole. Pakiet zawiera również plik README z instrukcjami instalacji, zależnościami oprogramowania, organizacją zbiorów danych oraz przepływami pracy dla treningu i inferencji. Kliknij tutaj, aby pobrać ten plik.

Dyskusja

Ten protokół opisuje MVM-UNet, strukturę segmentacji obrazów medycznych opartą na Mamba. Metoda została zaprojektowana, aby rozwiązać dwie ograniczenia istniejących modeli segmentacji. Po pierwsze, konwencjonalne metody oparte na CNN mają ograniczoną zdolność do modelowania zależności dalekiego zasięgu i hierarchicznych informacji kontekstowych w złożonych obrazach medycznych⁴³. Po drugie, metody oparte na Transformerach mogą modelować globalny kontekst, ale zwykle wymagają wyższych kosztów obliczeniowych^23,25. MVM-UNet wykorzystuje architekturę Mamba^{13,14,15,16,17,18,19,20} do osiągnięcia wydajnego modelowania na odległym zasięgu i wprowadza skanowanie wielowidokowe oraz wieloetapowe łączenie funkcji, aby poprawić dokładność segmentacji. Z perspektywy wykonania protokołu i reprodukowalności, kilka kroków jest kluczowych dla uzyskania wyników porównywalnych z tymi zgłoszonymi w tej pracy. Po pierwsze, podział zbioru danych, skalowanie obrazu, interpolacja masek, strategia normalizacji i konwersja kanałów powinny być spójne z protokołem, ponieważ różnice w przetwarzaniu wstępnym mogą bezpośrednio zmieniać dystrybucję wejścia i granice masek. W szczególności maski segmentacji powinny być skalowane za pomocą interpolacji najbliższych sąsiadów, aby uniknąć wprowadzania niecałkowitych wartości etykiet⁴⁴. Po drugie, konfiguracja treningowa, w tym rozdzielczość wejściowa, wielkość partii, ustawienia optymalizatora, harmonogram szybkości uczenia, losowe nasienie, współczynniki wag straty, reguła wyboru checkpointu i próg wnioskowania lub operacja argmax, powinny być sprawdzone przed porównaniem wyników. Jeśli odtworzone wyniki są wyraźnie niższe niż wartości zgłoszone, użytkownicy powinni najpierw zweryfikować ścieżkę do zbioru danych, format adnotacji, konwencję etykiety tła-pierwszego planu, ładowanie checkpointu, podział na walidację lub testowanie oraz procedurę obliczania metryki. Wycieki graniczne, rozdrobnione maski lub brak małych struktur zwykle wskazują na potencjalne niezgodności w przetwarzaniu wstępnym, interpolacji masek, wyborze checkpointu lub post-processingu wnioskowania.

Głównym wkładem MVM-UNet jest moduł MV4D. W przeciwieństwie do prostych strategii skanowania dwuwymiarowego stosowanych w poprzednich architekturach opartych na modelach przestrzeni stanów^{14,15,16,17,18,19,20}, MV4D wykorzystuje pary skanów w kształcie zęba piaskowca, hierarchiczne, spiralne i radialne, aby uchwycić uzupełniające informacje wizualne. Pary skanów w kształcie zęba piaskowca pomagają zbilansować lokalne i globalne informacje przestrzenne, pary skanów hierarchicznych zwiększają ekstrakcję funkcji wieloskalowych, pary skanów spiralnych wzmacniają globalną reprezentację konturów, a pary skanów radialnych poprawiają ekstrakcję funkcji krawędzi i granic lokalnych. SFusion Mamba następnie integruje te uzupełniające modalności skanowania. Reprezentatywne wyniki i eksperymenty ablacyjne (Tabele 4 i 5; Rysunek 9) pokazują, że zarówno różnorodność wzorców skanowania, jak i mechanizm fuzji przyczyniają się do poprawy wydajności segmentacji. Innym ważnym komponentem jest MFusion Mamba, który służy jako moduł fuzji funkcji międzyenkoderem a dekoderem. Konwencjonalne architektury w kształcie litery U, w tym U-Net^8,21, V-Net⁴⁴ oraz wiele późniejszych wariantów^9,23,25, przede wszystkim przenoszą informacje poprzez połączenia pomijakowe etapowo. Ta strategia może nie w pełni wykorzystywać uzupełniające wieloetapowe reprezentacje enkodera. MFusion Mamba radzi sobie z tym ograniczeniem, łącząc funkcje enkodera poprzez Grupowanie Grube i Drobne przed dekodowaniem. Reprezentatywne wyniki (Tabela 6; Rysunek 10) pokazują, że MFusion Mamba konsekwentnie poprawia wydajność segmentacji, co wskazuje, że wyraźna wieloetapowa fuzja funkcji jest korzystna dla segmentacji obrazów medycznych.

Metodyczny wkład MVM-UNet należy rozumieć jako przeprojektowanie na poziomie architektury, a nie wynalazek każdej pojedynczej operacji od zera. Architektury enkodera-dekoder w kształcie litery U, połączenia resztowe, warstwy projekcyjne i bloki Mamba/model przestrzeni stanów (SSM) były dogłębnie badane w poprzednich badaniach^{8,13,14,15,16,17,18,}

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Hardware - GPU workstation or GPU server	Institutional computing platform / local workstation	Custom-built local GPU workstation; Ubuntu 22.04.1 with Linux kernel 6.8.0; Intel Core i9-13900K CPU; NVIDIA A800 GPU; 128 GB RAM; 512 GB local storage.	Computational platform for training, validation, testing, ablation, and inference-only experiments.
Hardware - Graphics processing unit (GPU)	NVIDIA Corporation	NVIDIA A800 GPU (80 GB memory).	GPU-accelerated model training and inference.
Hardware - Central processing unit (CPU)	Intel Corporation / AMD	13th Gen Intel Core i9-13900K CPU.	Host processor for data loading, preprocessing, and experiment execution.
Hardware - System memory (RAM)	Institutional computing platform / local workstation	128 GB system RAM	Memory for dataset loading, preprocessing, and training.
Hardware - Storage	Institutional computing platform / local workstation	2 TB NVMe solid-state drive.	Storage for datasets, checkpoints, logs, and generated prediction figures.
Software environment - Operating system	Canonical Ltd.	Recommended: Ubuntu 22.04.1 LTS	Operating system for the computational environment.
Software environment - Conda environment	Anaconda, Inc. / Miniconda	Environment name: mvmunet	Python environment used to install and isolate dependencies.
Software environment - Python	Python Software Foundation	Python 3.8	Programming language used for implementation and experiment execution.
Software environment - CUDA toolkit	NVIDIA Corporation	CUDA Toolkit 11.8	GPU computing backend required by PyTorch and Mamba-related packages.
Software environment - cuDNN	NVIDIA Corporation	cuDNN 8.7.0.	GPU-accelerated deep-learning primitives used through PyTorch.
Python package - PyTorch	PyTorch	torch == 2.0.1	Deep-learning framework for model training, loss calculation, optimization, and inference.
Python package - Torchvision	PyTorch	torchvision == 0.14.0	Image transform utilities used in preprocessing and augmentation.
Python package - Torchaudio	PyTorch	torchaudio == 0.13.0	Installed with the recommended PyTorch environment.
Python package - timm	timm developers	timm == 0.4.12	Model-component or utility dependency listed in the repository environment instructions.
Python package - triton	OpenAI / Triton developers	triton == 2.0.0	Dependency used by GPU-accelerated sequence modeling components.
Python package - causal-conv1d	causal-conv1d developers	causal_conv1d == 1.0.0	Efficient causal convolution dependency required by the Mamba implementation.
Python package - mamba-ssm	Mamba SSM developers	mamba_ssm == 1.0.1	State-space sequence modeling package used for Mamba/S6-related components.
Python package - NumPy	NumPy developers	NumPy version 1.24.3.	Numerical computation and array operations.
Python package - SciPy	SciPy developers	SciPy version 1.10.1.	Scientific computation; scipy.ndimage.zoom is imported in utils.py.
Python package - SimpleITK	Insight Software Consortium	SimpleITK version 2.2.1.	Medical image input/output and preprocessing utility imported in utils.py.
Python package - MedPy	MedPy developers	MedPy version 0.4.0.	Medical image metric calculation package imported in utils.py.
Python package - scikit-image	scikit-image developers	scikit-image version 0.21.0.	Image-processing dependency listed in README.
Python package - scikit-learn	scikit-learn developers	scikit-learn version 1.3.2.	Machine-learning utility package listed in README.
Python package - matplotlib	Matplotlib developers	Matplotlib version 3.7.2.	Used for saving qualitative visualization figures.
Python package - h5py	h5py developers	h5py version 3.9.0.	HDF5 file support for Synapse test volumes.
Python package - thop	THOP developers	THOP version 0.1.1.post2209072238.	Used when calculating FLOPs and parameter-related computational cost.
Python package - packaging	Python Packaging Authority	packaging version 23.1.	Dependency listed in README.
Python package - pytest	pytest developers	pytest version 7.4.0.	Dependency listed in README.
Python package - chardet	chardet developers	chardet version 5.2.0.	Dependency listed in README.
Python package - yacs	YACS developers	yacs version 0.1.8.	Configuration utility dependency listed in README.
Python package - termcolor	termcolor developers	termcolor version 2.3.0.	Logging/terminal utility dependency listed in README.
Python package - submitit	submitit developers	submitit version 1.4.5.	Experiment/job utility dependency listed in README.
Python package - tensorboardX	tensorboardX developers	tensorboardX version 2.6.2.2.	Training log visualization utility listed in README.
Python package - ml-collections	ml_collections developers	ml-collections version 0.1.1.	Imported by configs/config_setting_synapse.py.
Dataset - ISIC 2017 Challenge dataset	International Skin Imaging Collaboration	ISIC 2017 skin lesion segmentation dataset	Public de-identified dermoscopic skin lesion images and masks used for binary segmentation.
Dataset - ISIC 2018 Challenge Task 1 dataset	International Skin Imaging Collaboration	ISIC 2018 Task 1: Lesion Boundary Segmentation	Public de-identified dermoscopic skin lesion images and masks used for binary segmentation.
Dataset - Synapse Multi-Atlas Labeling Beyond the Cranial Vault dataset	Synapse / Sage Bionetworks	Accession identifier: syn3193805	Public abdominal CT multi-organ segmentation dataset.
Data organization - ISIC 2017 data folder	Authors / repository layout	data/isic2017/	Expected local folder containing train and validation images/masks.
Data organization - ISIC 2018 data folder	Authors / repository layout	data/isic2018/	Expected local folder containing train and validation images/masks.
Data organization - Synapse data folder	Authors / repository layout	data/Synapse/	Expected local folder for Synapse lists, train_npz, and test_vol_h5.
Source code - MVM-UNet source-code repository	Authors / GitHub	Branch: master;Git commit hash: ee891b42c2f083c4990eed72f1d4463adc5e103e.	Complete source-code implementation of the protocol.
Source code - ISIC configuration file	Authors	configs/config_setting.py	Configuration file for ISIC-style binary segmentation.
Source code - Synapse configuration file	Authors	configs/config_setting_synapse.py	Configuration file for Synapse multi-organ segmentation.
Source code - ISIC training script	Authors	train.py	Training and validation entry point for ISIC-style binary segmentation.
Source code - Synapse training script	Authors	train_synapse.py	Training and validation entry point for Synapse multi-class segmentation.
Source code -