Multi-view Vision Mamba U-Shaped Network Framework voor Medische Beeldsegmentatie

Samenvatting

Dit protocol beschrijft hoe een multiview Vision Mamba U-Shaped Network-framework voor medische beeldsegmentatie wordt opgebouwd, getraind en geëvalueerd, waardoor reproduceerbare segmentatie van huidlaesies en buikorganen mogelijk wordt gemaakt door gestandaardiseerde datasetvoorbereiding, modelimplementatie en prestatie-evaluatie.

Samenvatting

Medische beeldsegmentatie vereist computationele methoden die globale context, lokale grenzen en multiscale anatomische structuren nauwkeurig vastleggen, terwijl ze reproduceerbaar blijven in verschillende toepassingen. Dit artikel presenteert een protocol voor het construeren, trainen en evalueren van een Multi-view Vision Mamba U-Shaped Network-framework voor tweedimensionale medische beeldsegmentatie. Het protocol biedt een reproduceerbare workflow die onder meer openbare datasetverwerving, voorverwerking van beelden en maskers, netwerkconstructie, modeltraining, selectie van checkpoints en kwantitatieve en kwalitatieve prestatiebeoordeling omvat. Het framework bevat multiview-feature-scanning om complementaire ruimtelijke, contour-, schaal- en grensinformatie vast te leggen en past multistage feature fusion toe binnen een U-vormige encoder-decoder architectuur om feature-integratie tijdens segmentatie te verbeteren. Het protocol wordt aangetoond met behulp van openbaar beschikbare datasets over huidlaesie en segmentatie van buikorganen. Onder de beschreven implementatieworkflow bereikt het framework concurrerende segmentatieprestaties met behulp van standaard evaluatiemetrics. Door de procedures in dit protocol te volgen, kunnen onderzoekers de modelimplementatie reproduceren, het netwerk trainen met gedefinieerde experimentele settings, segmentatieprestaties evalueren en de workflow aanpassen voor gerelateerde medische beeldsegmentatietaken die reproduceerbare deep learning-analyse vereisen.

Inleiding

Segmentatie van medische beelden is een fundamentele taak op het gebied van computer vision en medische beeldanalyse ^1,2,3. Het houdt in dat een afbeelding wordt opgedeeld in meerdere regio's of objecten voor verdere analyse en verwerking. Deze technologie is vooral belangrijk in medische beeldvorming omdat ze clinici helpt pathologische gebieden te identificeren en te lokaliseren, waardoor de diagnostische nauwkeurigheid en behandelingsplanning verbetert. Met de vooruitgang van medische beeldvormingstechnologieën, zoals magnetische resonantiebeeldvorming (MRI), computertomografie (CT) en positronemissietomografie (PET), is de vraag naar nauwkeurige medische beeldsegmentatietechnieken blijven toenemen. Huidige methoden voor medische beeldsegmentatie kunnen globaal worden ingedeeld in drie hoofdbenaderingen: convolutioneel neuraal netwerk (CNN)-gebaseerde methoden⁴, Transformer-gebaseerde methoden⁵, en toestandsruimtemodel (SSM)-gebaseerde methoden ^6,7. CNN-gebaseerde methoden maken doorgaans gebruik van U-vormige netwerkarchitecturen voor medische beeldsegmentatie. De meest gebruikte architectuur in deze categorie is U-Net⁸, die de effectiviteit van een U-vormige encoder–decoder-architectuur voor biomedische beeldsegmentatie aantoonde. U-Net3+ combineert dichte skipverbindingen van UNet++⁹ met full-scale skipverbindingen om multiscale feature-aggregatie te verbeteren. CNN-gebaseerde methoden hebben echter beperkte mogelijkheden om langetermijnafhankelijkheden vast te leggen en modelleren daarom mogelijk niet effectief langetermijncontextuele informatie.

Transformer-gebaseerde methoden vangen effectief langeafstandsafhankelijkheden vast via het zelf-aandachtmechanisme, dat parallelle berekening mogelijk maakt en verschillende aandachtsgewichten toekent aan verschillende interessegebieden. UNETR+⁺¹⁰ introduceert de Efficient Paired Attention (EPA)-module om het aantal parameters en de rekenkosten te verminderen. nnFormer¹¹ combineert verwevende convolutionele en zelf-aandacht operaties en introduceert een lokaal-globaal volume-gebaseerd zelf-aandachtsmechanisme voor het leren van volumetrische representaties in driedimensionale (3D) medische beeldsegmentatie. H2Former¹² stelt een efficiënte hiërarchische hybride Vision Transformer voor die aandachtsmechanismen combineert met CNN-gebaseerde feature-extractie in de encoder. Transformer-gebaseerde methoden vertonen echter kwadratische computationele complexiteit met toenemende sequentielengte, wat resulteert in aanzienlijk hogere rekenkosten. Figuur 1 illustreert de motivatie voor MVM-UNet en vergelijkt de voorgestelde multiview scanningsstrategie met bestaande SSM-gebaseerde segmentatiekaders.

Figuur 1. Vergelijking van MVM-UNet met bestaande pure state-space-model (SSM)-gebaseerde segmentatiearchitecturen. Vergelijking tussen een conventioneel puur state-space model (SSM)-segmentatieframework en de voorgestelde Multi-View Mamba U-Net (MVM-UNet) architectuur. Het bovenste paneel illustreert MVM-UNet, waarin de Multi-View 4-Directional (MV4D) module complementaire kenmerken extrahereert met zigzag-, hiërarchische, spiraal- en radiale scanparen die worden geïntegreerd door Spatial Fusion Mamba (SFusion Mamba), terwijl Multistage Fusion Mamba (MFusion Mamba) multiscale encoderkenmerken aggregeert voordat het wordt gedecodeerd. Het onderste paneel toont een representatieve pure SSM-gebaseerde architectuur met Selective Scan 2-Dimensional (SS2D) modules met cross-scanning. De figuur benadrukt de architecturale verschillen tussen conventionele SSM-gebaseerde segmentatienetwerken en het voorgestelde MVM-UNet. Klik hier om een grotere versie van deze figuur te bekijken.

SSM-gebaseerde methoden combineren de wereldwijde modelleringscapaciteit van Transformers met lineaire computationele complexiteit. De Mamba-architectuur verwerkt selectief invoerinformatie met behulp van een selectief toestandsruimtemodel (Selective-SSM), waardoor het model zijn parameters dynamisch kan aanpassen aan de invoer, terwijl irrelevante informatie wordt gefilterd en informatieve kenmerken worden benadrukt. Vim¹³ en VMamba¹⁴ passen de Mamba-architectuur aan voor computer vision-taken. U-Mamba¹⁵ gebruikt een hybride CNN–SSM-architectuur om de toepassing van SSM's in medische beeldsegmentatie te verkennen, terwijl Mamba-UNet¹⁶ een volledig SSM-gebaseerde encoder–decoder-architectuur hanteert voor medische beeldsegmentatie. Deze methoden leveren concurrerende prestaties met aanzienlijk minder parameters. Huidige SSM/Mamba-gebaseerde methoden extraheren echter voornamelijk beeldkenmerken met behulp van eenvoudige beeldpatches en SS2D-scanstrategieën, wat verschillende beperkingen met zich meebrengt voor medische beeldsegmentatie. Ten eerste zijn SS2D- en patchgebaseerde technieken voornamelijk ontworpen voor algemene computer vision-taken. Local Mamba¹⁷ en Motion Mamba¹⁸ hebben gesuggereerd dat de SS2D-scanstrategie onvoldoende is voor alle visuele taken omdat verschillende scanstrategieën verschillende soorten visuele informatie vastleggen. Ten tweede is de SS2D-scanstrategie relatief eenvoudig, waarbij alleen wordt vertrouwd op horizontale en verticale scanrichtingen. Daardoor kan het complexe ruimtelijke relaties en fijne structurele details mogelijk niet adequaat vastleggen. Medische beeldsegmentatie vereist gelijktijdige modellering van zowel de globale ruimtelijke context als precieze lokale anatomische kenmerken. Bovendien bieden huidige SSM/Mamba-gebaseerde methoden beperkte functiefusie tussen de encoder en decoder. Architecturen zoals UNet++ en FATNet verbeteren de segmentatienauwkeurigheid door verbeterde feature-fusie, wat het belang van effectieve feature-integratie voor medische beeldsegmentatie benadrukt.

Om deze beperkingen aan te pakken, stelt dit artikel een nieuw Mamba-gebaseerd medisch beeldsegmentatiekader voor, genaamd MVM-UNet. Zoals weergegeven in Figuur 1, dient de voorgestelde Multi-View Four-Directional (MV4D) module als het kernonderdeel van feature-extractie van MVM-UNet en is specifiek ontworpen voor medische beeldsegmentatie door informatie te integreren van vier verschillende scanstrategieën. Elke scanstrategie haalt complementaire beeldkenmerken uit en geeft een andere weergave van de invoerafbeelding weer. Zigzag^{scannen 19} wisselt de doorlooprichting af aan het einde van elke rij of kolom, waardoor lokale en globale ruimtelijke informatie in balans worden gebracht. Daarentegen bieden spiraal- en radiale scanschema's²⁰ een uitgebreide dekking door zich uit te strekken vanuit het centrum of naar binnen vanaf de periferie. Hiërarchisch scannen¹⁸ legt zowel lokale als globale kenmerken op meerdere schalen vast. Om de robuustheid van elke scanstrategie te verbeteren, worden scanparen samengevoegd voordat ze in het S6-blok worden ingevoerd. De Scan-view Fusion Mamba (SFusion Mamba) module integreert vervolgens de functies die uit de vier scanmodaliteiten zijn geëxtraheerd. Om multiscale encoderfuncties effectief te benutten, stelt dit artikel verder een multiscale Mamba fusiemodule (MFusion Mamba) voor, die de uitgangen van elke encodertrap verzamelt en fuseert voordat de gefuseerde features aan de decoder worden doorgegeven. MVM-UNet werd geëvalueerd op de ISIC 2017, ISIC 2018 en Synapse datasets. Experimentele resultaten tonen aan dat MVM-UNet concurrerende segmentatieprestaties behaalt op de ISIC 2017, ISIC 2018 en Synapse datasets.

Representatieve segmentatiearchitecturen hebben de segmentatie van medische beelden verder verbeterd. U-Net is ook met succes toegepast op biomedische beeldanalysetaken zoals celtelling, detectie en morfometrie²¹. Aandacht-versterkte CNN-architecturen, zoals CA-Net²², verbeteren de featurerepresentatie via uitgebreide aandachtsmechanismen. Segmentatiekaders gebaseerd op representatieve transformers, waaronder TransUNet²³, Pyramid Medical Transformer²⁴, Swin U-Net²⁵, TransAttUNet²⁶ en TransCUNet²⁷, tonen verder de effectiviteit van aandachtsgebaseerde globale feature-modellering voor medische beeldsegmentatie aan.

Het ontwerp van MVM-UNet wordt gemotiveerd door twee beperkingen van bestaande SSM/Mamba-gebaseerde segmentatiemethoden. Ten eerste vertrouwen veel huidige Vision Mamba-modellen op eenvoudige tweedimensionale scanstrategieën, die mogelijk onvoldoende zijn voor medische beelden met onregelmatige laesiegrenzen, kleine doelgebieden en multiscale anatomische structuren. Ten tweede dragen conventionele U-vormige encoder–decoder-architecturen vooral kenmerken over via overeenkomstige skipverbindingen, waardoor het directe gebruik van meertraps-encoderinformatie tijdens het decoderen wordt beperkt. Daarom introduceert MVM-UNet MV4D om multiview ruimtelijke modellering te verbeteren en MFusion Mamba om expliciet multistage encoderkenmerken te aggregeren. Dit ontwerp is bedoeld om Mamba-gebaseerde langeafstandmodellering aan te passen aan de specifieke eisen van medische beeldsegmentatie.

Hoewel MVM-UNet is gebaseerd op het algemene encoder–decoder-paradigma en Mamba-gebaseerde sequentiemodellering, ligt de nieuwigheid ervan in de manier waarop deze componenten worden aangepast en geïntegreerd voor medische beeldsegmentatie. In plaats van simpelweg een standaard Mamba-blok in een U-vormige netwerkruggengraat te integreren, herontwerpt het voorgestelde framework het ruimtelijke modelleringsproces via meerdere taakgerichte scan-paar-takken, introduceert SFusion Mamba om scan-specifieke representaties te integreren, verbetert het MVV Block met residuele en projectiepaden, en voegt MFusion Mamba in tussen de encoder en decoder om multistage encoderkenmerken te aggregeren voordat het decodert. Dit architectuurniveau ontwerp is bedoeld om de onregelmatige grenzen, kleine doelgebieden en multiscale anatomische structuren aan te pakken die vaak worden waargenomen in medische beelden.

Dit protocol is het meest geschikt voor segmentatietaken die gelijktijdige modellering vereisen van contextuele informatie over lange afstand, onregelmatige objectgrenzen en multiscale anatomische structuren in tweedimensionale medische beelden. In vergelijking met op CNN gebaseerde segmentatiemethoden biedt het Mamba-gebaseerde encoder–decoder-ontwerp een effectief contextmodelleringsmechanisme, terwijl het een U-vormige workflow behoudt die bekend is bij onderzoekers in medische beeldsegmentatie. In vergelijking met op Transformers gebaseerde methoden vermijdt het voorgestelde kader het directe gebruik van kwadratische zelfaandacht en is het bedoeld voor onderzoekers die globale contextuele modellering zoeken met een relatief efficiënt sequentiemodelleringsmechanisme. Dit protocol is dienovereenkomstig geschikt voor segmentatie van huidlaesies, segmentatie van buikorganen en vergelijkbare tweedimensionale medische beeldsegmentatietaken waarbij zowel globale structurele informatie als lokale grensdetails belangrijk zijn.

Dit protocol heeft ook beperkingen die vóór gebruik in overweging moeten worden genomen. Het is mogelijk niet nodig voor relatief eenvoudige segmentatietaken waarbij een lichtgewicht CNN al voldoende prestaties levert. Daarnaast is het niet direct ontworpen voor volledige driedimensionale volumetrische segmentatie zonder architecturale aanpassing. Onderzoekers met zeer beperkte geannoteerde data, beperkte grafische verwerkingsunits (GPU) of een vereiste voor zeer interpreteerbare klassieke modellen moeten deze beperkingen ook overwegen voordat ze het protocol toepassen. Al met al is deze methode bedoeld voor onderzoekers die een Mamba-gebaseerd U-vormig segmentatiekader willen reproduceren en evalueren dat een balans biedt tussen langetermijncontextmodellering, lokale grensrepresentatie en multifase-featurefusie.

De belangrijkste bijdragen zijn als volgt:

1. Dit artikel presenteert een nieuw Mamba-gebaseerd medisch beeldsegmentatiekader, genaamd MVM-UNet. In tegenstelling tot benaderingen die bestaande SS2D-gebaseerde of standaard Mamba-blokken direct integreren, introduceert MVM-UNet MV4D om medische beeldkenmerken te modelleren vanuit vier complementaire scan-paar-aanzichten, waaronder zigzag-, hiërarchische, spiraal- en radiale scanning.

2. Dit artikel ontwerpt SFusion Mamba en het MVV Block om scan-specifieke representaties te integreren en de transformatie van kenmerken te verbeteren. SFusion Mamba fuseert de kenmerken die uit verschillende scanpaartakken zijn geëxtraheerd, terwijl de residuele en Up-Down Projection-takken binnen het MVV-blok complementaire feature-routes bieden die feature-representaties stabiliseren en verrijken.

3. Dit artikel introduceert MFusion Mamba als een tussenliggende multitraps fusiemodule tussen de encoder en decoder. In tegenstelling tot conventionele skipverbindingen die voornamelijk corresponderende fase-features overdragen, aggregeert MFusion Mamba expliciet multi-traps encoderkenmerken via grove tot fijne fusie en levert verrijkte informatie voor decodering.

4. Uitgebreide experimentele resultaten tonen aan dat het voorgestelde MVM-UNet concurrerende segmentatieprestaties behaalt op de ISIC 2017- en ISIC 2018-datasets en sterke prestaties op de Synapse-multiorgansegmentatiedataset. Bovendien valideren uitgebreide ablatiestudies de bijdrage van elk onderdeel binnen MVM-UNet.

Protocol

Deze studie gebruikte alleen openbaar beschikbare en gedeidentificeerde medische beelddatasets, waaronder ISIC 2017, ISIC 2018 en Synapse. In deze studie werden geen nieuwe menselijke deelnemers, dierlijke proefpersonen of identificeerbare privé medische dossiers verzameld. De ISIC 2017-dataset die in deze studie werd gebruikt, was de ISIC 2017 Challenge skin letion segmentation dataset, verkregen uit de officiële International Skin Imaging Collaboration challenge data repository (https://challenge.isic-archive.com/data/#2017). De datasetversie die in deze studie wordt gebruikt, komt overeen met de ISIC 2017 laesiesegmentatietaak, inclusief de officiële training, validatie en testpartities. De dataset werd gedownload op 15 maart 2024. De ISIC 2018-dataset die in deze studie werd gebruikt, was de ISIC 2018 Challenge Task 1 lesion boundary segmentation dataset, verkregen uit het officiële International Skin Imaging Collaboration challenge datarepository (https://challenge.isic-archive.com/data/#2018). De datasetversie die in deze studie wordt gebruikt, komt overeen met ISIC 2018 Taak 1: Segmentatie van laesiegrensen. De dataset werd gedownload op 8 juli 2024.

De Synapse-dataset die in deze studie werd gebruikt, was de Multi-Atlas Labeling Beyond the Cranial Vault abdominale CT-dataset, verkregen uit de Synapse-repository onder accessied-identificatie syn3193805 (https://www.synapse.org/Synapse:syn3193805). De dataset die in deze studie wordt gebruikt, komt overeen met de veelgebruikte dataset van 30 gevallen CT multiorgaan segmentatie. Het gedownloade archief was Abdomen/RawData.zip, beschikbaar onder accessiesyn3193805. Er werd bij de download geen apart versienummer, releaselabel of gedateerde releasetag verstrekt door de repository. Volgens de standaardverdeling die in eerdere studies was aangenomen, werden 18 gevallen gebruikt voor training en 12 cases voor testen. De gegevensverdeling volgde de casuslijst die werd gebruikt door TransUNet²³. Specifiek waren de trainingscases case0031, case0007, case0009, case0005, case0026, case0039, case0024, case0034, case0033, case0030, case0023, case0023, case0040, case0010, case0021, case0006, case0027, case0028 en case0037, terwijl de testcases case0008, case0022, case0038, case0036, case0032, case0002, case0029, case0003, case0001, case0004, case0025 en case0035 waren. De dataset werd gedownload op 9 juli 2024. Omdat deze studie alleen gebruikmaakte van publiek toegankelijke, gedeïdentificeerde datasets en geen nieuwe gegevens van mensen of identificeerbare privé-informatie omvatte, was goedkeuring van de institutionele beoordelingscommissie niet vereist voor de computationele experimenten zoals beschreven in dit protocol. Er is geen formele schriftelijke vaststelling van institutionele vrijstelling verkregen. Indien vereist door lokaal institutioneel beleid, dienen onderzoekers een institutionele vrijstellingsbepaling te verkrijgen voordat ze secundaire analyses van openbaar beschikbare datasets uitvoeren. Er was geen referentienummer voor institutionele ethische vrijstellingen of formele vrijstellingsdocumentatie beschikbaar voor deze studie.

1. Voorbereiding van datasets

1. Download de ISIC 2017 huidlaesiesegmentatiedataset van de officiële International Skin Imaging Collaboration-repository. Gebruik de officiële trainings-, validatie- en testpartities. Controleer of de dataset 2.000 trainingsafbeeldingen, 150 validatiebeelden en 600 testbeelden bevat.
2. Download de ISIC 2018 huidlaesiesegmentatiedataset van de officiële International Skin Imaging Collaboration-repository. Gebruik de officiële trainings-, validatie- en testpartities. Controleer of de segmentatiedataset 2.594 trainingsbeelden, 100 validatiebeelden en 1.000 testbeelden bevat.
3. Download de dataset van Synapse multiorgan-segmentatie. Gebruik de standaardsplitsing bestaande uit 18 kasten (2.212 axiale sneden) voor training en 12 cases (1.567 axiale sneden) voor testen. Introduceer geen aparte validatieset.
   1. Reserveer de 12 testgevallen exclusief voor de definitieve evaluatie. Gebruik de testcases niet voor modeltraining, hyperparameterafstemming of modelselectie. De segmentatietaak omvat acht buikorganen: aorta, galblaas, milt, linker nier, rechternier, lever, alvleesklier en maag.
   2. Gebruik de volgende Synapse-datasetsplit. De 18 trainingszaken waren case0031, case0007, case0009, case0005, case0026, case0039, case0024, case0034, case0033, case0030, case0023, case0040, case0010, case0021, case0006, case0027, case0028 en case0037. De 12 testgevallen waren case0008, case0022, case0038, case0036, case0032, case0002, case0029, case0003, case0001, case0004, case0025 en case0035.
4. Organiseer elke dataset in aparte mappen met afbeelding en masker. Zorg ervoor dat elke afbeelding een bijbehorend segmentatiemasker heeft met dezelfde case-identificatie.
   1. Zet elk huidlaeesiemasker om in een binaire segmentatiemap voor voorgrond en achtergrond. Bebehoud de oorspronkelijke multiclass orgellabels voor de Synapse-dataset.
   2. Voor de ISIC 2017 en ISIC 2018 datasets kent een labelwaarde van 0 toe aan achtergrondpixels en 1 aan laesie (voorgrond) pixels na binaire maskerconversie. Pixels met originele maskerwaarden groter dan 0 worden als voorgrond behandeld en omgezet naar 1, terwijl pixels met oorspronkelijke maskerwaarden gelijk aan 0 als achtergrond worden behandeld en als 0 worden behouden. Voor de Synapse-dataset behoudt u de oorspronkelijke gehele labelwaarden, waarbij 0 de achtergrondklasse vertegenwoordigt en 1–8 de acht voorgrondorgaanklassen.
5. Verander ISIC 2017 en ISIC 2018 beelden en maskers naar 256 × 256 pixels zonder de originele beeldverhouding te behouden. Breng geen bijsnijden of padding aan.
   1. Verander elke Synapse CT-slice en bijbehorende labelmap naar 224 × 224 pixels. Gebruik bilineaire interpolatie voor RGB-afbeeldingen, derde-orde spline-interpolatie voor CT-slices, en naaste-buur-interpolatie voor segmentatiemaskers.
   2. Verander de grootte van afbeeldingen in Python.
      1. Voor de ISIC 2017- en ISIC 2018-datasets gebruik je de aangepaste myResize-transformatie geïmplementeerd in utils.py, die torchvision.transforms.functional.resize aanroept om zowel beeld- als maskertensoren te wijzigen tot 256 × 256 pixels. Specificeer geen expliciete interpolatiemodus of anti-aliasing-argument in deze transformatie.
      2. Voor de Synapse-dataset gebruik je scipy.ndimage.zoom in datasets/dataset.py. Verander CT-beeldslices tot 224 × 224 pixels met derde-orde spline-interpolatie (orde = 3), en hergrootte labelkaarten met nabijste-buurinterpolatie (orde = 0). Pas geen aparte anti-aliasing-operatie of een anti_aliasing=True-instelling toe tijdens het wijzigen van de grootte.
6. Normaliseer elke ISIC RGB-afbeelding vóór tensorconversie met behulp van het dataset-specifieke gemiddelde en standaarddeviatie (SD) met Vergelijking 1 als volgt:
   (1)
   Vervolgens schaal je het genormaliseerde beeld opnieuw op het bereik van 0–255 met behulp van min–max normalisatie.
   1. Gebruik μ = 159,922 en σ = 28,871 voor de ISIC 2017 trainingsset en μ = 148,429 en σ = 25,748 voor de ISIC 2017 validatie- en testsets. Gebruik μ = 157,561 en σ = 26,706 voor de ISIC 2018 trainingsset en μ = 149,034 en σ = 32,022 voor de ISIC 2018 validatie- en testsets.
   2. Zet elke genormaliseerde afbeelding om in een tensor van vorm 3 × 256 × 256. Zet elk binair masker om in een tensor van vorm 1 × 256 × 256.
   3. Voer min–max normalisatie onafhankelijk uit voor elke afbeelding na dataset-specifieke gemiddelde en standaarddeviatie-normalisatie. Specifiek trek je het dataset-specifieke gemiddelde af van elke afbeelding en deel je door de bijbehorende standaarddeviatie.
   4. Bereken de minimum- en maximumintensiteitswaarden van het genormaliseerde beeld en schaal het beeld opnieuw naar het bereik 0–255 met behulp van deze per-beeld minimum- en maximumwaarden. Gebruik geen minimum- en maximumwaarden voor de hele dataset voor deze min–max herschalingsstap.
7. Bereid elke Synapse CT-snee voor als een tweedimensionaal grijswaardenbeeld. Converteer elke CT-slice naar float32 en voeg een singleton-kanaaldimensie toe om een invoertensor te verkrijgen met vorm 1 × 224 × 224.
   1. Bebehoud elke Synapse-labelkaart als een enkelkanaals integer-masker met vorm 224 × 224. Pas geen extra media-SD-normalisatie op datasetniveau toe in de dataloader.
   2. Gebruik de voorbewerkte Synapse-bestanden die in .npz-formaat zijn geleverd voor het trainen van slices en .npy.h5-formaat voor het testen van volumes. Laad de image- en labelarrays direct uit elk .npz-bestand tijdens de training en direct uit elk .npy.h5-bestand tijdens het testen. Pas geen extra intensiteitsclipping, CT-venstering, normalisatie op datasetniveau of raw-volume resampling toe in de vrijgegeven dataloader.
   3. Tijdens het modeltraining converteer je elke geladen tweedimensionale slice naar float32, herschaal je deze naar de doelruimtelijke grootte met scipy.ndimage.zoom met order = 3 voor afbeeldingsslices en order = 0 voor labelmaps, en converteer je vervolgens de aangepaste arrays naar tensoren met een singleton-kanaaldimensie.
8. Pas data-augmentatie alleen toe op de trainingsset. Voor ISIC 2017 en ISIC 2018 passen we willekeurige horizontale flipping toe (p = 0,5), willekeurige verticale flipping (p = 0,5) en willekeurige rotatie (p = 0,5) met een hoek van 0° tot 360°.
   1. Pas dezelfde geometrische transformatie toe op elk beeld-maskerpaar. Tijdens validatie en testen pas je alleen groottevergelijking, normalisatie en tensorconversie toe.
   2. Voor de Synapse-dataset pas je willekeurige rotatie en willekeurige flipping toe tijdens de training. Draai elk afbeeldingslabelpaar willekeurig met k × 90°, waarbij k ∈ {0,1,2,3}, draai het afbeeldingslabelpaar willekeurig om langs één ruimtelike as, of roteer het beeldlabelpaar willekeurig met een hoek van −20° tot 20°.
   3. Pas tijdens het testen geen stochastische augmentatie toe.
   4. Pas data-augmentatie toe op de Synapse-dataset met behulp van de wederzijds exclusieve takken die zijn geïmplementeerd in de RandomGenerator-transformatie.
      1. Voor elke trainingssteekproef wordt eerst de voorwaarde random.random() > 0,5 geëvalueerd. Als aan deze voorwaarde wordt voldaan, pas dan random_rot_flip toe, bestaande uit een willekeurige rotatie van 90° (k = 0, 1, 2 of 3) gevolgd door een willekeurige omdraai langs één ruimtelike as.
      2. Als de eerste tak niet wordt geselecteerd, evalueer dan een tweede conditie, random.random() > 0,5. Als aan deze voorwaarde wordt voldaan, pas random_rotate toe met een willekeurig gekozen rotatiehoek tussen −20° en 20°. Als aan geen van beide voorwaarden wordt voldaan, pas dan geen stochastische augmentatie toe op het monster.
      3. Pas dezelfde transformatie toe op zowel het invoerbeeld als de bijbehorende labelmap.
9. Stel de willekeurige seed in vóór het laden van de dataset, preprocessing en training. Gebruik willekeurige zaden 1, 52 en 100 voor de belangrijkste vergelijkingsexperimenten en gebruik zaad 100 voor ablatiestudies, tenzij anders vermeld.
   1. Initialiseer de Python-, NumPy-, PyTorch-CPU-, PyTorch CUDA- en cuDNN-randomgeneratoren voordat je de dataloader bouwt. Houd de dataset-partitionen, preprocessingprocedures, augmentatie-instellingen, normalisatieparameters, groottevergelijkingsstrategie en evaluatie-preprocessing ongewijzigd over alle seed runs.
   2. Stel num_workers = 0 in voor zowel de ISIC- als Synapse-experimenten om dataladen uit te voeren in het hoofdproces. Voordat je de dataset construeert en de DataLoader aanmaakt, initialiseer je de globale random seed met de set_seed-functie om de Python, NumPy, PyTorch CPU, PyTorch CUDA en cuDNN random number generators te seeden. Definieer geen aparte worker_init_fn of DataLoader-specifieke random generator, aangezien deze niet worden gebruikt in de uitgebrachte implementatie.

2. Bouw van de MVM-UNet-architectuur

1. Bouw de voorgestelde Multi-view Vision Mamba UNet (MVM-UNet) met behulp van een U-vormige encoder-decoder architectuur.
2. Stel de ingangsbeelddimensie in op H × W × 3. Stuur het invoerbeeld door de patch-embeddinglaag.
   1. Implementeer de patch-embeddinglaag met behulp van een 2D-convolutie met een kernelgrootte van 4 × 4, stride van 4, drie inputkanalen en 96 outputkanalen.
   2. Transformeer de invoerfunctie naar een ruimtelijke resolutie van H/4 × W/4 met C = 96 uitgangskanalen.
3. Bouw vier encoderstages en vier decoderstages. Verminder de ruimtelijke resolutie met de helft en verdubbel de kanaaldimensie na elke encoderfase.
4. Gebruik een symmetrische encoder-decoder configuratie. Stel het aantal MVV-blokken in zowel de encoder als decoder in op {2, 2, 2, 2}.
   1. Plaats twee MVV Blocks in elke encoderfase en twee MVV Blocks in elke decoderfase.
5. Plaats een MVV Block in elke encoder- en decoderfase. Gebruik de MV4D-module als de kernmodule voor het extractie van functies binnen elk MVV-blok.
6. Plaats de MFusion Mamba-module tussen de encoder en decoder. Gebruik deze module om multistage encoderfuncties te fuseren voordat je decodeert.
7. Configureer de algehele MVM-UNet workflow. Gebruik MV4D voor feature extraction door de hele encoder.
   1. Behou de uitgangen van de encoder als skipverbindingen. Geef de uitgangen van de encoder door aan de bijbehorende decodertrappen.
   2. Geef de encoderfuncties door aan MFusion Mamba voordat je decodeert. Haal geleidelijk de fused representatie op via de decoder en genereer de uiteindelijke segmentatiekaart met behulp van de segmentatiekop.
8. Voer de invoerafbeelding I ∈ R^B×H×W×3 door de patch-embeddinglaag om Hier te verkrijgen , C = 96.
   1. Genereer encoder-featuremaps: E₁ ∈ R^{B×H/4×W/4×C}, E₂ ∈ R^{B×H/8×W/8×2C}, E₃ ∈ R^{B×H/16×W/16×4C}, en E₄ ∈ R^{B×H/32×W/32×8C}. Gebruik MVV Blocks met MV4D in elke encoderfase.
   2. Behoud elke encoderfunctie voor de bijbehorende skipverbinding. Geef alle encoderfuncties door aan MFusion Mamba voor multistage feature fusion.
   3. Lijn encoderkenmerken uit op een gemeenschappelijke featureruimte vóór grove en fijne fusie binnen MFusion Mamba. Geef de gefuseerde representatie door aan de decoder.
   4. Stap naar naar de weergave van de decoder. Fuse de decoderfuncties met E₃ bij H/16 × W/16, E₂ bij H/8 × W/8, en E₁ bij H/4 × W/4.
   5. Upgrade de definitieve decoderfunctie naar de oorspronkelijke beeldresolutie. Genereer de voorspellingskaart ∈ R^B×H×W×K. Hier geldt K = 1 voor binaire laesiesegmentatie en K = 8 voor synaps-multiorgaansegmentatie.
   6. Zie Figuur 2 voor de algemene netwerkarchitectuur en Aanvullende Tabel 1 voor de volledige laag-voor-laag architectuurspecificatie, inclusief de bewerkingen, hoofdparameters en uitvoerfunctiedimensies voor elke fase
   7. Encoder–decoder overgangslagen
      1. Downsample encoderfuncties met patch-merging overgangslagen. Voor elke overgang neem je vier ruimtelijk onderling verweefde featuregroepen uit een 2 × 2 buurt, verbind je deze langs de kanaaldimensie, pas je Layer Normalization (LayerNorm) toe en projecteer je het resulterende 4C-dimensionale kenmerk op 2C-kanalen met behulp van een biasvrije lineaire laag. Deze bewerking vermindert de ruimtelijke resolutie met een factor 2 en verdubbelt de kanaaldimensie.
      2. Upsample-decoderfuncties met patch-uitbreidende overgangslagen. Pas een biasvrije lineaire projectie toe, herschik de uitgebreide kenmerken ruimtelijk om de resolutie met een factor 2 te verhogen, en pas LayerNorm toe na ruimtelijke expansie. Herhaal deze bewerking om de featurekaarten van H/32 × W/32 tot H/16 × W/16, H/8 × W/8 en H/4 × W/4 te reconstrueren.
      3. Lijn encoderkenmerken uit binnen de MFusion Mamba-module door ze te schalen naar de doelruimtelijke resolutie met bilineaire interpolatie (align_corners = False) en vervolgens een leerbare lineaire kanaalprojectie toe te passen vóór feature-fusie.
   8. Segmentatiekop
      1. Upgrade de feature map van de uiteindelijke decoder van H/4 × W/4 naar de oorspronkelijke beeldresolutie (H × W) met behulp van de laatste patch-uitbreidende laag. Pas lineaire projectie toe, voer ruimtelijke herschikking uit met een expansiefactor van 4, en pas LayerNorm toe.
      2. Projecteer de gereconstrueerde featuremap naar K uitgangskanalen met behulp van een 1 × 1 convolutie nadat je de tensor naar kanaal-eerst hebt omgezet.
      3. Genereer de definitieve voorspelling tijdens de evaluatie door een sigmoidactivatiefunctie toe te passen voor binaire laesiesegmentatie of een softmax-activatie gevolgd door argmax voor Synapse multiorgansegmentatie. Pas geen activatiefunctie toe binnen de segmentatiekop zelf.

Figuur 2. Algemene architectuur van Multi-View Mamba U-Net (MVM-UNet). Overzicht van de voorgestelde Multi-View Mamba U-Net (MVM-UNet) architectuur. Het invoerbeeld wordt omgezet in patch-embeddings en verwerkt via vier encoder-fasen, bestaande uit Multi-View Vision (MVV) blokken, gescheiden door patch-merging operaties. Encoderkenmerken worden geaggregeerd door Multi-stage Fusion Mamba (MFusion Mamba) en via skipverbindingen naar de decoder verspreid. De decoder herstelt geleidelijk de ruimtelijke resolutie met behulp van patch-uitbreidingsoperaties en genereert de uiteindelijke segmentatiekaart via de projectielaag. Klik hier om een grotere versie van deze figuur te bekijken.

3. Bouw van de MV4D-module

1. Gebruik de MV4D-module als de basisunit voor feature-extractie in het MVV Block. Voer de invoerfunctiepatches in vier scanpaar-takken. Raadpleeg Algoritme 1, Supplementair Bestand 1 voor de volledige pseudocode van ruimtelijke afvlakking, scan-paarindexconstructie, sequentieverzameling, S6/Mamba-verwerking, inverse ruimtelijke herordening, scan-paarfusie, SFusion Mamba-fusie, projectie en outputhervorming.
2. Gebruik exact de zigzag-, hiërarchische, spiraal- en radiale scan-indexgeneratieprocedures die zijn geïmplementeerd in modellen/mvmunet/core.py. Voor elke scanstrategie gebruik je de voorwaartse scanvolgorde en de omgekeerde volgorde als één bidirectioneel scanpaar.
3. Bouw het zigzag-scanpaar. Doorloop de afbeelding in afwisselende richtingen aan het einde van elke rij of kolom. Gebruik dit scanpatroon om lokale en globale ruimtelijke informatie in balans te brengen.
4. Construeer het hiërarchische scanpaar. Leg kenmerken vast op meerdere ruimtelijke schalen. Gebruik dit scanpatroon om de extractie van zowel lokale als globale representaties te versterken.
5. Stel het spiraalscanpaar samen. Scan de beeldkenmerken van het midden naar de grens of van de grens naar het midden. Gebruik dit scanpatroon om de extractie van globale contourinformatie te verbeteren.
6. Bouw het radiale scanpaar. Scan beeldkenmerken langs meerdere radiale richtingen. Gebruik dit scanpatroon om de extractie van lokale grens- en randdetails te verbeteren.
7. Voeg elk scanpaar samen voordat je de samengevoegde sequentie in het S6-blok invoert. Gebruik het gekoppelde ontwerp om de robuustheid van elke scanstrategie te verbeteren terwijl de rekenefficiëntie behouden blijft.
8. Voer de uitvoersequentie van elke scan-paar tak in een S6-blok. Verkrijg vier feature-representaties die overeenkomen met de zigzag-, hiërarchische, spiraal- en radiale scanningsweergaven.
9. Fuse de vier geëxtraheerde feature-representaties met behulp van de SFusion Mamba-module. Gebruik twee parallelle fusiepaden. In het eerste pad integreer je de vier kenmerken door elementgewijze toevoeging te geven.
10. In het tweede SFusion Mamba-pad, verbind de vier kenmerken. Verwerk de samengevoegde representatie met behulp van Conv1d en Mamba. Verminder de kanaaldimensie met een projectielaag om overeen te komen met de S6-blokuitgangsdimensie.
11. Configureer het S6/Mamba-blok met de feature-dimensie C als modeldimensie. Gebruik een projectielaag om elk samengevoegd scanpaarkenmerk terug te mappen naar kanaaldimensie C vóór de fusie.
12. In SFusion Mamba voer je elementgewijze optelling uit in het eerste pad. Verbind de vier scan-view features in het tweede pad vóór Conv1d, Mamba en lineaire projectie. Gebruik de normalisatie-, lineaire projectie-, diepte-separabele convolutie en activatiebewerkingen rondom MV4D zoals beschreven in Stap 4.
13. Tel de uitgangen van de twee fusiepaden op om de uiteindelijke uitgang van de MV4D-module te verkrijgen.
14. Bouw vier complementaire scanparvertakkingen in plaats van alleen horizontale en verticale scanrichtingen te gebruiken. Gebruik zigzag-scanning om continue ruimtelijke doorgang te benadrukken, hiërarchisch scannen om de multiscale-representatie te versterken, spiraal-scannen om informatie van het centrum tot de grens vast te leggen, en radiaal scannen om de grensgeoriënteerde lokale detailextractie te verbeteren.
15. Verwerk elke scan-paar tak onafhankelijk. Fuse de resulterende features met SFusion Mamba. Kaart elke verwerkte sequentie terug naar de oorspronkelijke ruimtelijke volgorde vóór de fusie.
16. Gegeven een invoerkenmerkafbeelding X ∈ R^B×H×W×C, vlakk deze af tot X_seq ∈ R^B×L×C, waarbij L = H × W.
17. Herschik de afgeplatte sequentie volgens de scanindices voor elke scanpaar-tak. Verwerk elke herschikte sequentie met behulp van het S6-blok. Herstel de verwerkte sequentie naar de oorspronkelijke ruimtelijke volgorde.
18. Fuse de vier scan-view functies via de additieve route en de SFusion Mamba-route om de uiteindelijke MV4D-uitgang te verkrijgen. Zie Figuur 3 voor de MV4D-architectuur en Algoritme 1, Aanvullend Bestand 1 voor de volledige implementatieworkflow op tensorniveau.
19. Gebruik de volledige software-implementatie in models/mvmunet/core.py. Dit bestand bevat de scan-indexgeneratoren, PairwiseScanMamba, SequenceS6, SFusion Mamba en de MV4D-wrappermodule.
20. Genereer multiview scanindices
    1. Genereer de scanindices door de uitgebrachte implementatie in modellen/mvmunet/core.py te volgen. Voor een invoerkenmerkkaart van ruimtelijke grootte H × W, vlak elke pixellocatie af tot een eendimensionale index met behulp van: index = r × W + c, waarbij r en c respectievelijk de rij- en kolomcoördinaten aanduiden.
    2. Genereer de zigzag-scan door diagonalen van beelden te doorlopen met constante r + c. Verzamel de geldige pixelindices voor elke diagonaal en wissel de doorlooprichting af door de volgorde van elke even diagonaal om te keren.
    3. Genereer de hiërarchische scan door het beeld recursief in vier kwadranten te verdelen. Bezoek achtereenvolgens de boven-links, boven-rechts, linksonder- en rechteronderkwadranten totdat de hoogte of breedte van de subregio niet groter is dan 2 pixels, en doorloop vervolgens de resterende pixels in rij-hoofdvolgorde.
    4. Genereer de spiraalscan door de buitenste beeldgrens van links naar rechts langs de bovenste rij, omlaag langs de rechterkolom, van rechts naar links langs de onderste rij, en omhoog langs de linker kolom, terwijl de grens geleidelijk verkleind wordt richting het beeldcentrum.
    5. Genereer de radiale scan door elke pixel te sorteren op de kwadratische afstand tot het beeldcentrum en vervolgens op basis van de polaire hoek, berekend met de atan2-functie.
    6. Genereer de omgekeerde scan voor elke scanstrategie door de bijbehorende voorwaartse scanvolgorde om te keren. Combineer de voorwaartse en achteruit-scansequenties om één scanpaar te vormen voor elke scanstrategie voordat de scanparen aan de MV4D-module worden doorgegeven.

Figuur 3. Architectuur van de Multi-View 4-directional (MV4D) module. Structuur van de Multi-View 4-Directional (MV4D) feature-extractiemodule. Invoerpatches worden verwerkt via vier complementaire scanpaarvertakkingen, waaronder zigzag-, hiërarchische, spiraal- en radiale scanning. Kenmerken die uit de vier takken worden geëxtraheerd, samengevoegd, verwerkt met behulp van toestandsruimteblokken en geïntegreerd door Spatial Fusion Mamba (SFusion Mamba) om de uitvoer-featurerepresentatie te genereren. Klik hier om een grotere versie van deze figuur te bekijken.

4. Bouw van het MVV-blok

1. Bouw het MVV Block met één hoofdtak en twee hulpvertakkingen. Gebruik de algemene structuur die in Figuur 4 wordt getoond.
2. Pas laagnormalisatie toe op de invoerfunctie in de hoofdvertakking. Voer het genormaliseerde kenmerk in een lineaire laag. Geef het getransformeerde kenmerk door naar de diepte-separeerbare convolutie.
3. Verwerk het getransformeerde kenmerk met behulp van de diepte-separabele convolutie. Pas de GELU-activatiefunctie toe. Voer de geactiveerde functie in de MV4D-module.
4. Construeer de eerste hulptak als een identiteitsresiduele verbinding. Verbind de invoerfunctie direct met de uiteindelijke uitgang. Gebruik deze tak om de oorspronkelijke representatie te behouden en de training te stabiliseren.
5. Bouw de tweede hulptak als een projectie-down-up branch. Comprimer de invoerfunctie met een down-projectielaag. Herstel de feature-dimensie met behulp van een up-projectielaag.
6. Meng de uitgangen van de hoofdtak en beide hulptakken. Verkrijg de uiteindelijke MVV Block-uitvoer. Zie Figuur 4 voor de volledige architectuur.
7. Stel de verborgen dimensie van de hoofdtak in gelijk aan de ingangskanaaldimensie C_s. Pas LayerNorm(C_s) toe vóór de hoofdlineaire projectie en gebruik een lineaire laag met de afmetingen C_s→C_s. Gebruik een dieptegewijze separabele convolutie bestaande uit een 3×3 dieptegewijze convolutie met opvulling 1, groepen = C_s, en geen bias, gevolgd door een 1×1 puntgewijze convolutie zonder bias.
8. Pas de GELU-activatiefunctie toe na de diepte-separable convolutie. Voer de geactiveerde functie in MV4D en pas een lineaire uitvoerprojectie toe met de afmetingen C_s→C_s. Configureer de projectie-down-up tak met behulp van LayerNorm(C_s), een projectieverhouding van 4, een down-projection C_s→C_s/4, GELU-activatie en een up-projectie C_s/4→C_s.
9. Combineer de identiteitsbranch, projectie down-up branch en drop-path-processed main branch met element-wise addition om de uiteindelijke MVV Block-output te verkrijgen.

Figuur 4. Architectuur van het Multi-View Vision (MVV) blok. Structuur van het Multi-View Vision (MVV) blok. Het blok bestaat uit een hoofd-feature-extractietak die de Multi-View 4-Directional (MV4D) module bevat, samen met diepteconvolutie-, normalisatie- en lineaire projectielagen. Een hulp-up-down projectietak biedt gegated feature-modulatie via element-vir-element vermenigvuldiging voordat residuele optelling wordt uitgevoerd om de uitvoer-featurerepresentatie te genereren. Klik hier om een grotere versie van deze figuur te bekijken.

5. Bouw van MFusion Mamba

1. Verzamel de featuremaps van alle encoder-levels. Lijn de encoderkenmerken uit op een uniforme representatieruimte door ze te vergroten of te projecteren wanneer nodig. Zie Algoritme 2, Aanvullend Bestand 1 voor de volledige implementatieworkflow op tensorniveau.
2. Pas de encoderkenmerken aan op de ruimtelijke resolutie van het doel wanneer nodig. Projectfuncties met verschillende kanaalafmetingen in dezelfde kanaaldimensie. Lijn alle encoderfuncties uit voordat je meerstapsfusie hebt.
3. Voer de uitgelijnde encoderkenmerken in de Coarse Fusion-component. Voer grove fusie uit met het Hadamard-product. Genereer de grove fused representatie.
4. Voer de grove fuseerde representatie in de Fine Fusion-component. Bouw twee parallelle fijnfusiepaden. Verwerk beide paden onafhankelijk.
5. Verwerk het eerste fijnfusiepad met behulp van een lineaire laag. Verwerk het tweede Fine Fusion-pad met behulp van opwaartse projectie, Conv1d, Mamba en neerwaartse projectie. Herstel de feature-dimensie na downprojectie.
6. Samenvoeg de uitgangen van de twee fijnfusiepaden met behulp van het Hadamard-product. Breng de uiteindelijke lineaire laag aan. Verkrijg de MFusion Mamba-uitvoer.
7. Voer de MFusion Mamba-uitgang in de decoder. Decodeer de gefuseerde meertrapsrepresentatie samen met de encoder-decoder skipfuncties. Genereer de definitieve segmentatiekaart.
8. Lijn encoderkenmerken uit verschillende fasen uit in een uniforme featureruimte voordat je groffus. Verwerk de uitgelijnde feature-representaties met behulp van de grove en fijne fusiefasen. Zie Figuur 5 voor de MFusion Mamba-architectuur en Supplementary Algorithm 2 voor de volledige implementatieworkflow op tensorniveau.
9. Gebruik de implementatieparameters van MFusion Mamba als volgt. Voor elke encoderkenmerk E_i projecteer je de kanaaldimensie van C_i naar C_t. Herschal geprojecteerde kenmerken naar de ruimtelijke grootte van het doel met behulp van bilineaire interpolatie met align_corners=False wanneer nodig.
10. Pas het Hadamard-product toe om groffusie uit te voeren over de uitgelijnde encoderfuncties. Configureer het eerste Fine Fusion-pad met behulp van een lineaire laag met de afmetingen C_t → C_t. Configureer het tweede Fine Fusion-pad met behulp van een opwaartse projectie C_t → 2C_t, Conv1d, een Mamba/S6-blok met modeldimensie 2C_t, één scanrichting, toestandsdimensie 16, en een downprojectie 2C_t → C_t.
11. Fuse de uitgangen van de fijnfusiepaden met behulp van het Hadamard-product. Pas een definitieve lineaire projectie toe met dimensies C_t op C_t. Voer de gefuseerde meertrapsrepresentatie in de decoder.
12. Fuse-multitraps encoderfuncties met MFusion Mamba
    1. Verzamel de encoderkenmerken van alle vier de encoderstages (E₁, E₂, E₃ en E₄) en gebruik deze als input voor de MFusion Mamba-module. Selecteer niet alleen de coroderfunctie in de corresponderende fase voor decoderfusie.
    2. Lijn alle encoderkenmerken uit op de ruimtelijke resolutie die vereist is voor de huidige decoderfase. Verander de grootte van de encoder-features naar de doelresolutie en projecteer deze op de vereiste kanaaldimensie vóór feature-fusie.
    3. Herhaal de feature-uitlijningsprocedure voor elke decoderfase. Wanneer de decoder werkt op H/16 × W/16, H/8 × W/8 en H/4 × W/4, herschal en projecteert men E₁, E₂, E₃ en E₄ naar de overeenkomstige doel-featureruimte.
    4. Fuse de uitgelijnde multitraps encoderfuncties met behulp van de Coarse Fusion- en Fine Fusion-operaties van de MFusion Mamba-module, en combineer de gefuseerde representatie met de decoderfuncties op de overeenkomstige schaal.
    5. Voer de featureprojectie, grootteverandering en fusie uit volgens de uitgebrachte implementatie in models/mvmunet/core.py.

Figuur 5. Architectuur van de Multi-stage Fusion Mamba (MFusion Mamba) module. Structuur van de Multi-stage Fusion Mamba (MFusion Mamba) module. Multi-scale encoderkenmerken worden eerst gecombineerd door grove fusie en vervolgens verfijnd via de Fine Fusion-module, bestaande uit lineaire projectie, eendimensionale convolutie (Conv1d), een Mamba-blok en featureprojectielagen voordat de fused feature-representatie die door de decoder wordt gebruikt wordt gegenereerd. Klik hier om een grotere versie van deze figuur te bekijken.

6. Modeltraining

1. Train MVM-UNet op Ubuntu 22.04.1 met Linux kernel versie 6.8.0. Gebruik een werkstation uitgerust met een 13e generatie Intel Core i9-13900K CPU en een NVIDIA A800 GPU. Gebruik dezelfde hardwareconfiguratie tijdens training en evaluatie.
2. Implementeer en train het model met PyTorch 2.0.1 met CUDA 11.8. Installeer alle benodigde softwareafhankelijkheden voordat je traint.
3. Gebruik de AdamW-optimizer met een initiële leersnelheid van 3 × 10⁻⁵, β₁ = 0,9, β₂ = 0,999, ε = 1 × 10⁻⁸ en een gewichtsafname van 0,01. Stel de batchgrootte in op 32, tenzij anders aangegeven.
4. Train elk model voor 300 epochs. Gebruik een cosinus-annealing leertempo met η_min = 1 × 10⁻⁵. Stel de ingangsbeeldgrootte in op 256 × 256 voor ISIC 2017 en ISIC 2018 en op 224 × 224 voor Synapse.
5. Gebruik drie onafhankelijke willekeurige zaden (1, 52 en 100) voor de belangrijkste vergelijkingsexperimenten. Herhaal de volledige trainings- en evaluatieprocedure voor elk zaadje. Rapporteer de definitieve kwantitatieve resultaten als gemiddelde ± SD over de drie runs.
6. Gebruik een vaste willekastige seed van 100 voor alle ablatiestudies, tenzij anders vermeld. Houd de dataset-partitionen, preprocessingstrategie, netwerkarchitectuur, optimizer, leersnelheid, batchgrootte en aantal trainingsepochs ongewijzigd in alle ablatie-experimenten.
7. Gebruik het BCE-Dice verlies voor binaire laesiesegmentatie op ISIC 2017 en ISIC 2018. Stel de BCE- en dobbelsteengewichts in op 1,0. Gebruik het CE-Dice verlies voor Synapse en stel zowel de cross-entropie als het Dice verliesgewicht in op 1,0.
8. Verander de grootte, normaliseer en vul de ISIC 2017 en ISIC 2018 trainingsbeelden aan met behulp van de preprocessingprocedure beschreven in Stap 1. Pas het aanpassen van de grootte, willekeurige rotatie en willekeurige flipping toe op Synapse-trainingsbeelden zoals beschreven in Stap 1. Gebruik identieke preprocessing-instellingen tijdens alle trainingsruns.
9. Selecteer modelcontrolepunten volgens het dataset-specifieke validatieprotocol. Bewaar het checkpoint met de beste validatieprestaties voor ISIC 2017 en ISIC 2018, en voer elke 30 epochs validatie uit. Train Synapse voor 300 epochs zonder validatieset en gebruik het laatste trainingscheckpoint voor testen.
10. Gebruik de officiële validatieset alleen voor modelselectie op ISIC 2017 en ISIC 2018. Gebruik de Synapse-testset niet voor training, hyperparameter-afstemming of checkpointselectie. Reserveer alle testgegevens exclusief voor de definitieve evaluatie.
11. Gebruik de volgende trainingsparameters voor reproduceerbaarheid. Stel de batchgrootte in op 32 voor alle datasets. Gebruik AdamW met een initiële leersnelheid van 3 × 10⁻⁵, β₁ = 0,9, β₂ = 0,999, ε = 1 × 10⁻⁸, en een gewichtsafname van 1 × 10⁻².
12. Configureer de cosinus-annealing leersnelheidsplanner met T_max = 50 en η_min = 1×10⁻⁵ voor ISIC 2017 en ISIC 2018. Configureer de scheduler met T_max = 100 en η_min = 1×10⁻⁵ voor Synapse. Houd de planningsconfiguratie ongewijzigd voor alle herhaalde experimenten.
13. Train alle modellen met behulp van vol-precisie FP32-rekenkunde. Schakel automatische mixed-precision training uit. Pas geen gradient clipping toe tijdens optimalisatie.
14. Houd de precisie-instellingen, gradiëntupdatestrategie, optimizerconfiguratie, leersnelheidsschema en random-seed-protocol ongewijzigd in alle vergelijkingsexperimenten, ablatiestudies en reproduceerbaarheidsruns.
15. Kies het beste modelcontrolepunt
    1. Evalueer het model op de validatieset na elk trainingstijdperk voor de ISIC 2017- en ISIC 2018-datasets.
    2. Bereken het Binaire Cross-Entropie (BCE)-dobbelsteenverlies voor elke validatiebatch en bereken het gemiddelde validatieverlies over de gehele validatieset.
    3. Bewaar het huidige model als het beste controlepunt wanneer het gemiddelde validatieverlies lager is dan het eerder geregistreerde minimale validatieverlies.
    4. Noteer tijdens validatie de gemiddelde Intersection over Union (mIoU), de dobbelsteengelijkheidscoëfficiënt (DSC), nauwkeurigheid (Acc), specificiteit (Spe) en gevoeligheid (Sen) tijdens validatie, uitsluitend voor prestatiemonitoring. Gebruik deze metrieken niet als criterium voor de selectie van checkpointen.

7. Modelevaluatie

1. Evalueer het getrainde model met behulp van de officiële testset voor elke dataset. Gebruik de testset alleen voor de eindbeoordeling van de prestaties.
2. Voor ISIC 2017 en ISIC 2018 bereken je de mIoU, DSC, Acc, Sen en Spe. Gebruik pixelniveau true positives (TP), false positives (FP), true negative (TN) en false positives (FN) voor alle berekeningen.
3. Pas een sigmoid-activatiefunctie toe op de modeloutput van ISIC 2017 en ISIC 2018. Zet de kanskaart om in een binair segmentatiemasker met een drempel van 0,5. Bereken de evaluatiemetrieken met behulp van Vergelijkingen 2–6:
   (2)
   (3)
   (4)
   (5)
   (6)
4. Voor Synapse past je de softmax-activatiefunctie toe op de modeluitvoer. Wijs elke pixel of voxel toe aan de klasse met de hoogste kans met behulp van de argmax-operatie. Bereken de DSC en de 95e percentiel Hausdorff-afstand (HD95) voor elk voorgrondorgaan en rapporteer de gemiddelde waarden over alle testgevallen.
5. Vergelijk MVM-UNet met representatieve CNN-gebaseerde, Transformer-gebaseerde en state-space model (SSM)-gebaseerde segmentatiemethoden. Gebruik identieke dataset-partities, preprocessingprocedures, inputresoluties en evaluatiemetrics voor alle methoden.
6. Gebruik de officiële trainings-, validatie- en testpartities voor ISIC 2017 en ISIC 2018. Gebruik de standaardverdeling van 18 trainingsgevallen en 12 testcases voor Synapse. Stel de inputresolutie in op voor ISIC-datasets en voor Synapse.
7. Reproduceer basismethoden met hun officiële implementaties wanneer beschikbaar. Rapporteer de resultaten als gemiddelde ± SD over herhaalde runs. Behoud de door literatuur gerapporteerde waarden zoals oorspronkelijk gepubliceerd en onderscheid deze in de bijbehorende tabelnotities.
8. Voer ablatiestudies uit met het vaste willekeurige zaad van 100, tenzij anders vermeld. Houd de dataset-partitionen, preprocessingprocedure, inputresolutie, optimizer, leersnelheidsschema, batchgrootte, aantal epochs, verliesfunctie en evaluatiemetrics ongewijzigd over alle ablatie-experimenten.
9. Evalueer de bijdragen van MV4D, SFusion Mamba, de Up-Down Projection-tak in het MVV Block, MFusion Mamba, de grootte van het invoerbeeld, de dropoutwaarde en de configuratie van de encoder-decoder laag. Pas alleen de doelcomponent of parameter aan in elk ablatie-experiment.
10. Voer de Wilcoxon teken-rank test uit met gepaarde per-beeldresultaten voor ISIC 2017 en ISIC 2018 en gepaarde per-geval resultaten voor Synapse. Beschouw een p-waarde kleiner dan 0,05 om statistische significantie aan te geven.
11. Evalueer de rekenefficiëntie met dezelfde hardwareomgeving en inputresolutie voor alle methoden. Meet de trainingstijd per epoch, inferentietijd per afbeelding, piek GPU-geheugengebruik tijdens training, aantal modelparameters en floating-point operations (FLOPs). Bereken FLOPs met een enkele voorwaartse pass.
12. Selecteer representatieve kwalitatieve voorbeelden alleen uit de testset na het voltooien van modelevaluatie. Vergelijk het originele beeld, het grond-waarheidsmasker en het voorspelde masker met identieke testgevallen over alle methoden heen. Kies representatieve voorbeelden die kleine doelen, onregelmatige grenzen, ambigue grenzen en representatieve multi-organstructuren omvatten.
13. Bereken evaluatiemetrics en voer statistische analyses uit
    1. Bereken de segmentatiemetrics voor de ISIC 2017 en ISIC 2018 datasets in Python met behulp van NumPy en sklearn.metrics.confusion_matrix. Beperk de voorspelde kanskaart op 0,5, verkrijg de pixelniveau TP, FP, TN en FN, en bereken de mIoU, DSC, Acc, Sen en Spe uit deze waarden.
    2. Bereken de DSC en de HD95 voor de Synapse-dataset met behulp van medpy.metric.binary.dc en medpy.metric.binary.hd95, respectievelijk. Pas softmax gevolgd door argmax toe op de modeloutput voordat je de evaluatie-metrics berekent.
    3. Bereken het aantal FLOPs en trainbare parameters met thop.profile met een enkele voorwaartse pass.
    4. Voer de Wilcoxon signed-rank test uit in Python met scipy.stats.wilcoxon. Gebruik gepaarde per-beeldmetriekwaarden voor de ISIC 2017- en ISIC 2018-datasets en gepaarde per-case-metriekwaarden voor de Synapse-dataset.

8. Definitie van verliesfunctie

1. Gebruik het standaard Cross-Entropy (CE) verlies voor multiclass-segmentatie en het standaard BCE-verlies voor binaire segmentatie. Gebruik de standaard Dice verliesformulering voor segmentatie. Vergelijkingen 7–11 definiëren de verliesfuncties die in dit protocol worden gebruikt.
   (7)
   (8)
   (9)
   (10)
   (11)
2. Stel de BCE- en dobbelsteengewichts in op 1,0 voor ISIC 2017 en ISIC 2018, zodat ₁ = 1,0 en ₂ = 1,0 is. Stel de CE- en dobbelsteengewichts in op 1,0 voor Synapse, zodanig φ₁ = 1,0 dat en φ₂ = 1,0.
3. Implementeer de verliesfuncties in utils.py. Gebruik nn. BCELoss voor de BCE-term en nn. CrossEntropyLoss voor de CE-term. Bereken het binaire dobbelsteenverlies door elk voorspeld masker en grondwaarheidsmasker af te vlakken, het dobbelsteenverlies per monster te berekenen en het verlies over de batch te middelen. Bereken het multiclass Dice-verlies door de target labelmap om te zetten naar one-hot formaat, softmax toe te passen op de modeloutput, het Dice-verlies voor elke klasse te berekenen en het verlies over alle klassen te middelen.
4. Stel de gladmakingsconstante in op 1 voor het binaire dobbelsteenverlies en op 1×10⁻⁵ voor het multiclass dobbelsteenverlies. Voer het BCE-Dice-Cube-verlies uit met de BceDiceLoss-klasse met wb = 1 en wd = 1. Implementeer het verlies van CE-Dice met de CeDiceLoss-klasse met loss_weight = [1, 1]. Houd de gladmaakconstanten, reductiestrategie en software-implementatie ongewijzigd voor alle datasets, willekeurige zaadjes en experimenten.
5. Configureer de verliesreductie
   1. Instansieer nn. BCELoss() en nn. CrossEntropyLoss() zonder expliciet het reductieargument te specificeren.
   2. Gebruik de standaard PyTorch verliesreductie-instelling (reductie = "gemiddelde") voor beide verliesfuncties. Gebruik geen reductie = "som" of een ongereduceerd verliesoutput.

9. Reproduceerbaarheidsinstellingen en uitvoering

1. Download de uitgebrachte implementatie van https://github.com/LIXUEGUANG002/MVM-UNet. Gebruik de repository samen met de softwarepakketten, datasets, hardwarespecificaties en rekenbronnen die in de Table of Materials staan vermeld.
2. Kloneer de repository en ga in de projectmap door git clone https://github.com/LIXUEGUANG002/MVM-UNet.git uit te voeren, gevolgd door cd MVM-Unet.
3. Configureer het ISIC 2017- of ISIC 2018-experiment door de naam van de dataset, het pad van de dataset, invoergrootte, batchgrootte, aantal epochs, verliesfunctie, optimizer, leersnelheidsplanner en willekeurige seed in configuraties/config_setting.py in te stellen. Voer het trainingsscript uit vanaf de repository-root met Python train.py.
4. Configureer het Synapse-experiment door de naam van de dataset, het trainingsdatapad, het testvolumepad, lijstenmap, invoergrootte, aantal klassen, batchgrootte, aantal epochs, verliesfunctie, optimizer, leersnelheidsplanner en willekeurige seed in te stellen in configuraties/config_setting_synapse.py. Voer het trainingsscript uit vanaf de repository-root met Python train_synapse.py.
5. Voer alleen inferentie-evaluatie uit door only_test_and_save_figs = Waar in te stellen, best_ckpt_path naar het getrainde checkpoint en img_save_path naar de uitvoermap in het bijbehorende configuratiebestand. Voer python train.py uit voor ISIC 2017 of ISIC 2018, of gebruik python train_synapse.py voor Synapse om voorspellingsresultaten en kwalitatieve cijfers te genereren.
6. Gebruik de vrijgegeven broncodeversie
   1. Klon de uitgebrachte GitHub-repository en bekijk commit ee891b42c2f083c4990eed72f1d4463adc5e103e op de masterbranch voordat je de datasets, trainingsscripts en evaluatie-instellingen configureert.
   2. Gebruik deze commit om de experimenten die in deze studie zijn gerapporteerd te reproduceren. Er was geen getagde releaseversie beschikbaar voor de repository ten tijde van de manuscriptrevisie.

Resultaten

Verwachte uitkomsten en interpretatie
Wanneer dit protocol correct is geïmplementeerd, wordt verwacht dat het getrainde MVM-UNet-model stabiele segmentatieprestaties levert over herhaalde runs, met slechts kleine variaties tussen verschillende willekeurige seeds voor de meeste evaluatiemetrics. Voor ISIC 2017 en ISIC 2018 worden succesvolle uitkomsten weerspiegeld door hoge DSC-, mIoU-, Acc-, Sen- en Spe-waarden, samen met voorspelde laesiemaskers die nauw aansluiten op de grenzen van de grondwaarheid (Figuren 6 en 7). Voor Synapse worden succesvolle uitkomsten weerspiegeld door hoge gemiddelde DSC-waarden en lage HD95-waarden over de voorgrondorganen (Figuur 8). Tijdens de uitvoering van het protocol moeten kwantitatieve metrieken worden geïnterpreteerd samen met de bijbehorende kwalitatieve segmentatieresultaten. Een model dat een hoge DSC bereikt maar grenslekkage vertoont, kleine structuren weglaat of gefragmenteerde voorspellingen vertoont, moet slechts gedeeltelijk als succesvol worden beschouwd, en de preprocessingprocedure, checkpointselectie en inferentie-instellingen moeten worden geverifieerd.

Figuur 6. Representatieve kwalitatieve segmentatieresultaten op de ISIC 2017-dataset. Representatieve kwalitatieve segmentatieresultaten verkregen op de International Skin Imaging Collaboration (ISIC) 2017 huidlaesiesegmentatiedataset. Elk voorbeeld toont het originele dermoscopische beeld (Image), het bijbehorende ground-truth segmentatiemasker (GT) en de voorspelling gegenereerd door MVM-UNet (Pred). Representatieve testgevallen illustreren segmentatieprestaties voor laesies van variërende grootte, morfologie en grenscomplexiteit. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 7. Representatieve kwalitatieve segmentatieresultaten op de ISIC 2018-dataset. Representatieve kwalitatieve segmentatieresultaten verkregen op de International Skin Imaging Collaboration (ISIC) 2018 huidlaesiesegmentatiedataset. Elk voorbeeld toont het originele dermoscopische beeld (Image), het bijbehorende ground-truth segmentatiemasker (GT) en de voorspelling gegenereerd door MVM-UNet (Pred). Representatieve testgevallen tonen segmentatieprestaties aan over diverse laesie-uiterlijk en grenskenmerken. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 8. Representatieve kwalitatieve segmentatieresultaten op de Synapse multiorgaan computertomografie-dataset. Representatieve kwalitatieve multiorgansegmentatieresultaten verkregen op de Synapse Multi-Atlas Labeling Beyond the Cranial Vault dataset. Elk voorbeeld toont het originele computertomografiebeeld (Image), de bijbehorende ground-truth orgaanannotaties (GT), en de voorspelling gegenereerd door MVM-UNet (Pred). Representatieve voorbeelden illustreren overeenstemming tussen voorspelde en referentiesegmentaties over meerdere buikorganen. Klik hier om een grotere versie van deze figuur te bekijken.

Prestaties op ISIC 2017
Om de reproduceerbaarheid van MVM-UNet te evalueren, werden alle hoofdvergelijkingsexperimenten herhaald met drie onafhankelijke willekeurige zaadjes (1, 52 en 100), en de resultaten werden gerapporteerd als gemiddelde ± SD. De statistische significantie werd geëvalueerd met behulp van de Wilcoxon signed-rank test op basis van gepaarde per-beeldresultaten voor ISIC 2017 en ISIC 2018 en gepaarde per-geval resultaten voor Synapse. De statistische analyse werd uitgevoerd met gepaarde metriekwaarden in plaats van seed-niveau gemiddelden. Voor eerlijke vergelijking werden de resultaten die als gemiddelde ± SD werden gerapporteerd, gereproduceerd met de officiële implementaties onder dezelfde dataset-partitionen, invoerresoluties en evaluatiemetrics waar mogelijk, terwijl enkelvoudige resultaten werden behouden uit de overeenkomstige oorspronkelijke publicaties.

MVM-UNet werd geëvalueerd op de ISIC 2017 huidlaesiesegmentatiedataset en vergeleken met representatieve segmentatiemethoden, waaronder UNet ^8,21, TransUNet²³, H-vmunet²⁸, MISSFormer³⁰, MaLUNet³¹, VM-UNet³², UNeXt-S³³, HResFormer³⁴, MedScale-Former³⁵, MCAFT³⁶ en H2Former¹² (Tabel 1). MVM-UNet behaalde een mIoU van 80,94 ± 1,01%, een DSC van 91,32% ± 0,68%, een nauwkeurigheid van 96,58% ± 0,27%, een specificiteit van 98,31% ± 0,23% en een gevoeligheid van 91,65% ± 0,77% over drie onafhankelijke runs. In vergelijking met de geëvalueerde methoden behaalde MVM-UNet de hoogste mIoU, DSC en gevoeligheid. Representatieve kwalitatieve segmentatieresultaten zijn weergegeven in Figuur 6, waar de voorspelde maskers nauw de grenzen van de grond-waarheid laesie volgen over representatieve testbeelden.

Model	Scheidsrechter.	mIoU (%)	DSC (%)	Acc (%)	Spe (%)	Sen (%)
UNet	8	76.98	86.99	95.65	97.43	86.82
TransUNet	23	75.32	81.23	91.45	95.77	82.63
MaLUNet	31	78.78	88.13	96.18	98.47	84.78
VM-UNet	32	80.23	89.03	96.29	97.58	89.90
UNeXt-S	33	78.26	87.80	95.95	97.74	87.04
HResVoormalig	34	79,89 ± 1,05	88,82 ± 0,65	96,25 ± 0,24	97,73 ± 0,22	87,72 ± 0,79
H-vmunet	28	80.34 ± 1.02	90,68 ± 0,55	96,42 ± 0,18	98,23 ± 0,32	88,97 ± 0,88
MISSFormer	30	80,16 ± 0,78	89,27 ± 0,61	94,36 ± 0,28	97,52 ± 0,38	87,71 ± 0,69
H2Former	12	80,35 ± 0,95	88,56 ± 0,72	96,61 ± 0,19	98.15 ± 0.14	88.21 ± 0.81
MedScale-Former	35	80,31 ± 0,82	89.11 ± 0.59	95,68 ± 0,33	98,24 ± 0,21	89,96 ± 0,92
MCAFT	36	80,59 ± 0,93	89,27 ± 0,63	96,42 ± 0,20	97,95 ± 0,17	90,05 ± 0,84
MVM-UNet (Onze)	—	80,94 ± 1,01	91,32 ± 0,68	96,58 ± 0,27	98,31 ± 0,23	91,65 ± 0,77

Tabel 1: Prestatievergelijking op de ISIC 2017 huidlaesiesegmentatiedataset. Vergelijking van MVM-UNet met representatieve convolutionele neurale netwerken (CNN)-, Transformer- en toestandsruimtemodellen (SSM)-gebaseerde segmentatiemethoden met gebruik van gemiddelde Intersection over Union (mIoU), dobbelsteengelijkheidscoëfficiënt (DSC), nauwkeurigheid (Acc.), specificiteit (Spe.) en gevoeligheid (Sen.). De resultaten voor MVM-UNet worden gerapporteerd als gemiddelde ± standaarddeviatie van drie onafhankelijke experimenten met willekeurige zaad. Resultaten die als losse waarden werden gerapporteerd, werden gereproduceerd uit de overeenkomstige oorspronkelijke publicaties.

De kwalitatieve voorbeelden tonen verder aan dat MVM-UNet zowel kleine als grotere laesies met onregelmatige grenzen nauwkeurig segmenteerde. In deze representatieve voorbeelden kwamen de voorspelde maskers nauw overeen met de bijbehorende grondwaarheidsannotaties en bewaarde laeesiegrenzen met minimale lekkage of fragmentatie.

Om verder te evalueren of de waargenomen verbeteringen statistisch significant waren, werden Wilcoxon-tekentoetsen uitgevoerd met behulp van gepaarde segmentatieresultaten per beeld. Voor de mIoU-metriek liet MVM-UNet een statistisch significante verbetering zien ten opzichte van MCAFT, met een p-waarde van 0,0114. Voor de DSC-metriek presteerde MVM-UNet ook aanzienlijk beter dan H-vmunet, met een p-waarde van 0,0031. Deze resultaten ondersteunen dat de waargenomen verbeteringen op ISIC 2017 waarschijnlijk niet te wijten zijn aan willekeurige variatie.

Over het geheel genomen behaalde MVM-UNet de hoogste prestaties onder de vergeleken methoden voor mIoU, DSC en gevoeligheid op de ISIC 2017-dataset (Tabel 1). De kwalitatieve segmentatievoorbeelden in Figuur 6 zijn consistent met deze kwantitatieve bevindingen.

Prestaties op ISIC 2018
MVM-UNet werd verder geëvalueerd op de ISIC 2018 huidlaesiesegmentatiedataset en vergeleken met representatieve segmentatiemethoden, waaronder UNet ^8,21, UNet+⁺⁹, UTNetV2³⁷, SANet³⁸, MaLUNet³¹, VM-UNet³², H-vmunet²⁸, MISSFormer³⁰, H2Former¹², HResFormer³⁴, MedScale-Former³⁵ en MCAFT³⁶ (Tabel 2). MVM-UNet behaalde een mIoU van 82,47% ± 1,28%, een DSC van 90,65% ± 0,94%, een nauwkeurigheid van 96,02% ± 0,36%, een specificiteit van 97,06% ± 0,31%, en een gevoeligheid van 91,80% ± 0,82% over drie onafhankelijke runs. Deze resultaten tonen aan dat de prestaties van MVM-UNet consistent bleven over verschillende willekeurige seeds. Representatieve kwalitatieve segmentatieresultaten zijn weergegeven in Figuur 7.

Model	Scheidsrechter.	mIoU (%)	DSC (%)	Acc (%)	Spe (%)	Sen (%)
UNet	8	77.86	87.55	94.05	96.69	85.86
UNet++	9	78.31	87.83	94.02	95.75	88.65
UTNetV2	37	78.97	88.25	94.32	96.48	87.60
SANet	38	79.52	88.59	94.39	95.97	89.46
MaLUNet	31	80.25	89.04	94.62	96.19	89.74
VM-UNet	32	81.35	89.71	94.91	96.13	91.12
H-vmunet	28	81.93 ± 1.45	90,46 ± 0,62	95.19 ± 0.30	96,82 ± 0,21	88.37 ± 1.13
MISSFormer	30	80.27 ± 1.21	89,91 ± 0,46	94,76 ± 0,27	97,22 ± 0,15	90.84 ± 1.07
H2Former	12	80,40 ± 0,83	90,26 ± 0,73	94,89 ± 0,38	96,98 ± 0,25	91,57 ± 0,54
HResVoormalig	34	81.12 ± 1.18	88,86 ± 0,84	94,96 ± 0,33	96,43 ± 0,22	91.86 ± 1.01
MedScale-Former	35	80,97 ± 0,74	90,47 ± 0,68	95,02 ± 0,41	95,89 ± 0,26	90,65 ± 0,92
MCAFT	36	81.46 ± 1.03	89,06 ± 0,76	95,23 ± 0,29	96,72 ± 0,17	91,82 ± 0,57
MVM-UNet (Onze)	—	82.47 ± 1.28	90,65 ± 0,94	96,02 ± 0,36	97,06 ± 0,31	91,80 ± 0,82

Tabel 2: Prestatievergelijking op de ISIC 2018 huidlaesiesegmentatiedataset. Vergelijking van MVM-UNet met representatieve segmentatiemethoden op basis van CNN, Transformer en SSM met gebruik van gemiddelde Intersection over Union (mIoU), dobbelsteengelijkheidscoëfficiënt (DSC), nauwkeurigheid (Acc.), specificiteit (Spe.) en gevoeligheid (Sen.). De resultaten voor MVM-UNet worden gerapporteerd als gemiddelde ± standaarddeviatie van drie onafhankelijke experimenten met willekeurige zaad. Resultaten die als losse waarden werden gerapporteerd, werden gereproduceerd uit de overeenkomstige oorspronkelijke publicaties.

Vergeleken met H-vmunet verbeterde MVM-UNet de mIoU met 0,54%. Vergeleken met MedScale-Former verbeterde MVM-UNet de DSC met 0,18%. MVM-UNet behaalde ook de hoogste nauwkeurigheid van de vergeleken methoden. De representatieve kwalitatieve voorbeelden in Figuur 7 tonen nauwkeurige segmentatie van representatieve huidlaesies, inclusief kleine laesiegebieden en laesies met onregelmatige grenzen.

Voor ISIC 2018 werd de statistische significantie geëvalueerd met behulp van de Wilcoxon signed-rank test op basis van gepaarde segmentatieresultaten per afbeelding. Voor de mIoU-metriek behaalde MVM-UNet een statistisch significante verbetering ten opzichte van MCAFT, met een p-waarde van < 0,001. Deze resultaten ondersteunen dat de waargenomen prestatieverbetering op ISIC 2018 waarschijnlijk niet te wijten was aan willekeurige variatie.

Over het geheel genomen behaalde MVM-UNet de hoogste mIoU, DSC en nauwkeurigheid onder de vergeleken methoden op de ISIC 2018-dataset (Tabel 2). De kwalitatieve voorbeelden in Figuur 7 zijn consistent met deze kwantitatieve verbeteringen.

Uitvoering op Synapse
De voorgestelde methode werd ook geëvalueerd op de Synapse multiorgan-segmentatiedataset en vergeleken met representatieve methoden, waaronder UNet ^8,21, Attention U-Net³⁹, TransUNet²³, TransNorm⁴⁰, Swin U-Net²⁵, TransDeepLab⁴¹, MEW-UNet⁴², MISSFormer³⁰, H2Former¹², HResFormer³⁴, MedScale-Former³⁵ en MCAFT³⁶ (Tabel 3). De Synapse-dataset omvatte acht buikorganen: de aorta, galblaas, milt, linker nier, rechternier, lever, alvleesklier en maag. Volgens het standaard experimentele protocol werden 18 gevallen (2.212 axiale sneden) gebruikt voor training en 12 casussen (1.567 axiale sneden) voor testen. Er werd geen aparte validatieset geïntroduceerd. De testcases werden uitsluitend gebruikt voor de definitieve evaluatie en werden niet gebruikt voor modeltraining, hyperparameterafstemming of modelselectie. Representatieve kwalitatieve multiorgansegmentatieresultaten zijn weergegeven in Figuur 8, en de kwantitatieve vergelijking is samengevat in Tabel 3.

Model	Scheidsrechter.	DSC	HD95	Aor.	Gal.	Jongen. (L)	Jongen. (R)	Liv.	Pan.	Spl.	Sto.
UNet	8	76.85	39.78	89.07	69.72	77.77	68.69	93.43	54.01	86.66	75.59
Att-UNet	39	77.77	36.02	89.54	68.88	77.98	71.11	93.57	58.04	87.31	75.74
TransUNet	23	77.48	31.69	87.23	63.13	81.87	77.02	94.08	55.84	85.06	75.62
TransNorm	40	78.4	30.25	86.23	65.18	82.18	78.63	94.22	55.32	89.53	76.02
Swin U-Net	25	79.13	21.55	85.47	66.53	83.28	79.61	94.29	56.58	90.62	76.59
TransDeepLab	41	80.16	21.25	86.04	69.16	84.08	79.88	93.53	61.15	89.01	78.36
MEW-UNet	42	78.92	21.68	86.68	65.32	82.87	80.02	93.63	58.38	90.16	74.27
MISSFormer	30	80,92 ± 4,23	20.09 ± 1.89	86,43 ± 0,98	69,81 ± 4,56	84.29 ± 2.11	81.03 ± 3.34	93,85 ± 0,89	61.11 ± 4.67	90,05 ± 3,78	80,62 ± 1,02
H2Former	12	81.05 ± 2.56	20.13 ± 7.23	86.61 ± 3.21	69.32 ± 1.23	85.12 ± 4.78	82.01 ± 2.89	94.09 ± 2.45	61.16 ± 0.76	89,97 ± 4,12	80,94 ± 3,56
HResVoormalig	34	80,65 ± 4,02	17.48 ± 6.89	89.16 ± 2.78	66,94 ± 0,78	84.61 ± 4.34	82.15 ± 2.56	93.11 ± 1.34	59,92 ± 4,12	91.08 ± 3.45	80,75 ± 2,01
MedScale-Former	35	80,78 ± 1,34	20.02 ± 3.78	88,79 ± 4,02	69,82 ± 2,56	85,13 ± 0,87	81,63 ± 4,78	94.10 ± 2.78	60,72 ± 1,89	90.14 ± 1.56	80,93 ± 4,56
MCAFT	36	81.03 ± 3.45	19.98 ± 5.12	89,76 ± 0,76	68,96 ± 3,89	84,54 ± 2,56	81.98 ± 3.12	94.32 ± 4.01	60,85 ± 3,67	89.06 ± 4.89	80,91 ± 1,78
MVM-UNet (Onze)	—	81.26 ± 1.89	18.72 ± 2.16	88.53 ± 3.22	69,84 ± 4,23	85,37 ± 2,69	82,67 ± 1,67	94.41 ± 3.56	61.02 ± 2.78	90,19 ± 0,67	81.48 ± 3.12

Tabel 3: Prestatievergelijking op de Synapse multi-orgaan segmentatiedataset. Vergelijking van MVM-UNet met representatieve CNN-, Transformer- en SSM-gebaseerde segmentatiemethoden met behulp van de Dice Similarity Coefficient (DSC), 95e percentiel Hausdorff-afstand (HD95) en orgaanspecifieke Dice-scores voor de aorta (Aor.), galblaas (Gal.), linkernier (Kid. (L)), rechternier (Kind. (R)), lever (Liv.), alvleesklier (Pan.), milt (Spl.) en maag (Sto.). De resultaten voor MVM-UNet worden gerapporteerd als gemiddelde ± standaarddeviatie van drie onafhankelijke experimenten met willekeurige zaad. Resultaten die als losse waarden werden gerapporteerd, werden gereproduceerd uit de overeenkomstige oorspronkelijke publicaties.

MVM-UNet behaalde een gemiddelde DSC van 81,26% ± 1,89% en een gemiddelde HD95 van 18,72 ± 2,16 over drie onafhankelijke runs. De resultaten tonen stabiele segmentatieprestaties aan op de Synapse-dataset. Van de geëvalueerde methoden behaalde MVM-UNet het hoogste gemiddelde DSC en het op één na laagste gemiddelde HD95.

Voor Synapse werd de statistische significantie geëvalueerd met behulp van de Wilcoxon teken-rang test op basis van gepaarde DSC-waarden per case. MVM-UNet toonde een statistisch significante verbetering ten opzichte van H2Former, met een p-waarde van 0,026, wat aangeeft dat de waargenomen verbetering in segmentatieprestaties statistisch significant was.

Representatieve succesvolle en suboptimale uitkomsten
Representatieve succesvolle kwalitatieve resultaten zijn weergegeven in Figuren 6–8. Succesvolle uitkomsten worden gekenmerkt door voorspelde segmentatiemaskers die nauw overeenkomen met de grondwaarheidsannotaties en nauwkeurig de primaire laesie of orgaangrenzen afbakenen. Representatieve suboptimale uitkomsten kunnen optreden voor zeer kleine doelen, laagcontrastgrenzen, onregelmatige laesievormen, organen met een zwak intensiteitscontrast of anatomisch ambiguïge grenzen, en verschijnen meestal als ondersegmentatie, oversegmentatie, grenslekkage of discontinue maskerfragmenten. Wanneer dergelijke uitkomsten worden waargenomen, moeten gebruikers verifiëren dat beeldgrootte, normalisatie, maskerinterpolatie, modelcheckpointselectie, inferentiedrempel (voor ISIC-datasets) of argmax-voorspelling (voor Synapse), en de metriekberekeningsprocedures consistent zijn met die beschreven in het Protocol.

Ablatiestudie van de MV4D-module
De bijdrage van de MV4D-module werd geëvalueerd door geleidelijk de zigzag-, hiërarchische, spiraal- en radiale scanparen toe te voegen, gevolgd door de SFusion Mamba-module (Tabel 4; Figuur 9). Wanneer alleen het zigzag-scanpaar werd gebruikt, was de segmentatieprestatie beperkt. Het toevoegen van het hiërarchische scanpaar verbeterde de prestaties aanzienlijk, wat het voordeel van het integreren van multiscale informatie aangeeft. De daaropvolgende toevoeging van de spiraal- en radiale scanparen verbeterde de segmentatieprestaties verder door contour- en randweergave te verbeteren. De integratie van de SFusion Mamba-module resulteerde in de hoogste prestaties van de geëvalueerde configuraties.

Model	Zigzag-scanpaar	Hiërarchisch scanpaar	Spiraalscanpaar	Radiaal scanpaar	SFusion Mamba	ISIC 2017 mIoU (%)	ISIC 2017 DSC (%)	ISIC 2018 mIoU (%)	ISIC 2018 DSC (%)
MVM-UNet	✓					56.75	72.46	58.03	73.45
MVM-UNet	✓	✓				72.38	84.01	73.45	84.7
MVM-UNet	✓	✓	✓			75.69	86.20	76.94	86.94
MVM-UNet	✓	✓	✓	✓		76.41	86.61	78.28	87.82
MVM-UNet	✓	✓	✓	✓	✓	80.94	91.32	82.47	90.65

Tabel 4: Ablatiestudie van de Multi-View 4-Directional (MV4D) module. De prestaties worden behaald door geleidelijk de hiërarchische, spiraal- en radiale scanparen en de Spatial Fusion Mamba (SFusion Mamba) module te integreren in de baseline zigzag scanpaararchitectuur. De prestaties worden gerapporteerd met behulp van gemiddelde Intersection over Union (mIoU) en Dice Similarity Coefficient (DSC) op de ISIC 2017 en ISIC 2018 datasets.

Figuur 9. Ablatiestudie van de Multi-View 4-Directional (MV4D) module. (A) Verandering in gemiddelde Snede over Unie (mIoU) na sequentiële opname van het hiërarchische scanpaar, spiraalscanpaar, radiaal scanpaar en Spatial Fusion Mamba (SFusion Mamba) in de basislijnarchitectuur. (B) Verandering in de dobbelsteengelijkheidscoëfficiënt (DSC) na sequentiële opname van het hiërarchische scanpaar, spiraalscanpaar, radiaal scanpaar en Ruimtelijke Fusie Mamba (SFusion Mamba) in de basislijnarchitectuur. (C) Verandering in mIoU na sequentiële opname van het hiërarchische scanpaar, spiraalscanpaar, radiaal scanpaar en Spatial Fusion Mamba (SFusion Mamba) in de basisarchitectuur onder de tweede experimentele setting. (D) Verandering in de DSC na sequentiële opname van het hiërarchische scanpaar, spiraalscanpaar, radiaal scanpaar en Spatial Fusion Mamba (SFusion Mamba) in de basisarchitectuur onder de tweede experimentele setting. Klik hier om een grotere versie van deze figuur te bekijken.

Op de ISIC 2017-dataset behaalde de complete MV4D-module een mIoU van 80,94% en een DSC van 91,32%. De overeenkomstige prestatietrends voor mIoU en DSC worden respectievelijk weergegeven in Figuur 9A en Figuur 9B. Op de ISIC 2018-dataset behaalde de complete MV4D-module een mIoU van 82,47% en een DSC van 90,65%. De bijbehorende prestatietrends zijn respectievelijk weergegeven in Figuur 9C en Figuur 9D.

Tenzij anders vermeld, werden alle ablatie-experimenten uitgevoerd met een vast willekeurig zaad van 100, terwijl de belangrijkste vergelijkingsresultaten werden gerapporteerd als gemiddelde ± SD over drie onafhankelijke willekeurige zaden (1, 52 en 100). Daarom zijn de ablatieresultaten bedoeld om de relatieve bijdragen van individuele componenten onder een gecontroleerde single-seed setting te vergelijken, in plaats van de uiteindelijke multiseedprestaties uit de belangrijkste vergelijkingsexperimenten te reproduceren.

Over het algemeen verbeterde de geleidelijke integratie van de extra scanparen en de SFusion Mamba-module de segmentatieprestaties, waarbij de volledige MV4D-configuratie de hoogste prestaties behaalde op beide datasets.

Ablatiestudie van het Multi-View Vision (MVV) Blok
Het MVV Block werd geëvalueerd door de basisarchitectuur te vergelijken met een versie die de Up-Down Projection-tak bevatte (Tabel 5). Op de ISIC 2017-dataset verhoogde de opname van de Up-Down Projection-tak de mIoU van 78,83% naar 80,96% en de DSC van 88,15% naar 91,02%. Op de ISIC 2018-dataset steeg de mIoU van 80,32% naar 82,46%, terwijl de DSC steeg van 89,15% naar 90,57%.

Model	Baseline MVV Block	Up-Down Projectie	ISIC 2017 mIoU (%)	ISIC 2017 DSC (%)	ISIC 2018 mIoU (%)	ISIC 2018 DSC (%)
MVM-UNet	✓		78.83	88.15	80.32	89.15
MVM-UNet	✓	✓	80.96	91.02	82.46	90.57

Tabel 5: Ablatiestudie van het Multi-View Vision (MVV) blok. Prestatievergelijking van het Baseline Multi-View Vision (MVV) Block met en zonder de Up-Down Projection-branch. De prestaties worden gerapporteerd met behulp van gemiddelde Intersection over Union (mIoU) en Dice Similarity Coefficient (DSC) op de ISIC 2017 en ISIC 2018 datasets.

De MVV Block ablatie-experimenten werden uitgevoerd met het vaste willekeurige zaad van 100. Bijgevolg weerspiegelt de prestatie van de configuratie die de Up-Down Projection-tak bevat de gecontroleerde single-seed ablatie-instelling en kan deze iets verschillen van de drie-seed gemiddelde prestatie die in de belangrijkste vergelijkingsexperimenten werd gerapporteerd voor het volledige MVM-UNet-model.

Over het algemeen verbeterde de integratie van de Up-Down Projection-tak consequent de segmentatieprestaties op beide datasets, met waargenomen toename voor zowel mIoU als DSC.

Ablatiestudie van de Multi-stage Fusion Mamba (MFusion Mamba) module
De MFusion Mamba-module werd geëvalueerd door verschillende grove fusiestrategieën te vergelijken met de Fine Fusion-component (Tabel 6; Figuur 10). Zonder MFusion Mamba behaalde MVM-UNet een mIoU van 75,47% en een DSC van 86,01% op de ISIC 2017-dataset, en een mIoU van 77,49% en een DSC van 87,29% op de ISIC 2018-dataset. Van de geëvalueerde grove fusiestrategieën behaalde het Hadamard-product de grootste verbetering. De integratie van het Fine Fusion-component verhoogde de segmentatieprestaties verder. De volledige MFusion Mamba-configuratie behaalde een mIoU van 80,95% en een DSC van 91,18% op ISIC 2017, een mIoU van 82,51% en een DSC van 90,58% op ISIC 2018.

Model	Grof fusieElement-gewijze maximum	Grof fusieElementgewijze optelling	Grof FusieHadamard-product	Fijne Fusiemodule	ISIC 2017 mIoU (%)	ISIC 2017 DSC (%)	ISIC 2018 mIoU (%)	ISIC 2018 DSC (%)
MVM-UNet					75.47	86.01	77.49	87.29
MVM-UNet	✓				76.21	86.47	78.35	87.82
MVM-UNet		✓			76.83	86.86	79.11	88.30
MVM-UNet			✓		78.26	87.83	80.06	88.96
MVM-UNet			✓	✓	80.95	91.18	82.51	90.58

Tabel 6: Ablatiestudie van de Multi-stage Fusion Mamba (MFusion Mamba) module. Prestatievergelijking van verschillende Coarse Fusion-strategieën, waaronder maximale fusie (Max), elementgewijze optelling (⊕) en Hadamard-product (⊙), samen met de complete Fine Fusion-module. De prestaties worden gerapporteerd met behulp van gemiddelde Intersection over Union (mIoU) en Dice Similarity Coefficient (DSC) op de ISIC 2017 en ISIC 2018 datasets.

Figuur 10. Ablatiestudie van de Multi-stage Fusion Mamba (MFusion Mamba) module. (A) Verandering in gemiddelde Doorsnede over Unie (mIoU) verkregen met verschillende grove fusiestrategieën (maximaal, elementgewijze optelling en Hadamard-product) en de volledige Fijnfusiemodule. (B) Verandering in de dobbelsteengelijkheidscoëfficiënt (DSC) verkregen met verschillende grove fusiestrategieën (maximaal, elementgewijze optelling en Hadamard-product) en de volledige Fijnfusiemodule. (C) Verandering in mIoU verkregen met verschillende grove fusiestrategieën (maximum, elementgewijze optelling en Hadamard-product) en de volledige Fine Fusiemodule onder de tweede experimentele setting. (D) Verandering in de DSC verkregen met verschillende grove fusiestrategieën (maximum, elementgewijze optelling en Hadamard-product) en de volledige Fine Fusion-module onder de tweede experimentele setting. Klik hier om een grotere versie van deze figuur te bekijken.

Op de ISIC 2017-dataset behaalde de volledige MFusion Mamba-configuratie een mIoU van 80,95% en een DSC van 91,18%. De overeenkomstige prestatietrends voor mIoU en DSC zijn respectievelijk weergegeven in Figuur 10A en Figuur 10B. Op de ISIC 2018-dataset behaalde de volledige MFusion Mamba-configuratie een mIoU van 82,51% en een DSC van 90,58%. De bijbehorende prestatietrends worden respectievelijk weergegeven in Figuur 10C en Figuur 10D. De MFusion Mamba-ablatie-experimenten werden uitgevoerd met het vaste willekeurige zaad van 100. Bijgevolg vertegenwoordigt de volledige MFusion Mamba-configuratie het gecontroleerde single-seed ablatieresultaat en kan het iets verschillen van de gemiddelde drie-seed prestatie die in de belangrijkste vergelijkingsexperimenten werd gerapporteerd voor het complete MVM-UNet model.

Over het algemeen verbeterde de geleidelijke integratie van de Hadamard-product groffusiestrategie en de Fine Fusion-component de segmentatieprestaties consequent, waarbij de volledige MFusion Mamba-configuratie de hoogste prestaties behaalde op beide datasets.

Samenvatting van ablatiestudies
Gedurende de ablatie-experimenten, waarbij de hiërarchische, spiraal- en radiale scanpaartakken werden geïntegreerd, samen met de SFusion Mamba-module, verbeterden de segmentatieprestaties consequent (Tabel 4; Figuur 9). Evenzo verbeterde de opname van de Up-Down Projection-tak in het MVV Block zowel mIoU als DSC op de ISIC 2017 en ISIC 2018 datasets (Tabel 5). De volledige MFusion Mamba-configuratie behaalde ook de hoogste prestaties onder de geëvalueerde multistage feature fusion-strategieën (Tabel 6; Figuur 10).

Ablatiestudie van hyperparameters
De effecten van inputgrootte en dropoutwaarde werden geëvalueerd op de ISIC 2017 en ISIC 2018 datasets (Tabel 7). Drie inputresoluties (256 × 256, 384 × 384 en 512 × 512) werden vergeleken. Onder de geëvalueerde instellingen behaalden de 256 × 256 inputresolutie de hoogste segmentatieprestaties op beide datasets.

Model	Invoergrootte 256 × 256	Invoergrootte: 384 × 384	Invoergrootte 512 × 512	Uitval 0.0	Uitval 0,1	Uitval 0,2	Uitval 0,3	ISIC 2017 mIoU (%)	ISIC 2017 DSC (%)	ISIC 2018 mIoU (%)	ISIC 2018 DSC (%)
MVM-UNet		✓				✓		80.02	88.91	81.76	89.92
MVM-UNet			✓			✓		79.96	88.87	80.97	89.47
MVM-UNet	✓			✓				77.48	87.28	78.76	88.11
MVM-UNet	✓				✓			79.36	88.53	81.13	89.62
MVM-UNet	✓					✓		80.94	90.15	82.49	90.50
MVM-UNet	✓						✓	79.71	88.71	80.46	89.18

Tabel 7: Ablatiestudie van de grootte van het invoerbeeld en de uitvalwaarde. Prestatievergelijking van MVM-UNet met verschillende inputbeeldgroottes en dropout-waarden. De segmentatieprestaties worden gerapporteerd met behulp van gemiddelde Intersection over Union (mIoU) en Dice Similarity Coefficient (DSC) op de ISIC 2017 en ISIC 2018 datasets.

Er werden ook verschillende uitvalwaarden geëvalueerd. Onder de geteste configuraties behaalde een dropoutwaarde van 0,2 de hoogste segmentatieprestaties op beide datasets en werd daarom gebruikt in de hoofdexperimenten.

Ablatiestudie van de configuratie van de encoder-decoder laag
Verschillende configuraties van encoder-decoder lagen werden geëvalueerd om het effect van netwerkdiepte op segmentatieprestaties en rekenkosten te onderzoeken (Tabel 8). Van de geëvalueerde configuraties behaalde de symmetrische {2, 2, 2, 2}-{2, 2, 2, 2} architectuur de hoogste algehele segmentatieprestatie terwijl de modelcomplexiteit relatief laag bleef. Het vergroten van de netwerkdiepte tot {2, 2, 9, 2}-{2, 9, 2, 2} leverde vergelijkbare segmentatieprestaties op, maar verhoogde zowel het aantal parameters als de rekenkosten.

Model	Configuratie van de encoder-decoder laag	Parameters (M)	FLOPs (G)	ISIC 2017 mIoU (%)	ISIC 2017 DSC (%)	ISIC 2018 mIoU (%)	ISIC 2018 DSC (%)
MVM-UNet	{2,2,2,1}-{2,2,2,2}	28.22	4.12	80.02	88.91	81.16	89.64
MVM-UNet	{2,2,2,2}-{2,2,2,2}	28.36	4.39	80.95	90.17	82.5	90.41
MVM-UNet	{2,2,2,3}-{2,3,2,2}	30.14	4.88	79.83	88.8	81.56	89.85
MVM-UNet	{2,4,2,2}-{2,2,4,2}	33.46	5.32	79.65	88.7	81.45	89.79
MVM-UNet	{2,2,9,2}-{2,9,2,2}	45.63	7.78	80.96	90.09	82.48	90.43

Tabel 8: Ablatiestudie van encoder-decoder laagconfiguraties. Prestatievergelijking van verschillende encoder-decoder laagconfiguraties. De tabel geeft het aantal modelparameters (Parameters), floating-point bewerkingen (FLOPs), gemiddelde Intersection over Union (mIoU) en Dice Similarity Coefficient (DSC) weer op de ISIC 2017 en ISIC 2018 datasets.

Vergelijking van computationele kosten
De rekenkundige efficiëntie van het uiteindelijke MVM-UNet-model werd vergeleken met representatieve basismethoden, waaronder HResFormer, H-vmunet, MISSFormer, H2Former, MedScale-Former en MCAFT, onder dezelfde hardwareomgeving en invoerresolutie (Tabel 9). De geëvalueerde metrics omvatten trainingstijd per epoch, inferentietijd per beeld, piek GPU-geheugengebruik tijdens training, aantal trainbare parameters (Params) en FLOPs. De trainingstijd werd gemeten als de tijd die nodig was om één trainingsperiode te voltooien, inferentietijd werd gemeten als de gemiddelde verwerkingstijd per testbeeld, en FLOP's werden berekend voor een enkele voorwaartse doorgang.

Methode	Scheidsrechter.	Trainingstijd (s/epoch)	Inferentietijd (ms/image)	Piek GPU-geheugen (GB)	Parameters (M)	FLOPs (G)
HResVoormalig	34	520	213.08	19.2	117.00	131.70
H-vmunet	28	88	27.00	5.0	10.74	8.97
MISSFormer	30	355	92.86	12.6	42.33	109.45
H2Former	12	130	29.02	8.8	33.71	33.56
MedScale-Former	35	80	23.50	5.9	4.96	3.79
MCAFT	36	145	34.00	8.7	30.00	12.00
MVM-UNet (Onze)	—	104	26.80	7.9	28.36	4.39

Tabel 9: Vergelijking van computationele kosten van MVM-UNet en representatieve baselinemethoden. Vergelijking van rekenefficiëntie onder dezelfde hardwareomgeving en inputresolutie. Gerapporteerde metrics omvatten trainingstijd per epoch, inferentietijd per afbeelding, piek geheugengebruik van grafische verwerkingseenheid (GPU) tijdens training, aantal modelparameters (parameters) en floating-point operaties (FLOPs). Methoden met beschikbare implementaties werden waar mogelijk geëvalueerd in dezelfde experimentele omgeving.

Zoals samengevat in Tabel 9, vereiste MVM-UNet 104 s per trainingsepooch, 26,8 ms per afbeelding voor inferentie, 7,9 GB piekgeheugen voor GPU, 28,36 miljoen trainbare parameters en 4,39 GFLOPs. In vergelijking met HResFormer, MISSFormer, H2Former en MCAFT vereiste MVM-UNet een lagere trainingstijd, kortere inferentietijd, lager piekgeheugengebruik van GPU's en minder FLOPs. In vergelijking met de lichte H-vmunet- en MedScale-Former-modellen vereiste MVM-UNet meer trainingstijd en geheugengebruik, maar behield het een vergelijkbare inferentiesnelheid terwijl de relatief lage rekencomplexiteit behouden bleef.

Beschikbaarheid van data en code
De ISIC 2017- en ISIC 2018-datasets zijn openbaar beschikbaar via het International Skin Imaging Collaboration (ISIC) archief, en de Synapse-dataset is openbaar beschikbaar via de Synapse-repository. Details over datasetverwerving worden vermeld in de ethische verklaring. Kort gezegd werd de ISIC 2017-dataset verkregen uit de officiële ISIC 2017 Challenge datarepository (https://challenge.isic-archive.com/data/#2017), de ISIC 2018-dataset uit de officiële ISIC 2018 Challenge Task 1 datarepository (https://challenge.isic-archive.com/data/#2018), en de Synapse-dataset werd verkregen uit de Synapse-repository onder accessied-identificatie syn3193805 (https://www.synapse.org/Synapse:syn3193805). De bijbehorende downloaddata worden vermeld in de ethische verklaring. Een eerste publieke versie van de MVM-UNet-broncode is beschikbaar op https://github.com/LIXUEGUANG002/MVM-UNet. De repository bevat de modelimplementatie, belangrijke netwerkmodules, configuratiebestanden, instructies voor de organisatie van datasets, trainingsscripts en evaluatiescripts. Het complete reproduceerbaarheidspakket, inclusief definitieve configuratiebestanden, volledige experimentele scripts, aanvullende documentatie en getrainde modelcontrolepunten, wordt bij publicatie openbaar beschikbaar gesteld.

Aanvullende Tabel 1. Laag-voor-laag architectuur van de Multi-view Vision Mamba UNet (MVM-UNet). De tabel vat de sequentiële netwerkarchitectuur van MVM-UNet samen, inclusief de invoerlaag, patch-embedding, encoder-stadia, Multi-View Vision (MVV) blokken, patch-merging operaties, Multi-stage Fusion Mamba (MFusion Mamba), decoder-fasen, final upsampling en segmentatiekop. Voor elke fase worden de bijbehorende bewerking, hoofdparameters en de grootte van de uitvoerfunctie vermeld. E1–E4 duiden de encoder-fase featuremaps aan die worden gebruikt voor multistage feature-fusie. B, H en W geven respectievelijk de batchgrootte, beeldhoogte en beeldbreedte aan, en K duidt het aantal uitvoerklassen aan (K = 1 voor binaire huidlaesiesegmentatie en K = 9 voor Synapse multiclass-segmentatie, bestaande uit één achtergrondklasse en acht voorgrondorgaanklassen). MFusion Mamba genereert gefuseerde multitraps encoderfuncties die tijdens de reconstructie van de decoder worden geïntegreerd met de bijbehorende decoderfuncties. Klik hier om dit bestand te downloaden.

Aanvullend dossier 1. Pseudocode van de Multi-View Four-Directional (MV4D) module en Multi-stage Fusion Mamba (MFusion Mamba). Het aanvullende bestand presenteert de algoritmische workflow van de twee hoofdmodules die in MVM-UNet worden gebruikt. Algoritme 1 beschrijft de volledige verwerkingspijplijn van de Multi-View Four-Directional (MV4D) module, inclusief feature flattening, constructie van vier scan-paar sequenties (zigzag, hiërarchisch, spiraal en radiaal), selectieve toestandsruimte (S6) verwerking, Scan-view Fusion Mamba (SFusion Mamba) en reconstructie van de output feature map. Algoritme 2 beschrijft de Multi-stage Fusion Mamba (MFusion Mamba) module, inclusief multi-traps encoder feature alignment, grove fusie, fine fusion, decoderintegratie en het genereren van de fused decoder inputfunctie. Variabelen en tensordimensies worden binnen de algoritmen gedefinieerd. Klik hier om dit bestand te downloaden.

Aanvullende codering Bestand 1. Broncodepakket voor MVM-UNet (MVM-UNet-master). Het aanvullende ZIP-archief bevat de volledige broncode-implementatie van MVM-UNet die in deze studie is gebruikt. Het pakket bevat de netwerkarchitectuur, Multi-View Four-Directional (MV4D) en Multi-stage Fusion Mamba (MFusion Mamba) modules, configuratiebestanden, trainings- en evaluatiescripts voor de ISIC 2017, ISIC 2018 en Synapse-datasets, hulpfuncties en projectdocumentatie die nodig zijn om de in dit protocol beschreven experimenten te reproduceren. Het pakket bevat ook het README-bestand met installatie-instructies, softwareafhankelijkheden, datasetorganisatie en trainings- en inferentieworkflows. Klik hier om dit bestand te downloaden.

Discussie

Dit protocol beschrijft MVM-UNet, een op Mamba gebaseerd medisch beeldsegmentatieframework. De methode is ontworpen om twee beperkingen van bestaande segmentatiemodellen aan te pakken. Ten eerste hebben conventionele CNN-gebaseerde methoden beperkte mogelijkheden om langeafstandsafhankelijkheden en hiërarchische contextuele informatie te modelleren in complexe medische beelden⁴³. Ten tweede kunnen op transformers gebaseerde methoden globale context modelleren, maar vereisen meestal een hogere rekenkosten: ^23,25. MVM-UNet gebruikt de Mamba-architectuur 13,14,15,16,17,18,19,20 om efficiënte langeafstandmodellering te bereiken en introduceert multiview scanning en multistage feature fusion om de segmentatienauwkeurigheid te verbeteren. Vanuit het perspectief van protocoluitvoering en reproduceerbaarheid zijn verschillende stappen cruciaal om resultaten te verkrijgen die vergelijkbaar zijn met die in deze studie. Ten eerste moeten de datasetsplitsing, beeldgrootte, maskerinterpolatie, normalisatiestrategie en kanaalconversie consistent blijven met het protocol omdat verschillen in preprocessing direct de invoerverdeling en maskergrenzen kunnen veranderen. In het bijzonder moeten segmentatiemaskers worden aangepast van grootte met behulp van naaste-buur-interpolatie om te voorkomen dat niet-gehele labelwaarden⁴⁴ worden ingevoerd. Ten tweede moet de trainingsconfiguratie, inclusief de inputresolutie, batchgrootte, optimalisatie-instellingen, leersnelheidsschema, random seed, verlieswegingscoëfficiënten, checkpointselectieregel en inferentiedrempel of argmax-operatie, worden gecontroleerd voordat de resultaten worden vergeleken. Als de gereproduceerde resultaten duidelijk lager zijn dan de gerapporteerde waarden, moeten gebruikers eerst het datasetpad, het annotatieformaat, de conventie van voorgrond-achtergrondlabels, checkpoint-laden, validatie- of testsplitsing en de metriekberekeningsprocedure verifiëren. Grenslekken, gefragmenteerde maskers of ontbrekende kleine structuren wijzen meestal op mogelijke inconsistenties in preprocessing, maskerinterpolatie, checkpointselectie of inferentie-postprocessing.

De belangrijkste bijdrage van MVM-UNet is de MV4D-module. In tegenstelling tot eenvoudige tweedimensionale scanstrategieën die werden toegepast in eerdere toestandsruimte-model-gebaseerde architecturen 14,15,16,17,18,19,20, gebruikt MV4D zigzag-, hiërarchische, spiraal- en radiale scanparen om complementaire visuele informatie vast te leggen. Zigzag-scanparen helpen lokale en globale ruimtelijke informatie in balans te brengen, hiërarchische scanparen verbeteren multischaal-feature-extractie, spiraalscanparen versterken de globale contourrepresentatie, en radiale scanparen verbeteren de extractie van lokale randen en grenskenmerken. SFusion Mamba integreert vervolgens deze complementaire scanmodaliteiten. De representatieve resultaten en ablatie-experimenten (Tabellen 4 en 5; Figuur 9) Toon aan dat zowel de diversiteit van scanpatronen als het fusiemechanisme bijdragen aan verbeterde segmentatieprestaties. Een ander belangrijk onderdeel is MFusion Mamba, dat dient als een feature fusion-module tussen de encoder en decoder. Conventionele U-vormige architecturen, waaronder U-Net ^8,21, V-Net⁴⁴ en veel latere varianten ^9,23,25, dragen voornamelijk informatie over via stapgewijze skipverbindingen. Deze strategie maakt mogelijk niet volledig gebruik van complementaire meertraps encoderrepresentaties. MFusion Mamba pakt deze beperking aan door encoderfuncties te combineren via Coarse Fusion en Fine Fusion vóór decodering. De representatieve resultaten (Tabel 6; Figuur 10) laten zien dat MFusion Mamba de segmentatieprestaties consequent verbetert, wat aangeeft dat expliciete multistage feature-fusie gunstig is voor medische beeldsegmentatie.

De methodologische bijdrage van MVM-UNet moet worden begrepen als een herontwerp op architectuurniveau, in plaats van het uitvinden van elke individuele operatie vanaf nul. U-vormige encoder-decoder architecturen, residuele verbindingen, projectielagen en Mamba/toestandsruimtemodel (SSM) blokken zijn uitgebreid onderzocht in eerdere studies 8,13,14,15,16,17,18,19,20,21,23,24,25 ^,29,44. Het direct combineren van deze componenten pakt echter niet noodzakelijkerwijs de specifieke uitdagingen van medische beeldsegmentatie aan. De nieuwigheid van MVM-UNet ligt in het gecoördineerde ontwerp van drie aspecten. Ten eerste vervangt de MV4D-module een enkel of beperkt scanpatroon door vier complementaire scanpaar-takken, waardoor het model ruimtelijke continuïteit, multiscale-structuur, globale contourinformatie en lokale randdetails kan vastleggen. Ten tweede fuseren SFusion Mamba en de MVV Block scan-specifieke functies voordat ze naar de volgende netwerkfase worden doorgegeven. Ten derde aggregeert MFusion Mamba expliciet multistage encoderkenmerken vóór decodering, ter aanvulling op conventionele skipverbindingen ^8,21,44 en verbetert het gebruik van hiërarchische informatie. De ablatieresultaten (Tabellen 4–6; Figuren 9 en 10) Ondersteunen deze ontwerpredenering verder en laten zien dat multiview-scanning, scan-specifieke fusie, de Up-Down Projection-tak en multistage feature fusion elk bijdragen aan verbeterde segmentatieprestaties. Daarom ligt de bijdrage van MVM-UNet in een taakspecifieke en experimenteel gevalideerde integratie van Mamba-gebaseerde ruimtelijke modellering en encoder-decoder feature-fusie voor medische beeldsegmentatie.

Ondanks de sterke prestaties heeft MVM-UNet verschillende beperkingen. Ten eerste verbeterde de segmentatieprestaties niet consequent bij grotere invoerafbeeldingen, wat suggereert dat de huidige architectuur mogelijk niet volledig gebruik maakt van beeldinformatie met hoge resolutie. Ten tweede werd het model niet uitgebreid geëvalueerd onder beeldvormingsomstandigheden met hoge ruis of laag contrast, die vaak voorkomen in de klinische praktijk en de segmentatierobuustheid kunnen beïnvloeden. Ten derde, hoewel het model sterke prestaties behaalde op drie publiek beschikbare datasets, is verdere validatie op grotere en meer diverse medische beeldvormingsdatasets gerechtvaardigd. Het protocol kan worden aangepast aan andere medische beeldsegmentatietaken, maar verschillende aanpassingen moeten zorgvuldig worden doorgevoerd. Voor een nieuwe binaire segmentatietaak moeten gebruikers de datasetloader, normalisatieparameters, inputresolutie en voorgronddrempel aanpassen, terwijl de binaire BCE-Dice verlies- en evaluatieprocedure behouden blijft. Voor een nieuwe multiclass-segmentatietaak moeten gebruikers het aantal outputklassen, class-index mapping, one-hot label-conversie, CE-Dice verliesconfiguratie en klassegewijze evaluatiemetrics⁴⁴ bijwerken. Voor grijswaardendatasets moet de input-kanaalconfiguratie worden afgestemd op de modelarchitectuur door een single-channel inputprojectie te gebruiken of het grijswaardenbeeld te herhalen om een driekanaals input te creëren, afhankelijk van de implementatie. De methode kan suboptimaal presteren wanneer doelstructuren extreem klein zijn, grenzen zwak of ambigu zijn, het beeldcontrast aanzienlijk verschilt van de trainingsgegevens, of de doeldataset een aanzienlijke domeinverschuiving vertoont. Onder deze omstandigheden moeten gebruikers mogelijk de inputresolutie, augmentatiestrategie, klassenbalancering, verliesweging of fine-tuningschema aanpassen, terwijl hetzelfde evaluatieprotocol behouden blijft om eerlijke vergelijkingen te garanderen.

Op de Synapse-dataset behaalde MVM-UNet sterke multiorgansegmentatieprestaties onder de veelgebruikte 18-case training en 12-case testverdeling. Hoewel de voorgestelde methode het hoogste gemiddelde DSC behaalde onder de representatieve basismethoden die in deze studie zijn geëvalueerd (Tabel 3), hebben sommige recentere methoden een hogere Synapse-prestatie gerapporteerd onder verschillende trainingsinstellingen en evaluatieprotocollen²⁹. Daarom vermijden we het beschrijven van MVM-UNet als het bereiken van de algehele state of the-art prestaties op Synapse, en beschrijven het in plaats daarvan als het behalen van sterke prestaties onder de geëvalueerde experimentele setting. Deze bevindingen suggereren dat de prestaties van MVM-UNet voortkomen uit de taakspecifieke aanpassing van Mamba-gebaseerde modellering voor medische beeldsegmentatie 13,14,15,16,17,18,19,20. In plaats van te vertrouwen op één scanstrategie, splitst MVM-UNet visuele featuremodellering op in meerdere complementaire scanweergaven en integreert deze via SFusion Mamba. Daarnaast verbetert MFusion Mamba de informatiestroom tussen de encoder en decoder door expliciet meertraps-encoderkenmerken te aggregeren buiten conventionele skipverbindingen ^8,21,44. Dit ontwerp stelt het voorgestelde model in staat sterke prestaties te leveren op zowel binaire huidlaesiesegmentatie als multiorgansegmentatietaken.

Toekomstig werk moet zich richten op het verbeteren van MVM-UNet voor segmentatie van medische beelden met hoge resolutie. Diepere of adaptieve multiscale architecturen kunnen het model in staat stellen beeldinformatie met hoge resolutie effectiever te benutten. Toekomstige studies moeten ook de robuustheid van MVM-UNet evalueren onder ruisachtige, laagcontrast- en domeinverschoven beeldvormingsomstandigheden. Daarnaast kan de voorgestelde multiview-scanstrategie worden uitgebreid naar andere medische beeldanalysetaken, waaronder laesiedetectie⁴, orgaanlokalisatie, tumorclassificatie en driedimensionale segmentatie^10,11. Samenvattend biedt MVM-UNet een effectief en reproduceerbaar kader voor segmentatie van medische beelden. De integratie van de MV4D-module en MFusion Mamba stelt het model in staat complementaire ruimtelijke informatie, multiscale context, globale contourinformatie, lokale randdetails en meertraps semantische kenmerken vast te leggen. De representatieve resultaten verkregen op de ISIC 2017-, ISIC-, 2018- en Synapse-datasets tonen de effectiviteit van de voorgestelde architectuur aan. Dit protocol biedt een praktische referentie voor onderzoekers die efficiënte SSM/Mamba-gebaseerde architecturen ontwikkelen voor medische beeldsegmentatie 13,14,15,16,17,18,19,20.

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
Hardware - GPU workstation or GPU server	Institutional computing platform / local workstation	Custom-built local GPU workstation; Ubuntu 22.04.1 with Linux kernel 6.8.0; Intel Core i9-13900K CPU; NVIDIA A800 GPU; 128 GB RAM; 512 GB lokale opslag.	Computational platform for training, validation, testing, ablation, and inference-only experiments.
Hardware - Graphics processing unit (GPU)	NVIDIA Corporation	NVIDIA A800 GPU (80 GB geheugen).	GPU-accelerated model training and inference.
Hardware - Central processing unit (CPU)	Intel Corporation / AMD	13th Gen Intel Core i9-13900K CPU.	Host processor for data loading, preprocessing, and experiment execution.
Hardware - System memory (RAM)	Institutional computing platform / local workstation	128 GB systeemmageheugen	Geheugen voor het laden van datasets, preprocessing en training.
Hardware - Opslag	Institutional computing platform / local workstation	2 TB NVMe solid-state drive.	Opslag voor datasets, checkpoints, logs en gegenereerde voorspellingsfiguren.
Software environment - Operating system	Canonical Ltd.	Aanbevolen: Ubuntu 22.04.1 LTS	Besturingssysteem voor de computationele omgeving.
Software environment - Conda environment	Anaconda, Inc. / Miniconda	Omgevingsnaam: mvmunet	Python-omgeving gebruikt om afhankelijkheden te installeren en te isoleren.
Software environment - Python	Python Software Foundation	Python 3.8	Programmeertaal gebruikt voor implementatie en experimentuitvoering.
Software environment - CUDA toolkit	NVIDIA Corporation	CUDA Toolkit 11.8	GPU computing backend vereist door PyTorch en Mamba-gerelateerde packages.
Software environment - cuDNN	NVIDIA Corporation	cuDNN 8.7.0.	GPU-accelerated deep-learning primitieven gebruikt via PyTorch.
Python package - PyTorch	PyTorch	torch == 2.0.1	Deep-learning framework voor modeltraining, verliesberekening, optimalisatie en inferensie.
Python package - Torchvision	PyTorch	torchvision == 0.14.0	Afbeeldingstransformatiehulpmiddelen gebruikt bij preprocessing en augmentatie.
Python package - Torchaudio	PyTorch	torchaudio == 0.13.0	Geïnstalleerd met de aanbevolen PyTorch-omgeving.
Python package - timm	timm developers	timm == 0.4.12	Modelcomponent- of hulpprogramma-afhankelijkheid vermeld in de omgevingsinstructies van het repository.
Python package - triton	OpenAI / Triton developers	triton == 2.0.0	Afhankelijkheid gebruikt door GPU-geaccelereerde sequentiemodelleringscomponenten.
Python package - causal-conv1d	causal-conv1d developers	causal_conv1d == 1.0.0	Efficiënte causale convolutieafh. vereist door de Mamba-implementatie.
Python package - mamba-ssm	Mamba SSM developers	mamba_ssm == 1.0.1	Staat-ruimtesequentiemodelleringspakket gebruikt voor Mamba/S6-gerelateerde componenten.
Python package - NumPy	NumPy developers	NumPy-versie 1.24.3.	Numerieke berekening en arraybewerkingen.
Python package - SciPy	SciPy developers	SciPy-versie 1.10.1.	Wetenschappelijke berekening; scipy.ndimage.zoom wordt geïmporteerd in utils.py.
Python package - SimpleITK	Insight Software Consortium	SimpleITK-versie 2.2.1.	Medische beeldinvoer/uitvoer en preprocessinghulpprogramma geïmporteerd in utils.py.
Python package - MedPy	MedPy developers	MedPy-versie 0.4.0.	Pakket voor medische beeldmetriekberekening geïmporteerd in utils.py.
Python package - scikit-image	scikit-image developers	scikit-image-versie 0.21.0.	Afhankelijkheid voor beeldverwerking vermeld in README.
Python package - scikit-learn	scikit-learn developers	scikit-learn-versie 1.3.2.	Pakket voor machine-learninghulpprogramma vermeld in README.
Python package - matplotlib	Matplotlib developers	Matplotlib-versie 3.7.2.	Gebruikt voor het opslaan van kwalitatieve visualisatiefiguren.
Python package - h5py	h5py developers	h5py-versie 3.9.0.	HDF5-bestandsondersteuning voor Synapse-testvolumes.
Python package - thop	THOP developers	THOP-versie 0.1.1.post2209072238.	Gebruikt bij het berekenen van FLOPs en parametergerelateerde computationele kosten.
Python package - packaging	Python Packaging Authority	packaging-versie 23.1.	Afhankelijkheid vermeld in README.
Python package - pytest	pytest developers	pytest-versie 7.4.0.	Afhankelijkheid vermeld in README.
Python package - chardet	chardet developers	chardet-versie 5.2.0.	Afhankelijkheid vermeld in README.
Python package - yacs	YACS developers	yacs-versie 0.1.8.	Configuratiehulpprogramma-afhankelijkheid vermeld in README.
Python package - termcolor	termcolor developers	termcolor-versie 2.3.0.	Logging/terminalhulpprogramma-afhankelijkheid vermeld in README.
Python package - submitit	submitit developers	submitit-versie 1.4.5.	Experiment/jobhulpprogramma-afhankelijkheid vermeld in README.
Python package - tensorboardX	tensorboardX developers	tensorboardX-versie 2.6.2.2.	Traininglogvisualisatiehulpprogramma vermeld in README.
Python package - ml-collections	ml_collections developers	ml-collections-versie 0.1.1.	Geïmporteerd door configs/config_setting_synapse.py.
Dataset - ISIC 2017 Challenge dataset	International Skin Imaging Collaboration	ISIC 2017 skin lesion segmentation dataset	Publieke, geanonimiseerde dermoscopische huidlesiebeeldbeelden en maskers gebruikt voor binaire segmentatie.
Dataset - ISIC 2018 Challenge Task 1 dataset	International Skin Imaging Collaboration	ISIC 2018 Task 1: Lesion Boundary Segmentation	Publieke, geanonimiseerde dermoscopische huidlesiebeeldbeelden en maskers gebruikt voor binaire segmentatie.
Dataset - Synapse Multi-Atlas Labeling Beyond the Cranial Vault dataset	Synapse / Sage Bionetworks	Toegangsidentificator: syn3193805	Publiek abdominaal CT multi-orgaansegmentatiedataset.
Data organization - ISIC 2017 data folder	Authors / repository layout	data/isic2017