Artigo de método

Estrutura de Rede em U em Múltiplas Visualizações Mamba para Segmentação de Imagens Médicas

DOI:

10.3791/72616

⸱

7 de agosto de 2026

 , 
1School of Fine Arts, Xinxiang University, 2School of Software, Dalian University of Technology

Neste artigo

Resumo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este protocolo descreve como construir, treinar e avaliar uma estrutura multiview Vision Mamba U-Shaped Network para segmentação de imagens médicas, possibilitando segmentação reprodutível de lesões de pele e órgãos abdominais por meio da preparação padronizada de conjuntos de dados, implementação de modelos e avaliação de desempenho.

Resumo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Segmentação de imagens médicas requer métodos computacionais que capturem com precisão o contexto global, os limites locais e as estruturas anatômicas em múltiplas escalas, permanecendo reprodutíveis em diferentes aplicações. Este artigo apresenta um protocolo para construir, treinar e avaliar uma estrutura Multi-view Vision Mamba U-Shaped Network para segmentação bidimensional de imagens médicas. O protocolo oferece um fluxo de trabalho reproduzível que inclui aquisição de conjuntos públicos de dados, pré-processamento de imagens e máscaras, construção de rede, treinamento de modelos, seleção de checkpoints e avaliação quantitativa e qualitativa de desempenho. A estrutura incorpora varredura de características multiview para capturar informações espaciais, de contorno, escala e limites complementares, e aplica fusão de características em múltiplos estágios dentro de uma arquitetura codificador-decodificador em formato de U para melhorar a integração de características durante a segmentação. O protocolo é demonstrado usando conjuntos de dados de segmentação de lesões cutâneas e órgãos abdominais disponíveis publicamente. Sob o fluxo de trabalho de implementação descrito, a estrutura alcança desempenho competitivo em segmentação usando métricas padrão de avaliação. Ao seguir os procedimentos apresentados neste protocolo, os pesquisadores podem reproduzir a implementação do modelo, treinar a rede usando configurações experimentais definidas, avaliar o desempenho da segmentação e adaptar o fluxo de trabalho para tarefas relacionadas à segmentação de imagens médicas que exigem análise baseada em aprendizado profundo reprodutível.

Introdução

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

A segmentação de imagens médicas é uma tarefa fundamental nos campos de visão computacional e análise de imagensmédicas 1,2,3. Envolve a partição de uma imagem em múltiplas regiões ou objetos para análise e processamento posteriores. Essa tecnologia é particularmente importante em imagem médica porque auxilia os profissionais a identificar e localizar regiões patológicas, melhorando assim a precisão diagnóstica e o planejamento do tratamento. Com o avanço das tecnologias de imagem médica, como ressonância magnética (MRI), tomografia computorizada (TC) e tomografia por emissão de pósitrons (PET), a demanda por técnicas precisas de segmentação de imagens médicas continuou a aumentar. Os métodos atuais para segmentação de imagens médicas podem ser amplamente categorizados em três abordagens principais: métodos baseados em redes neurais convolucionais (CNN) 4, métodos baseados emTransformer 5 e métodos baseados em modelos de espaço de estados (SSM) 6,7. Métodos baseados em CNN normalmente empregam arquiteturas de rede em formato de U para segmentação de imagens médicas. A arquitetura mais amplamente utilizada nessa categoria é aU-Net 8, que demonstrou a eficácia de uma arquitetura codificador-decodificador em formato de U para segmentação de imagens biomédicas. O U-Net3+ combina conexões de salto denso do UNet++9 com conexões de salto em escala real para aprimorar a agregação de características multiescala. No entanto, métodos baseados em CNN têm capacidade limitada de capturar dependências de longo alcance e, portanto, podem não modelar efetivamente informações contextuais de longo alcance.

Métodos baseados em transformadores capturam efetivamente dependências de longo alcance por meio do mecanismo de autoatenção, que permite computação paralela e atribui diferentes pesos de atenção a diferentes regiões de interesse. O UNETR++10 introduz o módulo de Atenção Eficiente em Pares (EPA) para reduzir o número de parâmetros e o custo computacional. nnFormer11 combina operações convolucionais intercaladas e de autoatenção, e introduz um mecanismo de autoatenção local–global baseado em volume para aprender representações volumétricas em segmentação de imagens médicas tridimensionais (3D). O H2Former12 propõe um transformador de visão híbrido hierárquico eficiente que combina mecanismos de atenção com extração de características baseada em CNN no codificador. No entanto, métodos baseados em transformadores exibem complexidade computacional quadrática com o aumento do comprimento da sequência, resultando em custos computacionais substancialmente maiores. A Figura 1 ilustra a motivação para o MVM-UNet e compara a estratégia proposta de varredura multiview com os frameworks de segmentação baseados em SSM já existentes.

figure-introduction-1
Figura 1. Comparação do MVM-UNet com arquiteturas de segmentação baseadas em modelos puros de espaço de estados (SSM) existentes. Comparação entre um modelo convencional de segmentação baseado em modelo puro de espaço de estados (SSM) e a arquitetura proposta Multi-View Mamba U-Net (MVM-UNet). O painel superior ilustra o MVM-UNet, no qual o módulo Multi-View 4-Directional (MV4D) extrai características complementares usando pares de varredura em ziguezague, hierárquica, espiral e radial que são integrados pelo Spatial Fusion Mamba (SFusion Mamba), enquanto o Multistage Fusion Mamba (MFusion Mamba) agrega características do codificador multiescala antes da decodificação. O painel inferior mostra uma arquitetura representativa baseada em SSM puro usando módulos de Varredura Seletiva 2-Dimensional (SS2D) com varredura cruzada. A figura destaca as diferenças arquitetônicas entre redes convencionais de segmentação baseadas em SSM e o proposto MVM-UNet. Por favor, clique aqui para ver uma versão ampliada desta figura.

Métodos baseados em SSM combinam a capacidade global de modelagem dos Transformers com complexidade computacional linear. A arquitetura Mamba processa seletivamente as informações de entrada usando um modelo seletivo de espaço de estados (Selective-SSM), permitindo que o modelo ajuste dinamicamente seus parâmetros de acordo com a entrada, filtrando informações irrelevantes e enfatizando características informativas. O Vim13 e oVMamba 14 adaptam a arquitetura Mamba para tarefas de visão computacional. O U-Mamba15 emprega uma arquitetura híbrida CNN–SSM para explorar a aplicação dos SSMs na segmentação de imagens médicas, enquanto o Mamba-UNet16 adota uma arquitetura codificador-decodificador totalmente baseada em SSM para segmentação de imagens médicas. Esses métodos alcançam desempenho competitivo utilizando substancialmente menos parâmetros. No entanto, os métodos atuais baseados em SSM/Mamba extraem principalmente características de imagem usando patches simples e estratégias de varredura SS2D, que apresentam várias limitações para a segmentação de imagens médicas. Primeiro, as técnicas SS2D e baseadas em patches são projetadas principalmente para tarefas gerais de visão computacional. O Mamba17 Local e o Mamba 18 do Movimento sugeriram que a estratégia de varredura SS2D é insuficiente para todas as tarefas visuais porque diferentes estratégias capturam diferentes tipos de informações visuais. Segundo, a estratégia de varredura SS2D é relativamente simples, baseando-se apenas em direções horizontais e verticais de varredura. Consequentemente, pode não capturar adequadamente relações espaciais complexas e detalhes estruturais finos. A segmentação de imagens médicas requer modelagem simultânea tanto do contexto espacial global quanto das características anatômicas locais precisas. Além disso, os métodos atuais baseados em SSM/Mamba proporcionam uma fusão limitada de características entre o codificador e o decodificador. Arquiteturas como UNet++ e FATNet melhoram a precisão da segmentação por meio da fusão de características, destacando a importância de uma integração eficaz de características para segmentação de imagens médicas.

Para abordar essas limitações, este artigo propõe uma nova estrutura de segmentação de imagens médicas baseada em Mamba, denominada MVM-UNet. Como mostrado na Figura 1, o módulo Multi-View Four-Directional (MV4D) proposto serve como o componente central de extração de características do MVM-UNet e é projetado especificamente para segmentação de imagens médicas, integrando informações de quatro estratégias de varredura distintas. Cada estratégia de varredura extrai recursos complementares da imagem e representa uma visão diferente da imagem de entrada. A varredura emziguezague 19 alterna a direção de percurso no final de cada linha ou coluna, equilibrando assim informações espaciais locais e globais. Em contraste, os esquemas de varredura espiral e radial20 proporcionam cobertura abrangente ao se estender para fora a partir do centro ou para dentro a partir da periferia. A varredura hierárquica18 captura características locais e globais em múltiplas escalas. Para melhorar a robustez de cada estratégia de varredura, pares de varredura são fundidos antes de serem inseridos no Bloco S6. O módulo Scan-view Fusion Mamba (SFusion Mamba) integra posteriormente as características extraídas das quatro modalidades de varredura. Para utilizar eficazmente recursos de codificadores multiescala, este artigo propõe ainda um módulo de fusão Mamba multiescala (MFusion Mamba), que acumula e funde as saídas de cada estágio do codificador antes de passar as características fundidas para o decodificador. MVM-UNet foi avaliado nos conjuntos de dados ISIC 2017, ISIC 2018 e Synapse. Resultados experimentais demonstram que o MVM-UNet alcança desempenho competitivo em segmentação nos conjuntos de dados ISIC 2017, ISIC 2018 e Synapse.

Arquiteturas de segmentação representativa avançaram ainda mais a segmentação de imagens médicas. O U-Net também foi aplicado com sucesso em tarefas de análise de imagens biomédicas, como contagem celular, detecção emorfometria 21. Arquiteturas CNN aprimoradas pela atenção, como oCA-Net 22, melhoram a representação de características por meio de mecanismos abrangentes de atenção. Frameworks representativos de segmentação baseados em Transformers, incluindo TransUNet23, Pyramid MedicalTransformer 24, Swin U-Net25, TransAttUNet26 e TransCUNet27, demonstram ainda mais a eficácia da modelagem global de características baseada em atenção para segmentação de imagens médicas.

O design do MVM-UNet é motivado por duas limitações dos métodos de segmentação baseados em SSM/Mamba. Primeiro, muitos modelos atuais do Vision Mamba dependem de estratégias simples de varredura bidimensional, que podem ser insuficientes para imagens médicas contendo limites irregulares de lesões, pequenas regiões alvo e estruturas anatômicas multiescala. Segundo, arquiteturas convencionais codificador–decodificador em formato de U transferem principalmente características por meio de conexões de salto correspondentes, limitando o uso direto de informações do codificador multiestágio durante a decodificação. Portanto, o MVM-UNet introduz o MV4D para aprimorar a modelagem espacial multiview e o MFusion Mamba para agregar explicitamente as características do codificador multiestágio. Esse design tem como objetivo adaptar a modelagem de longo alcance baseada em Mamba aos requisitos específicos da segmentação de imagem médica.

Embora o MVM-UNet seja construído sobre o paradigma geral codificador–decodificador e a modelagem de sequências baseada em Mamba, sua novidade está em como esses componentes são adaptados e integrados para segmentação de imagens médicas. Em vez de simplesmente incorporar um bloco Mamba padrão em uma espinha dorsal de rede em formato de U, a estrutura proposta redesenha o processo de modelagem espacial por meio de múltiplos ramificações de pares de varredura orientados a tarefas, introduz o SFusion Mamba para integrar representações específicas de varredura, aprimora o MVV Block com caminhos residuais e de projeção, e insere MFusion Mamba entre o codificador e o decodificador para agregar características do codificador multiestágio antes da decodificação. Este design em nível arquitetônico visa abordar os limites irregulares, pequenas regiões-alvo e estruturas anatômicas multiescala comumente observadas em imagens médicas.

Este protocolo é mais adequado para tarefas de segmentação que exigem modelagem simultânea de informações contextuais de longo alcance, limites irregulares de objetos e estruturas anatômicas multiescala em imagens médicas bidimensionais. Comparado aos métodos de segmentação baseados em CNN, o design codificador–decodificador baseado em Mamba oferece um mecanismo eficaz de modelagem de contexto, mantendo um fluxo de trabalho em formato de U familiar para pesquisadores de segmentação de imagens médicas. Comparado aos métodos baseados em Transformer, o framework proposto evita o uso direto da autoatenção quadrática e é destinado a pesquisadores que buscam modelagem contextual global usando um mecanismo relativamente eficiente de modelagem de sequências. Assim, esse protocolo é adequado para segmentação de lesões de pele, segmentação de órgãos abdominais e tarefas médicas bidimensionais semelhantes de segmentação de imagens médicas, nas quais tanto a informação estrutural global quanto os detalhes locais dos limites são importantes.

Esse protocolo também possui limitações que devem ser consideradas antes do uso. Pode não ser necessário para tarefas de segmentação relativamente simples, nas quais uma CNN leve já oferece desempenho suficiente. Além disso, não é projetado diretamente para segmentação volumétrica tridimensional completa sem adaptação arquitetônica. Pesquisadores com dados anotados muito limitados, recursos limitados de unidades de processamento gráfico (GPU) ou necessidade de modelos clássicos altamente interpretáveis também devem considerar essas restrições antes de aplicar o protocolo. No geral, este método é destinado a pesquisadores que buscam reproduzir e avaliar uma estrutura de segmentação em forma de U baseada em Mamba, que equilibra modelagem de contexto de longo alcance, representação local de fronteira e fusão de características em múltiplos estágios.

As contribuições principais são as seguintes:

1. Este artigo apresenta uma nova estrutura de segmentação de imagens médicas baseada em Mamba, denominada MVM-UNet. Diferentemente de abordagens que incorporam diretamente blocos Mamba baseados em SS2D ou padrão, o MVM-UNet introduz o MV4D para modelar características de imagem médica a partir de quatro visões complementares de pares de varredura, incluindo varredura em ziguezague, hierárquica, espiral e radial.

2. Este artigo projeta o SFusion Mamba e o MVV Block para integrar representações específicas de varredura e aprimorar a transformação de características. O SFusion Mamba funde as características extraídas de diferentes ramificações de par de varredura, enquanto os ramos residual e de Projeção Up-Down dentro do Bloco MVV fornecem caminhos complementares de características que estabilizam e enriquecem representações de características.

3. Este artigo apresenta o MFusion Mamba como um módulo intermediário de fusão multiestágio entre o codificador e o decodificador. Diferentemente das conexões de salto convencionais, que transferem principalmente características correspondentes do estágio, o MFusion Mamba agrega explicitamente características do codificador multiestágio por meio da fusão grosseira a fina e fornece informações enriquecidas para decodificação.

4. Resultados experimentais extensos demonstram que o MVM-UNet proposto alcança desempenho de segmentação competitiva nos conjuntos de dados ISIC 2017 e ISIC 2018 e forte desempenho no conjunto de dados de segmentação multiorgânânico Synapse. Além disso, estudos ablativos de ablação validam a contribuição de cada componente dentro do MVM-UNet.

Protocolo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este estudo utilizou apenas conjuntos de dados de imagens médicas publicamente disponíveis e desidentificados, incluindo ISIC 2017, ISIC 2018 e Synapse. Nenhum novo participante humano, sujeito animal ou prontuário médico privado identificável foi coletado neste estudo. O conjunto de dados ISIC 2017 utilizado neste estudo foi o conjunto de dados de segmentação de lesões cutâneas ISIC 2017 Challenge, obtido do repositório oficial de dados da International Skin Imaging Collaboration (https://challenge.isic-archive.com/data/#2017). A versão do conjunto de dados utilizada neste estudo corresponde à tarefa de segmentação de lesões ISIC 2017, incluindo as partições oficiais de treinamento, validação e teste. O conjunto de dados foi baixado em 15 de março de 2024. O conjunto de dados ISIC 2018 utilizado neste estudo foi o conjunto de dados de segmentação de limites de lesões da ISIC Challenge Task 1, obtido do repositório oficial de dados de desafios da International Imaging Imaging Collaboration (https://challenge.isic-archive.com/data/#2018). A versão do conjunto de dados utilizada neste estudo corresponde à Tarefa 1 ISIC 2018: Segmentação da Fronteira da Lesão. O conjunto de dados foi baixado em 8 de julho de 2024.

O conjunto de dados Synapse utilizado neste estudo foi o conjunto de dados de CT abdominal Multi-Atlas Labeling Beyond the Cranial Vault, obtido do repositório Synapse sob o identificador de acesso syn3193805 (https://www.synapse.org/Synapse:syn3193805). O conjunto de dados utilizado neste estudo corresponde ao conjunto de segmentação multiorgântica de 30 casos de tomografia computorizada abdominal comumente utilizado. O arquivo baixado foi Abdomen/RawData.zip, disponível sob a assinatura de acessão 3193805. Nenhum número de versão, rótulo de lançamento ou tag de lançamento datado separado foi fornecido pelo repositório no momento do download. Seguindo a divisão padrão adotada em estudos anteriores, 18 casos foram usados para treinamento e 12 casos para testes. A divisão dos dados seguiu a lista de casos usada pela TransUNet23. Especificamente, os casos de treinamento eram case0031, case0007, case0009, case0005, case0026, case0039, case0024, case0034, case0033, case0030, case0023, case0040, case0010, case0021, case0006, case0027, case0028 e case0037, enquanto os casos de teste eram case0008, case0022, case0038, case0036, case0032, case0002, case0029, case0003, case0003, case0001, case0004, case0025 e case0035. O conjunto de dados foi baixado em 9 de julho de 2024. Como este estudo utilizou apenas conjuntos de dados públicos e desidentificados e não envolveu a coleta de novos dados de sujeitos humanos ou informações privadas identificáveis, não foi necessária aprovação do conselho de revisão institucional para os experimentos computacionais descritos neste protocolo. Não foi obtida nenhuma determinação formal por escrito sobre isenção institucional. Se exigido pela política institucional local, os pesquisadores devem obter uma determinação de isenção institucional antes de realizar análises secundárias de conjuntos de dados públicos disponíveis. Não havia número de referência para isenção ética institucional ou documentação formal de isenção disponível para este estudo.

1. Preparação de conjuntos de dados

  1. Baixe o conjunto de dados de segmentação de lesões cutâneas ISIC 2017 do repositório oficial da International Skin Imaging Collaboration. Use as partições oficiais de treinamento, validação e teste. Verifique se o conjunto de dados contém 2.000 imagens de treinamento, 150 imagens de validação e 600 imagens de teste.
  2. Baixe o conjunto de dados de segmentação de lesões cutâneas ISIC 2018 do repositório oficial da International Skin Imaging Collaboration. Use as partições oficiais de treinamento, validação e teste. Verifique se o conjunto de dados de segmentação contém 2.594 imagens de treinamento, 100 imagens de validação e 1.000 imagens de teste.
  3. Baixe o conjunto de dados de segmentação multiórgão Synapse. Use a divisão padrão composta por 18 caixas (2.212 fatias axiais) para treinamento e 12 caixas (1.567 fatias axiais) para testes. Não introduza um conjunto de validação separado.
    1. Reserve os 12 casos de teste exclusivamente para avaliação final. Não use os casos de teste para treinamento de modelos, ajuste de hiperparâmetros ou seleção de modelos. A tarefa de segmentação inclui oito órgãos abdominais: aorta, vesícula biliar, baço, rim esquerdo, rim direito, fígado, pâncreas e estômago.
    2. Use a seguinte divisão do conjunto de dados Synapse. Os 18 casos de treinamento foram case0031, case0007, case0009, case0005, case0026, case0039, case0024, case0034, case0033, case0030, case0023, case0040, case0010, case0021, case0006, case0027, case0028 e case0037. Os 12 casos testados foram o caso 0008, caso 0022, caso 0038, caso 0036, caso 0032, caso 0002, caso 0029, caso 0003, caso 0001, caso 0004, caso 0025 e caso 0035.
  4. Organize cada conjunto de dados em pastas separadas de imagem e máscara. Certifique-se de que cada imagem tenha uma máscara de segmentação correspondente com o mesmo identificador de caso.
    1. Converta cada máscara de lesão cutânea em um mapa binário de segmentação de primeiro plano e fundo. Mantenha os rótulos originais de órgão multiclasse para o conjunto de dados Synapse.
    2. Para os conjuntos de dados ISIC 2017 e ISIC 2018, atribua um valor de etiqueta 0 aos pixels de fundo e 1 aos pixels da lesão (em primeiro plano) após conversão binária de máscara. Pixels com valores originais de máscara maiores que 0 são tratados como primeiro plano e convertidos para 1, enquanto pixels com valores originais de máscara iguais a 0 são considerados como fundo e mantidos como 0. Para o conjunto de dados Synapse, mantenha os valores originais do rótulo inteiro, sendo 0 representando a classe de fundo e 1–8 representando as oito classes de órgão em primeiro plano.
  5. Redimensione as imagens e máscaras ISIC 2017 e ISIC 2018 para 256 × 256 pixels sem preservar a proporção de aspecto original. Não aplique recorte ou enchimento de gordura.
    1. Redimensione cada fatia do Synapse CT e o correspondente mapeamento de rótulos para 224 × 224 pixels. Use interpolação bilinear para imagens RGB, interpolação de spline de terceira ordem para fatias CT e interpolação de vizinhos mais próximos para máscaras de segmentação.
    2. Redimensione imagens em Python.
      1. Para os conjuntos de dados ISIC 2017 e ISIC 2018, use a transformada personalizada myResize implementada em utils.py, que chama torchvision.transforms.functional.resize para redimensionar tanto os tensores de imagem quanto de máscara para 256 × 256 pixels. Não especifique um modo de interpolação explícito ou um argumento de anti-aliasing nesta transformação.
      2. Para o conjunto de dados Synapse, use scipy.ndimage.zoom em conjuntos de dados/dataset.py. Redimensione fatias de imagem CT para 224 × 224 pixels usando interpolação spline de terceira ordem (ordem = 3), e redimensione mapas de rótulos usando interpolação de vizinhos mais próximos (ordem = 0). Não aplique uma operação de anti-aliasing separada ou uma configuração anti_aliasing=Verdadeiro durante o redimensionamento.
  6. Normalize cada imagem ISIC RGB antes da conversão de tensor usando a média e o desvio padrão (SD) específicos do conjunto de dados usando a Equação 1 da seguinte forma:
    figure-protocol-1(1)
    Depois, redimensione a imagem normalizada para a faixa de 0–255 usando normalização min–max.
    1. Use μ = 159,922 e σ = 28,871 para o conjunto de treinamento ISIC 2017 e μ = 148,429 e σ = 25,748 para os conjuntos de validação e teste ISIC 2017. Use μ = 157,561 e σ = 26,706 para o conjunto de treinamento ISIC 2018 e μ = 149,034 e σ = 32,022 para os conjuntos de validação e teste ISIC 2018.
    2. Converta cada imagem normalizada em um tensor de forma 3 × 256 × 256. Converta cada máscara binária em um tensor de forma 1 × 256 × 256.
    3. Realize a normalização min–max independentemente para cada imagem após a normalização de média e desvio padrão específica do conjunto de dados. Especificamente, subtraia a média específica do conjunto de dados de cada imagem e divida pelo desvio padrão correspondente.
    4. Calcule os valores mínimos e máximos de intensidade a partir da imagem normalizada e reescale a imagem para a faixa 0–255 usando esses valores mínimos e máximos por imagem. Não use valores mínimos e máximos de todo o conjunto de dados para essa etapa de reescalonamento mínimo–máximo.
  7. Prepare cada fatia de Synapse CT como uma imagem bidimensional em tons de cinza. Converta cada fatia CT em float32 e adicione uma dimensão de canal singleton para obter um tensor de entrada com forma 1 × 224 × 224.
    1. Mantenha cada mapa de rótulos Synapse como uma máscara inteira de canal único com formas 224 × 224. Não aplique normalização adicional de média SD em nível de conjunto de dados no carregador de dados.
    2. Use os arquivos Synapse pré-processados fornecidos no formato .npz para fatias de treinamento e no formato .npy.h5 para volumes de teste. Carregue os arrays de imagem e etiquetas diretamente de cada arquivo .npz durante o treinamento e diretamente de cada arquivo .npy.h5 durante os testes. Não aplique clipping de intensidade adicional, janelas CT, normalização em nível de conjunto de dados ou reamostragem de volume bruto no carregador de dados liberado.
    3. Durante o treinamento do modelo, converta cada fatia bidimensional carregada para float32, redimensione-a para o tamanho espacial alvo usando scipy.ndimage.zoom com ordem = 3 para fatias de imagem e ordem = 0 para mapas de etiquetas, e então converta os arrays redimensionados em tensores com dimensão de canal único.
  8. Aplique aumento de dados apenas ao conjunto de treinamento. Para ISIC 2017 e ISIC 2018, aplique inversão horizontal aleatória (p = 0,5), inversão vertical aleatória (p = 0,5) e rotação aleatória (p = 0,5) com um ângulo amostrado de 0° a 360°.
    1. Aplique a mesma transformação geométrica a cada par imagem-máscara. Durante a validação e os testes, aplique apenas redimensionamento, normalização e conversão de tensorial.
    2. Para o conjunto de dados Synapse, aplique rotação aleatória e inversão aleatória durante o treinamento. Gire aleatoriamente cada par imagem-etiqueta por k × 90°, onde k ∈ {0,1,2,3}, inverta aleatoriamente o par imagem-etiqueta ao longo de um eixo espacial, ou gire aleatoriamente o par imagem-etiqueta em um ângulo amostrado de −20° a 20°.
    3. Não aplique aumento estocástico durante os testes.
    4. Aplique aumento de dados ao conjunto de dados Synapse usando os ramos mutuamente exclusivos implementados na transformação RandomGenerator.
      1. Para cada amostra de treinamento, primeiro avalie a condição random.random() > 0,5. Se essa condição for satisfeita, aplice-se random_rot_flip, consistindo em uma rotação aleatória de 90° (k = 0, 1, 2 ou 3) seguida de uma inversão aleatória ao longo de um eixo espacial.
      2. Se o primeiro ramo não for selecionado, avalie uma segunda condição, random.random() > 0,5. Se essa condição for satisfeita, aplice-se random_rotate usando um ângulo de rotação selecionado aleatoriamente entre −20° e 20°. Se nenhuma das condições for satisfeita, não aplique aumento estocástico à amostra.
      3. Aplique a mesma transformação tanto à imagem de entrada quanto ao mapa de etiquetas correspondente.
  9. Defina a semente aleatória antes do carregamento do conjunto de dados, pré-processamento e treinamento. Use sementes aleatórias 1, 52 e 100 para os experimentos principais de comparação e use semente 100 para estudos de ablação, a menos que especificado de outra forma.
    1. Inicialize os geradores aleatórios Python, NumPy, CPU PyTorch, CUDA PyTorch e cuDNN antes de construir o carregador de dados. Mantenha as partições do conjunto de dados, procedimentos de pré-processamento, configurações de aumento, parâmetros de normalização, estratégia de redimensionamento e pré-processamento de avaliação inalterados em todas as execuções seed.
    2. Defina num_workers = 0 tanto para os experimentos ISIC quanto Synapse para realizar o carregamento de dados no processo principal. Antes de construir o conjunto de dados e criar o DataLoader, inicialize a semente aleatória global usando a função set_seed para gerar os geradores de números aleatórios em Python, NumPy, CPU PyTorch, CUDA e cuDNN. Não defina um gerador aleatório específico de worker_init_fn ou DataLoader separado, pois esses não são usados na implementação lançada.

2. Construção da arquitetura MVM-UNet

  1. Construa a proposta Multi-view Vision Mamba UNet (MVM-UNet) usando uma arquitetura codificador-decodificador em formato de U.
  2. Defina a dimensão da imagem de entrada para H × W × 3. Passe a imagem de entrada pela camada de embedding do patch.
    1. Implemente a camada de embedding de patch usando uma convolução 2D com tamanho de kernel de 4 × 4, passo de 4, três canais de entrada e 96 canais de saída.
    2. Transforme o mapa de características de entrada para uma resolução espacial de H/4 × W/4 com C = 96 canais de saída.
  3. Construa quatro estágios codificadores e quatro estágios decodificadores. Reduza a resolução espacial pela metade e dobre a dimensão do canal após cada estágio do codificador.
  4. Use uma configuração codificador-decodificador simétrica. Defina o número de blocos MVV tanto no codificador quanto no decodificador para {2, 2, 2, 2}.
    1. Coloque dois blocos MVV em cada estágio do codificador e dois blocos MVV em cada estágio do decodificador.
  5. Insira um bloco MVV em cada estágio codificador e decodificador. Use o módulo MV4D como módulo central de extração de características dentro de cada bloco MVV.
  6. Insira o módulo MFusion Mamba entre o codificador e o decodificador. Use este módulo para fundir recursos do codificador multiestágio antes de decodificar.
  7. Configure o fluxo de trabalho geral MVM-UNet. Use o MV4D para extração de características em todo o codificador.
    1. Mantenha as saídas do codificador como conexões de pulo. Passe as saídas do codificador para os estágios correspondentes do decodificador.
    2. Passe os recursos do codificador para o MFusion Mamba antes de decodificar. Faça progressivamente upsampling da representação fundida através do decodificador e gere o mapa final de segmentação usando a cabeça de segmentação.
  8. Passe a imagem de entrada I ∈ RB×H×W×3 pela camada de embedding de patch para obter figure-protocol-2 Aqui, C = 96.
    1. Gerar mapas de características do codificador: E1 ∈ RB×H/4×W/4×C, E 2 ∈R B×H/8×W/8×2C, E3 ∈ RB×H/16×W/16×4C e E 4 ∈ RB×H/32×W/32×8C. Use blocos MVV contendo MV4D em cada estágio do codificador.
    2. Preserve todos os recursos do codificador para a conexão de pular correspondente. Passe todas as funcionalidades do codificador para MFusion Mamba para fusão de características multiestágio.
    3. Alinhe as características do codificador a um espaço comum de características antes da fusão grosseira e fina dentro do MFusion Mamba. Passe a representação fundida para o decodificador.
    4. Aumente progressivamente a representação do decodificador. Funda os recursos do decodificador com E3 em H/16 × W/16, E2 em H/8 × W/8 e E1 em H/4 × W/4.
    5. Faça upsampling do recurso final do decodificador para a resolução original da imagem. Gerar o mapa figure-protocol-3 de previsão ∈ RB×H×W×K. Aqui, K = 1 para segmentação binária da lesão e K = 8 para segmentação multiorgântica sinapse.
    6. Consulte a Figura 2 para a arquitetura geral da rede e a Tabela Suplementar 1 para a especificação completa camada por camada, incluindo as operações, parâmetros principais e dimensões das características de saída para cada estágio
    7. Camadas de transição codificador–decodificador
      1. Amostre recursos do codificador usando camadas de transição com fusão de patches. Para cada transição, amostre quatro grupos de características espacialmente intercaladas de uma vizinhança 2 × 2, concatene-os ao longo da dimensão do canal, aplique a Normalização de Camada (LayerNorm) e projete a característica resultante de dimensão 4C em canais 2C usando uma camada linear sem viés. Essa operação reduz a resolução espacial em um fator de 2 enquanto dobra a dimensão do canal.
      2. Upsample características do decodificador usando camadas de transição que expandem patches. Aplique uma projeção linear sem viés, reorganize as características expandidas espacialmente para aumentar a resolução por um fator de 2 e aplique o LayerNorm após a expansão espacial. Repita essa operação para reconstruir progressivamente os mapas de características de H/32 × W/32 para H/16 × W/16, H/8 × W/8 e H/4 × W/4.
      3. Alinhe as características do codificador dentro do módulo MFusion Mamba redimensionando-as para a resolução espacial alvo usando interpolação bilinear (align_corners = Falso) e então aplicando uma projeção de canal linear aprendível antes da fusão das características.
    8. Cabeça de segmentação
      1. Faça upsampling do mapa final de características do decodificador de H/4 × W/4 até a resolução original da imagem (H × W) usando a camada final de expansão de patch. Aplique projeção linear, realize rearranjos espaciais com fator de expansão 4 e aplique LayerNorm.
      2. Projete o mapa de características reconstruído para K canais de saída usando uma convolução 1 × 1 após converter o tensor para o formato channel-first.
      3. Gerar a previsão final durante a avaliação aplicando uma função de ativação sigmoide para segmentação binária de lesão ou uma ativação softmax seguida por argmax para segmentação multiorgânica sinapse. Não aplique uma função de ativação dentro da própria cabeça de segmentação.

figure-protocol-4
Figura 2. Arquitetura geral do Multi-View Mamba U-Net (MVM-UNet). Visão geral da arquitetura proposta Multi-View Mamba U-Net (MVM-UNet). A imagem de entrada é convertida em embeddings de patch e processada por quatro estágios de codificação compostos por blocos Multi-View Vision (MVV) separados por operações de fusão de patches. As características do codificador são agregadas pelo Multi-stage Fusion Mamba (MFusion Mamba) e propagadas para o decodificador por meio de conexões de salto. O decodificador restaura progressivamente a resolução espacial usando operações de expansão de patches e gera o mapa final de segmentação através da camada de projeção. Por favor, clique aqui para ver uma versão ampliada desta figura.

3. Construção do módulo MV4D

  1. Use o módulo MV4D como a unidade básica de extração de recursos no Bloco MVV. Alimente os patches de recursos de entrada em quatro ramificações de pares de varredura. Consulte o Algoritmo 1, Arquivo Suplementar 1 para o pseudocódigo completo de achatamento espacial, construção de índice de pares de varredura, coleta de sequências, processamento S6/Mamba, reordenação espacial inversa, fusão de pares de varredura, fusão SFusion Mamba, projeção e remodelação de saída.
  2. Use os procedimentos exatos de geração de índices de varredura em ziguezague, hierárquicos, espiral e radiais implementados em modelos/mvmunet/core.py. Para cada estratégia de varredura, use a ordem de varredura direta e sua ordem reversa como um par de varredura bidirecional.
  3. Construa o par de varredura em ziguezague. Percorra as características da imagem em direções alternadas no final de cada linha ou coluna. Use esse padrão de varredura para equilibrar informações espaciais locais e globais.
  4. Construa o par de varredura hierárquica. Capture características em múltiplas escalas espaciais. Use esse padrão de varredura para fortalecer a extração tanto de representações locais quanto globais.
  5. Construa o par de varredura em espiral. Escaneie as características da imagem do centro em direção à fronteira ou da fronteira em direção ao centro. Use esse padrão de varredura para aprimorar a extração de informações globais de contorno.
  6. Construa o par de varredura radial. Escaneie características de imagem em múltiplas direções radiais. Use esse padrão de varredura para aprimorar a extração de detalhes locais de limites e bordas.
  7. Junte cada par de varredura antes de alimentar a sequência fundida no bloco S6. Use o design pareado para melhorar a robustez de cada estratégia de varredura, preservando a eficiência computacional.
  8. Alimente a sequência de saída de cada ramificação de par de varrimento em um bloco S6. Obtenha quatro representações de características correspondentes às vistas de varredura ziguezague, hierárquica, espiral e radial.
  9. Funda as quatro representações de características extraídas usando o módulo SFusion Mamba. Use duas vias de fusão paralelas. No primeiro caminho, integre as quatro características por meio de adição elemental a elemento.
  10. No segundo caminho SFusion Mamba, concatene as quatro características. Processe a representação concatenada usando Conv1d e Mamba. Reduza a dimensão do canal usando uma camada de projeção para igualar a dimensão de saída do bloco S6.
  11. Configure o bloco S6/Mamba usando a dimensão de característica C como dimensão do modelo. Use uma camada de projeção para mapear cada característica de par de varredura mesclada de volta à dimensão do canal C antes da fusão.
  12. No SFusion Mamba, realize adição elemento a elemento no primeiro caminho. Concatene as quatro características de varredura no segundo caminho antes de Conv1d, Mamba e projeção linear. Use as operações de normalização, projeção linear, convolução separável em profundidade e ativação em torno do MV4D conforme descrito no Passo 4.
  13. Soma-se as saídas das duas vias de fusão para obter a saída final do módulo MV4D.
  14. Construa quatro ramificações complementares de par de varredura em vez de usar apenas direções de varredura horizontais e verticais. Use varredura em ziguezague para enfatizar a travessia espacial contínua, varredura hierárquica para fortalecer a representação multiescala, varredura em espiral para capturar informações de contorno do centro ao limite e varredura radial para aprimorar a extração de detalhes locais orientados a fronteiras.
  15. Processe cada ramificação de par de varredura de forma independente. Funda as funcionalidades resultantes usando SFusion Mamba. Mapear cada sequência processada de volta à sua ordem espacial original antes da fusão.
  16. Dado um mapa de características de entrada X ∈ RB×H×W×C, achate-o em Xseq ∈ RB×L×C, onde L = H × W.
  17. Reordene a sequência achatada de acordo com os índices de varredura para cada ramo de par de varredura. Processe cada sequência reordenada usando o bloco S6. Restaure a sequência processada à ordem espacial original.
  18. Fuda as quatro características de varredura através do caminho aditivo e do caminho SFusion Mamba para obter a saída final do MV4D. Consulte a Figura 3 para a arquitetura MV4D e o Algoritmo 1, Arquivo Suplementar 1 para o fluxo de trabalho completo de implementação em nível de tensor.
  19. Use toda a implementação de software em models/mvmunet/core.py. Este arquivo contém os geradores de índices de varredura, PairwiseScanMamba, SequenceS6, SFusion Mamba e o módulo de envolvimento MV4D.
  20. Gerar índices de varredura multiview
    1. Gerar os índices de varredura seguindo a implementação lançada em models/mvmunet/core.py. Para um mapa de características de entrada de tamanho espacial H × W, achate cada localização de pixel em um índice unidimensional usando: índice = r × W + c, onde r e c denotam as coordenadas da linha e coluna, respectivamente.
    2. Gerar a varredura em ziguezague percorrendo diagonais da imagem com r + c constante. Colete os índices de pixel válidos para cada diagonal e alterne a direção de deslocamento invertendo a ordem de cada diagonal par.
    3. Gerar a varredura hierárquica dividindo recursivamente a imagem em quatro quadrantes. Visite os quadrantes superior esquerdo, superior direito, inferior esquerdo e inferior direito sequencialmente até que a altura ou largura da sub-região não seja maior que 2 pixels, e então percorra os pixels restantes em ordem de linha maior.
    4. Gere a varredura em espiral percorrendo a fronteira externa da imagem da esquerda para a direita ao longo da linha superior, descendo pela coluna da direita, da direita para a esquerda pela linha inferior e subindo pela coluna esquerda, enquanto encolhe progressivamente a fronteira em direção ao centro da imagem.
    5. Gerar a varredura radial ordenando cada pixel de acordo com sua distância quadrada do centro da imagem e depois de acordo com seu ângulo polar calculado usando a função atan2.
    6. Gerar a varredura reversa para cada estratégia de varredura invertendo a ordem correspondente da varredura frontal. Combine as sequências de varredura direta e reversa para formar um par de varredura para cada estratégia de varredura antes de passar os pares de varredura para o módulo MV4D.

figure-protocol-5
Figura 3. Arquitetura do módulo Multi-View 4-Directional (MV4D). Estrutura do módulo de extração de características Multi-View 4-Directional (MV4D). Os patches de entrada são processados por meio de quatro ramificações complementares de varredura-par, incluindo varredura ziguezague, hierárquica, espiral e radial. As características extraídas dos quatro ramos são fundidas, processadas usando blocos de espaço de estados e integradas pelo Spatial Fusion Mamba (SFusion Mamba) para gerar a representação das características de saída. Por favor, clique aqui para ver uma versão ampliada desta figura.

4. Construção do Bloco MVV

  1. Construa o Bloco MVV usando um ramo principal e dois ramos auxiliares. Use a estrutura geral mostrada na Figura 4.
  2. Aplique a normalização de camada ao recurso de entrada no ramo principal. Alimente a característica normalizada em uma camada linear. Passe a característica transformada para a convolução separável em profundidade.
  3. Processe a característica transformada usando a convolução separável em profundidade. Aplique a função de ativação GELU. Alimente o recurso ativado no módulo MV4D.
  4. Construa o primeiro ramo auxiliar como uma conexão residual de identidade. Conecte o recurso de entrada diretamente à saída final. Use esse ramo para preservar a representação original e estabilizar o treinamento.
  5. Construa o segundo ramo auxiliar como um ramo de projeção para baixo e para cima. Comprima a característica de entrada usando uma camada de projeção inferior. Restaure a dimensão das características usando uma camada de projeção para cima.
  6. Junte as saídas do ramo principal e dos dois ramos auxiliares. Obtenha a saída final do Bloco MVV. Consulte a Figura 4 para a arquitetura completa.
  7. Defina a dimensão oculta do ramo principal igual à dimensão do canal de entrada Cs. Aplique LayerNorm(Cs) antes da projeção linear principal e use uma camada linear com dimensões Cs→C s. Use uma convolução separável em profundidade consistindo em uma convolução 3×3 em profundidade com preenchimento 1, grupos = Cs e sem viés, seguida por uma convolução 1×1 ponto a ponto sem viés.
  8. Aplique a função de ativação GELU após a convolução separável em profundidade. Alimente a característica ativada para o MV4D e aplique uma projeção linear de saída com dimensões C s→Cs. Configure o desvio de projeção descendente-subida usando LayerNorm(Cs), uma razão de projeção de 4, uma projeção descendenteC s→C s/4, ativação GELU e uma projeção Cs/4→Cs.
  9. Combine o branch identidade, o branch de projeção para baixo para cima e o branch principal processado por drop-path usando adição elemental para obter a saída final do Bloco MVV.

figure-protocol-6
Figura 4. Arquitetura do bloco Multi-View Vision (MVV). Estrutura do Bloco de Visão Multi-Vista (MVV). O bloco consiste em um ramo principal de extração de características contendo o módulo Multi-View 4-Directional (MV4D) juntamente com camadas de convolução profunda, normalização e projeção linear. Um ramo auxiliar de projeção de cima para baixo fornece modulação de características com gate por meio de multiplicação elemento a elemento antes da adição residual para gerar a representação da característica de saída. Por favor, clique aqui para ver uma versão ampliada desta figura.

5. Construção da MFusion Mamba

  1. Colete os mapas de características de todos os estágios do codificador. Alinhe as características do codificador a um espaço de representação unificado, redimensionando-as ou projetando-as quando necessário. Consulte o Algoritmo 2, Arquivo Suplementar 1 para o fluxo de trabalho completo de implementação em nível de tensor.
  2. Redimensione as características do codificador para a resolução espacial alvo quando necessário. Projetar recursos com diferentes dimensões de canal na mesma dimensão de canal. Alinhe todas as características do codificador antes da fusão multiestágio.
  3. Alimente as características do codificador alinhado no componente Fusão Grosseira. Realize fusão grosseira usando o produto de Hadamard. Gerar a representação fundida grosseira.
  4. Alimente a representação fundida grosseira no componente de Fusão Fina. Construa duas vias paralelas de fusão fina. Processe ambos os caminhos de forma independente.
  5. Processe o primeiro caminho de Fusão Fina usando uma camada linear. Processe a segunda via de Fusão Fina usando projeção para cima, Conv1d, Mamba e projeção para baixo. Restaure a dimensão da característica após a projeção descendente.
  6. Junte as saídas das duas vias de Fusão Fina usando o produto de Hadamard. Aplique a camada linear final. Obtenha a saída MFusion Mamba.
  7. Alimente a saída MFusion Mamba para o decodificador. Decode a representação multiestágio fundida junto com as características de salto codificador-decodificador. Gerar o mapa final de segmentação.
  8. Alinhe as características do codificador de diferentes estágios em um espaço unificado de características antes da fusão grosseira. Processe as representações de características alinhadas usando os estágios de fusão grosseira e fina. Consulte a Figura 5 para a arquitetura MFusion Mamba e o Algoritmo Suplementar 2 para o fluxo de trabalho completo de implementação em nível de tensor.
  9. Use os parâmetros de implementação do MFusion Mamba conforme segue. Para cada característica do codificador Ei, projete a dimensão do canal de Ci para C t. Redimensione as características projetadas para o tamanho espacial alvo usando interpolação bilinear com align_corners=Falso quando necessário.
  10. Aplique o produto de Hadamard para realizar a Fusão Grosseira através das características alinhadas do codificador. Configure o primeiro caminho de Fusão Fina usando uma camada linear com dimensões Ct → Ct. Configure o segundo caminho de Fusão Fina usando uma projeção ascendente Ct → 2Ct, Conv1d, um bloco Mamba/S6 com dimensão de modelo 2Ct, uma direção de varredura, dimensão de estado 16 e uma projeção descendente de 2Ct → Ct.
  11. Funda as saídas das vias de Fusão Fina usando o produto de Hadamard. Aplique uma projeção linear final com dimensões Ct a Ct. Alimente a representação multiestágio fundida no decodificador.
  12. Recursos do codificador multiestágio Fuse usando MFusion Mamba
    1. Colete os recursos do codificador dos quatro estágios do codificador (E1, E2, E3 e E4) e use-os como entrada para o módulo MFusion Mamba. Não selecione apenas o recurso correspondente do codificador de estágio para fusão do decodificador.
    2. Alinhe todas as características do codificador à resolução espacial necessária para o estágio atual do decodificador. Redimensione as características do codificador para a resolução alvo e projete-as para a dimensão do canal exigida antes da fusão das características.
    3. Repita o procedimento de alinhamento de características para cada estágio do decodificador. Quando o decodificador opera em H/16 × W/16, H/8 × W/8 e H/4 × W/4, redimensione e projete E1, E2, E3 e E4 para o espaço de características alvo correspondente.
    4. Funda as características alinhadas do codificador multiestágio usando as operações de Fusão Grosseira e Fusão Fina do módulo MFusion Mamba, e combine a representação fundida com as características do decodificador na escala correspondente.
    5. Realize as operações de projeção de características, redimensionamento e fusão de acordo com a implementação lançada em models/mvmunet/core.py.

figure-protocol-7
Figura 5. Arquitetura do módulo Multi-stage Fusion Mamba (MFusion Mamba). Estrutura do módulo Multi-stage Fusion Mamba (MFusion Mamba). As características do codificador multiescala são inicialmente combinadas por fusão grosseira e posteriormente refinadas através do módulo Fine Fusion, composto por projeção linear, convolução unidimensional (Conv1d), um bloco Mamba e camadas de projeção de características antes da geração da representação de características fundidas usada pelo decodificador. Por favor, clique aqui para ver uma versão ampliada desta figura.

6. Treinamento modelo

  1. Treine o MVM-UNet no Ubuntu 22.04.1 com kernel Linux versão 6.8.0. Use uma estação de trabalho equipada com um processador Intel Core i9-13900K de 13ª geração e uma GPU NVIDIA A800. Use a mesma configuração de hardware durante todo o treinamento e avaliação.
  2. Implemente e treine o modelo usando o PyTorch 2.0.1 com CUDA 11.8. Instale todas as dependências de software necessárias antes do treinamento.
  3. Use o otimizador AdamW com taxa inicial de aprendizado de 3 × 10−5, β1 = 0,9, β2 = 0,999, ε = 1 × 10−8 e um decaimento em peso de 0,01. Defina o tamanho do lote para 32, a menos que especificado o contrário.
  4. Treine cada modelo por 300 épocas. Use um cronograma de taxa de aprendizagem por recozimento cosseno com ηmin = 1 × 10−5. Defina o tamanho da imagem de entrada para 256 × 256 para ISIC 2017 e ISIC 2018 e para 224 × 224 para Synapse.
  5. Use três sementes aleatórias independentes (1, 52 e 100) para os experimentos principais de comparação. Repita todo o processo de treinamento e avaliação para cada semente. Reporte os resultados quantitativos finais como média ± SD nas três execuções.
  6. Use uma semente aleatória fixa de 100 para todos os estudos de ablação, a menos que seja especificado o contrário. Mantenha as partições do conjunto de dados, estratégia de pré-processamento, arquitetura de rede, otimizador, taxa de aprendizado, tamanho do lote e número de épocas de treinamento inalteradas em todos os experimentos de ablação.
  7. Use a perda BCE-Dice para segmentação binária de lesões no ISIC 2017 e ISIC 2018. Defina os pesos de perda de BCE e Dice em 1.0. Use a perda CE-Dice para Synapse e defina tanto o peso de entropia cruzada quanto o de perda de dados em 1.0.
  8. Redimensione, normalize e aumente as imagens de treinamento ISIC 2017 e ISIC 2018 usando o procedimento de pré-processamento descrito no Passo 1. Aplique redimensionamento, rotação aleatória e inversão aleatória às imagens de treinamento Synapse, conforme descrito no Passo 1. Use configurações idênticas de pré-processamento em todas as execuções de treinamento.
  9. Selecione os checkpoints do modelo de acordo com o protocolo de validação específico do conjunto de dados. Salve o checkpoint com o melhor desempenho de validação para ISIC 2017 e ISIC 2018, e realize validação a cada 30 épocas. Treine o Synapse por 300 épocas sem um conjunto de validação e use o ponto final de verificação de treinamento para testes.
  10. Use o conjunto oficial de validação apenas para seleção de modelos no ISIC 2017 e ISIC 2018. Não use o conjunto de testes Synapse para treinamento, ajuste de hiperparâmetros ou seleção de checkpoint. Reserve todos os dados de testes exclusivamente para avaliação final.
  11. Use os seguintes parâmetros de treinamento para reprodutibilidade. Defina o tamanho do lote para 32 para todos os conjuntos de dados. Use o AdamW com uma taxa inicial de aprendizado de 3 × 10−5, β1 = 0,9, β2 = 0,999, ε = 1 × 10−8, e uma redução de peso de 1 × 10−2.
  12. Configure o escalonador de taxa de aprendizado de recozimento cosseno com Tmax = 50 e ηmin = 1×10−5 para ISIC 2017 e ISIC 2018. Configure o agendador com Tmax = 100 e ηmin = 1×10−5 para o Synapse. Mantenha a configuração do agendador inalterada para todos os experimentos repetidos.
  13. Treine todos os modelos usando aritmética FP32 de precisão total. Desative o treinamento automático de precisão mista. Não aplique clipping de gradiente durante a otimização.
  14. Mantenha as configurações de precisão, a estratégia de atualização de gradiente, a configuração do otimizador, o cronograma de taxa de aprendizado e o protocolo de semente aleatória inalterados em todos os experimentos de comparação, estudos de ablação e execuções de reprodutibilidade.
  15. Selecione o melhor checkpoint de modelo
    1. Avalie o modelo no conjunto de validação após cada época de treinamento para os conjuntos de dados ISIC 2017 e ISIC 2018.
    2. Calcule a perda de dados de Binary Cross-Entropia (BCE) para cada lote de validação e calcule a perda média de validação em todo o conjunto de validação.
    3. Salve o modelo atual como o melhor ponto de verificação quando a perda média de validação for menor do que a perda mínima de validação previamente registrada.
    4. Registre a interseção média sobre União (mIoU), o Coeficiente de Similaridade de Dados (DSC), a precisão (Acc), a especificidade (Spe) e a sensibilidade (Sen) durante a validação apenas para monitoramento de desempenho. Não use essas métricas como critério de seleção de checkpoint.

7. Avaliação do modelo

  1. Avalie o modelo treinado usando o conjunto oficial de testes para cada conjunto de dados. Use o conjunto de testes apenas para a avaliação final de desempenho.
  2. Para ISIC 2017 e ISIC 2018, calcule o mIoU, DSC, Acc, Sen e Spe. Use verdadeiros positivos (TP) em nível de pixel, falsos positivos (FP), verdadeiros negativos (TN) e falsos negativos (FN) para todos os cálculos.
  3. Aplique uma função de ativação sigmoide à saída do modelo para ISIC 2017 e ISIC 2018. Converta o mapa de probabilidade em uma máscara de segmentação binária usando um limiar de 0,5. Calcule as métricas de avaliação usando as Equações 2–6:
    figure-protocol-8 (2)
    figure-protocol-9 (3)
    figure-protocol-10 (4)
    figure-protocol-11 (5)
    figure-protocol-12 (6)
  4. Para o Synapse, aplique a função de ativação softmax à saída do modelo. Atribua cada pixel ou voxel à classe com maior probabilidade usando a operação argmax. Calcule o DSC e a distância de Hausdorff do percentil 95 (HD95) para cada órgão em primeiro plano e relate os valores médios em todos os casos de teste.
  5. Compare o MVM-UNet com métodos representativos de segmentação baseados em CNN, Transformer e modelos de espaço de estados (SSM). Use partições de conjunto de dados idênticas, procedimentos de pré-processamento, resoluções de entrada e métricas de avaliação para todos os métodos.
  6. Use as partições oficiais de treinamento, validação e teste para ISIC 2017 e ISIC 2018. Use a divisão padrão de 18 casos de treinamento e 12 casos de teste para o Synapse. Defina a resolução de entrada para os conjuntos de dados ISIC e para o Synapse.
  7. Reproduza métodos de referência usando suas implementações oficiais sempre que disponíveis. Relate os resultados como média ± SD em repetidas corridas. Mantenha os valores reportados pela literatura conforme publicados originalmente e distinga-os nas notas correspondentes da tabela.
  8. Realize estudos de ablação usando a semente aleatória fixa de 100, salvo especificação em contrário. Mantenha as partições do conjunto de dados, procedimento de pré-processamento, resolução de entrada, otimizador, cronograma de taxa de aprendizado, tamanho do lote, número de épocas, função de perda e métricas de avaliação inalteradas em todos os experimentos de ablação.
  9. Avalie as contribuições do MV4D, SFusion Mamba, o ramo de Projeção Up-Down no MVV Block, MFusion Mamba, tamanho da imagem de entrada, valor dropout e configuração da camada codificador-decodificador. Modifique apenas o componente ou parâmetro alvo em cada experimento de ablação.
  10. Realize o teste de rank por sinal Wilcoxon usando resultados pareados por imagem para ISIC 2017 e ISIC 2018 e resultados pareados por caso para Synapse. Considere um valor p menor que 0,05 para indicar significância estatística.
  11. Avalie a eficiência computacional usando o mesmo ambiente de hardware e resolução de entrada para todos os métodos. Meça o tempo de treinamento por época, tempo de inferência por imagem, uso máximo de memória da GPU durante o treinamento, número de parâmetros do modelo e operações de ponto flutuante (FLOPs). Calcule os FLOPs usando um único passe para frente.
  12. Selecione exemplos qualitativos representativos apenas do conjunto de testes após concluir a avaliação do modelo. Compare a imagem original, a máscara de verdade no terreno e a máscara prevista usando casos de teste idênticos em todos os métodos. Selecione exemplos representativos que incluam alvos pequenos, limites irregulares, limites ambíguos e estruturas multiorgânicas representativas.
  13. Calcular métricas de avaliação e realizar análises estatísticas
    1. Calcule as métricas de segmentação para os conjuntos de dados ISIC 2017 e ISIC 2018 em Python usando NumPy e sklearn.metrics.confusion_matrix. Limite o mapa de probabilidade previsto em 0,5, obtenha os TP, FP, TN e FN em nível de pixel, e calcule o mIoU, DSC, Acc, Sen e Spe a partir desses valores.
    2. Calcule o DSC e o HD95 para o conjunto de dados Synapse usando medpy.metric.binary.dc e medpy.metric.binary.hd95, respectivamente. Aplique softmax seguido de argmax à saída do modelo antes de calcular as métricas de avaliação.
    3. Calcule o número de FLOPs e parâmetros treináveis usando thop.profile com uma única passagem para frente.
    4. Realize o teste de rank por sinal de Wilcoxon em Python usando scipy.stats.wilcoxon. Use valores de métrica pareados por imagem para os conjuntos de dados ISIC 2017 e ISIC 2018 e valores pareados de métricas por caso para o conjunto de dados Synapse.

8. Definição da função de perda

  1. Use a perda padrão de Entropia Cruzada (CE) para segmentação multiclasse e a perda padrão BCE para segmentação binária. Use a formulação padrão de perda de dados para segmentação. As equações 7–11 definem as funções de perda usadas neste protocolo.
    figure-protocol-13(7)
    figure-protocol-14(8)
    figure-protocol-15(9)
    figure-protocol-16(10)
    figure-protocol-17(11)
  2. Defina os pesos de perda BCE e Dice para 1,0 para ISIC 2017 e ISIC 2018, de modo que figure-protocol-181 = 1,0 e figure-protocol-192 = 1,0. Defina os pesos de perda de CE e Dice para 1,0 para Synapse, φ1 = 1,0 e φ2 = 1,0.
  3. Implemente as funções de perda em utils.py. Use nn. BCELoss para o termo BCE e nn. CrossEntropyLoss para o termo CE. Calcule a perda binária de dados achatando cada máscara prevista e máscara de verdade no terreno, calculando a perda de dados para cada amostra e fazendo a média da perda ao longo do lote. Calcule a perda de dados multiclasse convertendo o mapa de etiquetas alvo para o formato one-hot, aplicando softmax à saída do modelo, calculando a perda de dados para cada classe e fazendo a média da perda entre todas as classes.
  4. Defina a constante de suavização para 1 para a perda binária de dados e para 1×10−5 para a perda multiclasse de dados. Implemente a perda BCE-Dice usando a classe BceDiceLoss com wb = 1 e wd = 1. Implemente a perda CE-Dice usando a classe CeDiceLoss com loss_weight = [1, 1]. Mantenha as constantes de suavização, a estratégia de redução e a implementação de software inalteradas para todos os conjuntos de dados, sementes aleatórias e experimentos.
  5. Configure a redução de perdas
    1. Instaure nn. BCELoss() e nn. CrossEntropyLoss() sem especificar explicitamente o argumento de redução.
    2. Use a configuração padrão de redução de perda do PyTorch (redução = "média") para ambas as funções de perda. Não use redução = "soma" ou uma saída de perda não reduzida.

9. Configurações de reprodutibilidade e execução

  1. Baixe a implementação lançada de https://github.com/LIXUEGUANG002/MVM-UNet. Use o repositório junto com os pacotes de software, conjuntos de dados, especificações de hardware e recursos computacionais listados na Tabela de Materiais.
  2. Clone o repositório e entre no diretório do projeto rodando o git clone https://github.com/LIXUEGUANG002/MVM-UNet.git, seguido pelo cd MVM-Unet.
  3. Configure o experimento ISIC 2017 ou ISIC 2018 definindo o nome do conjunto de dados, caminho, tamanho de entrada, tamanho do lote, número de épocas, função de perda, otimizador, agendador de taxa de aprendizado e seed aleatória nas configurações/config_setting.py. Execute o script de treinamento a partir da raiz do repositório usando train.py em Python.
  4. Configure o experimento Synapse definindo o nome do conjunto de dados, caminho dos dados de treinamento, caminho do volume de teste, diretório de lista, tamanho de entrada, número de classes, tamanho do lote, número de épocas, função de perda, otimizador, agendador de taxa de aprendizado e seed aleatória em configurações/config_setting_synapse.py. Execute o script de treinamento a partir da raiz do repositório usando train_synapse.py em python.
  5. Realize uma avaliação apenas por inferência definindo only_test_and_save_figs = Verdadeiro, best_ckpt_path para o checkpoint treinado e img_save_path para o diretório de saída no arquivo de configuração correspondente. Execute train.py Python para ISIC 2017 ou ISIC 2018, ou execute train_synapse.py Python para Synapse para gerar resultados de previsão e números qualitativos.
  6. Use a versão do código-fonte lançada
    1. Clone o repositório GitHub lançado e confira o commit ee891b42c2f083c4990eed72f1d4463adc5e103e no branch mestre antes de configurar os conjuntos de dados, scripts de treinamento e configurações de avaliação.
    2. Use este commit para reproduzir os experimentos relatados neste estudo. Nenhuma versão de lançamento marcada estava disponível para o repositório no momento da revisão do manuscrito.

Resultados

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Desfechos esperados e interpretação
Quando esse protocolo é implementado corretamente, espera-se que o modelo treinado MVM-UNet produza desempenho estável de segmentação ao longo de execuções repetidas, com apenas pequenas variações entre diferentes sementes aleatórias para a maioria das métricas de avaliação. Para o ISIC 2017 e ISIC 2018, os resultados bem-sucedidos são refletidos por altos valores de DSC, mIoU, Acc, Sen e Spe, juntamente com máscaras de lesão previstas que seguem de perto os limites de verdade das lesões (Figuras 6 e 7). Para o Synapse, os resultados bem-sucedidos são refletidos por valores médios altos de DSC e baixos valores de HD95 nos órgãos em primeiro plano (Figura 8). Durante a execução do protocolo, métricas quantitativas devem ser interpretadas junto com os resultados qualitativos correspondentes da segmentação. Um modelo que atinge um DSC alto, mas apresenta vazamento de fronteira, omissão de pequenas estruturas ou previsões fragmentadas, deve ser considerado apenas parcialmente bem-sucedido, e o procedimento de pré-processamento, seleção de checkpoint e configurações de inferência devem ser verificados.

figure-results-1
Figura 6. Resultados representativos de segmentação qualitativa no conjunto de dados ISIC 2017. Resultados representativos de segmentação qualitativa obtidos no conjunto de dados de segmentação de lesões cutâneas da International Skin Imaging Collaboration (ISIC) 2017. Cada exemplo mostra a imagem dermoscópica original (Imagem), a correspondente máscara de segmentação de verdade no solo (GT) e a previsão gerada pelo MVM-UNet (Pred). Casos de teste representativos ilustram o desempenho da segmentação para lesões de tamanho, morfologia e complexidade de fronteira variados. Por favor, clique aqui para ver uma versão ampliada desta figura.

figure-results-2
Figura 7. Resultados representativos de segmentação qualitativa no conjunto de dados ISIC 2018. Resultados representativos de segmentação qualitativa obtidos no conjunto de dados de segmentação de lesões cutâneas da International Skin Imaging Collaboration (ISIC) 2018. Cada exemplo mostra a imagem dermoscópica original (Imagem), a correspondente máscara de segmentação de verdade no solo (GT) e a previsão gerada pelo MVM-UNet (Pred). Casos de teste representativos demonstram desempenho de segmentação em diversas aparências de lesões e características de limite. Por favor, clique aqui para ver uma versão ampliada desta figura.

figure-results-3
Figura 8. Resultados representativos de segmentação qualitativa no conjunto de dados de tomografia computorizada multiorgânico Synapse. Resultados representativos de segmentação qualitativa multiorgânico obtidos no conjunto de dados Synapse Multi-Atlas Labeling Beyond the Cranial Vault. Cada exemplo mostra a imagem original da tomografia computorizada (Imagem), as correspondentes anotações de órgãos de verdade no solo (GT) e a previsão gerada pelo MVM-UNet (Pred). Exemplos representativos ilustram a concordância entre segmentações previstas e de referência em múltiplos órgãos abdominais. Por favor, clique aqui para ver uma versão ampliada desta figura.

Desempenho no ISIC 2017
Para avaliar a reprodutibilidade do MVM-UNet, todos os principais experimentos de comparação foram repetidos usando três sementes aleatórias independentes (1, 52 e 100), e os resultados foram reportados como média ± SD. A significância estatística foi avaliada usando o teste de Wilcoxon com base em resultados pareados por imagem para ISIC 2017 e ISIC 2018 e resultados pareados por caso para Synapse. A análise estatística foi realizada usando valores de métricas pareadas em vez de médias em nível semente. Para comparação justa, os resultados reportados como média ± SD foram reproduzidos usando as implementações oficiais sob as mesmas partições de conjunto, resoluções de entrada e métricas de avaliação sempre que possível, enquanto resultados de valor único foram mantidos das publicações originais correspondentes.

MVM-UNet foi avaliado no conjunto de dados ISIC 2017 de segmentação de lesões cutâneas e comparado com métodos representativos de segmentação, incluindo UNet 8,21, TransUNet23, H-vmunet28, MISSFormer30, MaLUNet31, VM-UNet32, UNeXt-S33, HResFormer34, MedScale-Former35, MCAFT36 e H2Former12 (Tabela 1)). MVM-UNet alcançou um mIoU de 80,94 ± 1,01%, um DSC de 91,32% ± 0,68%, uma precisão de 96,58% ± 0,27%, uma especificidade de 98,31% ± 0,23% e uma sensibilidade de 91,65% ± 0,77% em três execuções independentes. Comparado aos métodos avaliados, o MVM-UNet alcançou o maior mIoU, DSC e sensibilidade. Resultados representativos de segmentação qualitativa são mostrados na Figura 6, onde as máscaras previstas seguem de perto os limites de lesão de verdade no terreno em imagens de teste representativas.

ModeloÁrbitro.mIoU (%)DSC (%)Conta (%)Spe (%)Sen (%)
UNet876.9886.9995.6597.4386.82
TransUNet2375.3281.2391.4595.7782.63
MaLUNet3178.7888.1396.1898.4784.78
VM-UNet3280.2389.0396.2997.5889.90
UNeXt-S3378.2687.8095.9597.7487.04
HResFormer3479,89 ± 1,0588,82 ± 0,6596,25 ± 0,2497,73 ± 0,2287,72 ± 0,79
H-vmunet2880,34 ± 1,0290,68 ± 0,5596,42 ± 0,1898,23 ± 0,3288,97 ± 0,88
MISSFormer3080,16 ± 0,7889,27 ± 0,6194,36 ± 0,2897,52 ± 0,3887,71 ± 0,69
H2Former1280,35 ± 0,9588,56 ± 0,7296,61 ± 0,1998,15 ± 0,1488,21 ± 0,81
MedScale-Former3580,31 ± 0,8289,11 ± 0,5995,68 ± 0,3398,24 ± 0,2189,96 ± 0,92
MCAFT3680,59 ± 0,9389,27 ± 0,6396,42 ± 0,2097,95 ± 0,1790,05 ± 0,84
MVM-UNet (Nosso)—80,94 ± 1,0191,32 ± 0,6896,58 ± 0,2798,31 ± 0,2391,65 ± 0,77

Tabela 1: Comparação de desempenho no conjunto de dados de segmentação de lesões cutâneas ISIC 2017. Comparação do MVM-UNet com métodos de segmentação baseados em rede neural convolucional representativa (CNN), Transformer e modelos de espaço de estados (SSM) usando média de Interseção sobre União (mIoU), Coeficiente de Similaridade de Dados (DSC), precisão (Acc.), especificidade (Spe.) e sensibilidade (Sen.). Os resultados do MVM-UNet são reportados como média ± desvio padrão de três experimentos independentes de semente aleatória. Os resultados reportados como valores únicos foram reproduzidos das publicações originais correspondentes.

Os exemplos qualitativos demonstram ainda que o MVM-UNet segmentou com precisão tanto lesões pequenas quanto lesões maiores com limites irregulares. Nesses exemplos representativos, as máscaras previstas corresponderam de perto às anotações de verdade de base correspondentes e preservaram os limites das lesões com vazamento ou fragmentação mínima.

Para avaliar ainda mais se as melhorias observadas eram estatisticamente significativas, testes de Wilcoxon com rangos de sinal foram realizados usando resultados de segmentação pareada por imagem. Para a métrica de mIoU, o MVM-UNet mostrou uma melhora estatisticamente significativa em relação ao MCAFT, com um p-valor de 0,0114. Para a métrica DSC, o MVM-UNet também superou significativamente o H-vmunet, com um valor-p de 0,0031. Esses resultados apoiam que as melhorias observadas no ISIC 2017 provavelmente não seriam atribuíveis à variação aleatória.

No geral, o MVM-UNet alcançou o maior desempenho entre os métodos comparados para mIoU, DSC e sensibilidade no conjunto de dados ISIC 2017 (Tabela 1). Os exemplos de segmentação qualitativa mostrados na Figura 6 são consistentes com esses achados quantitativos.

Desempenho no ISIC 2018
MVM-UNet foi posteriormente avaliado no conjunto de dados de segmentação de lesões cutâneas ISIC 2018 e comparado com métodos representativos de segmentação, incluindoUNet 8,21, UNet++9, UTNetV237, SANet38, MaLUNet31, VM-UNet32, H-vmunet28, MISSFormer30, H2Former12, HResFormer34, MedScale-Former35 e MCAFT36 (Tabela 2)). MVM-UNet alcançou um mIoU de 82,47% ± 1,28%, um DSC de 90,65% ± 0,94%, uma precisão de 96,02% ± 0,36%, uma especificidade de 97,06% ± 0,31% e uma sensibilidade de 91,80% ± 0,82% em três execuções independentes. Esses resultados demonstram que o desempenho do MVM-UNet permaneceu consistente entre diferentes sementes aleatórias. Resultados representativos de segmentação qualitativa são mostrados na Figura 7.

ModeloÁrbitro.mIoU (%)DSC (%)Conta (%)Spe (%)Sen (%)
UNet877.8687.5594.0596.6985.86
UNet++978.3187.8394.0295.7588.65
UTNetV23778.9788.2594.3296.4887.60
SANet3879.5288.5994.3995.9789.46
MaLUNet3180.2589.0494.6296.1989.74
VM-UNet3281.3589.7194.9196.1391.12
H-vmunet2881,93 ± 1,4590,46 ± 0,6295,19 ± 0,3096,82 ± 0,2188,37 ± 1,13
MISSFormer3080,27 ± 1,2189,91 ± 0,4694,76 ± 0,2797,22 ± 0,1590.84 ± 1.07
H2Former1280,40 ± 0,8390,26 ± 0,7394,89 ± 0,3896,98 ± 0,2591,57 ± 0,54
HResFormer3481.12 ± 1.1888,86 ± 0,8494,96 ± 0,3396,43 ± 0,2291,86 ± 1,01
MedScale-Former3580,97 ± 0,7490,47 ± 0,6895,02 ± 0,4195,89 ± 0,2690,65 ± 0,92
MCAFT3681,46 ± 1,0389,06 ± 0,7695,23 ± 0,2996,72 ± 0,1791,82 ± 0,57
MVM-UNet (Nosso)—82,47 ± 1,2890,65 ± 0,9496,02 ± 0,3697,06 ± 0,3191,80 ± 0,82

Tabela 2: Comparação de desempenho no conjunto de dados de segmentação de lesões cutâneas ISIC 2018. Comparação do MVM-UNet com métodos representativos de segmentação baseados em CNN, Transformer e SSM usando interseção média sobre União (mIoU), Coeficiente de Similaridade de Dados (DSC), precisão (Acc.), especificidade (Spe.) e sensibilidade (Sen.). Os resultados do MVM-UNet são reportados como média ± desvio padrão de três experimentos independentes de semente aleatória. Os resultados reportados como valores únicos foram reproduzidos das publicações originais correspondentes.

Comparado ao H-vmunet, o MVM-UNet melhorou o mIoU em 0,54%. Comparado ao MedScale-Former, o MVM-UNet melhorou o DSC em 0,18%. O MM-UNet também alcançou a maior precisão entre os métodos comparados. Os exemplos qualitativos representativos mostrados na Figura 7 demonstram segmentação precisa de lesões cutâneas representativas, incluindo pequenas regiões de lesão e lesões com limites irregulares.

Para o ISIC 2018, a significância estatística foi avaliada usando o teste de rank de Wilcoxon com base em resultados de segmentação pareada por imagem. Para a métrica de mIoU, o MVM-UNet alcançou uma melhora estatisticamente significativa em relação ao MCAFT, com um valor-p de < 0,001. Esses resultados apoiam que a melhora de desempenho observada no ISIC 2018 provavelmente não seria atribuível à variação aleatória.

No geral, o MVM-UNet alcançou os maiores mIoU, DSC e precisão entre os métodos comparados no conjunto de dados ISIC 2018 (Tabela 2). Os exemplos qualitativos mostrados na Figura 7 são consistentes com essas melhorias quantitativas.

Performance no Synapse
O método proposto também foi avaliado no conjunto de dados de segmentação multiorgânico Synapse e comparado com métodos representativos, incluindoUNet 8,21, AttentionU-Net 39, TransUNet23, TransNorm40, Swin U-Net25, TransDeepLab41, MEW-UNet42, MISSFormer30, H2Former12, HResFormer34, MedScale-Former35 e MCAFT36 (Tabela 3)). O conjunto de dados Synapse incluiu oito órgãos abdominais: aorta, vesícula biliar, baço, rim esquerdo, rim direito, fígado, pâncreas e estômago. Seguindo o protocolo experimental padrão, 18 casos (2.212 fatias axiais) foram usados para treinamento e 12 casos (1.567 fatias axiais) foram usados para testes. Nenhum conjunto de validação separado foi introduzido. Os casos de teste foram usados exclusivamente para avaliação final e não foram usados para treinamento de modelos, ajuste de hiperparâmetros ou seleção de modelos. Resultados representativos de segmentação qualitativa multiórgão são mostrados na Figura 8, e a comparação quantitativa é resumida na Tabela 3.

ModeloÁrbitro.DSCHD95Aor.Gal.Garoto. (L)Garoto. (R)Liv.Pan.Spl.Sto.
UNet876.8539.7889.0769.7277.7768.6993.4354.0186.6675.59
Att-UNet3977.7736.0289.5468.8877.9871.1193.5758.0487.3175.74
TransUNet2377.4831.6987.2363.1381.8777.0294.0855.8485.0675.62
TransNorm4078.430.2586.2365.1882.1878.6394.2255.3289.5376.02
Swin U-Net2579.1321.5585.4766.5383.2879.6194.2956.5890.6276.59
TransDeepLab4180.1621.2586.0469.1684.0879.8893.5361.1589.0178.36
MEW-UNet4278.9221.6886.6865.3282.8780.0293.6358.3890.1674.27
MISSFormer3080,92 ± 4,2320.09 ± 1.8986,43 ± 0,9869,81 ± 4,5684.29 ± 2.1181,03 ± 3,3493,85 ± 0,8961.11 ± 4.6790,05 ± 3,7880,62 ± 1,02
H2Former1281,05 ± 2,5620.13 ± 7.2386,61 ± 3,2169,32 ± 1,2385.12 ± 4.7882,01 ± 2,8994,09 ± 2:4561,16 ± 0,7689,97 ± 4,1280,94 ± 3,56
HResFormer3480,65 ± 4,0217.48 ± 6.8989,16 ± 2,7866,94 ± 0,7884,61 ± 4,3482,15 ± 2,5693.11 ± 1.3459,92 ± 4,1291.08 ± 3.4580,75 ± 2,01
MedScale-Former3580,78 ± 1,3420,02 ± 3,7888,79 ± 4,0269,82 ± 2,5685,13 ± 0,8781,63 ± 4,7894.10 ± 2.7860,72 ± 1,8990.14 ± 1.5680,93 ± 4,56
MCAFT3681,03 ± 3:4519.98 ± 5.1289,76 ± 0,7668,96 ± 3,8984,54 ± 2,5681,98 ± 3,1294.32 ± 4.0160,85 ± 3,6789,06 ± 4,8980,91 ± 1,78
MVM-UNet (Nosso)—81,26 ± 1,8918,72 ± 2,1688,53 ± 3,2269,84 ± 4,2385,37 ± 2,6982,67 ± 1,6794,41 ± 3,5661,02 ± 2,7890,19 ± 0,6781,48 ± 3,12

Tabela 3: Comparação de desempenho no conjunto de dados de segmentação multiórgão Synapse. Comparação do MVM-UNet com métodos representativos de segmentação baseados em CNN, Transformer e SSM, utilizando o Coeficiente de Similaridade de Dados (DSC), distância de Hausdorff no percentil 95 (HD95) e escores de Dice específicos de órgãos para a aorta (Aor.), vesícula biliar (Gal.), rim esquerdo (Kid. (L)), rim direito (Kid. (R)), fígado (Liv.), pâncreas (Pan.), baço (Spl.) e estômago (Sto.). Os resultados do MVM-UNet são reportados como média ± desvio padrão de três experimentos independentes de semente aleatória. Os resultados reportados como valores únicos foram reproduzidos das publicações originais correspondentes.

MVM-UNet alcançou uma média de DSC de 81,26% ± 1,89% e uma média de HD95 de 18,72 ± 2,16 em três temporadas independentes. Os resultados demonstram desempenho estável de segmentação no conjunto de dados Synapse. Entre os métodos avaliados, o MVM-UNet alcançou a maior média de DSC e a segunda menor média de HD95.

Para o Synapse, a significância estatística foi avaliada usando o teste de rank por sinal Wilcoxon baseado em valores de DSC pareados por caso. O MM-UNet apresentou uma melhora estatisticamente significativa em relação ao H2Former, com um p-valor de 0,026, indicando que a melhora observada no desempenho da segmentação foi estatisticamente significativa.

Resultados representativos bem-sucedidos e subótimos
Resultados qualitativos representativos bem-sucedidos são mostrados nas Figuras 6–8. Os resultados bem-sucedidos são caracterizados por máscaras de segmentação previstas que correspondem de perto às anotações de base e delimitam com precisão as lesão primária ou os limites dos órgãos. Desfechos representativos subótimos podem ocorrer para alvos muito pequenos, limites de baixo contraste, formas irregulares de lesões, órgãos com contraste de intensidade fraca ou limites anatômicamente ambíguos, e tipicamente aparecem como subsegmentação, supersegmentação, vazamento de fronteira ou fragmentos de máscara descontínuos. Quando tais resultados são observados, os usuários devem verificar se os procedimentos de redimensionamento de imagem, normalização, interpolação de máscaras, seleção de checkpoint de modelo, limiar de inferência (para conjuntos de dados ISIC) ou previsão argmax (para Synapse) e cálculo de métricas são consistentes com os descritos no Protocolo.

Estudo de ablação do módulo MV4D
A contribuição do módulo MV4D foi avaliada adicionando progressivamente os pares de varredura ziguezague, hierárquica, espiral e radial, seguida pelo módulo SFusion Mamba (Tabela 4; Figura 9). Quando apenas o par de varredura em ziguezague era usado, o desempenho da segmentação era limitado. Adicionar o par de varredura hierárquica melhorou substancialmente o desempenho, indicando o benefício de incorporar informações multiescala. A adição subsequente dos pares de varredura espiral e radial melhorou ainda mais o desempenho da segmentação ao aprimorar a representação de contornos e bordos. A incorporação do módulo SFusion Mamba resultou no maior desempenho entre as configurações avaliadas.

ModeloPar de varredura em ziguezaguePar de varredura hierárquicaPar de varredura espiralPar de varredura radialSFusion MambaISIC 2017 mIoU (%)ISIC 2017 DSC (%)ISIC 2018 mIoU (%)ISIC 2018 DSC (%)
MVM-UNet✓56.7572.4658.0373.45
MVM-UNet✓✓72.3884.0173.4584.7
MVM-UNet✓✓✓75.6986.2076.9486.94
MVM-UNet✓✓✓✓76.4186.6178.2887.82
MVM-UNet✓✓✓✓✓80.9491.3282.4790.65

Tabela 4: Estudo de ablação do módulo Multi-View 4-Directional (MV4D). Desempenho obtido incorporando progressivamente os pares de varredura hierárquico, espiral e radial e o módulo Spatial Fusion Mamba (SFusion Mamba) na arquitetura básica de pares de varredura em ziguezague. O desempenho é reportado usando a média de Interseção sobre União (mIoU) e o Coeficiente de Similaridade de Dados (DSC) nos conjuntos de dados ISIC 2017 e ISIC 2018.

figure-results-4
Figura 9. Estudo de ablação do módulo Multi-View 4-Directional (MV4D). (A) Mudança na interseção média sobre União (mIoU) após a incorporação sequencial do par de varredura hierárquico, par de varredura espiral, par de varredura radial e Mamba de Fusão Espacial (SFusion Mamba) na arquitetura base. (B) Alteração no Coeficiente de Similaridade dos Dados (DSC) após a incorporação sequencial do par de varredura hierárquico, par de varredura espiral, par de varredura radial e Mamba de Fusão Espacial (SFusion Mamba) na arquitetura base. (C) Mudança no mIoU após a incorporação sequencial do par de varredura hierárquica, par de varredura espiral, par de varredura radial e Mamba de Fusão Espacial (SFusion Mamba) na arquitetura de base sob o segundo contexto experimental. (D) Mudança no DSC após a incorporação sequencial do par de varredura hierárquico, par de varredura espiral, par de varredura radial e Spatial Fusion Mamba (SFusion Mamba) na arquitetura de base sob o segundo contexto experimental. Por favor, clique aqui para ver uma versão ampliada desta figura.

No conjunto de dados ISIC 2017, o módulo completo MV4D alcançou um mIoU de 80,94% e um DSC de 91,32%. As tendências de desempenho correspondentes para mIoU e DSC são mostradas na Figura 9A e na Figura 9B, respectivamente. No conjunto de dados ISIC 2018, o módulo completo MV4D alcançou um mIoU de 82,47% e um DSC de 90,65%. As tendências de desempenho correspondentes são mostradas na Figura 9C e na Figura 9D, respectivamente.

Salvo especificação em contrário, todos os experimentos de ablação foram realizados usando uma semente aleatória fixa de 100, enquanto os principais resultados de comparação foram relatados como média ± SD sobre três sementes aleatórias independentes (1, 52 e 100). Consequentemente, os resultados da ablação têm a intenção de comparar as contribuições relativas dos componentes individuais sob um cenário controlado de semente única, em vez de reproduzir o desempenho final multisemente relatado nos principais experimentos de comparação.

No geral, a incorporação progressiva dos pares de varredura adicionais e do módulo SFusion Mamba melhorou consistentemente o desempenho da segmentação, com a configuração completa do MV4D alcançando o maior desempenho em ambos os conjuntos de dados.

Estudo de ablação do Bloco de Visão Multi-Vista (MVV)
O Bloco MVV foi avaliado comparando a arquitetura de linha base com uma versão que incorpora o ramo de Projeção Up-Down (Tabela 5). No conjunto de dados ISIC 2017, a inclusão do ramo de Projeção Up-Down aumentou o mIoU de 78,83% para 80,96% e o DSC de 88,15% para 91,02%. No conjunto de dados ISIC 2018, o mIoU aumentou de 80,32% para 82,46%, enquanto o DSC subiu de 89,15% para 90,57%.

ModeloBloco de MVV de ReferênciaProjeção de Cima para BaixoISIC 2017 mIoU (%)ISIC 2017 DSC (%)ISIC 2018 mIoU (%)ISIC 2018 DSC (%)
MVM-UNet✓78.8388.1580.3289.15
MVM-UNet✓✓80.9691.0282.4690.57

Tabela 5: Estudo de ablação do Bloco de Visão Multi-Vista (MVV). Comparação de desempenho do bloco base Multi-View Vision (MVV) com e sem o ramo de projeção Up-Down. O desempenho é reportado usando a média de Interseção sobre União (mIoU) e o Coeficiente de Similaridade de Dados (DSC) nos conjuntos de dados ISIC 2017 e ISIC 2018.

Os experimentos de ablação em bloco MVV foram realizados usando a semente aleatória fixa de 100. Consequentemente, o desempenho da configuração contendo o ramo de Projeção Up-Down reflete a configuração controlada de ablação single-seed e pode diferir ligeiramente do desempenho médio de três seed relatado para o modelo completo MVM-UNet nos principais experimentos de comparação.

No geral, a incorporação do ramo de Projeção Up-Down melhorou consistentemente o desempenho da segmentação em ambos os conjuntos de dados, com aumentos observados tanto para mIoU quanto para DSC.

Estudo de ablação do módulo Multi-stage Fusion Mamba (MFusion Mamba)
O módulo MFusion Mamba foi avaliado comparando diferentes estratégias de fusão grosseira juntamente com o componente de Fusão Fina (Tabela 6; Figura 10). Sem MFusion Mamba, MVM-UNet alcançou um mIoU de 75,47% e um DSC de 86,01% no conjunto de dados ISIC 2017, além de um mIoU de 77,49% e um DSC de 87,29% no conjunto ISIC 2018. Entre as estratégias de fusão grosseira avaliadas, o produto Hadamard alcançou a maior melhoria. A incorporação do componente Fusão Fina aumentou ainda mais o desempenho da segmentação. A configuração completa do MFusion Mamba alcançou um mIoU de 80,95% e um DSC de 91,18% no ISIC 2017, e um mIoU de 82,51% e um DSC de 90,58% no ISIC 2018.

ModeloFusão grosseiraMáximo por ElementoFusão grosseira Adição a ElementoFusão grosseira Produto de HadamardMódulo de Fusão FinaISIC 2017 mIoU (%)ISIC 2017 DSC (%)ISIC 2018 mIoU (%)ISIC 2018 DSC (%)
MVM-UNet75.4786.0177.4987.29
MVM-UNet✓76.2186.4778.3587.82
MVM-UNet✓76.8386.8679.1188.30
MVM-UNet✓78.2687.8380.0688.96
MVM-UNet✓✓80.9591.1882.5190.58

Tabela 6: Estudo de ablação do módulo Multi-stage Fusion Mamba (MFusion Mamba). Comparação de desempenho de diferentes estratégias de Fusão Grosseira, incluindo fusão máxima (Max), adição elemental (⊕) e produto de Hadamard (⊙), juntamente com o módulo completo de Fusão Fina. O desempenho é reportado usando a média de Interseção sobre União (mIoU) e o Coeficiente de Similaridade de Dados (DSC) nos conjuntos de dados ISIC 2017 e ISIC 2018.

figure-results-5
Figura 10. Estudo de ablação do módulo Multi-stage Fusion Mamba (MFusion Mamba). (A) Mudança na interseção média sobre União (mIoU) obtida usando diferentes estratégias de fusão grosseira (soma máxima, elemento a elemento e produto de Hadamard) e o módulo completo de Fusão Fina. (B) Alteração no Coeficiente de Similaridade de Dados (DSC) obtida usando diferentes estratégias de fusão grosseira (soma máxima, elemento a elemento e produto de Hadamard) e o módulo completo de Fusão Fina. (C) Variação no mIoU obtida usando diferentes estratégias de fusão grosseira (soma máxima, elemento a elemento e produto de Hadamard) e o módulo completo de Fusão Fina sob o segundo contexto experimental. (D) Mudança no DSC obtido usando diferentes estratégias de fusão grosseira (soma máxima, elemento a elemento e produto de Hadamard) e no módulo completo de Fusão Fina sob o segundo contexto experimental. Por favor, clique aqui para ver uma versão ampliada desta figura.

No conjunto de dados ISIC 2017, a configuração completa MFusion Mamba alcançou um mIoU de 80,95% e um DSC de 91,18%. As tendências de desempenho correspondentes para mIoU e DSC são mostradas na Figura 10A e na Figura 10B, respectivamente. No conjunto de dados ISIC 2018, a configuração completa MFusion Mamba alcançou um mIoU de 82,51% e um DSC de 90,58%. As tendências de desempenho correspondentes são mostradas na Figura 10C e na Figura 10D, respectivamente. Os experimentos de ablação MFusion Mamba foram realizados usando a semente aleatória fixa de 100. Consequentemente, a configuração completa do MFusion Mamba representa o resultado controlado da ablação de semente única e pode diferir levemente do desempenho médio de três sementes reportado para o modelo completo MVM-UNet nos principais experimentos de comparação.

No geral, a incorporação progressiva da estratégia de fusão grossa do produto Hadamard e do componente Fine Fusion melhorou consistentemente o desempenho da segmentação, com a configuração completa MFusion Mamba alcançando o maior desempenho em ambos os conjuntos de dados.

Resumo dos estudos de ablação
Ao longo dos experimentos de ablação, incorporando progressivamente os ramos hierárquicos, espiral e radiais de par de varredura, juntamente com o módulo SFusion Mamba, o desempenho da segmentação melhorou consistentemente (Tabela 4; Figura 9). De forma semelhante, a inclusão do ramo de Projeção Up-Down no MVV Block melhorou tanto o mIoU quanto o DSC nos conjuntos de dados ISIC 2017 e ISIC 2018 (Tabela 5). A configuração completa MFusion Mamba também alcançou o maior desempenho entre as estratégias avaliadas de fusão de características multiestágio (Tabela 6; Figura 10).

Estudo de ablação de hiperparâmetros
Os efeitos do tamanho da entrada e do valor de abandono foram avaliados nos conjuntos de dados ISIC 2017 e ISIC 2018 (Tabela 7). Três resoluções de entrada (256 × 256, 384 × 384 e 512 × 512) foram comparadas. Sob as configurações avaliadas, a resolução de entrada 256 × 256 alcançou o maior desempenho de segmentação em ambos os conjuntos de dados.

ModeloTamanho de entrada 256 × 256Tamanho de entrada: 384 × 384Tamanho de entrada 512 × 512Dropout 0.0Dropout 0.1Dropout 0.2Dropout 0.3ISIC 2017 mIoU (%)ISIC 2017 DSC (%)ISIC 2018 mIoU (%)ISIC 2018 DSC (%)
MVM-UNet✓✓80.0288.9181.7689.92
MVM-UNet✓✓79.9688.8780.9789.47
MVM-UNet✓✓77.4887.2878.7688.11
MVM-UNet✓✓79.3688.5381.1389.62
MVM-UNet✓✓80.9490.1582.4990.50
MVM-UNet✓✓79.7188.7180.4689.18

Tabela 7: Estudo de ablação do tamanho da imagem de entrada e do valor de dropout. Comparação de desempenho do MVM-UNet usando diferentes tamanhos de imagem de entrada e valores de dropout. O desempenho da segmentação é reportado usando a média de Interseção sobre União (mIoU) e o Coeficiente de Similaridade de Dados (DSC) nos conjuntos de dados ISIC 2017 e ISIC 2018.

Diferentes valores de abandono também foram avaliados. Entre as configurações testadas, um valor de dropout de 0,2 alcançou o maior desempenho de segmentação em ambos os conjuntos de dados e, portanto, foi usado nos experimentos principais.

Estudo de ablação da configuração da camada codificador-decodificador
Diferentes configurações de camada codificador-decodificador foram avaliadas para examinar o efeito da profundidade da rede no desempenho da segmentação e no custo computacional (Tabela 8). Entre as configurações avaliadas, a arquitetura simétrica {2, 2, 2, 2}-{2, 2, 2, 2} alcançou o maior desempenho geral de segmentação, mantendo a complexidade relativamente baixa do modelo. Aumentar a profundidade da rede para {2, 2, 9, 2}-{2, 9, 2, 2} produziu desempenho de segmentação comparável, mas aumentou tanto o número de parâmetros quanto o custo computacional.

ModeloConfiguração da camada encoder-decoderParâmetros (M)FLOPs (G)ISIC 2017 mIoU (%)ISIC 2017 DSC (%)ISIC 2018 mIoU (%)ISIC 2018 DSC (%)
MVM-UNet{2,2,2,1}-{2,2,2,2}28.224.1280.0288.9181.1689.64
MVM-UNet{2,2,2,2}-{2,2,2,2}28.364.3980.9590.1782.590.41
MVM-UNet{2,2,2,3}-{2,3,2,2}30.144.8879.8388.881.5689.85
MVM-UNet{2,4,2,2}-{2,2,4,2}33.465.3279.6588.781.4589.79
MVM-UNet{2,2,9,2}-{2,9,2,2}45.637.7880.9690.0982.4890.43

Tabela 8: Estudo de ablação das configurações de camadas codificador-decodificador. Comparação de desempenho de diferentes configurações de camadas codificador-decodificador. A tabela relata o número de parâmetros do modelo (Parâmetros), operações em ponto flutuante (FLOPs), interseção média sobre União (mIoU) e Coeficiente de Similaridade de Dados (DSC) nos conjuntos de dados ISIC 2017 e ISIC 2018.

Comparação de custos computacionais
A eficiência computacional do modelo final MVM-UNet foi comparada com métodos de referência representativos, incluindo HResFormer, H-vmunet, MISSFormer, H2Former, MedScale-Former e MCAFT, sob o mesmo ambiente de hardware e resolução de entrada (Tabela 9). As métricas avaliadas incluíram tempo de treinamento por época, tempo de inferência por imagem, uso máximo de memória da GPU durante o treinamento, número de parâmetros treináveis (Params) e FLOPs. O tempo de treinamento foi medido como o tempo necessário para completar uma época de treinamento, o tempo de inferência foi medido como o tempo médio de processamento por imagem de teste, e os FLOPs foram calculados para uma única passagem direta.

MétodoÁrbitro.Tempo de treinamento (s/época)Tempo de inferência (ms/imagem)Memória de pico da GPU (GB)Parâmetros (M)FLOPs (G)
HResFormer34520213.0819.2117.00131.70
H-vmunet288827.005.010.748.97
MISSFormer3035592.8612.642.33109.45
H2Former1213029.028.833.7133.56
MedScale-Former358023.505.94.963.79
MCAFT3614534.008.730.0012.00
MVM-UNet (Nosso)—10426.807.928.364.39

Tabela 9: Comparação computacional de custos entre MVM-UNet e métodos de referência representativos. Comparação da eficiência computacional sob o mesmo ambiente de hardware e resolução de entrada. Métricas reportadas incluem tempo de treinamento por época, tempo de inferência por imagem, uso máximo de memória da unidade de processamento gráfico (GPU) durante o treinamento, número de parâmetros do modelo (Parâmetros) e operações em ponto flutuante (FLOPs). Métodos com implementações disponíveis foram avaliados usando o mesmo ambiente experimental sempre que possível.

Como resumido na Tabela 9, o MVM-UNet exigiu 104 s por época de treinamento, 26,8 ms por imagem para inferência, 7,9 GB de memória de pico da GPU, 28,36 milhões de parâmetros treináveis e 4,39 GFLOPs. Comparado ao HResFormer, MISSFormer, H2Former e MCAFT, o MVM-UNet exigiu menor tempo de treinamento, menor tempo de inferência, menor uso máximo de memória da GPU e menos FLOPs. Comparado aos modelos leves H-vmunet e MedScale-Forter, o MVM-UNet exigiu maior tempo de treinamento e uso de memória, mas manteve uma velocidade de inferência comparável, mantendo uma complexidade computacional relativamente baixa.

Disponibilidade de Dados e Código
Os conjuntos de dados ISIC 2017 e ISIC 2018 estão disponíveis publicamente no arquivo da International Skin Imaging Collaboration (ISIC), e o conjunto de dados Synapse está disponível publicamente no repositório Synapse. Os detalhes da aquisição do conjunto de dados são fornecidos na declaração de Ética. Resumidamente, o conjunto de dados ISIC 2017 foi obtido do repositório oficial de dados ISIC 2017 Challenge (https://challenge.isic-archive.com/data/#2017), o conjunto de dados ISIC 2018 foi obtido do repositório oficial ISIC 2018 Challenge Task 1 (https://challenge.isic-archive.com/data/#2018), e o conjunto de dados Synapse foi obtido do repositório Synapse sob o identificador de acesso syn3193805 (https://www.synapse.org/Synapse:syn3193805). As datas correspondentes de download estão informadas na declaração de Ética. Uma versão pública inicial do código-fonte MVM-UNet está disponível em https://github.com/LIXUEGUANG002/MVM-UNet. O repositório inclui a implementação do modelo, principais módulos de rede, arquivos de configuração, instruções de organização de conjuntos de dados, scripts de treinamento e scripts de avaliação. O pacote completo de reprodutibilidade, incluindo arquivos de configuração finalizados, scripts experimentais completos, documentação adicional e checkpoints de modelos treinados, será disponibilizado publicamente após a publicação.

Tabela Suplementar 1. Arquitetura camada por camada da Multi-view Vision Mamba UNet (MVM-UNet). A tabela resume a arquitetura sequencial de rede do MVM-UNet, incluindo a camada de entrada, embedding de patches, estágios do codificador, blocos Multi-View Vision (MVV), operações de fusão de patches, Multi-stage Fusion Mamba (MFusion Mamba), estágios decodificadores, upsampling final e cabeça de segmentação. Para cada estágio, a operação correspondente, os parâmetros principais e o tamanho da característica de saída são listados. E1–E4 denotam os mapas de características do estágio codificador usados para fusão de características multiestágio. B, H e W denotam o tamanho do lote, altura da imagem e largura da imagem, respectivamente, e K indica o número de classes de saída (K = 1 para segmentação binária de lesão cutânea e K = 9 para segmentação multiclasse Synapse, compreendendo uma classe de fundo e oito classes de órgãos em primeiro plano). MFusion Mamba gera recursos de codificador multiestágio fundidos que são integrados com os recursos correspondentes do decodificador durante a reconstrução do decodificador. Por favor, clique aqui para baixar este arquivo.

Arquivo Suplementar 1. Pseudocódigo do módulo Multi-View Four-Directional (MV4D) e do Multi-stage Fusion Mamba (MFusion Mamba). O arquivo suplementar apresenta o fluxo de trabalho algorítmico dos dois principais módulos usados no MVM-UNet. O Algoritmo 1 descreve o pipeline completo de processamento do módulo Multi-View Four-Directional (MV4D), incluindo achatamento de características, construção de quatro sequências de pares de varredura (ziguezague, hierárquica, espiral e radial), processamento seletivo em espaço de estados (S6), Scan-view Fusion Mamba (SFusion Mamba) e reconstrução do mapa de características de saída. O Algoritmo 2 descreve o módulo Multi-stage Fusion Mamba (MFusion Mamba), incluindo alinhamento de características do codificador multiestágio, fusão grosseira, fusão fina, integração do decodificador e geração da característica de entrada do decodificador fundido. Variáveis e dimensões tensoriais são definidas dentro dos algoritmos. Por favor, clique aqui para baixar este arquivo.

Arquivo de Codificação Suplementar 1. Pacote de código-fonte para MVM-UNet (MVM-UNet-master). O arquivo suplementar do ZIP contém a implementação completa do código-fonte do MVM-UNet usada neste estudo. O pacote inclui a arquitetura de rede, módulos Multi-View Four-Directional (MV4D) e Multi-stage Fusion Mamba (MFusion Mamba), arquivos de configuração, scripts de treinamento e avaliação para o ISIC 2017, ISIC 2018, e conjuntos de dados Synapse, funções utilitárias e documentação do projeto necessária para reproduzir os experimentos descritos neste protocolo. O pacote também inclui o arquivo README com instruções de instalação, dependências de software, organização de conjuntos de dados e fluxos de trabalho de treinamento e inferência. Por favor, clique aqui para baixar este arquivo.

Discussão

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este protocolo descreve o MVM-UNet, uma estrutura de segmentação de imagens médicas baseada em Mamba. O método foi projetado para abordar duas limitações dos modelos de segmentação existentes. Primeiro, métodos convencionais baseados em CNN têm capacidade limitada de modelar dependências de longo alcance e informações contextuais hierárquicas em imagens médicascomplexas 43. Segundo, métodos baseados em transformadores podem modelar o contexto global, mas geralmente exigem um custo computacional maior23,25. MVM-UNet utiliza a arquiteturaMamba 13,14,15,16,17,18,19,20 para alcançar modelagem eficiente de longo alcance e introduz a varredura multiview e a fusão de características em múltiplos estágios para melhorar a precisão da segmentação. Do ponto de vista da execução e reprodutibilidade do protocolo, vários passos são críticos para obter resultados comparáveis aos relatados neste estudo. Primeiro, a divisão do conjunto de dados, redimensionamento de imagens, interpolação de máscaras, estratégia de normalização e conversão de canal devem ser mantidas consistentes com o protocolo, pois diferenças no pré-processamento podem alterar diretamente a distribuição de entrada e os limites da máscara. Em particular, máscaras de segmentação devem ser redimensionadas usando interpolação de vizinhos mais próximos para evitar a introdução de valores de rótulo nãointeiros 44. Segundo, a configuração de treinamento, incluindo a resolução de entrada, tamanho do lote, configurações do otimizador, cronograma de taxa de aprendizado, seed aleatória, coeficientes de peso de perda, regra de seleção de checkpoint e operação de limiar de inferência ou argmax, deve ser verificada antes de comparar os resultados. Se os resultados reproduzidos forem claramente inferiores aos valores reportados, os usuários devem primeiro verificar o caminho do conjunto de dados, formato de anotação, convenção de rótulos em primeiro plano e fundo, carregamento de checkpoint, validação ou teste de divisão e procedimento de cálculo de métricas. Vazamento de fronteiras, máscaras fragmentadas ou pequenas estruturas ausentes geralmente indicam possíveis inconsistências no pré-processamento, interpolação de máscaras, seleção de checkpoint ou pós-processamento de inferência.

A principal contribuição do MVM-UNet é o módulo MV4D. Diferentemente das estratégias simples de varredura bidimensional adotadas em arquiteturas anteriores baseadas em modelos de espaço de estados14, 15, 16, 17, 18, 19, 20, o MV4D utiliza pares de varredura em ziguezague, hierárquico, espiral e radial para capturar informações visuais complementares. Pares de varredura em ziguezague ajudam a equilibrar informações espaciais locais e globais, pares de varredura hierárquica melhoram a extração de características multiescala, pares de varredura em espiral fortalecem a representação global de contornos, e pares de varredura radial melhoram a extração local de características de borda e fronteira. O SFusion Mamba então integra essas modalidades complementares de varredura. Os resultados representativos e os experimentos de ablação (Tabelas 4 e 5; Figura 9) demonstram que tanto a diversidade dos padrões de varredura quanto o mecanismo de fusão contribuem para o melhor desempenho da segmentação. Outro componente importante é o MFusion Mamba, que serve como um módulo de fusão de características entre o codificador e o decodificador. Arquiteturas convencionais em formato de U, incluindoU-Net 8,21,V-Net 44 e muitas variantes subsequentes 9,23,25, transferem informações principalmente por meio de conexões de salto por etapas. Essa estratégia pode não explorar totalmente representações complementares de codificadores multiestágio. MFusion Mamba resolve essa limitação combinando características do codificador através da Fusão Grosseira e Fusão Fina antes de decodificar. Os resultados representativos (Tabela 6; Figura 10) mostrar que o MFusion Mamba melhora consistentemente o desempenho da segmentação, indicando que a fusão explícita de características multiestágio é benéfica para segmentação de imagens médicas.

A contribuição metodológica do MVM-UNet deve ser entendida como um redesenho em nível arquitetônico, e não como a invenção de cada operação individual do zero. Arquiteturas codificador-decodificador em formato de U, conexões residuais, camadas de projeção e blocos Mamba/modelo de espaço de estados (SSM) foram amplamente investigados em estudosanteriores 8,13,14,15,16,17,18,19,20,21,23,24,25 ,29,44. No entanto, combinar diretamente esses componentes não resolve necessariamente os desafios específicos da segmentação de imagens médicas. A novidade do MVM-UNet está no design coordenado de três aspectos. Primeiro, o módulo MV4D substitui um padrão de varredura único ou limitado por quatro ramificações complementares de par de varredura, permitindo que o modelo capture continuidade espacial, estrutura multiescala, informações globais de contorno e detalhes locais de fronteira. Segundo, o SFusion Mamba e o MVV Block fusível aprimoram e aprimoram recursos específicos da varredura antes de serem passados para a próxima etapa da rede. Terceiro, o MFusion Mamba agrega explicitamente as características do codificador multiestágio antes da decodificação, complementando as conexões convencionais de salto 8,21,44 e melhorando o uso de informações hierárquicas. Os resultados da ablação (Tabelas 4–6; Figuras 9 e 10) reforçam ainda mais essa lógica de design, mostrando que varredura multiview, fusão específica de varredura, o ramo de Projeção Up-Down e a fusão de características multiestágio contribuem para o desempenho melhorado da segmentação. Portanto, a contribuição do MVM-UNet está em uma integração específica para tarefa e validada experimentalmente da modelagem espacial baseada em Mamba e da fusão de características codificador-decodificador para segmentação de imagens médicas.

Apesar de seu forte desempenho, o MVM-UNet apresenta várias limitações. Primeiro, o desempenho da segmentação não melhorou consistentemente com tamanhos maiores de imagem de entrada, sugerindo que a arquitetura atual pode não explorar totalmente as informações de alta resolução das imagens. Segundo, o modelo não foi amplamente avaliado sob condições de imagem de alto ruído ou baixo contraste, que são frequentemente encontradas na prática clínica e podem afetar a robustez à segmentação. Terceiro, embora o modelo tenha alcançado forte desempenho em três conjuntos de dados públicos disponíveis, é necessária validação adicional em conjuntos de dados de imagem médica maiores e mais diversos. O protocolo pode ser adaptado para outras tarefas de segmentação de imagens médicas, mas várias modificações devem ser implementadas com cuidado. Para uma nova tarefa de segmentação binária, os usuários devem modificar o carregador do conjunto de dados, parâmetros de normalização, resolução de entrada e limiar de primeiro plano, mantendo o procedimento binário de perda e avaliação BCE-Dice. Para uma nova tarefa de segmentação multiclasse, os usuários devem atualizar o número de classes de saída, mapeamento de índice de classes, conversão one-hot, configuração de perda CE-Dice e métricas de avaliaçãopor classe 44. Para conjuntos de dados em tons de cinza, a configuração do canal de entrada deve ser adaptada à arquitetura do modelo, seja usando uma projeção de entrada de canal único ou repetindo a imagem em tons de cinza para criar uma entrada de três canais, dependendo da implementação. O método pode ter desempenho subótimo quando as estruturas alvo são extremamente pequenas, os limites são fracos ou ambíguos, o contraste da imagem difere substancialmente dos dados de treinamento ou o conjunto de dados alvo apresenta um deslocamento substancial do domínio. Nessas condições, os usuários podem precisar ajustar a resolução de entrada, estratégia de aumento, balanceamento de classes, peso de perda ou ajuste fino do cronograma, mantendo o mesmo protocolo de avaliação para garantir comparações justas.

No conjunto de dados Synapse, o MVM-UNet alcançou forte desempenho em segmentação multiórgão sob a divisão comumente usada de treinamento de 18 casos e testes de 12 casos. Embora o método proposto tenha alcançado a maior média de DSC entre os métodos de referência representativa avaliados neste estudo (Tabela 3), alguns métodos mais recentes relataram maior desempenho do Synapse sob diferentes ambientes de treinamento e protocolosde avaliação 29. Portanto, evitamos descrever o MVM-UNet como alcançando desempenho geral de ponta no Synapse e, em vez disso, descrevemos como alcançando forte desempenho no ambiente experimental avaliado. Esses achados sugerem que o desempenho do MVM-UNet decorre da adaptação específica por tarefa da modelagem baseada em Mamba para segmentação de imagensmédicas 13,14,15,16,17,18,19,20. Em vez de depender de uma única estratégia de varredura, o MVM-UNet decompõe a modelagem de características visuais em múltiplas vistas complementares de varredura e as integra por meio do SFusion Mamba. Além disso, o MFusion Mamba melhora o fluxo de informações entre o codificador e o decodificador ao agregar explicitamente características multiestágio do codificador além das conexões convencionais de salto 8,21,44. Esse design permite que o modelo proposto alcance forte desempenho tanto em segmentação binária de lesões cutâneas quanto em tarefas de segmentação multiorgânica.

Trabalhos futuros devem focar em melhorar o MVM-UNet para segmentação de imagens médicas em alta resolução. Arquiteturas multiescala mais profundas ou adaptativas podem permitir que o modelo explore informações de imagem de alta resolução de forma mais eficaz. Estudos futuros também devem avaliar a robustez do MVM-UNet em condições de imagem ruidosas, de baixo contraste e deslocadas de domínio. Além disso, a estratégia proposta de varredura multiview pode ser estendida a outras tarefas de análise médica de imagens, incluindo detecçãode lesões 4, localização de órgãos, classificação tumoral e segmentaçãotridimensional 10,11. Em resumo, o MVM-UNet fornece uma estrutura eficaz e reprodutível para segmentação de imagens médicas. A integração do módulo MV4D com o MFusion Mamba permite que o modelo capture informações espaciais complementares, contexto multiescala, informações globais de contorno, detalhes locais de fronteira e características semânticas em múltiplos estágios. Os resultados representativos obtidos nos conjuntos de dados ISIC 2017, ISIC 2018 e Synapse demonstram a eficácia da arquitetura proposta. Este protocolo fornece uma referência prática para pesquisadores que desenvolvem arquiteturas eficientes baseadas em SSM/Mamba para segmentação de imagensmédicas 13,14,15,16,17,18,19,20.

Divulgações

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os autores declaram que não têm interesses financeiros concorrentes.

Agradecimentos

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Essa pesquisa não recebeu financiamento externo.

Materiais

Lista de materiais utilizados neste artigo
NomeEmpresaNúmero de catálogoComentários
Hardware - GPU workstation or GPU serverInstitutional computing platform / local workstationCustom-built local GPU workstation; Ubuntu 22.04.1 com Linux kernel 6.8.0; Intel Core i9-13900K CPU; GPU NVIDIA A800; 128 GB RAM; 512 GB de armazenamento local.Plataforma computacional para treinamento, validação, teste, ablação e experimentos apenas de inferência.
Hardware - Graphics processing unit (GPU)NVIDIA CorporationGPU NVIDIA A800 (80 GB de memória).Treinamento e inferência acelerados por GPU.
Hardware - Central processing unit (CPU)Intel Corporation / AMDCPU Intel Core i9-13900K de 13ª geração.Processador host para carregamento de dados, pré-processamento e execução de experimentos.
Hardware - System memory (RAM)Institutional computing platform / local workstation128 GB de RAM do sistemaMemória para carregamento de conjuntos de dados, pré-processamento e treinamento.
Hardware - StorageInstitutional computing platform / local workstationUnidade de estado sólido NVMe de 2 TB.Armazenamento para conjuntos de dados, checkpoints, logs e figuras de previsão geradas.
Software environment - Operating systemCanonical Ltd.Recomendado: Ubuntu 22.04.1 LTSSistema operacional para o ambiente computacional.
Software environment - Conda environmentAnaconda, Inc. / MinicondaNome do ambiente: mvmunetAmbiente Python usado para instalar e isolar dependências.
Software environment - PythonPython Software FoundationPython 3.8Linguagem de programação usada para implementação e execução de experimentos.
Software environment - CUDA toolkitNVIDIA CorporationCUDA Toolkit 11.8Backend de computação GPU necessário para PyTorch e pacotes relacionados ao Mamba.
Software environment - cuDNNNVIDIA CorporationcuDNN 8.7.0.Primitivas de aprendizado profundo aceleradas por GPU usadas através do PyTorch.
Python package - PyTorchPyTorchtorch == 2.0.1Framework de aprendizado profundo para treinamento de modelos, cálculo de perda, otimização e inferência.
Python package - TorchvisionPyTorchtorchvision == 0.14.0Utilitários de transformação de imagem usados em pré-processamento e aumento.
Python package - TorchaudioPyTorchtorchaudio == 0.13.0Instalado com o ambiente PyTorch recomendado.
Python package - timmtimm developerstimm == 0.4.12Dependência de componente ou utilitário de modelo listada nas instruções do ambiente do repositório.
Python package - tritonOpenAI / Triton developerstriton == 2.0.0Dependência usada por componentes de modelagem de sequência acelerados por GPU.
Python package - causal-conv1dcausal-conv1d developerscausal_conv1d == 1.0.0Dependência de convolução causal eficiente necessária pela implementação Mamba.
Python package - mamba-ssmMamba SSM developersmamba_ssm == 1.0.1Pacote de modelagem de sequência em espaço de estados usado para componentes relacionados ao Mamba/S6.
Python package - NumPyNumPy developersNumPy versão 1.24.3.Computação numérica e operações de matriz.
Python package - SciPySciPy developersVersão do SciPy 1.10.1.Computação científica; scipy.ndimage.zoom é importado em utils.py.
Python package - SimpleITKInsight Software ConsortiumVersão do SimpleITK 2.2.1.Utilitário de entrada/saída e pré-processamento de imagem médica importado em utils.py.
Python package - MedPyMedPy developersVersão do MedPy 0.4.0.Pacote de cálculo de métricas de imagem médica importado em utils.py.
Python package - scikit-imagescikit-image developersVersão do scikit-image 0.21.0.Dependência de processamento de imagem listada no README.
Python package - scikit-learnscikit-learn developersVersão do scikit-learn 1.3.2.Pacote utilitário de aprendizado de máquina listado no README.
Python package - matplotlibMatplotlib developersVersão do Matplotlib 3.7.2.Usado para salvar figuras de visualização qualitativa.
Python package - h5pyh5py developersVersão do h5py 3.9.0.Suporte a arquivos HDF5 para volumes de teste Synapse.
Python package - thopTHOP developersVersão do THOP 0.1.1.post2209072238.Usado ao calcular FLOPs e custo computacional relacionado a parâmetros.
Python package - packagingPython Packaging AuthorityVersão do packaging 23.1.Dependência listada no README.
Python package - pytestpytest developersVersão do pytest 7.4.0.Dependência listada no README.
Python package - chardetchardet developersVersão do chardet 5.2.0.Dependência listada no README.
Python package - yacsYACS developersVersão do yacs 0.1.8.Dependência de utilitário de configuração listada no README.
Python package - termcolortermcolor developersVersão do termcolor 2.3.0.Dependência de utilitário de log/terminal listada no README.
Python package - submititsubmitit developersVersão do submitit 1.4.5.Dependência de utilitário de experimento/tarefa listada no README.
Python package - tensorboardXtensorboardX developersVersão do tensorboardX 2.6.2.2.Utilitário de visualização de log de treinamento listado no README.
Python package - ml-collectionsml_collections developersVersão do ml-collections 0.1.1.Importado por configs/config_setting_synapse.py.
Dataset - ISIC 2017 Challenge datasetInternational Skin Imaging CollaborationConjunto de dados de segmentação de lesão cutânea ISIC 2017Imagens e máscaras de lesão cutânea dermatoscópica desidentificadas públicas usadas para segmentação binária.
Dataset - ISIC 2018 Challenge Task 1 datasetInternational Skin Imaging CollaborationISIC 2018 Task 1: Segmentação de Contorno de LesãoImagens e máscaras de lesão cutânea dermatoscópica desidentificadas públicas usadas para segmentação binária.
Dataset - Synapse Multi-Atlas Labeling Beyond the Cranial Vault datasetSynapse / Sage BionetworksIdentificador de acesso: syn3193805Conjunto de dados público de segmentação multi-órgão de TC abdominal.
Data organization - ISIC 2017 data folderAuthors / repository layoutdata/isic2017/Pasta local esperada contendo imagens/máscaras de treinamento e validação.
Data organization - ISIC 2018 data folderAuthors / repository layoutdata/isic2018

Referências

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Zhang F, et al. Cross co-teaching for semi-supervised medical image segmentation. Pattern Recognit. 2024;152:110485.
  2. Gu Y, et al. Dual-scale enhanced and cross-generative consistency learning for semi-supervised medical image segmentation. Pattern Recognit. 2025;158:111140.
  3. Zhu X, Wang W, Zhang C, Wang H. Polyp-Mamba: A hybrid multi-frequency perception gated selection network for polyp segmentation. Inf Fusion. 2025;115:103161.
  4. Iqbal S, et al. TBConvL-Net: A hybrid deep learning architecture for robust medical image segmentation. Pattern Recognit. 2025;158:111147.
  5. Zhao Z, et al. Balanced feature fusion collaborative training for semi-supervised medical image segmentation. Pattern Recognit. 2025;157:110986.
  6. Zhou T, et al. MambaYOLACT: You only look at Mamba prediction head for head-neck lymph nodes. Artif Intell Rev. 2025;58(6).
  7. Zhao Y, et al. MGF-GCN: Multimodal interaction Mamba-aided graph convolutional fusion network for semantic segmentation of remote sensing images. Inf Fusion. 2025;122:103268.
  8. Ronneberger O, Fischer P, Brox T. U-Net: Convolutional networks for biomedical image segmentation. In: Medical Image Computing and Computer-Assisted Intervention (MICCAI). Springer; 2015.
  9. Zhou Z, Siddiquee MMR, Tajbakhsh N, Liang J. UNet++: Redesigning skip connections to exploit multiscale features in image segmentation. IEEE Trans Med Imaging. 2019;39(6):1856-1867.
  10. Shaker A, et al. UNETR++: Delving into efficient and accurate 3D medical image segmentation. IEEE Trans Med Imaging. 2024;43(9):3377-3390.
  11. Zhou HY, et al. nnFormer: Volumetric medical image segmentation via a 3D Transformer. IEEE Trans Image Process. 2023;32:4036-4045.
  12. He A, et al. H2Former: An efficient hierarchical hybrid Transformer for medical image segmentation. IEEE Trans Med Imaging. 2023;42(9):2763-2775.
  13. Zhu L, et al. Vision Mamba: Efficient visual representation learning with bidirectional state space model. In: Proceedings of the 41st International Conference on Machine Learning (ICML). 2024.
  14. Liu Y, et al. VMamba: Visual state space model. Adv Neural Inf Process Syst. 2024;37:103031-103063.
  15. Ma J, Li F, Wang B. U-Mamba: Enhancing long-range dependency for biomedical image segmentation. arXiv. 2024;arXiv:2401.04722.
  16. Wang Z, et al. Mamba-UNet: UNet-like pure visual Mamba for medical image segmentation. arXiv. 2024;arXiv:2402.05079.
  17. Huang T, et al. LocalMamba: Visual state space model with windowed selective scan. In: European Conference on Computer Vision (ECCV). Springer; 2024.
  18. Zhang Z, et al. Motion Mamba: Efficient and long sequence motion generation. In: European Conference on Computer Vision (ECCV). Springer; 2024.
  19. Hu VT, et al. Zigma: A DiT-style zigzag Mamba diffusion model. In: European Conference on Computer Vision (ECCV). Springer; 2024.
  20. Rahman MM, et al. Mamba in vision: A comprehensive survey of techniques and applications. arXiv. 2024;arXiv:2410.03105.
  21. Falk T, et al. U-Net: Deep learning for cell counting, detection, and morphometry. Nat Methods. 2019;16(1):67-70.
  22. Gu R, et al. CA-Net: Comprehensive attention convolutional neural networks for explainable medical image segmentation. IEEE Trans Med Imaging. 2020;40(2):699-711.
  23. Chen J, et al. TransUNet: Rethinking the U-Net architecture design for medical image segmentation through the lens of Transformers. Med Image Anal. 2024;97:103280.
  24. Zhang Z, Zhang W. Pyramid medical Transformer for medical image segmentation. arXiv. 2021;arXiv:2104.14702.
  25. Cao H, et al. Swin-Unet: UNet-like pure Transformer for medical image segmentation. In: European Conference on Computer Vision (ECCV). Springer; 2022.
  26. Chen B, et al. TransAttUNet: Multi-level attention-guided U-Net with Transformer for medical image segmentation. IEEE Trans Emerg Top Comput Intell. 2023.
  27. Jiang S, Li J. TransCUNet: UNet cross-fused Transformer for medical image segmentation. Comput Biol Med. 2022;150:106207.
  28. Wu R, Liu Y, Liang P, Chang Q. H-vmunet: High-order Vision Mamba UNet for medical image segmentation. Neurocomputing. 2025;624:129447.
  29. Liu J, et al. Swin-UMamba: Adapting Mamba-based vision foundation models for medical image segmentation. IEEE Trans Med Imaging. 2024.
  30. Huang X, et al. MISSFormer: An effective Transformer for 2D medical image segmentation. IEEE Trans Med Imaging. 2023;42(5):1484-1494.
  31. Ruan J, et al. MALUNet: A multi-attention and lightweight U-Net for skin lesion segmentation. In: 2022 IEEE International Conference on Bioinformatics and Biomedicine (BIBM). IEEE; 2022.
  32. Ruan J, Xiang S. VM-UNet: Vision Mamba UNet for medical image segmentation. arXiv. 2024;arXiv:2402.02491.
  33. Valanarasu JMJ, Patel VM. UNeXt: MLP-based rapid medical image segmentation network. In: Medical Image Computing and Computer-Assisted Intervention (MICCAI). Springer; 2022.
  34. Ren S, Li X. HResFormer: Hybrid residual Transformer for volumetric medical image segmentation. IEEE Trans Neural Netw Learn Syst. 2025;36(6):10558-10566.
  35. Karimijafarbigloo S, Azad R, Kazerouni A, Merhof D. MedScale-Former: Self-guided multiscale Transformer for medical image segmentation. Med Image Anal. 2025;103.
  36. Yan S, et al. Multi-scale convolutional attention frequency-enhanced Transformer network for medical image segmentation. Inf Fusion. 2025;119.
  37. Gao Y, Zhou M, Metaxas DN. UTNet: A hybrid Transformer architecture for medical image segmentation. In: Medical Image Computing and Computer-Assisted Intervention (MICCAI). Springer; 2021.
  38. Mei J, et al. SANet: A slice-aware network for pulmonary nodule detection. IEEE Trans Pattern Anal Mach Intell. 2021;44(8):4374-4387.
  39. Hu XZ, Jeon WS, Rhee SY. ATT-UNet: Pixel-wise staircase attention for weed and crop detection. In: 2023 International Conference on Fuzzy Theory and Its Applications (iFUZZY). IEEE; 2023.
  40. Wang X, et al. Transferable normalization: Towards improving transferability of deep neural networks. Adv Neural Inf Process Syst. 2019;32.
  41. Azad R, et al. TransDeepLab: Convolution-free Transformer-based DeepLabV3+ for medical image segmentation. In: International Workshop on Predictive Intelligence in Medicine (PRIME). Springer; 2022.
  42. Ruan J, Gao J, Xie M, Xiang S. Learning multi-axis representation in frequency domain for medical image segmentation. Mach Learn. 2025;114(1):10.
  43. Goodfellow I, Bengio Y, Courville A. Deep Learning. MIT Press; Cambridge, MA; 2016.
  44. Milletari F, Navab N, Ahmadi SA. V-Net: Fully convolutional neural networks for volumetric medical image segmentation. In: 2016 Fourth International Conference on 3D Vision (3DV). IEEE; 2016.

Reimpressões e permissões

Solicitar permissão para reutilizar o texto ou as figuras deste artigo JoVE

Solicitar permissão

Etiquetas

MedicinaEdi o 234Edi o 234Modelo de linguagem de grande escalaSSMUNet

Artigos relacionados