Artigo de método

MixKNet: uma rede em forma de U modificada com convolução de canal híbrido para segmentação de imagens médicas

DOI:

10.3791/68450

15 de julho de 2025

Neste artigo

Resumo

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este estudo apresenta uma variante U-Net leve com precisão de segmentação aprimorada usando convolução híbrida e atenção de canal, alcançando resultados de última geração em MoNuseg e GlaS com menos parâmetros.

Resumo

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

A tecnologia de processamento de imagem de computador baseada em rede neural artificial desenvolveu-se rapidamente nos últimos anos e encontrou aplicações generalizadas em vários campos. No processamento de imagens médicas, a UNet e suas variantes mostraram grande sucesso na detecção de lesões, segmentação celular e tarefas de segmentação de pólipos. Esta pesquisa apresenta uma rede em forma de U modificada com parâmetros de rede reduzidos alcançados diminuindo a profundidade da rede e aumentando os canais de rede para melhorar a capacidade de aprendizado do modelo. Para neutralizar a redução na capacidade de aprendizado causada pela compressão de profundidade, um módulo convolucional de canal híbrido é introduzido para substituir o módulo convolucional da rede original. O modelo introduz um mecanismo de atenção de canal entre a camada e a camada de convolução pontual para melhorar a capacidade prática de extração de recursos de canal. O artigo também conclui que o uso da convolução de profundidade mista pode efetivamente resolver a extensão de tamanho do alvo de segmentação, dificultando que um modelo seja adequado para vários conjuntos de dados. O modelo proposto alcança resultados de última geração em dois conjuntos de dados públicos populares, MoNuseg e GlaS, com um aumento médio de dados de 1,0% e 1,37%, respectivamente. Os parâmetros totais do modelo modificado são reduzidos para 1,71M, representando uma redução de 38,6x em relação ao UCtransNet, com 65,6M de parâmetros.

Introdução

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

A segmentação de imagens médicas é fundamental em várias aplicações clínicas, incluindo diagnóstico, planejamento de tratamento e monitoramento de doenças. Os métodos tradicionais de processamento de imagem baseados em algoritmos de engenharia de recursos não são mais adequados para lidar com grandes volumes de dados gerados em ambientes modernos de saúde. Felizmente, o avanço da tecnologia de rede neural artificial e as melhorias nos recursos de hardware do computador tornaram possível treinar e implantar modelos de rede neural em larga escala. Como resultado, algoritmos de processamento de visão computacional baseados em modelos de aprendizado de máquina estão sendo continuamente desenvolvidos e aplicados em vários campos.

A estrutura de modelo mais representativa na segmentação semântica de imagens médicas é a UNet1 com uma arquitetura de codificação-decodificação. O modelo primeiro usa um codificador de vários níveis para extrair recursos de diferentes escalas da imagem de entrada. Em seguida, o decodificador aumenta as amostras passo a passo enquanto combina os recursos semânticos gerados pelo codificador do nível correspondente como uma conexão de salto. No entanto, o desempenho da arquitetura UNet pode ser melhorado ainda mais com a aplicação de vários métodos. Por exemplo, os mecanismos de atenção demonstraram ser eficazes na melhoria do desempenho de redes neurais convolucionais. Esses mecanismos podem enfatizar seletivamente os recursos essenciais nos dados de entrada, levando a um melhor aprendizado de representação e precisão de segmentação.

Atualmente, muitos pesquisadores se concentram em fundir efetivamente os recursos extraídos pelo codificador no estágio de decodificação. Algumas das variantes mais comuns do UNet incluem Attention UNet2, Recurrent UNet3 e V-Net4. Essas abordagens empregam mecanismos de atenção5, como atenção espacial, para destacar regiões informativas dos mapas de recursos e suprimir as regiões não informativas. Além disso, algumas variantes incorporam redes neurais recorrentes para modelar a natureza sequencial das imagens médicas e melhorar as representações de recursos. Modelos de pré-treinamento, como VGG6, ResNet7 e DenseNet8, têm sido amplamente utilizados para melhorar o desempenho de redes em forma de U, aproveitando seu rico conhecimento aprendido em conjuntos de dados em larga escala. Além disso, mecanismos transformadores, como autoatenção e atenção de várias cabeças, foram introduzidos em dependências de modelo de longo alcance e capturam informações contextuais globais, levando a um melhor desempenho de segmentação.

No entanto, embora essas variantes tenham melhorado em relação ao UNet1 original, elas ainda têm certas limitações no manuseio de imagens médicas complexas com escalas e formas variadas. Além disso, o aumento da complexidade dessas variantes geralmente leva a custos computacionais mais altos e tempos de treinamento mais longos, o que limita sua aplicabilidade em ambientes práticos.

Para aprimorar a arquitetura UNet1 , é proposto um modelo modificado denominado MixKNet (Mix Kernel Size U-shape Net), que reduz a profundidade da rede enquanto aumenta o número de canais para melhorar a capacidade de aprendizado. No entanto, a redução na profundidade pode levar a um declínio no desempenho geral. Para mitigar esse problema, um módulo convolucional de canal híbrido é introduzido, substituindo o módulo neural convolucional original. Este módulo incorpora um mecanismo de atenção de canal entre as camadas de convolução em profundidade e pontual, com o objetivo de fortalecer a capacidade do modelo de extrair características de canal eficazes.

Para orientar a aplicabilidade prática, é importante notar que o método proposto foi avaliado em conjuntos de dados de imagens médicas de escala relativamente pequena, com resoluções de imagem individuais variando de 500 × 500 a 1000 × 1000 pixels. Para treinamento de modelos, todas as imagens foram redimensionadas para 224 × 224 pixels. A implementação foi realizada usando PyTorch em uma única GPU NVIDIA RTX 3090. Esses parâmetros operacionais sugerem que o método é computacionalmente viável para configurações experimentais moderadas e adaptável a tamanhos limitados de conjuntos de dados.

Em conclusão, este artigo apresenta uma nova modificação na estrutura de rede em forma de U e apresenta um módulo de convolução de canal híbrido junto com um mecanismo de atenção de canal, ambos os quais melhoram o desempenho de segmentação em conjuntos de dados de imagens médicas. As principais contribuições deste trabalho são as seguintes: (1) Propor uma estrutura de rede em forma de U modificada com um módulo de convolução híbrido de raciocínio profundo que substitui o módulo neural convolucional original. (2) Introduzir um mecanismo de atenção de canal entre a camada de convolução de raciocínio profundo e a camada de convolução de raciocínio pontual para melhorar a capacidade efetiva de extração de recursos de canal do modelo. (3) Alcançar resultados de última geração simultaneamente em dois conjuntos de dados públicos populares no conjunto de dados de segmentação nuclear MoNuseg9 com significativamente menos parâmetros de modelo (em comparação com UCtransNet10 com 64M parâmetros) e desempenho aprimorado no conjunto de dados de segmentação de glândulas GlaS11 .

O restante deste artigo está organizado da seguinte forma. A etapa 2 fornece uma revisão abrangente de estudos anteriores sobre UNet1 e suas variações na segmentação de imagens médicas. Os pontos fortes e as limitações das abordagens existentes são examinados, juntamente com trabalhos relacionados sobre mecanismos de atenção, redes convolucionais de profundidade mista e suas aplicações em modelos de segmentação. A etapa 3 detalha a arquitetura do modelo MixKNet proposto, incluindo modificações na estrutura da UNet, a integração de um mecanismo de atenção de canal e o uso de convolução de profundidade mista. A etapa 4 relata os resultados de experimentos extensivos, acompanhados de uma discussão e um estudo de ablação para avaliar as contribuições de cada componente. Finalmente, a etapa 5 conclui o artigo e descreve possíveis direções para pesquisas futuras.

Esta seção começa com uma revisão de estudos anteriores sobre UNet e suas variantes na segmentação de imagens médicas, descrevendo os pontos fortes e as limitações dos métodos existentes. Além disso, pesquisas relacionadas sobre mecanismos de atenção e suas aplicações em modelos de segmentação são discutidas. Desenvolvimentos recentes envolvendo técnicas de convolução em profundidade para melhorar o desempenho da segmentação também são examinados. Uma análise comparativa do MixKNet proposto (c) e outros modelos é apresentada na Figura 1, onde as linhas tracejadas indicam conexões de salto.

UNet e suas variações
A arquitetura UNet foi proposta pela primeira vez por Ronneberger et al. em 20151 e desde então tem sido amplamente utilizada na segmentação de imagens médicas. O modelo consiste em um caminho de codificação e um caminho de decodificação. O codificador extrai recursos de alto nível da imagem de entrada enquanto o decodificador aumenta a amostragem e combina os recursos para gerar um mapa de segmentação. Desde então, várias modificações foram feitas na arquitetura da UNet para melhorar seu desempenho na segmentação de imagens médicas. Uma das modificações mais comuns é a introdução de conexões de salto, que demonstraram melhorar a precisão da segmentação. Zhou et al.12 propuseram uma variante UNet que usa conexões de salto densas, permitindo que o modelo preserve melhor as informações espaciais.

Outra modificação popular na arquitetura UNet é a adição de mecanismos de atenção. Esses mecanismos podem ajudar o modelo a enfatizar seletivamente os recursos mais importantes, levando a um melhor aprendizado de representação e precisão de segmentação. Alguns exemplos de variantes com mecanismos de atenção incluem Attention UNet2, ResUNet com portas de atenção13 e Dense-UNet com portas de atenção14. Além das modificações acima, muitas outras variantes da arquitetura UNet foram propostas para segmentação de imagens médicas. O UCTransNet10 é uma variante da arquitetura U-Net que incorpora conexões de salto e um módulo Transformer. As conexões de salto no UCTransNet10 são repensadas de uma perspectiva de canal, o que permite uma melhor reutilização de recursos e reduz o número de parâmetros. O módulo Transformer é adicionado para capturar dependências de longo alcance e melhorar a qualidade da tradução. O UCTransNet10 demonstrou alcançar resultados de última geração em vários benchmarks de tradução automática. Zihan et al. propuseram um modelo de aprendizado profundo chamado LViT15, que eles aplicaram a tarefas de análise de imagens médicas. Para estender a versão semi-supervisionada do LViT15 e compensar a deficiência de qualidade nos dados de imagem, eles propuseram o mecanismo Exponential Pseudo Label Iteration (EPI). Além disso, para preservar as características locais das imagens, eles propuseram o Pixel-Level Attention Module (PLAM), que se concentra seletivamente em características importantes da imagem.

Mecanismo de atenção
Os mecanismos de atenção têm sido amplamente estudados no aprendizado de máquina, particularmente no processamento de linguagem natural e visão computacional. Nos últimos anos, os mecanismos de atenção também têm sido aplicados a tarefas de análise de imagens médicas, incluindo segmentação de imagens. Bahdanau et al.16 introduziram um mecanismo de atenção na tradução automática neural para melhorar a qualidade da tradução. O mecanismo permite que o modelo se concentre seletivamente em partes relevantes da sequência de entrada, melhorando a qualidade da tradução. Desde então, vários mecanismos de atenção foram propostos para tarefas de análise de imagens. Um tipo comum de mecanismo de atenção é o mecanismo de atenção espacial, que envolve a aplicação de um peso a cada pixel no mapa de recursos com base em sua importância. Por exemplo, Guo et al.17 propuseram um mecanismo de atenção espacial para a tarefa de segmentação de vasos da retina. O mecanismo usa um mecanismo de gating para ajustar a ponderação dos recursos espaciais, melhorando a capacidade do modelo de distinguir entre os pixels do vaso e do não-recipiente. Outro tipo de mecanismo de atenção é a atenção do canal, que se concentra no ajuste dos pesos dos mapas de recursos entre canais. Hu et al.18 propuseram uma rede de compressão e excitação (SENet) que aplica atenção por canal aos mapas de recursos, melhorando o desempenho da tarefa de classificação de imagens. Mais recentemente, os mecanismos de atenção foram combinados com redes neurais convolucionais (CNNs) para tarefas de segmentação de imagens. Por exemplo, Chen et al.19 propuseram uma rede guiada pela atenção para segmentação de tumores cerebrais que combina mecanismos de atenção espaciais e de canal.

Avanços recentes no aprendizado semi-supervisionado e multimodal para análise de imagens médicas e sensoriamento remoto demonstraram melhorias promissoras de desempenho. Yang et al.20 propuseram o UMSCS, uma nova estrutura de segmentação multimodal não emparelhada que aproveita a aprendizagem generativa entre modalidades e estratégias semi-supervisionadas. Zhang et al. introduziram várias técnicas de ponta: um modelo de consistência tri-branch aprimorado por evidências para segmentação semi-supervisionada21, uma estrutura de aprendizado prototípica autoconsciente e de amostra cruzada para segmentação de imagens médicas22 e uma abordagem de otimização de recursos hierárquicos com reconhecimento de frequência de tempo para reconhecimento de interferência de radar de abertura sintética (SAR) no domínio aeroespacial23. Esses trabalhos destacam coletivamente a importância da supervisão híbrida e da modelagem de recursos com reconhecimento de domínio em tarefas de imagem médica e de engenharia.

Convolução em profundidade
A convolução em profundidade foi projetada para capturar correlações por canal nos mapas de recursos de entrada e demonstrou melhorar a eficiência e a precisão das redes neurais convolucionais.

Um dos primeiros e mais influentes modelos de convolução em profundidade é o MobileNet24, proposto por Howard et al. em 2017. O MobileNet usa a convolução separável em profundidade, que aplica uma convolução em profundidade seguida por uma convolução pontual, para reduzir o número de parâmetros e a computação necessária para camadas convolucionais. Isso permite que o MobileNet obtenha precisão de última geração em tarefas de classificação de imagens, usando significativamente menos parâmetros do que as redes neurais convolucionais tradicionais. Desde a introdução do MobileNet, várias outras arquiteturas de convolução em profundidade foram propostas, incluindo ShuffleNet25, Xception26 e ResNeXt27. Esses modelos variam em sua implementação específica de convolução profunda, mas todos compartilham o objetivo de reduzir a complexidade computacional das camadas convolucionais, mantendo ou melhorando a precisão. A convolução profunda também foi aplicada à tarefa de segmentação semântica, com modelos como o PSPNet28 usando convolução separável em profundidade para reduzir os requisitos de computação e memória de camadas convolucionais de grande escala. O MixNet29 estende ainda mais a ideia de convolução profunda, introduzindo uma convolução mista em profundidade, que utiliza vários tamanhos de kernel para capturar recursos em diferentes escalas. Foi demonstrado que ele supera outros modelos de última geração, mantendo parâmetros e FLOPs comparáveis. Esses modelos demonstraram melhorias significativas na precisão e eficiência em relação às redes neurais convolucionais tradicionais em várias tarefas de segmentação semântica.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Protocolo

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Esta seção descreve a arquitetura MixKNet proposta para segmentação de imagens médicas. O modelo MixKNet estende a arquitetura UNet, incorporando mecanismos de atenção e camadas mistas de convolução em profundidade. O software utilizado neste estudo está listado na Tabela de Materiais.

1. Arquitetura geral

  1. A arquitetura MixKNet, mostrada na Figura 2, segue a estrutura padrão da UNet, consistindo em um codificador e um decodificador. Defina a forma de entrada como 224 × 224 × 3. No codificador, use dois módulos DownBlock - cada um inclui uma convolução em profundidade 1×1, uma camada de pool máximo ×2 e uma convolução multikernel (MDConv) com tamanhos de kernel como [1, 3, 5] ou [3-13].
  2. No decodificador, use dois módulos UpBlock - cada um executa upsampling bilinear, pular concatenação de conexão, uma convolução em profundidade 1×1 e uma convolução de vários kernels.
  3. Use ativações de ReLU após cada bloco convolucional. Aplique uma convolução final 1×1 para produzir a saída, seguida por uma ativação sigmoide para segmentação binária ou deixe inativada para Softmax externo em tarefas multiclasse.

2. Forma de U achatada

NOTA: Reduza a profundidade da arquitetura da rede neural para diminuir a complexidade computacional e o tamanho do modelo, estando ciente de que isso pode reduzir a capacidade de aprender representações de dados complexas.

  1. Reduza uma arquitetura UNet de quatro níveis para uma versão de dois níveis, como mostra a Figura 3, para diminuir o número de parâmetros do modelo, mantendo os componentes principais de codificação e decodificação.
    1. Construa a arquitetura nivelada removendo os níveis 3 e 4 dos caminhos do codificador e do decodificador e preserve as conexões de recursos no nível 2.
    2. Ajustar as operações de redução e aumento da amostragem em conformidade, de modo a corresponder à profundidade reduzida, utilizar apenas um passo de redução da amostragem antes do gargalo e um passo de aumento da amostragem a seguir.
      NOTA: Essa redução na profundidade pode diminuir a capacidade de aprendizado do modelo, pois pode não capturar relações complexas entre entrada e saída. Aumentar o número de canais de convolução de base em cada camada do modelo pode ajudar a superar essa limitação, aprimorando a capacidade do modelo de aprender recursos discriminativos. Com mais canais de convolução, o modelo pode capturar padrões e relacionamentos mais complexos nos dados de entrada, compensando a profundidade reduzida e melhorando o desempenho.
  2. Considere que aumentar o número de canais de convolução também pode aumentar a complexidade computacional e o uso de memória do modelo, apresentando uma compensação com a velocidade de treinamento e inferência. Encontre um equilíbrio apropriado entre a capacidade do modelo e a eficiência computacional.

3. Misture o tamanho do kernel para o codificador

  1. Para melhorar o desempenho do codificador, empregue uma abordagem de tamanho de kernel misto no módulo DC-CA (Depthwise Convolution and Channel Attention), conforme ilustrado na Figura 4. Em vez de depender de um único tamanho de kernel, aplique várias convoluções em profundidade em paralelo com tamanhos de kernel variados (por exemplo, 1, 3, 5, 7, 9, 11, 13) para extrair recursos em vários campos receptivos.
  2. Aplique a normalização em lote e a ativação de ReLU a cada ramificação individualmente antes da concatenação. Concatene as saídas de cada ramificação do kernel ao longo da dimensão do canal.
  3. Use uma convolução 1×1 pontual após a concatenação para fundir feições e projetá-las em um número fixo de canais de saída, mantendo a consistência com o tamanho de entrada esperado da próxima camada.
    NOTA: A camada de convolução em profundidade mista consiste em várias convoluções em profundidade com tamanhos de kernel variados, seguidas por uma convolução pontual. Esse design permite a captura de recursos em diferentes escalas, o que é crítico em tarefas de segmentação de imagens médicas. O primeiro módulo emprega três tamanhos de kernel - 1, 3 e 5 - para aumentar o campo receptivo, enquanto o segundo módulo utiliza tamanhos de kernel maiores e mais grupos, especificamente 3, 5, 7, 9, 11 e 13.

4. Canalize a atenção

  1. Integre um mecanismo de atenção de canal no módulo DC-CA para aprimorar a representação do recurso.
    1. Use uma convolução 1×1 com o "mesmo" preenchimento para gerar mapas de atenção por canal. Aplique o agrupamento de média global entre dimensões espaciais para produzir um descritor compacto para cada canal.
    2. Use uma rede convolucional leve que consiste em duas convoluções 1×1 com uma ativação de ReLU entre elas. Evite o compartilhamento de peso entre canais - aprenda pesos de atenção exclusivos por canal.
    3. Aplique uma ativação sigmóide à saída final para obter pontuações de atenção normalizadas. Repondere os mapas de recursos de entrada por meio da multiplicação por canal.
      NOTA: Seja o tensor de entrada x. A atenção do canal é implementada através da seguinte expressão:
      (atenção)_tensor = σ(conv(ReLU(conv(x)))) (1)
      onde σ representa a função de ativação sigmóide, conv é a operação de convolução e ReLU é a função de ativação da unidade linear retificada.
  2. Obtenha o mapa de atenção executando uma operação de agrupamento de média adaptativa no tensor de atenção, seguido de expandi-lo para corresponder ao tamanho do tensor de saída após a convolução com um tamanho de kernel diferente y:
    atenção = expandir(avg_pool([atenção]_tensor),tamanho(y)) (2)
  3. Calcule o tensor de saída z executando a multiplicação elementar do tensor de entrada y com o mapa de atenção:
    z = z * atenção (3)
    onde * representa a multiplicação elementar

5. Conjuntos de dados

NOTA: Dois conjuntos de dados de imagens médicas disponíveis publicamente, conforme apresentado na Tabela 1 e na Tabela 2, são utilizados neste estudo: GlaS (Sirinukunwattana et al.11) e MoNuSeg (Kumar et al.9).

  1. Use o conjunto de dados Gland Segmentation (Sirinukunwattana et al.11), adquirido usando um scanner de patologia digital e anotado manualmente para segmentar estruturas glandulares individuais em amostras de tecido.
    NOTA: O conjunto de dados consiste em 165 imagens, cada uma com uma resolução de 500 × 500 pixels, juntamente com as máscaras de segmentação de verdade do solo correspondentes. O conjunto de dados MoNuSeg (Kumar et al.9) compreende 51 imagens de núcleos microscópicos, cada uma com resolução de 1000 × 1000 pixels.

6. Detalhes de implementação

  1. Implemente o modelo usando o PyTorch em uma única GPU NVIDIA RTX 3090. Use o Ubuntu 22.04 como sistema operacional.
  2. Redimensione todas as imagens de entrada para um tamanho fixo de 224 × 224 pixels. Aplique técnicas de aumento de dados para aumentar a diversidade de treinamento.
    1. Aplique aumentos aleatoriamente na seguinte ordem: inversão horizontal → rotação vertical → de inversão → correção de gama → transformação logarítmica → escala aleatória.
    2. Aplique flips horizontais aleatórios com uma probabilidade de 0,5, flips verticais com uma probabilidade de 0,5 e rotações dentro de ±15 graus com uma probabilidade de 0,5.
    3. Aplique correção gama com probabilidade de 0,3, transformação logarítmica com probabilidade de 0,3 e escala aleatória com fator de escala entre 0,9 e 1,1, aplicada com probabilidade de 0,3.
    4. Normalize as imagens usando valores médios de [0,485, 0,456, 0,406] e desvios padrão de [0,229, 0,224, 0,225].
  3. Treine o modelo usando o otimizador Adam com uma taxa de aprendizado de 0,001 e um tamanho de lote de 4. Empregue a técnica de agendamento de taxa de aprendizado de recozimento de cosseno com reinicializações a quente para introduzir variabilidade no cronograma de taxa de aprendizado e evitar a convergência para os ótimos locais.
    NOTA: Use o torch.optim.lr_scheduler integrado do PyTorch. CosineAnnealingWarmReinicia o agendador. O otimizador e o agendador foram implementados da seguinte forma:
    otimizador = torch.optim.Adam(model.parameters(), lr=0.001, weight_decay=1e-5)
    agendador = torch.optim.lr_scheduler. CossenoRecozimentoAquecimentoReinicializações(
    otimizador, T_0=10, T_mult=2, eta_min=1e-6)
    Aqui, T_0=10 denota o número de épocas antes da primeira reinicialização, T_mult=2 dobra o período de reinicialização após cada ciclo e eta_min=1e-6 define a taxa mínima de aprendizado. Atualize a taxa de aprendizado no final de cada época chamando scheduler.step().
  4. Use a entropia cruzada binária como função de perda. Aplique a paragem precoce para evitar sobreajustes. Treine o modelo para um máximo de 5000 épocas.
  5. Avalie o desempenho do modelo usando a média Interseção sobre União (mIoU) e o coeficiente de Dice.
    Dados =(2|A∩B|)/(|A|+|B |) (4)
    IoU=(|A∩B|)/(|A∪B|) (5)
    NOTA: O mIoU é a razão entre a interseção entre as máscaras de segmentação previstas e verdadeiras para sua união. Ao mesmo tempo, o coeficiente de Dice é a razão entre duas vezes a interseção e a soma das máscaras de segmentação de verdade previstas e básicas.
  6. Realize uma avaliação rigorosa em pequenos conjuntos de dados usando três rodadas de validação cruzada de 5 vezes, resultando em um total de 15 avaliações. Embaralhe aleatoriamente as divisões de validação cruzada em cada rodada para garantir a variabilidade entre as dobras. Estratificar as dobras com base nas distribuições de classe para manter o equilíbrio do rótulo dentro de cada dobra.
  7. Calcule o desempenho médio entre dobras para mitigar o risco de convergência para ótimos locais. Realize um teste estatístico para demonstrar que a abordagem proposta alcança melhorias estatisticamente significativas em relação a métodos comparáveis.
  8. Mostre previsões de validação representativas durante o treinamento na Figura 5 para ilustrar a melhoria progressiva na qualidade da segmentação. Após a conclusão do treinamento, carregue o ponto de verificação do modelo de melhor desempenho com base no desempenho da validação (por exemplo, pontuação mais alta de mIoU e Dice).
    1. Execute o modelo no conjunto de validação para gerar máscaras de segmentação previstas usando os parâmetros salvos.
    2. Visualize os resultados usando o Matplotlib exibindo a imagem de entrada, a máscara da verdade fundamental e a máscara prevista em um formato lado a lado.
    3. Destaque a superioridade do método proposto no desempenho da segmentação, marcando regiões representativas com caixas vermelhas na visualização.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Resultados

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Comparação com métodos de última geração
A arquitetura MixKNet foi avaliada em dois conjuntos de dados de segmentação de imagens médicas, GlaS e MoNuSeg, e comparada com métodos de última geração no campo. A avaliação foi realizada relatando os escores de dados e IoU do método proposto e vários modelos comparáveis, conforme mostrado na Tabela 3. Os resultados indicam que a arquitetura MixKNet supera os outros modelos, alcançando as maiores pontuações m...

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Discussão

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este estudo apresenta o MixKNet, uma nova modificação da arquitetura UNet1 para segmentação de imagens médicas, integrando convolução de profundidade mista e um mecanismo de atenção de canal para melhorar o desempenho da segmentação e reduzir significativamente a complexidade computacional. A convolução de canal híbrido combina vários núcleos convolucionais operando em grupos de canais separados. Esse design permite que a rede capture diversas características espa...

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Divulgações

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os autores declaram não haver interesses financeiros concorrentes ou outros conflitos de interesse.

Agradecimentos

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O segundo lote dos Projetos de Pesquisa de Bem-Estar Social de 2023 da cidade de Ningbo: Pesquisa e Aplicação de Tecnologias-Chave para Identificação de Fraudes em Redes de Telecomunicações com Base em Ontologia e PNL (2023S169).

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Materiais

Lista de materiais utilizados neste artigo
NomeEmpresaNúmero de catálogoComentários
Sistema operacional Linux (Ubuntu 22.04)  Vários (Comunidade de código aberto)N/A(Versão 22.04 LTS)Sistema operacional de código aberto para desenvolvimento
https://releases.ubuntu.com/22.04/
NVIDIA RTX 3090 GPUNVIDIA3090GPU de alto desempenho para aprendizado profundo
https://www.nvidia.com/en-us/geforce/graphics-cards/30-series/rtx-3090/
PythonPython Software FoundationN/A (Versão ≥ 3.8)Linguagem de programação para desenvolvimento de IA/ML
https://www.python.org/
PyTorchMeta AIN/A (Versão 1.13)Estrutura de aprendizado de máquina de código aberto
https://pytorch.org/
Visual Studio Code (VS Code)MicrosoftN/AEditor de código leve e poderoso
https://code.visualstudio.com/

Referências

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Ronneberger, O., Fischer, P., Brox, T. U-Net: Convolutional networks for biomedical image segmentation. Med Image Comput Comput Assist Interv. 9351, 234-241 (2015).
  2. Oktay, O., et al. Attention U-Net: Learning where to look for the pancreas. arXiv. , (2018).
  3. Alom, M. Z., Yakopcic, C., Hasan, M., Taha, T. M., Asari, V. K. Recurrent residual U-Net for medical image segmentation. J Med Imaging. 6 (1), 014006-014006 (2019).
  4. Milletari, F., Navab, N., Ahmadi, S. -A. V-Net: Fully convolutional neural networks for volumetric medical image segmentation. 3DV. , 565-571 (2016).
  5. Vaswani, A., et al. Attention is all you need. Adv Neural Inf Process Syst. 30, 5998-6008 (2017).
  6. Simonyan, K., Zisserman, A. Very deep convolutional networks for large-scale image recognition. arXiv. , (2014).
  7. Deep residual learning for image recognition. He, K., et al. Proc IEEE Conf Comput Vis Pattern Recognit, , 770-778 (2016).
  8. Densely connected convolutional networks. Huang, G., Liu, Z., Van der Maaten, L., Weinberger, K. Q. Proc IEEE Conf Comput Vis Pattern Recognit, , 4700-4708 (2017).
  9. Kumar, N., et al. A dataset and a technique for generalized nuclear segmentation for computational pathology. IEEE Trans Med Imaging. 36 (7), 1550-1560 (2017).
  10. Wang, H., Cao, P., Wang, J., Zaiane, O. R. UCTransNet: Rethinking the skip connections in U-Net from a channel-wise perspective with Transformer. Proc AAAI Conf Artif Intell. 36 (3), 2441-2449 (2022).
  11. Sirinukunwattana, K., et al. Gland segmentation in colon histology images: The GlaS challenge contest. Med Image Anal. 35, 489-502 (2017).
  12. Zhou, Z., Rahman Siddiquee, M. M., Tajbakhsh, N., Liang, J. UNet++: A nested U-Net architecture for medical image segmentation. Lect Notes Comput Sci. 11045, 3-11 (2018).
  13. Diakogiannis, F. I., Waldner, F., Caccetta, P., Wu, C. ResUNet-a: A deep learning framework for semantic segmentation of remotely sensed data. ISPRS J Photogramm Remote Sens. 162, 94-114 (2020).
  14. Cai, S., Tian, Y., Lui, H., Zeng, H., Wu, Y., Chen, G. Dense-UNet: A novel multiphoton in vivo cellular image segmentation model based on a convolutional neural network. Quant Imaging Med Surg. 10 (6), 1275-1285 (2020).
  15. Li, Z., et al. LViT: Language meets Vision Transformer in medical image segmentation. IEEE Trans Med Imaging. 43 (1), 96-107 (2023).
  16. Bahdanau, D., Cho, K., Bengio, Y. Neural machine translation by jointly learning to align and translate. arXiv. , (2014).
  17. Guo, C., Szemenyei, M., Yi, Y., Zhou, W., Bian, H. Residual spatial attention network for retinal vessel segmentation. Proc ICONIP. 27, 509-519 (2020).
  18. Squeeze-and-excitation networks. Hu, J., Shen, L., Sun, G. Proc IEEE Conf Comput Vis Pattern Recognit, , 7132-7141 (2018).
  19. Chen, H., Qi, X., Yu, L., Dou, Q., Qin, J., Heng, P. -A. DCAN: Deep contour-aware networks for object instance segmentation from histology images. Med Image Anal. 36, 135-146 (2017).
  20. Yang, F., Li, X., Wang, B., Teng, P., Liu, G. UMSCS: A novel unpaired multimodal image segmentation method via cross-modality generative and semi-supervised learning. Int J Comput Vis. , 1-23 (2025).
  21. Zhang, Z., et al. An evidential-enhanced tri-branch consistency learning method for semi-supervised medical image segmentation. IEEE Trans Instrum Meas. , 1-15 (2024).
  22. Zhang, Z., et al. Self-aware and cross-sample prototypical learning for semi-supervised medical image segmentation. Med Image Comput Comput Assist Interv. 14372, 192-201 (2023).
  23. Zhang, Z., et al. A time-frequency-aware hierarchical feature optimization method for SAR jamming recognition. IEEE Trans Aerosp Electron Syst. , 1-15 (2025).
  24. Howard, A. G., et al. MobileNets: Efficient convolutional neural networks for mobile vision applications. arXiv. , (2017).
  25. ShuffleNet: An extremely efficient convolutional neural network for mobile devices. Zhang, X., et al. Proc IEEE Conf Comput Vis Pattern Recognit, , 6848-6856 (2018).
  26. Xception: Deep learning with depthwise separable convolutions. Chollet, F. Proc IEEE Conf Comput Vis Pattern Recognit, , 1251-1258 (2017).
  27. Aggregated residual transformations for deep neural networks. Xie, S., et al. Proc IEEE Conf Comput Vis Pattern Recognit, , 1492-1500 (2017).
  28. Pyramid scene parsing network. Zhao, H., Shi, J., Qi, X., Wang, X., Jia, J. Proc IEEE Conf Comput Vis Pattern Recognit, , 2881-2890 (2017).
  29. Tan, M., Le, Q. V. MixConv: Mixed depthwise convolutional kernels. arXiv. , (2019).

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Reimpressões e permissões

Solicitar permissão para reutilizar o texto ou as figuras deste artigo JoVE

Solicitar permissão

Etiquetas

Variantes de U NetAten o de CanalConvolu o de Profundidade MistaDetec o de Les esSegmenta o CelularSegmenta o de P liposRedu o de Par metros do ModeloExtra o de Caracter sticas
Vídeo em breve

Artigos relacionados