$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Este estudo utilizou um conjunto de dados anonimizado e disponível publicamente; portanto, consentimento informado não era necessário. A abordagem proposta compreende seis componentes: pré-processamento, módulo de convolução, módulo de atenção, integração de módulos de convolução e atenção, e camadas totalmente conectadas (FC). A Figura 1 ilustra o fluxo de trabalho completo do nosso método.
Aquisição de conjuntos de dados
Imagens rotuladas de ressonância magnética cerebral são obtidas a partir de um conjunto de dados Kaggle disponível publicamente, composto por quatro categorias tumorais e tecido normal.
Pré-processamento de dados
As imagens são redimensionadas para resolução uniforme e intensidade normalizada. Aumentos opcionais (rotação, inversão de volta, zoom) são aplicados para melhorar a generalização. O conjunto de dados é dividido em conjuntos de treinamento (70%) e testes (30%).
Arquitetura do modelo
Três CNNs backbone pré-treinadas no ImageNet — MobileNetV2, EfficientNetV1 e Inception-ResNet-V2 — foram usadas para classificar tumores cerebrais em quatro categorias usando imagens de ressonância magnética. MobileNetV2 e EfficientNetV1 foram configurados com uma dimensão de entrada de 224 × 224 pixels, enquanto Inception-ResNet-V2 exigia um tamanho de entrada de 299 × 299 pixels. No processo de aprendizagem por transferência, as camadas convolucionais iniciais foram congeladas no início para manter características generalizadas da imagem, enquanto as camadas superiores foram ajustadas para adaptar o modelo para a classificação de tumores cerebrais. Cada espinha dorsal foi combinada com uma cabeça de classificação leve que incluía Pooling Médio Global, camadas densas, dropout para regularização e uma função de ativação Softmax para prever quatro classes. O Dropout foi implementado para mitigar o excesso de ajuste e aumentar a generalização. A arquitetura projetada combinou efetivamente a extração eficiente de características com demandas computacionais menores, facilitando uma classificação precisa enquanto permaneceu adequada para implantação em cenários com recursos limitados e provas de conceito.
Extração de características baseada em atenção
As imagens de entrada são processadas por uma camada convolucional inicial seguida por um módulo de atenção personalizado. O agrupamento paralelo de max e o agrupamento médio capturam características salientes e contextuais, que são concatenadas e refinadas por convolução para enfatizar regiões relevantes para tumores.
Espinha dorsal convolucional e fusão
Recursos ponderados em atenção são encaminhados para backbones pré-treinados (MobileNetV2, EfficientNetV1 ou Inception-ResNet-V2). Camadas convolucionais de alto nível são logicamente fundidas para reduzir o acesso à memória e melhorar a eficiência computacional.
Classificação
As características achatadas são passadas por camadas totalmente conectadas com ativação e desistência do ReLU6, produzindo uma representação compacta para a classificação final de quatro classes softmax.
Avaliação
O desempenho do modelo é avaliado no conjunto de teste usando matrizes de precisão, precisão, recordação, pontuação F1 e confusão.
Desenvolvimento da estrutura
A solução proposta é implementada em Python e utiliza Keras para execução. A Tabela 1 ilustra os hiperparâmetros. O conjunto de dados é dividido em um conjunto de treinamento e um conjunto de teste seguindo uma proporção de 70:30. Cinco divisões arbitrárias diferentes de trens/testes são usadas para exibir o desempenho balanceado final de cada conjunto de dados.
Pré-processamento
As imagens de entrada precisam ser atualizadas porque o framework MobileNetV2 serve como base para a solução proposta. Para extrair recursos de alta resolução de fotografias, o modelo pré-treinado MobileNetV2 é usado com sua dimensão de entrada. Cada imagem de entrada é então escalada para 224×224 pixels na faixa [-1, 1].
O modelo de convolução
O MobileNetV2 aprimora o reconhecimento de imagens ao aproveitar uma arquitetura eficiente de Rede Neural Convolucional (CNN) projetada para minimizar demandas computacionais. Embora as CNN tradicionais alcancem alta precisão, elas frequentemente exigem memória e poder de processamento substanciais. O MobileNetV1 introduziu o conceito de convolução separável em profundidade, que separa a convolução padrão em duas operações distintas: convolução em profundidade para filtrar entradas e convolução pontual para integrar características. O MobileNetV2 baseia essa ideia incorporando blocos residuais de gargalo que consistem em camadas de expansão, convolução profunda, camadas de projeção e conexões residuais. A camada de projeção comprime os canais de características, enquanto conexões residuais facilitam um melhor fluxo de informações por toda a rede. Para melhorar a estabilidade e aprimorar o desempenho de aprendizagem, a ativação do ReLU6 e a normalização em lote são aplicadas após operações convolucionais.
Nesta pesquisa, o MobileNetV2, pré-treinado no ImageNet, foi usado como modelo de espinha dorsal para extrair características, fornecendo representações semânticas eficazes de alto nível, mantendo os custos computacionais baixos para a classificação de tumores cerebrais. Após cada camada de convolução, há uma camada de ativação do ReLU6, que é uma adaptação da função de ativação do ReLU, onde o tamanho é maximizado em seis, e uma camada de normalização em lote. As camadas comuns de convolução, pool médio e classificação são aplicadas a 17 dos blocos de gargalo restantes, formando a arquitetura completa do MobileNetV2. Usamos o MobileNetV2 como a rede backbone pré-treinada no ImageNet. Nesse caso, o mapa convolucional é obtido a partir do último bloco residual após passar pela camada convolucional MobileNetV2. Blocos residuais de nível inferior produzem mapas de características menores. Esses blocos não contribuem para nossa pesquisa porque não coletam dados de alto nível para a identificação geral da imagem. Durante a construção e treinamento do modelo, as camadas que precedem as camadas convolucionais que geram um mapa de características 3D 7 × 7 são mantidas fixas. Em termos matemáticos, isso é expresso da seguinte forma em Eq (1):
F1(I) = Conv(I) (1)
Aqui, F1(I) representa a característica convolucional extraída da imagem de entrada, I.
O módulo de foco
O mecanismo de atenção do cérebro humano, que implica que as pessoas naturalmente focam mais em entradas visuais significativas do que em cada detalhe de uma imagem, serve de base para o design dessa rede de transformação. Diversos modelos baseados em atenção foram criados em pesquisas de deep learning por causa dessa ideia. As correlações espaciais observadas nas representações de tumores cerebrais são destacadas pelo mecanismo de atenção sugerido. Enquanto o módulo de atenção do canal captura as informações mais importantes relacionadas ao tumor entre os canais de características, a unidade regional de atenção identifica as regiões mais informativas da imagem de ressonância magnética. Utilizando um método de atenção estruturada, a unidade de foco sugerida foca em áreas que contêm informações discriminativas sobre tumores.
Para melhorar a representação de características, técnicas como Top Activation Pooling e extração balanceada de características são usadas antes da fase de detecção espacial de características. Essa estratégia aprimora a capacidade do modelo de enfatizar regiões tumorais clinicamente significativas enquanto minimiza detalhes de fundo irrelevantes, melhorando assim a precisão da classificação e a eficiência do aprendizado de características. A segunda é a concatenação dos tensores com pool máximo e conjunto médio. Por fim, a função de ativação sigma, combinada com um filtro convolucional 7x7, será usada para ativar estímulos visuais dentro dos visuais. As diferentes etapas do módulo de foco são indicadas nas equações (2) e (3). onde balanceado Pool(F) ∈ RHxWx1 representa a operação média de pooling e MaxPool(F) ∈ RHxWx1 descreve a operação de pooling máximo.
F2(I) = [AvgPool(F); MaxPool (F)] (2)
Esses dois mapas de elementos podem ser combinados em 3D para criar um mapa de elementos
F2(I) = ∈ RHxwx1. F3(I) = σ(f7x7(F2(I))) (3)
onde σ é a função de ativação que indica sigma. As características de atenção, representadas por um tensor codificado em altura HxWxC (V), largura (W) e espessura (C), são representadas por F3(I), enquanto f7x7 representa a operação de convolução do tamanho do filtro (7x7).
Fusão de atenção e um modelo de convolução
Em contraste com uma rede que depende de um único codificador, uma Unidade de Fusão Multimodal poderia extrair informações muito mais eficientes e abrangentes para a grande maioria das modalidades. O bloco de fusão tem como objetivo guiar o máximo de características essenciais cruz-modais; assim, ele identificará áreas de atenção para a extração da região tumoral. Esta é uma concatenação simples de representações latentes individuais, mas algumas informações seriam perdidas. Um mapa combinado de objetos foi assim gerado combinando os mapas de características dos módulos de convolução e observação usando o método básico de concatenação de características de Sitaula et al. Esses dois mapas de características capturaram diferenças em várias propriedades da imagem, então decidimos usar um método simples de concatenação em vez de estratégias baseadas em max, min ou soma. Isso também o torna computacionalmente mais leve do que os métodos alternativos que utilizam métodos bilineares como forma de cálculo do produto tensorial. Quando tais duas características são combinadas, o resultante é chamado de tensor de características. A expressão matemática da saída tensorial agregada dos caracteres T é dada pela Equação (4).
[F1(I), F3(I)] = T(I) (4)
Onde F1(I) ∈ RHxWx1 e F2(I) ∈ RHxWx1280. São tensores 3D com a mesma largura (W) e altura (H). Além disso, eles podem ser concatenados na criação 3D k de tensores 3D, onde T(I) ∈ LxWx1281.
Camadas Totalmente Conectadas (FC)
Usamos uma série de camadas FC após fusão de características para converter um tensor volumétrico remodelado em um vetor linear de características. A cabeça de classificação consiste em uma camada de Pool de Média Global, camadas densas totalmente conectadas, regularização dropout e uma camada de saída Softmax. A função de ativação do ReLU6 é utilizada, com 128 unidades e probabilidade de desistência de 50%.