Artigo de método

Um Framework Multimodal de Deep Learning de Poucos Tiros para Diagnóstico Preciso da Glândula Parótida

DOI:

10.3791/70231

8 de maio de 2026

Neste artigo

Resumo

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este artigo apresenta uma estrutura multimodal de aprendizado profundo de alguns disparos para classificação precisa de tumores da glândula parótida usando sequências de ressonância magnética.

Resumo

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

A diferenciação precisa entre tumores parótidos benignos e malignos é fundamental para o prognóstico do paciente. No entanto, devido ao alto grau de heterogeneidade dos tumores parótidos e à disponibilidade limitada de dados de imagem, o diagnóstico pré-operatório continua sendo um desafio significativo. Para abordar essa questão, o presente estudo propõe uma estrutura multimodal de aprendizado profundo baseada em aprendizado em amostras pequenas. Essa estrutura integra informações de ressonância magnética multi-sequência e incorpora um mecanismo de atenção espacial em múltiplas escalas para melhorar o desempenho em extração de características e classificação em situações com amostras limitadas. O modelo foi avaliado sistematicamente usando uma coorte coletada retrospectivamente de 198 pacientes com tumores primários da glândula parótida confirmados histopatologicamente (107 benignos, 91 malignos) que passaram por ressonância magnética pré-operatória completa — incluindo imagens ponderadas em T1, T2 e difusão — em nossa instituição, sem tratamento prévio para a lesão parotídea. A coorte foi dividida no nível do paciente em treinamentos (70%), validação (15%) e conjuntos de teste (15%) usando amostragem aleatória estratificada para preservar a razão benigna para maligna, garantindo subconjuntos mutuamente exclusivos e prevenindo vazamento de dados. O modelo alcançou uma área abaixo da curva (AUC) de 0,9822. Essa descoberta ressalta a capacidade do sistema de diferenciar entre tumores benignos e malignos. Além disso, o modelo apresentou vantagens substanciais em termos de precisão diagnóstica em comparação com radiologistas experientes, destacando seu potencial de aplicação na diferenciação benigna-maligna pré-operatória e no suporte à decisão clínica para tumores parótidos.

Introdução

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dados epidemiológicos indicam que a incidência de tumores na glândula parótida está aumentando. A glândula parótida, a maior glândula salivar do corpohumano, é um dos locais de maior incidência para tumores na cabeça e no pescoço. Embora tumores na glândula parótida sejam relativamente incomuns, representando aproximadamente 5% dos tumores na cabeça e pescoço, lesões benignas superam em muito as malignas, constituindo cerca de 80% de todos os tumores da glândulaparótida 2,3. Tumores parotídeos benignos e malignos apresentam diferenças significativas no comportamento biológico, estratégias de tratamento e prognóstico. Tumores benignos normalmente crescem lentamente, apresentam crescimento expansível e raramente metastatizam. Desfechos favoráveis após resseção cirúrgica completa. Em contraste, tumores malignos apresentam padrões de crescimento invasivos distintos e frequentemente invadem tecidos ao redor, como nervo facial, pele e osso. Eles também são capazes de metástase distante, resultando em um prognósticopior 4,5.

No entanto, a diferenciação pré-operatória entre tumores parótidos benignos e malignos continua sendo um desafio clínico diagnóstico. Devido à ausência de manifestações clínicas específicas, o sintoma inicial da maioria dos tumores parótidos (independentemente do maligno) é uma massa indolor, o que complica a diferenciação baseada apenas em sinais ousintomas 6,7. Embora sintomas como dor ou paralisia facial sejam frequentemente considerados indicadores potenciais de malignidade, eles são incomuns em lesões malignas precoces. Por outro lado, alguns tumores benignos com respostas inflamatórias podem apresentar manifestações semelhantes. A avaliação pré-operatória dos tumores parótidos é realizada principalmente por meio de estudos de imagem, que representam o principal método não invasivo para tal avaliação. No entanto, deve-se notar que cada modalidade de imagem tem suas limitações. A ressonância magnética (RM) é considerada a modalidade ideal para avaliação de tumores parótidos devido à sua excepcional resolução de tecidos moles, com estudos demonstrando uma precisão máxima de 93% na diferenciação de lesões benignas demalignas 8. No entanto, sequências convencionais apresentam sobreposição significativa nas características dosinal 9. A tomografia computadorizada é usada principalmente para avaliar o envolvimento ósseo; no entanto, sua sensibilidade é menor do que a da ressonância magnética quando se trata de distinguir tumores benignos demalignos 10,11. O ultrassom é uma modalidade viável para avaliação preliminar de lesões superficiais; no entanto, sua eficácia depende da expertise dooperador 12. A PET-CT é caracterizada por sua alta sensibilidade metabólica; no entanto, seu alto custo e a taxa de falsos positivos limitam seu uso no diagnóstico inicial, tornando-o mais adequado para estadiamento e acompanhamento de tumores malignos. Consequentemente, modalidades de imagem única frequentemente não conseguem obter diagnósticos precisos, e a diferenciação pré-operatória entre lesões benignas e malignas normalmente depende de uma análise abrangente das informações multimodais.

Nos últimos anos, o campo da inteligência artificial (IA), particularmente o subconjunto das tecnologias de aprendizado profundo (DL) representado por redes neurais convolucionais (CNNs), emergiu como um contribuinte significativo para avanços no diagnóstico de imagem tumoral. Isso se deve às poderosas capacidades de extração de recursos de imagem e reconhecimento de padrões proporcionadas por essas tecnologias. Modelos de aprendizado profundo extraem automaticamente características complexas em múltiplas escalas por meio de redes neurais em múltiplas camadas, reduzindo significativamente a dependência do design manual de características enquanto melhoram o desempenho diagnóstico. Um corpo substancial de pesquisas validou seu potencial em imagem médica multimodal. Gu Jionghui et al.13 desenvolveram um sistema multimodal de aprendizado profundo que integra ultrassom mamário e ressonância magnética que previu efetivamente a resposta à quimioterapia neoadjuvante, superando os métodos tradicionais. Lu G et al.14 alcançaram diferenciação precisa entre tumores benignos e malignos integrando imagens de ultrassom, mamografia e ressonância magnética com estratégias de aprendizado por transferência, obtendo um AUC de 0,947. Horasan A et al.15 realizaram análise de fusão de ressonância magnética multiparamétrica prostática (mpMRI) usando CNNs 3D com arquiteturas ResNet e Inception, alcançando aproximadamente 91,3% de precisão. Em imagem parotídea, Zhang G et al.16 construíram um modelo de aprendizado profundo integrando ultrassom e dados clínicos para diferenciação benigna-maligna; Hu X e Wang H.17 alcançaram 92,3% de precisão de classificação (AUC=0,96) usando o modelo aResNet50 baseado em imagens CT. As evidências coletivas desses estudos indicam os benefícios substanciais de empregar modelos de aprendizado profundo para a análise de imagens de parótidas e outros tumores sólidos.

No entanto, métodos tradicionais de aprendizado profundo frequentemente dependem de conjuntos de dados substanciais para alcançar desempenho ideal. O câncer de parótida, por ser um tumor de baixa incidência, possui dados relativamentelimitados 18. Além disso, tumores parotídeos demonstram alta heterogeneidade de imagem, marcada por variações intrincadas na intensidade do sinal, estrutura morfológica e relações com o tecido glandular ao redor. Essas características abrangem diversas escalas espaciais — por exemplo, morfologia tumoral global e definição de limites, bem como características locais como heterogeneidade interna do sinal e padrões infiltrativos — tornando desafiador para métodos de extração de características simples ou em escala única capturarem completamente distinções-chave entre lesões benignas e malignas. Além disso, estudos anteriores frequentemente se basearam apenas em sequências individuais de ressonância magnética (por exemplo, imagens estruturais ou funcionais), o que limita a capacidade de obter representações abrangentes das características tumorais, conforme relatado em trabalhos anteriores19,20.

Para enfrentar esses desafios, defendemos que uma estrutura de aprendizado profundo multimodal de amostra pequena que integre ressonância magnética multi-sequência e um mecanismo de atenção espacial em múltiplas escalas pode diferenciar efetivamente tumores parotídeos benignos e malignos sob condições de dados limitados, superando as abordagens convencionais e a avaliação de radiologistas. Especificamente, esse modelo emprega uma estratégia de aprendizagem21 de poucos tiros para identificar características discriminativas de um número limitado de casos benignos e malignos representativos. O modelo utiliza um mecanismo de atenção espacial para focar nas principais regiões da lesão, melhorando assim a precisão do modelo na distinção de tumores parótidos benignos de malignos. O modelo foi avaliado usando uma coorte coletada retrospectivamente de 198 pacientes com tumores da glândula parótida patologicamente confirmados em nossa instituição. Este estudo integra sequências estruturais (T1WI, T2WI) e funcionais (DWI) para apoiar informações morfológicas e funcionais. O arcabouço proposto foi projetado para facilitar a diferenciação pré-operatória entre tumores benignos e malignos de parótida.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Protocolo

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Todos os dados dos pacientes utilizados neste estudo foram coletados exclusivamente no Hospital Popular de Wuxi e consistiram em 198 casos de tumor parotídeo patologicamente confirmados. Este estudo foi aprovado pelo Conselho de Revisão Institucional do Hospital Popular de Wuxi (IRB nº KY24068) e conduzido em total conformidade com as diretrizes institucionais e padrões éticos internacionais. Todos os dados foram totalmente anonimizados antes da análise.

Aquisição de imagens por ressonância magnética

Todas as sequências de ressonância magnética (imagens ponderadas em T1, com ponderação T2 e imagens ponderadas por difusão) foram adquiridas em um scanner de ressonância magnética de 3,0 Tesla (Siemens MAGNETOM Verio ou Prisma) usando uma bobina de cabeça e pescoço de 16 canais. Os parâmetros de aquisição foram os seguintes: imagens ponderadas em T1 foram obtidas com TR/TE = 500/15 ms, espessura do corte = 3 mm, matriz = 256 × 256, campo de visão = 240 mm; Imagens ponderadas em T2 foram adquiridas com TR/TE = 4000/90 ms, espessura do corte = 3 mm, matriz = 320 × 320, campo de visão = 240 mm; Imagens ponderadas por difusão foram obtidas com TR/TE = 5000/80 ms, valores b = 0 e 1000 s/mm2, espessura do corte = 3 mm, matriz = 128 × 128, campo de visão = 240 mm, com mapas de coeficientes de difusão aparentes gerados automaticamente. Todas as sequências foram adquiridas no plano axial, sem folga entre cortes.

Desenho do Estudo

Este estudo retrospectivo analisou dados de ressonância magnética pré-operatórias de 198 pacientes com tumores primários da glândula parótida confirmados histopatologicamente (107 benignos e 91 malignos). Todos os pacientes passaram por exames completos de ressonância magnética da parótida em nossa instituição, incluindo imagens ponderadas em T1, imagens ponderadas em T2 e sequências de imagem ponderadas por difusão, sem tratamento prévio para a lesão parotídea. Use amostras de resseção cirúrgica ou biópsia do núcleo como padrão de referência. Os critérios de inclusão foram um tumor primário da glândula parótida confirmado histopatologicamente, ressonância magnética pré-operatória com todas as sequências necessárias disponíveis em nossa instituição, e ausência de cirurgia, radioterapia, quimioterapia ou ablação prévia para a lesão parótida. Os critérios de exclusão incluíam tumores metastáticos na glândula parótida, artefatos significativos de movimento ou sequências incompletas que tornavam as imagens não diagnósticas, e tumores recorrentes após tratamento prévio. A coorte geral consistia em 118 homens (59,6%) e 80 mulheres (40,4%) com idades de 26 a 89 anos (média ± DS 53,0 ± 12,8 anos), e as características demográficas estratificadas por tipo tumoral foram as seguintes: grupo benigno (n=107) com 59 homens (55,1%) e 48 mulheres (44,9%), faixa etária de 28 a 87 anos (média ± DS 54,2 ± 12,1 anos), e grupo maligno (n=91) com 59 homens (64,8%) e 32 mulheres (35,2%), faixa etária de 26 a 89 anos (média ± DS 51,6 ± 13,4 anos); Uma abordagem estratificada de amostragem aleatória foi empregada para dividir os 198 pacientes em treinamentos (70%, N=138), validação (15%, n=30) e testes (15%, n=30), preservando a proporção benigna/maligna em todos os subconjuntos (os conjuntos de validação e teste continham 16 casos benignos e 14 malignos), com a divisão realizada no nível do paciente, em vez de por fatia ou por imagem, garantindo que todos os conjuntos de treinamento, validação e teste fossem mutuamente exclusivos, sem sobreposição de pacientes, para evitar vazamento de dados e permitir uma avaliação imparcial da generalização do modelo.

Pré-processamento de dados

O estudo implementou pré-processamento padronizado em todas as imagens de ressonância magnética por meio de quatro etapas principais: registro e reamostragem de imagens, redução de ruído, aumento de dados e normalização. Para abordar variações nos protocolos de ressonância magnética e no posicionamento dos pacientes, todos os volumes T1WI, T2WI e DWI foram primeiro registrados rigidamente na sequência T1WI como espaço de referência e reamostrados para resolução isotrópica de 1mm 3 usando interpolação trilinear. A redução de ruído foi então realizada em todos os volumes registrados usando o algoritmo de Meios Não Locais (NLM) 22, com o parâmetro de suavização automaticamente definido para 0,8 vezes o desvio padrão estimado de ruído, uma janela de busca de 21×21×21 voxels e uma janela de similaridade de 7×7×7 voxels. Essa abordagem reduz efetivamente o ruído aleatório enquanto preserva detalhes estruturais importantes. Subsequentemente, para expandir o tamanho efetivo da amostra de treinamento, melhorar a generalização do modelo e mitigar o sobreajuste no conjunto de dados limitado, múltiplas estratégias de aumento de dados, incluindo rotação aleatória (±15°) e escalonamento aleatório (0,9–1,1)23,24, foram aplicadas em tempo real exclusivamente às imagens do conjunto de treinamento durante cada época de treinamento, com todas as transformações geradas usando uma semente aleatória fixa de 42 para total reprodutibilidade; os conjuntos de validação e teste permaneceram sem aumento para garantir a avaliação objetiva do modelo. Por fim, para eliminar variações sistemáticas na intensidade do sinal entre diferentes dispositivos e sessões de varredura, a normalização Z-score foi aplicada a cada volume subtraindo a média e dividindo pelo desvio padrão, após o que os valores normalizados dos pixels foram escalados linearmente para a faixa [0, 1] para atender aos requisitos de entrada do framework de aprendizado profundoPyTorch 25.

Arquitetura do modelo

O presente estudo propõe uma estrutura multimodal de aprendizado profundo baseada em poucas fotos que integra informações complementares de múltiplas sequências de ressonância magnética (imagem ponderada em T1, imagem ponderada em T2 e imagem ponderada por difusão) e incorpora um mecanismo de atenção espacial em múltiplas escalas para melhorar a representação de características e o desempenho da classificação sob condições de amostra limitada. Todos os volumes de ressonância magnética foram adquiridos no plano axial do mesmo scanner; antes da entrada, passaram por um registro rígido para garantir o alinhamento espacial entre as sequências, com a qualidade do alinhamento verificada manualmente por um radiologista sênior, e os volumes 3D completos centrados na lesão parótida foram cortados para uma região padronizada de interesse, reamostrados para resolução isotrópica e redimensionados para dimensões consistentes. Ao combinar o paradigma de aprendizado em poucos tiros, o módulo de atenção espacial multiescala e a fusão de características multi-modais por concatenação canal, a estrutura aborda desafios associados à generalização de modelos em contextos de escassez de dados e permite um aprendizado robusto de características discriminativas a partir de um pequeno número de amostras anotadas, com a arquitetura completa ilustrada na Figura 1. Embora o conjunto de dados inclua 198 pacientes, a abordagem de poucos tiros é adotada porque tumores parótidos apresentam alta heterogeneidade de imagem e os dados volumétricos multimodais anotados permanecem relativamente limitados em relação à complexidade da tarefa, simulando melhor cenários clínicos do mundo real com poucos exemplos rotulados; uma abordagem convencional de treinamento supervisionado também foi avaliada para comparação, e as vantagens da configuração de poucos tiros são demonstradas nos estudos de ablação na seção de Resultados. A rede backbone emprega R3D-1826 (uma variante 3D ResNet-18 com convoluções espaço-temporais completas), pré-treinada em Kinetics-400, como extrator de características de peso compartilhado para cada sequência de ressonância magnética; Durante a adaptação, uma cabeça de rede prototípica é utilizada para a classificação em poucos tiros, com o módulo de atenção espacial multiescala inserido após as etapas convolucionais de cada ramo específico da modalidade, seguido pela fusão cross-modal e um classificador compartilhado. A novidade do mecanismo de atenção espacial multiescala proposto está no uso de caminhos convolucionais paralelos com tamanhos de núcleo de 1×1, 3×3 e 5×5, onde cada caminho gera independentemente um mapa de atenção espacial em um campo receptivo diferente, que é posteriormente normalizado usando softmax e adaptativamente fundido com as características de entrada por meio de soma ponderada; Este desenho captura explicitamente características da lesão em múltiplas escalas espaciais — desde detalhes locais finos, como heterogeneidade do sinal interno, até estruturas contextuais mais amplas, como margens tumorais e interfaces com tecidos ao redor — e oferece desempenho superior em comparação com módulos convencionais de atenção. A estratégia de ajuste fino ocorre em duas fases: inicialmente, as camadas pré-treinadas da espinha dorsal R3D-18 são congeladas para manter representações espaço-temporais gerais, enquanto apenas os módulos de atenção, camadas de fusão e a cabeça prototípica são treinados; subsequentemente, os dois últimos blocos residuais (camada 3 e camada 4) de cada espinha dorsal são descongelados para permitir a adaptação de ponta a ponta a características volumétricas específicas da ressonância magnética. O treinamento era realizado usando o otimizador Adam com uma taxa inicial de aprendizado de 0,0001, reduzida por um fator de 0,1 a cada 20 épocas por meio do escalonamento de decay por etapas; o modelo passou por 100 épocas de treinamento episódico com um lote de 8 episódios (cada um composta por conjuntos de suporte e consulta), seguindo o protocolo padrão de poucos tiros em uma configuração K-shot bidirecional (com K=5 durante o meta-treinamento primário e avaliação); todos os experimentos foram realizados em uma GPU de alto desempenho com 24 GB de memória, e uma semente aleatória fixa de 42 foi aplicada durante o particionamento de dados, inicialização de pesos e aumento para garantir total reprodutibilidade.

Paradigma de Tarefa de Aprendizagem de Poucos Tiros para Classificação de Tumores da Glândula Parótida

Diante da disponibilidade limitada de dados anotados de alta qualidade para tumores da glândula parótida e da alta heterogeneidade de imagem dessas lesões, este estudo adota um paradigma de aprendizado baseado em métricas e poucos tiros, mesmo que o conjunto total de dados compreenda 198 pacientes. A estrutura de tarefa conjunto de suporte–conjunto de consultas é empregada para simular o processo de raciocínio diagnóstico na prática clínica, onde apenas um pequeno número de exemplos representativos está tipicamente disponível para subtipos tumorais raros ou heterogêneos. Cada tarefa de treinamento é definida em um formato K-shot de N-vias (N=2, correspondente à classificação benigna/maligna), permitindo que o modelo aprenda representações discriminativas de características a partir de um pequeno número de amostras. Especificamente, para cada tarefa, o conjunto de suporte inclui K amostras multimodais (imagem ponderada em T1, imagem ponderada em T2 e imagem ponderada por difusão) por classe para construir protótipos de classe, enquanto o conjunto de consultas contém amostras a serem classificadas. O modelo realiza decisões de classificação baseadas em métricas de distância calculando a similaridade entre características da amostra de consulta e protótipos de classe no espaço de incorporação. Esse mecanismo de aprendizado é notável por sua capacidade de libertar o modelo da dependência de dados anotados em grande escala, tornando-o mais adequado para aplicações práticas em ambientes clínicos com poucos dados disponíveis. Para comparação direta, também foi avaliada uma abordagem convencional de treinamento supervisionado usando o conjunto completo de treino sem amostragem episódica de poucos tiros, e as vantagens da configuração de poucos tiros em termos de generalização e estabilidade sob condições de amostra limitada são demonstradas quantitativamente nos estudos de ablação apresentados na seção de Resultados.

Na fase de classificação, este estudo utiliza uma rede prototípica como classificador. Para cada categoria c no conjunto de suporte, o vetor protótipo p_c é calculado como a média das amostras de suporte embarcadas:

figure-protocol-1(1)

onde f(·) denota a função de incorporação (extrator de características), figure-protocol-2 é a i-ésima amostra de suporte da categoria c, e K é o número de disparos por classe.

Para uma dada amostra de consulta x, a probabilidade de pertencer à categoria c é calculada usando a função softmax sobre distâncias euclidianas negativas:

figure-protocol-3(2)

onde d(·, ·) representa a função de distância euclidiana.

Arquitetura baseada na fusão multimodal de características

Para aproveitar totalmente o valor complementar dos dados de ressonância magnética multi-sequência, este estudo projetou uma rede de fusão de características de três ramos que processa separadamente as sequências de imagem ponderada em T1 (T1WI), imagem ponderada em T2 (T2WI) e imagens ponderadas por difusão (DWI). Cada sequência primeiro passa pela extração de características usando um modelo R3D-18 de peso compartilhado pré-treinado no conjunto de dados Kinetics-400, com pesos obtidos da implementação oficial do PyTorch TorchVision; durante a adaptação, foi aplicada uma estratégia de ajuste fino em dois estágios, na qual todas as camadas da espinha dorsal pré-treinada foram inicialmente mantidas fixas para preservar representações espaço-temporais gerais, enquanto apenas os módulos de atenção espacial multi-escala, camadas de fusão cross-modal e a cabeça de rede prototípica eram treinados, após o que os dois últimos blocos residuais (camada 3 e camada4) de cada espinha dorsal eram descongelados para adaptação de ponta a ponta a características volumétricas específicas da ressonância magnética, com as camadas anteriores (camada 1 e camada 2) permanecendo congeladas durante todo o treinamento. Essa rede utiliza núcleos convolucionais 3D deslizando por dimensões espaciais e temporais para capturar efetivamente a morfologia volumétrica tumoral e informações contextuais espaciais. Durante a fusão de características, é empregada uma estratégia cross-modal baseada em concatenação, na qual as representações de características aprimoradas por atenção das três modalidades são concatenadas ao longo da dimensão do canal para formar um vetor multimodal abrangente. Essa abordagem de fusão preserva a informação única de cada modalidade — a clareza anatômica do T1WI, a sensibilidade à composição tecidar do T2WI e a funcionalidade de densidade celular do DWI — ao mesmo tempo em que alcança complementaridade efetiva das informações diagnósticas, aumentando significativamente a riqueza de expressão de características e o poder discriminativo.

Mecanismo de Atenção Espacial Multiescala

Este estudo incorpora um módulo de atenção espacial em múltiplas escalas para capturar características das lesões em diferentes escalas espaciais. Como mostrado na Figura 2, o módulo emprega caminhos convolucionais paralelos com tamanhos de kernel de 1×1, 3×3 e 5×5. Cada caminho gera independentemente um mapa de atenção espacial, que é normalizado usando softmax e então adaptativamente fundido com as características de entrada por meio da soma ponderada. Esse desenho permite que o modelo foque em regiões mais relevantes para distinguir lesões benignas de malignas, ao mesmo tempo em que reduz a influência de áreas de fundo irrelevantes. Os mapas de atenção resultantes podem ajudar a destacar áreas de interesse nas imagens.

DISPONIBILIDADE DE DADOS:

Um subconjunto representativo de sequências de ressonância magnética multimodal totalmente anonimizadas (T1WI, T2WI, DWI) da coorte do estudo está disponível publicamente no repositório Zenodo em: https://doi.org/10.5281/zenodo.17744149 (Versão v1). Esses dados são compartilhados sob uma licença Creative Commons Attribution 4.0 International (CC-BY 4.0), sem restrições de acesso. O conjunto de dados completo e anonimizado ainda não está disponível publicamente e será liberado em uma versão subsequente do repositório após a publicação formal deste manuscrito, sujeito à aprovação institucional e ética.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Resultados

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Visão geral do desempenho do modelo

Para avaliar o desempenho diagnóstico do modelo, foi empregado um conjunto de métricas padrão, incluindo precisão, exatidão, recordação e escore F1. Na configuração de 5 injeções bidirecionais, o modelo multimodal de aprendizado de poucos tiros baseado em R3D-18 alcançou os seguintes resultados no conjunto de testes para classificação de tumores das glândulas parótidas: precisão de 96,88%, precisão de 97,50%...

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Discussão

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Neste estudo, hipotetizamos que uma estrutura multimodal de aprendizado profundo de poucos disparos, que integra ressonância magnética multi-sequência (T1, T2 e difusão) com um mecanismo de atenção espacial em múltiplas escalas, pode diferenciar com precisão tumores benignos e malignos da glândula parótida sob condições limitadas de dados anotados e superar tanto as abordagens convencionais de aprendizado profundo quanto radiologistas experientes.

Os resultado...

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Divulgações

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os autores declaram que não há interesses financeiros ou não financeiros concorrentes.

Agradecimentos

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Esta pesquisa foi financiada pela Fundação Nacional de Ciências Naturais da China (Nº 82473200), pelo Projeto Chave de Pesquisa Médica da Comissão Provincial de Saúde de Jiangsu (Nº K2023061) e pelo projeto da Comissão Provincial de Saúde de Jiangsu sobre Saúde dos Idosos (KLM2023019) para YJH

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Materiais

Lista de materiais utilizados neste artigo
NomeEmpresaNúmero de catálogoComentários
Grad-CAMhttps://github.com/jacobgil/pytorch-grad-cam
NumPy 1.25Desenvolvedores NumPyhttps://numpy.org/
Pandas 2.1Desenvolvedores Pandashttps://pandas.pydata.org/
PycharmJetBrainshttps://www.jetbrains.com/zh-cn/pycharm/
Python 3.10Fundação de Software Pythonhttps://www.python.org/
PyTorch 2.1Meta Platforms, Inc.https://pytorch.org/
scikit-learn 1.3Desenvolvedores Scikit-learnhttps://scikit-learn.org/
SHAPhttps://github.com/slundberg/shap
Sistema de Ressonância Magnética Siemens MAGNETOM Prisma 3.0TSiemens Healthineershttps://www.siemens-healthineers.cn/magnetic-resonance-imaging/3t-mri-scanner/magnetom-prisma

Referências

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Liu, X., Pan, Y., Zhang, X., Sha, Y., Wang, S., et al. A Deep Learning Model for Classification of Parotid Neoplasms Based on Multimodal Magnetic Resonance Image Sequences. Laryngoscope. 133 (2), 327-335 (2023).
  2. Moore, M. G., Yueh, B., Lin, D. T., Bradford, C. R., Smith, R. V., et al. Controversies in the Workup and Surgical Management of Parotid Neoplasms. Otolaryngol Head Neck Surg. 164 (1), 27-36 (2021).
  3. Gautam, S. K., Kumar, S., Singh, H. P., Singh, A. B., Chandra, M. Clinico-Pathological Profile of Parotid Gland Tumors at a Tertiary Care Center in North India. Natl J Maxillofac Surg. 14 (3), 438-443 (2023).
  4. Alshammari, A., Aljufairi, E., Alsayed, A. Oncocytic Mucoepidermoid Carcinoma of the Parotid Gland: Case Report. J Surg Case Rep. 2022 (4), rjac039(2022).
  5. Thielker, J., Grosheva, M., Ihrler, S., Wittig, A., Guntinas-Lichius, O. Contemporary Management of Benign and Malignant Parotid Tumors. Front Surg. 5, 39(2018).
  6. Davachi, B., Imanimoghaddam, M., Majidi, M. R., Sahebalam, A., Johari, M., et al. The Efficacy of Magnetic Resonance Imaging and Color Doppler Ultrasonography in Diagnosis of Salivary Gland Tumors. J Dent Res Dent Clin Dent Prospects. 8 (4), 246-250 (2014).
  7. Pedicelli, A., Trombatore, P., Bartolo, A., Camilli, A., Rossi, E. D., et al. Preoperative Direct Puncture Embolization of Castleman Disease of the Parotid Gland: A Case Report. Curr Oncol. 31 (4), 2047-2056 (2024).
  8. Paris, J., Facon, F., Pascal, T., Chrestian, M., Moulin, G., et al. Preoperative Diagnostic Values of Fine-Needle Cytology and MRI in Parotid Gland Tumors. Eur Arch Otorhinolaryngol. 262 (1), 27-31 (2005).
  9. Yologlu, Z., Aydin, H., Alp, N. A., Aribas, B. K., Kizilgoz, V., et al. Diffusion-Weighted Magnetic Resonance Imaging in the Diagnosis of Parotid Masses: Preliminary Results. Saudi Med J. 37 (12), 1412-1417 (2016).
  10. Stoia, S., et al. Cross-Sectional Imaging and Cytologic Investigations in the Preoperative Diagnosis of Parotid Gland Tumors: An Updated Literature Review. Bosn J Basic Med Sci. 21 (1), 19-32 (2021).
  11. Christe, A., Waldherr, C., Hallett, R., Zbaeren, P., Thoeny, H. MR Imaging of Parotid Tumors: Typical Lesion Characteristics Improve Discrimination Between Benign and Malignant Disease. Am J Neuroradiol. 32 (7), 1202-1207 (2011).
  12. Li, L., Zhao, Y., Luo, D., Yang, L., Hu, L., et al. Diagnostic Value of Single-Source Dual-Energy Spectral Computed Tomography in Differentiating Parotid Gland Tumors: Initial Results. Quant Imaging Med Surg. 8 (6), 588-596 (2018).
  13. Gu, J., Zhong, X., Fang, C., Lou, W., Fu, P., et al. Deep Learning of Multimodal Ultrasound: Stratifying the Response to Neoadjuvant Chemotherapy in Breast Cancer Before Treatment. Oncologist. 29 (2), e187-e197 (2024).
  14. Lu, G., Tian, R., Yang, W., Liu, R., Liu, D., et al. Deep Learning Radiomics Based on Multimodal Imaging for Distinguishing Benign and Malignant Breast Tumors. Front Med. 11, 1402967(2024).
  15. Horasan, A., Güneş, A. Advancing Prostate Cancer Diagnosis: A Deep Learning Approach for Enhanced Detection in MRI Images. Diagnostics. 14 (14), 1871(2024).
  16. Zhang, G., et al. A Deep Learning Model for the Differential Diagnosis of Benign and Malignant Salivary Gland Tumors Based on Ultrasound Imaging and Clinical Data. Quant Imaging Med Surg. 13 (5), 2989-3000 (2023).
  17. Hu, Z., Wang, B., Pan, X., Cao, D., Gao, A., et al. Using Deep Learning to Distinguish Malignant from Benign Parotid Tumors on Plain Computed Tomography Images. Front Oncol. 12, 919088(2022).
  18. Khodabakhshi, Z., et al. MRI-Based Radiomics for Predicting Histology in Malignant Salivary Gland Tumors: Methodology and Proof of Principle. Sci Rep. 14 (1), 9945(2024).
  19. Sreecharan, V., et al. Multiparametric MRI in Diagnosis of Parotid Gland Tumor: An Observational Study in 3-T MRI. Indian J Radiol Imaging. 35 (2), 402-410 (2024).
  20. Chang, Y. J., Huang, T. Y., Liu, Y. J., Chung, H. W., Juan, C. J. Classification of Parotid Gland Tumors by Using Multimodal MRI and Deep Learning. NMR Biomed. 34 (8), e4408(2021).
  21. Parnami, A., Lee, M. Learning from Few Examples: A Summary of Approaches to Few-Shot Learning. ArXiv. abs/2203.04291, (2022).
  22. Buades, A., Coll, B., Morel, J. M. A Non-Local Algorithm for Image Denoising. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), 2, 60-65 (2005).
  23. Maharana, K., Mondal, S., Nemade, B. A Review: Data Pre-Processing and Data Augmentation Techniques. Global Transitions Proceedings, 3, 91-99 (2022).
  24. Mumuni, A., Mumuni, F. Data augmentation: A comprehensive survey of modern approaches. Array. 16, 100258(2022).
  25. Au, R. C., Tan, W. C., Bourbeau, J., Hogg, J. C., Kirby, M. Impact of Image Pre-Processing Methods on Computed Tomography Radiomics Features in Chronic Obstructive Pulmonary Disease. Phys Med Biol. 66 (24), 245015(2021).
  26. Tran, D., Wang, H., Torresani, L., Ray, J., LeCun, Y., et al. A Closer Look at Spatiotemporal Convolutions for Action Recognition. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, , 6450-6459 (2017).
  27. He, K., Zhang, X., Ren, S., Sun, J. Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 770-778 (2016).
  28. Huang, G., Liu, Z., Van Der Maaten, L., Weinberger, K. Q. Densely Connected Convolutional Networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 2261-2269 (2017).
  29. Xie, S., Girshick, R., Dollár, P., Tu, Z., He, K. Aggregated Residual Transformations for Deep Neural Networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 5987-5995 (2017).
  30. Snell, J., Swersky, K., Zemel, R. Prototypical Networks for Few-Shot Learning. NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing System, , 4080-4090 (2017).
  31. Zhou, F., Wang, P., Zhang, L., Wei, W., Zhang, Y. Revisiting Prototypical Network for Cross-Domain Few-Shot Learning. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), , 20061-20070 (2023).
  32. Li, T., et al. Automated Diagnosis of Major Depressive Disorder With Multi-Modal MRIs Based on Contrastive Learning: A Few-Shot Study. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 32, 1566-1576 (2024).
  33. Liu, Q., Tian, Y., Zhou, T., et al. A Few-Shot Disease Diagnosis Decision Making Model Based on Meta-Learning for General Practice. Artif Intell Med. 147, 102718(2024).
  34. Jiao, S., et al. Multi-Modal Contrastive Learning for Medical Image Classification with Limited Training Data. 2024 International Conference on Machine Learning and Applications (ICMLA), , 1083-1088 (2024).
  35. Ouahab, A., Ahmed, O. B. ProtoMed: Prototypical Networks with Auxiliary Regularization for Few-Shot Medical Image Classification. Image and Vision Computing. 154, 105337(2025).
  36. Wang, L., Uddin, I. I., Santosh, K. C. Expert-Guided Explainable Few-Shot Learning with Active Sample Selection for Medical Image Analysis. IEEE Journal of Biomedical and Health Informatics. , (2025).
  37. Hu, J., Shen, L., Sun, G. Squeeze-and-Excitation Networks. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, , 7132-7141 (2018).
  38. Woo, S., Park, J., Lee, J. Y., Kweon, I. S. CBAM: Convolutional Block Attention Module. Computer Vision – ECCV 2018: 15th European Conference, Munich, Germany, September 8–14, 2018, Proceedings, Part VII, , 3-19 (2018).
  39. Wang, Q., et al. ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), , 11534-11542 (2020).
  40. Misra, D., et al. Rotate to Attend: Convolutional Triplet Attention Module. 2021 IEEE Winter Conference on Applications of Computer Vision (WACV), , 3138-3147 (2021).
  41. Selvaraju, R. R., Cogswell, M., Das, A., Vedantam, R., Parikh, D., et al. Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization. 2017 IEEE International Conference on Computer Vision (ICCV), , 618-626 (2017).
  42. Wang, S., Zhang, Y. Grad-CAM: Understanding AI Models. Computers, Materials & Continua. 76 (2), 1321-1324 (2023).
  43. Lundberg, S. M., Lee, S. I. A Unified Approach to Interpreting Model Predictions. NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems, , 4768-4777 (2017).

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Reimpressões e permissões

Solicitar permissão para reutilizar o texto ou as figuras deste artigo JoVE

Solicitar permissão

Etiquetas

Few Shot LearningParotid Gland TumorsMRI DiagnosisSpatial AttentionTumor ClassificationBenign Malignant DifferentiationSmall Sample LearningClinical Decision Support

Artigos relacionados