Modelagem Híbrida CNN-ViT para Prever Desfechos Funcionais Após AVC Isquêmico: Um Estudo Retrospectivo

Resumo

Um modelo híbrido CNN-ViT extraiu características multiparamétricas de ressonância magnética e regressão logística empilhou imagens e previsões clínicas para estimar o desfecho funcional em 90 dias após AVC isquêmico agudo. O modelo de fusão alcançou o maior desempenho interno em testes, com um AUC de 0,885 e precisão de 0,840, e mostrou desempenho encorajador de validação externa.

Resumo

O AVC isquêmico agudo (AIS) é uma das principais causas de morte e incapacidade de longo prazo, e a previsão precoce da recuperação funcional é importante para orientar a tomada de decisões clínicas e o planejamento da reabilitação. O desfecho funcional aos 90 dias é comumente avaliado usando a Escala de Rankin modificada (mRS), mas prever o resultado a longo prazo a partir das informações clínicas e de imagem precoces ainda é desafiador. Hipotetizamos que integrar a imagem de ressonância magnética multiparamétrica (MRI) com variáveis clínicas estruturadas usando uma arquitetura híbrida de rede neural convolucional (CNN) e Transformador de Visão (ViT) melhoraria a previsão dos resultados funcionais de 90 dias em comparação com modelos monomodales. Uma coorte retrospectiva de 300 pacientes com AIS que passaram por ressonância magnética multiparamétrica foi analisada e dividida em uma coorte de validação de treinamento (n = 250) e uma coorte interna independente de teste (n = 50). Uma coorte adicional externa de 37 pacientes com AIS foi incluída para avaliar a generalizabilidade do modelo. Um modelo híbrido CNN-ViT foi desenvolvido para extrair características multiparamétricas de ressonância magnética, e imagens e previsões clínicas foram integradas usando regressão logística empilhada. O desempenho do modelo foi avaliado usando a área sob a curva característica operacional do receptor (AUC), sensibilidade, especificidade e precisão. Entre os modelos clínicos avaliados, a máquina de vetores de suporte alcançou o maior AUC de teste interno (0,878). O modelo de imagem alcançou um AUC de 0,782. O modelo multimodal de fusão alcançou o melhor desempenho interno geral, com um AUC de 0,885, sensibilidade de 0,920, especificidade de 0,760 e precisão de 0,840. Tendências de desempenho semelhantes foram observadas na coorte externa do teste. Esses achados sugerem que a fusão empilhada de ressonância magnética multiparamétrica e previsões clínicas pode melhorar a previsão de desfechos funcionais a 90 dias após a AIS. No entanto, estudos maiores de validação multicêntrica são necessários antes da implementação clínica.

Introdução

O AVC isquêmico agudo (AIS) continua sendo uma das principais causas de morte e incapacidade de longo prazo, e os profissionais devem estimar a recuperação precocemente, quando as decisões de tratamento e alta são mais sensíveis ao^{tempo 1}. A previsão precoz precisa da recuperação funcional é, portanto, clinicamente importante para orientar estratégias de tratamento, planejamento de reabilitação e tomada de decisões após alta. O desfecho funcional de noventa dias é um desfecho padrão na pesquisa e no cuidado do AVC e é mais comumente medido usando a Escala de Rankin modificada (mRS), que estabeleceu validade e confiabilidade em ensaios clínicos e estudos^{observacionais 2,3}. Apesar de seu uso rotineiro, prever a mRS de 90 dias a partir dos dados de internação continua difícil porque a incapacidade reflete tanto lesão tecidular irreversível quanto a reserva pré-mórbida e a carga de comorbidade, que influenciam a recuperação mesmo quando os achados agudos de imagem são^{semelhantes 2,4}.

A ressonância magnética multiparamétrica fornece biomarcadores clinicamente acionáveis de lesão isquêmica precoce e estado tecidual que não são totalmente capturados por um único contraste de imagem. A imagem ponderada por difusão (DWI) é altamente sensível a mudanças isquêmicas precoces. A imagem com coeficiente de difusão aparente (ADC) quantifica a restrição de difusão e demonstrou utilidade prognóstica em coortes de AVC^{agudo 5}. A recuperação por inversão atenuada por fluido T2 (T2-FLAIR) complementa a imagem de difusão ao aprimorar a visualização da evolução da lesão e é central para as abordagens de desajuste DWI-FLAIR usadas para estimar idade e elegibilidade para tratamento da lesão quando o tempo de início é^{incerto 6,7}. Grandes estudos multicêntricos e ensaios randomizados mostraram que a incompatibilidade entre DWI e FLAIR identifica pacientes dentro de uma janela terapêutica de 4,5 horas e apoia a trombolise guiada por ressonância magnética em AVCs de início desconhecido, ressaltando a relevância prognóstica de DWI e FLAIR além do^{diagnóstico 6,7}. Coletivamente, essas observações apoiam estratégias de modelagem que integram DWI, ADC e T2-FLAIR para capturar tanto características centrais isquêmicas iniciais quanto informações temporais que podem influenciar a recuperação funcional.

Paralelamente, variáveis clínicas estabelecidas fornecem um forte sinal prognóstico e estão rotineiramente disponíveis na^4ª admissão. A Escala de AVC dos Institutos Nacionais de Saúde (NIHSS) é uma medida amplamente utilizada da gravidade do déficit neurológico e prevê fortemente o desfecho clínico. O subtipo etiológico do AVC, incluindo a classificação Trial of Org 10172 in Acute Stroke Treatment (TOAST), pode fornecer informações prognósticas adicionais além do NIHSS em algumas^{análises 8,9}. Trabalhos anteriores também demonstraram que fatores de risco vascular e condições comórbidas são repetidamente identificados entre candidatos a preditor de desfecho negativo em coortes de AVC isquêmico e estudos^{prognósticos 4,10}. Comorbidades específicas, como fibrilação auricular, insuficiência cardíaca descompensada e diabetes, estão consistentemente associadas a desfechos funcionais piores após^{AVC 1,11,12}. Fumar está associado a piores resultados funcionais em 90 dias, enquanto o uso de álcool apresenta associações mais fracas ou dependentes da dose, e distúrbios lipídicos apresentam relações mais complexas com a incapacidade^pós-AVC 13,14,15,16,17. Esses achados apoiam a combinação de preditores clínicos estruturados que capturam a gravidade do AVC, etiologia e carga de comorbidade com ressonância magnética multiparamétrica, em vez de depender apenas de qualquer modalidade.

Estudos recentes de aprendizado de máquina sugerem que modelos computacionais podem integrar biomarcadores heterogêneos para melhorar a previsão do resultado do AVC, embora o desempenho dependa fortemente da modalidade dos dados, composição de coortes, design do modelo e estratégias de manejo de desequilíbrios de classe 18,19,20. Métodos de aumento de gradiente e conjunto demonstraram viabilidade para prever mRS a 90 dias usando variáveis de imagem, demografia e clínicas, especialmente para classificação binária de desfecho desfavorável (mRS > 2)¹⁸. Estudos recentes multicêntricos combinando características de ressonância magnética convolucional tridimensional derivadas de redes neurais convolucionais (CNN) de DWI, ADC e FLAIR com variáveis clínicas estruturadas mostraram que modelos multimodais capturam informações prognósticas complementares além das abordagens^{monomodales 21}. Achados semelhantes foram relatados usando modalidades de imagem únicas, como imagem ponderada por difusão ou tomografia computadorizada sem contraste, fundidas com variáveis^{clínicas 18,22}. Estudos representativos usando modelos multimodais de inteligência artificial para previsão de desfechos de AVC são resumidos na Tabela 1.

Estudo	Modalidade de Imagem	Técnica de IA (Modelo)	Objetivo	Resumo
Liu et al.18	Ressonância magnética (DWI) + Clínico	Modelo preditivo de aprendizado profundo (DLPD, rede de imagem baseada em CNN + rede de características clínicas)	Prediga a mRS ordinal de 90 dias usando imagens fundidas e informações clínicas.	O modelo fundido superou significativamente os modelos apenas por imagem e apenas clínicos, além de alcançar alta precisão para prever resultados desfavoráveis.
Jung et al.21	Ressonância magnética (DWI, ADC, Flair) + Clínico	Modelo de aprendizado profundo em conjunto que combina redes de imagem 3D-CNN e modelo clínico de perceptrão multicamadas (MLP)	Desenvolver um modelo multimodal de conjunto DL para a previsão de resultados funcionais em AIS.	A integração multimodal melhorou a previsão dos desfechos em 3 meses em comparação com modelos monomodales em uma grande coorte multicêntrica.
Wei et al.27	Ressonância magnética (DWI, ADC) + Clínico	Radiômica + aprendizado de máquina (seleção de características LASSO + regressão logística / classificadores de floresta aleatória)	Prediga desfechos funcionais de longo prazo usando ressonância magnética, radiômica e variáveis clínicas.	O modelo radiômico-clínico alcançou melhor desempenho prognóstico do que modelos apenas por imagem ou apenas clínicos.
Liu et al.22	CT sem contraste + Clínico	Modelo de fusão por aprendizado profundo (codificador de imagem CNN + rede MLP clínica)	Prever desfechos funcionais a 90 dias a partir de tomografia computorizada em fase aguda e dados clínicos.	A fusão multimodal melhorou significativamente a precisão da predição em comparação com modelos monomodales.
Liu et al.19	Ressonância magnética (DWI) + Clínico	Modelo preditivo de aprendizado profundo (DLPD, modelo de fusão baseado em CNN)	Compare o modelo de predição de resultados de deep learning em comparação com as previsões dos médicos.	O modelo de IA alcançou desempenho comparável ao dos especialistas em AVC na previsão de resultados de mRS em 90 dias.
Rehman et al.20	Clínica	Aprendizado profundo híbrido (CNN+GRU com ADASYN)	Prever o risco de AVC a partir de dados clínicos desequilibrados	O deep learning híbrido com ADASYN melhorou o desempenho na previsão do risco de AVC, demonstrando o valor do balanceamento avançado de dados e do aprendizado multimodelo.
Ali et al.29	MRI/fMRI/rs-fMRI	Meta-revisão sistemática de modelos de ML, DL e híbridos	Avaliar técnicas de inteligência computacional para diagnóstico baseado em neuroimagem	Modelos híbridos geralmente superaram as abordagens independentes de ML e DL, apoiando o valor das arquiteturas híbridas para a previsão baseada em neuroimagem.

Tabela 1: Resumo de estudos anteriores sobre previsão baseada em inteligência artificial de desfechos funcionais após AVC isquêmico agudo. Estudos representativos usando imagens, variáveis clínicas ou abordagens multimodais para previsão dos resultados funcionais pós-AVC são resumidos, incluindo modalidade de imagem, técnica de inteligência artificial, objetivo do estudo e principais achados. Por favor, clique aqui para baixar esta Tabela.

No entanto, muitos estudos existentes dependem de sequências de imagem únicas ou modelos convencionais de aprendizado profundo que capturam principalmente características espaciais locais e podem não modelar totalmente as relações contextuais de longo alcance dentro dos dados de neuroimagem. Consequentemente, permanece uma lacuna específica no desenvolvimento e avaliação externa de uma abordagem multimodal que utiliza conjuntamente DWI, ADC e T2-FLAIR com variáveis clínicas estruturadas, combinando extração local de características da lesão e modelagem contextual global. Embora as CNNs estejam bem estabelecidas para extração de características em nível de lesão, arquiteturas baseadas em Transformers, como os Transformers de Visão (ViTs), permitem a modelagem de relações contextuais de longo alcance por meio de mecanismos de atenção, fornecendo assim representações globais^{complementares 23,24}. Modelos híbridos CNN-ViT, portanto, fornecem uma estrutura racional para codificar conjuntamente detalhes morfológicos locais e contexto cerebral global. Algoritmos de aprendizado de máquina são igualmente adequados para modelar relações complexas não lineares dentro de dados clínicos estruturados^{e heterogêneos 25}. Guiado por princípios recentes de aprendizagem multimodal que enfatizam a integração complementar entre^{modales 26}, este estudo combinou ressonância magnética multiparamétrica dentro de uma espinha dorsal de imagem CNN-ViT e integrou essas características com um modelo clínico de aprendizado de máquina para a previsão de resultados em 90 dias. A novidade do estudo está no desenvolvimento e avaliação externa de uma estrutura multimodal de fusão empilhada que integra sequências complementares de ressonância magnética, representações de imagem CNN-ViT local-global e preditores clínicos estruturados dentro de um modelo unificado de previsão de desfechos de 90 dias.

A hipótese do estudo era que integrar a ressonância magnética multiparamétrica com variáveis clínicas estruturadas usando uma arquitetura híbrida CNN-ViT melhoraria a previsão dos desfechos funcionais de 90 dias após a AIS em comparação com modelos monomodales. Assim, o objetivo era desenvolver e avaliar uma estrutura multimodal de aprendizado profundo integrando sequências de ressonância magnética DWI, ADC e T2-FLAIR com preditores clínicos estruturados para estimar os desfechos da mRS a 90 dias em pacientes com AIS.

Protocolo

Este estudo foi aprovado pelo Conselho de Revisão Institucional do Hospital Geral da Universidade de Shenzhen (aprovação do IRB nº KYLL-2026-077-1). A exigência de consentimento informado por escrito foi dispensada devido ao desenho retrospectivo do estudo.

1. Coorte de estudo

Pacientes com AVC isquêmico agudo (AIS) que passaram por ressonância magnética multiparamétrica foram identificados retrospectivamente a partir do banco de dados clínico institucional. O fluxo de trabalho geral do estudo, incluindo particionamento de conjuntos de dados, desenvolvimento de modelos de imagem, construção de modelos clínicos e fusão multimodal, está ilustrado na Figura 1.

Figura 1: Fluxo de trabalho do framework multimodal de previsão de resultados. (A) Aquisição de dados. Pacientes com AVC isquêmico agudo (AIS) que atenderam aos critérios de inclusão pré-definidos foram identificados retrospectivamente. O conjunto de dados foi dividido em uma coorte de validação de treinamento (n = 250), uma coorte interna independente de teste (n = 50) e uma coorte externa de teste (n = 37). A validação cruzada estratificada de cinco vezes foi realizada dentro da coorte de validação de treinamento. (B) Desenvolvimento de modelos de imagem. Sequências de ressonância magnética multiparamétricas, incluindo imagens ponderadas por difusão (DWI), coeficiente de difusão aparente (ADC) e recuperação de inversão atenuada por fluido T2 (T2-FLAIR), foram processadas usando uma arquitetura híbrida de rede neural convolucional 3-Transformador de Visão (CNN-ViT) para previsão de resultados. (C) Desenvolvimento de modelos clínicos. Variáveis clínicas estruturadas foram usadas para treinar modelos de aprendizado de máquina para previsão do resultado funcional em 90 dias. (D) Estratégia de fusão multimodal. As previsões geradas pelos modelos de imagem e clínicos foram integradas usando um meta-aprendiz de regressão logística empilhada para produzir previsões de resultado final. Por favor, clique aqui para ver uma versão ampliada desta figura.

Exames de ressonância magnética foram realizados utilizando sistemas clínicos de ressonância magnética. Uma bobina de cabeça dedicada em matriz faseada era usada para aquisição de imagem. Todas as sequências foram adquiridas no plano axial usando posicionamento consistente dos cortes entre as modalidades. A imagem ponderada por difusão (DWI) foi adquirida usando uma sequência de imagem ecoplanar spin-echo de tiro único, com tempo de repetição (TR) de 3.000–5.000 ms e tempo de eco (TE) de 80–90 ms. A sensibilização por difusão foi aplicada usando valores b de 0 e 800–1.000 s/^{mm 2} em pelo menos 3 direções ortogonais. O campo de visão variava de 220 a 240 mm, com uma matriz de 128 × 128. A espessura da fatia era de 5–6 mm com uma folga entre a interfaia de 1–1,5 mm. Foram obtidas médias de dois a quatro sinais.

Mapas de coeficientes de difusão aparente (ADC) foram gerados automaticamente a partir de dados DWI na estação de trabalho scanner usando ajuste monoexponencial baseado nos valores b adquiridos. Os valores de ADC foram calculados voxel a par e exportados para análise quantitativa. Imagens de recuperação por inversão atenuada por fluido T2 (T2-FLAIR) foram adquiridas usando uma sequência de recuperação por inversão com TR de 8.000–10.000 ms, TE de 80–140 ms e tempo de inversão de 2.200–2.600 ms. O campo de visão variava de 220 a 240 mm, com tamanho de matriz de 192 × 192 a 256 × 256. A espessura da fatia era de 4–5 mm com uma folga entre a interfaia de 1–1,5 mm.

2. Pré-processamento de dados

Os dados clínicos foram importados de planilhas estruturadas contendo identificadores de casos, escores de desfechos do mRS, rótulos de divisão de conjunto de dados e variáveis demográficas e clínicas. Identificadores de casos foram padronizados para garantir consistência com nomes de arquivos de imagem. As variáveis clínicas incluíram características demográficas, gravidade do AVC medida usando a Escala de AVC dos Institutos Nacionais de Saúde (NIHSS), fatores de risco vasculares e condições comórbidas registradas na admissão.

O desfecho primário foi o status funcional 90 dias após o início do AVC, medido usando a Escala de Rankin (mRS) modificada. Um desfecho favorável foi definido como mRS ≤ 2 e um desfecho desfavorável como mRS > 2. O conjunto de dados foi dividido aleatoriamente em coortes de validação de treinamento e coortes internas independentes de teste, utilizando amostragem estratificada baseada na distribuição mRS para preservar o equilíbrio de resultados. Uma coorte externa de teste foi processada separadamente e não foi usada durante o desenvolvimento do modelo. Dentro da coorte de validação de treinamento, foi aplicada a validação cruzada estratificada k-fold para manter distribuições consistentes de resultados entre as dobras.

Todos os volumes DWI, ADC e T2-FLAIR foram pré-processados antes do treinamento do modelo para garantir consistência espacial e numérica entre as modalidades. O mesmo pipeline de pré-processamento foi aplicado às coortes de validação de treinamento, teste interno e teste externo sem modificações. As imagens foram reorientadas para a orientação canônica do RAS e convertidas em matrizes de ponto flutuante. A resolução espacial no plano foi reamostrada para 256 × 256 usando interpolação linear. A dimensão do plano passante foi padronizada para 20 fatias usando uma estratégia baseada no centro: volumes contendo mais de 20 fatias foram cortados no centro, enquanto volumes com menos de 20 fatias foram simetricamente preenchidos a zero. O volume final foi de 256 × 256 × 20.

A normalização da intensidade foi realizada independentemente para cada volume usando normalização do escore z:

onde x denota intensidade voxel, μ é a intensidade média do volume, e σ é o desvio padrão. Se σ = 0, a normalização não foi aplicada para evitar instabilidade numérica. Os volumes processados eram salvos no formato NIfTI com uma matriz afim padronizada para análise de aprendizado profundo a jusante.

3. Desenvolvimento de modelos clínicos

Variáveis clínicas estruturadas foram usadas para desenvolver modelos de aprendizado de máquina para previsão de resultados. Os preditores candidatos incluíam características demográficas, fatores de risco vasculares, etiologia do AVC e medidas clínicas de gravidade basal. Variáveis contínuas foram imputadas usando valores medianos e padronizadas. Variáveis categóricas foram imputadas usando a categoria mais frequente e codificadas usando codificação one-hot.

Múltiplos algoritmos de aprendizado de máquina foram avaliados, incluindo regressão logística, floresta aleatória, aumento de gradiente, máquina de vetores de suporte (SVM), aumento extremo de gradiente e modelos de máquinas de aumento de gradiente de luz. O desenvolvimento do modelo seguiu uma estrutura estratificada de validação cruzada cinco vezes dentro da coorte de validação de treinamento para estimar o desempenho de generalização. As previsões finais para as coortes de teste interna e externa foram geradas por meio da média das previsões de modelos treinados em cada dobra de validação cruzada. Nenhuma amostra externa de teste foi usada durante a validação cruzada ou seleção do modelo.

4. Arquitetura de modelos de deep learning

Uma arquitetura híbrida CNN-ViT tridimensional foi implementada para previsão de resultados a partir de volumes multimodais de ressonância magnética. A rede foi projetada para combinar extração local de características espaciais com modelagem contextual global dentro de um arcabouço unificado. Os volumes de entrada consistiam em imagens multicanais tridimensionais processadas de ponta a ponta.

A extração de características foi inicialmente realizada usando uma espinha dorsal convolucional hierárquica tridimensional composta por 4 estágios. Cada estágio incluía 2 camadas convolucionais com tamanho de grão de 3 × 3 × 3 e preenchimento de 1 voxel, seguida de normalização em lote e ativação linear retificada por unidades. A resolução espacial foi progressivamente reduzida usando camadas de max-pooling tridimensional aplicadas após os três primeiros estágios, enquanto a profundidade do canal de características aumentou em cada nível para capturar representações semânticas de nível superior. A regularização de dropout (taxa de dropout = 0,1) foi aplicada após o estágio convolucional final para reduzir o sobreajuste. A espinha dorsal convolucional transformava o volume de entrada de tamanho C × D × H × W em uma representação compacta de características de alto nível com dimensões espaciais reduzidas.

O mapa de características resultante foi remodelado em uma sequência de tokens ao achatar as dimensões espaciais de modo que o número de tokens correspondesse a:

N = D' x H' x W'

Relacionamentos contextuais globais entre tokens foram modelados usando camadas de codificadores Transformer compostas por redes de autoatenção e feedforward multi-cabeças. A autoatenção era calculada como:

onde Q, K e V denotam matrizes de consulta, chave e valor, respectivamente, e d representa a dimensão de incorporação. A normalização e o dropout de camadas foram aplicados dentro de cada camada de codificador para melhorar a estabilidade do treinamento. O módulo Transformer consistia em 3 camadas de codificador com 8 cabeças de atenção e uma dimensão de embedding de 256.

Após a codificação por transformador, a representação correspondente ao token de classificação era extraída e normalizada. Uma camada linear totalmente conectada produzia uma única saída logit para classificação binária.

A arquitetura híbrida proposta CNN-ViT foi intencionalmente projetada como um modelo leve e eficiente em termos de parâmetros para equilibrar a capacidade representacional e o risco de sobreajuste. O modelo compreendia 3,79 milhões de parâmetros treináveis (aproximadamente 14,4 MB na precisão fp32), incluindo 1,38 milhão na espinha dorsal convolucional e 2,37 milhões no codificador Transformer.

5. Treinamento de modelos de imagem

O treinamento do modelo de imagem foi realizado usando uma estrutura de validação cruzada estratificada de cinco vezes para preservar a distribuição de resultados entre as dobras, ao mesmo tempo em que melhora a robustez da estimativa de desempenho. O conjunto de dados foi dividido em uma coorte de validação de treinamento e uma coorte interna independente de teste, utilizando amostragem estratificada baseada na distribuição dos resultados. Dentro da coorte de validação de treinamento, foi aplicada a validação cruzada estratificada em cinco fases. Para cada dobra, o modelo de imagem foi treinado usando o subconjunto de treinamento e avaliado usando o subconjunto correspondente de validação, enquanto a coorte de teste mantida foi reservada exclusivamente para a avaliação final de desempenho.

A otimização do modelo foi realizada usando uma estrutura de deep learning em uma estação de trabalho equipada com GPU com o otimizador AdamW, taxa de aprendizado de 3 × 10⁻⁵ e decaimento de peso de 3 × 10⁻⁴. O treinamento era realizado em um lote de 8 para até 200 épocas. A entropia cruzada binária com logits era usada como função de perda.

Para corrigir o desequilíbrio de classes, um fator de ponderação de classe positiva foi calculado para cada dobra com base na razão de amostras negativas para positivas e incorporado à função de perda. O clipping de normas de gradiente com norma máxima de 0,5 foi aplicado para melhorar a estabilidade numérica durante a otimização. O treinamento automático de precisão mista foi possibilitado para melhorar a eficiência computacional.

A parada precoce foi implementada quando o desempenho de validação não melhorou em pelo menos 1 × 10⁻⁴ ao longo de 30 épocas consecutivas. O checkpoint de melhor desempenho do modelo de cada dobra foi mantido. Após a conclusão de todas as dobras, as previsões para as coortes de teste interna e externa foram geradas usando cada modelo específico de dobra, e as probabilidades finais foram obtidas por meio da média das previsões entre os 5 modelos para gerar resultados em conjunto.

6. Modelo de fusão multimodal

Uma estratégia de fusão empilhada foi implementada para integrar previsões derivadas de imagens com informações clínicas estruturadas. O modelo de imagem de aprendizado profundo e o modelo de predição clínica serviram como aprendizes base, e suas probabilidades previstas foram usadas como características de entrada para um meta-aprendiz de regressão logística. Recursos adicionais de interação, incluindo o produto e a diferença absoluta das probabilidades previstas, foram incorporados para capturar informações complementares entre imagens e previsões clínicas.

Para evitar vazamento de informações, o meta-aprendiz foi treinado usando probabilidades previstas fora de fold geradas pela coorte de validação de treinamento. Probabilidades fora de dobra validadas cruzadamente dos modelos de imagem e clínico foram combinadas por identificador de paciente para construir o conjunto de dados de treinamento do meta-aprendiz. Para as coortes de teste interna e externa, as probabilidades correspondentes do conjunto de teste dos modelos de imagem e clínico foram usadas como entradas para o meta-aprendiz treinado para gerar probabilidades fundidas. O meta-aprendiz treinado foi aplicado a ambas as coortes de teste sem reajuste.

7. Estudo de ablação

Experimentos de ablação foram realizados para avaliar as contribuições das sequências individuais de ressonância magnética e do componente Transformador Visual, utilizando configurações idênticas de treinamento e avaliação ao modelo principal. As ablações de sequência incluíam modelos de sequência única, modelos de deixar uma sequência fora e o modelo multiparamétrico completo. Para avaliar a contribuição do módulo Vision Transformer, a arquitetura híbrida proposta foi adicionalmente comparada com uma linha base apenas CNN, na qual o codificador Transformer foi removido, preservando a mesma espinha dorsal convolucional.

8. Análise estatística

O desempenho do modelo foi avaliado separadamente na coorte de teste independente interna e na coorte externa de teste, usando a área sob a curva característica operacional do receptor (AUC) como métrica principal de discriminação. Curvas de característica operacional do receptor (ROC) foram construídas usando probabilidades previstas geradas por cada modelo. Sensibilidade, especificidade e precisão geral foram calculadas adicionalmente para caracterizar o desempenho da classificação.

Resultados binários foram gerados usando limiares determinados de acordo com o índice de Youden. Sensibilidade, especificidade e precisão foram posteriormente calculadas no limiar ideal. Todas as análises estatísticas, desenvolvimento de modelos de aprendizado de máquina e treinamento de modelos de aprendizado profundo foram implementados usando pacotes padrão de computação científica e software de aprendizado de máquina.

Resultados

Coorte de estudo

Um total de 300 pacientes com AVC isquêmico agudo (AIS) foi incluído após a aplicação dos critérios pré-definidos de inclusão e exclusão. O conjunto de dados foi dividido em uma coorte de validação de treinamento (n = 250) e uma coorte interna independente de teste (n = 50) usando amostragem estratificada baseada na distribuição funcional dos resultados. Além disso, uma coorte externa de 37 pacientes com AIS de um conjunto de dados independente foi incluída pa...

Discussão

Este estudo desenvolveu e avaliou uma estrutura multimodal de inteligência artificial que integra ressonância magnética multiparamétrica e variáveis clínicas estruturadas para a previsão do desfecho funcional em 90 dias após AVC isquêmico agudo (AIS). O modelo de fusão proposto demonstrou desempenho preditivo maior do que o modelo de imagem ou clínico isoladamente. Especificamente, o modelo multimodal empilhado que integra previsões do modelo clínico baseado em máquina de vetores de supo...

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
Sistema de ressonância magnética (Discovery MR750 3.0T)	GE Healthcare	https://www.gehealthcare.in/products/magnetic-resonance-imaging/3-0t/discovery-mr750	Scanner de ressonância magnética clínica usado para aquisição de imagens DWI, ADC e T2-FLAIR
Bobina de cabeça em fase	GE Healthcare	https://services.gehealthcare.com/gehcstorefront/p/5450630	Bobina de cabeça usada para recepção de sinal de RM
Unidade de processamento gráfico (RTX 4090)	NVIDIA	https://www.nvidia.com/en-us/geforce/graphics-cards/40-series/rtx-4090/	GPU usada para treinamento de modelo de aprendizado profundo
Estrutura de aprendizado profundo (PyTorch v2.1)	PyTorch Foundation	https://pytorch.org/	Estrutura usada para implementar o modelo CNN-Transformer
Linguagem de programação (Python v3.10)	Python Software Foundation	https://www.python.org/downloads/release/python-3100/	Ambiente usado para desenvolvimento de modelos e processamento de dados
Biblioteca de aprendizado de máquina (scikit-learn)	Desenvolvedores scikit-learn	https://scikit-learn.org/stable/	Usado para modelos de aprendizado de máquina clínicos e análise estatística
Biblioteca de gradiente de reforço (XGBoost)	DMLC	https://xgboost.readthedocs.io/en/release_3.2.0/	Usado para implementação de modelo de gradiente de reforço
Biblioteca de gradiente de reforço (LightGBM)	Microsoft	https://lightgbm.readthedocs.io/en/stable/	Usado para modelo clínico LightGBM