Modélisation hybride CNN-ViT pour prédire les résultats fonctionnels après un AVC ischémique : une étude rétrospective

Résumé

Un modèle hybride CNN-ViT extrayait des caractéristiques d’IRM multiparamétrique, et empilait la régression logistique fusionnant des images et des prédictions cliniques pour estimer le résultat fonctionnel à 90 jours après un AVC ischémique aigu. Le modèle de fusion a obtenu la meilleure performance de test interne, avec un AUC de 0,885 et une précision de 0,840, et a montré des performances encourageantes de validation externe.

Résumé

L’AVC ischémique aigu (AIS) est une cause majeure de décès et d’invalidité de longue durée, et la prédiction précoce de la récupération fonctionnelle est importante pour orienter la prise de décision clinique et la planification de la rééducation. Le résultat fonctionnel à 90 jours est couramment évalué à l’aide de l’échelle de Rankin modifiée (mRS), mais la prédiction à long terme à partir des données cliniques et d’imagerie précoces reste difficile. Nous avons émis l’hypothèse que l’intégration de l’imagerie par résonance magnétique multiparamétrique (IRM) avec des variables cliniques structurées à l’aide d’une architecture hybride réseau de neurones convolutionnel (CNN)-Transformateur de vision (ViT) améliorerait la prédiction des résultats fonctionnels à 90 jours par rapport aux modèles monomodals. Une cohorte rétrospective de 300 patients AIS ayant subi une IRM multiparamétrique a été analysée et divisée en une cohorte de validation d’entraînement (n = 250) et une cohorte interne indépendante de test (n = 50). Une cohorte externe supplémentaire de 37 patients atteints de SIA a été incluse pour évaluer la généralisabilité du modèle. Un modèle hybride CNN-ViT a été développé pour extraire les caractéristiques d’IRM multiparamétrique, et les prédictions d’imagerie et cliniques ont été intégrées à l’aide de régression logistique empilée. La performance du modèle a été évaluée en utilisant la zone sous la courbe caractéristique de fonctionnement du récepteur (AUC), la sensibilité, la spécificité et la précision. Parmi les modèles cliniques évalués, la machine à vecteurs de support a obtenu le plus haut AUC de test interne (0,878). Le modèle d’imagerie a atteint une AUC de 0,782. Le modèle de fusion multimodal a obtenu la meilleure performance interne globale, avec une AUC de 0,885, une sensibilité de 0,920, une spécificité de 0,760 et une précision de 0,840. Des tendances de performance similaires ont été observées dans la cohorte externe du test. Ces résultats suggèrent que la fusion empilée d’IRM multiparamétrique et de prédictions cliniques pourrait améliorer la prédiction des résultats fonctionnels à 90 jours après l’AIS. Cependant, des études de validation multicentriques plus importantes sont nécessaires avant la mise en œuvre clinique.

Introduction

L’AVC ischémique aigu (AIS) reste une cause majeure de décès et d’invalidité de longue durée, et les cliniciens doivent estimer la récupération précoce lorsque les décisions de traitement et de sortie sont les plus sensibles^{au temps 1}. Une prédiction précise et précoce de la récupération fonctionnelle est donc cliniquement importante pour orienter les stratégies de traitement, la planification de la rééducation et la prise de décision après la sortie. Le critère de jugement fonctionnel à quatre-vingt-dix jours est un critère standard dans la recherche et les soins sur l’AVC, et est le plus souvent mesuré à l’aide de l’échelle de Rankin modifiée (mRS), qui a établi validité et fiabilité dans des essais cliniques et des études^{observationnelles 2,3}. Malgré son usage routinier, prédire l’IRM à 90 jours à partir des données d’admission reste difficile car l’incapacité reflète à la fois une lésion tissulaire irréversible et une charge prémorbide de réserve et de comorbidité, qui influencent la récupération même lorsque les résultats d’imagerie aiguë sont^{similaires 2,4}.

L’IRM multiparamétrique fournit des biomarqueurs cliniquement exploitables des lésions ischémiques précoces et de l’état tissulaire qui ne sont pas entièrement capturés par un seul contraste d’imagerie. L’imagerie pondérée par diffusion (DWI) est très sensible aux premiers changements ischémiques. L’imagerie du coefficient de diffusion apparente (ADC) quantifie la restriction de diffusion et a démontré une utilité pronostique dans les cohortes d’AVC^{aigu 5}. La récupération par inversion atténuée par liquide T2 (T2-FLAIR) complète l’imagerie de diffusion en améliorant la visualisation de l’évolution de la lésion et est centrale dans les approches de désappariement DWI-FLAIR utilisées pour estimer l’âge de la lésion et l’éligibilité au traitement lorsque le moment d’apparition est^{incertain 6,7}. De grandes études multicentriques et essais randomisés ont montré que le décalage DWI-FLAIR identifie les patients dans une fenêtre thérapeutique de 4,5 heures et soutient la thrombolyse guidée par IRM dans les AVC à apparition inconnue, soulignant la pertinence pronostique de DWI et FLAIR au-delà du^{diagnostic 6,7}. Collectivement, ces observations soutiennent des stratégies de modélisation intégrant DWI, ADC et T2-FLAIR pour capturer à la fois les caractéristiques du noyau ischémique précoce et les informations temporelles pouvant influencer la récupération fonctionnelle.

Parallèlement, des variables cliniques établies fournissent un signal pronostique fort et sont systématiquement disponibles à^{l’admission 4}. L’échelle de l’AVC des National Institutes of Health (NIHSS) est une mesure largement utilisée de la gravité du déficit neurologique et prédit fortement les résultats cliniques. Le sous-type étiologique de l’AVC, y compris la classification Trial of Org 10172 in Acute Stroke Treatment (TOAST), peut fournir des informations pronostiques supplémentaires au-delà du NIHSS dans certaines^{analyses 8,9}. Des travaux antérieurs ont également démontré que les facteurs de risque vasculaire et les affections comorbides sont à plusieurs reprises identifiés parmi les prédicteurs candidats de mauvais résultats dans les cohortes d’AVC ischémique et les études^{pronostiques 4,10}. Des comorbidités spécifiques telles que la fibrillation auriculaire, l’insuffisance cardiaque décompensée et le diabète sont systématiquement associées à de moins bons résultats fonctionnels après un^{AVC 1,11,12}. Le tabagisme est associé à de pires résultats fonctionnels sur 90 jours, tandis que la consommation d’alcool présente des associations plus faibles ou dépendantes de la dose, et les troubles lipidiques présentent des relations plus complexes avec un handicap post-AVC 13,14,15,16,17. Ces résultats soutiennent la combinaison de prédicteurs cliniques structurés capturant la gravité de l’AVC, l’étiologie et la charge de comorbidité avec une IRM multiparamétrique, plutôt que de se fier uniquement à l’une ou l’autre modalité.

Des études récentes sur l’apprentissage automatique suggèrent que les modèles computationnels peuvent intégrer des biomarqueurs hétérogènes pour améliorer la prédiction des résultats de l’AVC, bien que la performance dépende fortement de la modalité des données, de la composition des cohortes, de la conception des modèles et des stratégies de gestion des déséquilibres de classe 18,19,20. Les méthodes de gradient boosting et d’ensemble ont démontré la faisabilité de prédire les mRS à 90 jours à l’aide de variables d’imagerie, démographiques et cliniques, en particulier pour la classification binaire d’un résultat défavorable (mRS > 2)¹⁸. Des études multicentriques récentes combinant des caractéristiques IRM dérivées de réseaux neuronaux convolutionnels (CNN) tridimensionnelles issues de DWI, ADC et FLAIR avec des variables cliniques structurées ont montré que les modèles multimodaux capturent des informations pronostiques complémentaires au-delà des approches^{monomodales 21}. Des résultats similaires ont été rapportés en utilisant des modalités d’imagerie uniques telles que l’imagerie pondérée par diffusion ou la tomodensitométrie sans contraste fusionnée avec des variables^{cliniques 18,22}. Les études représentatives utilisant des modèles d’intelligence artificielle multimodales pour la prédiction des résultats d’AVC sont résumées dans le tableau 1.

Études	Modalité d’imagerie	Technique IA (Modèle)	Objectif	Résumé
Liu et al.18	IRM (DWI) + Clinique	Modèle prédictif d’apprentissage profond (DLPD, réseau d’imagerie basé sur CNN + réseau de caractéristiques cliniques)	Prédire l’IRM ordinale à 90 jours en utilisant l’imagerie fusionnée et les informations cliniques.	Le modèle fusionné a nettement surpassé les modèles d’imagerie uniquement et cliniques uniquement, et a obtenu une grande précision pour prédire les résultats défavorables.
Jung et al.21	IRM (DWI, ADC, FLAIR) + Clinique	Modèle d’apprentissage profond en ensemble combinant réseaux d’imagerie 3D-CNN et modèle clinique multicouche perceptron (MLP)	Développer un modèle DL multimodal pour la prédiction des résultats fonctionnels dans l’AIS.	L’intégration multimodale a amélioré la prédiction des résultats sur 3 mois par rapport aux modèles monomodals dans une grande cohorte multicentrique.
Wei et al.27	IRM (DWI, ADC) + Clinique	Radiomique + apprentissage automatique (sélection de caractéristiques LASSO + régression logistique / classificateurs de forêt aléatoire)	Prédire les résultats fonctionnels à long terme à l’aide d’IRM, de radiomique et de variables cliniques.	Le modèle radiomique-clinique a obtenu de meilleures performances pronostiques que les modèles uniquement par imagerie ou clinique uniquement.
Liu et al.22	CT sans contraste + Clinique	Modèle de fusion en apprentissage profond (encodeur d’imagerie CNN + réseau MLP clinique)	Prédire les résultats fonctionnels à 90 jours à partir de la tomodensitométrie en phase aiguë et des données cliniques.	La fusion multimodale a considérablement amélioré la précision de la prédiction par rapport aux modèles monomodals.
Liu et al.19	IRM (DWI) + Clinique	Modèle prédictif d’apprentissage profond (DLPD, modèle de fusion basé sur CNN)	Comparez le modèle de prédiction des résultats de l’apprentissage profond par rapport aux prédictions des médecins.	Le modèle d’IA a obtenu des performances comparables à celles des spécialistes de l’AVC pour prédire les résultats de la mRS à 90 jours.
Rehman et al.20	Clinique	Apprentissage profond hybride (CNN+GRU avec ADASYN)	Prédire le risque d’AVC à partir de données cliniques déséquilibrées	L’apprentissage profond hybride avec ADASYN a amélioré la performance de la prédiction du risque d’AVC, démontrant la valeur de l’équilibrage avancé des données et de l’apprentissage multimodèle.
Ali et al.29	IRM/IRMf/RS-IRMf	Revue méta-systématique des modèles ML, DL et hybrides	Évaluer les techniques d’intelligence computationnelle pour le diagnostic basé sur la neuroimagerie	Les modèles hybrides surpassaient généralement les approches autonomes ML et DL, soutenant la valeur des architectures hybrides pour la prédiction basée sur la neuroimagerie.

Tableau 1 : Résumé des études antérieures sur la prédiction fonctionnelle des résultats fonctionnels après un AVC ischémique aigu. Les études représentatives utilisant l’imagerie, des variables cliniques ou des approches multimodales pour prédire les résultats fonctionnels post-AVC sont résumées, incluant la modalité d’imagerie, la technique d’intelligence artificielle, l’objectif de l’étude et les principaux résultats. Veuillez cliquer ici pour télécharger ce tableau.

Cependant, de nombreuses études existantes reposent sur des séquences d’imagerie uniques ou des modèles conventionnels d’apprentissage profond qui capturent principalement des caractéristiques spatiales locales et ne modélisent pas toujours pleinement les relations contextuelles à long terme dans les données d’imagerie cérébrale. Par conséquent, une lacune spécifique subsiste dans le développement et l’évaluation externe d’une approche multimodale utilisant conjointement DWI, ADC et T2-FLAIR avec des variables cliniques structurées tout en combinant l’extraction locale des caractéristiques des lésions et la modélisation contextuelle globale. Bien que les CNN soient bien établies pour l’extraction de caractéristiques au niveau des lésions, les architectures basées sur les Transformers telles que les Vision Transformers (ViTs) permettent la modélisation de relations contextuelles à longue portée via des mécanismes d’attention, fournissant ainsi des représentations globales^{complémentaires 23,24}. Les modèles hybrides CNN-ViT fournissent donc un cadre rationnel pour coder conjointement le détail morphologique local et le contexte global du cerveau. Les algorithmes d’apprentissage automatique sont également très adaptés pour modéliser des relations complexes non linéaires au sein de données cliniques structurées^{et hétérogènes 25}. Guidée par des principes récents d’apprentissage multimodal mettant l’accent sur l’intégration complémentaire^{intermodale 26}, cette étude a combiné l’IRM multiparamétrique au sein d’une infrastructure d’imagerie CNN-ViT et a intégré ces caractéristiques à un modèle clinique d’apprentissage automatique pour la prédiction des résultats sur 90 jours. La nouveauté de l’étude réside dans le développement et l’évaluation externe d’un cadre de fusion multimodale empilé intégrant des séquences IRM complémentaires, des représentations d’imagerie CNN-ViT local-globales, et des prédicteurs cliniques structurés au sein d’un modèle de prédiction unifié des résultats sur 90 jours.

L’hypothèse de l’étude était que l’intégration de l’IRM multiparamétrique avec des variables cliniques structurées utilisant une architecture hybride CNN-ViT améliorerait la prédiction des résultats fonctionnels à 90 jours après l’AIS par rapport aux modèles monomodals. En conséquence, l’objectif était de développer et d’évaluer un cadre multimodal d’apprentissage profond intégrant les séquences d’IRM DWI, ADC et T2-FLAIR avec des prédicteurs cliniques structurés afin d’estimer les résultats de la mRS à 90 jours chez les patients AIS.

Protocole

Cette étude a été approuvée par le Conseil d’éthique institutionnelle de l’Hôpital général de l’Université de Shenzhen (n° d’approbation du comité de revue (NRB). KYLL-2026-077-1). L’exigence d’un consentement éclairé écrit a été levée en raison de la conception rétrospective de l’étude.

1. Cohorte d’étude

Les patients souffrant d’un AVC ischémique aigu (AIS) ayant subi une IRM multiparamétrique ont été identifiés rétrospectivement à partir de la base de données clinique institutionnelle. Le flux de travail global de l’étude, incluant le partitionnement des ensembles de données, le développement de modèles d’imagerie, la construction de modèles cliniques et la fusion multimodale, est illustré à la Figure 1.

Figure 1 : Flux de travail du cadre de prédiction multimodale des résultats. (A) Acquisition de données. Les patients atteints d’AVC ischémique aigu (AIS) remplissant des critères d’inclusion prédéfinis ont été identifiés rétrospectivement. L’ensemble de données a été divisé en une cohorte de validation d’entraînement (n = 250), une cohorte de test interne indépendante (n = 50) et une cohorte externe de test (n = 37). Une validation croisée stratifiée à cinq reprises a été réalisée au sein de la cohorte de validation de formation. (B) Développement de modèles d’imagerie. Des séquences d’IRM multiparamétriques, incluant l’imagerie pondérée par diffusion (DWI), le coefficient de diffusion apparent (ADC) et la récupération par inversion atténuée du fluide T2 (T2-FLAIR), ont été traitées à l’aide d’une architecture hybride 3-dimensionnelle de réseau neuronal convolutionnel-Transformateur de vision (CNN-ViT) pour la prédiction des résultats. (C) Développement de modèles cliniques. Des variables cliniques structurées ont été utilisées pour entraîner des modèles d’apprentissage automatique afin de prédire des résultats fonctionnels sur 90 jours. (D) Stratégie de fusion multimodale. Les prédictions générées par les modèles d’imagerie et cliniques ont été intégrées à l’aide d’un méta-apprenant de régression logistique empilée pour produire des prédictions des résultats finaux. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

Les examens IRM ont été réalisés à l’aide de systèmes cliniques d’IRM. Une bobine de tête à réseau phasé dédiée était utilisée pour l’acquisition d’images. Toutes les séquences ont été acquises dans le plan axial en utilisant un positionnement cohérent des tranches entre différentes modalités. L’imagerie pondérée par diffusion (DWI) a été acquise à l’aide d’une séquence d’imagerie écho-planaire spin-écho en un seul tir, avec un temps de répétition (TR) de 3 000 à 5 000 ms et un temps d’écho (TE) de 80 à 90 ms. La sensibilisation par diffusion a été appliquée en utilisant des valeurs b de 0 et 800–1 000 s/^{mm 2} dans au moins 3 directions orthogonales. Le champ de vision variait de 220 à 240 mm avec une matrice de 128 × 128. L’épaisseur de la tranche était de 5 à 6 mm avec un espace entre les tranches de 1 à 1,5 mm. Deux à quatre moyennes de signaux ont été acquises.

Les cartes du coefficient de diffusion apparent (ADC) étaient automatiquement générées à partir des données DWI sur la station de travail du scanner en utilisant un ajustement monoexponentiel basé sur les valeurs b acquises. Les valeurs ADC étaient calculées par voxel et exportées pour une analyse quantitative. Les images T2 de récupération par inversion atténuée par fluide (T2-FLAIR) ont été acquises à l’aide d’une séquence de récupération par inversion avec un TR de 8 000–10 000 ms, un TE de 80–140 ms et un temps d’inversion de 2 200–2 600 ms. Le champ de vision variait de 220 à 240 mm avec une matrice de 192 × 192 à 256 × 256. L’épaisseur de la tranche était de 4 à 5 mm avec un espace entre les tranches de 1 à 1,5 mm.

2. Prétraitement des données

Les données cliniques ont été importées à partir de tableurs structurés contenant des identifiants de cas, des scores de résultats mRS, des labels de répartition des ensembles de données, ainsi que des variables démographiques et cliniques. Les identifiants de cas ont été standardisés pour garantir la cohérence avec les noms de fichiers d’imagerie. Les variables cliniques comprenaient les caractéristiques démographiques, la gravité de l’AVC mesurée à l’aide de l’échelle d’AVC des National Institutes of Health (NIHSS), les facteurs de risque vasculaires et les conditions comorbides enregistrées à l’admission.

Le critère de jugement principal était l’état fonctionnel 90 jours après l’apparition de l’AVC, mesuré à l’aide de l’échelle de Rankin modifiée (mRS). Un résultat favorable a été défini comme mRS ≤ 2 et un résultat défavorable comme mRS > 2. Le jeu de données a été divisé aléatoirement en cohortes de validation d’entraînement et de tests internes indépendantes utilisant un échantillonnage stratifié basé sur la distribution mRS afin de préserver l’équilibre des résultats. Une cohorte de test externe a été traitée séparément et n’a pas été utilisée lors du développement du modèle. Au sein de la cohorte entraînement-validation, une validation croisée k-fold stratifiée a été appliquée pour maintenir des distributions cohérentes des résultats entre les folds.

Tous les volumes DWI, ADC et T2-FLAIR ont été prétraités avant l’entraînement du modèle afin d’assurer la cohérence spatiale et numérique entre les modalités. Le même pipeline de prétraitement a été appliqué aux cohortes de validation d’entraînement, de test interne et de tests externes sans modification. Les images ont été réorientées vers l’orientation canonique RAS et converties en réseaux à virgule flottante. La résolution spatiale en plan a été rééchantillonnée à 256 × 256 grâce à une interpolation linéaire. La dimension du plan traversant a été standardisée à 20 tranches selon une stratégie basée sur le centre : les volumes contenant plus de 20 tranches étaient recadrés au centre, tandis que ceux contenant moins de 20 tranches étaient symétriquement rembourrés à zéro. La taille finale du volume était de 256 × 256 × 20.

La normalisation de l’intensité a été réalisée indépendamment pour chaque volume en utilisant la normalisation z-score :

où x désigne l’intensité des voxels, μ est l’intensité moyenne du volume, et σ est l’écart-type. Si σ = 0, la normalisation n’a pas été appliquée pour prévenir l’instabilité numérique. Les volumes traités étaient sauvegardés au format NIfTI avec une matrice affine standardisée pour l’analyse en aval de l’apprentissage profond.

3. Développement du modèle clinique

Des variables cliniques structurées ont été utilisées pour développer des modèles d’apprentissage automatique pour la prédiction des résultats. Les prédicteurs candidats comprenaient les caractéristiques démographiques, les facteurs de risque vasculaires, l’étiologie de l’AVC et les mesures de sévérité clinique de base. Les variables continues ont été imputées à l’aide de valeurs médianes et standardisées. Les variables catégorielles ont été imputées en utilisant la catégorie la plus fréquente et encodées par un encodage à une seule heure.

Plusieurs algorithmes d’apprentissage automatique ont été évalués, notamment la régression logistique, la forêt aléatoire, le gradient boosting, les machines à vecteurs de support (SVM), le gradient boosting extrême et les modèles de machines à gradient lumineux. Le développement du modèle a suivi un cadre de validation croisée stratifié à cinq branches au sein de la cohorte d’entraînement-validation afin d’estimer la performance de généralisation. Les prédictions finales pour les cohortes de test internes et externes ont été générées en moyennant les prédictions issues de modèles entraînés sur chaque pli de validation croisée. Aucun échantillon externe n’a été utilisé lors de la validation croisée ou de la sélection du modèle.

4. Architecture de modèles d’apprentissage profond

Une architecture hybride CNN-ViT en 3D a été mise en œuvre pour la prédiction des résultats à partir de volumes d’IRM multimodale. Le réseau a été conçu pour combiner l’extraction locale de caractéristiques spatiales avec la modélisation contextuelle globale au sein d’un cadre unifié. Les volumes d’entrée étaient composés d’images multicanaux en 3D traitées de bout en bout.

L’extraction des caractéristiques a d’abord été réalisée à l’aide d’une colonne vertébrale convolutionnelle hiérarchique tridimensionnelle composée de 4 étapes. Chaque étape comprenait 2 couches convolutionnelles avec une taille de noyau de 3 × 3 × 3 et un bourrage de 1 voxel, suivies d’une normalisation par lots et d’une activation linéaire rectifiée des unités. La résolution spatiale a été progressivement réduite à l’aide de couches de max-pooling tridimensionnelles appliquées après les trois premières étapes, tandis que la profondeur des canaux de caractéristiques a augmenté à chaque niveau pour capturer des représentations sémantiques de niveau supérieur. La régularisation du dropout (taux de dropout = 0,1) a été appliquée après l’étape convolutionnelle finale pour réduire le sur-ajustement. La colonne vertébrale convolutionnelle transformait le volume d’entrée de taille C × D × H × W en une représentation compacte de caractéristiques de haut niveau avec des dimensions spatiales réduites.

La carte de caractéristiques résultante a été remodelée en une séquence de jetons en aplatissant les dimensions spatiales de sorte que le nombre de jetons corresponde à :

N = D’x H' x W'

Les relations contextuelles globales entre les jetons ont été modélisées à l’aide de couches d’encodeurs Transformer composées de réseaux d’auto-attention et d’avance à plusieurs têtes. L’attention personnelle était calculée comme suit :

où Q, K et V désignent respectivement les matrices de requête, de clé et de valeurs, et d représente la dimension d’immersion. La normalisation des couches et le dropout ont été appliqués dans chaque couche d’encodeur pour améliorer la stabilité de l’entraînement. Le module Transformer se composait de 3 couches d’encodeurs avec 8 têtes d’attention et une dimension d’immersion de 256.

Après l’encodage par transformateur, la représentation correspondant au jeton de classification était extraite et normalisée. Une couche linéaire entièrement connectée produisait une seule sortie logit pour la classification binaire.

L’architecture hybride CNN-ViT proposée a été intentionnellement conçue comme un modèle léger et efficace en termes de paramètres afin d’équilibrer la capacité de représentation et le risque de sur-adaptation. Le modèle comprenait 3,79 millions de paramètres entraînables (environ 14,4 Mo en précision fp32), dont 1,38 million dans la colonne vertébrale convolutionnelle et 2,37 millions dans l’encodeur Transformer.

5. Entraînement par modèle d’imagerie

L’entraînement du modèle d’imagerie a été réalisé à l’aide d’un cadre de validation croisée stratifiée à cinq branches afin de préserver la distribution des résultats entre les plis tout en améliorant la robustesse de l’estimation des performances. L’ensemble de données a été divisé en une cohorte de validation d’entraînement et une cohorte de test interne indépendante utilisant un échantillonnage stratifié basé sur la distribution des résultats. Au sein de la cohorte de validation de formation, une validation croisée stratifiée a été appliquée. Pour chaque plongement, le modèle d’imagerie a été entraîné à l’aide du sous-ensemble d’entraînement et évalué à l’aide du sous-ensemble de validation correspondant, tandis que la cohorte de test en attente était réservée exclusivement à l’évaluation finale de la performance.

L’optimisation du modèle a été réalisée à l’aide d’un cadre d’apprentissage profond sur une station de travail équipée d’un GPU avec l’optimiseur AdamW, un taux d’apprentissage de 3 × 10⁻⁵, et une décroissance de poids de 3 × 10⁻⁴. La formation était menée en groupe de 8 pour jusqu’à 200 époques. L’entropie binaire croisée avec logits était utilisée comme fonction de perte.

Pour corriger le déséquilibre de classe, un facteur de pondération de classe positive a été calculé pour chaque pliage basé sur le rapport des échantillons négatifs à positifs, puis intégré à la fonction de perte. Un éclatement de normes de gradient avec une norme maximale de 0,5 a été appliqué pour améliorer la stabilité numérique lors de l’optimisation. L’entraînement automatique à précision mixte a été rendu possible pour améliorer l’efficacité de calcul.

L’arrêt précoce a été mis en place lorsque la performance de validation ne s’est pas améliorée d’au moins 1 × 10⁻⁴ sur 30 époques consécutives. Le point de contrôle du modèle le mieux performant de chaque pli a été conservé. Après l’achèvement de tous les plis, des prédictions pour les cohortes de test internes et externes ont été générées à l’aide de chaque modèle spécifique à chaque pli, et les probabilités finales ont été obtenues en moyennant les prédictions sur les 5 modèles pour générer des sorties d’ensemble.

6. Modèle de fusion multimodale

Une stratégie de fusion empilée a été mise en œuvre pour intégrer les prédictions dérivées de l’imagerie avec des informations cliniques structurées. Le modèle d’imagerie par apprentissage profond et le modèle de prédiction clinique ont servi de base aux apprenants, et leurs probabilités prédites ont été utilisées comme caractéristiques d’entrée pour un méta-apprenant de régression logistique. Des caractéristiques d’interaction supplémentaires, incluant le produit et la différence absolue des probabilités prédites, ont été intégrées pour recueillir des informations complémentaires entre l’imagerie et les prédictions cliniques.

Pour éviter la fuite d’informations, le méta-apprenant a été entraîné en utilisant des probabilités prédites hors fold générées par la cohorte de validation de l’entraînement. Les probabilités hors de pliage validées à partir des modèles d’imagerie et clinique ont été fusionnées par identifiant patient pour construire le jeu de données d’entraînement du méta-apprenant. Pour les cohortes de tests internes et externes, les probabilités correspondantes de l’ensemble de tests issues des modèles d’imagerie et cliniques ont été utilisées comme entrées pour le méta-apprenant entraîné afin de générer des probabilités fusionnées. Le méta-apprenant formé a été appliqué aux deux cohortes de test sans réajustement.

7. Étude d’ablation

Des expériences d’ablation ont été réalisées pour évaluer les contributions des séquences IRM individuelles et du composant Transformateur de Vision en utilisant les mêmes réglages d’entraînement et d’évaluation que le modèle principal. Les ablations de séquence comprenaient des modèles à séquence unique, des modèles à laisser une séquence sortie, et le modèle multiparamétrique complet. Pour évaluer la contribution du module Vision Transformer, l’architecture hybride proposée a également été comparée à une base CNN uniquement dans laquelle l’encodeur Transformer a été retiré tout en conservant la même colonne vertébrale convolutionnelle.

8. Analyse statistique

La performance du modèle a été évaluée séparément dans la cohorte de test indépendante interne et la cohorte externe de test, en utilisant la zone sous la courbe caractéristique de fonctionnement du récepteur (AUC) comme métrique principale de discrimination. Les courbes de caractéristiques de fonctionnement du récepteur (ROC) ont été construites en utilisant les probabilités prédites générées par chaque modèle. La sensibilité, la spécificité et la précision globale ont également été calculées pour caractériser la performance de la classification.

Les résultats binaires ont été générés à l’aide de seuils déterminés selon l’indice de Youden. La sensibilité, la spécificité et la précision ont ensuite été calculées au seuil optimal. Toutes les analyses statistiques, le développement de modèles d’apprentissage automatique et l’entraînement de modèles en apprentissage profond ont été réalisés à l’aide de logiciels standards de calcul scientifique et d’apprentissage automatique.

Résultats

Cohorte d’étude

Un total de 300 patients atteints d’AVC ischémique aigu (AIS) ont été inclus après application de critères d’inclusion et d’exclusion prédéfinis. L’ensemble de données a été divisé en une cohorte de validation d’entraînement (n = 250) et une cohorte de test interne indépendante (n = 50) utilisant un échantillonnage stratifié basé sur la distribution fonctionnelle des résultats. De plus, une cohorte externe de 37 patients AIS issus d’un ensemble de données indép...

Discussion

Cette étude a développé et évalué un cadre multimodal d’intelligence artificielle intégrant l’IRM multiparamétrique et des variables cliniques structurées pour prédire les résultats fonctionnels à 90 jours après un AVC ischémique aigu (AIS). Le modèle de fusion proposé a démontré des performances prédictives supérieures à celles du modèle d’imagerie ou clinique seul. Plus précisément, le modèle multimodal empilé intégrant les prédictions du modèle clinique basé sur la machine à vecteurs ...

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Système d'imagerie par résonance magnétique (Discovery MR750 3.0T)	GE Healthcare	https://www.gehealthcare.in/products/magnetic-resonance-imaging/3-0t/discovery-mr750	Scanner IRM clinique utilisé pour l'acquisition d'images DWI, ADC et T2-FLAIR
Bobine de réception à réseau de phase pour la tête	GE Healthcare	https://services.gehealthcare.com/gehcstorefront/p/5450630	Bobine de tête utilisée pour la réception du signal IRM
Unité de traitement graphique (RTX 4090)	NVIDIA	https://www.nvidia.com/en-us/geforce/graphics-cards/40-series/rtx-4090/	GPU utilisé pour l'entraînement du modèle d'apprentissage automatique
Cadre d'apprentissage automatique (PyTorch v2.1)	PyTorch Foundation	https://pytorch.org/	Cadre utilisé pour mettre en œuvre le modèle CNN-Transformer
Langage de programmation (Python v3.10)	Python Software Foundation	https://www.python.org/downloads/release/python-3100/	Environnement utilisé pour le développement de modèles et le traitement de données
Bibliothèque d'apprentissage automatique (scikit-learn)	scikit-learn Developers	https://scikit-learn.org/stable/	Utilisé pour les modèles d'apprentissage automatique cliniques et l'analyse statistique
Bibliothèque de gradient boosting (XGBoost)	DMLC	https://xgboost.readthedocs.io/en/release_3.2.0/	Utilisé pour la mise en œuvre du modèle de gradient boosting
Bibliothèque de gradient boosting (LightGBM)	Microsoft	https://lightgbm.readthedocs.io/en/stable/	Utilisé pour le modèle clinique LightGBM