Modellizzazione ibrida CNN-ViT per prevedere l'esito funzionale dopo un ictus ischemico: uno studio retrospettivo

Sommario

Un modello ibrido CNN-ViT estraeva caratteristiche multiparametriche della risonanza magnetica e sovrappone la regressione logistica impilata immagini fuse e previsioni cliniche per stimare l'esito funzionale a 90 giorni dopo ictus ischemico acuto. Il modello di fusione ha raggiunto le prestazioni interne più elevate, con un AUC di 0,885 e una precisione di 0,840, e ha mostrato prestazioni di validazione esterna incoraggianti.

Abstract

L'ictus ischemico acuto (AIS) è una delle principali cause di morte e disabilità a lungo termine, e la previsione precoce del recupero funzionale è importante per guidare le decisioni cliniche e la pianificazione della riabilitazione. L'esito funzionale a 90 giorni viene comunemente valutato utilizzando la scala di Rankin modificata (mRS), ma prevedere l'esito a lungo termine dalle prime informazioni cliniche e di imaging rimane una sfida. Abbiamo ipotizzato che integrare l'imaging a risonanza magnetica multiparametrica (MRI) con variabili cliniche strutturate utilizzando un'architettura ibrida di rete neurale convoluzionale (CNN) - Vision Transformer (ViT) migliorerebbe la previsione degli esiti funzionali a 90 giorni rispetto ai modelli monomodali. Una coorte retrospettiva di 300 pazienti AIS sottoposti a risonanza magnetica multiparametrica è stata analizzata e suddivisa in una coorte di convalida dell'addestramento (n = 250) e una coorte interna indipendente di test (n = 50). È stata inclusa una coorte di test esterna aggiuntiva di 37 pazienti con AIS per valutare la generalizzabilità del modello. È stato sviluppato un modello ibrido CNN-ViT per estrarre le caratteristiche della risonanza magnetica multiparametrica, e sono state integrate immagini e previsioni cliniche utilizzando regressione logistica impilata. Le prestazioni del modello sono state valutate utilizzando l'area sotto la curva caratteristica operativa del ricevitore (AUC), sensibilità, specificità e accuratezza. Tra i modelli clinici valutati, la macchina a vettore di supporto ha raggiunto il più alto AUC di test interno (0,878). Il modello di imaging ha raggiunto un AUC di 0,782. Il modello di fusione multimodale ha raggiunto le migliori prestazioni interne complessive, con un AUC di 0,885, una sensibilità di 0,920, una specificità di 0,760 e una precisione di 0,840. Tendenze di performance simili sono state osservate nella coorte esterna del test. Questi risultati suggeriscono che la fusione in pila di risonanza magnetica multiparametrica e previsioni cliniche potrebbe migliorare la previsione degli esiti funzionali a 90 giorni dopo l'AIS. Tuttavia, sono necessari studi di validazione multicentrici di maggiori dimensioni prima dell'implementazione clinica.

Introduzione

L'ictus ischemico acuto (AIS) rimane una delle principali cause di morte e disabilità a lungo termine, e i clinici devono stimare il recupero precoce quando le decisioni di trattamento e dimissione sono più^{urgenti 1}. Una previsione precoci accurata del recupero funzionale è quindi clinicamente importante per guidare le strategie di trattamento, la pianificazione della riabilitazione e il processo decisionale sulle dimissioni. L'esito funzionale a novanta giorni è un endpoint standard nella ricerca e nella cura dell'ictus ed è più comunemente misurato utilizzando la Scala di Rankin modificata (mRS), che ha stabilito validità e affidabilità in studi clinici e^{osservazionali 2,3}. Nonostante il suo uso abituale, prevedere la mRS a 90 giorni dai dati di ammissione rimane difficile perché la disabilità riflette sia lesioni tissutali irreversibili sia il carico di riserva premorbida e comorbidità, che influenzano il recupero anche quando i risultati di imaging acuto sono^{simili 2,4}.

La risonanza magnetica multiparametrica fornisce biomarcatori clinicamente applicabili della lesione ischemica precoce e dello stato tissutale che non sono completamente catturati da un singolo contrasto di imaging. L'imaging pesato per diffusione (DWI) è altamente sensibile ai cambiamenti ischemici precoci. L'imaging del coefficiente di diffusione apparente (ADC) quantifica la restrizione di diffusione e ha dimostrato utilità prognostica nelle coorti di ictus^{acuto 5}. Il recupero per inversione attenuata da fluido T2 (T2-FLAIR) integra l'imaging di diffusione migliorando la visualizzazione dell'evoluzione della lesione ed è centrale negli approcci di disadattamento DWI-FLAIR utilizzati per stimare l'età della lesione e l'idoneità al trattamento quando il momento di insorgenza è^{incerto 6,7}. Grandi studi multicentrici e studi randomizzati hanno dimostrato che la discrepanza tra DWI e FLAIR identifica i pazienti entro una finestra terapeutica di 4,5 ore e supporta la trombolisi guidata dalla risonanza magnetica nell'ictus a insorgenza sconosciuta, sottolineando la rilevanza prognostica di DWI e FLAIR oltre la^{diagnosi 6,7}. Collettivamente, queste osservazioni supportano strategie di modellazione che integrano DWI, ADC e T2-FLAIR per catturare sia le caratteristiche primarie del nucleo ischemico sia le informazioni temporali che possono influenzare il recupero funzionale.

Parallelamente, variabili cliniche consolidate forniscono un forte segnale prognostico e sono regolarmente disponibili al^quarto ricovero. La National Institutes of Health Stroke Scale (NIHSS) è una misura ampiamente utilizzata della gravità del deficit neurologico e prevede fortemente l'esito clinico. Il sottotipo di eticologia dell'ictus, inclusa la classificazione Trial of Org 10172 in Acute Stroke Treatment (TOAST), può fornire ulteriori informazioni prognostiche oltre al NIHSS in alcune^{analisi 8,9}. Studi precedenti hanno anche dimostrato che i fattori di rischio vascolare e le condizioni comorbide sono ripetutamente identificati tra i candidati predittori di scarso esito nelle coorti e negli studi prognostici di ictus^{ischemico 4,10}. Comorbidità specifiche come fibrillazione atriale, insufficienza cardiaca scompensata e diabete sono costantemente associate a esiti funzionali peggiori dopo^{ictus 1,11,12}. Il fumo è associato a peggiori risultati funzionali a 90 giorni, mentre l'uso di alcol mostra associazioni più deboli o dipendenti dalla dose, e i disturbi lipidici mostrano relazioni più complesse con la disabilità post-ictus 13,14,15,16,17. Questi risultati supportano la combinazione di predittori clinici strutturati che catturano la gravità, l'eziologia e il carico di comorbidità dell'ictus con una risonanza magnetica multiparametrica, invece di affidarsi esclusivamente a entrambe le modalità.

Recenti studi di machine learning suggeriscono che i modelli computazionali possono integrare biomarcatori eterogenei per migliorare la previsione dell'esito degli ictus, anche se le prestazioni dipendono fortemente dalla modalità dei dati, dalla composizione delle coorti, dal design dei modelli e dalle strategie di gestione degli squilibri^{di classe} 18,19,20. I metodi di gradient boosting e di ensemble hanno dimostrato fattibilità nella previsione della mRS a 90 giorni utilizzando variabili di imaging, demografiche e cliniche, in particolare per la classificazione binaria di un esito sfavorevole (mRS > 2)¹⁸. Recenti studi multicentrici che combinano caratteristiche MRI derivate da reti neurali convoluzionali tridimensionali (CNN) provenienti da DWI, ADC e FLAIR con variabili cliniche strutturate hanno dimostrato che i modelli multimodali catturano informazioni prognostiche complementari oltre gli approcci^{monomodali 21}. Risultati simili sono stati riportati utilizzando singole modalità di imaging come l'imaging pesato per diffusione o la tomografia computerizzata senza contrasto fusa con variabili^{cliniche 18,22}. Gli studi rappresentativi che utilizzano modelli di intelligenza artificiale multimodale per la previsione dell'esito dell'ictus sono riassunti nella Tabella 1.

Studio	Modalità di imaging	Tecnica AI (Modello)	Obiettivo	Sommario
Liu et al.18	MRI (DWI) + Clinico	Modello predittivo di deep learning (DLPD, rete di imaging basata su CNN + rete di caratteristiche cliniche)	Prevedere la mRS ordinale a 90 giorni utilizzando immagini fuse e informazioni cliniche.	Il modello fuso ha superato significativamente quelli solo di imaging e clinici e ha raggiunto un'elevata accuratezza nella previsione di esiti sfavorevoli.
Jung et al.21	MRI (DWI, ADC, Flair) + Clinico	Modello di deep learning in ensemble che combina reti di imaging 3D-CNN e modello clinico multilayer perceptron (MLP)	Sviluppare un modello DL multimodale per la previsione degli esiti funzionali nell'AIS.	L'integrazione multimodale ha migliorato la previsione degli esiti a 3 mesi rispetto ai modelli monomodali in una grande coorte multicentrica.
Wei et al.27	MRI (DWI, ADC) + Clinico	Radiomica + apprendimento automatico (selezione delle caratteristiche LASSO + regressione logistica / classificatori a foresta casuale)	Prevedere gli esiti funzionali a lungo termine utilizzando risonanza magnetica, radiomica e variabili cliniche.	Il modello radiomico-clinico ha raggiunto migliori prestazioni prognostiche rispetto ai modelli solo per imaging o solo clinici.
Liu et al.22	TAC senza contrasto + Clinico	Modello di fusione di deep learning (codificatore di imaging CNN + rete MLP clinica)	Prevedere gli esiti funzionali a 90 giorni da TAC in fase acuta e dati clinici.	La fusione multimodale ha migliorato significativamente la precisione della previsione rispetto ai modelli monomodali.
Liu et al.19	MRI (DWI) + Clinico	Modello predittivo di deep learning (DLPD, modello di fusione basato su CNN)	Valuta il modello di previsione degli esiti del deep learning rispetto alle previsioni dei medici.	Il modello di IA ha raggiunto prestazioni comparabili a quelle degli specialisti di ictus nel prevedere esiti mRS a 90 giorni.
Rehman et al.20	Clinica	Deep learning ibrido (CNN+GRU con ADASYN)	Prevedere il rischio di ictus a partire da dati clinici squilibrati	Il deep learning ibrido con ADASYN ha migliorato le prestazioni nella previsione del rischio di ictus, dimostrando il valore dell'avanzato bilanciamento dei dati e dell'apprendimento multimodello.
Ali et al.29	MRI/fMRI/rs-fMRI	Meta-revisione sistematica di modelli ML, DL e ibridi	Valutare le tecniche di intelligenza computazionale per la diagnosi basata su neuroimaging	I modelli ibridi generalmente hanno superato gli approcci autonomi di ML e DL, supportando il valore delle architetture ibride per la previsione basata su neuroimaging.

Tabella 1: Riepilogo degli studi precedenti sulla previsione basata sull'intelligenza artificiale degli esiti funzionali dopo ictus ischemico acuto. Vengono riassunti gli studi rappresentativi che utilizzano imaging, variabili cliniche o approcci multimodali per la previsione degli esiti funzionali post-ictus, inclusi modalità di imaging, tecnica di intelligenza artificiale, obiettivo dello studio e risultati principali. Clicca qui per scaricare questa tabella.

Tuttavia, molti studi esistenti si basano su singole sequenze di imaging o modelli convenzionali di deep learning che catturano principalmente caratteristiche spaziali locali e potrebbero non modellare completamente le relazioni contestuali a lungo raggio all'interno dei dati di imaging cerebrale. Di conseguenza, rimane una specifica lacuna nello sviluppo e nella valutazione esterna di un approccio multimodale che utilizza congiuntamente DWI, ADC e T2-FLAIR con variabili cliniche strutturate, combinando al contempo l'estrazione locale delle caratteristiche della lesione e la modellazione contestuale globale. Sebbene le CNN siano ben consolidate per l'estrazione di caratteristiche a livello di lesione, architetture basate su Transformer come i Vision Transformers (ViTs) permettono la modellazione di relazioni contestuali a lungo raggio attraverso meccanismi di attenzione, fornendo così rappresentazioni globali^{complementari 23,24}. I modelli ibridi CNN-ViT, quindi, forniscono un quadro razionale per codificare congiuntamente dettagli morfologici locali e il contesto globale del cervello. Anche gli algoritmi di machine learning sono altrettanto adatti a modellare complesse relazioni non lineari all'interno di dati clinici strutturati^{eterogenei 25}. Guidata dai recenti principi di apprendimento multimodale che enfatizzano l'integrazione complementare^{cross-modal 26}, questo studio ha combinato la risonanza magnetica multiparametrica all'interno di una spina dorsale di imaging CNN-ViT e ha integrato queste caratteristiche con un modello clinico di apprendimento automatico per la previsione degli esiti a 90 giorni. La novità dello studio risiede nello sviluppo e nella valutazione esterna di un framework di fusione multimodale impilata che integra sequenze MRI complementari, rappresentazioni CNN-ViT locali-globali e predittori clinici strutturati all'interno di un modello unificato di previsione degli esiti a 90 giorni.

L'ipotesi dello studio era che l'integrazione della risonanza magnetica multiparametrica con variabili cliniche strutturate utilizzando un'architettura ibrida CNN-ViT avrebbe migliorato la previsione degli esiti funzionali a 90 giorni dopo l'AIS rispetto ai modelli monomodali. Di conseguenza, l'obiettivo era sviluppare e valutare un framework multimodale di deep learning che integrasse sequenze di risonanza magnetica DWI, ADC e T2-FLAIR con predittori clinici strutturati per stimare gli esiti mRS a 90 giorni nei pazienti AIS.

Protocollo

Questo studio è stato approvato dal Consiglio di Revisione Istituzionale dell'Ospedale Generale dell'Università di Shenzhen (approvazione IRB n. KYLL-2026-077-1). Il requisito del consenso informato scritto è stato revocato a causa della progettazione retrospettiva dello studio.

1. Coorte di studio

I pazienti con ictus ischemico acuto (AIS) sottoposti a risonanza magnetica multiparametrica sono stati identificati retrospettivamente dal database clinico istituzionale. Il flusso di lavoro complessivo dello studio, che include la partizione dei dataset, lo sviluppo di modelli di imaging, la costruzione del modello clinico e la fusione multimodale, è illustrato nella Figura 1.

Figura 1: Flusso di lavoro del framework multimodale di previsione degli esiti. (A) Acquisizione dati. I pazienti con ictus ischemico acuto (AIS) che soddisfacevano criteri di inclusione predefiniti sono stati identificati retrospettivamente. Il dataset è stato suddiviso in una coorte di validazione dell'addestramento (n = 250), una coorte di test interna indipendente (n = 50) e una coorte di test esterna (n = 37). La validazione incrociata stratificata a cinque volte è stata effettuata all'interno della coorte di formazione-validazione. (B) Sviluppo di modelli di imaging. Le sequenze di risonanza magnetica multiparametrica, tra cui immagini ponderate per diffusione (DWI), coefficiente apparente di diffusione (ADC) e recupero per inversione attenuata del fluido T2 (T2-FLAIR), sono state processate utilizzando un'architettura ibrida convoluzionale convoluzionale-Vision Transformer (CNN-ViT) tridimensionale per la previsione degli esiti. (C) Sviluppo di modelli clinici. Sono state utilizzate variabili cliniche strutturate per addestrare modelli di machine learning per la previsione dell'esito funzionale a 90 giorni. (D) Strategia di fusione multimodale. Le previsioni generate dai modelli di imaging e clinici sono state integrate utilizzando un meta-apprendista di regressione logistica impilata per produrre previsioni di esito finale. Clicca qui per visualizzare una versione più grande di questa figura.

Gli esami MRI sono stati eseguiti utilizzando sistemi clinici di risonanza magnetica. Per l'acquisizione dell'immagine veniva utilizzata una bobina dedicata a matrice a fasi. Tutte le sequenze sono state acquisite nel piano assiale utilizzando una posizione costante delle fette tra le modalità. L'imaging pesato per diffusione (DWI) è stato acquisito utilizzando una sequenza di eco-planare a spin-echo a singolo colpo con tempi di ripetizione (TR) di 3.000–5.000 ms e tempo di eco (TE) di 80–90 ms. La sensibilizzazione per diffusione è stata applicata utilizzando valori b di 0 e 800–1.000 s/^{mm 2} in almeno 3 direzioni ortogonali. Il campo visivo variava da 220 a 240 mm con una matrice di 128 × 128. Lo spessore della fetta era di 5–6 mm con un gap di intersoglia di 1–1,5 mm. Furono acquisite due o quattro medie di segnale.

Le mappe del coefficiente di diffusione apparente (ADC) venivano generate automaticamente dai dati DWI sulla workstation scanner utilizzando un fitting monoesponenziale basato sui valori b acquisiti. I valori ADC venivano calcolati per voxel e esportati per analisi quantitativa. Le immagini T2 di recupero per inversione attenuata da fluido (T2-FLAIR) sono state acquisite utilizzando una sequenza di recupero da inversione con TR di 8.000–10.000 ms, TE di 80–140 ms e tempo di inversione di 2.200–2.600 ms. Il campo visivo variava da 220 a 240 mm con una matrice di 192 × 192 a 256 × 256. Lo spessore della fetta era di 4–5 mm con uno spazio tra le fette di 1–1,5 mm.

2. Preprocessing dei dati

I dati clinici sono stati importati da fogli di calcolo strutturati contenenti identificatori di casi, punteggi di esiti mRS, etichette suddivise del dataset e variabili demografiche e cliniche. Gli identificatori di case sono stati standardizzati per garantire la coerenza con i nomi dei file di immagini. Le variabili cliniche includevano caratteristiche demografiche, gravità dell'ictus misurata tramite la National Institutes of Health Stroke Scale (NIHSS), fattori di rischio vascolari e condizioni comorbide registrate al momento del ricovero.

L'esito primario era lo stato funzionale a 90 giorni dall'insorgenza dell'ictus, misurato utilizzando la Scala di Rankin modificata (mRS). Un esito favorevole è stato definito come mRS ≤ 2 e un esito sfavorevole come mRS > 2. Il dataset è stato suddiviso casualmente in coorti di validazione dell'addestramento e coorti di test interne indipendenti utilizzando campionamenti stratificati basati sulla distribuzione mRS per preservare l'equilibrio degli esiti. Una coorte di test esterna veniva elaborata separatamente e non veniva utilizzata durante lo sviluppo del modello. All'interno della coorte di formazione-validazione, è stata applicata la validazione incrociata stratificata k-fold per mantenere distribuzioni coerenti degli esiti tra i fold.

Tutti i volumi DWI, ADC e T2-FLAIR sono stati preprocessati prima dell'addestramento del modello per garantire coerenza spaziale e numerica tra le modalità. La stessa pipeline di preprocessing è stata applicata alle coorti di validazione di addestramento, test interni e test esterni senza modifiche. Le immagini venivano riorientate all'orientamento canonico del RAS e convertite in array a virgola mobile. La risoluzione spaziale in piano è stata ricampionata a 256 × 256 tramite interpolazione lineare. La dimensione del piano passante fu standardizzata a 20 fette usando una strategia basata sul centro: i volumi contenenti più di 20 fette furono ritagliati al centro, mentre quelli con meno di 20 fette erano simmetricamente imbottiti a zero. La dimensione finale del volume era 256 × 256 × 20.

La normalizzazione dell'intensità è stata eseguita indipendentemente per ciascun volume utilizzando la normalizzazione z-score:

dove x indica l'intensità dei voxeli, μ è l'intensità media del volume, e σ è la deviazione standard. Se σ = 0, la normalizzazione non veniva applicata per prevenire l'instabilità numerica. I volumi elaborati venivano salvati in formato NIfTI con una matrice affine standardizzata per l'analisi di deep learning a valle.

3. Sviluppo del modello clinico

Variabili cliniche strutturate sono state utilizzate per sviluppare modelli di machine learning per la previsione degli esiti. I predittori candidati includevano caratteristiche demografiche, fattori di rischio vascolari, eziologia dell'ictus e misure di gravità clinica di base. Le variabili continue sono state imputate utilizzando valori mediani e standardizzate. Le variabili categoriche sono state imputate usando la categoria più frequente e codificate usando la codifica one-hot.

Sono stati valutati molteplici algoritmi di apprendimento automatico, tra cui regressione logistica, foresta casuale, aumento del gradiente, macchine a vettori di supporto (SVM), aumento estremo del gradiente e modelli di macchina con aumento del gradiente luminoso. Lo sviluppo del modello ha seguito un quadro stratificato di cinque validazioni incrociate all'interno della coorte di addestramento-validazione per stimare le prestazioni di generalizzazione. Le previsioni finali per le coorti di test interne ed esterne sono state generate mediando le previsioni da modelli addestrati su ciascun piega di validazione incrociata. Non sono stati utilizzati campioni esterni durante la validazione incrociata o la selezione del modello.

4. Architettura dei modelli di deep learning

È stata implementata un'architettura ibrida CNN-ViT tridimensionale per la previsione degli esiti da volumi di risonanza magnetica multimodale. La rete è stata progettata per combinare l'estrazione locale di caratteristiche spaziali con la modellazione contestuale globale all'interno di un quadro unificato. I volumi di input consistevano in immagini multicanale tridimensionali elaborate end-to-end.

L'estrazione delle caratteristiche è stata inizialmente eseguita utilizzando una spina dorsale convoluzionale gerarchica tridimensionale composta da 4 stadi. Ogni stadio includeva 2 strati convoluzionali con una dimensione del nucleo di 3 × 3 × 3 e un imbottitura di 1 voxel, seguiti da normalizzazione batch e attivazione lineare rettificata delle unità unitarie. La risoluzione spaziale è stata progressivamente ridotta utilizzando strati di max-pooling tridimensionale applicati dopo i primi 3 stadi, mentre la profondità del canale di caratteristiche è aumentata a ogni livello per catturare rappresentazioni semantiche di livello superiore. La regolarizzazione del dropout (tasso di dropout = 0,1) veniva applicata dopo la fase convoluzionale finale per ridurre il sovrafitting. La spina dorsale convoluzionale trasformava il volume di input di dimensione C × D × H × W in una rappresentazione compatta di caratteristiche di alto livello con dimensioni spaziali ridotte.

La mappa delle caratteristiche risultante è stata rimodellata in una sequenza di token appiattendo le dimensioni spaziali in modo che il numero di token corrispondesse a:

N = D' x H' x W'

Le relazioni contestuali globali tra i token sono state modellate utilizzando strati encoder Transformer composti da reti di auto-attenzione e feedforward multi-testa. L'attenzione di sé veniva calcolata come:

dove Q, K e V indicano rispettivamente le matrici di interrogazione, chiave e valore, e d rappresenta la dimensione di incorporamento. La normalizzazione dei livelli e il dropout sono stati applicati all'interno di ogni livello encoder per migliorare la stabilità dell'addestramento. Il modulo Transformer era composto da 3 strati di encoder con 8 teste di attenzione e una dimensione di embedding di 256.

Dopo la codifica Transformer, la rappresentazione corrispondente al token di classificazione veniva estratta e normalizzata. Uno strato lineare completamente connesso produceva un unico output logit per la classificazione binaria.

L'architettura ibrida proposta CNN-ViT è stata intenzionalmente progettata come un modello leggero ed efficiente parametricamente per bilanciare capacità rappresentativa e rischio di sovrafitting. Il modello comprendeva 3,79 milioni di parametri addestrabili (circa 14,4 MB in precisione fp32), inclusi 1,38 milioni nella spina dorsale convoluzionale e 2,37 milioni nell'encoder Transformer.

5. Allenamento per immagini del modello

L'addestramento del modello di imaging è stato condotto utilizzando un framework stratificato di validazione incrociata a cinque punti per preservare la distribuzione degli esiti tra le pieghe, migliorando al contempo la robustezza della stima delle prestazioni. Il dataset è stato suddiviso in una coorte di validazione dell'addestramento e una coorte di test interna indipendente utilizzando campionamenti stratificati basati sulla distribuzione degli esiti. All'interno della coorte di formazione-validazione, è stata applicata la validazione incrociata stratificata a cinque volte. Per ogni piegatura, il modello di imaging è stato addestrato utilizzando il sottoinsieme di addestramento e valutato usando il sottoinsieme di validazione corrispondente, mentre la coorte di test tenuta fuori è stata riservata esclusivamente alla valutazione finale delle prestazioni.

L'ottimizzazione del modello è stata eseguita utilizzando un framework di deep learning su una workstation dotata di GPU con l'ottimizzatore AdamW, tasso di apprendimento di 3 × 10⁻⁵ e decadimento del peso di 3 × 10⁻⁴. L'addestramento veniva condotto utilizzando un lotto di 8 unità per un massimo di 200 epoche. L'entropia binaria incrociata con logit veniva utilizzata come funzione di perdita.

Per affrontare lo squilibrio di classe, è stato calcolato un fattore di pesatura di classe positiva per ogni piega basato sul rapporto tra campioni negativi e positivi e incorporato nella funzione di perdita. Il clipping delle norme gradiente con una norma massima di 0,5 è stato applicato per migliorare la stabilità numerica durante l'ottimizzazione. L'addestramento automatico a precisione mista è stato reso possibile per migliorare l'efficienza computazionale.

L'arresto precoce è stato implementato quando le prestazioni di validazione non sono migliorate di almeno 1 × 10⁻⁴ in 30 epoche consecutive. Il checkpoint modello con le migliori prestazioni di ogni piega è stato mantenuto. Dopo il completamento di tutte le pieghe, sono state generate previsioni per le coorti di test interne ed esterne utilizzando ciascun modello specifico per pieghe, e le probabilità finali sono state ottenute mediando le previsioni tra i 5 modelli per generare output di ensemble.

6. Modello di fusione multimodale

È stata implementata una strategia di fusione in pila per integrare previsioni derivate dall'imaging con informazioni cliniche strutturate. Il modello di imaging di deep learning e il modello di previsione clinica hanno servito come base degli apprendenti, e le loro probabilità previste sono state utilizzate come caratteristiche di input per un meta-apprendente di regressione logistica. Ulteriori caratteristiche di interazione, tra cui il prodotto e la differenza assoluta delle probabilità previste, sono state incorporate per catturare informazioni complementari tra imaging e previsioni cliniche.

Per prevenire la fuga di informazioni, il meta-learner veniva addestrato utilizzando probabilità previste out-of-fold generate dalla coorte di convalidazione dell'addestramento. Le probabilità out-of-fold validate incrociate dai modelli di imaging e clinico sono state unite per identificatore del paziente per costruire il dataset di addestramento meta-learner. Per le coorti di test interne ed esterne, le probabilità corrispondenti del set di test provenienti dai modelli di imaging e clinici sono state utilizzate come input per il meta-learner addestrato per generare probabilità fuse. Il meta-learner addestrato è stato applicato a entrambe le coorti di test senza riadattamento.

7. Studio dell'ablazione

Sono stati condotti esperimenti di ablazione per valutare i contributi delle singole sequenze di risonanza magnetica e del componente Vision Transformer utilizzando impostazioni di addestramento e valutazione identiche al modello primario. Le ablazioni di sequenza includevano modelli a singola sequenza, modelli lascia-uno-sequenza-fuori e il modello multiparametrico completo. Per valutare il contributo del modulo Vision Transformer, l'architettura ibrida proposta è stata inoltre confrontata con una base solo CNN, in cui l'encoder Transformer è stato rimosso mantenendo la propria spina dorsale convoluzionale.

8. Analisi statistica

Le prestazioni del modello sono state valutate separatamente nella coorte di test indipendente interna e nella coorte di test esterna utilizzando l'area sotto la curva caratteristica operativa del ricevitore (AUC) come metrica primaria di discriminazione. Le curve di caratteristica operativa del ricevitore (ROC) venivano costruite utilizzando probabilità previste generate da ciascun modello. Sensibilità, specificità e accuratezza complessiva sono state inoltre calcolate per caratterizzare la performance nella classificazione.

I risultati binari sono stati generati utilizzando soglie determinate secondo l'indice di Youden. Sensibilità, specificità e accuratezza sono state successivamente calcolate alla soglia ottimale. Tutte le analisi statistiche, lo sviluppo di modelli di machine learning e l'addestramento dei modelli di deep learning sono stati implementati utilizzando pacchetti software standard di calcolo scientifico e machine learning.

Risultati

Coorte di studio

Un totale di 300 pazienti con ictus ischemico acuto (AIS) sono stati inclusi dopo l'applicazione di criteri predefiniti di inclusione ed esclusione. Il dataset è stato suddiviso in una coorte di validazione dell'addestramento (n = 250) e una coorte interna indipendente di test (n = 50) utilizzando campionamenti stratificati basati sulla distribuzione funzionale degli esiti. Inoltre, è stata inclusa una coorte esterna di test di 37 pazienti AIS da un dataset in...

Discussione

Questo studio ha sviluppato e valutato un quadro di intelligenza artificiale multimodale che integra risonanza magnetica multiparametrica e variabili cliniche strutturate per la previsione dell'esito funzionale a 90 giorni dopo ictus ischemico acuto (AIS). Il modello di fusione proposto ha dimostrato prestazioni predittive più elevate rispetto al modello di imaging o clinico da solo. In particolare, il modello multimodale sovrapfigurato che integra le previsioni dal modello clinico basat...

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Sistema di risonanza magnetica ((Discovery MR750 3.0T)	GE Healthcare	https://www.gehealthcare.in/products/magnetic-resonance-imaging/3-0t/discovery-mr750	Scanner MRI clinico utilizzato per l'acquisizione di immagini DWI, ADC e T2-FLAIR
Bobina per la testa a matrice di fase	GE Healthcare	https://services.gehealthcare.com/gehcstorefront/p/5450630	Bobina per la testa utilizzata per la ricezione del segnale MRI
Unità di elaborazione grafica (RTX 4090)	NVIDIA	https://www.nvidia.com/en-us/geforce/graphics-cards/40-series/rtx-4090/	GPU utilizzata per l'addestramento del modello di apprendimento profondo
Framework di apprendimento profondo (PyTorch v2.1)	PyTorch Foundation	https://pytorch.org/	Framework utilizzato per implementare il modello CNN-Transformer
Lingua di programmazione (Python v3.10)	Python Software Foundation	https://www.python.org/downloads/release/python-3100/	Ambiente utilizzato per lo sviluppo del modello e l'elaborazione dei dati
Libreria di apprendimento automatico (scikit-learn)	scikit-learn Developers	https://scikit-learn.org/stable/	Utilizzato per modelli di apprendimento automatico clinici e analisi statistiche
Libreria di boosting gradiente (XGBoost)	DMLC	https://xgboost.readthedocs.io/en/release_3.2.0/	Utilizzato per l'implementazione del modello di boosting gradiente
Libreria di boosting gradiente (LightGBM)	Microsoft	https://lightgbm.readthedocs.io/en/stable/	Utilizzato per il modello clinico LightGBM