Validazione interna di un modello di previsione clinica per l'ischemia cerebrale ritardata dopo emorragia subaracnoidea aneurismatica

Sommario

Questo studio retrospettivo monocentrico ha sviluppato e validato internamente un modello di regressione logistica per l'ischemia cerebrale ritardata dopo emorragia subaracnoidea aneurismatica. In 680 pazienti, sei variabili cliniche, di laboratorio e di imaging precoci hanno mostrato un valore predittivo preliminare. È richiesta un'ulteriore validazione esterna prima dell'uso clinico.

Abstract

L'ischemia cerebrale tardiva (DCI) è una causa importante di danno neurologico secondario dopo emorragia subaracnoidea aneurismatica (aSAH). Questo studio retrospettivo monocentrico ha sviluppato e valutato modelli predittivi per la DCI utilizzando dati provenienti da 680 pazienti adulti con aSAH trattati tra luglio 2022 e dicembre 2024. I pazienti sono stati suddivisi mediante una ripartizione stratificata per esito di 8:2 in una coorte di addestramento composta da 544 pazienti e una coorte di validazione interna distinta di 136 pazienti. La DCI si è verificata in 175 pazienti nella coorte di addestramento e in 42 pazienti nella coorte di validazione interna. La selezione dei predittori è stata effettuata nella coorte di addestramento mediante regressione con operatore di riduzione e selezione assoluta minima (LASSO) con validazione incrociata a 10 ripiegamenti. Sono state mantenute sei variabili: età, edema cerebrale, ipoalbuminemia, grado di Fisher modificato, grado di Hunt-Hess e grado della World Federation of Neurological Surgeons. Sono stati confrontati modelli di regressione logistica, boosting estremo del gradiente, macchina con boosting leggero del gradiente, macchina a vettori di supporto e vicini più prossimi (k-nearest neighbor). La regressione logistica ha mostrato un'area sotto la curva caratteristica operativa del ricevitore di 0,832 (intervallo di confidenza al 95%, 0,758–0,906) nella coorte di validazione interna. La sua pendenza di calibrazione, l'intercetta di calibrazione e il punteggio di Brier sono stati rispettivamente 0,98, 0,02 e 0,168, sebbene gli intervalli di confidenza per queste stime di calibrazione non fossero disponibili. I risultati rappresentano una prestazione preliminare in una singola coorte di validazione interna distinta. L'assenza di registrazioni completamente riproducibili, l'assenza dell'intercetta del modello, la mancanza di una correzione dell'ottimismo basata sul ricampionamento e l'assenza di una validazione esterna impediscono attualmente il calcolo delle probabilità a livello individuale e l'implementazione clinica.

Introduzione

Sono stati proposti diversi modelli predittivi per la DCI dopo aSAH, ma molti sono stati limitati da campioni di piccole dimensioni, valutazioni incomplete della calibrazione, una segnalazione insufficiente delle procedure di sviluppo del modello e dalla mancanza di una validazione esterna. Molti studi si sono concentrati principalmente sulla discriminazione, mentre la calibrazione, la riproducibilità e la valutazione dell'impatto clinico sono state riportate in modo meno coerente. Pertanto, le prestazioni del modello dovrebbero essere valutate utilizzando metodi trasparenti e interpretate con cautela quando la validazione è limitata a un singolo centro.

Lo scopo del presente studio era sviluppare e valutare internamente modelli predittivi per il DCI utilizzando variabili cliniche, di laboratorio e di imaging disponibili routine nei primi stadi. Cinque approcci modellistici sono stati confrontati utilizzando lo stesso insieme di predittori selezionati. Il punto temporale previsto per la predizione corrispondeva al periodo successivo al ricovero iniziale e alla valutazione di laboratorio e di imaging, ma precedente al periodo principale di rischio di DCI. I modelli sono stati sviluppati per la stima del rischio in ambito di ricerca e non avevano lo scopo di diagnosticare il DCI, sostituire il giudizio clinico o determinare autonomamente il trattamento. Prima di un utilizzo clinico, è necessaria una validazione esterna, una ricalibrazione e una valutazione dell’impatto clinico.

L'ischemia cerebrale tardiva (DCI) è uno di questi danni secondari che si è rivelato tra le condizioni più clinicamente significative e potenzialmente prevenibili dopo l'emorragia subaracnoidea aneurismatica (aSAH). La DCI è una complicanza che di solito insorge diversi giorni dopo l'ictus, tipicamente tra i 3 e i 14 giorni, ed è associata a un nuovo deficit neurologico focale, al peggioramento del livello di coscienza e/o all'insorgenza di infarto cerebrale riscontrabile nelle successive neuroimmagini. Sebbene esistano alcune differenze nelle pratiche diagnostiche tra diverse istituzioni, la DCI è sempre correlata a un lungo ricovero in terapia intensiva, a un elevato consumo di risorse e a una prognosi neurologica sfavorevole. L'incidenza riportata di DCI è tipicamente del 30–40 percento, a sottolineare la sua diffusione e il notevole impatto prognostico^1,2,3,4,5,6. È importante notare che la DCI non è un processo a via unica. Sebbene l'attenzione sia sempre stata focalizzata sulla vasospasmo cerebrale dei grossi vasi, evidenze crescenti mostrano anche che il danno cerebrale precoce, la depolarizzazione diffusa corticale, la neuroinfiammazione, la microtrombosi, la disfunzione endoteliale, l'alterazione dell'autoregolazione e il fallimento della microcircolazione contribuiscono tutti al rischio ischemico. Questa patofisiologia multifattoriale aiuta a spiegare perché i trattamenti mirati al vasospasmo potrebbero non prevenire completamente l'infarto associato alla DCI e perché i pazienti ad alto rischio sono difficili da identificare nel normale contesto clinico.

La stratificazione del rischio di ICD dopo aSAH è una priorità perché, con un tempestivo riconoscimento dei pazienti ad alto rischio, potrebbe essere possibile monitorarli più attentamente e intensificare prontamente le misure preventive o di salvataggio⁷. I piani di monitoraggio nella pratica clinica possono prevedere l'uso di test neurologici più frequenti, ecografia Doppler transcranica, tecniche di imaging sofisticate, come la perfusione con tomografia computerizzata, ottimizzazione emodinamica e del volume intravascolare, rigorosa adesione alla terapia con nimodipina e riconoscimento precoce del deterioramento neurologico, come idrocefalo, re-emorragia, crisi convulsive, infezione o squilibrio metabolico. Tuttavia, le decisioni cliniche tendono a essere influenzate più da scale di gravità globale e dall'esperienza dei clinici che da stime personalizzate e basate sui dati della probabilità di ICD^8,9,10. Un motivo è che la letteratura indica che i fattori di rischio sono eterogenei e che l'interazione tra fattori legati al paziente, carico emorragico, alterazioni fisiologiche e scale di valutazione neurologica può essere non lineare e complessa. Studi precedenti hanno analizzato potenziali predittori di ICD, tra cui età, ipertensione, stato neurologico basale, caratteristiche dell'aneurisma, indici di laboratorio (come sodio sierico e albumina), caratteristiche radiologiche indicative del carico emorragico e fattori perioperatori o legati al trattamento. Le tecniche convenzionali di regressione si sono rivelate utili, ma possono risultare limitate quando i predittori sono correlati, quando la relazione tra predittori e rischio è non lineare o quando esistono interazioni tra le variabili¹¹. Parallelamente, sono stati proposti diversi strumenti (più comunemente nomogrammi) per valutare il rischio di ICD. Sebbene i nomogrammi siano fattibili e di facile interpretazione visiva, la maggior parte di essi si basa su campioni ridotti, include poche variabili e potrebbe essere sovradattata o scarsamente validata. Inoltre, modelli sviluppati e testati in un singolo centro potrebbero non essere facilmente trasferibili ad altre strutture a causa di differenze nella composizione dei pazienti, nell'interpretazione delle immagini, nei trattamenti e nelle soglie diagnostiche per l'ICD.

I metodi di apprendimento automatico (machine learning) possono integrare i modelli tradizionali di previsione clinica, poiché consentono di esplorare un numero maggiore di dimensioni nei dati clinici e di osservare tendenze più complesse, senza dover formulare assunzioni lineari rigide. Negli ultimi anni, i modelli predittivi basati sull'apprendimento automatico hanno trovato un'applicazione sempre più diffusa nel campo delle malattie cerebrovascolari, inclusa la previsione di esiti e complicanze, nonché il supporto decisionale.^12,13,14Gli algoritmi di machine learning comunemente utilizzati includono metodi basati su alberi d'insieme come l'Extreme Gradient Boosting (XGBoost) e la Light Gradient Boosting Machine (LightGBM), classificatori basati su kernel come le macchine a vettori di supporto (SVM) e classificatori basati sulla distanza come il k-nearest neighbors (KNN). In linea di principio, questi modelli sono in grado di modellare nonlinearità. e le interazioni più approcci tradizionali¹⁵Tuttavia, sono presenti anche aspetti pratici legati ai modelli di apprendimento automatico, come il rischio di overfitting, la ridotta interpretabilità e la necessità di gestire pre-elaborazione, ottimizzazione, calibrazione, valutazione e validazione. È opportuno sottolineare che in un'ampia gamma di scenari clinici, una regressione logistica ben specificata può prestarsi altrettanto bene, o addirittura in modo più efficace, rispetto ad algoritmi più complessi, specialmente quando il numero di predittori è ridotto e il rapporto segnale-rumore è moderato. Pertanto, è necessaria un'analisi comparativa di diversi algoritmi mediante predittori e metriche di valutazione simili per identificare un modello che si correli con le prestazioni e l'applicabilità clinica^16,17,18.

Sono stati precedentemente proposti diversi modelli predittivi per l'ischemia cerebrale ritardata; tuttavia, molti presentano limitazioni importanti, tra cui campioni di piccole dimensioni, valutazione limitata della calibrazione, mancanza di confronto diretto tra algoritmi e validazione insufficiente. Inoltre, studi precedenti spesso enfatizzano la capacità discriminante sottovalutando le metriche di calibrazione e di utilità clinica, che sono essenziali per l'applicabilità nella pratica reale. Il presente studio affronta queste lacune sviluppando un modello predittivo in una coorte relativamente ampia, implementando una selezione sistematica dei predittori mediante regressione con operatore di riduzione e selezione assoluta minima (LASSO), confrontando diversi algoritmi di apprendimento automatico all'interno di un framework modellistico unificato e valutando in modo completo le prestazioni discriminanti, di calibrazione e analitiche decisionali.

Sono stati proposti diversi modelli predittivi per il DCI dopo aSAH, ma molti presentano limitazioni importanti, tra cui coorti di piccole dimensioni, valutazione limitata della calibrazione, segnalazione incompleta dello sviluppo del modello e mancanza di validazione esterna o temporale. Inoltre, molti studi riportano solo la discriminazione, mentre la calibrazione e l'analisi della curva decisionale sono presentate in modo meno coerente. Lo studio attuale non risolve il problema della validazione esterna. Piuttosto, fornisce uno studio di sviluppo monocentrico e di validazione interna basato su variabili cliniche, di laboratorio e di imaging comunemente disponibili. L'uso previsto riguarda la stratificazione precoce del rischio dopo il ricovero e il trattamento iniziale dell'aneurisma, prima della finestra principale di rischio per il DCI. Il modello potrebbe aiutare i clinici a identificare i pazienti che necessitano di un monitoraggio neurologico più stretto, di un controllo vascolare con imaging, della correzione di anomalie fisiologiche e di una valutazione precoce da parte del team di neuroterapia intensiva. Non è inteso a sostituire il giudizio clinico, a diagnosticare il DCI o a guidare il trattamento senza una validazione esterna e test sull'impatto clinico. Studi precedenti hanno proposto diversi modelli per prevedere il DCI dopo aSAH, ma molti sono stati limitati da campioni di piccole dimensioni, segnalazione incompleta della calibrazione, confronti limitati tra metodi di modellizzazione o mancanza di validazione esterna. Lo studio attuale non afferma di fornire uno strumento decisionale clinicamente validato. Piuttosto, mira a sviluppare e validare internamente un modello predittivo utilizzando variabili cliniche, di laboratorio e di imaging precoci comunemente disponibili, provenienti da una coorte monocentrica. L'uso previsto riguarda la stratificazione precoce del rischio dopo il ricovero e il trattamento iniziale dell'aneurisma, prima del periodo principale di rischio per il DCI. In questo contesto, un rischio predetto elevato supporterebbe una valutazione neurologica più accurata, un monitoraggio vascolare, la correzione di anomalie fisiologiche e una revisione precoce da parte dell'assistenza neurocritica. Il modello non è destinato a diagnosticare il DCI né a sostituire il giudizio del clinico.

Protocollo

The study was approved by the Institutional Ethics Committee of Yulin First Hospital, Shaanxi Province, China. Because this was a retrospective analysis of routinely collected hospital data, and because all data were anonymized before analysis, the requirement for written informed consent was waived. The study was conducted in accordance with institutional data-protection requirements and the principles of the Declaration of Helsinki.

Data and Methods
Study Population and Design

This was a retrospective single-center cohort study conducted at Yulin First Hospital, Shaanxi Province, China. The hospital records of patients admitted with aSAH between July 2022 and December 2024 were screened. Eligible patients were adults aged 18 years or older with a diagnosis of aSAH confirmed by cranial and intracranial vascular imaging. Patients were required to have been admitted within 72 h after symptom onset and to have undergone aneurysm treatment during the index hospitalization.

Patients were excluded if they had traumatic subarachnoid hemorrhage, non-aneurysmal subarachnoid hemorrhage, severe pre-existing hematological disease, other major intracranial disease affecting outcome assessment, insufficient records for DCI evaluation, or in-hospital death before an adequate DCI assessment period. Excluding early in-hospital deaths may introduce survivorship bias because the most severe cases may be removed from analysis. Therefore, the findings should be interpreted as applying mainly to patients who survived long enough for DCI evaluation.

Data Collection 

Clinical, laboratory, imaging, and treatment-related variables were extracted from the electronic medical record using a predefined data-extraction form. The extracted variables included demographic factors, medical history, aneurysm features, early neurological grade, early imaging findings, laboratory results, treatment approach, and hospital complications. The intended prediction time point was after completion of the initial admission and perioperative assessment, but before the main DCI risk window.

Age, sex, body mass index, smoking status, alcohol use, hypertension, diabetes, aneurysm size, aneurysm location, modified Fisher grade, Hunt-Hess grade, World Federation of Neurological Surgeons grade, intraventricular hemorrhage, and rebleeding were taken from admission records and initial imaging. Laboratory variables, including hemoglobin, serum albumin, and serum sodium, were obtained from the earliest available blood test prior to the prediction time point. Cerebral edema was assessed using baseline or immediate post-treatment imaging available before DCI diagnosis. Variables recorded only after DCI onset were not used for model development to reduce information leakage.

Anemia was defined as hemoglobin <110 g/L in female patients and <120 g/L in male patients. Hypoalbuminemia was defined as serum albumin <35 g/L. Hyponatremia was defined as serum sodium <130 mmol/L.

Patients were managed according to the institutional aSAH care pathway. Standard management included early aneurysm securing, neurological observation, blood pressure control, fluid and electrolyte management, and surveillance for complications including hydrocephalus, rebleeding, seizure, infection, vasospasm, and DCI. Nimodipine was used unless contraindicated. Vasospasm monitoring was performed using neurological examination, vascular imaging, and transcranial Doppler ultrasonography when clinically indicated. Hydrocephalus was managed with cerebrospinal fluid diversion when required. Hemodynamic optimization and rescue therapy were applied according to the treating team’s assessment. Because treatment intensity and rescue-therapy details were not completely captured in the retrospective dataset, these factors could not be fully adjusted in the model and were considered a limitation.

Diagnosis of DCI 

DCI was defined as a new focal neurological impairment, a decrease in level of consciousness, or a new cerebral infarction on follow-up computed tomography or magnetic resonance imaging occurring during the expected DCI risk window and not explained by another cause. The DCI risk window was defined as days 3–14 after the hemorrhage ictus. Alternative explanations, including rebleeding, hydrocephalus, seizure, infection, metabolic disturbance, sedative effect, and procedure-related infarction, were reviewed before classifying an event as DCI.

Outcome adjudication was performed by two clinicians with experience in the management of aSAH, including one neurosurgeon and one neurologist/neurocritical care physician. The adjudicators reviewed clinical notes, neurological examinations, imaging reports, and follow-up imaging. They were blinded to the final model output during outcome assessment. Disagreements were resolved through consensus discussion with review of the relevant imaging and clinical timeline. Formal inter-rater agreement was not measured, and this limitation was added because DCI classification may involve clinical judgment.

Sample Size Calculation 

The sample size was estimated using the 10-events-per-variable (EPV) rule of thumb¹¹. With 20 candidate predictor variables and an expected DCI incidence of approximately 35%, a minimum sample size of 20 × 10 / 0.35 ≈ 572 patients was required. Our final cohort of 680 patients exceeded this requirement. Although the events-per-variable (EPV) rule was applied as a general guideline, modern predictive modeling, particularly machine learning algorithms, may require more flexible sample-size considerations. The final cohort size was considered adequate to ensure model stability, minimize the risk of overfitting, and enable reliable estimation of model performance metrics.

Model development and validation 

Patients were allocated to a training cohort of 544 patients and a hold-out internal validation cohort of 136 patients using an outcome-stratified 8:2 split. Outcome stratification was used to maintain a similar proportion of DCI events in the two cohorts. DCI occurred in 175 of 544 patients in the training cohort and 42 of 136 patients in the internal-validation cohort. The 8:2 hold-out design was retained because it was the prespecified model-development strategy and provided a separate cohort for preliminary internal performance assessment.

Predictor selection was performed only in the training cohort using least absolute shrinkage and selection operator regression with 10-fold cross-validation. The selected penalty parameter was λ = 0.031. Six predictors were retained: age, cerebral edema, hypoalbuminemia, modified Fisher grade, Hunt-Hess grade, and World Federation of Neurological Surgeons grade.

Logistic regression, extreme gradient boosting, light gradient boosting machine, support vector machine, and k-nearest neighbor models were developed using the same set of selected predictors. All preprocessing, predictor selection, and model-development procedures were restricted to the training cohort. The internal-validation cohort was not used during predictor selection or model tuning and was evaluated only after model development.

The numerical random seed used for the original cohort allocation was not retained in the archived analysis records and could not be retrospectively verified. Bootstrap optimism correction and repeated k-fold internal validation were also not available. Therefore, the present analysis is described as a single hold-out internal validation rather than an optimism-corrected or repeated cross-validated performance assessment.

Machine-learning reproducibility

LASSO predictor selection used 10-fold cross-validation within the training cohort. Continuous predictors were standardized when required by the modeling algorithm, and categorical predictors were represented using predefined binary clinical categories. The validation cohort was not used for tuning or model selection.

The archived analysis materials did not retain the final tuning grids, selected hyperparameters, complete package versions, original random seed, or a confirmed class-imbalance procedure for XGBoost, LightGBM, SVM, and KNN. These settings were therefore not reconstructed or estimated. The machine-learning comparisons should consequently be interpreted as exploratory comparisons of algorithms rather than fully reproducible model-development experiments. Reproducibility information, both available and unavailable, should be summarized in Supplementary Table 1.

Bias Control & Sensitivity Analysis

Consecutive eligible patients were included to reduce selection bias. Standardized variable definitions and a structured data-extraction form were used to reduce information bias. Predictors were restricted to information available before the intended DCI prediction time point to reduce information leakage. Predictor selection, preprocessing, and model development were performed only in the training cohort.

Modified Fisher grade, Hunt-Hess grade, and WFNS grade represent related aspects of hemorrhage burden and neurological severity. Although all three variables were retained after LASSO selection, the numerical variance inflation factor values and the results from a sensitivity model excluding overlapping severity scales were not included in the archived analysis output. These analyses could not be reconstructed from the aggregate tables because patient-level correlations and fitted model outputs are required. Therefore, the individual coefficients of these severity measures were not interpreted as independent or causal effects. They were retained only as components of the prediction model selected in the training cohort.

Model Interpretability

Clinical applicability was believed to require model interpretability as a crucial element. In the most effective model, the effects of predictors were considered to assess the clinical plausibility and conformity with existing pathophysiological knowledge of delayed cerebral ischemia. This method enabled a clear assessment of model behavior and improved the potential for clinical translation.

Missing Data

Variable-level missingness was assessed during data preparation. However, the original pre-imputation missing counts and percentages for each candidate variable were not retained in the archived analysis records and could not be accurately reconstructed from the aggregate tables. Consequently, no assumption of complete data was made, and no unverified missingness percentages were reported.

A verified supplementary missing-data table should be generated directly from the original deidentified patient-level dataset. Supplementary Table 2 should report, for every candidate variable, the number and percentage of missing observations before data handling, the method used to address missingness, and the number of observations included in the final analysis. The inability to recover the original variable-specific missingness pattern was considered a limitation of the present report.

Statistical Analysis 

Predictor selection was performed in the training cohort using LASSO regression with 10-fold cross-validation. Discrimination was assessed using the area under the receiver operating characteristic curve with 95% confidence intervals. Calibration was described using calibration plots and point estimates of the calibration slope, calibration intercept, and Brier score. Bootstrap confidence intervals for calibration measures were not available.

Threshold-dependent classification measures were calculated from the available internal-validation confusion matrices. The exact numerical probability threshold used to generate the archived confusion matrices was not retained and could not be verified. Therefore, these measures were interpreted descriptively and were not used as the primary basis for model selection. Decision-curve analysis was also considered exploratory because the exact prespecified threshold range and patient-level net-benefit output were not retained. A two-sided P value below 0.05 was considered statistically significant.

Risultati

Confronto delle caratteristiche alla baseline tra il gruppo di addestramento e il gruppo di validazione interna

Sono stati inclusi complessivamente 680 pazienti con aSAH. Il gruppo di addestramento comprendeva 544 pazienti, dei quali 175 hanno sviluppato DCI, mentre il gruppo di validazione interna comprendeva 136 pazienti, dei quali 42 hanno sviluppato DCI. La frequenza di eventi DCI è stata del 32,2% nel gruppo di addestramento e del 30,9% nel gruppo di validazione interna. ...

Discussione

Questo studio ha sviluppato e validato internamente un modello predittivo per l'ischemia cerebrale tardiva (DCI) dopo emorragia subaracnoidea aneurismatica (aSAH), utilizzando variabili cliniche, di laboratorio e di imaging precoci. Sei variabili sono state mantenute dopo la selezione dei predittori: età, edema cerebrale, ipoalbuminemia, grado di Fisher modificato, grado di Hunt-Hess e grado della World Federation of Neurological Surgeons. Tra i modelli valutati, la regressione logistica ha mostrato una discriminazione i...

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Sistema elettronico delle cartelle cliniche	Yulin First Hospital	Non applicabile	Fonte dei dati clinici retrospettivi; la piattaforma commerciale esatta non è stata conservata nei record archiviati.
IBM SPSS Statistics	IBM Corporation	Versione 25.0	Analisi statistica descrittiva e inferenziale.
Implementazione del K-nearest neighbor	Pacchetto/fonte non conservato	Non disponibile	Modello esplorativo di apprendimento automatico; il pacchetto e la versione esatti devono essere recuperati dall'ambiente originale del codice.
LightGBM	Microsoft / progetto open-source	Versione non disponibile	Modello esplorativo di gradient boosting; la versione esatta del pacchetto e gli iperparametri non sono stati conservati.
Software statistico R	R Foundation for Statistical Computing	Versione 4.3.2	Modellazione statistica e valutazione delle prestazioni interne.
Implementazione della macchina a vettori di supporto	Pacchetto/fonte non conservato	Non disponibile	Modello esplorativo di apprendimento automatico; il pacchetto esatto, le impostazioni del kernel e la versione non sono stati conservati.
XGBoost	Progetto open-source	Versione non disponibile	Modello esplorativo di gradient boosting; la versione esatta del pacchetto e gli iperparametri non sono stati conservati.