Validación interna de un modelo de predicción clínica para la isquemia cerebral retardada tras una hemorragia subaracnoidea aneurismática

Resumen

Este estudio retrospectivo de un solo centro desarrolló y validó internamente un modelo de regresión logística para la isquemia cerebral tardía tras una hemorragia subaracnoidea aneurismática. En 680 pacientes, seis variables clínicas, de laboratorio y de imagen tempranas mostraron valor predictivo preliminar. Se requiere una validación externa adicional antes de su uso clínico.

Resumen

La isquemia cerebral tardía (ICT) es una causa importante de lesión neurológica secundaria tras la hemorragia subaracnoidea aneurismática (HSAA). Este estudio retrospectivo de un solo centro desarrolló y evaluó modelos predictivos para la ICT utilizando datos de 680 pacientes adultos con HSAA tratados entre julio de 2022 y diciembre de 2024. Los pacientes se dividieron mediante una partición estratificada según el resultado, en una proporción de 8:2, en una cohorte de entrenamiento de 544 pacientes y una cohorte de validación interna independiente de 136 pacientes. La ICT ocurrió en 175 pacientes de la cohorte de entrenamiento y en 42 pacientes de la cohorte de validación interna. La selección de predictores se realizó en la cohorte de entrenamiento mediante regresión con operador de contracción y selección por mínimos absolutos con validación cruzada de 10 pliegues. Se conservaron seis variables: edad, edema cerebral, hipoalbuminemia, grado modificado de Fisher, grado de Hunt-Hess y grado de la Federación Mundial de Neurocirujanos. Se compararon modelos de regresión logística, incremento extremo del gradiente, máquina de incremento ligero del gradiente, máquina de vectores de soporte y vecino más cercano k. La regresión logística mostró un área bajo la curva característica de operación del receptor de 0,832 (intervalo de confianza del 95 %, 0,758–0,906) en la cohorte de validación interna. Su pendiente de calibración, intercepto de calibración y puntuación de Brier fueron 0,98, 0,02 y 0,168, respectivamente, aunque no se dispuso de intervalos de confianza para estas estimaciones de calibración. Los hallazgos representan un desempeño preliminar en una única cohorte de validación interna independiente. La falta de registros completos de reproductibilidad, la ausencia del intercepto del modelo, la falta de corrección del optimismo basada en remuestreo y la ausencia de validación externa impiden actualmente el cálculo de probabilidades a nivel individual del paciente y su implementación clínica.

Introducción

Se han propuesto varios modelos de predicción para la isquemia cerebral tardía (DCI) tras la HSAa, pero muchos se han visto limitados por tamaños muestrales pequeños, evaluación incompleta de la calibración, reporte insuficiente de los procedimientos de desarrollo del modelo y ausencia de validación externa. Muchos estudios se han centrado principalmente en la discriminación, mientras que la calibración, la reproducibilidad y la evaluación del impacto clínico se han reportado de forma menos consistente. Por lo tanto, el desempeño del modelo debe evaluarse mediante métodos transparentes e interpretarse con cautela cuando la validación se limite a un solo centro.

El presente estudio tuvo como objetivo desarrollar y evaluar internamente modelos predictivos para la isquemia cerebral tardía (DCI) utilizando variables clínicas, de laboratorio y de imágenes disponibles rutinariamente desde una etapa temprana. Se compararon cinco enfoques de modelado empleando el mismo conjunto de predictores seleccionados. El momento previsto para la predicción fue tras la evaluación inicial de admisión, de laboratorio y de imágenes, pero antes del período principal de riesgo de DCI. Los modelos se desarrollaron para estimación de riesgo con fines de investigación y no pretenden diagnosticar la DCI, sustituir el juicio clínico ni determinar de forma independiente el tratamiento. Se requiere una validación externa, recalibración y evaluación del impacto clínico antes de su uso en la práctica clínica.

La isquemia cerebral tardía (ICT) es uno de estos daños secundarios que ha sido una de las afecciones clínicamente más significativas y potencialmente prevenibles tras la HSAa. La ICT es una complicación que generalmente surge varios días después del ictus, típicamente entre los días 3 y 14, y se asocia con un nuevo deterioro neurológico focal, empeoramiento del nivel de conciencia y/o aparición de infarto cerebral en neuroimágenes posteriores. Aunque existen algunas diferencias en las prácticas diagnósticas entre distintas instituciones, la ICT siempre se relaciona con una estancia prolongada en la unidad de cuidados intensivos, un alto consumo de recursos y un pronóstico neurológico desfavorable. La incidencia informada de ICT es típicamente del 30–40 por ciento, lo que subraya su prevalencia y sus importantes implicaciones pronósticas^1,2,3,4,5,6. Es importante destacar que la ICT no es un proceso de vía única. Aunque el enfoque siempre ha estado en la vasoespasmo cerebral de grandes vasos, evidencia acumulada también muestra que la lesión cerebral temprana, la despolarización cortical propagada, la neuroinflamación, la microtrombosis, la disfunción endotelial, la alteración de la autorregulación y el fallo de la microcirculación contribuyen todos al riesgo isquémico. Esta fisiopatología multifactorial ayuda a explicar por qué los tratamientos dirigidos al vasoespasmo podrían no prevenir completamente el infarto asociado a la ICT y por qué es difícil identificar a los pacientes de alto riesgo en el entorno clínico habitual.

La estratificación del riesgo de ICD tras una HSA es una prioridad porque, con la identificación rápida de pacientes de alto riesgo, podría ser posible monitorearlos más de cerca e intensificar de forma inmediata las medidas preventivas o de rescate⁷. Los planes de monitoreo en la práctica clínica pueden incluir pruebas neurológicas más frecuentes, ultrasonografía Doppler transcraneal, técnicas de imagen sofisticadas, como la perfusión con tomografía computarizada, optimización hemodinámica y del volumen intravascular, cumplimiento estricto con la terapia con nimodipino e identificación temprana del deterioro neurológico, como hidrocefalia, rehemorragia, convulsiones, infección o desequilibrio metabólico. Sin embargo, las decisiones clínicas suelen estar influidas por escalas de gravedad globales y por la experiencia de los médicos, más que por estimaciones personalizadas y basadas en datos de la probabilidad de ICD^8,9,10. Una razón es que la literatura indica que los factores de riesgo son heterogéneos, y que la interacción entre los factores del paciente, la carga hemorrágica, las alteraciones fisiológicas y las escalas de clasificación neurológica puede ser no lineal y compleja. Investigadores previos han estudiado posibles predictores de ICD, incluyendo la edad, la hipertensión, el estado neurológico basal, las características del aneurisma, índices de laboratorio (como sodio sérico y albúmina), características de imagen indicativas de la carga hemorrágica y factores relacionados con el tratamiento o el período perioperatorio. Las técnicas convencionales de regresión han sido útiles, pero pueden tener limitaciones cuando los predictores están correlacionados, cuando la relación entre los predictores y el riesgo es no lineal, o cuando existen interacciones entre las variables¹¹. Al mismo tiempo, se han propuesto múltiples instrumentos (muy frecuentemente nomogramas) para evaluar el riesgo de ICD. Aunque los nomogramas son factibles y visualmente atractivos, la mayoría se basan en muestras pequeñas, incluyen pocas variables y pueden estar sobreajustados o mal validados. Además, los modelos desarrollados y probados en un centro podrían no ser fácilmente trasladables a otras instituciones debido a diferencias en la composición de los pacientes, la interpretación de imágenes, el tratamiento y los umbrales diagnósticos para ICD.

Los métodos de aprendizaje automático pueden complementar los modelos tradicionales de predicción clínica, ya que permiten explorar más dimensiones de los datos clínicos y observar tendencias más complejas sin necesidad de hacer suposiciones lineales rígidas. En los últimos años, los modelos de predicción basados en aprendizaje automático han encontrado aplicaciones crecientes en el campo de las enfermedades cerebrovasculares, incluyendo la predicción de resultados y complicaciones, así como el apoyo a la toma de decisiones.^12,13,14. Los algoritmos de aprendizaje automático comúnmente utilizados incluyen métodos de árboles conjuntistas como Extreme Gradient Boosting (XGBoost) y Light Gradient Boosting Machine (LightGBM), clasificadores basados en kernels como las máquinas de vectores de soporte (SVM) y clasificadores basados en distancias como k-vecinos más cercanos (KNN). Los modelos son, en principio, capaces de modelar no linealidades y las interacciones más de lo que lo hacen los enfoques tradicionales¹⁵Sin embargo, también existen consideraciones prácticas asociadas a los modelos de aprendizaje automático (ML), como el riesgo de sobreajuste, la reducida interpretabilidad y la necesidad de gestionar el preprocesamiento, ajuste, calibración, evaluación y validación. Vale la pena señalar que en una amplia variedad de escenarios clínicos, una regresión logística bien especificada puede desempeñarse tan bien como, o incluso más eficazmente que, algoritmos más complejos, especialmente cuando el número de predictores es pequeño y la relación señal-ruido es moderada. Por lo tanto, se requiere un análisis comparativo de diversos algoritmos utilizando predictores y métricas de evaluación similares para identificar un modelo que se correlacione con el rendimiento y la aplicabilidad clínica.^16,17,18.

Se han propuesto previamente varios modelos de predicción para la isquemia cerebral tardía; sin embargo, muchos presentan limitaciones importantes, como tamaños de muestra pequeños, evaluación limitada de calibración, ausencia de comparación directa entre algoritmos e insuficiente validación. Además, estudios previos frecuentemente enfatizan la discriminación mientras subestiman la calibración y las métricas de utilidad clínica, que son esenciales para la aplicabilidad en la práctica real. El presente estudio aborda estas lagunas mediante el desarrollo de un modelo predictivo en una cohorte relativamente grande, la implementación de una selección sistemática de predictores utilizando la regresión por contracción y selección por mínimos absolutos (LASSO), la comparación de múltiples algoritmos de aprendizaje automático dentro de un marco de modelado unificado y la evaluación exhaustiva del desempeño en discriminación, calibración y análisis de decisiones.

Se han propuesto varios modelos de predicción para la isquemia cerebral tardía (DCI) después de la hemorragia subaracnoidea aneurismática (aSAH), pero muchos presentan limitaciones importantes, como cohortes pequeñas, evaluación limitada de la calibración, informes incompletos sobre el desarrollo del modelo y falta de validación externa o temporal. Además, muchos estudios solo informan la discriminación, mientras que la calibración y el análisis de la curva de decisión se presentan de forma menos consistente. El presente estudio no resuelve el problema de la validación externa. En cambio, proporciona un estudio de desarrollo y validación interna realizado en un solo centro, utilizando variables clínicas, de laboratorio y de imágenes disponibles habitualmente. El caso de uso previsto es la estratificación temprana del riesgo tras el ingreso y el tratamiento inicial del aneurisma, antes de la ventana principal de riesgo de DCI. El modelo podría ayudar a los médicos a identificar a los pacientes que necesitan un monitoreo neurológico más estrecho, vigilancia mediante imágenes vasculares, corrección de anomalías fisiológicas y una revisión temprana por parte del equipo de cuidados neurocríticos. No se pretende que sustituya al juicio clínico, que diagnostique la DCI ni que guíe el tratamiento sin una validación externa ni pruebas de impacto clínico. Estudios previos han propuesto varios modelos para predecir la DCI tras la aSAH, pero muchos han estado limitados por tamaños muestrales pequeños, informes incompletos sobre calibración, comparaciones limitadas entre métodos de modelado o la ausencia de validación externa. El presente estudio no pretende ofrecer una herramienta de decisión clínicamente validada. En cambio, su objetivo es desarrollar y validar internamente un modelo de predicción utilizando variables clínicas, de laboratorio y de imágenes tempranas disponibles rutinariamente, provenientes de una cohorte de un solo centro. El caso de uso previsto es la estratificación temprana del riesgo tras el ingreso y el tratamiento inicial del aneurisma, antes del período principal de riesgo de DCI. En este contexto, un riesgo predicho alto apoyaría una evaluación neurológica más estrecha, monitoreo vascular, corrección de anomalías fisiológicas y una revisión temprana por parte del equipo de cuidados neurocríticos. El modelo no está destinado a diagnosticar la DCI ni a sustituir el juicio del médico tratante.

Protocolo

The study was approved by the Institutional Ethics Committee of Yulin First Hospital, Shaanxi Province, China. Because this was a retrospective analysis of routinely collected hospital data, and because all data were anonymized before analysis, the requirement for written informed consent was waived. The study was conducted in accordance with institutional data-protection requirements and the principles of the Declaration of Helsinki.

Data and Methods
Study Population and Design

This was a retrospective single-center cohort study conducted at Yulin First Hospital, Shaanxi Province, China. The hospital records of patients admitted with aSAH between July 2022 and December 2024 were screened. Eligible patients were adults aged 18 years or older with a diagnosis of aSAH confirmed by cranial and intracranial vascular imaging. Patients were required to have been admitted within 72 h after symptom onset and to have undergone aneurysm treatment during the index hospitalization.

Patients were excluded if they had traumatic subarachnoid hemorrhage, non-aneurysmal subarachnoid hemorrhage, severe pre-existing hematological disease, other major intracranial disease affecting outcome assessment, insufficient records for DCI evaluation, or in-hospital death before an adequate DCI assessment period. Excluding early in-hospital deaths may introduce survivorship bias because the most severe cases may be removed from analysis. Therefore, the findings should be interpreted as applying mainly to patients who survived long enough for DCI evaluation.

Data Collection 

Clinical, laboratory, imaging, and treatment-related variables were extracted from the electronic medical record using a predefined data-extraction form. The extracted variables included demographic factors, medical history, aneurysm features, early neurological grade, early imaging findings, laboratory results, treatment approach, and hospital complications. The intended prediction time point was after completion of the initial admission and perioperative assessment, but before the main DCI risk window.

Age, sex, body mass index, smoking status, alcohol use, hypertension, diabetes, aneurysm size, aneurysm location, modified Fisher grade, Hunt-Hess grade, World Federation of Neurological Surgeons grade, intraventricular hemorrhage, and rebleeding were taken from admission records and initial imaging. Laboratory variables, including hemoglobin, serum albumin, and serum sodium, were obtained from the earliest available blood test prior to the prediction time point. Cerebral edema was assessed using baseline or immediate post-treatment imaging available before DCI diagnosis. Variables recorded only after DCI onset were not used for model development to reduce information leakage.

Anemia was defined as hemoglobin <110 g/L in female patients and <120 g/L in male patients. Hypoalbuminemia was defined as serum albumin <35 g/L. Hyponatremia was defined as serum sodium <130 mmol/L.

Patients were managed according to the institutional aSAH care pathway. Standard management included early aneurysm securing, neurological observation, blood pressure control, fluid and electrolyte management, and surveillance for complications including hydrocephalus, rebleeding, seizure, infection, vasospasm, and DCI. Nimodipine was used unless contraindicated. Vasospasm monitoring was performed using neurological examination, vascular imaging, and transcranial Doppler ultrasonography when clinically indicated. Hydrocephalus was managed with cerebrospinal fluid diversion when required. Hemodynamic optimization and rescue therapy were applied according to the treating team’s assessment. Because treatment intensity and rescue-therapy details were not completely captured in the retrospective dataset, these factors could not be fully adjusted in the model and were considered a limitation.

Diagnosis of DCI 

DCI was defined as a new focal neurological impairment, a decrease in level of consciousness, or a new cerebral infarction on follow-up computed tomography or magnetic resonance imaging occurring during the expected DCI risk window and not explained by another cause. The DCI risk window was defined as days 3–14 after the hemorrhage ictus. Alternative explanations, including rebleeding, hydrocephalus, seizure, infection, metabolic disturbance, sedative effect, and procedure-related infarction, were reviewed before classifying an event as DCI.

Outcome adjudication was performed by two clinicians with experience in the management of aSAH, including one neurosurgeon and one neurologist/neurocritical care physician. The adjudicators reviewed clinical notes, neurological examinations, imaging reports, and follow-up imaging. They were blinded to the final model output during outcome assessment. Disagreements were resolved through consensus discussion with review of the relevant imaging and clinical timeline. Formal inter-rater agreement was not measured, and this limitation was added because DCI classification may involve clinical judgment.

Sample Size Calculation 

The sample size was estimated using the 10-events-per-variable (EPV) rule of thumb¹¹. With 20 candidate predictor variables and an expected DCI incidence of approximately 35%, a minimum sample size of 20 × 10 / 0.35 ≈ 572 patients was required. Our final cohort of 680 patients exceeded this requirement. Although the events-per-variable (EPV) rule was applied as a general guideline, modern predictive modeling, particularly machine learning algorithms, may require more flexible sample-size considerations. The final cohort size was considered adequate to ensure model stability, minimize the risk of overfitting, and enable reliable estimation of model performance metrics.

Model development and validation 

Patients were allocated to a training cohort of 544 patients and a hold-out internal validation cohort of 136 patients using an outcome-stratified 8:2 split. Outcome stratification was used to maintain a similar proportion of DCI events in the two cohorts. DCI occurred in 175 of 544 patients in the training cohort and 42 of 136 patients in the internal-validation cohort. The 8:2 hold-out design was retained because it was the prespecified model-development strategy and provided a separate cohort for preliminary internal performance assessment.

Predictor selection was performed only in the training cohort using least absolute shrinkage and selection operator regression with 10-fold cross-validation. The selected penalty parameter was λ = 0.031. Six predictors were retained: age, cerebral edema, hypoalbuminemia, modified Fisher grade, Hunt-Hess grade, and World Federation of Neurological Surgeons grade.

Logistic regression, extreme gradient boosting, light gradient boosting machine, support vector machine, and k-nearest neighbor models were developed using the same set of selected predictors. All preprocessing, predictor selection, and model-development procedures were restricted to the training cohort. The internal-validation cohort was not used during predictor selection or model tuning and was evaluated only after model development.

The numerical random seed used for the original cohort allocation was not retained in the archived analysis records and could not be retrospectively verified. Bootstrap optimism correction and repeated k-fold internal validation were also not available. Therefore, the present analysis is described as a single hold-out internal validation rather than an optimism-corrected or repeated cross-validated performance assessment.

Machine-learning reproducibility

LASSO predictor selection used 10-fold cross-validation within the training cohort. Continuous predictors were standardized when required by the modeling algorithm, and categorical predictors were represented using predefined binary clinical categories. The validation cohort was not used for tuning or model selection.

The archived analysis materials did not retain the final tuning grids, selected hyperparameters, complete package versions, original random seed, or a confirmed class-imbalance procedure for XGBoost, LightGBM, SVM, and KNN. These settings were therefore not reconstructed or estimated. The machine-learning comparisons should consequently be interpreted as exploratory comparisons of algorithms rather than fully reproducible model-development experiments. Reproducibility information, both available and unavailable, should be summarized in Supplementary Table 1.

Bias Control & Sensitivity Analysis

Consecutive eligible patients were included to reduce selection bias. Standardized variable definitions and a structured data-extraction form were used to reduce information bias. Predictors were restricted to information available before the intended DCI prediction time point to reduce information leakage. Predictor selection, preprocessing, and model development were performed only in the training cohort.

Modified Fisher grade, Hunt-Hess grade, and WFNS grade represent related aspects of hemorrhage burden and neurological severity. Although all three variables were retained after LASSO selection, the numerical variance inflation factor values and the results from a sensitivity model excluding overlapping severity scales were not included in the archived analysis output. These analyses could not be reconstructed from the aggregate tables because patient-level correlations and fitted model outputs are required. Therefore, the individual coefficients of these severity measures were not interpreted as independent or causal effects. They were retained only as components of the prediction model selected in the training cohort.

Model Interpretability

Clinical applicability was believed to require model interpretability as a crucial element. In the most effective model, the effects of predictors were considered to assess the clinical plausibility and conformity with existing pathophysiological knowledge of delayed cerebral ischemia. This method enabled a clear assessment of model behavior and improved the potential for clinical translation.

Missing Data

Variable-level missingness was assessed during data preparation. However, the original pre-imputation missing counts and percentages for each candidate variable were not retained in the archived analysis records and could not be accurately reconstructed from the aggregate tables. Consequently, no assumption of complete data was made, and no unverified missingness percentages were reported.

A verified supplementary missing-data table should be generated directly from the original deidentified patient-level dataset. Supplementary Table 2 should report, for every candidate variable, the number and percentage of missing observations before data handling, the method used to address missingness, and the number of observations included in the final analysis. The inability to recover the original variable-specific missingness pattern was considered a limitation of the present report.

Statistical Analysis 

Predictor selection was performed in the training cohort using LASSO regression with 10-fold cross-validation. Discrimination was assessed using the area under the receiver operating characteristic curve with 95% confidence intervals. Calibration was described using calibration plots and point estimates of the calibration slope, calibration intercept, and Brier score. Bootstrap confidence intervals for calibration measures were not available.

Threshold-dependent classification measures were calculated from the available internal-validation confusion matrices. The exact numerical probability threshold used to generate the archived confusion matrices was not retained and could not be verified. Therefore, these measures were interpreted descriptively and were not used as the primary basis for model selection. Decision-curve analysis was also considered exploratory because the exact prespecified threshold range and patient-level net-benefit output were not retained. A two-sided P value below 0.05 was considered statistically significant.

Resultados

Comparación de las características basales entre las cohortes de entrenamiento y de validación interna

Se incluyó un total de 680 pacientes con SAH-a. La cohorte de entrenamiento contó con 544 pacientes, de los cuales 175 desarrollaron ICD, mientras que la cohorte de validación interna incluyó 136 pacientes, de los cuales 42 desarrollaron ICD. La tasa de eventos de ICD fue del 32,2 % en la cohorte de entrenamiento y del 30,9 % en la cohorte de validación interna. Las caracterí...

Discusión

Este estudio desarrolló y validó internamente un modelo de predicción para la isquemia cerebral tardía (DCI) después de la hemorragia subaracnoidea aneurismática (aSAH) utilizando variables clínicas, de laboratorio y de imagen tempranas. Se mantuvieron seis variables tras la selección de predictores: edad, edema cerebral, hipoalbuminemia, grado modificado de Fisher, grado de Hunt-Hess y grado de la Federación Mundial de Neurocirujanos. Entre los modelos evaluados, la regresión logística mostró una discriminación interna ...

Materiales

Lista de materiales utilizados en este artículo

Nombre	Empresa	Número de catálogo	Comentarios
Sistema electrónico de historias médicas	Yulin First Hospital	No aplicable	Origen de los datos clínicos retrospectivos; la plataforma comercial exacta no se conservó en los registros archivados.
IBM SPSS Statistics	IBM Corporation	Versión 25.0	Análisis estadístico descriptivo e inferencial.
Implementación de k-vecinos más cercanos	Paquete/fuente no conservado	No disponible	Modelo exploratorio de aprendizaje automático; el paquete y la versión exactos deben recuperarse del entorno de código original.
LightGBM	Microsoft / proyecto de código abierto	Versión no disponible	Modelo exploratorio de aumento de gradiente; no se conservaron la versión exacta del paquete ni los hiperparámetros.
Software estadístico R	Foundation R para la Computación Estadística	Versión 4.3.2	Modelado estadístico y evaluación interna del desempeño.
Implementación de máquina de vectores de soporte	Paquete/fuente no conservado	No disponible	Modelo exploratorio de aprendizaje automático; no se conservaron el paquete exacto, la configuración del kernel ni la versión.
XGBoost	Proyecto de código abierto	Versión no disponible	Modelo exploratorio de aumento de gradiente; no se conservaron la versión exacta del paquete ni los hiperparámetros.