Внутренняя валидация клинической прогностической модели отсроченной церебральной ишемии после аневризматического субарахноидального кровоизлияния

Краткое содержание

В данном одноцентровом ретроспективном исследовании была разработана и внутренне валидирована модель логистической регрессии для прогнозирования отсроченной ишемии головного мозга после аневризматического субарахноидального кровоизлияния. У 680 пациентов шесть ранних клинических, лабораторных и визуализационных переменных продемонстрировали предварительную прогностическую ценность. Перед внедрением в клиническую практику требуется дальнейшая внешняя валидация.

Аннотация

Отсроченная церебральная ишемия (ОЦИ) является важной причиной вторичного неврологического повреждения после аневризматического субарахноидального кровоизлияния (аСАК). В данном ретроспективном одноцентровом исследовании были разработаны и оценены прогностические модели ОЦИ с использованием данных 680 взрослых пациентов с аСАК, проходивших лечение в период с июля 2022 года по декабрь 2024 года. Пациенты были разделены с использованием стратификации по исходу в соотношении 8:2 на обучающую когорту из 544 пациентов и внутреннюю валидационную когорту из 136 пациентов. ОЦИ наблюдалась у 175 пациентов в обучающей когорте и у 42 пациентов во внутренней валидационной когорте. Отбор предикторов в обучающей когорте проводился с помощью регрессии LASSO (least absolute shrinkage and selection operator) с 10-кратной перекрестной проверкой. Были отобраны шесть переменных: возраст, отек головного мозга, гипоальбуминемия, модифицированная шкала Фишера, шкала Ханта-Хесса и шкала Всемирной федерации нейрохирургов. Сравнивались модели логистической регрессии, экстремального градиентного бустинга (XGBoost), легковесной машины градиентного бустинга (LightGBM), метода опорных векторов (SVM) и k-ближайших соседей (k-NN). Логистическая регрессия показала площадь под ROC-кривой 0,832 (95% доверительный интервал: 0,758–0,906) во внутренней валидационной когорте. Значения наклона калибровки, интерсепта калибровки и индекса Брайера составили 0,98, 0,02 и 0,168 соответственно, хотя доверительные интервалы для этих оценок калибровки отсутствовали. Полученные результаты отражают предварительную эффективность в одной внутренней валидационной когорте. Неполные записи о воспроизводимости, отсутствие интерсепта модели, отсутствие коррекции оптимизма на основе повторной выборки и отсутствие внешней валидации в настоящее время препятствуют расчету вероятности на уровне отдельного пациента и клиническому внедрению.

Введение

Было предложено несколько прогностических моделей DCI после aSAH, однако многие из них были ограничены малым размером выборки, неполной оценкой калибровки, недостаточным описанием процедур разработки моделей и отсутствием внешней валидации. Многие исследования были сосредоточены главным образом на дискриминационной способности, в то время как калибровка, воспроизводимость и оценка клинического эффекта описывались менее последовательно. Следовательно, эффективность моделей следует оценивать с использованием прозрачных методов и интерпретировать с осторожностью, если валидация ограничена одним центром.

Настоящее исследование было направлено на разработку и внутреннюю оценку прогностических моделей DCI с использованием стандартно доступных ранних клинических, лабораторных и визуализационных переменных. Сравнивались пять подходов к моделированию с использованием одного и того же набора выбранных предикторов. Целевой момент прогнозирования находился после первичной госпитализации, лабораторного обследования и визуализации, но до основного периода риска DCI. Модели были разработаны для оценки риска в исследовательских целях и не предназначались для диагностики DCI, замены клинического суждения или независимого определения тактики лечения. Перед внедрением в клиническую практику необходимы внешняя валидация, рекалибровка и тестирование клинической значимости.

Отсроченная церебральная ишемия (ОЦИ) является одним из таких вторичных повреждений, которые относятся к наиболее клинически значимым и потенциально предотвратимым состояниям после аSAH. ОЦИ — это осложнение, которое обычно возникает через несколько дней после иктуса, как правило, в течение 3–14 дней, и сопровождается новым очаговым неврологическим дефицитом, ухудшением уровня сознания и/или развитием церебрального инфаркта, выявляемым при последующей нейровизуализации. Несмотря на определенные различия в диагностической практике разных учреждений, ОЦИ всегда ассоциируется с длительным пребыванием в отделении интенсивной терапии, высоким потреблением ресурсов и неблагоприятным неврологическим прогнозом. Сообщаемая частота возникновения ОЦИ обычно составляет 30–40 процентов, что подчеркивает ее распространенность и значимое прогностическое влияние^1,2,3,4,5,6. Примечательно, что ОЦИ не является однопутевым процессом. Хотя основное внимание всегда уделялось вазоспазму крупных церебральных сосудов, накапливающиеся данные также показывают, что раннее повреждение мозга, корковая распространяющаяся деполяризация, нейровоспаление, микротромбоз, эндотелиальная дисфункция, нарушение ауторегуляции и сбой микроциркуляции также способствуют ишемическому риску. Эта многофакторная патофизиология помогает объяснить почему терапия, направленная на борьбу с вазоспазмом, может не полностью предотвращать связанный с ОЦИ инфаркт и почему пациентов высокого риска трудно выявить в обычных клинических условиях.

Стратификация риска развития отсроченной церебральной ишемии (ОЦИ) после аневризматического субарахноидального кровоизлияния (аСАК) является приоритетной задачей, поскольку своевременное выявление пациентов группы высокого риска позволяет обеспечить более тщательный мониторинг и оперативно усилить профилактические или терапевтические меры⁷. Планы мониторинга в клинической практике могут включать более частое проведение неврологического осмотра, транскраниальную допплерографию, современные методы визуализации, такие как компьютерная перфузионная томография, оптимизацию гемодинамики и внутрисосудистого объема, строгое соблюдение режима терапии нимодипином, а также раннее выявление неврологического ухудшения, например, гидроцефалии, повторного кровоизлияния, судорог, инфекций или метаболических нарушений. Тем не менее, при принятии клинических решений зачастую преобладают общемировые шкалы тяжести и опыт врачей, а не персонализированные оценки вероятности ОЦИ, основанные на данных^8,9,10. Одной из причин является то, что в литературе указывается на гетерогенность факторов риска, а взаимосвязь между характеристиками пациента, объемом кровоизлияния, физиологическими нарушениями и неврологическими шкалами оценки может быть нелинейной и сложной. В предыдущих исследованиях изучались потенциальные предикторы ОЦИ, включая возраст, артериальную гипертензию, исходный неврологический статус, характеристики аневризмы, лабораторные показатели (такие как уровень натрия и альбумина в сыворотке крови), признаки объема кровоизлияния по данным визуализации, а также периоперационные факторы или факторы, связанные с лечением. Традиционные методы регрессионного анализа оказались полезными, однако их применение может быть ограничено в случаях корреляции предикторов, нелинейной зависимости между предикторами и риском или при наличии взаимодействий между переменными¹¹. Параллельно с этим для оценки риска ОЦИ было предложено несколько инструментов (чаще всего номограмм). Несмотря на практичность и наглядность номограмм, большинство из них основано на малых выборках, включает малое количество переменных и может быть подвержено переобучению или иметь недостаточную валидацию. Кроме того, модели, разработанные и протестированные в одном центре, могут быть трудноприменимы в других учреждениях из-за различий в составе пациентов, интерпретации изображений, методах лечения и диагностических порогах ОЦИ.

Методы машинного обучения могут дополнить традиционные модели клинического прогнозирования, так как они позволяют исследовать большее количество измерений клинических данных и наблюдать более сложные закономерности без необходимости принятия жестких линейных допущений. В последние годы прогностические модели на основе ML находят все большее применение в области цереброваскулярных заболеваний, включая прогнозирование исходов и осложнений, а также поддержку принятия решений^12,13,14. К широко применяемым алгоритмам машинного обучения относятся ансамблевые методы на основе деревьев, такие как Extreme Gradient Boosting (XGBoost) и Light Gradient Boosting Machine (LightGBM), классификаторы на основе ядер, такие как метод опорных векторов (SVM), и классификаторы на основе расстояний, такие как метод k-ближайших соседей (KNN). В принципе, эти модели способны моделировать нелинейности и взаимодействия эффективнее, чем традиционные подходы¹⁵. Однако существуют и практические проблемы, связанные с моделями ML, такие как риск переобучения, снижение интерпретируемости, а также необходимость предварительной обработки, настройки, калибровки, оценки и валидации. Стоит отметить, что в широком спектре клинических сценариев правильно специфицированная логистическая регрессия может работать так же хорошо или даже более эффективно, чем более сложные алгоритмы, особенно когда количество предикторов мало, а отношение сигнал/шум умеренно. Таким образом, необходим сравнительный анализ различных алгоритмов с использованием аналогичных предикторов и метрик оценки, чтобы определить модель, которая будет оптимальна с точки зрения производительности и клинической применимости^16,17,18.

Ранее было предложено несколько моделей прогнозирования отсроченной ишемии головного мозга; однако многие из них имеют существенные ограничения, включая малые размеры выборок, ограниченную оценку калибровки, отсутствие прямого сравнения алгоритмов и недостаточную валидацию. Кроме того, в предыдущих исследованиях зачастую акцент делался на дискриминационной способности при недостаточном освещении показателей калибровки и клинической значимости, которые необходимы для применения в реальной практике. Настоящее исследование восполняет эти пробелы путем разработки прогностической модели на сравнительно большой когорте, применения систематического отбора предикторов с помощью регрессии LASSO (least absolute shrinkage and selection operator), сравнения нескольких алгоритмов машинного обучения в рамках единой структуры моделирования, а также всесторонней оценки дискриминационной способности, калибровки и эффективности анализа принятия решений.

Было предложено несколько моделей прогнозирования DCI после aSAH, но многие из них имеют серьезные ограничения, включая малые когорты, ограниченную оценку калибровки, неполное описание процесса разработки модели, а также отсутствие внешней или временной валидации. Кроме того, во многих исследованиях сообщается только о дискриминации, в то время как калибровка и анализ кривых принятия решений представляются менее последовательно. Настоящее исследование не решает проблему внешней валидации. Вместо этого оно представляет собой одноцентровое исследование по разработке и внутренней валидации модели с использованием стандартно доступных клинических, лабораторных и инструментальных переменных. Предполагаемый сценарий использования — ранняя стратификация риска после госпитализации и первичного лечения аневризмы, до наступления основного окна риска DCI. Модель может помочь клиницистам выявить пациентов, нуждающихся в более тщательном неврологическом мониторинге, сосудистом визуализационном контроле, коррекции физиологических отклонений и раннем осмотре бригадой нейрореаниматологов. Она не предназначена для замены клинического суждения, диагностики DCI или руководства лечением без внешней валидации и тестирования клинической эффективности. В предыдущих работах предлагалось несколько моделей для прогнозирования DCI после aSAH, но многие из них были ограничены малым размером выборки, неполным отчетом о калибровке, ограниченным сравнением методов моделирования или отсутствием внешней валидации. В настоящем исследовании не ставится цель предоставить клинически валидированный инструмент принятия решений. Вместо этого целью является разработка и внутренняя валидация прогностической модели с использованием стандартно доступных ранних клинических, лабораторных и инструментальных переменных из одноцентровой когорты. Предполагаемый сценарий использования — ранняя стратификация риска после госпитализации и первичного лечения аневризмы, до основного периода риска DCI. В таких условиях высокий прогнозируемый риск станет основанием для более тщательного неврологического обследования, сосудистого мониторинга, коррекции физиологических отклонений и раннего осмотра специалистами по нейрокритической помощи. Модель не предназначена для диагностики DCI или замены клинического суждения врача.

Протокол

The study was approved by the Institutional Ethics Committee of Yulin First Hospital, Shaanxi Province, China. Because this was a retrospective analysis of routinely collected hospital data, and because all data were anonymized before analysis, the requirement for written informed consent was waived. The study was conducted in accordance with institutional data-protection requirements and the principles of the Declaration of Helsinki.

Data and Methods
Study Population and Design

This was a retrospective single-center cohort study conducted at Yulin First Hospital, Shaanxi Province, China. The hospital records of patients admitted with aSAH between July 2022 and December 2024 were screened. Eligible patients were adults aged 18 years or older with a diagnosis of aSAH confirmed by cranial and intracranial vascular imaging. Patients were required to have been admitted within 72 h after symptom onset and to have undergone aneurysm treatment during the index hospitalization.

Patients were excluded if they had traumatic subarachnoid hemorrhage, non-aneurysmal subarachnoid hemorrhage, severe pre-existing hematological disease, other major intracranial disease affecting outcome assessment, insufficient records for DCI evaluation, or in-hospital death before an adequate DCI assessment period. Excluding early in-hospital deaths may introduce survivorship bias because the most severe cases may be removed from analysis. Therefore, the findings should be interpreted as applying mainly to patients who survived long enough for DCI evaluation.

Data Collection 

Clinical, laboratory, imaging, and treatment-related variables were extracted from the electronic medical record using a predefined data-extraction form. The extracted variables included demographic factors, medical history, aneurysm features, early neurological grade, early imaging findings, laboratory results, treatment approach, and hospital complications. The intended prediction time point was after completion of the initial admission and perioperative assessment, but before the main DCI risk window.

Age, sex, body mass index, smoking status, alcohol use, hypertension, diabetes, aneurysm size, aneurysm location, modified Fisher grade, Hunt-Hess grade, World Federation of Neurological Surgeons grade, intraventricular hemorrhage, and rebleeding were taken from admission records and initial imaging. Laboratory variables, including hemoglobin, serum albumin, and serum sodium, were obtained from the earliest available blood test prior to the prediction time point. Cerebral edema was assessed using baseline or immediate post-treatment imaging available before DCI diagnosis. Variables recorded only after DCI onset were not used for model development to reduce information leakage.

Anemia was defined as hemoglobin <110 g/L in female patients and <120 g/L in male patients. Hypoalbuminemia was defined as serum albumin <35 g/L. Hyponatremia was defined as serum sodium <130 mmol/L.

Patients were managed according to the institutional aSAH care pathway. Standard management included early aneurysm securing, neurological observation, blood pressure control, fluid and electrolyte management, and surveillance for complications including hydrocephalus, rebleeding, seizure, infection, vasospasm, and DCI. Nimodipine was used unless contraindicated. Vasospasm monitoring was performed using neurological examination, vascular imaging, and transcranial Doppler ultrasonography when clinically indicated. Hydrocephalus was managed with cerebrospinal fluid diversion when required. Hemodynamic optimization and rescue therapy were applied according to the treating team’s assessment. Because treatment intensity and rescue-therapy details were not completely captured in the retrospective dataset, these factors could not be fully adjusted in the model and were considered a limitation.

Diagnosis of DCI 

DCI was defined as a new focal neurological impairment, a decrease in level of consciousness, or a new cerebral infarction on follow-up computed tomography or magnetic resonance imaging occurring during the expected DCI risk window and not explained by another cause. The DCI risk window was defined as days 3–14 after the hemorrhage ictus. Alternative explanations, including rebleeding, hydrocephalus, seizure, infection, metabolic disturbance, sedative effect, and procedure-related infarction, were reviewed before classifying an event as DCI.

Outcome adjudication was performed by two clinicians with experience in the management of aSAH, including one neurosurgeon and one neurologist/neurocritical care physician. The adjudicators reviewed clinical notes, neurological examinations, imaging reports, and follow-up imaging. They were blinded to the final model output during outcome assessment. Disagreements were resolved through consensus discussion with review of the relevant imaging and clinical timeline. Formal inter-rater agreement was not measured, and this limitation was added because DCI classification may involve clinical judgment.

Sample Size Calculation 

The sample size was estimated using the 10-events-per-variable (EPV) rule of thumb¹¹. With 20 candidate predictor variables and an expected DCI incidence of approximately 35%, a minimum sample size of 20 × 10 / 0.35 ≈ 572 patients was required. Our final cohort of 680 patients exceeded this requirement. Although the events-per-variable (EPV) rule was applied as a general guideline, modern predictive modeling, particularly machine learning algorithms, may require more flexible sample-size considerations. The final cohort size was considered adequate to ensure model stability, minimize the risk of overfitting, and enable reliable estimation of model performance metrics.

Model development and validation 

Patients were allocated to a training cohort of 544 patients and a hold-out internal validation cohort of 136 patients using an outcome-stratified 8:2 split. Outcome stratification was used to maintain a similar proportion of DCI events in the two cohorts. DCI occurred in 175 of 544 patients in the training cohort and 42 of 136 patients in the internal-validation cohort. The 8:2 hold-out design was retained because it was the prespecified model-development strategy and provided a separate cohort for preliminary internal performance assessment.

Predictor selection was performed only in the training cohort using least absolute shrinkage and selection operator regression with 10-fold cross-validation. The selected penalty parameter was λ = 0.031. Six predictors were retained: age, cerebral edema, hypoalbuminemia, modified Fisher grade, Hunt-Hess grade, and World Federation of Neurological Surgeons grade.

Logistic regression, extreme gradient boosting, light gradient boosting machine, support vector machine, and k-nearest neighbor models were developed using the same set of selected predictors. All preprocessing, predictor selection, and model-development procedures were restricted to the training cohort. The internal-validation cohort was not used during predictor selection or model tuning and was evaluated only after model development.

The numerical random seed used for the original cohort allocation was not retained in the archived analysis records and could not be retrospectively verified. Bootstrap optimism correction and repeated k-fold internal validation were also not available. Therefore, the present analysis is described as a single hold-out internal validation rather than an optimism-corrected or repeated cross-validated performance assessment.

Machine-learning reproducibility

LASSO predictor selection used 10-fold cross-validation within the training cohort. Continuous predictors were standardized when required by the modeling algorithm, and categorical predictors were represented using predefined binary clinical categories. The validation cohort was not used for tuning or model selection.

The archived analysis materials did not retain the final tuning grids, selected hyperparameters, complete package versions, original random seed, or a confirmed class-imbalance procedure for XGBoost, LightGBM, SVM, and KNN. These settings were therefore not reconstructed or estimated. The machine-learning comparisons should consequently be interpreted as exploratory comparisons of algorithms rather than fully reproducible model-development experiments. Reproducibility information, both available and unavailable, should be summarized in Supplementary Table 1.

Bias Control & Sensitivity Analysis

Consecutive eligible patients were included to reduce selection bias. Standardized variable definitions and a structured data-extraction form were used to reduce information bias. Predictors were restricted to information available before the intended DCI prediction time point to reduce information leakage. Predictor selection, preprocessing, and model development were performed only in the training cohort.

Modified Fisher grade, Hunt-Hess grade, and WFNS grade represent related aspects of hemorrhage burden and neurological severity. Although all three variables were retained after LASSO selection, the numerical variance inflation factor values and the results from a sensitivity model excluding overlapping severity scales were not included in the archived analysis output. These analyses could not be reconstructed from the aggregate tables because patient-level correlations and fitted model outputs are required. Therefore, the individual coefficients of these severity measures were not interpreted as independent or causal effects. They were retained only as components of the prediction model selected in the training cohort.

Model Interpretability

Clinical applicability was believed to require model interpretability as a crucial element. In the most effective model, the effects of predictors were considered to assess the clinical plausibility and conformity with existing pathophysiological knowledge of delayed cerebral ischemia. This method enabled a clear assessment of model behavior and improved the potential for clinical translation.

Missing Data

Variable-level missingness was assessed during data preparation. However, the original pre-imputation missing counts and percentages for each candidate variable were not retained in the archived analysis records and could not be accurately reconstructed from the aggregate tables. Consequently, no assumption of complete data was made, and no unverified missingness percentages were reported.

A verified supplementary missing-data table should be generated directly from the original deidentified patient-level dataset. Supplementary Table 2 should report, for every candidate variable, the number and percentage of missing observations before data handling, the method used to address missingness, and the number of observations included in the final analysis. The inability to recover the original variable-specific missingness pattern was considered a limitation of the present report.

Statistical Analysis 

Predictor selection was performed in the training cohort using LASSO regression with 10-fold cross-validation. Discrimination was assessed using the area under the receiver operating characteristic curve with 95% confidence intervals. Calibration was described using calibration plots and point estimates of the calibration slope, calibration intercept, and Brier score. Bootstrap confidence intervals for calibration measures were not available.

Threshold-dependent classification measures were calculated from the available internal-validation confusion matrices. The exact numerical probability threshold used to generate the archived confusion matrices was not retained and could not be verified. Therefore, these measures were interpreted descriptively and were not used as the primary basis for model selection. Decision-curve analysis was also considered exploratory because the exact prespecified threshold range and patient-level net-benefit output were not retained. A two-sided P value below 0.05 was considered statistically significant.

Результаты

Сравнение исходных характеристик между обучающей и внутренней валидационной когортами

Всего было включено 680 пациентов с аСАК. Обучающая когорта состояла из 544 пациентов, у 175 из которых развился ОЦС, а когорта внутренней валидации включала 136 пациентов, у 42 из которых развился ОЦС. Частота возникновения ОЦС составила 32,2% в обучающей когорте и 30,9% в когорте внутренней валидации. Исходные характеристики представлены в Таблице 1. Поскольку в некоторых а...

Обсуждение

В данном исследовании была разработана и прошла внутреннюю валидацию прогностическая модель DCI после aSAH с использованием ранних клинических, лабораторных и визуализационных переменных. После отбора предикторов были сохранены шесть переменных: возраст, отек головного мозга, гипоальбуминемия, модифицированная шкала Фишера, шкала Ханта-Хесса и шкала Всемирной федерации нейрохирургов. Среди оцениваемых моделей логистическая регрессия продемонстрировала стабильную внутреннюю дискриминационную способность и приемлемую калиб...

Материалы

Список материалов, использованных в этой статье

Имя	Компания	Каталожный номер	Комментарии
Система электронных медицинских карт	Yulin First Hospital	Не применимо	Источник ретроспективных клинических данных; точная коммерческая платформа не сохранена в архивных записях.
IBM SPSS Statistics	IBM Corporation	Version 25.0	Описательный и инференциальный статистический анализ.
Реализация метода k-ближайших соседей	Пакет/источник не сохранены	Недоступно	Исследовательская модель машинного обучения; точный пакет и версия должны быть восстановлены из исходной среды кода.
LightGBM	Microsoft / open-source project	Версия недоступна	Исследовательская модель градиентного бустинга; точная версия пакета и гиперпараметры не были сохранены.
Статистическое программное обеспечение R	R Foundation for Statistical Computing	Version 4.3.2	Статистическое моделирование и внутренняя оценка эффективности.
Реализация метода опорных векторов	Пакет/источник не сохранены	Недоступно	Исследовательская модель машинного обучения; точный пакет, настройки ядра и версия не были сохранены.
XGBoost	Open-source project	Версия недоступна	Исследовательская модель градиентного бустинга; точная версия пакета и гиперпараметры не были сохранены.