Wewnętrzna walidacja modelu predykcji klinicznej opóźnionej niedokrwienności mózgu po tętniaczym krwotoku podpajęczynówkowym

Podsumowanie

W ramach tego retrospektywnego badania w jednym ośrodku opracowano i wewnętrznie zwalidowano model regresji logistycznej dla opóźnionej niedokrwienności mózgu po tętniaczym krwotoku podpawłkowym. U 680 pacjentów sześć wczesnych zmiennych klinicznych, laboratoryjnych i obrazowych wykazało wstępną wartość prognostyczną. Przed zastosowaniem klinicznym wymagana jest dalsza walidacja zewnętrzna.

Streszczenie

Opóźniona ischemia mózgu (DCI) jest istotną przyczyną wtórnych uszkodzeń neurologicznych po tętniakowym krwawieniu podpajęczynówkowym (aSAH). W tym retrospektywnym badaniu jednoośrodkowym opracowano i oceniono modele predykcyjne DCI, wykorzystując dane od 680 dorosłych pacjentów z aSAH leczonych między lipcem 2022 a grudniem 2024 roku. Pacjentów podzielono w stosunku 8:2, z uwzględnieniem rozkładu wyników, na kohortę treningową obejmującą 544 pacjentów oraz wewnętrzną kohortę walidacyjną składającą się ze 136 pacjentów. DCI wystąpiło u 175 pacjentów w kohorcie treningowej i u 42 pacjentów w kohorcie walidacyjnej. Wybór predyktorów w kohorcie treningowej przeprowadzono przy użyciu regresji LASSO (least absolute shrinkage and selection operator) z 10-krotną walidacją krzyżową. Zachowano sześć zmiennych: wiek, obrzęk mózgu, hipoalbuminemię, zmodyfikowaną skalę Fishera, skalę Hunt-Hess oraz skalę Światowej Federacji Chirurgów Neurologicznych (WFNS). Porównano modele regresji logistycznej, ekstremalnego wzmacniania gradientowego (XGBoost), lekkiej maszyny wzmacniania gradientowego (LightGBM), maszyn wektorów nośnych (SVM) oraz k-najbliższych sąsiadów (k-NN). Regresja logistyczna wykazała pole pod krzywą ROC wynoszące 0,832 (95% przedział ufności, 0,758–0,906) w wewnętrznej kohorcie walidacyjnej. Nachylenie kalibracji, punkt przecięcia kalibracji oraz wynik Briera wyniosły odpowiednio 0,98, 0,02 i 0,168, choć przedziały ufności dla tych szacunków kalibracji były niedostępne. Wyniki te reprezentują wstępną skuteczność w jednej wewnętrznej kohorcie walidacyjnej. Niekompletna dokumentacja odtwarzalności, brak punktu przecięcia modelu, brak korekty optymizmu opartej na ponownym próbkowaniu oraz brak walidacji zewnętrznej obecnie uniemożliwiają obliczenie prawdopodobieństwa na poziomie pacjenta i wdrożenie kliniczne.

Wprowadzenie

Zaproponowano kilka modeli prognostycznych dla DCI po aSAH, jednak wiele z nich było ograniczonych małą liczebnością próby, niepełną oceną kalibracji, niewystarczającym opisem procedur opracowywania modeli oraz brakiem zewnętrznej walidacji. Wiele badań skupiało się głównie na dyskryminacji, podczas gdy kalibracja, powtarzalność oraz ocena wpływu klinicznego były raportowane mniej spójnie. W związku z tym wydajność modelu powinna być oceniana przy użyciu przejrzystych metod i interpretowana z ostrożnością, gdy walidacja ogranicza się do jednego ośrodka.

Celem niniejszego badania było opracowanie i wewnętrzna ocena modeli predykcyjnych dla DCI z wykorzystaniem rutynowo dostępnych wczesnych zmiennych klinicznych, laboratoryjnych oraz obrazowych. Porównano pięć podejść modelowania, stosując ten sam zestaw wybranych predyktorów. Zamierzonym punktem czasowym predykcji był moment po wstępnym przyjęciu, badaniach laboratoryjnych i ocenie obrazowej, lecz przed głównym okresem ryzyka wystąpienia DCI. Modele zostały opracowane w celu szacowania ryzyka w ramach badań i nie były przeznaczone do diagnozowania DCI, zastępowania oceny klinicznej ani samodzielnego określania leczenia. Przed zastosowaniem klinicznym wymagana jest walidacja zewnętrzna, rekalibracja oraz badanie wpływu klinicznego.

Opóźniona ischemia mózgu (DCI) jest jednym z wtórnych uszkodzeń, które należą do najbardziej znaczących klinicznie i potencjalnie możliwych do zapobieżenia stanów występujących po aSAH. DCI to powikłanie, które pojawia się zazwyczaj kilka dni po udarze, typowo w ciągu 3–14 dni, i wiąże się z nowymi ogniskowymi deficytami neurologicznymi, pogorszeniem poziomu świadomości i/lub wystąpieniem zawału mózgu w późniejszych badaniach neuroobrazowych. Mimo pewnych różnic w praktyce diagnostycznej stosowanej w różnych placówkach, DCI zawsze wiąże się z długim pobytem na oddziale intensywnej terapii, dużym zużyciem zasobów i złym rokowaniem neurologicznym. Raportowana częstość występowania DCI wynosi zazwyczaj 30–40 procent, co podkreśla rozpowszechnienie tego stanu i jego istotne znaczenie prognostyczne^1,2,3,4,5,6. Warto zauważyć, że DCI nie jest procesem jednoszlakowym. Chociaż główna uwaga zawsze koncentrowała się na naczynioprzekurczu dużych naczyń mózgowych, narastające dowody wskazują również, że wczesne uszkodzenie mózgu, kortykalna depolaryzacja rozprzestrzeniająca się, neurostan zapalny, mikrotromboza, dysfunkcja śródbłonka, zaburzona autoregulacja oraz niewydolność mikrokrążenia przyczyniają się do ryzyka niedokrwiennego. Ta wieloczynnikowa patofizjologia pomaga wyjaśnić dlaczego leczenie ukierunkowane na naczynioprzekurcz może nie zapobiegać w pełni zawałom związanym z DCI oraz dlaczego pacjenci wysokiego ryzyka są trudni do zidentyfikowania w rutynowych warunkach klinicznych.

Stratyfikacja ryzyka wystąpienia DCI po aSAH jest priorytetem, ponieważ dzięki szybkiemu zidentyfikowaniu pacjentów wysokiego ryzyka możliwe może być ściślejsze monitorowanie ich stanu oraz bezzwłoczne wdrożenie działań zapobiegawczych lub ratunkowych⁷. Plany monitorowania w praktyce klinicznej mogą obejmować częstsze badania neurologiczne, przezczaszkową dopplerografię ultrasonograficzną, zaawansowane techniki obrazowania, takie jak perfuzyjna tomografia komputerowa, optymalizację hemodynamiczną i objętości wewnątrznaczyniową, ścisłe przestrzeganie terapii nimodypiną oraz wczesne rozpoznawanie pogorszenia stanu neurologicznego, takiego jak wodogłowie, ponowne krwawienie, napady drgawek, infekcja lub zaburzenia metaboliczne. Niemniej jednak na decyzje kliniczne częściej wpływają ogólne skale ciężkości stanu pacjenta oraz doświadczenie lekarzy niż spersonalizowane szacunki prawdopodobieństwa DCI oparte na danych^8,9,10. Jedną z przyczyn jest fakt, że literatura wskazuje na heterogeniczność czynników ryzyka, a wzajemne oddziaływanie między czynnikami pacjenta, rozległością krwawienia, zaburzeniami fizjologicznymi a neurologicznymi skalami oceny może mieć charakter nieliniowy i złożony. Wcześniejsi badacze analizowali potencjalne predyktory DCI, w tym wiek, nadciśnienie tętnicze, wyjściowy stan neurologiczny, charakterystykę tętniaka, wskaźniki laboratoryjne (takie jak poziom sodu i albuminy w surowicy), cechy obrazowe wskazujące na objętość krwawienia oraz czynniki okołoperacyjne lub związane z leczeniem. Konwencjonalne techniki regresji okazały się pomocne, lecz mogą być ograniczone w przypadkach, gdy predyktory są skorelowane, gdy zależność między predyktorami a ryzykiem jest nieliniowa lub gdy występują interakcje między zmiennymi¹¹. Jednocześnie zaproponowano wiele narzędzi (najczęściej nomogramów) do oceny ryzyka DCI. Mimo że nomogramy są praktyczne i atrakcyjne wizualnie, większość z nich opiera się na małych próbach, obejmuje niewiele zmiennych i może być nadmiernie dopasowana lub słabo zwalidowana. Dodatkowo modele opracowane i przetestowane w jednym ośrodku mogą nie być łatwo możliwe do przeniesienia do innych placówek ze względu na różnice w populacji pacjentów, interpretacji obrazów, leczeniu oraz progach diagnostycznych DCI.

Metody uczenia maszynowego mogą uzupełniać tradycyjne kliniczne modele predykcyjne, ponieważ pozwalają na eksplorację większej liczby wymiarów danych klinicznych i obserwację bardziej złożonych trendów bez konieczności przyjmowania sztywnych założeń liniowych. Modele predykcyjne oparte na ML znajdują w ostatnich latach coraz szersze zastosowanie w dziedzinie chorób naczyniowo-mózgowych, w tym w przewidywaniu wyników i powikłań, a także w systemach wspomagania decyzji^12,13,14. Powszechnie stosowane algorytmy uczenia maszynowego obejmują metody drzewiaste typu ensemble, takie jak Extreme Gradient Boosting (XGBoost) i Light Gradient Boosting Machine (LightGBM), klasyfikatory oparte na jądrach, takie jak maszyny wektorów nośnych (SVMs), oraz klasyfikatory oparte na odległości, takie jak k-najbliższych sąsiadów (KNN). Modele te są w zasadzie zdolne do modelowania nieliniowości i interakcji w stopniu większym niż podejścia tradycyjne¹⁵. Istnieją jednak również praktyczne obawy związane z modelami ML, takie jak ryzyko przeuczenia (overfitting), ograniczona interpretowalność oraz konieczność przeprowadzenia preprocessingu, strojenia, kalibracji, ewaluacji i walidacji. Warto zauważyć, że w szerokim zakresie scenariuszy klinicznych dobrze określona regresja logistyczna może działać równie dobrze, a nawet skuteczniej niż bardziej złożone algorytmy, zwłaszcza gdy liczba predyktorów jest mała, a stosunek sygnału do szumu jest umiarkowany. Zatem niezbędna jest analiza porównawcza różnych algorytmów z wykorzystaniem podobnych predyktorów i metryk ewaluacyjnych, aby zidentyfikować model, który koreluje z wydajnością i przydatnością kliniczną^16,17,18.

Wcześniej zaproponowano kilka modeli predykcyjnych dla opóźnionej niedokrwienności mózgu; wiele z nich obarczonych jest jednak istotnymi ograniczeniami, takimi jak mała liczebność prób, ograniczona ocena kalibracji, brak bezpośredniego porównania algorytmów oraz niewystarczająca walidacja. Ponadto w poprzednich badaniach często kładziono nacisk na dyskryminację, niedoszacowując metryk kalibracji i użyteczności klinicznej, które są niezbędne do zastosowania w praktyce. Niniejsze badanie wypełnia te luki poprzez opracowanie modelu predykcyjnego w stosunkowo dużej kohorcie, wdrożenie systematycznego doboru predyktorów przy użyciu regresji LASSO (least absolute shrinkage and selection operator), porównanie wielu algorytmów uczenia maszynowego w ramach ujednoliconego schematu modelowania oraz kompleksową ocenę dyskryminacji, kalibracji i wydajności analizy decyzji.

Zaproponowano kilka modeli predykcyjnych dla DCI po aSAH, jednak wiele z nich posiada istotne ograniczenia, w tym małe kohorty, ograniczoną ocenę kalibracji, niepełne raportowanie procesu opracowania modelu oraz brak walidacji zewnętrznej lub temporalnej. Ponadto wiele badań raportuje jedynie dyskryminację, podczas gdy kalibracja i analiza krzywej decyzyjnej są przedstawiane mniej konsekwentnie. Niniejsze badanie nie rozwiązuje problemu walidacji zewnętrznej. Zamiast tego stanowi badanie z opracowaniem i walidacją wewnętrzną w jednym ośrodku, wykorzystujące rutynowo dostępne zmienne kliniczne, laboratoryjne i obrazowe. Przeznaczony przypadek użycia to wczesna stratyfikacja ryzyka po przyjęciu i początkowym leczeniu tętniaka, przed głównym oknem ryzyka DCI. Model może pomóc klinicystom w zidentyfikowaniu pacjentów wymagających ściślejszego monitorowania neurologicznego, nadzoru obrazowego naczyń, korekcji nieprawidłowości fizjologicznych oraz wczesnej konsultacji z zespołem neurointensywnej terapii. Nie jest on przeznaczony do zastąpienia oceny klinicznej, diagnozowania DCI ani prowadzenia leczenia bez walidacji zewnętrznej i testów wpływu klinicznego. Wcześniejsze badania zaproponowały kilka modeli do przewidywania DCI po aSAH, ale wiele z nich było ograniczonych przez małą wielkość próby, niepełne raportowanie kalibracji, ograniczone porównania między metodami modelowania lub brak walidacji zewnętrznej. Niniejsze badanie nie pretenduje do dostarczenia klinicznie zwalidowanego narzędzia decyzyjnego. Zamiast tego ma na celu opracowanie i wewnętrzną walidację modelu predykcyjnego z wykorzystaniem rutynowo dostępnych wczesnych zmiennych klinicznych, laboratoryjnych i obrazowych z kohorty jednego ośrodka. Przeznaczony przypadek użycia to wczesna stratyfikacja ryzyka po przyjęciu i początkowym leczeniu tętniaka, przed głównym okresem ryzyka DCI. W tym ujęciu wysokie przewidywane ryzyko wspierałoby ściślejszą ocenę neurologiczną, monitorowanie naczyniowe, korekcję nieprawidłowości fizjologicznych oraz wczesną konsultację z oddziałem neurointensywnej terapii. Model nie jest przeznaczony do diagnozowania DCI ani do zastąpienia oceny klinicysty.

Protokół

The study was approved by the Institutional Ethics Committee of Yulin First Hospital, Shaanxi Province, China. Because this was a retrospective analysis of routinely collected hospital data, and because all data were anonymized before analysis, the requirement for written informed consent was waived. The study was conducted in accordance with institutional data-protection requirements and the principles of the Declaration of Helsinki.

Data and Methods
Study Population and Design

This was a retrospective single-center cohort study conducted at Yulin First Hospital, Shaanxi Province, China. The hospital records of patients admitted with aSAH between July 2022 and December 2024 were screened. Eligible patients were adults aged 18 years or older with a diagnosis of aSAH confirmed by cranial and intracranial vascular imaging. Patients were required to have been admitted within 72 h after symptom onset and to have undergone aneurysm treatment during the index hospitalization.

Patients were excluded if they had traumatic subarachnoid hemorrhage, non-aneurysmal subarachnoid hemorrhage, severe pre-existing hematological disease, other major intracranial disease affecting outcome assessment, insufficient records for DCI evaluation, or in-hospital death before an adequate DCI assessment period. Excluding early in-hospital deaths may introduce survivorship bias because the most severe cases may be removed from analysis. Therefore, the findings should be interpreted as applying mainly to patients who survived long enough for DCI evaluation.

Data Collection 

Clinical, laboratory, imaging, and treatment-related variables were extracted from the electronic medical record using a predefined data-extraction form. The extracted variables included demographic factors, medical history, aneurysm features, early neurological grade, early imaging findings, laboratory results, treatment approach, and hospital complications. The intended prediction time point was after completion of the initial admission and perioperative assessment, but before the main DCI risk window.

Age, sex, body mass index, smoking status, alcohol use, hypertension, diabetes, aneurysm size, aneurysm location, modified Fisher grade, Hunt-Hess grade, World Federation of Neurological Surgeons grade, intraventricular hemorrhage, and rebleeding were taken from admission records and initial imaging. Laboratory variables, including hemoglobin, serum albumin, and serum sodium, were obtained from the earliest available blood test prior to the prediction time point. Cerebral edema was assessed using baseline or immediate post-treatment imaging available before DCI diagnosis. Variables recorded only after DCI onset were not used for model development to reduce information leakage.

Anemia was defined as hemoglobin <110 g/L in female patients and <120 g/L in male patients. Hypoalbuminemia was defined as serum albumin <35 g/L. Hyponatremia was defined as serum sodium <130 mmol/L.

Patients were managed according to the institutional aSAH care pathway. Standard management included early aneurysm securing, neurological observation, blood pressure control, fluid and electrolyte management, and surveillance for complications including hydrocephalus, rebleeding, seizure, infection, vasospasm, and DCI. Nimodipine was used unless contraindicated. Vasospasm monitoring was performed using neurological examination, vascular imaging, and transcranial Doppler ultrasonography when clinically indicated. Hydrocephalus was managed with cerebrospinal fluid diversion when required. Hemodynamic optimization and rescue therapy were applied according to the treating team’s assessment. Because treatment intensity and rescue-therapy details were not completely captured in the retrospective dataset, these factors could not be fully adjusted in the model and were considered a limitation.

Diagnosis of DCI 

DCI was defined as a new focal neurological impairment, a decrease in level of consciousness, or a new cerebral infarction on follow-up computed tomography or magnetic resonance imaging occurring during the expected DCI risk window and not explained by another cause. The DCI risk window was defined as days 3–14 after the hemorrhage ictus. Alternative explanations, including rebleeding, hydrocephalus, seizure, infection, metabolic disturbance, sedative effect, and procedure-related infarction, were reviewed before classifying an event as DCI.

Outcome adjudication was performed by two clinicians with experience in the management of aSAH, including one neurosurgeon and one neurologist/neurocritical care physician. The adjudicators reviewed clinical notes, neurological examinations, imaging reports, and follow-up imaging. They were blinded to the final model output during outcome assessment. Disagreements were resolved through consensus discussion with review of the relevant imaging and clinical timeline. Formal inter-rater agreement was not measured, and this limitation was added because DCI classification may involve clinical judgment.

Sample Size Calculation 

The sample size was estimated using the 10-events-per-variable (EPV) rule of thumb¹¹. With 20 candidate predictor variables and an expected DCI incidence of approximately 35%, a minimum sample size of 20 × 10 / 0.35 ≈ 572 patients was required. Our final cohort of 680 patients exceeded this requirement. Although the events-per-variable (EPV) rule was applied as a general guideline, modern predictive modeling, particularly machine learning algorithms, may require more flexible sample-size considerations. The final cohort size was considered adequate to ensure model stability, minimize the risk of overfitting, and enable reliable estimation of model performance metrics.

Model development and validation 

Patients were allocated to a training cohort of 544 patients and a hold-out internal validation cohort of 136 patients using an outcome-stratified 8:2 split. Outcome stratification was used to maintain a similar proportion of DCI events in the two cohorts. DCI occurred in 175 of 544 patients in the training cohort and 42 of 136 patients in the internal-validation cohort. The 8:2 hold-out design was retained because it was the prespecified model-development strategy and provided a separate cohort for preliminary internal performance assessment.

Predictor selection was performed only in the training cohort using least absolute shrinkage and selection operator regression with 10-fold cross-validation. The selected penalty parameter was λ = 0.031. Six predictors were retained: age, cerebral edema, hypoalbuminemia, modified Fisher grade, Hunt-Hess grade, and World Federation of Neurological Surgeons grade.

Logistic regression, extreme gradient boosting, light gradient boosting machine, support vector machine, and k-nearest neighbor models were developed using the same set of selected predictors. All preprocessing, predictor selection, and model-development procedures were restricted to the training cohort. The internal-validation cohort was not used during predictor selection or model tuning and was evaluated only after model development.

The numerical random seed used for the original cohort allocation was not retained in the archived analysis records and could not be retrospectively verified. Bootstrap optimism correction and repeated k-fold internal validation were also not available. Therefore, the present analysis is described as a single hold-out internal validation rather than an optimism-corrected or repeated cross-validated performance assessment.

Machine-learning reproducibility

LASSO predictor selection used 10-fold cross-validation within the training cohort. Continuous predictors were standardized when required by the modeling algorithm, and categorical predictors were represented using predefined binary clinical categories. The validation cohort was not used for tuning or model selection.

The archived analysis materials did not retain the final tuning grids, selected hyperparameters, complete package versions, original random seed, or a confirmed class-imbalance procedure for XGBoost, LightGBM, SVM, and KNN. These settings were therefore not reconstructed or estimated. The machine-learning comparisons should consequently be interpreted as exploratory comparisons of algorithms rather than fully reproducible model-development experiments. Reproducibility information, both available and unavailable, should be summarized in Supplementary Table 1.

Bias Control & Sensitivity Analysis

Consecutive eligible patients were included to reduce selection bias. Standardized variable definitions and a structured data-extraction form were used to reduce information bias. Predictors were restricted to information available before the intended DCI prediction time point to reduce information leakage. Predictor selection, preprocessing, and model development were performed only in the training cohort.

Modified Fisher grade, Hunt-Hess grade, and WFNS grade represent related aspects of hemorrhage burden and neurological severity. Although all three variables were retained after LASSO selection, the numerical variance inflation factor values and the results from a sensitivity model excluding overlapping severity scales were not included in the archived analysis output. These analyses could not be reconstructed from the aggregate tables because patient-level correlations and fitted model outputs are required. Therefore, the individual coefficients of these severity measures were not interpreted as independent or causal effects. They were retained only as components of the prediction model selected in the training cohort.

Model Interpretability

Clinical applicability was believed to require model interpretability as a crucial element. In the most effective model, the effects of predictors were considered to assess the clinical plausibility and conformity with existing pathophysiological knowledge of delayed cerebral ischemia. This method enabled a clear assessment of model behavior and improved the potential for clinical translation.

Missing Data

Variable-level missingness was assessed during data preparation. However, the original pre-imputation missing counts and percentages for each candidate variable were not retained in the archived analysis records and could not be accurately reconstructed from the aggregate tables. Consequently, no assumption of complete data was made, and no unverified missingness percentages were reported.

A verified supplementary missing-data table should be generated directly from the original deidentified patient-level dataset. Supplementary Table 2 should report, for every candidate variable, the number and percentage of missing observations before data handling, the method used to address missingness, and the number of observations included in the final analysis. The inability to recover the original variable-specific missingness pattern was considered a limitation of the present report.

Statistical Analysis 

Predictor selection was performed in the training cohort using LASSO regression with 10-fold cross-validation. Discrimination was assessed using the area under the receiver operating characteristic curve with 95% confidence intervals. Calibration was described using calibration plots and point estimates of the calibration slope, calibration intercept, and Brier score. Bootstrap confidence intervals for calibration measures were not available.

Threshold-dependent classification measures were calculated from the available internal-validation confusion matrices. The exact numerical probability threshold used to generate the archived confusion matrices was not retained and could not be verified. Therefore, these measures were interpreted descriptively and were not used as the primary basis for model selection. Decision-curve analysis was also considered exploratory because the exact prespecified threshold range and patient-level net-benefit output were not retained. A two-sided P value below 0.05 was considered statistically significant.

Wyniki

Porównanie charakterystyk wyjściowych między kohortą treningową a kohortą wewnętrznej walidacji

Do badania włączono łącznie 680 pacjentów z aSAH. Kohorta treningowa obejmowała 544 pacjentów, z których u 175 rozwinął się DCI, natomiast kohorta wewnętrznej walidacji obejmowała 136 pacjentów, z których u 42 rozwinął się DCI. Częstość występowania DCI wyniosła 32,2% w kohorcie treningowej i 30,9% w kohorcie wewnętrznej walidacji. Charakterystyka wyjściowa została przedstawiona w <...

Dyskusja

W niniejszym badaniu opracowano i poddano wewnętrznej walidacji model predykcyjny DCI po aSAH, wykorzystujący wczesne zmienne kliniczne, laboratoryjne i obrazowe. Po selekcji predyktorów zachowano sześć zmiennych: wiek, obrzęk mózgu, hipoalbuminemię, zmodyfikowaną skalę Fishera, skalę Hunt-Hess oraz skalę World Federation of Neurological Surgeons. Wśród ocenianych modeli regresja logistyczna wykazała stabilną dyskryminację wewnętrzną i akceptowalną kalibrację. Ponieważ kohorta walidacyjna została pobrana z tego samego oś...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Elektroniczny system dokumentacji medycznej	Yulin First Hospital	Nie dotyczy	Źródło retrospekcyjnych danych klinicznych; dokładna platforma komercyjna nie została zachowana w zarchiwizowanych rekordach.
IBM SPSS Statistics	IBM Corporation	Version 25.0	Opisowa i indukcyjna analiza statystyczna.
Implementacja k-najbliższych sąsiadów	Pakiet/źródło nie zachowane	Niedostępne	Eksploracyjny model uczenia maszynowego; dokładny pakiet i wersja muszą zostać odzyskane z oryginalnego środowiska kodu.
LightGBM	Microsoft / open-source project	Wersja niedostępna	Eksploracyjny model gradient boostingu; dokładna wersja pakietu i hiperparametry nie zostały zachowane.
Oprogramowanie statystyczne R	R Foundation for Statistical Computing	Version 4.3.2	Modelowanie statystyczne i wewnętrzna ocena wydajności.
Implementacja maszyny wektorów nośnych	Pakiet/źródło nie zachowane	Niedostępne	Eksploracyjny model uczenia maszynowego; dokładny pakiet, ustawienia jądra i wersja nie zostały zachowane.
XGBoost	Open-source project	Wersja niedostępna	Eksploracyjny model gradient boostingu; dokładna wersja pakietu i hiperparametry nie zostały zachowane.