W niniejszej pracy opisujemy interpretowalny proces uczenia maszynowego dla trzech specyficznych zadań w przebiegu ostrego zapalenia dróg żółciowych: przewidywania sepsy na oddziale ogólnym, przewidywania śmiertelności wewnątrzszpitalnej na oddziale ogólnym oraz przewidywania 28-dniowej śmiertelności na oddziale intensywnej terapii (ICU). Proces ten integruje selekcję cech, porównanie modeli, interpretację SHAP, analizy regresji oraz konstrukcję nomogramu.
Artykuł badawczy
Model uczenia maszynowego do analizy czynników ryzyka oraz model przewidywania śmiertelności w ostrym zapaleniu dróg żółciowych powikłanym sepsą
* These authors contributed equally
W tym artykule
Podsumowanie
Streszczenie
W niniejszym badaniu przeanalizowano czynniki związane z sepsą w przebiegu ostrego zapalenia dróg żółciowych oraz opracowano modele specyficzne dla wyników w zakresie sepsy i śmiertelności. Przeprowadzono retrospektywną analizę danych od 1999 pacjentów z dwóch ośrodków, w tym 1561 przyjętych na oddziały ogólne oraz 438 na oddział intensywnej terapii (ICU). Dla każdego zadania predykcyjnego dane podzielono na kohorty treningowe i wewnętrznej walidacji w stosunku 7:3. Opracowano i porównano modele regresji logistycznej (LR), lasów losowych (RF), maszyn wektorów nośnych (SVM) oraz ekstremalnego wzmacniania gradientowego (XGBoost), a do ich interpretacji wykorzystano wartości Shapley Additive Explanations (SHAP). Sepsa wystąpiła u 544 pacjentów na oddziałach ogólnych (34,85%) i 299 pacjentów na ICU (68,3%). Model LR osiągnął najwyższą wartość AUC w wewnętrznej walidacji dla predykcji sepsy u pacjentów na oddziałach ogólnych (0,826; AUC treningowe, 0,893). Sepsa wiązała się z gorszym przeżyciem wewnątrzszpitalnym w kohorcie oddziałów ogólnych oraz gorszym przeżyciem 28-dniowym w kohorcie ICU. Nomogram 28-dniowej śmiertelności na ICU uwzględniał Acute Physiology Score III (APS III), hemoglobinę (Hb), alaninaminotransferazę (ALT), mleczany (Lac), bilirubinę całkowitą (TBil), albuminy, status sepsy oraz uszkodzenie nerek, osiągając wartość AUC równą 0,840. Nomogram śmiertelności wewnątrzszpitalnej dla oddziałów ogólnych uwzględniał albuminy, uszkodzenie nerek, status sepsy, azot moczowy (BUN), TBil oraz asparaginianaminotransferazę (AST), osiągając AUC na poziomie 0,904. Modele poddane wewnętrznej walidacji wykazały wstępną zdolność dyskryminacyjną w zakresie specyficznej dla wyników stratyfikacji ryzyka. Przed wdrożeniem klinicznym wymagana jest prospektywna, wieloośrodkowa walidacja zewnętrzna.
Wprowadzenie
Ostre zapalenie dróg żółciowych to potencjalnie zagrażająca życiu infekcja dróg żółciowych spowodowana niedrożnością dróg żółciowych i proliferacją bakterii1. Po raz pierwszy opisane przez Charcota w 1877 roku jako „gorączka wątrobowa”, jego klasyczny obraz kliniczny to triada Charcota: gorączka, ból brzucha w prawym górnym kwadrancie oraz żółtaczka. Ciężki przebieg choroby może manifestować się jako pentada Reynoldsa, do której dochodzą hipotensja i zaburzenia stanu psychicznego2. Częstymi przyczynami są kamica przewodowa, zwężenia dróg żółciowych, guzy dróg żółciowych oraz niedrożność pasożytnicza; kamica przewodowa odpowiada za około połowę przypadków1. Niedrożność dróg żółciowych powoduje zastój żółci i zwiększenie ciśnienia wewnątrzprzewodowego, co może upośledzić barierę nabłonkową dróg żółciowych, promować translokację bakterii i wywołać stan zapalny3. Ogólna śmiertelność waha się od około 2,7% do 10%, ale w ciężkich przypadkach może osiągnąć 50%4. W ciężkim ostrym zapaleniu dróg żółciowych bakterie i endotoksyny mogą przedostać się do krwiobiegu, wywołując zapalenie układowe i sepsę.
Sepsę charakteryzuje zagrażająca życiu dysfunkcja narządów spowodowana rozregulowaną odpowiedzią gospodarza na zakażenie, która może prowadzić do wielonarządowej niewydolności5. Szacuje się, że na świecie każdego roku występuje 48,9 miliona przypadków sepsy, a zgony z nią związane stanowią około 19,7% wszystkich zgonów6. Mimo postępów w medycynie ratunkowej i intensywnej terapii, śmiertelność w przebiegu sepsy pozostaje wysoka7. Wytyczne Tokijskie 2018 (TG18) są powszechnie stosowane do diagnozowania i oceny stopnia ciężkości ostrego zapalenia dróg żółciowych2. Jednakże identyfikacja współistniejącej sepsy i przewidywanie niekorzystnych wyników pozostają wyzwaniem14. Z tego powodu ulepszone podejścia do stratyfikacji ryzyka mogą pomóc w zidentyfikowaniu pacjentów wymagających dokładniejszej oceny.
Wcześniejsze badania zidentyfikowały wskaźniki hematologiczne oraz mierniki funkcji wątroby i nerek jako potencjalne markery ciężkości i rokowania w ostrym zapaleniu dróg żółciowych8. Skala SOFA (Sequential Organ Failure Assessment) jest powszechnie stosowana do ilościowej oceny niewydolności narządowej i posiada wartość prognostyczną w sepsie9. APS III (Acute Physiology Score III), będący komponentem fizjologicznym skali APACHE III, podsumowuje zaburzenia fizjologiczne i przyczynia się do oceny ryzyka zgonu u pacjentów na oddziałach intensywnej terapii10. Choroby współistniejące, takie jak choroby układu sercowo-naczyniowego, cukrzyca i przewlekłe choroby wątroby, mogą dodatkowo zwiększać ryzyko wystąpienia niekorzystnych wyników11. Niemniej jednak dowody dotyczące specyficznych modeli prognostycznych dla sepsy i śmiertelności w ostrym zapaleniu dróg żółciowych pozostają ograniczone.
Uczenie maszynowe jest coraz częściej stosowane w analizie ustrukturyzowanych danych klinicznych w celu identyfikacji złożonych wzorców i wsparcia szacowania ryzyka12,13. W związku z tym opracowaliśmy i wewnętrznie zwalidowaliśmy interpretowalne modele uczenia maszynowego dla trzech odrębnych zadań: przewidywania sepsy na oddziałach ogólnych, przewidywania śmiertelności wewnątrzszpitalnej na oddziałach ogólnych oraz przewidywania 28-dniowej śmiertelności na oddziale intensywnej terapii (ICU). Porównaliśmy modele LR, RF, SVM i XGBoost, a do ilościowego określenia istotności cech i wyjaśnienia poszczególnych predykcji wykorzystaliśmy metodę SHAP. Celem było ocenienie wydajności predykcyjnej specyficznej dla danego wyniku oraz interpretowalności modelu, a nie stworzenie systemu wsparcia decyzji klinicznych. Przed rozważeniem możliwości rutynowego zastosowania tych modeli w praktyce klinicznej wymagana jest prospektywna wieloośrodkowa walidacja zewnętrzna.
Protokół
Badanie to zostało przeprowadzone zgodnie z zasadami Deklaracji Helsińskiej. Zgoda została udzielona przez Komisję Etyczną Szpitala Ludowego Powiatu Binhai (numer zgody 2024-BHKYLL-055).
Metodyka
Pacjenci
W sposób retrospektywny włączono do badania 1 999 dorosłych pacjentów z diagnozą ostrego zapalenia dróg żółciowych w dwóch ośrodkach w okresie od stycznia 2020 do sierpnia 2024 roku: Binhai County People's Hospital oraz Huai'an Second People's Hospital. Spośród tych pacjentów 1 561 leczono na oddziałach ogólnych, a 438 przyjęto na OIOM. Protokół badania został zatwierdzony przez Komisję Etyczną Binhai County People's Hospital (numer zatwierdzenia 2024-BHKYLL-055). Od każdego uczestnika lub jego ustawowego przedstawiciela uzyskano pisemną zgodę na udział w badaniu.
Kryteria kwalifikacji pacjentów obejmowały: (1) potwierdzoną przez lekarza diagnozę ostrego zapalenia dróg żółciowych, (2) wiek 18 lat lub więcej oraz (3) pełną dokumentację medyczną i dane z obserwacji dotyczące odpowiedniego punktu końcowego.
Pacjentów wykluczono, jeśli (1) wystąpił u nich jednoczesny nowotwór złośliwy, który mógłby znacząco wpłynąć na przeżywalność, (2) nie byli w stanie wyrazić świadomej zgody lub (3) zostali utraceni z obserwacji.
Gromadzenie danych klinicznych i obserwacja
Charakterystyka kliniczna oraz dane laboratoryjne zostały retrospektywnie pobrane z dokumentacji medycznej Binhai County People's Hospital oraz Huai'an Second People's Hospital. Zmienne demograficzne i wywiad medyczny obejmowały płeć, wiek, choroby układu sercowo-naczyniowego, cukrzycę, zapalenie wątroby, marskość wątroby, hiperlipidemię oraz udar. Pierwsze dostępne pomiary laboratoryjne po przyjęciu na oddział ogólny lub OIT obejmowały liczbę białych krwinek (WBC), liczbę płytek krwi (PLT), hemoglobinę (Hb), albuminy, sód, potas, chlorek, mleczany (Lac), bilirubinę całkowitą (TBil), aminotransferazę alaninową (ALT), aminotransferazę asparaganianową (AST), kreatyninę (CR) oraz azot krwi mocznika (BUN). Odnotowane interwencje obejmowały umieszczenie stentów żółciowych, endoskopową retrograde cholangiopankreatografię (ERCP) oraz drenaż przezskórny. Miary ciężkości choroby obejmowały skalę SOFA, APS III oraz konieczność wentylacji mechanicznej. Próbki krwi przetwarzano zgodnie ze zstandardyzowanymi zautomatyzowanymi procedurami laboratoryjnymi. Pacjenci wypisani do domu byli monitorowani podczas wizyt w poradniach lub za pomocą kontaktu telefonicznego, gdy wymagano obserwacji. Status sepsy oceniano w trakcie hospitalizacji zgodnie z kryteriami Sepsis-3; grupa sepsy obejmowała zatem pacjentów z sepsą w momencie przyjęcia oraz tych, u których sepsa rozwinęła się później. Ponieważ dokładny czas wystąpienia sepsy był niedostępny, a czas pobytu w szpitalu został zachowany w końcowym modelu sepsy na oddziale ogólnym, dla tego modelu nie można było ustanowić jednolitego prospektywnego punktu odniesienia dla predykcji w czasie przyjęcia. Należy go zatem interpretować jako retrospektywny model stratyfikacji ryzyka wewnątrzszpitalnego.
Wynik
W badaniu oceniono trzy powiązane, lecz odrębne zadania prognostyczne. Głównym punktem końcowym był stan sepsy podczas hospitalizacji u pacjentów z ostrym zapaleniem dróg żółciowych przebywających na oddziałach ogólnych, określony zgodnie z kryteriami Sepsis-3. Wtórnymi punktami końcowymi były śmiertelność wewnątrzszpitalna z dowolnej przyczyny w kohorcie pacjentów z oddziałów ogólnych, zdefiniowana jako zgon przed wypisem, oraz 28-dniowa śmiertelność z dowolnej przyczyny w kohorcie pacjentów z OIT, zdefiniowana jako zgon w ciągu 28 dni od przyjęcia na OIT.
Analiza statystyczna
Rozkład każdej zmiennej ciągłej oceniono za pomocą testu Shapiro-Wilka. Zmienne o rozkładzie normalnym przedstawiono jako średnią ± odchylenie standardowe i porównano za pomocą t-testu Studenta dla prób niezależnych; w przypadku niespełnienia założenia o jednorodności wariancji zastosowano t-test Welcha. Zmienne o rozkładzie nienormalnym przedstawiono jako medianę i rozstęp międzykwartylny (IQR) i porównano za pomocą testu suma rang Wilcoxona. Zmienne kategoryczne przedstawiono jako liczebność i procenty, a następnie porównano za pomocą testu chi-kwadrat lub dokładnego testu Fishera, w zależności od potrzeb. Wszystkie testy były dwustronne, a wartość P < 0.05 uznano za istotną statystycznie.
Pacjentów podzielono na grupy w zależności od obecności lub braku sepsy. W kohorcie pacjentów z oddziałów ogólnych zastosowano wieloczynnikową regresję logistyczną w celu zidentyfikowania czynników związanych z sepsą; wyniki przedstawiono jako ilorazy szans (ORs) wraz z 95% przedziałami ufności (CIs). Do porównania przeżywalności szpitalnej w kohorcie oddziałów ogólnych oraz przeżywalności 28-dniowej w kohorcie OIT pomiędzy pacjentami z sepsą i bez sepsy wykorzystano krzywe Kaplana-Meiera oraz testy log-rank. Dla obu kohort oddzielnie dopasowano modele proporcjonalnych hazardów Coxa, a wyniki przedstawiono jako ilorazy hazardu (HRs) wraz z 95% CIs.
Zbudowano cztery modele Coxa z progresywną korektą. Model 1 nie był korygowany. Model 2 został skorygowany o wiek i płeć. Model 3 został dodatkowo skorygowany o nadciśnienie tętnicze, cukrzycę, niewydolność serca, udar oraz uszkodzenie nerek. W kohorcie oddziałowej Model 4 został dalej skorygowany o WBC, Hb, PLT, albuminę, CR, BUN, AST, ALT, sód, potas, chlorek i Lac. W kohorcie OIT Model 4 uwzględniał dodatkowo APS III oraz SOFA, ponieważ skale ciężkości stanu pacjenta te były dostępne wyłącznie dla pacjentów przebywających na OIT.
Dla każdego zadania predykcyjnego użyto stałego ziarna losowości (random seed) wynoszącego 500, aby podzielić odpowiadający mu kompletny zbiór danych na kohorty treningową i wewnętrznej walidacji w stosunku 7:3. Wszystkie procedury wyboru cech przeprowadzono wyłącznie w kohorcie treningowej; kohorta wewnętrznej walidacji nie była wykorzystywana do wyboru predyktorów. W ramach kohorty treningowej, w celu zidentyfikowania potencjalnych predyktorów, zastosowano regresję LASSO z 10-krotną walidacją krzyżową oraz algorytm Boruta. W przypadku LASSO zachowano predyktory o niezerowych współczynnikach przy lambda.min. Algorytm Boruta był uruchamiany niezależnie do 5 000 iteracji. Wynikowe potencjalne predyktory były konsekwentnie wykorzystywane do opracowania czterech modeli dla każdego zadania: LR, RF, SVM oraz XGBoost. Binarne zmienne kliniczne zakodowano jako 0 lub 1. Przed dopasowaniem modeli LR, RF lub XGBoost nie zastosowano ręcznej normalizacji ani transformacji. Skalowanie dla LASSO i SVM odbyło się zgodnie z domyślnymi ustawieniami ich odpowiednich implementacji programowych, a parametry preprocessingu wyznaczone na podstawie kohorty treningowej zostały zastosowane bez zmian do kohorty wewnętrznej walidacji. Nie stosowano nadpróbkowania (oversampling), podpróbkowania (undersampling), techniki syntetycznego nadpróbkowania mniejszości (SMOTE) ani ręcznie określonej wagowania klas. Model o najlepszych wynikach zdefiniowano jako model z najwyższą ogólną wydajnością w wewnętrznej walidacji spośród czterech z góry określonych implementacji, a nie jako w pełni zoptymalizowaną wersję każdego algorytmu. Dopasowane modele kohorty treningowej zostały następnie ocenione w kohorcie wewnętrznej walidacji. Kompletny schemat postępowania przedstawiono na Supplementary Figure 1, a szczegóły implementacji podano w Supplementary Table 1.
Wydajność modelu oceniono za pomocą pola pod krzywą charakterystyki operacyjnej odbiornika (AUC), czułości, swoistości, pełności (recall), wyniku F1 oraz dokładności. AUC podsumowuje zdolność dyskryminacyjną dla wszystkich możliwych progów klasyfikacji, gdzie 0,5 oznacza brak dyskryminacji, a 1,0 dyskryminację idealną. Przy wybranym progu wyniki prawdziwie dodatnie (TP) i prawdziwie ujemne (TN) stanowiły prawidłowo sklasyfikowane przypadki dodatnie i ujemne, natomiast wyniki fałszywie dodatnie (FP) i fałszywie ujemne (FN) stanowiły przypadki sklasyfikowane błędnie. Czułość, równoważna pełności w klasyfikacji binarnej, została obliczona jako TP/(TP + FN); swoistość jako TN/(TN + FP); precyzja jako TP/(TP + FP); wynik F1 jako 2 × precyzja × pełność/(precyzja + pełność); a dokładność jako (TP + TN)/(TP + TN + FP + FN). Klasami dodatnimi były: sepsa (kodowana jako 1) dla modelu predykcji sepsy na oddziale ogólnym, zgon w szpitalu (kodowany jako 1) dla modelu śmiertelności wewnątrzszpitalnej na oddziale ogólnym oraz zgon w ciągu 28 dni (kodowany jako 1) dla modelu śmiertelności 28-dniowej na OIT. Odpowiednie klasy ujemne stanowiły odpowiednio: brak sepsy, wypis ze szpitala przy życiu oraz przeżycie do 28. dnia (wszystkie kodowane jako 0).
Wybrano cztery algorytmy nadzorowanego uczenia maszynowego, aby reprezentowały komplementarne strategie analizy ustrukturyzowanych danych klinicznych. LR służył jako interpretowalny model referencyjny dla addytywnych zależności liniowych. RF reprezentował zespół oparty na metodzie baggingu, zdolny do modelowania zależności nieliniowych i interakcji przy jednoczesnym zmniejszaniu wariancji. SVM stanowił klasyfikator oparty na marginesie, zdolny do obsługi nieliniowych granic decyzyjnych w zbiorach danych o umiarkowanej wielkości. XGBoost reprezentował zregularizowany algorytm boostingowy, zdolny do wychwytywania interakcji wyższego rzędu i wzorców nieliniowych. Wszystkie algorytmy wykorzystywały ten sam zestaw potencjalnych predyktorów i były oceniane w tych samych kohortach treningowych i wewnętrznej walidacji dla każdego zadania predykcyjnego.
Analizę SHAP przeprowadzono dla najlepiej działającego modelu dla każdego z punktów końcowych w celu ilościowego określenia globalnego znaczenia cech oraz wyjaśnienia poszczególnych prognoz. Opracowanie nomogramu przebiegało zgodnie z procedurami specyficznymi dla danego punktu końcowego. W przypadku punktu końcowego dotyczacego sepsy na oddziale ogólnym, potencjalne predyktory wprowadzono do wieloczynnikowego modelu regresji logistycznej, a zmienne, które pozostały istotne statystycznie przy P < 0.05, włączono do końcowego nomogramu. W przypadku dwóch punktów końcowych dotyczących śmiertelności, włączenie predyktorów oparto na globalnych wynikach znaczenia cech SHAP z odpowiadających im najlepiej działających modeli, bez dodatkowej eliminacji w oparciu o wartość P.
Podczas retrospektywnego gromadzenia bazy danych, rekordy z brakującymi danymi klinicznymi, laboratoryjnymi lub wynikowymi, niezbędnymi do odpowiedniej analizy, zostały wykluczone przed wprowadzeniem do końcowego zbioru analitycznego. Szczegółowy dziennik przesiewowy sprzed wprowadzenia danych nie został zachowany, w związku z czym nie można było odtworzyć liczby rekordów wykluczonych z powodu brakujących danych ani pierwotnych wzorców braków na poziomie zmiennych. Sfinalizowana kohorta pacjentów z oddziałów ogólnych (n = 1 561) oraz kohorta pacjentów z OIT (n = 438) nie zawierały brakujących wartości dla zmiennych wykorzystanych w odpowiednich analizach (0% braków), a imputacja statystyczna nie była przeprowadzana. Wszystkich 1 561 pacjentów z oddziałów ogólnych włączono do analizy sepsy i śmiertelności wewnątrzszpitalnej, a wszystkich 438 pacjentów z OIT włączono do analizy śmiertelności 28-dniowej. Kompletność na poziomie zmiennych w sfinalizowanych zbiorach danych przedstawiono w Tabeli uzupełniającej 2.
Analizy uczenia maszynowego przeprowadzono przy użyciu platformy do analizy uczenia maszynowego. Konwencjonalne analizy statystyczne wykonano przy użyciu otwartoźródłowego środowiska obliczeń statystycznych oraz oprogramowania statystycznego. Wszystkie testy statystyczne były dwustronne, a wartość P < 0.05 uznano za istotną statystycznie.
Wyniki
Charakterystyka wyjściowa kohort badawczych
Badanie objęło 1 999 pacjentów hospitalizowanych z powodu ostrego zapalenia dróg żółciowych: 1 561 w kohorcie oddziału ogólnego i 438 w kohorcie OIT. W kohorcie oddziału ogólnego 544 pacjentów rozwinęła lub miała sepsę, a 1 017 nie; w kohorcie OIT 299 pacjentów miało sepsę, a 139 nie. Charakterystyka wyjściowa w podziale według statusu sepsy została przedstawiona w Tabeli 1. W kohorcie oddziału ogólnego pacjenci z sepsą byli starsi i mieli wyższe wartości potasu, AST, CR i BUN niż pacjenci bez sepsy (wszystkie P < 0,05), podczas gdy wartości Hb, PLT i albuminy były niższe (wszystkie P < 0,05). Cukrzyca, niewydolność serca, hiperlipidemia, uszkodzenie nerek oraz dłuższy pobyt w szpitalu występowały częściej lub były bardziej nasilone u pacjentów z sepsą (wszystkie P < 0,05); udar, nadciśnienie tętnicze i zapalenie wątroby nie różniły się znacząco między grupami. W kohorcie OIT pacjenci z sepsą mieli wyższe wartości potasu, TBil, AST, CR i BUN oraz niższą albuminę niż pacjenci bez sepsy (wszystkie P < 0,05). Uszkodzenie nerek i dłuższy pobyt na OIT były również powiązane ze statusem sepsy (P < 0,05), natomiast pozostałe oceniane choroby współistniejące nie różniły się znacząco. Wyniki w skalach SOFA i APS III były wyższe u pacjentów na OIT z sepsą niż u tych bez sepsy (obie wartości P < 0,05).
Wybór cech dla przewidywania sepsy na oddziałach ogólnych
Zbiór danych z oddziałów ogólnych podzielono na kohortę treningową obejmującą 1 092 pacjentów oraz kohortę walidacji wewnętrznej obejmującą 469 pacjentów. W odniesieniu do wystąpienia sepsy, kohorta treningowa obejmowała 380 pacjentów z sepsą i 712 bez sepsy, natomiast kohorta walidacji wewnętrznej obejmowała 164 pacjentów z sepsą i 305 bez sepsy. W przypadku śmiertelności wewnątrzszpitalnej na oddziałach ogólnych, kohorta treningowa obejmowała 56 zgonów i 1 036 osób, które przeżyły, a kohorta walidacji wewnętrznej 24 zgony i 445 osób, które przeżyły. Treningowa kohorta OIOM obejmowała 306 pacjentów (76 zgonów w ciągu 28 dni i 230 osób, które przeżyły), a kohorta walidacji wewnętrznej 132 pacjentów (33 zgony i 99 osób, które przeżyły w 28. dniu). W celu przewidywania sepsy na oddziałach ogólnych początkowo rozważono 27 zmiennych. Algorytm Boruta sklasyfikował zmienne jako potwierdzone ważne, tymczasowe lub odrzucone (Rycina 1A). Jako ważne sklasyfikowano jedenaście zmiennych: albuminy, uszkodzenie nerek, czas pobytu w szpitalu, CR, WBC, PLT, niewydolność serca, wiek oraz Hb. Regresja LASSO z 10-krotną walidacją krzyżową pozwoliła zachować 19 potencjalnych cech (Ryciny 1B,C). Następnie wspólnie przeanalizowano wyniki selekcji cech oraz ich istotność kliniczną, co pozwoliło wyłonić 11 potencjalnych predyktorów: BUN, CR, WBC, PLT, wiek, niewydolność serca, albuminy, uszkodzenie nerek, czas pobytu w szpitalu, Hb oraz marskość wątroby.
Porównanie modeli i interpretacja SHAP w predykcji sepsy na oddziałach ogólnych
Modele LR, RF, SVM i XGBoost zostały porównane w zadaniu przewidywania sepsy na oddziałach ogólnych z wykorzystaniem tych samych kohort treningowych i walidacji wewnętrznej (Rycina 2). Wartości AUC dla kohorty treningowej wyniosły odpowiednio 0,893 dla LR, 0,853 dla RF, 0,718 dla SVM i 0,767 dla XGBoost; odpowiadające im wartości AUC dla walidacji wewnętrznej wyniosły kolejno 0,826, 0,787, 0,647 i 0,737 (Rycina 2A,B). Model LR osiągnął najwyższą wartość AUC w walidacji wewnętrznej oraz najlepszą ogólną wydajność spośród czterech ocenianych modeli, w związku z czym został wybrany do dalszej interpretacji. Szczegółowe mierniki wydajności przedstawiono w Tabeli uzupełniającej 3. W ramach ocenianego zakresu prawdopodobieństwa progowego analiza krzywej decyzyjnej wykazała większą korzyść netto dla LR (Rycina 2D), a wykres kalibracji wykazał zgodność między przewidywanym a obserwowanym prawdopodobieństwem wystąpienia sepsy (Rycina 2E). Wyniki te opierają się na walidacji wewnętrznej i nie potwierdzają gotowości do rutynowego wdrożenia klinicznego.
Do interpretacji wybranego modelu LR wykorzystano analizę SHAP. Rysunek 2C,F przedstawia globalny wkład predyktorów, w których predyktory zostały uporządkowane według ich ogólnego wpływu na oszacowania modelu. W malejącej kolejności istotności predyktorami były: BUN, CR, WBC, PLT, wiek, niewydolność serca, albuminy, uszkodzenie nerek, czas pobytu w szpitalu, Hb oraz marskość wątroby. Rysunek 2G przedstawia wykres sił (force plot) na poziomie pacjenta. Cechy zaznaczone na czerwono zwiększały szacowane prawdopodobieństwo sepsy, natomiast cechy zaznaczone na niebiesko je zmniejszały. Termin f(x) reprezentuje wynik modelu dla danej osoby w stosunku do oczekiwania bazowego.
Konstrukcja nomogramu sepsy dla oddziałów ogólnych
Predictory wybrane po etapie selekcji cech wprowadzono do wieloczynnikowego modelu regresji logistycznej (Tabela 2). Zmienne, które pozostały istotne statystycznie przy P < 0,05, zostały uwzględnione w końcowym nomogramie (Rycina 3A): uraz nerek, niewydolność serca, WBC, PLT, albuminy oraz czas pobytu w szpitalu. Nomogram wykazał AUC na poziomie 0,791 (Rycina 3B), a wykres kalibracji wykazał zgodność między przewidywanym a obserwowanym prawdopodobieństwem wystąpienia sepsy (Rycina 3C).
Związek między sepsą a przeżywalnością
Do porównania przeżywalności w zależności od stanu sepsy wykorzystano krzywe Kaplana-Meiera (Rysunek 4). W kohorcie pacjentów na OIT pacjenci z sepsą wykazali gorszą przeżywalność 28-dniową niż pacjenci bez sepsy (Rysunek 4A; log-rank P < 0.001). W kohorcie oddziałów ogólnych pacjenci z sepsą wykazali gorszą przeżywalność wewnątrzszpitalną niż pacjenci bez sepsy (Rysunek 4B; log-rank P < 0.001).
Do oceny związku między sepsą a śmiertelnością wykorzystano cztery progresywnie korygowane modele proporcjonalnych hazardów Coxa (Tabela 3). W kohorcie pacjentów oddziałów ogólnych sepsa była powiązana ze śmiertelnością wewnątrzszpitalną w modelu niekorygowanym (Model 1: HR, 4,48; 95% CI, 2,53-7,95; P < 0,001). Związek ten utrzymał się po korekcie o wiek i płeć (Model 2: HR, 4,11; 95% CI, 2,31-7,32; P < 0,001), dodatkowe choroby współistniejące (Model 3: HR, 3,51; 95% CI, 1,94-6,35; P < 0,001) oraz zmienne laboratoryjne (Model 4: HR, 2,18; 95% CI, 1,15-4,15; P = 0,018). W kohorcie pacjentów OIT sepsa była powiązana ze śmiertelnością w ciągu 28 dni w Modelu 1 (HR, 5,94; 95% CI, 3,00-11,76; P < 0,001), Modelu 2 (HR, 5,89; 95% CI, 2,98-11,67; P < 0,001), Modelu 3 (HR, 4,81; 95% CI, 2,41-9,61; P < 0,001) oraz Modelu 4 (HR, 4,54; 95% CI, 2,22-9,29; P < 0,001). Wyniki te były zgodne z analizami Kaplana-Meiera.
Wybór cech dla modeli śmiertelności
Do wyboru potencjalnych predyktorów śmiertelności wewnątrzszpitalnej na oddziałach ogólnych oraz śmiertelności 28-dniowej na OIT wykorzystano algorytmy Boruta i LASSO (Rycina 5). W przypadku śmiertelności 28-dniowej na OIT algorytm Boruta zidentyfikował 10 istotnych zmiennych, w tym APS III, TBil, PLT, ALT, stan sepsy oraz Hb (Rycina 5A). Metoda LASSO z 10-krotną walidacją krzyżową zachowała 15 potencjalnych cech (Ryciny 5B,C). Biorąc pod uwagę obie procedury wyboru cech oraz istotność kliniczną, zachowano osiem predyktorów: APS III, Hb, ALT, Lac, TBil, stan sepsy, uszkodzenie nerek oraz albuminy. W przypadku śmiertelności wewnątrzszpitalnej na oddziałach ogólnych zachowano sześć predyktorów: albuminy, uszkodzenie nerek, stan sepsy, BUN, TBil oraz AST (Ryciny 5D–F).
Porównanie modeli i interpretacja SHAP dla wyników śmiertelności
Modele LR, RF, SVM i XGBoost zostały porównane pod kątem 28-dniowej śmiertelności na OIOM z wykorzystaniem odpowiednich kohort treningowych i wewnętrznej walidacji (Rysunek 6). Wartości AUC dla kohorty treningowej wyniosły odpowiednio 0,831 dla LR, 0,883 dla RF, 0,481 dla SVM i 0,862 dla XGBoost; odpowiadające im wartości AUC dla wewnętrznej walidacji wyniosły odpowiednio 0,773, 0,810, 0,322 i 0,805 (Rysunki 6A,B). Model RF został wybrany jako najlepiej sprawdzający się model na podstawie AUC walidacji oraz ogólnych metryk wydajności. Szczegółowe wyniki przedstawiono w Tabeli uzupełniającej 4. W obrębie ocenianego zakresu prawdopodobieństwa progowego analiza krzywej decyzyjnej wskazała na potencjalną korzyść netto dla modelu RF (Rysunek 6D), natomiast kalibracja wykazała jedynie umiarkowaną zgodność między przewidywanym a zaobserwowanym prawdopodobieństwem 28-dniowej śmiertelności (Rysunek 6E). Globalne analizy SHAP uszeregowały predyktory w następujący sposób: APS III, Hb, ALT, Lac, TBil, albuminy, status sepsy i uraz nerek (Rysunki 6C,F). Rysunek 6G przedstawia reprezentatywne wyjaśnienie na poziomie pacjenta.
W przypadku śmiertelności wewnątrzszpitalnej na oddziale ogólnym, wartości AUC dla kohorty treningowej wyniosły 0,951 dla LR, 0,873 dla RF, 0,641 dla SVM oraz 0,902 dla XGBoost; odpowiadające im wartości AUC dla wewnętrznej walidacji wyniosły odpowiednio 0,900, 0,829, 0,564 i 0,871 (Ryciny 7A,B). Model LR osiągnął najwyższą wartość AUC w walidacji wewnętrznej i został wybrany jako model o najlepszej wydajności. Szczegółowe wyniki przedstawiono w Tabeli uzupełniającej 4. W ramach ocenianego zakresu prawdopodobieństwa progowego, analiza krzywej decyzyjnej wskazała na potencjalną korzyść netto dla LR (Rycina 7D), a kalibracja wykazała umiarkowaną zgodność między przewidywanym a obserwowanym prawdopodobieństwem śmiertelności wewnątrzszpitalnej (Rycina 7E). Globalne analizy SHAP uszeregowały predyktory w następujący sposób: albuminy, uszkodzenie nerek, stan sepsy, BUN, TBil oraz AST (Ryciny 7C,F). Rycina 7G przedstawia reprezentatywne objaśnienie na poziomie pacjenta.
Konstrukcja nomogramów 28-dniowej śmiertelności na OIOM oraz śmiertelności wewnątrzszpitalnej na oddziale ogólnym
Osobne nomogramy zostały opracowane z wykorzystaniem predyktorów priorytetyzowanych według globalnej istotności cech SHAP w najlepiej działających modelach śmiertelności (Rysunek 8). Nomogram 28-dniowej śmiertelności na OIT uwzględniał APS III, Hb, ALT, Lac, TBil, albuminy, status sepsy oraz uszkodzenie nerek (Rysunek 8A). Przyniesiono AUC na poziomie 0,840 (Rysunek 8B), a kalibracja wykazała zgodność między przewidywanym a obserwowanym prawdopodobieństwem 28-dniowej śmiertelności w kohorcie badawczej (Rysunek 8C). Nomogram śmiertelności wewnątrzszpitalnej dla oddziałów ogólnych uwzględniał albuminy, uszkodzenie nerek, status sepsy, BUN, TBil oraz AST (Rysunek 8D). Przyniesiono AUC na poziomie 0,904 (Rysunek 8E), a kalibracja wykazała zgodność między przewidywanym a obserwowanym prawdopodobieństwem śmiertelności wewnątrzszpitalnej w kohorcie badawczej (Rysunek 8F). Ponieważ oszacowania te zostały wyprowadzone wyłącznie z walidacji wewnętrznej, należy je uznać za wstępne i wymagają one potwierdzenia w niezależnych kohortach zewnętrznych.
Ocena złożoności modelu w stosunku do zdarzeń wynikowych
Złożoność modelu oceniono poprzez porównanie liczby zdarzeń wynikowych w każdej kohorcie treningowej z liczbą predyktorów w odpowiadającym im końcowym nomogramie. Ogólny model przewidywania sepsy na oddziale stacjonarnym obejmował 380 przypadków sepsy i sześć predyktorów (63,3 zdarzenia na predyktor). Ogólny model śmiertelności wewnątrzszpitalnej na oddziale stacjonarnym obejmował 56 zgonów i sześć predyktorów (9,3 zdarzenia na predyktor), natomiast model śmiertelności 28-dniowej na OIT obejmował 76 zgonów i osiem predyktorów (9,5 zdarzenia na predyktor). Zatem wsparcie zdarzeniami było znaczne dla modelu sepsy, ale bardziej ograniczone dla dwóch modeli śmiertelności, które zbliżyły się do powszechnie przywoływanej zasady kciuka zakładającej około 10 zdarzeń na jeden predyktor.
DOSTĘPNOŚĆ DANYCH:
Wszystkie zanonimizowane dane pacjentów wykorzystane w niniejszym badaniu są publicznie dostępne w plikach uzupełniających dołączonych do tego artykułu. Tabela uzupełniająca 5 zawiera dane kohorty z oddziału ogólnego, a Tabela uzupełniająca 6 zawiera dane kohorty z oddziału intensywnej terapii. Przed przesłaniem usunięto wszystkie bezpośrednie dane osobowe oraz inne potencjalnie identyfikowalne informacje.
Rycina 1: Selekcja cech dla modelu przewidywania sepsy na oddziale ogólnym u pacjentów z ostrym zapaleniem dróg żółciowych. (A) Analiza selekcji cech metodą Boruta; (B,C) Analizy ścieżki współczynników LASSO oraz 10-krotnej walidacji krzyżowej. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Rycina 2: Porównanie i interpretacja modeli uczenia maszynowego w predykcji sepsy na oddziałach ogólnych u pacjentów z ostrym zapaleniem dróg żółciowych. (A,B) Krzywe ROC dla kandydujących modeli uczenia maszynowego w kohortach treningowej i wewnętrznej walidacyjnej; (C,F) globalne analizy SHAP wkładów predyktorów; (D) analiza krzywych decyzyjnych; (E) krzywe kalibracji; (G) indywidualne wyjaśnienie SHAP dla reprezentatywnego pacjenta. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Rysunek 3: Konstrukcja i ocena ogólnego nomogramu predykcji sepsy na oddziale ogólnym. (A) Nomogram; (B) krzywa ROC; (C) krzywa kalibracyjna. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Rysunek 4: Krzywe przeżywalności Kaplana-Meiera dla pacjentów z ostrym zapaleniem dróg żółciowych w podziale według stanu sepsy. (A) Porównanie przeżywalności 28-dniowej pomiędzy pacjentami z sepsą i bez sepsy w kohorcie oddziału intensywnej terapii; (B) porównanie przeżywalności wewnątrzszpitalnej pomiędzy pacjentami z sepsą i bez sepsy w kohorcie oddziału ogólnego. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Rysunek 5: Wybór cech dla modeli 28-dniowej śmiertelności na OIT oraz śmiertelności wewnątrzszpitalnej na oddziałach ogólnych. (A) Analiza wyboru cech metodą Boruta dla 28-dniowej śmiertelności na OIT; (B,C) Analizy ścieżki współczynników LASSO i 10-krotnej walidacji krzyżowej dla 28-dniowej śmiertelności na OIT; (D) Analiza wyboru cech metodą Boruta dla śmiertelności wewnątrzszpitalnej na oddziałach ogólnych; (E,F) Analizy ścieżki współczynników LASSO i 10-krotnej walidacji krzyżowej dla śmiertelności wewnątrzszpitalnej na oddziałach ogólnych. Kliknij tutaj, aby zobaczyć powiększoną wersję tego rysunku.
Rycina 6: Porównanie i interpretacja modeli uczenia maszynowego dla 28-dniowej śmiertelności na OIOM u pacjentów z ostrym zapaleniem dróg żółciowych. (A,B) Krzywe ROC dla kandydatowanych modeli uczenia maszynowego w kohortach treningowej i wewnętrznej walidacyjnej; (C,F) globalne analizy SHAP wkładu predyktorów; (D) analiza krzywej decyzyjnej; (E) krzywe kalibracyjne; (G) indywidualne wyjaśnienie SHAP dla reprezentatywnego pacjenta. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Rycina 7: Porównanie i interpretacja modeli uczenia maszynowego w zakresie śmiertelności wewnątrzszpitalnej na oddziałach ogólnych u pacjentów z ostrym zapaleniem dróg żółciowych. (A,B) krzywe ROC dla kandydujących modeli uczenia maszynowego w kohortach treningowej i wewnętrznej walidacyjnej; (C,F) globalne analizy SHAP wkładu predyktorów; (D) analiza krzywych decyzyjnych; (E) krzywe kalibracji; (G) indywidualne wyjaśnienie SHAP dla reprezentatywnego pacjenta. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Rysunek 8: Konstrukcja i ocena nomogramów śmiertelności w ciągu 28 dni na OIT oraz śmiertelności wewnątrzszpitalnej na oddziale ogólnym. (A–C) Nomogram, krzywa ROC i krzywa kalibracyjna dla śmiertelności w ciągu 28 dni na OIT; (D–F) nomogram, krzywa ROC i krzywa kalibracyjna dla śmiertelności wewnątrzszpitalnej na oddziale ogólnym. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Tabela 1: Charakterystyka wyjściowa włączonych pacjentów. Charakterystyka kliniczna i laboratoryjna została przedstawiona oddzielnie dla kohort z oddziałów ogólnych oraz oddziałów intensywnej terapii (OIT) i porównana pomiędzy pacjentami z sepsą i bez sepsy. Kliknij tutaj, aby pobrać ten plik.
Tabela 2: Analiza wieloczynnikowa sepsy u pacjentów z cholangitis. Skróty: WBC: leukocyty; PLT: płytki krwi. Wartości p mniejsze niż 0,05 zostały pogrubione. Kliknij tutaj, aby pobrać ten plik.
Tabela 3: Związek między sepsą a rokowaniem pacjentów z cholangitis. Model 1 nie był korygowany. Model 2 był korygowany o wiek i płeć. Model 3 został dodatkowo skorygowany o nadciśnienie tętnicze, cukrzycę, niewydolność serca, udar mózgu i uszkodzenie nerek. Dla kohorty z oddziału ogólnego Model 4 został dodatkowo skorygowany o WBC, Hb, PLT, albuminę, CR, BUN, AST, ALT, sód, potas, chlorek i Lac. Dla kohorty z OIT Model 4 został dodatkowo skorygowany o APS III, SOFA, WBC, Hb, PLT, albuminę, CR, BUN, AST, ALT, sód, potas, chlorek i Lac. HR, współczynnik hazardu; CI, przedział ufności; APS III, Acute Physiology and Chronic Health Evaluation III; SOFA, Sequential Organ Failure Assessment; WBC, liczba białych krwinek; Hb, hemoglobina; PLT, liczba płytek krwi; CR, kreatynina; BUN, azot mocznika we krwi; AST, aminotransferaza asparaginianowa; ALT, aminotransferaza alaninowa; Lac, mleczan. Wartości pogrubione wskazują istotność statystyczną przy P < 0.05. Kliknij tutaj, aby pobrać ten plik.
Rysunek uzupełniający 1: Ogólny schemat badania i przepływ pracy uczenia maszynowego. Pacjentów z ostrym zapaleniem dróg żółciowych podzielono na kohorty oddziału ogólnego oraz OIOM-u, a następnie zdefiniowano trzy zadania prognostyczne: sepsę na oddziale ogólnym, śmiertelność wewnątrzszpitalną na oddziale ogólnym oraz 28-dniową śmiertelność na OIOM-ie. Dla każdego zadania dane zostały podzielone na kohorty treningową i wewnętrznej walidacji w stosunku 7:3 przed etapem selekcji cech. Metody LASSO i Boruta zostały zastosowane wyłącznie w kohorcie treningowej, po czym opracowano i porównano modele LR, RF, SVM oraz XGBoost. Wybrano model o najlepszych wynikach na podstawie wydajności walidacji wewnętrznej, a następnie zinterpretowano go za pomocą SHAP. Nomogram sepsy na oddziale ogólnym wykorzystał zmienne zachowane w wielowymiarowej regresji logistycznej, natomiast nomogramy śmiertelności wykorzystały predyktory nadane priorytetem na podstawie globalnej istotności cech SHAP.Kliknij tutaj, aby pobrać ten plik.
Tabela uzupełniająca 1: Szczegółowa implementacja obliczeniowa, procedury preprocessingu, ustawienia selekcji cech oraz parametry modeli uczenia maszynowego. Skróty: AUC, pole powierzchni pod krzywą charakterystyki operacyjnej odbiornika; FN, fałszywie ujemny; FP, fałszywie dodatni; ICU, oddział intensywnej terapii; LASSO, operator najmniejszego bezwzględnego kurczenia i selekcji; LR, regresja logistyczna; RF, las losowy; SHAP, addytywne wyjaśnienia Shapleya; SMOTE, syntetyczna technika nadpróbkowania mniejszości; SVM, maszyna wektorów nośnych; TN, prawdziwie ujemny; TP, prawdziwie dodatni; XGBoost, ekstremalne wzmocnienie gradientowe. Uwaga: Analizy uczenia maszynowego zostały pierwotnie przeprowadzone za pomocą platformy w chmurze. Ze względu na późniejszą aktualizację platformy, dokładne historyczne numery wersji pakietów backendowych przestały być dostępne; w związku z tym obecne wersje pakietów Python nie mogły zostać wstecznie zaraportowane jako wersje użyte w oryginalnych analizach. Przedstawione powyżej wartości algorytmów reprezentują udokumentowane domyślne ustawienia parametrów, a nie optymalizację hiperparametrów specyficzną dla wyników.Kliknij tutaj, aby pobrać ten plik.
Tabela uzupełniająca 2: Kompletność danych na poziomie zmiennych w sfinalizowanych zbiorach analitycznych dla oddziałów ogólnych i OIOM. Sfinalizowane zbiory danych nie zawierały brakujących wartości dla zmiennych uwzględnionych w odpowiednich analizach i nie przeprowadzono imputacji statystycznej. Rekordy z brakującymi wymaganymi danymi zostały wykluczone podczas retrospektywnego gromadzenia bazy danych; dokładna liczba wykluczeń przed wprowadzeniem danych oraz pierwotne wzorce braków nie zostały zachowane.Kliknij tutaj, aby pobrać ten plik.
Tabela uzupełniająca 3: Wydajność kandydujących modeli uczenia maszynowego w przewidywaniu sepsy na oddziałach ogólnych u pacjentów z ostrym zapaleniem dróg żółciowych.Ocena skuteczności modeli uczenia maszynowego w przewidywaniu sepsy u pacjentów z ostrym zapaleniem dróg żółciowych.Prosimy kliknąć tutaj, aby pobrać ten plik.
Tabela uzupełniająca 4: Wydajność kandydackich modeli uczenia maszynowego w przewidywaniu śmiertelności wewnątrzszpitalnej na oddziałach ogólnych oraz 28-dniowej śmiertelności na OIT u pacjentów z ostrym zapaleniem dróg żółciowych. Podsumowano wydajność modeli LR, RF, SVM i XGBoost dla kohort treningowej i wewnętrznej walidacyjnej z wykorzystaniem AUC, czułości, swoistości, pełności (recall), wyniku F1 oraz dokładności.Kliknij tutaj, aby pobrać ten plik.
Tabela uzupełniająca 5: Zanonimizowane dane na poziomie pacjenta dla kohorty z oddziału ogólnego. Zbiór danych zawiera zmienne kliniczne i laboratoryjne wykorzystane w analizach sepsy oraz śmiertelności wewnątrzszpitalnej.Proszę kliknąć tutaj, aby pobrać ten plik.
Tabela uzupełniająca 6: Zanonimizowane dane na poziomie pacjenta dla kohorty oddziału intensywnej terapii (ICU).Zbiór danych zawiera zmienne kliniczne i laboratoryjne wykorzystane do analizy śmiertelności w ciągu 28 dni.Prosimy kliknąć tutaj, aby pobrać ten plik.
Dyskusja
Ostre zapalenie dróg żółciowych jest potencjalnie zagrażającą życiu infekcją dróg żółciowych. Choć łagodny przebieg choroby często dobrze reaguje na leczenie, zgłaszana śmiertelność w ciężkich przypadkach może osiągać 50%1,5. Śmiertelność może wzrosnąć do 40% w przypadku rozwoju wstrząsu septycznego14. Sepsa wskazuje na to, że infekcja nie ogranicza się już tylko do dróg żółciowych i może szybko postępować w stronę zapalenia systemowego oraz wielonarządowej niewydolności. Identyfikacja czynników związanych z sepsą i niekorzystnymi rokowaniami jest zatem istotna, szczególnie u pacjentów wymagających opieki na oddziale intensywnej terapii.
Spośród 1 999 pacjentów ujętych w niniejszym badaniu, 843 (42,17%) miało lub rozwinęło sepsę. Odsetek ten wyniósł 34,85% w kohorcie oddziałów ogólnych oraz 68,3% w kohorcie OIT; wyższa proporcja na OIT prawdopodobnie odzwierciedla większe wyjściowe nasilenie choroby. Pacjenci z sepsą mieli tendencję do bycia w starszym wieku, co jest zgodne z wcześniejszymi ustaleniami i może być związane z wiekowym pogorszeniem fizjologicznym, upośledzeniem funkcji odpornościowych oraz większym obciążeniem chorobami współistniejącymi.15 Liu i wsp.16 opracowali nomogram regresji logistycznej dla sepsy w ostrym zapaleniu dróg żółciowych, wykorzystujący wiek, czas wsparcia respiratorem, cukrzycę, koagulopatię i skurczowe ciśnienie krwi; zgłaszane wartości AUC wyniosły 0,700 w kohorcie treningowej i 0,647 w kohorcie walidacyjnej. W niniejszym badaniu LR osiągnęła wartości AUC wynoszące 0,893 w kohorcie treningowej i 0,826 w wewnętrznej kohorcie walidacyjnej. Następnie skonstruowano bardziej oszczędny nomogram sepsy dla oddziałów ogólnych, wykorzystujący uszkodzenie nerek, niewydolność serca, WBC, PLT, albuminy oraz czas pobytu w szpitalu, który dał AUC wynoszące 0,791. Choć wewnętrzna wartość AUC dla naszego najlepiej działającego modelu uczenia maszynowego była numerycznie wyższa niż w przypadku wcześniej opublikowanego nomogramu, porównanie to jest pośrednie, ponieważ różniły się populacje, predyktory, źródła danych i procedury walidacyjne. Przed ustaleniem porównawczej wydajności i możliwości generalizacji niezbędna jest niezależna walidacja zewnętrzna.
Sepsis pozostała powiązana ze śmiertelnością po sekwencyjnej korekcie, co potwierdza jej znaczenie prognostyczne w ostrym zapaleniu dróg żółciowych. Sepsę definiuje się jako zagrażającą życiu dysfunkcję narządów spowodowaną rozregulowaną odpowiedzią gospodarza na zakażenie17. Nieprawidłowości śródbłonkowe, zapalne, oksydacyjne i krzepnięcia mogą przyczyniać się do dysfunkcji narządów i niekorzystnych wyników18,19. Nomogram 28-dniowej śmiertelności na OIT uwzględniał APS III, Hb, ALT, Lac, TBil, albuminy, status sepsy oraz uszkodzenie nerek, dając AUC wynoszące 0,840. Nomogram śmiertelności wewnątrzszpitalnej na oddziale ogólnym uwzględniał albuminy, uszkodzenie nerek, status sepsy, BUN, TBil i AST, dając AUC wynoszące 0,904. Schneider i wsp. zgłosili średnie, walidowane krzyżowo AUC wynoszące 0,915 dla modelu ryzyka śmiertelności w ostrym zapaleniu dróg żółciowych. Wartość ta jest numerycznie zbliżona do wartości nomogramu dla oddziału ogólnego, jednak bezpośrednie porównanie jest niezasadne, ponieważ modele zostały opracowane i ocenione w różnych kohortach.
APS III jest komponentem fizjologii ostrej w skali APACHE III i podsumowuje stopień zaburzeń fizjologicznych u pacjentów w stanie krytycznym10. Skale APS III oraz SOFA zostały ocenione pod kątem oceny prognostycznej w stanach krytycznych i sepsie20,21,22. Wytyczne TG18 wspierają diagnozę i wczesną ocenę ciężkości ostrego zapalenia dróg żółciowych w oparciu o wyniki kliniczne i laboratoryjne, w tym gorączkę, liczbę WBC, bilirubinę oraz albuminy. Jednakże kryteria zespołu ogólnoustrojowej odpowiedzi zapalnej mogą dostarczyć dodatkowych informacji podczas przesiewowej oceny sepsy u pacjentów z ostrym zapaleniem dróg żółciowych14. Niższy poziom Hb był również wiązany ze śmiertelnością u starszych pacjentów z ostrym zapaleniem dróg żółciowych23. Mleczany są klinicznie istotnym markerem hipoperfuzji tkankowej i dysfunkcji narządów; podczas sepsy podwyższone stężenia mogą odzwierciedlać upośledzony transport tlenu, zaburzony metabolizm oraz zmniejszony klirens24,25.
Podwyższone stężenia bilirubiny i aminotransferaz były wcześniej wiązane z wczesną śmiertelnością w ostrym zapaleniu dróg żółciowych26. Niedrożność dróg żółciowych powoduje cholestazę i wzrost ciśnienia wewnątrzprzewodowego. Refluks bilirubiny do krążenia odzwierciedla upośledzone wydalanie żółci, natomiast podwyższone poziomy aminotransferaz mogą wskazywać na uszkodzenie hepatocytów spowodowane toksycznością kwasów żółciowych, stanem zapalnym lub wtórnym niedokrwieniem wątroby.
Poprzednie modele ryzyka sepsy lub śmiertelności w ostrym zapaleniu dróg żółciowych opierały się niekiedy na ograniczonych zestawach predyktorów lub zmiennych, które mogą nie być łatwo dostępne, takich jak wyniki posiewów mikrobiologicznych16,27. Modele specyficzne dla wyników opierały się głównie na rutynowo rejestrowanych zmiennych klinicznych i laboratoryjnych; jednak czas i dostępność tych zmiennych różniły się w zależności od oddziału. Skala APS III była dostępna tylko na oddziale intensywnej terapii, a czas pobytu w szpitalu nie był znany w momencie przyjęcia. W związku z tym praktyczna wartość tych modeli musi zostać oceniona prospektywnie w jasno określonych punktach czasowych predykcji. Uszkodzenie nerek pozostaje istotne klinicznie, ponieważ jest niezależnie powiązane ze śmiertelnością z przyczyn ogólnych w ostrym zapaleniu dróg żółciowych28.
Zastosowano etapowy schemat modelowania zamiast polegania na pojedynczym algorytmie. Metody LASSO i Boruta służyły jako komplementarne techniki selekcji cech: LASSO redukuje wymiarowość i kolinearność poprzez kurczenie współczynników, podczas gdy Boruta została zaprojektowana w celu identyfikacji wszystkich istotnych predyktorów, w tym zmiennych zaangażowanych w relacje nieliniowe lub interakcje. Następnie opracowano modele LR, RF, SVM i XGBoost, wykorzystując te same predyktory kandydujące oraz ten sam podział na zbiór treningowy i wewnętrzną walidację. Przy wyborze modelu kładziono nacisk na wyniki walidacji wewnętrznej, a nie tylko na wyniki treningowe, co może ograniczyć, ale nie wyeliminować całkowicie zjawiska przeuczenia. Do oceny zgodności między ryzykiem przewidywanym a obserwowanym oraz do ewaluacji potencjalnej korzyści netto w różnych progach prawdopodobieństwa wykorzystano analizę kalibracji oraz analizę krzywych decyzyjnych.
W przypadku przewidywania sepsy na oddziale ogólnym model LR osiągnął najwyższą wartość AUC w walidacji wewnętrznej, co sugeruje, że bardziej złożone algorytmy nieliniowe nie dostarczyły dodatkowej wartości prognostycznej w tym zbiorze danych. Wynik ten nie wyklucza istnienia powiązań nieliniowych, ponieważ wydajność algorytmu zależy od wielkości próby, rozkładów predyktorów, ustawień hiperparametrów oraz charakterystyki kohorty. Metodę SHAP zastosowano do najlepiej działającego modelu dla każdego zadania, aby określić globalną istotność cech i wyjaśnić szacunki na poziomie poszczególnych pacjentów. Struktura obejmowała trzy modele specyficzne dla wyników i ustawień: model przewidywania sepsy na oddziale ogólnym, model śmiertelności wewnątrzszpitalnej na oddziale ogólnym oraz model 28-dniowej śmiertelności na OIT. Nomogram sepsy zachował zmienne istotne w wieloczynnikowej regresji logistycznej, podczas gdy nomogramy śmiertelności wykorzystywały predyktory priorytetyzowane na podstawie globalnej istotności cech SHAP, bez dodatkowej eliminacji w oparciu o wartość P. Takie podejście pozwoliło zestawom predyktorów odzwierciedlać informacje dostępne w każdym z ustawień i zapobiegło stosowaniu miar specyficznych dla OIT, takich jak APS III, u pacjentów z oddziałów ogólnych. Niemniej jednak te wewnętrznie zwalidowane modele są narzędziami badawczymi służącymi do stratyfikacji ryzyka i nie powinny być interpretowane jako modele przyczynowe ani zamienniki osądu klinicznego.
Trzy modele odnoszą się do różnych ustawień, wyników i punktów oceny. Model predykcji sepsy na oddziale ogólnym uwzględnia uszkodzenie nerek, niewydolność serca, WBC, PLT, albuminy oraz czas pobytu w szpitalu. Ponieważ czas pobytu nie jest znany w momencie przyjęcia, a dokładny czas wystąpienia sepsy nie został zarejestrowany, model ten należy interpretować jako retrospektywny model stratyfikacji ryzyka wewnątrzszpitalnego, a nie jako narzędzie predykcyjne w momencie przyjęcia. Model śmiertelności wewnątrzszpitalnej na oddziale ogólnym uwzględnia albuminy, uszkodzenie nerek, status sepsy, BUN, TBil oraz AST i może zostać obliczony dopiero po udostępnieniu tych zmiennych podczas hospitalizacji. Model 28-dniowej śmiertelności na OIT uwzględnia APS III, Hb, ALT, Lac, TBil, albuminy, status sepsy oraz uszkodzenie nerek i może zostać oceniony po przyjęciu na OIT, gdy dostępne będą wymagane informacje. Nomogramy przekształcają wartości predyktorów w szacowane prawdopodobieństwa wyników, podczas gdy metoda SHAP wyjaśnia wkład poszczególnych zmiennych. Obecnie modele te, zwalidowane wewnętrznie, powinny być traktowane jako narzędzia badawcze dostarczające ciągłych szacunków ryzyka, a nie stałych zaleceń terapeutycznych. Mają one stanowić uzupełnienie kryteriów Sepsis-3, oceny opartej na TG18 oraz oceny klinicznej i wymagają prospektywnej, wieloośrodkowej walidacji zewnętrznej przed rutynowym wdrożeniem.
Niniejsze badanie posiada kilka ograniczeń. Po pierwsze, jego retrospektywny charakter mógł wprowadzić błąd selekcji, błąd wynikający z brakujących danych, zmienność pomiarów oraz confounding resztkowy. Klasyfikacja sepsy opierała się na istniejącej dokumentacji medycznej, a niepewność co do czasu wystąpienia objawów mogła doprowadzić do błędnej klasyfikacji. Przed utworzeniem bazy analitycznej wykluczono rekordy z niekompletnymi wymaganymi danymi, jednak nie zachowano szczegółowego dziennika przesiewowego z etapu wprowadzania danych. W związku z tym nie mogliśmy określić ilości tych wykluczeń ani porównać pierwotnych wzorców braków danych pomiędzy kohortą pacjentów z oddziałów ogólnych a kohortą z OIT. Chociaż ostateczne zbiory danych nie zawierały brakujących wartości, wybór przypadków kompletnych mógł wprowadzić błąd, jeśli kompletność danych była powiązana z ciężkością choroby lub wynikami leczenia. Pomiary laboratoryjne niekoniecznie były pobierane w jednolitym czasie w stosunku do przyjęcia, wystąpienia sepsy lub rozpoczęcia leczenia, a interwencje, takie jak terapia przeciwdrobnoustrojowa, drenaż dróg żółciowych i wsparcie narządowe, mogły wpłynąć zarówno na wartości laboratoryjne, jak i na śmiertelność. Na śmiertelność wewnątrzszpitalną mogły również wpłynąć praktyki wypisowe lub zasady kierowania pacjentów do innych placówek, natomiast ustalenie śmiertelności 28-dniowej zależało od kompletności obserwacji follow-up. Korekta o zmierzone współzmienne nie mogła wyeliminować niewymierzonych lub zmiennych w czasie czynników zakłócających; w konsekwencji zgłaszane powiązania nie powinny być interpretowane jako związki przyczynowo-skutkowe.
Po drugie, mimo że pacjenci zostali zrekrutowani z dwóch instytucji, wydajność modelu oceniono wyłącznie za pomocą losowego wewnętrznego podziału walidacyjnego. Zgłoszona wydajność może być zatem zbyt optymistyczna, a możliwość uogólnienia wyników na inne instytucje i populacje pozostaje niepewna. Wymagana jest prospektywna walidacja wieloośrodkowa z wykorzystaniem kohort niezależnych czasowo i geograficznie. Ponadto nie znano dokładnego czasu wystąpienia sepsy, co uniemożliwiło oddzielenie sepsy obecnej w momencie przyjęcia od sepsy, która rozwinęła się podczas hospitalizacji, oraz uniemożliwiło obliczenie długości pobytu przed i po wystąpieniu sepsy. Ponieważ długość pobytu w szpitalu została uwzględniona jako predyktor, model predykcji sepsy na oddziałach ogólnych należy interpretować jako retrospektywny model stratyfikacji ryzyka wewnątrzszpitalnego, a nie jako model w momencie przyjęcia lub prospektywny model czasu do wystąpienia zdarzenia.
Po trzecie, LR, RF, SVM i XGBoost są uznanymi algorytmami, a niniejsze badanie nie wprowadziło nowej architektury ani ram optymalizacji. Zostały one celowo wybrane, aby reprezentować komplementarne strategie liniowe, oparte na marginesie, bagging oraz boosting, odpowiednie dla strukturalnych danych klinicznych. Ograniczenie analizy do tych algorytmów mogło jednak ograniczyć wykrywanie innych nieliniowych wzorców lub interakcji. Przyszłe badania mogłyby ocenić interpretowalne metody boostingu, zespoły stackingowe lub inne algorytmy, przy czym poprawy oceniano by na podstawie zewnętrznej dyskryminacji, kalibracji i korzyści netto, a nie tylko wskaźnika AUC.
Po czwarte, w przypadku algorytmów kandydujących zastosowano z góry określone domyślne hiperparametry i nie przeprowadzono systematycznej optymalizacji hiperparametrów. Zaobserwowane różnice odzwierciedlają zatem porównania między tymi predefiniowanymi implementacjami i mogą nie reprezentować najlepszej możliwej wydajności każdego algorytmu. Przyszłe badania powinny łączyć zagnieżdżoną walidację krzyżową z optymalizacją hiperparametrów metodą siatki, losową lub bayesowską oraz potwierdzać wszelkie ulepszenia poprzez walidację zewnętrzną.
Po piąte, mimo zastosowania selekcji cech i walidacji wewnętrznej w celu zmniejszenia złożoności modelu, modele śmiertelności dla oddziałów ogólnych i OIT obejmowały odpowiednio jedynie 9,3 i 9,5 zdarzeń treningowych na predyktor. Stosunki te są bliskie powszechnie przywoływanej dolnej granicy dla modelowania regresyjnego; w związku z tym nie można wykluczyć nadmiernego dopasowania, niestabilnych szacunków oraz nieprecyzyjnej wydajności walidacji. Wymagane są większe kohorty niezależne z większą liczbą zdarzeń zgonów.
Wreszcie, SHAP poprawia interpretowalność predykcji dopasowanego modelu, lecz nie może ustanowić związków przyczynowo-skutkowych między predyktorami a wynikami. Zaproponowane modele należy zatem traktować jako wewnętrznie zwalidowane narzędzia do stratyfikacji ryzyka, a nie systemy decyzji klinicznych. Ich użyteczność kliniczna i możliwość generalizacji wymagają oceny w prospektywnych kohortach niezależnych.
Podsumowując, sepsa wiązała się z gorszym przeżyciem wewnątrzszpitalnym w kohorcie oddziałów ogólnych oraz gorszym przeżyciem 28-dniowym w kohorcie OIT wśród pacjentów z ostrym zapaleniem dróg żółciowych. Opracowano trzy modele specyficzne dla wyników i ustawień: model predykcji sepsy na oddziałach ogólnych, model śmiertelności wewnątrzszpitalnej na oddziałach ogólnych oraz model śmiertelności 28-dniowej na OIT. Modele te wykazały zdolność dyskryminacyjną podczas walidacji wewnętrznej, a analiza SHAP pomogła scharakteryzować wkład poszczególnych predyktorów w szacunki modelu. Jednakże, ze względu na ograniczoną liczbę zdarzeń śmiertelnych, retrospektywny charakter badania oraz brak walidacji zewnętrznej, wyniki pozostają wstępne i potencjalnie podatne na przeuczenie. Przed rutynowym wdrożeniem klinicznym wymagana jest prospektywna, wieloośrodkowa walidacja zewnętrzna.
Oświadczenia
Autorzy oświadczają, że nie posiadają żadnych konkurencyjnych interesów finansowych lub niefinansowych. Podczas redakcji manuskryptu wykorzystano program ChatGPT (OpenAI) w celu pomocy w edycji językowej, poprawie gramatyki, jasności przekazu i organizacji treści. Narzędzie to nie było wykorzystywane do generowania lub analizowania danych badania ani do samodzielnego wyciągania wniosków naukowych. Wszystkie treści przygotowane przy wsparciu AI zostały krytycznie przejrzane i zweryfikowane przez autorów, którzy ponoszą pełną odpowiedzialność za dokładność, rzetelność i oryginalność manuskryptu. Zgoda na udział: Pisemna świadoma zgoda została uzyskana od wszystkich uczestników lub ich ustawowych przedstawicieli.
Podziękowania
Dziękujemy wszystkim współpracownikom przy tej publikacji za analizę danych i przygotowanie tekstu. Finansowanie: Praca ta była wspierana przez Projekt Wspólnych Innowacji Badawczych 2024 Jiangsu Medical College pomiędzy Uczelnią a Rządem Lokalnym (202491011, 202491007) oraz Biurem Nauki i Technologii w Changzhou (CJ20239026, CJ20244028).
Materiały
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| Boruta (pakiet R) | [version/CRAN] | Algorytm selekcji cech uruchomiony w kohorcie treningowej | |
| glmnet / LASSO (pakiet R) | [version/CRAN] | Regresja LASSO z 10-krotną walidacją krzyżową do selekcji cech | |
| R | R Foundation for Statistical Computing | version 4.3.2 | Otwarte środowisko obliczeń statystycznych |
| Implementacja SHAP | [version] | Shapley Additive Explanations do interpretacji modelu | |
| Stata | StataCorp | version 17.0 | Oprogramowanie statystyczne do analiz konwencjonalnych |
| Implementacja XGBoost | [version] | Model Extreme Gradient Boosting | |
| Platforma analizy Xsmart | [version] | Platforma analizy oparta na uczeniu maszynowym |
Bibliografia
- An Z, Braseth AL, Sahar N. Acute cholangitis: causes, diagnosis, and management. Gastroenterol Clin North Am. 2021;50:403–14.
- Gravito-Soares E, et al. Clinical applicability of Tokyo Guidelines 2018/2013 in diagnosis and severity evaluation of acute cholangitis and determination of a new severity model. Scand J Gastroenterol. 2018;53:329–34.
- Cianci P, Restini E. Management of cholelithiasis with choledocholithiasis: endoscopic and surgical approaches. World J Gastroenterol. 2021;27:4536–54.
- Lan Cheong Wah D, Christophi C, Muralidharan V. Acute cholangitis: current concepts. ANZ J Surg. 2017;87:554–59.
- Cecconi M, Evans L, Levy M, Rhodes A. Sepsis and septic shock. Lancet. 2018;392:75–87.
- Rudd KE, et al. Global, regional, and national sepsis incidence and mortality, 1990–2017: analysis for the Global Burden of Disease Study. Lancet. 2020;395:200–11.
- Xie J, et al. The epidemiology of sepsis in Chinese ICUs: a national cross-sectional survey. Crit Care Med. 2020;48:e209–e218.
- Wilkins T, Agabin E, Varghese J, Talukder A. Gallbladder dysfunction: cholecystitis, choledocholithiasis, cholangitis, and biliary dyskinesia. Prim Care. 2017;44:575–97.
- Qiu X, Lei YP, Zhou RX. SIRS, SOFA, qSOFA, and NEWS in the diagnosis of sepsis and prediction of adverse outcomes: a systematic review and meta-analysis. Expert Rev Anti Infect Ther. 2023;21:891–900.
- Knaus WA, et al. The APACHE III prognostic system: risk prediction of hospital mortality for critically ill hospitalized adults. Chest. 1991;100:1619–36.
- Pötter-Lang S, et al. Modern imaging of cholangitis. Br J Radiol. 2021;94:20210417. doi:10.1259/bjr.20210417.
- Banerjee S. Generating complex explanations for artificial intelligence models: an application to clinical data on severe mental illness. Life (Basel). 2024;14:807. doi:10.3390/life14070807.
- Karako K, Tang W. Applications of and issues with machine learning in medicine: bridging the gap with explainable AI. Biosci Trends. 2024;18:497–504.
- Beliaev AM, Zyul'korneeva S, Rowbotham D, Bergin CJ. Screening acute cholangitis patients for sepsis. ANZ J Surg. 2019;89:1457–61.
- Fathi M, Markazi-Moghaddam N, Ramezankhani A. A systematic review on risk factors associated with sepsis in patients admitted to intensive care units. Aust Crit Care. 2019;32:155–64.
- Liu Q, et al. A nomogram for predicting the risk of sepsis in patients with acute cholangitis. J Int Med Res. 2020;48:300060519866100. doi:10.1177/0300060519866100.
- Singer M, et al. The third international consensus definitions for sepsis and septic shock (Sepsis-3). JAMA. 2016;315:801–10.
- Joffre J, Hellman J, Ince C, Ait-Oufella H. Endothelial responses in sepsis. Am J Respir Crit Care Med. 2020;202:361–70.
- Mitchell E, Pearce MS, Roberts A. Gram-negative bloodstream infections and sepsis: risk factors, screening tools and surveillance. Br Med Bull. 2019;132:5–15.
- Fan S, Ma J. The value of five scoring systems in predicting the prognosis of patients with sepsis-associated acute respiratory failure. Sci Rep. 2024;14:4760. doi:10.1038/s41598-024-55257-5.
- Pérez-Fernández X, et al. Clinical variables associated with poor outcome from sepsis-associated acute kidney injury and the relationship with timing of initiation of renal replacement therapy. J Crit Care. 2017;40:154–60.
- Lambden S, Laterre PF, Levy MM, François B. The SOFA score—development, utility and challenges of accurate assessment in clinical trials. Crit Care. 2019;23:374. doi:10.1186/s13054-019-2663-7.
- Inan O, Sahiner ES, Ates I. Factors associated with clinical outcome in geriatric acute cholangitis patients. Eur Rev Med Pharmacol Sci. 2023;27:3313–21.
- Bakker J, Postelnicu R, Mukherjee V. Lactate: where are we now? Crit Care Clin. 2020;36:115–24.
- Brooks GA. The science and translation of lactate shuttle theory. Cell Metab. 2018;27:757–85.
- Salek J, Livote E, Sideridis K, Bank S. Analysis of risk factors predictive of early mortality and urgent ERCP in acute cholangitis. J Clin Gastroenterol. 2009;43:171–75.
- Schneider J, et al. Mortality risk for acute cholangitis (MAC): a risk prediction model for in-hospital mortality in patients with acute cholangitis. BMC Gastroenterol. 2016;16:15. doi:10.1186/s12876-016-0428-1.
- Lee TW, et al. Incidence, risk factors, and prognosis of acute kidney injury in hospitalized patients with acute cholangitis. PLoS One. 2022;17:e0267023. doi:10.1371/journal.pone.0267023.