Walidacja krajobrazu konkurencyjnego modelu ryzyka w oparciu o R
16 września 2022
Obecny protokół opisuje kody w R do oceny zdolności rozróżniania i kalibracji konkurencyjnego modelu ryzyka, a także kody do jego wewnętrznej i zewnętrznej walidacji.
Nasz protokół przedstawia różne metody oceny i walidacji konkurencyjnego nomogramu ryzyka; , który uwzględnia obecność konkurujących ze sobą zdarzeń w analizie przeżycia. Protokół ten służy jako uzupełnienie pakietu regresji ryzyka w R.Takich jak obliczanie indeksu C i wewnętrzna walidacja przy użyciu metody bootstrap. Aby rozpocząć dyskryminację za pomocą indeksu C, dopasuj macierz cob do konkurencyjnego modelu ryzyka mod CRR i uzyskaj przewidywaną macierz SUV, wykonując polecenie.
Pobierz skumulowane przypadki występowania w danym miesiącu z SUV i oblicz indeks C za pomocą funkcji R-core wysyła. W przypadku dyskryminacji AUC oceń wydajność predykcyjną konkurencyjnego modelu ryzyka, korzystając z wyniku funkcji, pakietu regresji ryzyka. Następnie wyodrębnij AUC z wyniku, wykonując polecenie.
Aby uzyskać krzywe kalibracyjne z 95% przedziałem ufności konkurencyjnego modelu ryzyka, należy uzyskać ramkę danych ze skumulowanymi częstościami występowania każdej osoby w określonym czasie awarii. Następnie podziel kohortę zgodnie z szacowaną skumulowaną częstością występowania na pięć podgrup i oblicz średnią przewidywaną skumulowaną częstość występowania każdej podgrupy. Oblicz zaobserwowane skumulowane częstości występowania, czyli rzeczywiste skumulowane częstości występowania za pomocą funkcji cuminc.
A następnie uzyskaj zaobserwowane skumulowane przypadki z 95% przedziałem ufności w określonym czasie awarii, wykonując polecenie. Wykreślić krzywą kalibracyjną z przewidywanymi skumulowanymi częstościami występowania jako osią X i obserwowanymi skumulowanymi częstościami występowania jako osią Y. Korzystanie z funkcji gg plot.
W przypadku krzywej kalibracyjnej z wynikami ryzyka konkurencyjnego modelu ryzyka należy wycenić każdy poziom wszystkich zmiennych i uzyskać całkowitą RS, wykonując polecenie. Policz częstości występowania i oblicz zaobserwowane skumulowane częstości występowania różnych całkowitych punktów ryzyka. Ustaw zakres osi X i oblicz przewidywane skumulowane przypadki występowania całkowitych wyników ryzyka.
Następnie wykreśl krzywą kalibracyjną z ocenami ryzyka, wykonując polecenie. Aby uzyskać średnią przewidywaną skumulowaną częstość występowania przy użyciu metody bootstrap, należy ponownie próbkować oryginalny zestaw danych, zestaw danych z funkcją replace, w celu wygenerowania zestawu danych bootstrap. Zbiór danych w.
Następnie ustal konkurencyjny model ryzyka:mod NCRR z zestawem danych bootstrap i użyj funkcji przewidywaj CRR, aby przewidzieć mod NCRR w pętli B razy, aby wygenerować SUV all-in. Następnie uzyskaj średnią przewidywaną skumulowaną częstość występowania w danym miesiącu. Oblicz indeks C przy użyciu krzyżowej walidacji interwałowej z funkcją R-core sens.
W celu kalibracji, przy użyciu walidacji zewnętrznej, uzyskaj przewidywane skumulowane częstości występowania przy użyciu danych zewnętrznych i skumulowane przypadki występowania z macierzą zmiennych danych zewnętrznych:Kod-X, wykonując polecenie. Następnie oblicz indeks C za pomocą zewnętrznej walidacji Wykonując polecenie. Uzyskano dwa nomogramy metodą bezpośrednią i metodą ważoną, wykazując, że punkty każdego poziomu zmiennych i prawdopodobieństwa odpowiadające sumie punktów były prawie takie same.
Podczas gdy zaobserwowano pewne niewielkie różnice. Krzywa kalibracyjna dla konkurencyjnego modelu ryzyka była zbliżona do linii równoważności, a 95-procentowy przedział ufności obserwowanej częstości mieścił się w linii równoważności w każdej grupie. Wskazanie dokładnej zdolności kalibracyjnej modelu.
Przedstawiono krzywe kalibracyjne z wykorzystaniem walidacji wewnętrznej i zewnętrznej, co wskazuje, że skonstruowany model miał dobrą zdolność kalibracji w walidacji wewnętrznej; ale słaby w walidacji zewnętrznej. Uzyskano wyniki analizy krzywej decyzyjnej konkurencyjnego nomogramu ryzyka. Wykazanie zmian w korzyści netto z rosnącym prawdopodobieństwem progowym.
Ponowne próbkowanie oryginalnego zestawu danych zostało zastąpione w celu wygenerowania zestawu danych bootstrap, co jest ważne w przeprowadzaniu wewnętrznej walidacji konkurencyjnego nomogramu ryzyka. Oprócz metody bootstrap, losowe wyświetlanie i metoda K4 mogą być również wykonywane do generowania zestawów danych używanych do wewnętrznej walidacji. Korzystając z naszej opartej na języku R walidacji konkurencyjnego modelu ryzyka, klinicyści mogą łatwiej przeprowadzić analizę prognozy w świecie rzeczywistym, biorąc pod uwagę konkurencyjne ryzyko.
Wyświetl pełny transkrypt i uzyskaj dostęp do tysięcy filmów naukowych
Przegląd
Niniejszy protokół przedstawia metody oceny i walidacji konkurencyjnych modeli ryzyka w analizie przeżywalności. Zawiera on kody w języku R służące do oceny zdolności dyskryminacyjnej i kalibracji, a także techniki walidacji wewnętrznej i zewnętrznej.
Kluczowe elementy badania
Dziedzina nauki
- Analiza przeżycia
- Ryzyka konkurencyjne
- Modelowanie statystyczne
Wstęp
- Modele ryzyka konkurencyjnego uwzględniają występowanie zdarzeń konkurencyjnych w danych o przeżywalności.
- Metryki oceny, takie jak wskaźnik C (C-index) i AUC, są kluczowe dla oceny wydajności modelu.
- Metody bootstrapowe są powszechnie stosowane do walidacji wewnętrznej.
- Niniejszy protokół uzupełnia pakiet risk regression w środowisku R.
Cel badania
- Aby zapewnić kompleksowy przewodnik po ocenie nomogramów ryzyka konkurencyjnego.
- Aby zwiększyć zrozumienie kalibracji i dyskryminacji modelu.
- Aby ułatwić stosowanie metod statystycznych w analizie przeżycia.
Zastosowane metody
- Obliczanie indeksu C w celu oceny dyskryminacji modelu.
- Zastosowanie metod bootstrapowych do walidacji wewnętrznej.
- Wyznaczenie AUC do oceny wydajności predykcyjnej.
- Implementacja poleceń języka R do dopasowania i oceny modelu.
Główne wyniki
- Pomyślne obliczenie skumulowanych częstości występowania na podstawie macierzy przewidywań.
- Przedstawione metody oceny i walidacji modeli ryzyka konkurencyjnego.
- Dostarczone przejrzyste przykłady kodu w języku R w celu zapewnienia powtarzalności.
- Podkreślenie znaczenia oceny modelu w analizie przeżywalności.
Wnioski
- Protokół oferuje cenne narzędzia dla badaczy zajmujących się analizą przeżywalności.
- Kładzie on nacisk na konieczność rygorystycznej oceny modeli konkurencyjnych ryzyk.
- Przyszłe zastosowania mogą opierać się na tych metodach w celu zwiększenia dokładności modeli.
Najczęściej zadawane pytania
Znaczenie dla przemysłu
Modele ryzyka konkurencyjnego, zwalidowane za pomocą solidnych przepływów pracy w środowisku R, rozwiązują ograniczenia tradycyjnej analizy przeżycia poprzez kwantyfikację wielu możliwych wyników zdarzeń w zbiorach danych klinicznych. Podejście to zwiększa pewność prognostyczną i wspiera podejmowanie decyzji z uwzględnieniem ryzyka w krytycznych punktach zwrotnych odkryć i badań translacyjnych. Niezawodna kalibracja modeli oraz wskaźniki dyskryminacji umożliwiają zespołom biofarmaceutycznym priorytetyzację celów i stratyfikację populacji pacjentów z większą precyzją.
Strategiczne zastosowania w badaniach i rozwoju biofarmaceutycznym
Wczesne odkrywanie i walidacja celu
- Umożliwia rygorystyczną weryfikację hipotez poprzez uwzględnienie konkurencyjnych wyników klinicznych w danych o przeżywalności.
- Wspiera funkcjonalną walidację celu poprzez ilościowe kryteria rozróżniania i metryki kalibracji.
- Ułatwia określenie pewności prognostycznej w celu wczesnej selekcji portfolio i ograniczania ryzyka mechanistycznego.
Przesiewanie i opracowywanie testów
- Przygotowuje zwalidowane modele statystyczne dla późniejszych etapów procesów translacyjnych.
- Standaryzuje ocenę modelu z wykorzystaniem wskaźnika C-index, AUC oraz krzywych kalibracyjnych w celu zapewnienia powtarzalności.
- Umożliwia skalowalną, ilościową ocenę biomarkerów prognostycznych i czynników ryzyka.
Badania translacyjne i przedkliniczne
- Dostosowuje wyniki modelu do rzeczywistych punktów końcowych w klinice w celu zapewnienia ciągłości translacyjnej.
- Wspiera decyzje o dalszym rozwoju korygowane o ryzyko poprzez kwantyfikację korzyści netto za pomocą analizy krzywej decyzyjnej.
- Zapewnia ramy dla walidacji zewnętrznej, gwarantując generalizację modelu w różnych zbiorach danych.
Integracja rurociągów i przepływów pracy
Niniejszy protokół walidacji oparty na języku R integruje etapy od wczesnego odkrywania po badania translacyjne, wspierając identyfikację wiodących związków oraz wybór modeli przedklinicznych w obecności konkurencyjnych ryzyk.
- Biologia odkrywcza: Ilościowo określa wpływ konkurencyjnych zdarzeń, wyjaśniając szlaki biologiczne i zmniejszając niejednoznaczność mechanizmów.
- Przesiewanie: Dostarcza powtarzalne, ilościowe wyniki (wskaźnik C, AUC) do porównywania modeli i oceny gotowości testu.
- Analityka: Zapewnia krzywe kalibracyjne i analizę krzywych decyzyjnych w celu oceny wydajności predykcyjnej.
- Badania translacyjne: Umożliwia walidację zewnętrzną dla zapewnienia ciągłości między zestawami danych z etapu odkryć a danymi klinicznymi.
- Ponowne wykorzystanie w przedsiębiorstwie: Tworzy wielokrotnego użytku ramy walidacji statystycznej dla różnorodnych zastosowań analizy przeżycia.
Wpływ operacyjny i przedsiębiorczy
- Wartość naukowa: Zwiększa pewność prognostyczną i walidację celu poprzez integrację analizy ryzyk konkurencyjnych.
- Wartość operacyjna: Standaryzuje ewaluację i walidację modelu w celu zapewnienia powtarzalności i skalowalności.
- Wartość strategiczna: Wspiera decyzje o kontynuacji lub przerwaniu projektu (go/no-go) i redukuje ryzyko biologiczne na późnych etapach dzięki solidnym wynikom statystycznym.
- Wpływ na portfolio: Wspiera priorytetyzację skorygowaną o ryzyko oraz rozwój aktywów w oparciu o zwalidowane modele prognostyczne.
Uwagi dotyczące wdrożenia
- Wymagana jest biegłość w języku R oraz w statystycznych metodach analizy przeżycia.
- Wymagany jest dostęp do wydajnej infrastruktury obliczeniowej dla procesów bootstrapowania i zewnętrznej walidacji.
- Konieczna jest standaryzacja metryk oceny modelu i raportowania między zespołami.
- Możliwa może być konieczność adaptacji dla różnych modeli chorób lub klinicznych punktów końcowych.
- Wydajność walidacji zewnętrznej może różnić się w zależności od heterogeniczności zbiorów danych i częstości występowania zdarzeń.
Najczęściej zadawane pytania dotyczące biofarmacji
Chapters in this video
0:04
Introduction
0:35
Discrimination Ability of the Competing Risk Nomogram
1:17
Calibration Ability of Competing Risk Models
2:42
Internal Validation Using the Bootstrap Method and External Validation of the Competing Risk Model
3:45
Results: Codes for Evaluating the Discrimination and Calibration Abilities of a Competing Risk Model
4:44
Conclusion
