Summary
Detta protokoll beskriver koder i R för utvärdering av en konkurrerande riskmodells diskriminerings- och kalibreringsförmåga samt koder för intern och extern validering av den.
Abstract
Cox proportionella riskmodell används i stor utsträckning för överlevnadsanalyser i kliniska miljöer, men den kan inte hantera flera överlevnadsresultat. Till skillnad från den traditionella Cox-proportionella riskmodellen överväger konkurrerande riskmodeller förekomsten av konkurrerande händelser och deras kombination med ett nomogram, en grafisk beräkningsanordning, vilket är ett användbart verktyg för kliniker att genomföra en exakt prognostisk förutsägelse. I denna studie redovisar vi en metod för att fastställa det konkurrerande risknomogrammet, det vill säga utvärderingen av dess diskrimineringsförmåga (dvs. konkordansindex och area under kurvan) och kalibreringsförmåga (dvs. kalibreringskurvor) samt nettonyttan (dvs. beslutskurvanalys). Dessutom utfördes intern validering med bootstrap-omsampling av den ursprungliga datauppsättningen och extern validering med hjälp av en extern dataset av det etablerade konkurrerande risknomogrammet för att visa dess extrapoleringsförmåga. Det konkurrerande risknomogrammet bör fungera som ett användbart verktyg för kliniker att förutsäga prognos med beaktande av konkurrerande risker.
Introduction
Under de senaste åren har nya prognostiska faktorer identifierats med utvecklingen av precisionsmedicin, och prognostiska modeller som kombinerar molekylära och kliniska patologiska faktorer väcker allt större uppmärksamhet i kliniska miljöer. Icke-grafiska modeller, såsom Cox proportionella riskmodell, med resultat av koefficientvärden, är dock svåra för kliniker att förstå1. I jämförelse är ett nomogram ett visualiseringsverktyg för regressionsmodeller (inklusive Cox-regressionsmodellen, konkurrerande riskmodell etc.), ett tvådimensionellt diagram utformat för ungefärlig grafisk beräkning av en matematisk funktion2. Det möjliggör värdering av olika nivåer av variabler i en klinisk modell och beräkning av riskpoäng (RS) för att förutsäga prognos.
Modellutvärdering är avgörande i modellkonstruktion, och två egenskaper är allmänt accepterade för utvärdering: diskriminering och kalibrering. I kliniska modeller avser diskriminering en modells förmåga att skilja individer som utvecklar händelser från dem som inte gör det, såsom patienter som dör kontra de som förblir vid liv, och konkordansindex (C-index) eller området under mottagarens operativa karakteristikkurva (AUC) används vanligtvis för att karakterisera det 3,4. Kalibrering är en process för att jämföra de förutsagda sannolikheterna för en modell med de faktiska sannolikheterna, och kalibreringskurvor har använts i stor utsträckning för att representera den. Dessutom är modellvalidering (intern och extern validering) ett viktigt steg i modellkonstruktionen, och endast validerade modeller kan extrapoleras ytterligare5.
Cox proportionella riskmodell är en regressionsmodell som används inom medicinsk forskning för att undersöka sambanden mellan prognostiska faktorer och överlevnadsstatus. Cox proportionella riskmodell tar emellertid endast hänsyn till två statusar för utfall [Y (0, 1)], medan studieämnen ofta står inför mer än två statuser och konkurrerande risker uppstår [Y (0, 1, 2)]1. Total överlevnad (OS), som definieras som tiden från ursprungsdatum (t.ex. behandling) till dödsdatum oavsett orsak, är det viktigaste effektmåttet i överlevnadsanalys. Operativsystemet misslyckas dock med att skilja cancerspecifik död från icke-cancerspecifik död (t.ex. kardiovaskulära händelser och andra orelaterade orsaker), vilket ignorerar konkurrerande risker6. I dessa situationer föredras den konkurrerande riskmodellen för att förutsäga överlevnadsstatus med beaktande av konkurrerande risker7. Metoden för att konstruera och validera Cox proportionella riskmodeller är väletablerad, medan det har förekommit få rapporter om validering av konkurrerande riskmodeller.
I vår tidigarestudie fastställdes ett specifikt konkurrerande risknomogram, en kombination av ett nomogram och en konkurrerande riskmodell och en riskpoänguppskattning baserad på en konkurrerande riskmodell 8. Denna studie syftar till att presentera olika metoder för utvärdering och validering av det etablerade konkurrerande risknomogrammet, vilket bör fungera som ett användbart verktyg för kliniker att förutsäga prognos med hänsyn till konkurrerande risker.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
SEER-databasen (Surveillance, Epidemiology, and End Results) är en öppen cancerdatabas som endast innehåller avidentifierade patientdata (SEER-ID: 12296-nov2018). Därför var denna studie undantagen från godkännandet av granskningsnämnden för det anslutna Jinhua-sjukhuset, Zhejiang University School of Medicine.
1. Dataförberedelse och förberedelse av R-paket
- Förbered och importera data.
> Dataset <- läs.csv(".../Bröstcancerdata.xlsx") #Import data.
OBS: Uppgifterna laddas upp i kompletterande fil 1. - Installera och ladda R-paketen.
> paket <- c("rms","cmprsk","mstate","survival","riskRegression","
prodlim")
> req.pcg <- function(pcg){
Ny <- PCG[!( pcg %in% installed.packages()[, "Paket"])]
if (längd(ny)) install.packages(ny, beroenden = T)
sapply(pcg; kräv, ch = T)
}
> req.pcg(paket)
Utför följande procedurer baserat på R-programvara (version 3.6.2) med paketen rms, cmprsk, mstate, survival, riskRegression och prodlim (http://www.r-projectrg/).
2. Upprätta konkurrerande risknomogram i två olika metoder
- Upprätta det konkurrerande risknomogrammet i en direkt metod.
> mod_cph <- cph(Surv(Survivalmonths, status) ~ faktor1+ faktor2+...,
x=T, y=T, surv=T, data=Dataset)
> nom <- nomogram(mod_cph, fun=list(function(x) 1-surv_cph(36, x)...),
funlabel=c("3-års event1 Prob." ...), lp=F) #Take den 36:e månaden som exempel.
> mod_crr <- crr(Survivalmonths, fstatus, failcode=1, cov1=cov)
> poäng <- log(log((1-real.3y),(1-cif.min36)))/(maxbeta/100)
> tomt(nom) - Upprätta det konkurrerande risknomogrammet i en viktad metod.
> df.w <- crprep("Survivalmonths"," fstatus",
data=Dataset, trans=c(1,2), cens=0,
behåll=c("faktor1"," faktor2"...))
> mod.w <- cph(Surv(Tstart, Tstop, status==1) ~ factor1+factor2+...,
data=df.w, vikt=vikt.cens, delmängd=failcode==1, surv=T)
> nom.w <- nomogram (mod.w ...)
3. Diskrimineringsförmågan hos det konkurrerande risknomogrammet
- C-index för diskriminering
- Passa in matris-cov i den konkurrerande riskmodellen mod_crr. och få en förutsagd matris-suv.
> SUV <- Predict.CRR(mod_crr, CoV) - Hämta de kumulativa incidenserna under en viss månad från suv och beräkna C-index med funktionen rcorr.cens.
> CIF36 <- SUV[som(SUV[,1]==36),][-1]
> rcorr <- rcorr.cens(1-cif36,Surv(Dataset$Survivalmonths;Dataset$tumordeath))
> cindex <- rcorr[1]
- Passa in matris-cov i den konkurrerande riskmodellen mod_crr. och få en förutsagd matris-suv.
- AUC för diskriminering
- Poängsätt prediktiva prestanda för den konkurrerande riskmodellen med hjälp av funktionen Score (riskRegression-paket).
> fgr.w <- FGR(Hist(Survivalmonths, fstatus) ~ factor1+ factor2+..., data=Dataset, cause=1)
> poäng <- Poäng (lista ("Fingrå" = fgr.w), - Extrahera AUC från "poängen".
> poäng$AUC
- Poängsätt prediktiva prestanda för den konkurrerande riskmodellen med hjälp av funktionen Score (riskRegression-paket).
4. Konkurrerande riskmodellers kalibreringsförmåga
- Kalibreringskurvor med ett 95-procentigt konfidensintervall för den konkurrerande riskmodellen
- Hämta en dataram med de kumulativa förekomsterna för varje individ under en viss feltid.
> cif36 <- data.frame(cif36) #Take den 36 :e månaden som exempel.
> colnames(cif36.36_o)<-c("36m") - Dela kohorten enligt de uppskattade kumulativa incidenserna i fem undergrupper och beräkna den genomsnittliga förväntade kumulativa incidensen för varje undergrupp.
> grupp36 <- cut(cif36$'36m',
kvantil(cif36$'36m', seq(0, 1, 0.2)),
include.lowest = SANT, etiketter = 1:5)
> medelvärde36 <- som.vektor(av(cif36 $'36m', grupp36, medelvärde)) - Beräkna de observerade kumulativa incidenserna, det vill säga de faktiska kumulativa incidenserna, med hjälp av funktionen cuminc, och få sedan de observerade kumulativa incidenserna med ett 95% konfidensintervall under en viss feltid.
> cum36 <- cuminc(Dataset$Survivalmonths,Dataset$fstatus,group36)
> obs36 <- tidpunkter(cum36,Dataset$Survivalmonths)$est[c(1:5),36]
> obs36var <- tidpunkter(cum36,Dataset$Survivalmonths)$var[c(1:5),36]
> df <- data.frame (medelvärde36, obs36, obs36var) - Rita kalibreringskurvan med de förutsagda kumulativa incidenserna som x-axeln och de observerade kumulativa incidenserna som y-axeln med funktionen ggplot.
> ggplot(df)+ geom_point(aes(x=mean36,y=obs36),col="red")+
geom_point(AES(x=medelvärde36,y=OBS36),kol="röd",PCH=4)+
geom_line(col="röd";aes(x=medelvärde36;y=obs36))+
geom_errorbar(col="röd";aes(x=medelvärde36;y=obs36+1,96
*sqrt (obs36var)),
ymin = obs36-1.96 * sqrt (obs36var), ymax = obs36 + 1.96
*sqrt (obs36var))
geom_abline(lty=3;lwd=2;col=c(rgb(0,118,192;
maxColorValue=255)))
- Hämta en dataram med de kumulativa förekomsterna för varje individ under en viss feltid.
- Kalibreringskurva med riskpoäng för den konkurrerande riskmodellen
- Värdera varje nivå av alla variabler och få den totala RS.
> Dataset$factor1[Dataset$factor1==1] <- factor1.scale["Factor1_level1"]
> ... #For exempel, Dataset$histology[Dataset$histology==1]<-histology.scale["Histology1"]
> Dataset$rs <- Dataset$factor1+Dataset$factor2+Dataset$factor3+...
OBS: Hämta den totala RS för varje patient genom att summera poängen för varje variabel. - Räkna frekvenserna och beräkna de observerade kumulativa incidenserna av de olika totala riskpoängen.
> rs.freq <- as.data.frame (tabell (Dataset $ rs))
> obs.36 <- vector(mode="numeric", length=nrow(rs.freq))
> för (i i 1: nrow(rs.freq)) {
dataset <- delmängd(Dataset,Dataset$rs== rs.freq [i,1])
cif.dataset <- cuminc(dataset$Survivalmonths;dataset$death3)
cif36.dataset <- tidpunkter (cif.dataset,36)
obs.36[i] <- cif36.dataset$est[1]} - Ställ in x-axelns intervall och beräkna de förutsagda kumulativa incidenserna för de totala riskpoängen.
> RS <- intervall (nom$total.points)
> x.36 <- seq(min(RS);max(RS);0.01)
> pre.36 <- 1-(1-cif.min36)^exp(x.36*maxbeta/100) - Rita upp kalibreringskurvan med riskpoäng.
> diagram(x.36, pre.36, type='l'...)
> par(ny=SANT)
> plot(as.vector(rs.freq [,1]), obs.36 ... )
- Värdera varje nivå av alla variabler och få den totala RS.
5. Analys av beslutskurvan av konkurrerande riskmodeller
- Källa stdca-funktionen för att utföra analysen av beslutskurvan.
> Källa("Stdca. R") - Extrahera polynomekvationerna från nomogrammet för att beräkna överlevnadssannolikheten.
> nomogramEx(nomo = nom)
> Dataset$predictors <- A * (Dataset$rs ^3) + B * (Dataset$rs ^2) + C * Dataset$rs + D #predictors är förutsagda sannolikheter för cancerspecifik död beräknade med det etablerade nomogrammet - Utför analysen av beslutskurvan.
> stdca(data = Dataset, outcome = "status", ttoutcome = "Survivalmonths", timepoint = 36,
prediktorer = "prediktorer", cmprsk = SANT, smidigt = FALSKT, sannolikhet = FALSKT)
OBS: För att utvärdera ett resultat i närvaro av en konkurrerande risk bör TRUE väljas för cmprsk.
6. Intern validering med bootstrap-metoden
- Hämta de genomsnittliga förutsagda kumulativa incidenserna med bootstrap-metoden.
- Sampla om den ursprungliga datauppsättningen (datauppsättning) med ersätt för att generera bootstrap-datauppsättningen (Dataset_in). Upprätta en konkurrerande riskmodell (mod.in_crr) med bootstrap-datauppsättningen. Använd funktionen predict.crr för att förutsäga mod.in_crr och loopa b-tider för att generera suvall.in.
B=b
suvall.in <- lista()
for(j in 1:B){
Dataset_in <- Dataset[sample(c(1:nrow(Dataset)),nrow(Dataset),
ersätt = SANT),]
bifoga(Dataset_ i)
Cov. i <- model.matrix(~factor1+ factor2+...) [,-1]
mods. i _crr <- crr(Survivalmonths, fstatus, failcode=1, cov1=cov.in)
koppla från(Datauppsättning. inre)
SUV. i <- predict.crr(mod. i _crr, cov)
suvall.in[[j]] <- suv.in} - Få de genomsnittliga förutspådda kumulativa incidenserna under en viss månad.
CIF36ALL. inre <- vector(mode="numeric", length=nrow(Dataset))
för (k i 1:B) {
CIF36ALL. Inner<- CIF36All. Inner+ Suvall. inner[[k]][vilken(suvall. inner[[k]][,1]==36),][-1]
}
cif36.in <- cif36all.in/B
- Sampla om den ursprungliga datauppsättningen (datauppsättning) med ersätt för att generera bootstrap-datauppsättningen (Dataset_in). Upprätta en konkurrerande riskmodell (mod.in_crr) med bootstrap-datauppsättningen. Använd funktionen predict.crr för att förutsäga mod.in_crr och loopa b-tider för att generera suvall.in.
- Beräkna C-index med hjälp av intern korsvalidering med funktionen rcorr.cens.
Rcorr. inre <- rcorr.cens(1-cif36.in,Surv(Dataset$Survivalmonths,Dataset$tumordeath))
cindex. inre <- rcorr. inre[1] - Kalibrera med hjälp av den korsinterna valideringen.
Anmärkning: Koderna för kalibreringskurvan för den konkurrerande riskmodellen med intern validering liknar koderna i avsnitt 4, medan suv ersattes med suv.in.
7. Extern validering av den konkurrerande riskmodellen
- Hämta de förutsagda kumulativa incidenserna med hjälp av externa data. Hämta de förutsagda kumulativa incidenserna med matrisen med externa datavariabler (cov.ex).
SUV.ex <- predict.crr(mod_crr,cov.ex)
cif36.ex <- suv.ex [vilken(suv.ex $time=="36"),][-1] - Beräkna C-index med hjälp av extern validering.
rcorr.ex <- rcorr.cens(1-cif36.ex,Surv(Dataset.ex$Survivalmonths;Dataset.ex$tumordeath))
cindex.ex <- rcorr.ex[1] - Kalibrera med extern validering.
Anmärkning: Koderna för kalibreringskurvan för den konkurrerande riskmodellen med intern validering liknar koderna i avsnitt 4, medan suv ersätts med suv.ex.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
I denna studie hämtades data från patienter med bröstcancer från SEER-databasen och fungerade som exempeldata. SEER-databasen tillhandahåller data om cancer som representerar cirka 34,6% av USA: s befolkning, och tillstånd att komma åt databasen erhölls (referensnummer 12296-nov2018).
Två nomogram (figur 1), båda inklusive histologisk typ, differentierad grad, T-steg och N-steg, upprättades med hjälp av den direkta metoden respektive den viktade metoden. Punkterna för varje nivå av variabler och sannolikheterna som motsvarar de totala poängen var nästan desamma, medan några små skillnader observerades. Zhang et al. introducerade en "viktad" metod för att upprätta ett konkurrerande risknomogram, som först omvandlade originaldata till viktade data (med hjälp av funktionen crprep), sedan konstruerade en Cox-regressionsmodell med viktade data (med funktionen coxph) och slutligen etablerade ett konkurrerande risknomogram med Cox-regressionsmodellen (med funktionsnomogram)9. Däremot är det "direkta" tillvägagångssättet i denna studie helt annorlunda än det "viktade". Kort sagt, parametrarna som genererades från den konkurrerande riskmodellen (med funktion crr) ersatte parametrarna i Cox-regressionsmodellen (med funktionen coxph), som slutligen användes för att fastställa det konkurrerande risknomogrammet (med funktionsnomogram). Vid jämförelsen av de nomogram som fastställts med den "viktade" metoden och den "direkta" metoden var de två nomogrammen i allmänhet likartade, medan vissa små skillnader kunde observeras. Den "direkta" metoden i studien är mer exakt eftersom den erhåller parametrarna för att konstruera nomogrammet direkt (med formeln "score=log(log((1-real.3y),(1-cif.min36))))/(maxbeta/100)" i avsnitt 2).
I rcorr.cens(X, Surv) är X en numerisk prediktor med kumulativ incidens vid vilken tidpunkt som helst, och Surv är ett överlevnadsobjekt som innehåller överlevnadsmånader och status. När Surv definierar patienter som upplever konkurrerande händelser som censurerade och sedan genererar en livslängdstabell är det utvärderbara ordnade paret identiskt. C-index för den konkurrerande riskmodellen utan validering var 0,7978 (95% CI = 0,7650-0,8305), vilket indikerar att denna modell hade måttlig diskrimineringsförmåga. Bootstrap-analysen upprepades 500 gånger, och de 500 resultaten beräknades sedan i genomsnitt för att producera en enda uppskattning för beräkning av C-index. C-index i den interna valideringen var 0,7978 (95% CI = 0,7651-0,8305), vilket liknade C-index i det ursprungliga datasetet. Ett externt dataset anpassades till den konkurrerande riskmodellen och C-index i den externa valideringen var 0,5071 (95% CI = 0,4637-0,5505). AUC för den konkurrerande riskmodellen beräknades från det ursprungliga datasetet i studien. AUC i den 36:e månaden var 0,8461 (95 % KI = 0,8232-0,8691), vilket visar modellens diskrimineringsförmåga.
Som visas i figur 2A var punkterna på kalibreringskurvan nära ekvivalenslinjen och 95 % CI för den observerade frekvensen föll in i ekvivalenslinjen i varje grupp, vilket indikerar modellens exakta kalibreringsförmåga. Kalibreringskurvor med intern och extern validering visas i figur 2B respektive figur 2C, vilket indikerar att den konstruerade modellen hade en god kalibreringsförmåga i den interna valideringen men en dålig i den externa valideringen.
Som visas i kompletterande figur 1 var de punkter som representerar de observerade kumulativa incidenserna fördelade runt linjen som representerar de förutsagda kumulativa incidenserna, och inga signifikanta skillnader observerades mellan de observerade och förväntade incidenserna. Resultaten av analysen av beslutskurvan visas i figur 3, som visar förändringarna i nettonyttan med ökande tröskelsannolikhet.
Figur 1: Upprättande av det konkurrerande risknomogrammet med två metoder . a) Nomogram upprättat med den direkta metoden. b) Nomogram fastställt enligt viktad metod. Histologi: 1, invasivt duktalt karcinom; 2, invasivt lobulärt karcinom; 3, invasivt duktalt karcinom + invasivt lobulärt karcinom. Betyg: 1, väldifferentierad; 2, måttligt differentierad; 3, dåligt differentierad. T-steg: 1, T1-steg; 2, T2-steget; 3, T3-steget; 4, T4-steget. N-steg: 0, N0-steg; 1, N1-steget; 2, N2-steget; 3, N3-steget. Förkortning: CSD = cancerspecifik död. Klicka här för att se en större version av denna figur.
Figur 2: Kalibreringskurvor för det konkurrerande risknomogrammet . a) Kalibreringskurva med konfidensintervall för den etablerade konkurrerande riskmodellen. b) Kalibreringskurva för den konkurrerande riskmodellen i den interna valideringen. c) Kalibreringskurva för den konkurrerande riskmodellen i den externa valideringen. Klicka här för att se en större version av denna figur.
Figur 3: Analys av beslutskurvan för det konkurrerande risknomogrammet. Nettovinsten plottas mot tröskelsannolikheten. Linjen "alla" visar nettovinsten genom att överväga alla patienter som drabbades av cancerspecifik död, och "ingen" -linjen är nettovinsten genom att överväga alla patienter som inte drabbades av cancerspecifik död. Klicka här för att se en större version av denna figur.
Kompletterande fil 1: Uppgifter om bröstcancer. Titeldefinition: betygändra, differentierad betyg; histologi, histologisk typ; stageT, tumör T-steg; stadiumN, tumör N-steg; Överlevnadsmånader, tiden från behandlingsdagen till dödsdagen på grund av någon orsak eller censor; Dödsfall, dödsfall (inklusive cancerspecifik död och icke-cancerspecifik död) eller censur. död3, cancerspecifik död, icke-cancerspecifik död eller censur. Klicka här för att ladda ner den här filen.
Kompletterande figur 1: Kalibreringskurva med riskpoäng för den etablerade konkurrerande riskmodellen. Punkterna som representerade de observerade kumulativa incidenserna fördelades runt linjen som representerar de förutsagda kumulativa incidenserna. Klicka här för att ladda ner den här filen.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Denna studie jämförde konkurrerande risknomogram etablerade med två olika metoder och genomförde utvärdering och validering av de etablerade nomogrammen. Specifikt gav denna studie en steg-för-steg-handledning för att fastställa nomogrammet baserat på en direkt metod, samt beräkna C-index och plotta kalibreringskurvorna.
RMS-paketet i R-programvara används ofta för konstruktion och utvärdering av Cox proportionella riskmodeller, men det är inte tillämpligt för konkurrerande riskmodeller. För modeller med flera utfall rapporterade Zhang et al. en validering av konkurrerande riskmodeller med hjälp av riskRegression-paketet i R-programvara, som beräknar AUC- och Brier-poängen för att utvärdera diskrimineringsförmågan och plottar kalibreringskurvor för att validera kalibreringsförmågan 9,10.
RiskRegression-paketet har dock vissa brister, till exempel ett misslyckande med att beräkna C-index. C-index är andelen konkordanta utvärderbara ordnade par i alla utvärderbara ordnade par (C-index = konkordanta utvärderbara ordnade par/alla utvärderbara ordnade par)3,11. I traditionell överlevnadsanalys med två statusutfall kan endast par där de två patienterna båda drabbas av döden (Di = 1, Dj = 1) eller patienten som lider av döden har kortare överlevnadsmånader än patienten som misslyckas bli ett utvärderingsbart ordnat par (Di = 1, Dj = 0, Ti < Tj) (i = patient i, j = patient j, T = tid, D = status, 1 = död, 0 = misslyckande). När det gäller konkurrerande risker förblir patienter som inte klarar av den konkurrerande risken fortfarande i riskuppsättningen eftersom det bara kan dra slutsatsen att patienter som upplever konkurrerande händelser har längre överlevnadsmånader än observerade. Dessutom kan endast par där de två patienterna båda drabbas av döden (Di = 1, Dj = 1) eller patienten som lider av döden har kortare överlevnadsmånader än patienten som misslyckas eller upplever en konkurrerande händelse bli ett utvärderingsbart ordnat par (Di = 1, Dj = 0|2, Ti < Tj) (i = patienter i, j = patient j, T = tid, D = status, 2 = tävlande händelse, 1 = död, 0 = misslyckande). Därför använde denna studie funktionen rcorr.cens för att beräkna C-index.
I den interna valideringen av den konkurrerande riskmodellen tillämpade denna studie bootstrap-metoden och visade god prestanda hos den konstruerade modell12. En slumpmässig uppdelning i tränings- och testdatamängder kan vara problematisk eftersom testdatamängden sannolikt är särskilt lätt (eller svår) att förutsäga13. K-fold-metoden kan också användas för korsvalidering, medan den har tillämpats mindre ofta i modellvalidering 5,14. Denna studie genomförde också en extern validering av den konkurrerande riskmodellen, men den fungerade inte bra i det externa sammanhanget. Detta kan tillskrivas det faktum att våra data som användes för den externa valideringen bara var ett omprov av originaldata.
Det finns dock flera begränsningar i denna studie. För det första är vår metodik baserad på R-programvara; Därför behöver användarna en viss programmeringskunskap, vilket kan begränsa målgruppen. Dessutom finns det hundratals kodrader, och vissa koder behöver ändras för olika data; Vi hoppas kunna utveckla ett "allt-i-ett" R-paket i framtida forskning som kan tillämpas på alla typer av data. Denna studie har inga andra bröstcancerdata för att genomföra en extern validering och hade inget annat val än att ompröva från originaldata, men metoderna och koderna för extern validering är desamma. Viktigast av allt är att linjäriteten mellan kovariater och resultat som antas i studien kanske inte stämmer i en verklig studie, och interaktion och icke-linjäritet bör övervägas, för vilken ensemblemodellering kan vara till hjälp15.
Sammanfattningsvis etablerade denna studie det konkurrerande risknomogrammet i en "direkt" metod och utvärderade dess diskriminerings- och kalibreringsförmåga i ursprungliga, interna och externa dataset. Förhoppningen är att det konkurrerande risknomogrammet ska fungera som ett komplement till riskRegression-paketet i R och ge hjälp vid hantering av kliniska konkurrerande riskhändelser.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Författarna förklarar att de inte har några konkurrerande intressen.
Acknowledgments
Studien stöddes av bidrag från Medical Science & Technology Plan Project i Zhejiang-provinsen (bidragsnummer 2013KYA212), det allmänna programmet för Zhejiang Province Natural Science Foundation (bidragsnummer Y19H160126) och nyckelprogrammet för Jinhua Municipal Science & Technology Bureau (bidragsnummer 2016-3-005, 2018-3-001d och 2019-3-013).
Materials
| Name | Company | Catalog Number | Comments |
| R software | None | Not Applicable | Version 3.6.2 or higher |
| Computer system | Microsoft | Windows 10 | Windows 10 or higher |
References
- Andersen, P. K., Gill, R. D. Cox's regression model for counting processes: A large sample study. The Annals of Statistics. 10 (4), 1100-1120 (1982).
- Lubsen, J., Pool, J., vander Does, E. A practical device for the application of a diagnostic or prognostic function. Methods of Information in Medicine. 17 (2), 127-129 (1978).
- Harrell, F. E., Lee, K. L., Mark, D. B. Multivariable prognostic models: Issues in developing models, evaluating assumptions and adequacy, and measuring and reducing errors. Statistics In Medicine. 15 (4), 361-387 (1996).
- Hung, H., Chiang, C. -T. Estimation methods for time-dependent AUC models with survival data. The Canadian Journal of Statistics / La Revue Canadienne de Statistique. 38 (1), 8-26 (2010).
- Moons, K. G. M., et al. Risk prediction models: I. Development, internal validation, and assessing the incremental value of a new (bio)marker. Heart. 98 (9), 683-690 (2012).
- Fu, J., et al. Real-world impact of non-breast cancer-specific death on overall survival in resectable breast cancer. Cancer. 123 (13), 2432-2443 (2017).
- Fine, J. P., Gray, R. J. A proportional hazards model for the subdistribution of a competing risk. Journal of the American Statistical Association. 94 (446), 496-509 (1999).
- Wu, L., et al. Establishing a competing risk regression nomogram model for survival data. Journal of Visualized Experiments. (164), e60684 (2020).
- Zhang, Z., Geskus, R. B., Kattan, M. W., Zhang, H., Liu, T. Nomogram for survival analysis in the presence of competing risks. Annals of Translational Medicine. 5 (20), 403 (2017).
- Zhang, Z. H., et al. Overview of model validation for survival regression model with competing risks using melanoma study data. Annals Of Translational Medicine. 6 (16), 325 (2018).
- Newson, R. Confidence intervals for rank statistics: Somers' D and extensions. Stata Journal. 6 (3), 309-334 (2006).
- Davison, A. C., Hinkley, D. V., Schechtman, E.
- Roecker, E. B. Prediction error and its estimation for subset-selected models. Technometrics. 33 (4), 459-468 (1991).
- Steyerberg, E. W., Harrell, F. E. Prediction models need appropriate internal, internal-external, and external validation. Journal of Clinical Epidemiology. 69, 245-247 (2016).
- Zhang, Z., Chen, L., Xu, P., Hong, Y. Predictive analytics with ensemble modeling in laparoscopic surgery: A technical note. Laparoscopic, Endoscopic and Robotic Surgery. 5 (1), 25-34 (2022).
