Een R-gebaseerde landschapsvalidatie van een concurrerend risicomodel
Summary
Het huidige protocol beschrijft codes in R voor het evalueren van de discriminatie- en kalibratiecapaciteiten van een concurrerend risicomodel, evenals codes voor de interne en externe validatie ervan.
Abstract
Het Cox proportioneel gevarenmodel wordt veel toegepast voor overlevingsanalyses in klinische omgevingen, maar het is niet in staat om meerdere overlevingsuitkomsten aan te kunnen. Anders dan het traditionele Cox proportionele gevarenmodel, houden concurrerende risicomodellen rekening met de aanwezigheid van concurrerende gebeurtenissen en hun combinatie met een nomogram, een grafisch rekenapparaat, dat een nuttig hulpmiddel is voor clinici om een nauwkeurige prognostische voorspelling uit te voeren. In deze studie rapporteren we een methode voor het vaststellen van het concurrerende risiconomogram, dat wil zeggen de evaluatie van de discriminatie (d.w.z. concordantie-index en oppervlakte onder de curve) en kalibratiemogelijkheden (d.w.z. kalibratiecurven), evenals het nettovoordeel (d.w.z. beslissingscurveanalyse). Daarnaast werden interne validatie met behulp van bootstrap-resamples van de oorspronkelijke dataset en externe validatie met behulp van een externe dataset van het gevestigde concurrerende risiconomogram ook uitgevoerd om het extrapolatievermogen ervan aan te tonen. Het concurrerende risiconomogram moet dienen als een nuttig hulpmiddel voor clinici om de prognose te voorspellen met inachtneming van concurrerende risico’s.
Introduction
In de afgelopen jaren zijn opkomende prognostische factoren geïdentificeerd met de ontwikkeling van precisiegeneeskunde, en prognostische modellen die moleculaire en clinicopathologische factoren combineren, trekken steeds meer aandacht in klinische omgevingen. Niet-grafische modellen, zoals het Cox proportioneel gevarenmodel, met resultaten van coëfficiëntwaarden, zijn echter moeilijk te begrijpen voor clinici1. Ter vergelijking: een nomogram is een visualisatietool van regressiemodellen (inclusief het Cox-regressiemodel, concurrerend risicomodel, enz.), Een tweedimensionaal diagram dat is ontworpen voor de geschatte grafische berekening van een wiskundige functie2. Het maakt de waardering van verschillende niveaus van variabelen in een klinisch model en de berekening van risicoscores (RS) mogelijk om de prognose te voorspellen.
Modelevaluatie is essentieel in modelbouw en twee kenmerken worden algemeen aanvaard voor evaluatie: discriminatie en kalibratie. In klinische modellen verwijst discriminatie naar het vermogen van een model om individuen die gebeurtenissen ontwikkelen te scheiden van degenen die dat niet doen, zoals patiënten die sterven versus degenen die in leven blijven, en de concordantie-index (C-index) of het gebied onder de operationele karakteristieke curve van de ontvanger (AUC) worden meestal gebruikt om het te karakteriseren 3,4. Kalibratie is een proces waarbij de voorspelde waarschijnlijkheden van een model worden vergeleken met de werkelijke waarschijnlijkheden, en kalibratiecurven zijn op grote schaal gebruikt om het weer te geven. Daarnaast is modelvalidatie (interne en externe validatie) een belangrijke stap in de modelbouw en kunnen alleen gevalideerde modellen verder worden geëxtrapoleerd5.
Het Cox proportioneel gevarenmodel is een regressiemodel dat in medisch onderzoek wordt gebruikt voor het onderzoeken van de associaties tussen prognostische factoren en overlevingsstatus. Het Cox proportioneel gevarenmodel houdt echter slechts rekening met twee statussen van uitkomst [Y (0, 1)], terwijl proefpersonen vaak met meer dan twee statussen worden geconfronteerd en concurrerende risico’s ontstaan [Y (0, 1, 2)]1. Totale overleving (OS), die wordt gedefinieerd als de tijd vanaf de datum van oorsprong (bijv. Behandeling) tot de datum van overlijden als gevolg van welke oorzaak dan ook, is het belangrijkste eindpunt in overlevingsanalyse. Het besturingssysteem slaagt er echter niet in om kankerspecifieke sterfte te onderscheiden van niet-kankerspecifieke sterfte (bijv. Cardiovasculaire gebeurtenissen en andere niet-gerelateerde oorzaken), waardoor concurrerende risico’s worden genegeerd6. In deze situaties heeft het concurrerende risicomodel de voorkeur voor de voorspelling van de overlevingsstatus met inachtneming van concurrerende risico’s7. De methodologie voor het construeren en valideren van Cox proportionele gevarenmodellen is goed ingeburgerd, terwijl er weinig rapporten zijn geweest over de validatie van concurrerende risicomodellen.
In onze vorige studie werden een specifiek concurrerend risiconomogram, een combinatie van een nomogram en een concurrerend risicomodel en een schatting van de risicoscore op basis van een concurrerend risicomodel vastgesteld8. Deze studie heeft tot doel verschillende methoden voor evaluatie en validatie van het gevestigde concurrerende risiconomogram te presenteren, wat zou moeten dienen als een nuttig hulpmiddel voor clinici om de prognose te voorspellen met inachtneming van concurrerende risico’s.
Protocol
Representative Results
Discussion
Deze studie vergeleek concurrerende risiconomogrammen die met twee verschillende methoden waren vastgesteld en voerde evaluatie en validatie van de gevestigde nomogrammen uit. In het bijzonder bood deze studie een stapsgewijze zelfstudie voor het vaststellen van het nomogram op basis van een directe methode, evenals het berekenen van de C-index en het uitzetten van de kalibratiecurven.
Het rms-pakket in R-software wordt veel gebruikt voor de constructie en evaluatie van Cox-proportion…
Disclosures
The authors have nothing to disclose.
Acknowledgements
De studie werd ondersteund door subsidies van het Medical Science & Technology Plan Project van de provincie Zhejiang (subsidienummers 2013KYA212), het algemene programma van de Zhejiang Province Natural Science Foundation (subsidienummer Y19H160126) en het belangrijkste programma van het Jinhua Municipal Science & Technology Bureau (subsidienummer 2016-3-005, 2018-3-001d en 2019-3-013).
Materials
| R software | None | Not Applicable | Version 3.6.2 or higher |
| Computer system | Microsoft | Windows 10 | Windows 10 or higher |
References
- Andersen, P. K., Gill, R. D. Cox’s regression model for counting processes: A large sample study. The Annals of Statistics. 10 (4), 1100-1120 (1982).
- Lubsen, J., Pool, J., vander Does, E. A practical device for the application of a diagnostic or prognostic function. Methods of Information in Medicine. 17 (2), 127-129 (1978).
- Harrell, F. E., Lee, K. L., Mark, D. B. Multivariable prognostic models: Issues in developing models, evaluating assumptions and adequacy, and measuring and reducing errors. Statistics In Medicine. 15 (4), 361-387 (1996).
- Hung, H., Chiang, C. -. T. Estimation methods for time-dependent AUC models with survival data. The Canadian Journal of Statistics / La Revue Canadienne de Statistique. 38 (1), 8-26 (2010).
- Moons, K. G. M., et al. Risk prediction models: I. Development, internal validation, and assessing the incremental value of a new (bio)marker. Heart. 98 (9), 683-690 (2012).
- Fu, J., et al. Real-world impact of non-breast cancer-specific death on overall survival in resectable breast cancer. Cancer. 123 (13), 2432-2443 (2017).
- Fine, J. P., Gray, R. J. A proportional hazards model for the subdistribution of a competing risk. Journal of the American Statistical Association. 94 (446), 496-509 (1999).
- Wu, L., et al. Establishing a competing risk regression nomogram model for survival data. Journal of Visualized Experiments. (164), e60684 (2020).
- Zhang, Z., Geskus, R. B., Kattan, M. W., Zhang, H., Liu, T. Nomogram for survival analysis in the presence of competing risks. Annals of Translational Medicine. 5 (20), 403 (2017).
- Zhang, Z. H., et al. Overview of model validation for survival regression model with competing risks using melanoma study data. Annals Of Translational Medicine. 6 (16), 325 (2018).
- Newson, R. Confidence intervals for rank statistics: Somers’ D and extensions. Stata Journal. 6 (3), 309-334 (2006).
- Davison, A. C., Hinkley, D. V., Schechtman, E. Efficient bootstrap simulation. Biometrika. 73 (3), 555-566 (1986).
- Roecker, E. B. Prediction error and its estimation for subset-selected models. Technometrics. 33 (4), 459-468 (1991).
- Steyerberg, E. W., Harrell, F. E. Prediction models need appropriate internal, internal-external, and external validation. Journal of Clinical Epidemiology. 69, 245-247 (2016).
- Zhang, Z., Chen, L., Xu, P., Hong, Y. Predictive analytics with ensemble modeling in laparoscopic surgery: A technical note. Laparoscopic, Endoscopic and Robotic Surgery. 5 (1), 25-34 (2022).
