Eine R-basierte Landschaftsvalidierung eines konkurrierenden Risikomodells
Summary
Das vorliegende Protokoll beschreibt Codes in R zur Bewertung der Unterscheidungs- und Kalibrierungsfähigkeiten eines konkurrierenden Risikomodells sowie Codes für die interne und externe Validierung eines Modells.
Abstract
Das Cox-Modell der proportionalen Gefährdung wird häufig für Überlebensanalysen im klinischen Umfeld eingesetzt, ist jedoch nicht in der Lage, mehrere Überlebensergebnisse zu bewältigen. Im Gegensatz zum traditionellen Cox-Proportional-Hazard-Modell berücksichtigen konkurrierende Risikomodelle das Vorhandensein konkurrierender Ereignisse und deren Kombination mit einem Nomogramm, einem grafischen Berechnungsgerät, das ein nützliches Werkzeug für Kliniker ist, um eine präzise prognostische Vorhersage durchzuführen. In dieser Studie berichten wir über eine Methode zur Etablierung des konkurrierenden Risikonomogramms, d.h. die Bewertung seiner Diskriminationsfähigkeit (d.h. Konkordanzindex und Fläche unter der Kurve) und Kalibrierungsfähigkeiten (d.h. Kalibrierungskurven) sowie des Nettonutzens (d.h. Entscheidungskurvenanalyse). Darüber hinaus wurden auch eine interne Validierung mit Bootstrap-Resamples des ursprünglichen Datensatzes und eine externe Validierung mit einem externen Datensatz des etablierten konkurrierenden Risikonomogramms durchgeführt, um dessen Extrapolationsfähigkeit zu demonstrieren. Das Nomogramm des konkurrierenden Risikos sollte als nützliches Instrument für Kliniker dienen, um die Prognose unter Berücksichtigung konkurrierender Risiken vorherzusagen.
Introduction
In den letzten Jahren wurden mit der Entwicklung der Präzisionsmedizin neue Prognosefaktoren identifiziert, und Prognosemodelle, die molekulare und klinisch-pathologische Faktoren kombinieren, erregen zunehmend Aufmerksamkeit im klinischen Umfeld. Nicht-grafische Modelle, wie z. B. das Cox-Proportional-Hazard-Modell, mit Ergebnissen von Koeffizientenwerten, sind für Kliniker jedoch schwer zu verstehen1. Im Vergleich dazu ist ein Nomogramm ein Visualisierungswerkzeug von Regressionsmodellen (einschließlich des Cox-Regressionsmodells, des konkurrierenden Risikomodells usw.), ein zweidimensionales Diagramm, das für die näherungsweise grafische Berechnung einer mathematischen Funktion2 entwickelt wurde. Es ermöglicht die Bewertung verschiedener Variablenebenen in einem klinischen Modell und die Berechnung von Risiko-Scores (RS) zur Vorhersage der Prognose.
Die Modellbewertung ist im Modellbau unerlässlich, und zwei Merkmale werden allgemein für die Bewertung akzeptiert: Unterscheidung und Kalibrierung. In klinischen Modellen bezieht sich Unterscheidung auf die Fähigkeit eines Modells, Individuen, die Ereignisse entwickeln, von denen zu unterscheiden, die keine Ereignisse entwickeln, wie z. B. Patienten, die sterben, von denen, die am Leben bleiben, und der Konkordanzindex (C-Index) oder die Fläche unter der Empfänger-Betriebskennlinie (AUC) werden typischerweise verwendet, um sie zu charakterisieren 3,4. Die Kalibrierung ist ein Prozess, bei dem die vorhergesagten Wahrscheinlichkeiten eines Modells mit den tatsächlichen Wahrscheinlichkeiten verglichen werden, und Kalibrierungskurven werden häufig verwendet, um sie darzustellen. Darüber hinaus ist die Modellvalidierung (interne und externe Validierung) ein wichtiger Schritt in der Modellkonstruktion, und nur validierte Modelle können weiter extrapoliert werden5.
Das Cox-Proportional-Hazard-Modell ist ein Regressionsmodell, das in der medizinischen Forschung verwendet wird, um die Zusammenhänge zwischen prognostischen Faktoren und dem Überlebensstatus zu untersuchen. Das proportionale Cox-Hazard-Modell berücksichtigt jedoch nur zwei Ergebnisstatus [Y (0, 1)], während die Studienteilnehmer oft mit mehr als zwei Status konfrontiert sind und konkurrierende Risiken auftreten [Y (0, 1, 2)]1. Das Gesamtüberleben (OS), definiert als die Zeit vom Entstehungsdatum (z. B. Behandlung) bis zum Todesdatum aufgrund einer beliebigen Ursache, ist der wichtigste Endpunkt in der Überlebensanalyse. Das OS unterscheidet jedoch nicht zwischen krebsspezifischen Todesfällen und nicht-krebsspezifischen Todesfällen (z. B. kardiovaskuläre Ereignisse und andere nicht verwandte Ursachen) und ignoriert daher konkurrierende Risiken6. In diesen Situationen wird das konkurrierende Risikomodell für die Vorhersage des Überlebensstatus unter Berücksichtigung konkurrierender Risikenbevorzugt 7. Die Methodik zur Konstruktion und Validierung von Cox-Proportional-Hazard-Modellen ist gut etabliert, während es nur wenige Berichte über die Validierung konkurrierender Risikomodelle gibt.
In unserer vorangegangenen Studie wurden ein spezifisches Nomogramm für konkurrierende Risiken, eine Kombination aus einem Nomogramm und einem Modell für konkurrierende Risiken sowie eine Schätzung des Risiko-Scores auf der Grundlage eines konkurrierenden Risikomodells erstellt8. Ziel dieser Studie ist es, verschiedene Methoden zur Evaluierung und Validierung des etablierten konkurrierenden Risikonomogramms vorzustellen, die als nützliches Werkzeug für Kliniker dienen sollen, um die Prognose unter Berücksichtigung konkurrierender Risiken vorherzusagen.
Protocol
Representative Results
Discussion
In dieser Studie wurden konkurrierende Risikonomogramme, die mit zwei unterschiedlichen Methoden erstellt wurden, verglichen und die etablierten Nomogramme ausgewertet und validiert. Konkret wurde in dieser Studie eine Schritt-für-Schritt-Anleitung zur Erstellung des Nomogramms auf der Grundlage einer direkten Methode sowie zur Berechnung des C-Index und zur Darstellung der Kalibrierungskurven bereitgestellt.
Das rms-Paket in der R-Software wird häufig für die Konstruktion und Bewe…
Divulgazioni
The authors have nothing to disclose.
Acknowledgements
Die Studie wurde durch Zuschüsse aus dem Medical Science & Technology Plan Project der Provinz Zhejiang (Fördernummern 2013KYA212), dem allgemeinen Programm der Zhejiang Province Natural Science Foundation (Fördernummer Y19H160126) und dem Schlüsselprogramm des Jinhua Municipal Science & Technology Bureau (Fördernummern 2016-3-005, 2018-3-001d und 2019-3-013) unterstützt.
Materials
| R software | None | Not Applicable | Version 3.6.2 or higher |
| Computer system | Microsoft | Windows 10 | Windows 10 or higher |
Riferimenti
- Andersen, P. K., Gill, R. D. Cox’s regression model for counting processes: A large sample study. The Annals of Statistics. 10 (4), 1100-1120 (1982).
- Lubsen, J., Pool, J., vander Does, E. A practical device for the application of a diagnostic or prognostic function. Methods of Information in Medicine. 17 (2), 127-129 (1978).
- Harrell, F. E., Lee, K. L., Mark, D. B. Multivariable prognostic models: Issues in developing models, evaluating assumptions and adequacy, and measuring and reducing errors. Statistics In Medicine. 15 (4), 361-387 (1996).
- Hung, H., Chiang, C. -. T. Estimation methods for time-dependent AUC models with survival data. The Canadian Journal of Statistics / La Revue Canadienne de Statistique. 38 (1), 8-26 (2010).
- Moons, K. G. M., et al. Risk prediction models: I. Development, internal validation, and assessing the incremental value of a new (bio)marker. Heart. 98 (9), 683-690 (2012).
- Fu, J., et al. Real-world impact of non-breast cancer-specific death on overall survival in resectable breast cancer. Cancer. 123 (13), 2432-2443 (2017).
- Fine, J. P., Gray, R. J. A proportional hazards model for the subdistribution of a competing risk. Journal of the American Statistical Association. 94 (446), 496-509 (1999).
- Wu, L., et al. Establishing a competing risk regression nomogram model for survival data. Journal of Visualized Experiments. (164), e60684 (2020).
- Zhang, Z., Geskus, R. B., Kattan, M. W., Zhang, H., Liu, T. Nomogram for survival analysis in the presence of competing risks. Annals of Translational Medicine. 5 (20), 403 (2017).
- Zhang, Z. H., et al. Overview of model validation for survival regression model with competing risks using melanoma study data. Annals Of Translational Medicine. 6 (16), 325 (2018).
- Newson, R. Confidence intervals for rank statistics: Somers’ D and extensions. Stata Journal. 6 (3), 309-334 (2006).
- Davison, A. C., Hinkley, D. V., Schechtman, E. Efficient bootstrap simulation. Biometrika. 73 (3), 555-566 (1986).
- Roecker, E. B. Prediction error and its estimation for subset-selected models. Technometrics. 33 (4), 459-468 (1991).
- Steyerberg, E. W., Harrell, F. E. Prediction models need appropriate internal, internal-external, and external validation. Journal of Clinical Epidemiology. 69, 245-247 (2016).
- Zhang, Z., Chen, L., Xu, P., Hong, Y. Predictive analytics with ensemble modeling in laparoscopic surgery: A technical note. Laparoscopic, Endoscopic and Robotic Surgery. 5 (1), 25-34 (2022).
