Evaluating variable selection methods for multivariable regression models: A simulation study protocol
Bewertung von Methoden zur Variablenselektion für multivariable Regressionsmodelle: Protokoll einer Simulationsstudie
PLOS ONE · 09.08.2024 · 19 (8) · e0308543
DOI: 10.1371/journal.pone.0308543 ↗Auf einen Blick
Das Protokoll beschreibt eine Simulation zu mehreren Variablenselektionsmethoden in linearer und logistischer Regression. Verglichen werden u. a. Fehlselektion, Verzerrung und Vorhersageleistung.
Fragestellung
Wie schneiden verschiedene datengetriebene Methoden der Variablenselektion in multivariablen Regressionsmodellen ab?
Methode
Simulationsstudie auf Basis von NHANES-Daten; Vergleich mehrerer Selektionsverfahren in linearer und logistischer Regression.
Ergebnisse
Verglichen werden forward selection, stepwise forward selection, backward elimination, augmented backward elimination, univariable selection, univariable selection followed by backward elimination sowie Lasso, relaxed Lasso und adaptive Lasso.
Einschränkungen
Protokoll; die Simulation wurde noch nicht durchgeführt.
Schlussfolgerung der Autor:innen
Die Veröffentlichung des Protokolls vor der Simulation soll Transparenz erhöhen und weitere Expert:innen in das Studiendesign einbeziehen.
Kernaussagen
- Vergleich mehrerer datengetriebener Selektionsverfahren
- Endpunkte: Fehlselektion, Bias, Varianz, KI-Validität, Ranking und Vorhersage
- Simulation basiert auf realen NHANES-Daten
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Studienprotokoll in der Zeitschrift PLOS ONE, online erschienen am 09.08.2024. Verfasst von Theresa Ullmann und 5 weiteren Autor:innen. Beteiligte Einrichtung: Institute of Clinical Biometrics, Center for Medical Data Science, Medical University of Vienna, Vienna, Austria. Hauptthemen laut MEDLINE: Computer Simulation. Die Arbeit wurde bisher 49-mal zitiert (Crossref) und nennt 48 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: Austrian Science Fund FWF, Austrian Science Fund, Deutsche Forschungsgemeinschaft.
Abstract (Originalsprache)
Researchers often perform data-driven variable selection when modeling the associations between an outcome and multiple independent variables in regression analysis. Variable selection may improve the interpretability, parsimony and/or predictive accuracy of a model. Yet variable selection can also have negative consequences, such as false exclusion of important variables or inclusion of noise variables, biased estimation of regression coefficients, underestimated standard errors and invalid confidence intervals, as well as model instability. While the potential advantages and disadvantages of variable selection have been discussed in the literature for decades, few large-scale simulation studies have neutrally compared data-driven variable selection methods with respect to their consequences for the resulting models. We present the protocol for a simulation study that will evaluate different variable selection methods: forward selection, stepwise forward selection, backward elimination, augmented backward elimination, univariable selection, univariable selection followed by backward elimination, and penalized likelihood approaches (Lasso, relaxed Lasso, adaptive Lasso). These methods will be compared with respect to false inclusion and/or exclusion of variables, consequences on bias and variance of the estimated regression coefficients, the validity of the confidence intervals for the coefficients, the accuracy of the estimated variable importance ranking, and the predictive performance of the selected models. We consider both linear and logistic regression in a low-dimensional setting (20 independent variables with 10 true predictors and 10 noise variables). The simulation will be based on real-world data from the National Health and Nutrition Examination Survey (NHANES). Publishing this study protocol ahead of performing the simulation increases transparency and allows integrating the perspective of other experts into the study design.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Autor:innen und Institutionen
- Institute of Clinical Biometrics, Center for Medical Data Science, Medical University of Vienna, Vienna, Austria.
- Institute of Biometry and Clinical Epidemiology, Charité - Universitätsmedizin Berlin, corporate member of Freie Universität Berlin and Humboldt-Universität zu Berlin, Berlin, Germany.
- Austrian Agency for Health and Food Safety (AGES), Vienna, Austria.
ORCID-Profile: Theresa Ullmann, Christine Schilhart-Wallisch, Daniela Dunkler
Förderung
- Austrian Science Fund FWF
- Austrian Science Fund
- Deutsche Forschungsgemeinschaft
Zitieren
APA
Ullmann, T., Heinze, G., Hafermann, L., Schilhart-Wallisch, C., Dunkler, D., & for TG2 of the STRATOS initiative (2024). Evaluating variable selection methods for multivariable regression models: A simulation study protocol. PLOS ONE, 19(8), e0308543. https://doi.org/10.1371/journal.pone.0308543
Vancouver
Ullmann T, Heinze G, Hafermann L, Schilhart-Wallisch C, Dunkler D, for TG2 of the STRATOS initiative. Evaluating variable selection methods for multivariable regression models: A simulation study protocol. PLOS ONE. 2024;19(8):e0308543. doi:10.1371/journal.pone.0308543
BibTeX
@article{Ullmann2024,
author = {Ullmann, Theresa and Heinze, Georg and Hafermann, Lorena and Schilhart-Wallisch, Christine and Dunkler, Daniela and for TG2 of the STRATOS initiative, for TG2 of the STRATOS initiative},
title = {Evaluating variable selection methods for multivariable regression models: A simulation study protocol},
journal = {PLOS ONE},
year = {2024},
volume = {19},
number = {8},
pages = {e0308543},
doi = {10.1371/journal.pone.0308543}
}
EUVIMED