The Harms of Class Imbalance Corrections for Machine Learning Based Prediction Models: A Simulation Study
Die Nachteile von Korrekturen bei Klassenungleichgewicht für machine-learning-basierte Vorhersagemodelle: eine Simulationsstudie
Statistics in Medicine · 10.02.2025 · 44 (3-4)
DOI: 10.1002/sim.10320 ↗Auf einen Blick
In Monte-Carlo-Simulationen schnitten Vorhersagemodelle ohne Korrektur für Klassenungleichgewicht bei der Kalibrierung durchgehend gleich gut oder besser ab als Modelle mit Korrektur. Das galt auch im Fallbeispiel mit MIMIC-III-Daten.
Fragestellung
Wie wirken sich Korrekturen für Klassenungleichgewicht auf die Kalibrierung von Machine-Learning-Vorhersagemodellen aus?
Methode
Simulationsstudie mit umfangreichen Monte-Carlo-Simulationen zu verschiedenen Machine-Learning-Algorithmen; Vergleich mit und ohne Korrektur für Klassenungleichgewicht; Fallbeispiel mit MIMIC-III-Daten.
Ergebnisse
In allen Simulationsszenarien war die Kalibrierung ohne Korrektur gleich gut oder besser als mit Korrektur. Die Fehlkalibrierung durch Korrektur beruhte auf einer Überschätzung des Risikos und ließ sich nicht immer durch Re-Kalibrierung beheben.
Schlussfolgerung der Autor:innen
Eine Korrektur für Klassenungleichgewicht ist nicht immer notwendig und kann klinische Vorhersagemodelle, die verlässliche individuelle Risikoschätzungen liefern sollen, sogar schädigen.
Kernaussagen
- Ohne Korrektur war die Kalibrierung gleich gut oder besser.
- Korrektur führte zu Risikոüberschätzung.
- Re-Kalibrierung konnte den Effekt nicht immer beheben.
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Statistics in Medicine, online erschienen am 26.01.2025. Verfasst von Alex Carriero und 5 weiteren Autor:innen. Beteiligte Einrichtung: Julius Center for Health Sciences and Primary Care, University Medical Center Utrecht, Utrecht, The Netherlands. Hauptthemen laut MEDLINE: Machine Learning, Models, Statistical. Die Arbeit wurde bisher 67-mal zitiert (Crossref) und nennt 39 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY-NC-ND 4.0).
Themen: Künstliche Intelligenz in der Pflege, Simulation in der Pflegeausbildung
Abstract (Originalsprache)
Introduction
Risk prediction models are increasingly used in healthcare to aid in clinical decision‐making. In most clinical contexts, model calibration (i.e., assessing the reliability of risk estimates) is critical. Data available for model development are often not perfectly balanced with the modeled outcome (i.e., individuals with vs. without the event of interest are not equally prevalent in the data). It is common for researchers to correct for class imbalance, yet, the effect of such imbalance corrections on the calibration of machine learning models is largely unknown.
Methods
We studied the effect of imbalance corrections on model calibration for a variety of machine learning algorithms. Using extensive Monte Carlo simulations we compared the out‐of‐sample predictive performance of models developed with an imbalance correction to those developed without a correction for class imbalance across different data‐generating scenarios (varying sample size, the number of predictors, and event fraction). Our findings were illustrated in a case study using MIMIC‐III data.
Results
In all simulation scenarios, prediction models developed without a correction for class imbalance consistently had equal or better calibration performance than prediction models developed with a correction for class imbalance. The miscalibration introduced by correcting for class imbalance was characterized by an over‐estimation of risk and was not always able to be corrected with re‐calibration.
Conclusion
Correcting for class imbalance is not always necessary and may even be harmful to clinical prediction models which aim to produce reliable risk estimates on an individual basis.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Julius Center for Health Sciences and Primary Care, University Medical Center Utrecht, Utrecht, The Netherlands.
- KU Leuven, Leuven, Belgium.
ORCID-Profile: Alex Carriero, Ben van Calster, Maarten van Smeden
Zitieren
APA
Carriero, A., Luijken, K., de Hond, A., Moons, K. G. M., van Calster, B., & van Smeden, M. (2025). The Harms of Class Imbalance Corrections for Machine Learning Based Prediction Models: A Simulation Study. Statistics in Medicine, 44(3-4). https://doi.org/10.1002/sim.10320
Vancouver
Carriero A, Luijken K, de Hond A, Moons KGM, van Calster B, van Smeden M. The Harms of Class Imbalance Corrections for Machine Learning Based Prediction Models: A Simulation Study. Statistics in Medicine. 2025;44(3-4). doi:10.1002/sim.10320
BibTeX
@article{Carriero2025,
author = {Carriero, Alex and Luijken, Kim and de Hond, Anne and Moons, Karel G M and van Calster, Ben and van Smeden, Maarten},
title = {The Harms of Class Imbalance Corrections for Machine Learning Based Prediction Models: A Simulation Study},
journal = {Statistics in Medicine},
year = {2025},
volume = {44},
number = {3-4},
doi = {10.1002/sim.10320}
}
EUVIMED