EUVIMEDAvasta EUVIMED
Open access · CC BY-NC-ND 4.0

The Harms of Class Imbalance Corrections for Machine Learning Based Prediction Models: A Simulation Study

Die Nachteile von Korrekturen bei Klassenungleichgewicht für machine-learning-basierte Vorhersagemodelle: eine Simulationsstudie

Alex Carriero iD, Kim Luijken, Anne de Hond, Karel G M Moons, Ben van Calster iD, Maarten van Smeden iD

Statistics in Medicine · 2025-02-10 · 44 (3-4)

DOI: 10.1002/sim.10320 ↗

Auf einen Blick

In Monte-Carlo-Simulationen schnitten Vorhersagemodelle ohne Korrektur für Klassenungleichgewicht bei der Kalibrierung durchgehend gleich gut oder besser ab als Modelle mit Korrektur. Das galt auch im Fallbeispiel mit MIMIC-III-Daten.

Fragestellung

Wie wirken sich Korrekturen für Klassenungleichgewicht auf die Kalibrierung von Machine-Learning-Vorhersagemodellen aus?

Methode

Simulationsstudie mit umfangreichen Monte-Carlo-Simulationen zu verschiedenen Machine-Learning-Algorithmen; Vergleich mit und ohne Korrektur für Klassenungleichgewicht; Fallbeispiel mit MIMIC-III-Daten.

Ergebnisse

In allen Simulationsszenarien war die Kalibrierung ohne Korrektur gleich gut oder besser als mit Korrektur. Die Fehlkalibrierung durch Korrektur beruhte auf einer Überschätzung des Risikos und ließ sich nicht immer durch Re-Kalibrierung beheben.

Schlussfolgerung der Autor:innen

Eine Korrektur für Klassenungleichgewicht ist nicht immer notwendig und kann klinische Vorhersagemodelle, die verlässliche individuelle Risikoschätzungen liefern sollen, sogar schädigen.

Kernaussagen

  • Ohne Korrektur war die Kalibrierung gleich gut oder besser.
  • Korrektur führte zu Risikոüberschätzung.
  • Re-Kalibrierung konnte den Effekt nicht immer beheben.

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

At a glance

Journal article in Statistics in Medicine, published online on 2025-01-26. Written by Alex Carriero and 5 co-authors. Institution: Julius Center for Health Sciences and Primary Care, University Medical Center Utrecht, Utrecht, The Netherlands. Major MEDLINE topics: Machine Learning, Models, Statistical. Cited 67 times so far (Crossref); 39 references. The full text is freely available (open access, CC BY-NC-ND 4.0).

Auf einen BlickAbstraktSubjectsBibliograafilised andmedCiteRelated studies

Abstract (original language)

Introduction

Risk prediction models are increasingly used in healthcare to aid in clinical decision‐making. In most clinical contexts, model calibration (i.e., assessing the reliability of risk estimates) is critical. Data available for model development are often not perfectly balanced with the modeled outcome (i.e., individuals with vs. without the event of interest are not equally prevalent in the data). It is common for researchers to correct for class imbalance, yet, the effect of such imbalance corrections on the calibration of machine learning models is largely unknown.

Methods

We studied the effect of imbalance corrections on model calibration for a variety of machine learning algorithms. Using extensive Monte Carlo simulations we compared the out‐of‐sample predictive performance of models developed with an imbalance correction to those developed without a correction for class imbalance across different data‐generating scenarios (varying sample size, the number of predictors, and event fraction). Our findings were illustrated in a case study using MIMIC‐III data.

Results

In all simulation scenarios, prediction models developed without a correction for class imbalance consistently had equal or better calibration performance than prediction models developed with a correction for class imbalance. The miscalibration introduced by correcting for class imbalance was characterized by an over‐estimation of risk and was not always able to be corrected with re‐calibration.

Conclusion

Correcting for class imbalance is not always necessary and may even be harmful to clinical prediction models which aim to produce reliable risk estimates on an individual basis.

Subjects

MeSH terms (MEDLINE)

Machine LearningModels, StatisticalHumansMonte Carlo MethodComputer SimulationRisk AssessmentAlgorithmsReproducibility of Results

Author keywords

calibrationclass imbalancemachine learningprediction modeling

Authors and institutions

  • Julius Center for Health Sciences and Primary Care, University Medical Center Utrecht, Utrecht, The Netherlands.
  • KU Leuven, Leuven, Belgium.

ORCID profiles: Alex Carriero, Ben van Calster, Maarten van Smeden

Cite

APA

Carriero, A., Luijken, K., de Hond, A., Moons, K. G. M., van Calster, B., & van Smeden, M. (2025). The Harms of Class Imbalance Corrections for Machine Learning Based Prediction Models: A Simulation Study. Statistics in Medicine, 44(3-4). https://doi.org/10.1002/sim.10320

Vancouver

Carriero A, Luijken K, de Hond A, Moons KGM, van Calster B, van Smeden M. The Harms of Class Imbalance Corrections for Machine Learning Based Prediction Models: A Simulation Study. Statistics in Medicine. 2025;44(3-4). doi:10.1002/sim.10320

BibTeX
@article{Carriero2025,
  author = {Carriero, Alex and Luijken, Kim and de Hond, Anne and Moons, Karel G M and van Calster, Ben and van Smeden, Maarten},
  title = {The Harms of Class Imbalance Corrections for Machine Learning Based Prediction Models: A Simulation Study},
  journal = {Statistics in Medicine},
  year = {2025},
  volume = {44},
  number = {3-4},
  doi = {10.1002/sim.10320}
}
Start for free →