EUVIMEDEUVIMED entdecken
Open Access · CC BY-NC-ND 4.0

The Harms of Class Imbalance Corrections for Machine Learning Based Prediction Models: A Simulation Study

Die Nachteile von Korrekturen bei Klassenungleichgewicht für machine-learning-basierte Vorhersagemodelle: eine Simulationsstudie

Alex Carriero iD, Kim Luijken, Anne de Hond, Karel G M Moons, Ben van Calster iD, Maarten van Smeden iD

Statistics in Medicine · 10.02.2025 · 44 (3-4)

DOI: 10.1002/sim.10320 ↗

Auf einen Blick

In Monte-Carlo-Simulationen schnitten Vorhersagemodelle ohne Korrektur für Klassenungleichgewicht bei der Kalibrierung durchgehend gleich gut oder besser ab als Modelle mit Korrektur. Das galt auch im Fallbeispiel mit MIMIC-III-Daten.

Fragestellung

Wie wirken sich Korrekturen für Klassenungleichgewicht auf die Kalibrierung von Machine-Learning-Vorhersagemodellen aus?

Methode

Simulationsstudie mit umfangreichen Monte-Carlo-Simulationen zu verschiedenen Machine-Learning-Algorithmen; Vergleich mit und ohne Korrektur für Klassenungleichgewicht; Fallbeispiel mit MIMIC-III-Daten.

Ergebnisse

In allen Simulationsszenarien war die Kalibrierung ohne Korrektur gleich gut oder besser als mit Korrektur. Die Fehlkalibrierung durch Korrektur beruhte auf einer Überschätzung des Risikos und ließ sich nicht immer durch Re-Kalibrierung beheben.

Schlussfolgerung der Autor:innen

Eine Korrektur für Klassenungleichgewicht ist nicht immer notwendig und kann klinische Vorhersagemodelle, die verlässliche individuelle Risikoschätzungen liefern sollen, sogar schädigen.

Kernaussagen

  • Ohne Korrektur war die Kalibrierung gleich gut oder besser.
  • Korrektur führte zu Risikոüberschätzung.
  • Re-Kalibrierung konnte den Effekt nicht immer beheben.

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Statistics in Medicine, online erschienen am 26.01.2025. Verfasst von Alex Carriero und 5 weiteren Autor:innen. Beteiligte Einrichtung: Julius Center for Health Sciences and Primary Care, University Medical Center Utrecht, Utrecht, The Netherlands. Hauptthemen laut MEDLINE: Machine Learning, Models, Statistical. Die Arbeit wurde bisher 67-mal zitiert (Crossref) und nennt 39 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY-NC-ND 4.0).

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Introduction

Risk prediction models are increasingly used in healthcare to aid in clinical decision‐making. In most clinical contexts, model calibration (i.e., assessing the reliability of risk estimates) is critical. Data available for model development are often not perfectly balanced with the modeled outcome (i.e., individuals with vs. without the event of interest are not equally prevalent in the data). It is common for researchers to correct for class imbalance, yet, the effect of such imbalance corrections on the calibration of machine learning models is largely unknown.

Methods

We studied the effect of imbalance corrections on model calibration for a variety of machine learning algorithms. Using extensive Monte Carlo simulations we compared the out‐of‐sample predictive performance of models developed with an imbalance correction to those developed without a correction for class imbalance across different data‐generating scenarios (varying sample size, the number of predictors, and event fraction). Our findings were illustrated in a case study using MIMIC‐III data.

Results

In all simulation scenarios, prediction models developed without a correction for class imbalance consistently had equal or better calibration performance than prediction models developed with a correction for class imbalance. The miscalibration introduced by correcting for class imbalance was characterized by an over‐estimation of risk and was not always able to be corrected with re‐calibration.

Conclusion

Correcting for class imbalance is not always necessary and may even be harmful to clinical prediction models which aim to produce reliable risk estimates on an individual basis.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Machine LearningModels, StatisticalHumansMonte Carlo MethodComputer SimulationRisk AssessmentAlgorithmsReproducibility of Results

Stichwörter der Autor:innen

calibrationclass imbalancemachine learningprediction modeling

Autor:innen und Institutionen

  • Julius Center for Health Sciences and Primary Care, University Medical Center Utrecht, Utrecht, The Netherlands.
  • KU Leuven, Leuven, Belgium.

ORCID-Profile: Alex Carriero, Ben van Calster, Maarten van Smeden

Zitieren

APA

Carriero, A., Luijken, K., de Hond, A., Moons, K. G. M., van Calster, B., & van Smeden, M. (2025). The Harms of Class Imbalance Corrections for Machine Learning Based Prediction Models: A Simulation Study. Statistics in Medicine, 44(3-4). https://doi.org/10.1002/sim.10320

Vancouver

Carriero A, Luijken K, de Hond A, Moons KGM, van Calster B, van Smeden M. The Harms of Class Imbalance Corrections for Machine Learning Based Prediction Models: A Simulation Study. Statistics in Medicine. 2025;44(3-4). doi:10.1002/sim.10320

BibTeX
@article{Carriero2025,
  author = {Carriero, Alex and Luijken, Kim and de Hond, Anne and Moons, Karel G M and van Calster, Ben and van Smeden, Maarten},
  title = {The Harms of Class Imbalance Corrections for Machine Learning Based Prediction Models: A Simulation Study},
  journal = {Statistics in Medicine},
  year = {2025},
  volume = {44},
  number = {3-4},
  doi = {10.1002/sim.10320}
}
Kostenlos starten →