EUVIMEDEUVIMED entdecken
Open Access · CC BY-NC 4.0

A novel, standardised approach to balancing effectiveness, efficiency and utility of surveillance AI prediction models for hospitalised patients using sepsis prediction as an exemplar

Ein neuartiger standardisierter Ansatz zum Ausbalancieren von Wirksamkeit, Effizienz und Nutzen von Überwachungs-KI-Prediktionsmodellen für hospitalisierte Patient:innen anhand einer Sepsisvorhersage

Anton H van der Vegt iD, Victoria K Campbell, Robert Webb, Balasubramanian Venkatesh, Paul J Lane, Kathryn Wilks, Steven McPhail, Michael Rice, Tara Isaacs, Ahmad Abdel-Hafez, Stephen Whebell, Adam Irwin iD und 3 weitere

Journal of the American Medical Informatics Association · 01.02.2026 · 33 (2) · 304-315

DOI: 10.1093/jamia/ocaf192 ↗

Auf einen Blick

Anhand eines Sepsisvorhersagemodells wurde ein neuer Ansatz zur Bewertung von KI-Prediktionsmodellen vorgestellt. Er visualisiert Wirksamkeit, Alarmbelastung und Vorlaufzeit über verschiedene Alarmschwellen.

Fragestellung

Wie kann die Bewertung von KI-Prediktionsmodellen für Überwachung bei hospitalisierten Patient:innen Wirksamkeit, Effizienz und Nutzen gemeinsam abbilden?

Methode

Retrospektive Daten aus elektronischen Krankenakten von 7 öffentlichen Krankenhäusern; Retraining und Evaluation eines Machine-Learning-Sepsisvorhersagemodells; Vergleich von AUROC, Sensitivität, positivem prädiktivem Wert und Spezifität mit einer neuen grafischen Darstellung.

Ergebnisse

Die Datenbasis umfasste 977.506 stationäre Aufnahmen. Die neue Methode erzeugte 4 vertikal angeordnete Grafiken und ermöglichte die Identifikation einer Alarmschwelle, die EEU auf Aufnahmeebene ausbalanciert und von konventionellen Metriken abweicht.

Einschränkungen

Konventionelle Metriken berücksichtigen den Alarmzeitpunkt nicht und werden oft auf unterschiedlichen Evaluationsdatensätzen angewendet; dadurch können Verzerrung und Verwirrung entstehen.

Schlussfolgerung der Autor:innen

Die Bewertung von Vorhersagemodellen für unerwünschte Ereignisse bei hospitalisierten Patient:innen sollte den EEU-Ansatz zur Beurteilung der Eignung und zur Auswahl von Alarmschwellen einschließen.

Kernaussagen

  • Neuer EEU-Ansatz zur Modellbewertung vorgestellt
  • Berücksichtigt Alarmzeitpunkt und Alarmbelastung zusätzlich zur Genauigkeit
  • Identifizierte Alarmschwelle kann von konventionellen Metriken abweichen

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Journal of the American Medical Informatics Association, online erschienen am 11.11.2025. Verfasst von Anton H van der Vegt und 14 weiteren Autor:innen. Beteiligte Einrichtung: Queensland Digital Health Centre, The University of Queensland, Brisbane, QLD, 4006, Australia. Hauptthemen laut MEDLINE: Sepsis, Machine Learning. Die Arbeit wurde bisher 6-mal zitiert (Crossref) und nennt 50 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY-NC 4.0). Gefördert von: Clinical Excellence Queensland; and the Queensland Technology Future Fund, Department of Health, Queensland Government, Queensland Government, Advanced Queensland Industry Research Fellowship grant, Clinical Excellence Queensland.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Objective

To introduce a novel, standardised approach to evaluating AI prediction models in balancing effectiveness, efficiency and utility, using a sepsis prediction model case study. Materials and Methods Retrospective patient data from electronic medical records of 7 public hospitals was used to retrain and evaluate a machine learning sepsis prediction model. Four conventional metrics—area under the receiver operating curve (AUROC), sensitivity, positive predictive value, and specificity—were compared with a novel graphical display integrating metrics of predictive accuracy (effectiveness), alert burden (efficiency) and lead time of alerts relative to clinical events (utility) for different alert thresholds.

Results

The dataset comprised 977,506 inpatient admissions. The novel methodology produced a plot of four vertically aligned graphs that enables decision-makers to identify an alert threshold that optimally balances effectiveness, efficiency and utility (EEU) at the level of an entire admission, and which differs from that derived using conventional metrics.

Discussion

Conventional evaluation metrics do not consider alert timing relative to clinical events and are often applied to different evaluation datasets (sample and admission level), introducing bias and confusion. In contrast, the EEU methodology (i) generates admission level evaluations at different alert thresholds; (ii) measures alert timing relative to clinical events; and (iii) provides a visual display that enables identification of the alert threshold that optimally balances EEU factors.

Conclusion

Evaluations of prediction models for adverse events in hospitalised patients should incorporate the EEU approach in assessing model suitability and selecting alert thresholds.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

SepsisMachine LearningHumansRetrospective StudiesHospitalizationElectronic Health RecordsROC CurveFemaleMaleSensitivity and SpecificityArea Under Curve

Stichwörter der Autor:innen

ROC curveadultclinicaldecision support systemselectronic health records/statistics and numerical dataemergency servicehospital/statistics and numerical datahospitalization/statistics and numerical datamachine learningretrospective studiessepsis/mortality

Autor:innen und Institutionen

  • Queensland Digital Health Centre, The University of Queensland, Brisbane, QLD, 4006, Australia.
  • Intensive Care Unit, Sunshine Coast Hospital and Health Service, Birtinya, QLD, 4575, Australia.
  • Clinical Excellence Queensland, Patient Safety and Quality, Herston, QLD, 4006, Australia.
  • School of Medicine and Dentistry, Griffith University, Birtinya, QLD, 4575, Australia.
  • Clinical Informatics, Metro North Hospital and Health Service, Brisbane, QLD, 4006, Australia.
  • Queensland Sepsis Program, Patient Safety and Quality, Clinical Excellence Queensland, Herston, QLD, 4006, Australia.

ORCID-Profile: Anton H van der Vegt, Adam Irwin

Förderung

  • Clinical Excellence Queensland; and the Queensland Technology Future Fund, Department of Health, Queensland Government
  • Queensland Government, Advanced Queensland Industry Research Fellowship grant
  • Clinical Excellence Queensland
  • Queensland Technology Future Fund, Department of Health, Queensland Government
  • Queensland Government
  • Advanced Queensland Industry Research Fellowship

Zitieren

APA

van der Vegt, A. H., Campbell, V. K., Webb, R., Venkatesh, B., Lane, P. J., Wilks, K., McPhail, S., Rice, M., Isaacs, T., Abdel-Hafez, A., Whebell, S., Irwin, A., Schnetler, R. J., Shetty, A., & Scott, I. A. (2026). A novel, standardised approach to balancing effectiveness, efficiency and utility of surveillance AI prediction models for hospitalised patients using sepsis prediction as an exemplar. Journal of the American Medical Informatics Association, 33(2), 304-315. https://doi.org/10.1093/jamia/ocaf192

Vancouver

van der Vegt AH, Campbell VK, Webb R, Venkatesh B, Lane PJ, Wilks K, et al. A novel, standardised approach to balancing effectiveness, efficiency and utility of surveillance AI prediction models for hospitalised patients using sepsis prediction as an exemplar. Journal of the American Medical Informatics Association. 2026;33(2):304-315. doi:10.1093/jamia/ocaf192

BibTeX
@article{vanderVegt2026,
  author = {van der Vegt, Anton H and Campbell, Victoria K and Webb, Robert and Venkatesh, Balasubramanian and Lane, Paul J and Wilks, Kathryn and McPhail, Steven and Rice, Michael and Isaacs, Tara and Abdel-Hafez, Ahmad and Whebell, Stephen and Irwin, Adam and Schnetler, Rudolf J and Shetty, Amith and Scott, Ian A},
  title = {A novel, standardised approach to balancing effectiveness, efficiency and utility of surveillance AI prediction models for hospitalised patients using sepsis prediction as an exemplar},
  journal = {Journal of the American Medical Informatics Association},
  year = {2026},
  volume = {33},
  number = {2},
  pages = {304--315},
  doi = {10.1093/jamia/ocaf192}
}
Kostenlos starten →