A novel, standardised approach to balancing effectiveness, efficiency and utility of surveillance AI prediction models for hospitalised patients using sepsis prediction as an exemplar
Ein neuartiger standardisierter Ansatz zum Ausbalancieren von Wirksamkeit, Effizienz und Nutzen von Überwachungs-KI-Prediktionsmodellen für hospitalisierte Patient:innen anhand einer Sepsisvorhersage
Journal of the American Medical Informatics Association · 01.02.2026 · 33 (2) · 304-315
DOI: 10.1093/jamia/ocaf192 ↗Auf einen Blick
Anhand eines Sepsisvorhersagemodells wurde ein neuer Ansatz zur Bewertung von KI-Prediktionsmodellen vorgestellt. Er visualisiert Wirksamkeit, Alarmbelastung und Vorlaufzeit über verschiedene Alarmschwellen.
Fragestellung
Wie kann die Bewertung von KI-Prediktionsmodellen für Überwachung bei hospitalisierten Patient:innen Wirksamkeit, Effizienz und Nutzen gemeinsam abbilden?
Methode
Retrospektive Daten aus elektronischen Krankenakten von 7 öffentlichen Krankenhäusern; Retraining und Evaluation eines Machine-Learning-Sepsisvorhersagemodells; Vergleich von AUROC, Sensitivität, positivem prädiktivem Wert und Spezifität mit einer neuen grafischen Darstellung.
Ergebnisse
Die Datenbasis umfasste 977.506 stationäre Aufnahmen. Die neue Methode erzeugte 4 vertikal angeordnete Grafiken und ermöglichte die Identifikation einer Alarmschwelle, die EEU auf Aufnahmeebene ausbalanciert und von konventionellen Metriken abweicht.
Einschränkungen
Konventionelle Metriken berücksichtigen den Alarmzeitpunkt nicht und werden oft auf unterschiedlichen Evaluationsdatensätzen angewendet; dadurch können Verzerrung und Verwirrung entstehen.
Schlussfolgerung der Autor:innen
Die Bewertung von Vorhersagemodellen für unerwünschte Ereignisse bei hospitalisierten Patient:innen sollte den EEU-Ansatz zur Beurteilung der Eignung und zur Auswahl von Alarmschwellen einschließen.
Kernaussagen
- Neuer EEU-Ansatz zur Modellbewertung vorgestellt
- Berücksichtigt Alarmzeitpunkt und Alarmbelastung zusätzlich zur Genauigkeit
- Identifizierte Alarmschwelle kann von konventionellen Metriken abweichen
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Journal of the American Medical Informatics Association, online erschienen am 11.11.2025. Verfasst von Anton H van der Vegt und 14 weiteren Autor:innen. Beteiligte Einrichtung: Queensland Digital Health Centre, The University of Queensland, Brisbane, QLD, 4006, Australia. Hauptthemen laut MEDLINE: Sepsis, Machine Learning. Die Arbeit wurde bisher 6-mal zitiert (Crossref) und nennt 50 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY-NC 4.0). Gefördert von: Clinical Excellence Queensland; and the Queensland Technology Future Fund, Department of Health, Queensland Government, Queensland Government, Advanced Queensland Industry Research Fellowship grant, Clinical Excellence Queensland.
Themen: Sepsis
Abstract (Originalsprache)
Objective
To introduce a novel, standardised approach to evaluating AI prediction models in balancing effectiveness, efficiency and utility, using a sepsis prediction model case study. Materials and Methods Retrospective patient data from electronic medical records of 7 public hospitals was used to retrain and evaluate a machine learning sepsis prediction model. Four conventional metrics—area under the receiver operating curve (AUROC), sensitivity, positive predictive value, and specificity—were compared with a novel graphical display integrating metrics of predictive accuracy (effectiveness), alert burden (efficiency) and lead time of alerts relative to clinical events (utility) for different alert thresholds.
Results
The dataset comprised 977,506 inpatient admissions. The novel methodology produced a plot of four vertically aligned graphs that enables decision-makers to identify an alert threshold that optimally balances effectiveness, efficiency and utility (EEU) at the level of an entire admission, and which differs from that derived using conventional metrics.
Discussion
Conventional evaluation metrics do not consider alert timing relative to clinical events and are often applied to different evaluation datasets (sample and admission level), introducing bias and confusion. In contrast, the EEU methodology (i) generates admission level evaluations at different alert thresholds; (ii) measures alert timing relative to clinical events; and (iii) provides a visual display that enables identification of the alert threshold that optimally balances EEU factors.
Conclusion
Evaluations of prediction models for adverse events in hospitalised patients should incorporate the EEU approach in assessing model suitability and selecting alert thresholds.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Queensland Digital Health Centre, The University of Queensland, Brisbane, QLD, 4006, Australia.
- Intensive Care Unit, Sunshine Coast Hospital and Health Service, Birtinya, QLD, 4575, Australia.
- Clinical Excellence Queensland, Patient Safety and Quality, Herston, QLD, 4006, Australia.
- School of Medicine and Dentistry, Griffith University, Birtinya, QLD, 4575, Australia.
- Clinical Informatics, Metro North Hospital and Health Service, Brisbane, QLD, 4006, Australia.
- Queensland Sepsis Program, Patient Safety and Quality, Clinical Excellence Queensland, Herston, QLD, 4006, Australia.
ORCID-Profile: Anton H van der Vegt, Adam Irwin
Förderung
- Clinical Excellence Queensland; and the Queensland Technology Future Fund, Department of Health, Queensland Government
- Queensland Government, Advanced Queensland Industry Research Fellowship grant
- Clinical Excellence Queensland
- Queensland Technology Future Fund, Department of Health, Queensland Government
- Queensland Government
- Advanced Queensland Industry Research Fellowship
Zitieren
APA
van der Vegt, A. H., Campbell, V. K., Webb, R., Venkatesh, B., Lane, P. J., Wilks, K., McPhail, S., Rice, M., Isaacs, T., Abdel-Hafez, A., Whebell, S., Irwin, A., Schnetler, R. J., Shetty, A., & Scott, I. A. (2026). A novel, standardised approach to balancing effectiveness, efficiency and utility of surveillance AI prediction models for hospitalised patients using sepsis prediction as an exemplar. Journal of the American Medical Informatics Association, 33(2), 304-315. https://doi.org/10.1093/jamia/ocaf192
Vancouver
van der Vegt AH, Campbell VK, Webb R, Venkatesh B, Lane PJ, Wilks K, et al. A novel, standardised approach to balancing effectiveness, efficiency and utility of surveillance AI prediction models for hospitalised patients using sepsis prediction as an exemplar. Journal of the American Medical Informatics Association. 2026;33(2):304-315. doi:10.1093/jamia/ocaf192
BibTeX
@article{vanderVegt2026,
author = {van der Vegt, Anton H and Campbell, Victoria K and Webb, Robert and Venkatesh, Balasubramanian and Lane, Paul J and Wilks, Kathryn and McPhail, Steven and Rice, Michael and Isaacs, Tara and Abdel-Hafez, Ahmad and Whebell, Stephen and Irwin, Adam and Schnetler, Rudolf J and Shetty, Amith and Scott, Ian A},
title = {A novel, standardised approach to balancing effectiveness, efficiency and utility of surveillance AI prediction models for hospitalised patients using sepsis prediction as an exemplar},
journal = {Journal of the American Medical Informatics Association},
year = {2026},
volume = {33},
number = {2},
pages = {304--315},
doi = {10.1093/jamia/ocaf192}
}
EUVIMED