Systematic review and longitudinal analysis of implementing Artificial Intelligence to predict clinical deterioration in adult hospitals: what is known and what remains uncertain
Systematische Übersicht und Längsschnittanalyse zur Implementierung von Künstlicher Intelligenz zur Vorhersage klinischer Verschlechterung in Erwachsenenkliniken: was bekannt ist und was unklar bleibt
Journal of the American Medical Informatics Association · 18.01.2024 · 31 (2) · 509-524
DOI: 10.1093/jamia/ocad220 ↗Auf einen Blick
Die Übersichtsarbeit untersuchte implementierte oder getestete MLAs zur Vorhersage klinischer Verschlechterung bei hospitalisierten Erwachsenen. Es wurden Faktoren für die Implementierung und berichtete klinische Effekte beschrieben.
Fragestellung
Welche Faktoren beeinflussen die Implementierung von Machine-Learning-Algorithmen zur Vorhersage klinischer Verschlechterung bei hospitalisierten erwachsenen Patient:innen?
Methode
Systematische Übersicht von Studien zu realzeitfähigen MLAs; Zuordnung der Befunde zum SALIENT-Implementierungsrahmen.
Ergebnisse
37 Artikel zu 14 Gruppen von MLAs. 4 Gruppen berichteten eine niedrigere Krankenhaussterblichkeit, 1 davon signifikant. Es wurden 24 Barrieren, 40 Förderfaktoren und 14 Unsicherheiten identifiziert.
Einschränkungen
Die Algorithmen waren gruppenspezifisch; die Performance nahm zwischen in silico und Trial-Phase ab.
Schlussfolgerung der Autor:innen
Es gibt Hinweise, dass die Implementierung von MLAs zur Vorhersage klinischer Verschlechterung reale klinische Outcomes verbessern kann. Die identifizierten Faktoren lassen sich den 5 Phasen des SALIENT-Rahmens zuordnen.
Kernaussagen
- 37 Artikel zu 14 Gruppen von MLAs
- 4 Gruppen mit geringerer Krankenhaussterblichkeit, 1 signifikant
- 24 Barrieren, 40 Förderfaktoren und 14 Unsicherheiten identifiziert
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Systematische Übersicht in der Zeitschrift Journal of the American Medical Informatics Association, online erschienen am 14.11.2023. Verfasst von Anton H van der Vegt und 13 weiteren Autor:innen. Beteiligte Einrichtung: Centre for Health Services Research, The University of Queensland, Brisbane, QLD 4102, Australia. Hauptthemen laut MEDLINE: Artificial Intelligence, Clinical Deterioration, Hospitals. Die Arbeit wurde bisher 52-mal zitiert (Crossref) und nennt 71 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: Queensland Government, Advanced Queensland Industry Research.
Abstract (Originalsprache)
Objective
To identify factors influencing implementation of machine learning algorithms (MLAs) that predict clinical deterioration in hospitalized adult patients and relate these to a validated implementation framework. Materials and methods A systematic review of studies of implemented or trialed real-time clinical deterioration prediction MLAs was undertaken, which identified: how MLA implementation was measured; impact of MLAs on clinical processes and patient outcomes; and barriers, enablers and uncertainties within the implementation process. Review findings were then mapped to the SALIENT end-to-end implementation framework to identify the implementation stages at which these factors applied.
Results
Thirty-seven articles relating to 14 groups of MLAs were identified, each trialing or implementing a bespoke algorithm. One hundred and seven distinct implementation evaluation metrics were identified. Four groups reported decreased hospital mortality, 1 significantly. We identified 24 barriers, 40 enablers, and 14 uncertainties and mapped these to the 5 stages of the SALIENT implementation framework.
Discussion
Algorithm performance across implementation stages decreased between in silico and trial stages. Silent plus pilot trial inclusion was associated with decreased mortality, as was the use of logistic regression algorithms that used less than 39 variables. Mitigation of alert fatigue via alert suppression and threshold configuration was commonly employed across groups.
Conclusions
There is evidence that real-world implementation of clinical deterioration prediction MLAs may improve clinical outcomes. Various factors identified as influencing success or failure of implementation can be mapped to different stages of implementation, thereby providing useful and practical guidance for implementers.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Centre for Health Services Research, The University of Queensland, Brisbane, QLD 4102, Australia.
- Intensive Care Unit, Sunshine Coast Hospital and Health Service, Birtynia, QLD 4575, Australia.
- School of Medicine and Dentistry, Griffith University, Gold Coast, QLD 4222, Australia.
- Office of Research and Education, Canberra Health Services, Canberra, ACT 2601, Australia.
- Department of Critical Care Medicine, The Queen Elizabeth Hospital, Woodville, SA 5011, Australia.
- Eastern Health Intensive Care Services, Eastern Health, Box Hill, VIC 3128, Australia.
ORCID-Profile: Anton H van der Vegt
Förderung
- Queensland Government
- Advanced Queensland Industry Research
Zitieren
APA
van der Vegt, A. H., Campbell, V., Mitchell, I., Malycha, J., Simpson, J., Flenady, T., Flabouris, A., Lane, P. J., Mehta, N., Kalke, V. R., Decoyna, J. A., Es'haghi, N., Liu, C. H., & Scott, I. A. (2024). Systematic review and longitudinal analysis of implementing Artificial Intelligence to predict clinical deterioration in adult hospitals: what is known and what remains uncertain. Journal of the American Medical Informatics Association, 31(2), 509-524. https://doi.org/10.1093/jamia/ocad220
Vancouver
van der Vegt AH, Campbell V, Mitchell I, Malycha J, Simpson J, Flenady T, et al. Systematic review and longitudinal analysis of implementing Artificial Intelligence to predict clinical deterioration in adult hospitals: what is known and what remains uncertain. Journal of the American Medical Informatics Association. 2024;31(2):509-524. doi:10.1093/jamia/ocad220
BibTeX
@article{vanderVegt2024,
author = {van der Vegt, Anton H and Campbell, Victoria and Mitchell, Imogen and Malycha, James and Simpson, Joanna and Flenady, Tracy and Flabouris, Arthas and Lane, Paul J and Mehta, Naitik and Kalke, Vikrant R and Decoyna, Jovie A and Es'haghi, Nicholas and Liu, Chun-Huei and Scott, Ian A},
title = {Systematic review and longitudinal analysis of implementing Artificial Intelligence to predict clinical deterioration in adult hospitals: what is known and what remains uncertain},
journal = {Journal of the American Medical Informatics Association},
year = {2024},
volume = {31},
number = {2},
pages = {509--524},
doi = {10.1093/jamia/ocad220}
}
EUVIMED