Evaluating Large Language Model‐Assisted Emergency Triage: A Comparison of Acuity Assessments by GPT ‐4 and Medical Experts
Bewertung von Large-Language-Model-gestützter Notfall-Triage: Vergleich der Dringlichkeitseinschätzung durch GPT‑4 und medizinische Expert:innen
Journal of Clinical Nursing · 2026-10 · 35 (10) · 4249-4255
DOI: 10.1111/jocn.17490 ↗Auf einen Blick
In einer Beobachtungsstudie bewertete GPT‑4 die ESI bei 100 erwachsenen Notfallpatient:innen niedriger als menschliche Beurteiler. Das spricht für eine mögliche Überschätzung der Schwere durch das LLM.
Fragestellung
Wie genau sind die ESI-Einstufungen von GPT‑4 im Vergleich zu erfahrenen Notaufnahmepflegekräften und Ärzt:innen?
Methode
Beobachtungsstudie mit 100 konsekutiven erwachsenen ED-Patient:innen; GPT‑4, Triage-Pflegekräfte und ein:e erfahrene:r Kliniker:in erhielten dieselben Patientendaten.
Ergebnisse
GPT‑4 vergab einen niedrigeren medianen ESI-Score als die menschlichen Beurteiler (2,0 vs. 3,0; p < 0,001). Es zeigten sich Unterschiede in der Berücksichtigung von Alter und Vitalzeichen.
Schlussfolgerung der Autor:innen
GPT‑4 bietet eine neuartige Methode der Patiententriage, seine Tendenz zur Überschätzung der Patientenschwere macht jedoch weitere Entwicklung und Kalibrierung nötig.
Kernaussagen
- GPT‑4 bewertete die Dringlichkeit niedriger als menschliche Expert:innen
- Medianer ESI-Score: 2,0 vs. 3,0; p < 0,001
- Unterschiede bei der Berücksichtigung von Alter und Vitalzeichen
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Beobachtungsstudie in der Zeitschrift Journal of Clinical Nursing, online erschienen am 28.11.2024. Verfasst von Gal Ben Haim und 8 weiteren Autor:innen. Beteiligte Einrichtung: Department of Emergency Medicine, Sheba Medical Center, Ramat-Gan, Israel. Hauptthemen laut MEDLINE: Emergency Service, Hospital, Generative Artificial Intelligence, Large Language Models, Severity of Illness Index. Die Arbeit wurde bisher 18-mal zitiert (Crossref) und nennt 23 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).
Abstract (Originalsprache)
Aim
To evaluate the accuracy of the Emergency Severity Index (ESI) assignments by GPT‐4, a large language model (LLM), compared to senior emergency department (ED) nurses and physicians.
Method
An observational study of 100 consecutive adult ED patients was conducted. ESI scores assigned by GPT‐4, triage nurses, and by a senior clinician. Both model and human experts were provided the same patient data.
Results
GPT‐4 assigned a lower median ESI score (2.0) compared to human evaluators (median 3.0; p < 0.001), suggesting a potential overestimation of patient severity by the LLM. The results showed differences in the triage assessment approaches between GPT‐4 and the human evaluators, including variations in how patient age and vital signs were considered in the ESI assignments.
Conclusion
While GPT‐4 offers a novel methodology for patient triage, its propensity to overestimate patient severity highlights the necessity for further development and calibration of LLM tools in clinical environments. The findings underscore the potential and limitations of LLM in clinical decision‐making, advocating for cautious integration of LLMs in healthcare settings. Reporting Method This study adhered to relevant EQUATOR guidelines for reporting observational studies.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Department of Emergency Medicine, Sheba Medical Center, Ramat-Gan, Israel.
- Faculty of Medical and Health Sciences, Tel Aviv University, Tel Aviv, Israel.
- Division of Diagnostic Imaging, Sheba Medical Center, Tel Hashomer, Israel.
- DeepVision Lab, Sheba Medical Center, Tel Hashomer, Israel.
- The Division of Data-Driven and Digital Medicine (D3M), Icahn School of Medicine at Mount Sinai, New York, USA.
ORCID-Profile: Gal Ben Haim
Zitieren
APA
Haim, G. B., Saban, M., Barash, Y., Cirulnik, D., Shaham, A., Eisenman, B. Z., Burshtein, L., Mymon, O., & Klang, E. (2026). Evaluating Large Language Model‐Assisted Emergency Triage: A Comparison of Acuity Assessments by GPT ‐4 and Medical Experts. Journal of Clinical Nursing, 35(10), 4249-4255. https://doi.org/10.1111/jocn.17490
Vancouver
Haim GB, Saban M, Barash Y, Cirulnik D, Shaham A, Eisenman BZ, et al. Evaluating Large Language Model‐Assisted Emergency Triage: A Comparison of Acuity Assessments by GPT ‐4 and Medical Experts. Journal of Clinical Nursing. 2026;35(10):4249-4255. doi:10.1111/jocn.17490
BibTeX
@article{Haim2026,
author = {Haim, Gal Ben and Saban, Mor and Barash, Yiftach and Cirulnik, David and Shaham, Amit and Eisenman, Ben Zion and Burshtein, Livnat and Mymon, Orly and Klang, Eyal},
title = {Evaluating Large Language Model‐Assisted Emergency Triage: A Comparison of Acuity Assessments by GPT ‐4 and Medical Experts},
journal = {Journal of Clinical Nursing},
year = {2026},
volume = {35},
number = {10},
pages = {4249--4255},
doi = {10.1111/jocn.17490}
}
EUVIMED