Augmenting patient safety surveillance in radiation oncology with large language model-based root cause analysis: A proof-of-concept study
Augmentierung der Patientensicherheitsüberwachung in der Strahlenonkologie mit auf großen Sprachmodellen basierender Root-Cause-Analyse: Proof-of-concept-Studie
PLOS Digital Health · 25.09.2026 · 5 (9) · e0001740
DOI: 10.1371/journal.pdig.0001740 ↗Auf einen Blick
Vier große Sprachmodelle analysierten 19 RO-ILS-Fälle zur Root-Cause-Analyse. Die Modelle zeigten eine zufriedenstellende Leistung, hatten aber Halluzinationen von 11 % bis 61 %.
Fragestellung
Wie gut unterstützen große Sprachmodelle die Root-Cause-Analyse von Strahlenonkologie-Inzidenzen?
Methode
Vier LLMs analysierten 19 öffentliche RO-ILS-Fälle mit einem standardisierten Prompt nach AAPM-RCA-Leitlinien. Bewertung mit semantischen, halbsubjektiven und subjektiven Kriterien durch 5 Fachphysiker:innen.
Ergebnisse
Alle Modelle zeigten vergleichbare Basiskapazitäten in der kausalen Extraktion. Gemini 2.5 Pro erzielte den höchsten Gesamtwert. Unterschiede waren signifikant in PPV, Halluzinationsrate und subjektiven Ratings (p < 0,05).
Einschränkungen
Halluzinationsraten betrugen 11 % bis 61 %.
Schlussfolgerung der Autor:innen
LLMs lieferten vielversprechende Ergebnisse als unterstützende Werkzeuge für RCA in der Strahlenonkologie und können Incident-Analysen sowie Qualitätsverbesserung unterstützen.
Kernaussagen
- 19 RO-ILS-Fälle wurden mit 4 LLMs analysiert
- Gemini 2.5 Pro hatte den höchsten Gesamtwert
- Halluzinationen traten bei allen Modellen auf (11 % bis 61 %)
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift PLOS Digital Health, online erschienen am 25.09.2026. Verfasst von Yuntao Wang und 5 weiteren Autor:innen. Beteiligte Einrichtung: Department of Radiation Oncology, University of Miami, Miami, Florida, United States of America. Die Arbeit nennt 56 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).
Themen: Künstliche Intelligenz in der Pflege, Patientensicherheit
Abstract (Originalsprache)
We investigated the potential utility of large language models (LLMs) in supporting patient safety efforts. Specifically, we evaluated the reasoning capabilities of LLMs in performing root cause analysis (RCA) of radiation oncology incidents using narrative reports from the Radiation Oncology Incident Learning System (RO-ILS). We prompted four state-of-the-art LLMs, Gemini 2.5 Pro, GPT-4o, o3, and Grok 3, with the “Background and Incident Overview” sections from 19 publicly available RO-ILS cases. Each model was instructed to perform RCA and generate root causes, lessons learned, and suggested actions using a standardized prompt based on AAPM RCA guidelines. Model outputs were evaluated using a combination of objective semantic similarity metrics (cosine similarity via Sentence Transformer), semi-subjective assessments (precision, recall, F1-score, expert-adjudicated PPV (Positive Predictive Value), hallucination rate and performance criteria including relevance, comprehensiveness, quality of justification and quality of solution), and subjective ratings (reasoning quality and overall performance) by five board-certified medical physicists. LLMs demonstrated satisfactory performance across evaluation metrics. All models exhibited some degree of hallucination, ranging from 11% to 61%. All the evaluated LLMs demonstrated comparable baseline capabilities in objective causal extraction, and Gemini 2.5 Pro exhibited the highest overall performance score among 4 models. Statistically significant differences were observed among models in expert-adjudicated PPV, hallucination rate, and subjective ratings ( p < 0.05). LLMs delivered promising results as assistive tools for RCA in radiation oncology, with the ability to generate relevant and accurate analyses aligned with expert expectations. LLMs may support incident analysis and contribute to quality improvement efforts to advance patient safety in clinical radiation oncology practice.
Autor:innen und Institutionen
- Department of Radiation Oncology, University of Miami, Miami, Florida, United States of America.
ORCID-Profile: Yuntao Wang, Yunze Yang
Zitieren
APA
Wang, Y., De Ornelas, M., Studenski, M. T., Bossart, E., Nejad-Davarani, S. P., & Yang, Y. (2026). Augmenting patient safety surveillance in radiation oncology with large language model-based root cause analysis: A proof-of-concept study. PLOS Digital Health, 5(9), e0001740. https://doi.org/10.1371/journal.pdig.0001740
Vancouver
Wang Y, De Ornelas M, Studenski MT, Bossart E, Nejad-Davarani SP, Yang Y. Augmenting patient safety surveillance in radiation oncology with large language model-based root cause analysis: A proof-of-concept study. PLOS Digital Health. 2026;5(9):e0001740. doi:10.1371/journal.pdig.0001740
BibTeX
@article{Wang2026,
author = {Wang, Yuntao and De Ornelas, Mariluz and Studenski, Matthew T and Bossart, Elizabeth and Nejad-Davarani, Siamak P and Yang, Yunze},
title = {Augmenting patient safety surveillance in radiation oncology with large language model-based root cause analysis: A proof-of-concept study},
journal = {PLOS Digital Health},
year = {2026},
volume = {5},
number = {9},
pages = {e0001740},
doi = {10.1371/journal.pdig.0001740}
}
EUVIMED