EUVIMEDEUVIMED entdecken
Mixed-Methods-StudieOpen Access · CC BY-NC-ND 4.0

Generative artificial intelligence for inpatient documentation summarization: mixed-methods quality assessment and early real-world experience

Generative künstliche Intelligenz für die Zusammenfassung stationärer Dokumentation: gemischte Qualitätsbewertung und frühe Real-World-Erfahrung

Steve G Peters iD, Jens P Boyum, Sean R Legler, Kate J Heise, Angie Griffin, Heather A Heaton

Journal of the American Medical Informatics Association · 01.08.2026 · 33 (8) · 1466-1473

DOI: 10.1093/jamia/ocag076 ↗

Auf einen Blick

Eine LLM-basierte Zusammenfassung für den laufenden Krankenhausaufenthalt wurde in 3 akademischen Krankenhäusern positiv bewertet. Die Nutzung war hoch und die Qualität wurde über alle PDSQI-9-Bereiche als gut eingeschätzt.

Fragestellung

Wie gut ist ein LLM-basiertes Tool zur Zusammenfassung stationärer Dokumentation und wie wird es genutzt?

Methode

Pragmatische Mixed-Methods-Qualitätsbewertung in 3 universitären Krankenhäusern mit PDSQI-9, Nutzungsanalysen und qualitativer Rückmeldung.

Ergebnisse

512 Nutzer:innen erhielten Zugang; 52 Teilnehmende gaben 205 Fragebögen ab. Die mittlere PDSQI-9-Bewertung über 8 Bereiche lag bei 4,68 (Range 4,56–4,78; SD 0,67) auf einer 5-Punkt-Skala.

Einschränkungen

Niedrige Rücklaufquote: 52 von 512 Nutzer:innen; nur 205 Fragebögen.

Schlussfolgerung der Autor:innen

Das LLM-basierte Summarization-Tool für den stationären Aufenthalt wurde in der Praxis von verschiedenen Kliniker:innen als qualitativ hochwertig, sicher und nachhaltig genutzt bewertet.

Kernaussagen

  • PDSQI-9 gesamt: 4,68 auf einer 5-Punkt-Skala
  • 52 von 512 Nutzer:innen gaben 205 Fragebögen ab
  • Kritik: Abgleich mit Verlaufsnotizen und mehr fachspezifische Details nötig

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Mixed-Methods-Studie in der Zeitschrift Journal of the American Medical Informatics Association, online erschienen am 14.05.2026. Verfasst von Steve G Peters und 5 weiteren Autor:innen. Beteiligte Einrichtung: Department of Medicine, Division of Pulmonary, Critical Care, Allergy and Sleep, Mayo Clinic, 200 SW First St, Rochester, MN, 55905, United States. Hauptthemen laut MEDLINE: Generative Artificial Intelligence, Electronic Health Records, Documentation. Die Arbeit wurde bisher 5-mal zitiert (Crossref) und nennt 20 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY-NC-ND 4.0). Gefördert von: Mayo Clinic.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Objective

We evaluated the quality and adoption of a large language model (LLM)-based summarization tool for ongoing hospital care. Materials and methods An AI summarization tool was created to provide a “Patient Story”, specialty-specific “Recent Notes”, and “Recent Events” over the previous 24 or 72 hours. We conducted a pragmatic mixed-methods quality assessment at three tertiary-care academic hospitals utilizing (1) Provider Documentation Summarization Quality Instrument (PDSQI-9), (2) utilization analytics, and (3) qualitative end user feedback. The PDSQI-9 included whether summaries were accurate, cited, comprehensible, organized, succinct, non-stigmatizing, synthesized, thorough, and useful. 512 users were given access, from whom 52 participants submitted 205 surveys (10.2% response rate).

Results

52 respondents submitted an average of 4.3 surveys (range 1–8). Users rated the tool favorably across all PDSQI-9 domains, with a combined average score of 4.68 (range 4.56–4.78, S.D. 0.67) across the eight domains scored on a 5-point modified Likert scale. Utilization metrics demonstrated strong uptake with frequent views. Positive qualitative feedback revealed cognitive offloading for complex patients and effective summarization of medical problems. Critical feedback showed a need to cross-reference narrative notes to current-state data and lack of detailed specialty-specific summarization.

Discussion

Generative artificial intelligence has emerged as a potentially transformative technology for generating succinct, verifiable summaries of ongoing care. In this pragmatic implementation, end-users indicated high perceived quality across PDSQI-9 domains.

Conclusions

An LLM-based summarization tool for ongoing hospitalization care was rated of high quality by diverse clinicians in real-world settings, demonstrated a favorable safety profile, and showed sustained utilization.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Generative Artificial IntelligenceElectronic Health RecordsDocumentationHumansLarge Language ModelsInpatients

Stichwörter der Autor:innen

electronic medical recordgenerative artificial intelligenceinformation storage and retrievalmachine learning

Autor:innen und Institutionen

  • Department of Medicine, Division of Pulmonary, Critical Care, Allergy and Sleep, Mayo Clinic, 200 SW First St, Rochester, MN, 55905, United States.
  • Clinical Systems Operations, Mayo Clinic, Rochester, MN, United States.
  • Hospital Internal Medicine, Mayo Clinic, Rochester, MN, United States.
  • Critical Care Medicine, Mayo Clinic, Rochester, MN, United States.
  • Emergency Medicine, Mayo Clinic, Rochester, MN, United States.

ORCID-Profile: Steve G Peters

Förderung

  • Mayo Clinic

Zitieren

APA

Peters, S. G., Boyum, J. P., Legler, S. R., Heise, K. J., Griffin, A., & Heaton, H. A. (2026). Generative artificial intelligence for inpatient documentation summarization: mixed-methods quality assessment and early real-world experience. Journal of the American Medical Informatics Association, 33(8), 1466-1473. https://doi.org/10.1093/jamia/ocag076

Vancouver

Peters SG, Boyum JP, Legler SR, Heise KJ, Griffin A, Heaton HA. Generative artificial intelligence for inpatient documentation summarization: mixed-methods quality assessment and early real-world experience. Journal of the American Medical Informatics Association. 2026;33(8):1466-1473. doi:10.1093/jamia/ocag076

BibTeX
@article{Peters2026,
  author = {Peters, Steve G and Boyum, Jens P and Legler, Sean R and Heise, Kate J and Griffin, Angie and Heaton, Heather A},
  title = {Generative artificial intelligence for inpatient documentation summarization: mixed-methods quality assessment and early real-world experience},
  journal = {Journal of the American Medical Informatics Association},
  year = {2026},
  volume = {33},
  number = {8},
  pages = {1466--1473},
  doi = {10.1093/jamia/ocag076}
}
Kostenlos starten →