EUVIMEDEUVIMED entdecken
Open Access

Voice-Based Structured Nursing Documentation Using Automatic Speech Recognition and Large Language Models: Development and Evaluation Study

Sprachbasierte strukturierte Pflegedokumentation mit Automatic Speech Recognition und Large Language Models: Entwicklungs- und Evaluationsstudie

Meng-Han Su iD, Wei-Chun Wang iD, Yi-Min Hsu iD, Shih-Yen Hou iD, Su-Jung Chuang iD, Shih-Sheng Chang iD

JMIR Nursing · 05.06.2026 · 9 · e88567-e88567

DOI: 10.2196/88567 ↗

Auf einen Blick

Die Studie entwickelte ein integriertes ASR- und LLM-System für strukturierte DART-Pflegedokumentation. Es zeigte gute Leistung und wurde von Pflegefachpersonen gut angenommen.

Fragestellung

Wie genau, nutzbar und klinisch praktikabel ist ein integriertes ASR- und LLM-System für strukturierte DART-Pflegedokumentation im HIS-Workflow?

Methode

Entwicklungs- und Evaluationsstudie mit feinabgestimmtem Whisper large-v2 und LLM; Bewertung von ASR-Fehlern, F1-Scores, Übereinstimmung, Halluzinationen und Pflegefeedback.

Ergebnisse

Die mixed error rate sank von 44,79 % auf 6,67 %. DART-Generierung: macroaveraged F1 0,82 (95 %-KI 0,80–0,84), Noninferiority gegenüber Human-Transkripten erfüllt (δ=−0,04). Halluzinationsrate 2,51 %.

Schlussfolgerung der Autor:innen

Das integrierte ASR- und LLM-System war praktikabel und zeigte starke Leistung. Es reduzierte den manuellen Dokumentationsaufwand, verbesserte die Vollständigkeit und wurde gut akzeptiert.

Kernaussagen

  • ASR-Fehlerquote von 44,79 % auf 6,67 % reduziert
  • DART-Generierung mit F1 0,82 (95 %-KI 0,80–0,84)
  • 75,8 % der 120 Pflegefachpersonen berichteten weniger Aufwand und mehr Vollständigkeit

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift JMIR Nursing, online erschienen am 05.06.2026. Verfasst von Meng-Han Su und 5 weiteren Autor:innen. Beteiligte Einrichtung: Artificial Intelligence and Robotics Innovation Center, China Medical University Hospital, China Medical University, No. 2, Yude Rd, North Dist, Taic…. Hauptthemen laut MEDLINE: Documentation, Speech Recognition Software, Nursing Records. Die Arbeit wurde bisher 3-mal zitiert (Crossref) und nennt 30 Literaturangaben. Der Volltext ist frei in PubMed Central verfügbar.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Background

For clinical nurses, manually entering information into hospital information systems (HISs) remains time-consuming and prone to omissions. Although speech recognition can reduce the need for manual entry, its use in clinical settings has historically been limited by code-switching, medical terminology, and noisy ward environments. Recent advances in customized automatic speech recognition (ASR) and large language models (LLMs) now make speech-based, structured documentation aligned with nursing frameworks such as DART (data, action, response, and teaching) increasingly feasible.

Objective

This study developed and evaluated an integrated ASR and LLM system that transforms spoken nursing input into structured DART notes and evaluated its accuracy, usability, and clinical feasibility within HIS workflows.

Methods

A code-switching nursing speech corpus from emergency and ward settings was used to fine-tune the Whisper large-v2 model with parameter-efficient adaptation. The LLM generated schema-constrained DART records from ASR transcripts, which were verified by nurses before being uploaded to the corresponding HIS fields. Evaluation included mixed error rate for ASR accuracy, F 1 -scores, and agreement statistics for DART classification, hallucination assessments based on factual correctness, and analysis of nurse feedback on system use.

Results

The fine-tuned ASR model reduced the mixed error rate from 44.79% to 6.67%. DART generation achieved a macroaveraged F 1 -score of 0.82 (95% CI 0.80‐0.84) and met the noninferiority margin relative to human transcripts (δ=−0.04). The hallucination rate was 2.51%. During deployment, the monthly volume of valid nursing notes generated through voluntary use of the ASR system increased from 32,724 to 65,417, where each note represented a single documentation entry generated per patient care episode. Among 120 participating nurses, 91 (75.8%) reported reduced workload and improved completeness.

Conclusions

The integrated ASR and LLM system was feasible and showed strong performance, with good acceptance among clinical nurses. It reduced the manual documentation burden, improved record completeness, and demonstrated the value of an ASR- and LLM-supported workflow for nursing documentation.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

DocumentationSpeech Recognition SoftwareNursing RecordsHumansLarge Language Models

Stichwörter der Autor:innen

automatic speech recognitioncode-switchingdocumentationlarge language modelnursingnursing records

Autor:innen und Institutionen

  • Artificial Intelligence and Robotics Innovation Center, China Medical University Hospital, China Medical University, No. 2, Yude Rd, North Dist, Taichung, 404327, Taiwan, 886 0422052121 ext 12584.
  • China Medical University Hospital, Taichung, Taiwan.

ORCID-Profile: Meng-Han Su, Wei-Chun Wang, Yi-Min Hsu, Shih-Yen Hou, Su-Jung Chuang, Shih-Sheng Chang

Zitieren

APA

Su, M. H., Wang, W. C., Hsu, Y. M., Hou, S. Y., Chuang, S. J., & Chang, S. S. (2026). Voice-Based Structured Nursing Documentation Using Automatic Speech Recognition and Large Language Models: Development and Evaluation Study. JMIR Nursing, 9, e88567-e88567. https://doi.org/10.2196/88567

Vancouver

Su MH, Wang WC, Hsu YM, Hou SY, Chuang SJ, Chang SS. Voice-Based Structured Nursing Documentation Using Automatic Speech Recognition and Large Language Models: Development and Evaluation Study. JMIR Nursing. 2026;9:e88567-e88567. doi:10.2196/88567

BibTeX
@article{Su2026,
  author = {Su, Meng-Han and Wang, Wei-Chun and Hsu, Yi-Min and Hou, Shih-Yen and Chuang, Su-Jung and Chang, Shih-Sheng},
  title = {Voice-Based Structured Nursing Documentation Using Automatic Speech Recognition and Large Language Models: Development and Evaluation Study},
  journal = {JMIR Nursing},
  year = {2026},
  volume = {9},
  pages = {e88567--e88567},
  doi = {10.2196/88567}
}
Kostenlos starten →