EUVIMEDEUVIMED entdecken
Open Access · CC BY-NC 4.0

Performance and usability of retrieval-augmented large language models for stroke patient and caregiver support

Leistung und Usability von Retrieval-Augmented Large Language Models zur Unterstützung von Schlaganfallpatient:innen und Angehörigen

Jinxia Rong iD, Min Liang, Zheyan Wang, Zhixue Ye, Jingjing Luo, Yan Liang

DIGITAL HEALTH · 2026-02 · 12

DOI: 10.1177/20552076261464997 ↗

Auf einen Blick

Eine RAG-Frage-Antwort-System für Schlaganfallpatient:innen und Angehörige wurde entwickelt und geprüft. Mit RAG stiegen Genauigkeit, Relevanz und Vollständigkeit bei allen 3 LLMs; GPT-4o erreichte die höchste Gesamtwertung.

Fragestellung

Wie leistungsfähig und nutzbar sind retrieval-augmentierte Large Language Models für Fragen von Schlaganfallpatient:innen und Angehörigen?

Methode

Entwicklung eines RAG-Frage-Antwort-Systems mit lokaler Wissensbasis; Bewertung von 3 LLMs mit 184 Prüfungsfragen und 30 offenen Fragen; Usability-Test mit 20 Schlaganfallüberlebenden und Angehörigen.

Ergebnisse

RAG verbesserte Genauigkeit, Relevanz und Vollständigkeit bei allen 3 LLMs. GPT-4o im RAG-Setting erzielte die höchste Gesamtwertung. Für Claude3.7 und Qwen3 nahm die Verständlichkeit unter RAG leicht ab.

Einschränkungen

Nur 20 Teilnehmende im Usability-Test; Auswirkungen auf langfristige klinische Vorteile wurden nicht untersucht.

Schlussfolgerung der Autor:innen

RAG kann die Zuverlässigkeit von LLM-Antworten zu Schlaganfallfragen verbessern und liefert vertrauenswürdige, leitlinienbasierte Informationen. Die hohen Usability-Werte sprechen für eine frühe Machbarkeit im realen Einsatz.

Kernaussagen

  • RAG verbesserte Genauigkeit, Relevanz und Vollständigkeit
  • GPT-4o mit RAG hatte die höchste Gesamtwertung
  • Hohe Usability-Werte bei 20 Schlaganfallüberlebenden und Angehörigen

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift DIGITAL HEALTH, online erschienen am 25.06.2026. Verfasst von Jinxia Rong und 5 weiteren Autor:innen. Beteiligte Einrichtung: School of Nursing, Fudan University, Shanghai, China. Die Arbeit wurde bisher 1-mal zitiert (Crossref) und nennt 37 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY-NC 4.0). Gefördert von: National Natural Science Foundation of China, Nursing Research Fund of the First Affiliated Hospital of Ningbo University, Medical Science and Technology Project of Zhejiang Province.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Aim

To develop a Retrieval-Augmented Generation (RAG) question-answering system for stroke patients and family caregivers, and evaluate its performance and usability.

Methods

We constructed a localized knowledge base using clinical practice guidelines, consensus, expert opinion, textbooks, systematic review, evidence summary, and peer-reviewed literature. Three LLMs (GPT-4o, Claude3.7, and Qwen3) were first evaluated for accuracy using 184 exam questions under zero-shot and RAG configurations. Thirty open-ended stroke-related questions were assessed by three experienced clinicians across four dimensions. Usability testing was conducted with 20 stroke survivors and family caregivers using the best-performing model, measuring System Usability Scale (SUS) and Net Promoter Score (NPS).

Results

RAG integration improved accuracy, relevance, and completeness across all three LLMs, with GPT-4o under RAG configuration achieving the highest overall mean score. However, the addition of RAG slightly reduced understandability for Claude3.7 and Qwen3. Usability testing yielded high acceptance.

Conclusions

RAG can enhance the reliability of LLM-generated responses in stroke-related questions, offering trusted, guideline-based information. The high usability ratings suggest early feasibility for real-world deployment, while future research should assess its linguistic accessibility and long-term clinical benefits in real-world caregiving contexts.

Schlagwörter

Stichwörter der Autor:innen

artificial intelligencecaregiverhealth educationlarge language modelretrieval-augmented generationstroke

Autor:innen und Institutionen

  • School of Nursing, Fudan University, Shanghai, China.
  • Department of Emergency Medicine, The First Affiliated Hospital of Ningbo University, Ningbo, Zhejiang, China.
  • Institute of AI and Robotics, Academy for Engineering and Technology, Fudan University, Shanghai, China.
  • Engineering Research Center of AI & Robotics, Ministry of Education, Shanghai, China.
  • Ji Hua Laboratory, Foshan, Guangdong, China.

ORCID-Profile: Jinxia Rong

Förderung

  • National Natural Science Foundation of China
  • Nursing Research Fund of the First Affiliated Hospital of Ningbo University
  • Medical Science and Technology Project of Zhejiang Province

Zitieren

APA

Rong, J., Liang, M., Wang, Z., Ye, Z., Luo, J., & Liang, Y. (2026). Performance and usability of retrieval-augmented large language models for stroke patient and caregiver support. DIGITAL HEALTH, 12. https://doi.org/10.1177/20552076261464997

Vancouver

Rong J, Liang M, Wang Z, Ye Z, Luo J, Liang Y. Performance and usability of retrieval-augmented large language models for stroke patient and caregiver support. DIGITAL HEALTH. 2026;12. doi:10.1177/20552076261464997

BibTeX
@article{Rong2026,
  author = {Rong, Jinxia and Liang, Min and Wang, Zheyan and Ye, Zhixue and Luo, Jingjing and Liang, Yan},
  title = {Performance and usability of retrieval-augmented large language models for stroke patient and caregiver support},
  journal = {DIGITAL HEALTH},
  year = {2026},
  volume = {12},
  doi = {10.1177/20552076261464997}
}
Kostenlos starten →