Performance and usability of retrieval-augmented large language models for stroke patient and caregiver support
Leistung und Usability von Retrieval-Augmented Large Language Models zur Unterstützung von Schlaganfallpatient:innen und Angehörigen
DIGITAL HEALTH · 2026-02 · 12
DOI: 10.1177/20552076261464997 ↗Auf einen Blick
Eine RAG-Frage-Antwort-System für Schlaganfallpatient:innen und Angehörige wurde entwickelt und geprüft. Mit RAG stiegen Genauigkeit, Relevanz und Vollständigkeit bei allen 3 LLMs; GPT-4o erreichte die höchste Gesamtwertung.
Fragestellung
Wie leistungsfähig und nutzbar sind retrieval-augmentierte Large Language Models für Fragen von Schlaganfallpatient:innen und Angehörigen?
Methode
Entwicklung eines RAG-Frage-Antwort-Systems mit lokaler Wissensbasis; Bewertung von 3 LLMs mit 184 Prüfungsfragen und 30 offenen Fragen; Usability-Test mit 20 Schlaganfallüberlebenden und Angehörigen.
Ergebnisse
RAG verbesserte Genauigkeit, Relevanz und Vollständigkeit bei allen 3 LLMs. GPT-4o im RAG-Setting erzielte die höchste Gesamtwertung. Für Claude3.7 und Qwen3 nahm die Verständlichkeit unter RAG leicht ab.
Einschränkungen
Nur 20 Teilnehmende im Usability-Test; Auswirkungen auf langfristige klinische Vorteile wurden nicht untersucht.
Schlussfolgerung der Autor:innen
RAG kann die Zuverlässigkeit von LLM-Antworten zu Schlaganfallfragen verbessern und liefert vertrauenswürdige, leitlinienbasierte Informationen. Die hohen Usability-Werte sprechen für eine frühe Machbarkeit im realen Einsatz.
Kernaussagen
- RAG verbesserte Genauigkeit, Relevanz und Vollständigkeit
- GPT-4o mit RAG hatte die höchste Gesamtwertung
- Hohe Usability-Werte bei 20 Schlaganfallüberlebenden und Angehörigen
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift DIGITAL HEALTH, online erschienen am 25.06.2026. Verfasst von Jinxia Rong und 5 weiteren Autor:innen. Beteiligte Einrichtung: School of Nursing, Fudan University, Shanghai, China. Die Arbeit wurde bisher 1-mal zitiert (Crossref) und nennt 37 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY-NC 4.0). Gefördert von: National Natural Science Foundation of China, Nursing Research Fund of the First Affiliated Hospital of Ningbo University, Medical Science and Technology Project of Zhejiang Province.
Themen: Schlaganfall
Abstract (Originalsprache)
Aim
To develop a Retrieval-Augmented Generation (RAG) question-answering system for stroke patients and family caregivers, and evaluate its performance and usability.
Methods
We constructed a localized knowledge base using clinical practice guidelines, consensus, expert opinion, textbooks, systematic review, evidence summary, and peer-reviewed literature. Three LLMs (GPT-4o, Claude3.7, and Qwen3) were first evaluated for accuracy using 184 exam questions under zero-shot and RAG configurations. Thirty open-ended stroke-related questions were assessed by three experienced clinicians across four dimensions. Usability testing was conducted with 20 stroke survivors and family caregivers using the best-performing model, measuring System Usability Scale (SUS) and Net Promoter Score (NPS).
Results
RAG integration improved accuracy, relevance, and completeness across all three LLMs, with GPT-4o under RAG configuration achieving the highest overall mean score. However, the addition of RAG slightly reduced understandability for Claude3.7 and Qwen3. Usability testing yielded high acceptance.
Conclusions
RAG can enhance the reliability of LLM-generated responses in stroke-related questions, offering trusted, guideline-based information. The high usability ratings suggest early feasibility for real-world deployment, while future research should assess its linguistic accessibility and long-term clinical benefits in real-world caregiving contexts.
Schlagwörter
Stichwörter der Autor:innen
Autor:innen und Institutionen
- School of Nursing, Fudan University, Shanghai, China.
- Department of Emergency Medicine, The First Affiliated Hospital of Ningbo University, Ningbo, Zhejiang, China.
- Institute of AI and Robotics, Academy for Engineering and Technology, Fudan University, Shanghai, China.
- Engineering Research Center of AI & Robotics, Ministry of Education, Shanghai, China.
- Ji Hua Laboratory, Foshan, Guangdong, China.
ORCID-Profile: Jinxia Rong
Förderung
- National Natural Science Foundation of China
- Nursing Research Fund of the First Affiliated Hospital of Ningbo University
- Medical Science and Technology Project of Zhejiang Province
Zitieren
APA
Rong, J., Liang, M., Wang, Z., Ye, Z., Luo, J., & Liang, Y. (2026). Performance and usability of retrieval-augmented large language models for stroke patient and caregiver support. DIGITAL HEALTH, 12. https://doi.org/10.1177/20552076261464997
Vancouver
Rong J, Liang M, Wang Z, Ye Z, Luo J, Liang Y. Performance and usability of retrieval-augmented large language models for stroke patient and caregiver support. DIGITAL HEALTH. 2026;12. doi:10.1177/20552076261464997
BibTeX
@article{Rong2026,
author = {Rong, Jinxia and Liang, Min and Wang, Zheyan and Ye, Zhixue and Luo, Jingjing and Liang, Yan},
title = {Performance and usability of retrieval-augmented large language models for stroke patient and caregiver support},
journal = {DIGITAL HEALTH},
year = {2026},
volume = {12},
doi = {10.1177/20552076261464997}
}
EUVIMED