Evaluating the quality of large language model-generated preoperative patient education material: a comparative study across models and surgery types
Bewertung der Qualität von von Large Language Models generiertem präoperativem Patientenaufklärungsmaterial: Vergleichsstudie nach Modellen und OP-Arten
Frontiers in Medicine · 11.12.2025 · 12
DOI: 10.3389/fmed.2025.1701344 ↗Auf einen Blick
Sechs LLMs erzeugten präoperatives Patientenaufklärungsmaterial für 6 OP-Arten. Die Qualität war in mehreren Dimensionen hoch, aber kein Modell war in allen Bereichen überlegen.
Fragestellung
Wie gut ist die Qualität von vollständigem präoperativem Patientenaufklärungsmaterial, das von 6 gängigen LLMs für 6 OP-Arten erzeugt wird?
Methode
Querschnittliche Vergleichsstudie; 6 LLMs erzeugten Materialien für 6 OP-Arten. Bewertung durch Expert:innengruppen, PEMAT-P, SAM, Flesch-Kincaid und VADER; Analyse mit Friedman-Test und Conover-Post-hoc mit Bonferroni-Korrektur.
Ergebnisse
Alle Modelle zeigten hohe Genauigkeit, Verständlichkeit und Handlungsrelevanz ohne signifikante Unterschiede. Grok-4 und Claude-Opus-4 waren bei Vollständigkeit besser als GPT-4o; Claude-Opus-4 war bei Eignung am besten, Grok-4 am schlechtesten.
Schlussfolgerung der Autor:innen
Die von diesen Modellen erzeugten Materialien können in mehreren Dimensionen hohe Qualität erreichen, aber es gibt kein perfektes Modell. Die Texte können als Entwurf dienen, müssen vor Patient:innenkontakt aber geprüft und ergänzt werden.
Kernaussagen
- Hohe Genauigkeit, Verständlichkeit und Handlungsrelevanz bei allen Modellen
- Vollständigkeit und Eignung variierten zwischen den Modellen
- Vor Abgabe an Patient:innen ist eine ärztliche Prüfung und Ergänzung nötig
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Frontiers in Medicine, online erschienen am 11.12.2025. Verfasst von Junwei Ma und 6 weiteren Autor:innen. Beteiligte Einrichtung: School of Nursing, Jilin University, Changchun, China. Die Arbeit wurde bisher 5-mal zitiert (Crossref) und nennt 36 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).
Themen: Künstliche Intelligenz in der Pflege, Selbstmanagement bei chronischen Erkrankungen
Abstract (Originalsprache)
Background
Numerous studies have confirmed the effectiveness of large language models (LLMs) as a patient education tool; however, these studies primarily relied on the method of asking medical questions. So far, no studies have comprehensively assessed the quality of the complete preoperative patient education material (PEM) generated by LLMs from the perspectives of different models and surgical types.
Objective
This study aims to comprehensively assess and compare the quality of different types of complete preoperative PEM generated by six common LLMs.
Design
A Cross-sectional Comparative Study.
Methods
We prompted 6 LLMs to generate preoperative PEMs for 6 distinct surgical types. For each surgical type, the materials were evaluated by 3 groups of experts from relevant fields using a 5-point scale for their accuracy and completeness. Two researchers assessed the materials for understandability and actionability using the PEMAT-P, and for suitability using SAM. We also analyzed the materials for readability with Flesch-Kincaid and for sentiment with the VADER sentiment analysis tool. Statistical analysis was performed using the Friedman test, followed by Conover’s post-hoc test with Bonferroni correction.
Results
The research results show that each model has its strengths in different dimensions. All the models demonstrated excellent accuracy, understandability, and actionability with no statistically significant differences. In terms of completeness, Grok-4 and Claude-Opus-4 significantly outperformed GPT-4o. For suitability, Claude-Opus-4 performed the best, while Grok-4 was the worst. For readability, Grok-4 and Gemini-2.5-Pro were the easiest to understand, while Claude-Opus-4 had the lowest readability. Moreover, only Gemini-2.5-Pro could consistently generate content with positive emotions.
Conclusion
The research has found that the materials generated by these models can achieve high levels in multiple dimensions, but there is no perfect model. These models can be used by medical staff to generate the initial draft of preoperative PEMs. However, before providing them to the patients, they still need to be reviewed and supplemented by the medical staff.
Schlagwörter
Stichwörter der Autor:innen
Autor:innen und Institutionen
- School of Nursing, Jilin University, Changchun, China.
- The First Hospital of Jilin University, Changchun, China.
Zitieren
APA
Ma, J., Zhang, Y., Tang, H., Yi, X., Zhong, T., Li, X., & Wang, G. (2025). Evaluating the quality of large language model-generated preoperative patient education material: a comparative study across models and surgery types. Frontiers in Medicine, 12. https://doi.org/10.3389/fmed.2025.1701344
Vancouver
Ma J, Zhang Y, Tang H, Yi X, Zhong T, Li X, et al. Evaluating the quality of large language model-generated preoperative patient education material: a comparative study across models and surgery types. Frontiers in Medicine. 2025;12. doi:10.3389/fmed.2025.1701344
BibTeX
@article{Ma2025,
author = {Ma, Junwei and Zhang, Yunshan and Tang, Huifeng and Yi, Xuemei and Zhong, Tangsheng and Li, Xinyun and Wang, Gang},
title = {Evaluating the quality of large language model-generated preoperative patient education material: a comparative study across models and surgery types},
journal = {Frontiers in Medicine},
year = {2025},
volume = {12},
doi = {10.3389/fmed.2025.1701344}
}
EUVIMED