EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

Evaluating the quality of large language model-generated preoperative patient education material: a comparative study across models and surgery types

Bewertung der Qualität von von Large Language Models generiertem präoperativem Patientenaufklärungsmaterial: Vergleichsstudie nach Modellen und OP-Arten

Junwei Ma, Yunshan Zhang, Huifeng Tang, Xuemei Yi, Tangsheng Zhong, Xinyun Li, Gang Wang

Frontiers in Medicine · 11.12.2025 · 12

DOI: 10.3389/fmed.2025.1701344 ↗

Auf einen Blick

Sechs LLMs erzeugten präoperatives Patientenaufklärungsmaterial für 6 OP-Arten. Die Qualität war in mehreren Dimensionen hoch, aber kein Modell war in allen Bereichen überlegen.

Fragestellung

Wie gut ist die Qualität von vollständigem präoperativem Patientenaufklärungsmaterial, das von 6 gängigen LLMs für 6 OP-Arten erzeugt wird?

Methode

Querschnittliche Vergleichsstudie; 6 LLMs erzeugten Materialien für 6 OP-Arten. Bewertung durch Expert:innengruppen, PEMAT-P, SAM, Flesch-Kincaid und VADER; Analyse mit Friedman-Test und Conover-Post-hoc mit Bonferroni-Korrektur.

Ergebnisse

Alle Modelle zeigten hohe Genauigkeit, Verständlichkeit und Handlungsrelevanz ohne signifikante Unterschiede. Grok-4 und Claude-Opus-4 waren bei Vollständigkeit besser als GPT-4o; Claude-Opus-4 war bei Eignung am besten, Grok-4 am schlechtesten.

Schlussfolgerung der Autor:innen

Die von diesen Modellen erzeugten Materialien können in mehreren Dimensionen hohe Qualität erreichen, aber es gibt kein perfektes Modell. Die Texte können als Entwurf dienen, müssen vor Patient:innenkontakt aber geprüft und ergänzt werden.

Kernaussagen

  • Hohe Genauigkeit, Verständlichkeit und Handlungsrelevanz bei allen Modellen
  • Vollständigkeit und Eignung variierten zwischen den Modellen
  • Vor Abgabe an Patient:innen ist eine ärztliche Prüfung und Ergänzung nötig

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Frontiers in Medicine, online erschienen am 11.12.2025. Verfasst von Junwei Ma und 6 weiteren Autor:innen. Beteiligte Einrichtung: School of Nursing, Jilin University, Changchun, China. Die Arbeit wurde bisher 5-mal zitiert (Crossref) und nennt 36 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Background

Numerous studies have confirmed the effectiveness of large language models (LLMs) as a patient education tool; however, these studies primarily relied on the method of asking medical questions. So far, no studies have comprehensively assessed the quality of the complete preoperative patient education material (PEM) generated by LLMs from the perspectives of different models and surgical types.

Objective

This study aims to comprehensively assess and compare the quality of different types of complete preoperative PEM generated by six common LLMs.

Design

A Cross-sectional Comparative Study.

Methods

We prompted 6 LLMs to generate preoperative PEMs for 6 distinct surgical types. For each surgical type, the materials were evaluated by 3 groups of experts from relevant fields using a 5-point scale for their accuracy and completeness. Two researchers assessed the materials for understandability and actionability using the PEMAT-P, and for suitability using SAM. We also analyzed the materials for readability with Flesch-Kincaid and for sentiment with the VADER sentiment analysis tool. Statistical analysis was performed using the Friedman test, followed by Conover’s post-hoc test with Bonferroni correction.

Results

The research results show that each model has its strengths in different dimensions. All the models demonstrated excellent accuracy, understandability, and actionability with no statistically significant differences. In terms of completeness, Grok-4 and Claude-Opus-4 significantly outperformed GPT-4o. For suitability, Claude-Opus-4 performed the best, while Grok-4 was the worst. For readability, Grok-4 and Gemini-2.5-Pro were the easiest to understand, while Claude-Opus-4 had the lowest readability. Moreover, only Gemini-2.5-Pro could consistently generate content with positive emotions.

Conclusion

The research has found that the materials generated by these models can achieve high levels in multiple dimensions, but there is no perfect model. These models can be used by medical staff to generate the initial draft of preoperative PEMs. However, before providing them to the patients, they still need to be reviewed and supplemented by the medical staff.

Schlagwörter

Stichwörter der Autor:innen

artificial intelligence (AI)comparative analysislarge language model (LLM)patient education material (PEM)preoperative education

Autor:innen und Institutionen

  • School of Nursing, Jilin University, Changchun, China.
  • The First Hospital of Jilin University, Changchun, China.

Zitieren

APA

Ma, J., Zhang, Y., Tang, H., Yi, X., Zhong, T., Li, X., & Wang, G. (2025). Evaluating the quality of large language model-generated preoperative patient education material: a comparative study across models and surgery types. Frontiers in Medicine, 12. https://doi.org/10.3389/fmed.2025.1701344

Vancouver

Ma J, Zhang Y, Tang H, Yi X, Zhong T, Li X, et al. Evaluating the quality of large language model-generated preoperative patient education material: a comparative study across models and surgery types. Frontiers in Medicine. 2025;12. doi:10.3389/fmed.2025.1701344

BibTeX
@article{Ma2025,
  author = {Ma, Junwei and Zhang, Yunshan and Tang, Huifeng and Yi, Xuemei and Zhong, Tangsheng and Li, Xinyun and Wang, Gang},
  title = {Evaluating the quality of large language model-generated preoperative patient education material: a comparative study across models and surgery types},
  journal = {Frontiers in Medicine},
  year = {2025},
  volume = {12},
  doi = {10.3389/fmed.2025.1701344}
}
Kostenlos starten →