EUVIMEDEUVIMED entdecken
Vergleichsstudie

Evaluating the Quality and Reliability of Large Language Models for Plastic Surgery Patient Education: A Comparative Analysis of ChatGPT and OpenEvidence

Bewertung der Qualität und Zuverlässigkeit großer Sprachmodelle für die Aufklärung von Patient:innen in der plastischen Chirurgie: Vergleich von ChatGPT und OpenEvidence

Lucas R Perez Rivera iD, Alexis K Gursky, Nicholas Elmer, Carter J Boyd, Nolan S Karp

Aesthetic Surgery Journal · 29.01.2026 · 46 (2) · 160-167

DOI: 10.1093/asj/sjaf249 ↗

Auf einen Blick

OpenEvidence schnitt bei der Qualität und Zitationsgenauigkeit der Patient:innenmaterialien besser ab als ChatGPT-5. Bei Verständlichkeit und Umsetzbarkeit waren die Ergebnisse ähnlich.

Fragestellung

Vergleichen sich Qualität, Genauigkeit und Lesbarkeit von mit OpenEvidence und ChatGPT-5 erstellten Aufklärungsmaterialien zur ästhetischen Chirurgie?

Methode

Vergleichende Analyse von Ausgaben zu 20 häufigen ästhetisch-chirurgischen Eingriffen; Bewertung mit DISCERN, PEMAT-P, Flesch-Kincaid und Likert-Skala für Zitationsgenauigkeit.

Ergebnisse

OpenEvidence war besser im DISCERN-Score (3,3 ± 0,4 vs. 1,7 ± 0,4; P < .001) und in der Zitationsgenauigkeit (2,4 ± 1,3 vs. 1,5 ± 0,7; P = .007). PEMAT-P, Flesch-Kincaid und Lesbarkeit waren ähnlich.

Schlussfolgerung der Autor:innen

OpenEvidence erzeugte laut den Autor:innen Materialien mit signifikant höherer Qualität und Zuverlässigkeit als ChatGPT und könnte eine verlässlichere Alternative für die Patient:innenaufklärung sein.

Kernaussagen

  • DISCERN: 3,3 ± 0,4 mit OpenEvidence vs. 1,7 ± 0,4 mit ChatGPT-5
  • Zitationsgenauigkeit: 2,4 ± 1,3 vs. 1,5 ± 0,7
  • Verständlichkeit und Lesbarkeit waren zwischen beiden Tools ähnlich

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Vergleichsstudie in der Zeitschrift Aesthetic Surgery Journal, online erschienen am 26.11.2025. Verfasst von Lucas R Perez Rivera und 4 weiteren Autor:innen. Hauptthemen laut MEDLINE: Patient Education as Topic, Language, Plastic Surgery Procedures, Surgery, Plastic. Die Arbeit wurde bisher 7-mal zitiert (Crossref) und nennt 43 Literaturangaben.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Background

Concerns regarding information inaccuracy when using general-purpose large language models have prompted the quest for alternative tools. OpenEvidence has emerged as a healthcare-focused large language model trained exclusively on data from peer-reviewed medical literature.

Objectives

This study compared the quality, accuracy, and readability of aesthetic surgery patient education materials generated by OpenEvidence and ChatGPT.

Methods

A standardized prompt requesting comprehensive postoperative discharge instructions for 20 of the most common aesthetic surgery procedures was entered into OpenEvidence and ChatGPT-5. Outputs were evaluated using 4 validated assessment tools: the DISCERN instrument for information quality (1-5), the Patient Education Materials Assessment Tool for Printable Materials (PEMAT-P) for information understandability and actionability (0-100), the Flesch-Kincaid scale for estimated grade level (fifth grade to professional level) and reading ease (0-100), and a Likert scale for citation accuracy (1-4).

Results

OpenEvidence scored significantly higher than ChatGPT-5 in DISCERN (3.3 ± 0.4 vs 1.7 ± 0.4, P < .001) and the citation accuracy scale (2.4 ± 1.3 vs 1.5 ± 0.7, P = .007). Scores were comparable among both tools in PEMAT-P understandability (71 ± 5 vs 69 ± 0, P = .3) and actionability (52 ± 12 vs 54 ± 5, P = .6), as well as on the Flesch Kincaid Grade Level (9.3 ± 1.0 vs 9.2 ± 0.6, P = .8) and the Flesch Reading Ease Score (40.0 ± 6.6 vs 41.0 ± 5.5, P = .6).

Conclusions

OpenEvidence generated materials of significantly higher quality and reliability than ChatGPT, suggesting it may serve as a more reliable alternative for patient education in aesthetic surgery practice.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Patient Education as TopicLanguagePlastic Surgery ProceduresSurgery, PlasticHumansReproducibility of ResultsComprehensionLarge Language ModelsGenerative Artificial Intelligence

Autor:innen und Institutionen

ORCID-Profile: Lucas R Perez Rivera

Zitieren

APA

Perez Rivera, L. R., Gursky, A. K., Elmer, N., Boyd, C. J., & Karp, N. S. (2026). Evaluating the Quality and Reliability of Large Language Models for Plastic Surgery Patient Education: A Comparative Analysis of ChatGPT and OpenEvidence. Aesthetic Surgery Journal, 46(2), 160-167. https://doi.org/10.1093/asj/sjaf249

Vancouver

Perez Rivera LR, Gursky AK, Elmer N, Boyd CJ, Karp NS. Evaluating the Quality and Reliability of Large Language Models for Plastic Surgery Patient Education: A Comparative Analysis of ChatGPT and OpenEvidence. Aesthetic Surgery Journal. 2026;46(2):160-167. doi:10.1093/asj/sjaf249

BibTeX
@article{PerezRivera2026,
  author = {Perez Rivera, Lucas R and Gursky, Alexis K and Elmer, Nicholas and Boyd, Carter J and Karp, Nolan S},
  title = {Evaluating the Quality and Reliability of Large Language Models for Plastic Surgery Patient Education: A Comparative Analysis of ChatGPT and OpenEvidence},
  journal = {Aesthetic Surgery Journal},
  year = {2026},
  volume = {46},
  number = {2},
  pages = {160--167},
  doi = {10.1093/asj/sjaf249}
}
Kostenlos starten →