Evaluation of ChatGPT-Generated Simplifications of Shoulder MRI Reports: Assessments by Orthopedic Surgeons and Non-Healthcare Volunteers
Bewertung von durch ChatGPT erzeugten Vereinfachungen von Schulter-MRT-Berichten: Einschätzungen durch Orthopäd:innen und nicht im Gesundheitswesen tätige Freiwillige
Diagnostics · 01.11.2026 · 16 (21) · 3609
DOI: 10.3390/diagnostics16213609 ↗Auf einen Blick
ChatGPT vereinfachte 100 Schulter-MRT-Berichte. Orthopäd:innen bewerteten die Texte überwiegend sehr gut; Freiwillige fanden sie meist nützlich.
Fragestellung
Wie beurteilen Orthopäd:innen und nicht im Gesundheitswesen tätige Freiwillige von ChatGPT vereinfachte Schulter-MRT-Berichte?
Methode
Single-center, retrospektive Studie; 100 anonymisierte Schulter-MRT-Berichte; Vereinfachung mit ChatGPT (GPT-5) und standardisiertem Prompt; 3 Orthopäd:innen und 100 Erwachsene ohne Gesundheitsberuf beurteilten die Texte.
Ergebnisse
Median der Expert:innenwerte: 5,0 in allen Domänen; 86–98 % der Berichte erhielten von allen 3 Rater:innen Werte ≥ 4. Bei Freiwilligen lag die Übereinstimmung je nach Item bei 47–80 %.
Einschränkungen
Single-center-Design; ein Modell und ein Prompt; keine Vergleichsbewertung mit den Originalberichten in der Freiwilligen-Gruppe; Selbstauskunft statt objektiver Verständnismessung.
Schlussfolgerung der Autor:innen
Die vereinfachten Berichte wurden von Orthopäd:innen günstig bewertet und von nicht im Gesundheitswesen tätigen Freiwilligen als nützlich wahrgenommen.
Kernaussagen
- Orthopäd:innen vergaben median 5,0 in allen Domänen
- 86–98 % der Berichte erhielten von allen 3 Rater:innen Werte ≥ 4
- Bei Freiwilligen lag die Übereinstimmung je nach Item bei 47–80 %
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Diagnostics, online erschienen am 01.11.2026. Verfasst von Turgut Emre Erdem und 8 weiteren Autor:innen. Beteiligte Einrichtung: Department of Orthopedics and Traumatology, Faculty of Medicine, Akdeniz University, Antalya 07070, Türkiye. Die Arbeit nennt 24 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).
Abstract (Originalsprache)
Background/Objectives: To evaluate ChatGPT-generated (GPT-5) simplifications of shoulder MRI reports from the perspectives of orthopedic surgeons and non-healthcare volunteers.
Methods
In this single-center retrospective study, 100 de-identified shoulder MRI reports issued between June 2024 and June 2025 were simplified with ChatGPT in February 2026 using a standardized prompt. Between 10 March and 10 April 2026, three orthopedic surgeons independently rated each simplified text against the original report for accuracy, completeness, understandability, and misleading potential on a 5-point Likert scale (higher scores indicating better ratings). In a second arm, 100 adult non-healthcare volunteers each reviewed one simplified report and completed a six-item questionnaire on perceived clarity, comprehensibility, usefulness, and appropriateness.
Results
Median expert scores were 5.0 in all domains, and all three raters assigned scores ≥ 4 in 86–98% of reports. Gwet’s AC2 ranged from 0.93 to 0.98, whereas Krippendorff’s α ranged from −0.02 to 0.05. Among volunteers, agreement ranged from 47% for understanding report terms to 80% for the appropriateness of the text. Health literacy correlated positively with most items (r = 0.329–0.429, p ≤ 0.001), and age correlated negatively with understanding report terms (r = −0.352, p < 0.001).
Conclusions
The simplified reports were rated favorably by orthopedic surgeons and were perceived as useful by non-healthcare volunteers. However, the study was limited by its single-center design, the use of a single model and prompt, the absence of a comparison with the original reports in the volunteer arm, and the reliance on self-reported rather than objectively tested comprehension; therefore, it does not demonstrate improved patient comprehension or clinical safety. Such texts should supplement, not replace, the original report and physician consultation.
Schlagwörter
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Department of Orthopedics and Traumatology, Faculty of Medicine, Akdeniz University, Antalya 07070, Türkiye.
- Department of Orthopedics and Traumatology, Konya City Hospital, Konya 42020, Türkiye.
- Department of Orthopedics and Traumatology, Karapinar State Hospital, Konya 42400, Türkiye.
- Department of Orthopedics and Traumatology, Necip Fazıl City Hospital, Turkish Ministry of Health, Kahramanmaraş 46050, Türkiye.
- Department of Medical Informatics, Institute of Health Sciences, Akdeniz University, Antalya 07070, Türkiye.
ORCID-Profile: Turgut Emre Erdem, Alper Kirilmaz
Zitieren
APA
Erdem, T. E., Kirilmaz, A., Dogan, F., Tahak, F., Kucuksen, M. F., Yıldız, M., Yilmaz, S., Yapar, D., & Yapar, A. (2026). Evaluation of ChatGPT-Generated Simplifications of Shoulder MRI Reports: Assessments by Orthopedic Surgeons and Non-Healthcare Volunteers. Diagnostics, 16(21), 3609. https://doi.org/10.3390/diagnostics16213609
Vancouver
Erdem TE, Kirilmaz A, Dogan F, Tahak F, Kucuksen MF, Yıldız M, et al. Evaluation of ChatGPT-Generated Simplifications of Shoulder MRI Reports: Assessments by Orthopedic Surgeons and Non-Healthcare Volunteers. Diagnostics. 2026;16(21):3609. doi:10.3390/diagnostics16213609
BibTeX
@article{Erdem2026,
author = {Erdem, Turgut Emre and Kirilmaz, Alper and Dogan, Furkan and Tahak, Fatih and Kucuksen, Muhammed Furkan and Yıldız, Muhammed and Yilmaz, Selcuk and Yapar, Dilek and Yapar, Aliekber},
title = {Evaluation of ChatGPT-Generated Simplifications of Shoulder MRI Reports: Assessments by Orthopedic Surgeons and Non-Healthcare Volunteers},
journal = {Diagnostics},
year = {2026},
volume = {16},
number = {21},
pages = {3609},
doi = {10.3390/diagnostics16213609}
}
EUVIMED