ChatGPT versus expert feedback on clinical reasoning questions and their effect on learning: a randomized controlled trial
ChatGPT versus Expertenfeedback bei Fragen zum klinischen Denken und ihr Effekt auf das Lernen: randomisierte kontrollierte Studie
Postgraduate Medical Journal · 22.04.2025 · 101 (1195) · 458-463
DOI: 10.1093/postmj/qgae170 ↗Auf einen Blick
Bei 129 Erstsemester-Studierenden führte ChatGPT-generiertes Feedback zu ähnlichen Ergebnissen wie Expertenfeedback in Key-Features Questions. Bei komplizierten Harnwegsinfektionen schnitt die Kontrollgruppe besser ab.
Fragestellung
Ist ChatGPT-generiertes Feedback dem Expertenfeedback überlegen oder gleichwertig, um klinisches Denken bei Medizinstudierenden zu verbessern?
Methode
Randomisierte kontrollierte Studie an einer medizinischen Fakultät; 129 Erstsemester-Studierende; 3 formative Tests über 5 Tage mit Feedback zu Harnwegsinfektionen; Vergleich von Expertenfeedback und ChatGPT-Feedback.
Ergebnisse
Kein signifikanter Unterschied in den mittleren KFQ-Scores zwischen Kontrolle und Intervention sofort oder nach 10 Tagen: 78,5 ± 20,6 vs. 74,7 ± 15,1 bzw. 78,0 ± 21,2 vs. 76,0 ± 14,5; P = .26 bzw. P = .57. Bei komplizierten Harnwegsinfektionen war die Kontrollgruppe besser (P < .001).
Schlussfolgerung der Autor:innen
ChatGPT-generiertes Feedback kann eine wirksame Alternative zu Expertenfeedback sein, besonders bei begrenzten Expert:innenressourcen. Für komplexere Fälle könne jedoch Expertenprüfung nötig sein; zudem könne die Auseinandersetzung mit Schwächen die kritische Haltung zu KI stärken.
Kernaussagen
- KFQ-Gesamtleistung: kein signifikanter Unterschied zwischen beiden Gruppen
- Bei komplizierten Harnwegsinfektionen war Expertenfeedback besser
- Die kritische Haltung zu KI stieg nach Offenlegung der KI-Beteiligung
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Randomisierte kontrollierte Studie in der Zeitschrift Postgraduate Medical Journal, online erschienen am 05.12.2024. Verfasst von Feray Ekin Çiçek und 3 weiteren Autor:innen. Beteiligte Einrichtung: Faculty of Medicine, Gazi University, Ankara 06500, Turkiye. Hauptthemen laut MEDLINE: Clinical Reasoning, Clinical Competence, Students, Medical, Education, Medical, Undergraduate. Die Arbeit wurde bisher 76-mal zitiert (Crossref) und nennt 28 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY-NC 4.0). Gefördert von: Scientific and Technological Research Council of Turkiye.
Abstract (Originalsprache)
Purpose
To evaluate the effectiveness of ChatGPT-generated feedback compared to expert-written feedback in improving clinical reasoning skills among first-year medical students.
Methods
This is a randomized controlled trial conducted at a single medical school and involved 129 first-year medical students who were randomly assigned to two groups. Both groups completed three formative tests with feedback on urinary tract infections (UTIs; uncomplicated, complicated, pyelonephritis) over five consecutive days as a spaced repetition, receiving either expert-written feedback (control, n = 65) or ChatGPT-generated feedback (experiment, n = 64). Clinical reasoning skills were assessed using Key-Features Questions (KFQs) immediately after the intervention and 10 days later. Students’ critical approach to artificial intelligence (AI) was also measured before and after disclosing the AI involvement in feedback generation.
Results
There was no significant difference between the mean scores of the control (immediate: 78.5 ± 20.6 delayed: 78.0 ± 21.2) and experiment (immediate: 74.7 ± 15.1, delayed: 76.0 ± 14.5) groups in overall performance on Key-Features Questions (out of 120 points) immediately (P = .26) or after 10 days (P = .57), with small effect sizes. However, the control group outperformed the ChatGPT group in complicated urinary tract infection cases (P < .001). The experiment group showed a significantly higher critical approach to AI after disclosing, with medium-large effect sizes.
Conclusions
ChatGPT-generated feedback can be an effective alternative to expert feedback in improving clinical reasoning skills in medical students, particularly in resource-constrained settings with limited expert availability. However, AI-generated feedback may lack the nuance needed for more complex cases, emphasizing the need for expert review. Additionally, exposure to the drawbacks in AI-generated feedback can enhance students’ critical approach towards AI-generated educational content.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Faculty of Medicine, Gazi University, Ankara 06500, Turkiye.
- Department of Medical Education and Informatics, Faculty of Medicine, Gazi University, Ankara 06500, Turkiye.
ORCID-Profile: Feray Ekin Çiçek, Yavuz Selim Kıyak
Förderung
- Scientific and Technological Research Council of Turkiye
Zitieren
APA
Çiçek, F. E., Ülker, M., Özer, M., & Kıyak, Y. S. (2025). ChatGPT versus expert feedback on clinical reasoning questions and their effect on learning: a randomized controlled trial. Postgraduate Medical Journal, 101(1195), 458-463. https://doi.org/10.1093/postmj/qgae170
Vancouver
Çiçek FE, Ülker M, Özer M, Kıyak YS. ChatGPT versus expert feedback on clinical reasoning questions and their effect on learning: a randomized controlled trial. Postgraduate Medical Journal. 2025;101(1195):458-463. doi:10.1093/postmj/qgae170
BibTeX
@article{iek2025,
author = {Çiçek, Feray Ekin and Ülker, Müşerref and Özer, Menekşe and Kıyak, Yavuz Selim},
title = {ChatGPT versus expert feedback on clinical reasoning questions and their effect on learning: a randomized controlled trial},
journal = {Postgraduate Medical Journal},
year = {2025},
volume = {101},
number = {1195},
pages = {458--463},
doi = {10.1093/postmj/qgae170}
}
EUVIMED