EUVIMEDEUVIMED entdecken
Randomisierte kontrollierte StudieOpen Access · CC BY-NC 4.0

ChatGPT versus expert feedback on clinical reasoning questions and their effect on learning: a randomized controlled trial

ChatGPT versus Expertenfeedback bei Fragen zum klinischen Denken und ihr Effekt auf das Lernen: randomisierte kontrollierte Studie

Feray Ekin Çiçek iD, Müşerref Ülker, Menekşe Özer, Yavuz Selim Kıyak iD

Postgraduate Medical Journal · 22.04.2025 · 101 (1195) · 458-463

DOI: 10.1093/postmj/qgae170 ↗

Auf einen Blick

Bei 129 Erstsemester-Studierenden führte ChatGPT-generiertes Feedback zu ähnlichen Ergebnissen wie Expertenfeedback in Key-Features Questions. Bei komplizierten Harnwegsinfektionen schnitt die Kontrollgruppe besser ab.

Fragestellung

Ist ChatGPT-generiertes Feedback dem Expertenfeedback überlegen oder gleichwertig, um klinisches Denken bei Medizinstudierenden zu verbessern?

Methode

Randomisierte kontrollierte Studie an einer medizinischen Fakultät; 129 Erstsemester-Studierende; 3 formative Tests über 5 Tage mit Feedback zu Harnwegsinfektionen; Vergleich von Expertenfeedback und ChatGPT-Feedback.

Ergebnisse

Kein signifikanter Unterschied in den mittleren KFQ-Scores zwischen Kontrolle und Intervention sofort oder nach 10 Tagen: 78,5 ± 20,6 vs. 74,7 ± 15,1 bzw. 78,0 ± 21,2 vs. 76,0 ± 14,5; P = .26 bzw. P = .57. Bei komplizierten Harnwegsinfektionen war die Kontrollgruppe besser (P < .001).

Schlussfolgerung der Autor:innen

ChatGPT-generiertes Feedback kann eine wirksame Alternative zu Expertenfeedback sein, besonders bei begrenzten Expert:innenressourcen. Für komplexere Fälle könne jedoch Expertenprüfung nötig sein; zudem könne die Auseinandersetzung mit Schwächen die kritische Haltung zu KI stärken.

Kernaussagen

  • KFQ-Gesamtleistung: kein signifikanter Unterschied zwischen beiden Gruppen
  • Bei komplizierten Harnwegsinfektionen war Expertenfeedback besser
  • Die kritische Haltung zu KI stieg nach Offenlegung der KI-Beteiligung

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Randomisierte kontrollierte Studie in der Zeitschrift Postgraduate Medical Journal, online erschienen am 05.12.2024. Verfasst von Feray Ekin Çiçek und 3 weiteren Autor:innen. Beteiligte Einrichtung: Faculty of Medicine, Gazi University, Ankara 06500, Turkiye. Hauptthemen laut MEDLINE: Clinical Reasoning, Clinical Competence, Students, Medical, Education, Medical, Undergraduate. Die Arbeit wurde bisher 76-mal zitiert (Crossref) und nennt 28 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY-NC 4.0). Gefördert von: Scientific and Technological Research Council of Turkiye.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Purpose

To evaluate the effectiveness of ChatGPT-generated feedback compared to expert-written feedback in improving clinical reasoning skills among first-year medical students.

Methods

This is a randomized controlled trial conducted at a single medical school and involved 129 first-year medical students who were randomly assigned to two groups. Both groups completed three formative tests with feedback on urinary tract infections (UTIs; uncomplicated, complicated, pyelonephritis) over five consecutive days as a spaced repetition, receiving either expert-written feedback (control, n = 65) or ChatGPT-generated feedback (experiment, n = 64). Clinical reasoning skills were assessed using Key-Features Questions (KFQs) immediately after the intervention and 10 days later. Students’ critical approach to artificial intelligence (AI) was also measured before and after disclosing the AI involvement in feedback generation.

Results

There was no significant difference between the mean scores of the control (immediate: 78.5 ± 20.6 delayed: 78.0 ± 21.2) and experiment (immediate: 74.7 ± 15.1, delayed: 76.0 ± 14.5) groups in overall performance on Key-Features Questions (out of 120 points) immediately (P = .26) or after 10 days (P = .57), with small effect sizes. However, the control group outperformed the ChatGPT group in complicated urinary tract infection cases (P < .001). The experiment group showed a significantly higher critical approach to AI after disclosing, with medium-large effect sizes.

Conclusions

ChatGPT-generated feedback can be an effective alternative to expert feedback in improving clinical reasoning skills in medical students, particularly in resource-constrained settings with limited expert availability. However, AI-generated feedback may lack the nuance needed for more complex cases, emphasizing the need for expert review. Additionally, exposure to the drawbacks in AI-generated feedback can enhance students’ critical approach towards AI-generated educational content.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Clinical ReasoningClinical CompetenceStudents, MedicalEducation, Medical, UndergraduateFormative FeedbackHumansFemaleMaleEducational MeasurementUrinary Tract InfectionsLearningArtificial IntelligenceFeedbackAdultGenerative Artificial Intelligence

Stichwörter der Autor:innen

ChatGPTartificial intelligenceclinical reasoningfeedbacklarge language models

Autor:innen und Institutionen

  • Faculty of Medicine, Gazi University, Ankara 06500, Turkiye.
  • Department of Medical Education and Informatics, Faculty of Medicine, Gazi University, Ankara 06500, Turkiye.

ORCID-Profile: Feray Ekin Çiçek, Yavuz Selim Kıyak

Förderung

  • Scientific and Technological Research Council of Turkiye

Zitieren

APA

Çiçek, F. E., Ülker, M., Özer, M., & Kıyak, Y. S. (2025). ChatGPT versus expert feedback on clinical reasoning questions and their effect on learning: a randomized controlled trial. Postgraduate Medical Journal, 101(1195), 458-463. https://doi.org/10.1093/postmj/qgae170

Vancouver

Çiçek FE, Ülker M, Özer M, Kıyak YS. ChatGPT versus expert feedback on clinical reasoning questions and their effect on learning: a randomized controlled trial. Postgraduate Medical Journal. 2025;101(1195):458-463. doi:10.1093/postmj/qgae170

BibTeX
@article{iek2025,
  author = {Çiçek, Feray Ekin and Ülker, Müşerref and Özer, Menekşe and Kıyak, Yavuz Selim},
  title = {ChatGPT versus expert feedback on clinical reasoning questions and their effect on learning: a randomized controlled trial},
  journal = {Postgraduate Medical Journal},
  year = {2025},
  volume = {101},
  number = {1195},
  pages = {458--463},
  doi = {10.1093/postmj/qgae170}
}
Kostenlos starten →