ChatGPT In Assessment: A Comparison of Artificial Intelligence (AI)-Generated and Human-Generated One Best-Type Multiple Choice Questions
ChatGPT in der Beurteilung: Vergleich von KI-generierten und von Menschen generierten Multiple-Choice-Fragen des Typs „one best answer“
Pakistan Armed Forces Medical Journal · 30.10.2026 · 76 (6) · 822-826
DOI: 10.51253/pafmj.v76i6.12930 ↗Auf einen Blick
100 Multiple-Choice-Fragen wurden von ChatGPT und Lehrkräften verglichen. Die Qualität war ähnlich, ChatGPT brauchte dafür deutlich weniger Zeit.
Fragestellung
Vergleicht sich die Qualität von von ChatGPT und von Menschen erstellten One-best-type-MCQs?
Methode
Quasi-experimentelles Studiendesign; 100 Teilnehmer:innen erhielten 2 Sets mit je 50 Fragen; Vergleich mittels Post-hoc-Itemanalyse und t-Test.
Ergebnisse
100 MCQs wurden bewertet. ChatGPT generierte die Fragen in 25 Minuten, Menschen in 205 Minuten. Schwierigkeit, Trennschärfe, Studentenscores und Distraktor-Effizienz unterschieden sich nicht signifikant.
Schlussfolgerung der Autor:innen
Die Qualität der von ChatGPT und von Lehrkräften produzierten MCQs war vergleichbar; die benötigte Zeit war bei ChatGPT deutlich kürzer.
Kernaussagen
- ChatGPT: 25 Minuten vs. Menschen: 205 Minuten
- Keine signifikanten Unterschiede bei Schwierigkeit, Trennschärfe und Scores
- Die Autor:innen sehen einen gemischten Ansatz mit Expertenprüfung als sinnvoll an
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Pakistan Armed Forces Medical Journal, online erschienen am 30.10.2026. Verfasst von Muhammad Moeed Haidar Naqvi und 4 weiteren Autor:innen. Der Volltext ist frei zugänglich (Open Access, CC BY-NC 4.0).
Abstract (Originalsprache)
Objective
To compare the quality of Multiple-Choice Questions (MCQs) created by humans and Chat GPT using post-hoc item analysis. Study Design: Quasi-Experimental Research Design. Place and Duration of Study: Department of Medicine, Azra Naheed Medical College, The Superior University, Lahore Pakistan, from Feb to Aug 2024. Methodology: A total of 100 participants were given two sets of 50 questions. One set was created using Chat GPT while the other was crafted by human teachers. Duration of generation of MCQs was noted. Post hoc item analysis was done (difficulty index, discrimination index and distractor analysis). Student scores were compared. Independent sample t-test was applied to compare mean difficulty index, discrimination index and student scores. Two proportions z-test to compare mean distractor efficiency. The results were reported as means, frequencies and percentages and analyzed using SPSS version 27.
Results
Total of 100 MCQs were evaluated. Chat GPT generated MCQs in 25 minutes, significantly faster than humans' 205 minutes. The Difficulty Index (Chat GPT: 30.3, humans: 34.7, p=0.39), Discrimination Index (Chat GPT: 0.21, humans: 0.19, p=0.514), student scores (Chat GPT: 19.4, humans: 18.46, p=0.125) and Distractor efficiency (Chat GPT: 75%, humans 69.5%, p=0.385) were statistically non-significant, indicating similar quality.
Conclusion
The quality of MCQs produced by Chat GPT and Human Educators is comparable; however, the duration required by Chat GPT is significantly less. A mixed approach, where subject matter experts qualitatively evaluate the MCQs generated by Chat GPT, can enhance the overall assessment quality.
Zitieren
APA
Naqvi, M. M. H., Jawaid, M., Fatima, S. T., Ali, A., & Azhar, T. (2026). ChatGPT In Assessment: A Comparison of Artificial Intelligence (AI)-Generated and Human-Generated One Best-Type Multiple Choice Questions. Pakistan Armed Forces Medical Journal, 76(6), 822-826. https://doi.org/10.51253/pafmj.v76i6.12930
Vancouver
Naqvi MMH, Jawaid M, Fatima ST, Ali A, Azhar T. ChatGPT In Assessment: A Comparison of Artificial Intelligence (AI)-Generated and Human-Generated One Best-Type Multiple Choice Questions. Pakistan Armed Forces Medical Journal. 2026;76(6):822-826. doi:10.51253/pafmj.v76i6.12930
BibTeX
@article{Naqvi2026,
author = {Naqvi, Muhammad Moeed Haidar and Jawaid, Masood and Fatima, Syeda Tahseen and Ali, Asad and Azhar, Tayyaba},
title = {ChatGPT In Assessment: A Comparison of Artificial Intelligence (AI)-Generated and Human-Generated One Best-Type Multiple Choice Questions},
journal = {Pakistan Armed Forces Medical Journal},
year = {2026},
volume = {76},
number = {6},
pages = {822--826},
doi = {10.51253/pafmj.v76i6.12930}
}
EUVIMED