EUVIMEDEUVIMED entdecken
Open Access · CC BY-NC 4.0

ChatGPT In Assessment: A Comparison of Artificial Intelligence (AI)-Generated and Human-Generated One Best-Type Multiple Choice Questions

ChatGPT in der Beurteilung: Vergleich von KI-generierten und von Menschen generierten Multiple-Choice-Fragen des Typs „one best answer“

Muhammad Moeed Haidar Naqvi, Masood Jawaid, Syeda Tahseen Fatima, Asad Ali, Tayyaba Azhar

Pakistan Armed Forces Medical Journal · 30.10.2026 · 76 (6) · 822-826

DOI: 10.51253/pafmj.v76i6.12930 ↗

Auf einen Blick

100 Multiple-Choice-Fragen wurden von ChatGPT und Lehrkräften verglichen. Die Qualität war ähnlich, ChatGPT brauchte dafür deutlich weniger Zeit.

Fragestellung

Vergleicht sich die Qualität von von ChatGPT und von Menschen erstellten One-best-type-MCQs?

Methode

Quasi-experimentelles Studiendesign; 100 Teilnehmer:innen erhielten 2 Sets mit je 50 Fragen; Vergleich mittels Post-hoc-Itemanalyse und t-Test.

Ergebnisse

100 MCQs wurden bewertet. ChatGPT generierte die Fragen in 25 Minuten, Menschen in 205 Minuten. Schwierigkeit, Trennschärfe, Studentenscores und Distraktor-Effizienz unterschieden sich nicht signifikant.

Schlussfolgerung der Autor:innen

Die Qualität der von ChatGPT und von Lehrkräften produzierten MCQs war vergleichbar; die benötigte Zeit war bei ChatGPT deutlich kürzer.

Kernaussagen

  • ChatGPT: 25 Minuten vs. Menschen: 205 Minuten
  • Keine signifikanten Unterschiede bei Schwierigkeit, Trennschärfe und Scores
  • Die Autor:innen sehen einen gemischten Ansatz mit Expertenprüfung als sinnvoll an

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Pakistan Armed Forces Medical Journal, online erschienen am 30.10.2026. Verfasst von Muhammad Moeed Haidar Naqvi und 4 weiteren Autor:innen. Der Volltext ist frei zugänglich (Open Access, CC BY-NC 4.0).

Auf einen BlickAbstractBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Objective

To compare the quality of Multiple-Choice Questions (MCQs) created by humans and Chat GPT using post-hoc item analysis. Study Design: Quasi-Experimental Research Design. Place and Duration of Study: Department of Medicine, Azra Naheed Medical College, The Superior University, Lahore Pakistan, from Feb to Aug 2024. Methodology: A total of 100 participants were given two sets of 50 questions. One set was created using Chat GPT while the other was crafted by human teachers. Duration of generation of MCQs was noted. Post hoc item analysis was done (difficulty index, discrimination index and distractor analysis). Student scores were compared. Independent sample t-test was applied to compare mean difficulty index, discrimination index and student scores. Two proportions z-test to compare mean distractor efficiency. The results were reported as means, frequencies and percentages and analyzed using SPSS version 27.

Results

Total of 100 MCQs were evaluated. Chat GPT generated MCQs in 25 minutes, significantly faster than humans' 205 minutes. The Difficulty Index (Chat GPT: 30.3, humans: 34.7, p=0.39), Discrimination Index (Chat GPT: 0.21, humans: 0.19, p=0.514), student scores (Chat GPT: 19.4, humans: 18.46, p=0.125) and Distractor efficiency (Chat GPT: 75%, humans 69.5%, p=0.385) were statistically non-significant, indicating similar quality.

Conclusion

The quality of MCQs produced by Chat GPT and Human Educators is comparable; however, the duration required by Chat GPT is significantly less. A mixed approach, where subject matter experts qualitatively evaluate the MCQs generated by Chat GPT, can enhance the overall assessment quality.

Zitieren

APA

Naqvi, M. M. H., Jawaid, M., Fatima, S. T., Ali, A., & Azhar, T. (2026). ChatGPT In Assessment: A Comparison of Artificial Intelligence (AI)-Generated and Human-Generated One Best-Type Multiple Choice Questions. Pakistan Armed Forces Medical Journal, 76(6), 822-826. https://doi.org/10.51253/pafmj.v76i6.12930

Vancouver

Naqvi MMH, Jawaid M, Fatima ST, Ali A, Azhar T. ChatGPT In Assessment: A Comparison of Artificial Intelligence (AI)-Generated and Human-Generated One Best-Type Multiple Choice Questions. Pakistan Armed Forces Medical Journal. 2026;76(6):822-826. doi:10.51253/pafmj.v76i6.12930

BibTeX
@article{Naqvi2026,
  author = {Naqvi, Muhammad Moeed Haidar and Jawaid, Masood and Fatima, Syeda Tahseen and Ali, Asad and Azhar, Tayyaba},
  title = {ChatGPT In Assessment: A Comparison of Artificial Intelligence (AI)-Generated and Human-Generated One Best-Type Multiple Choice Questions},
  journal = {Pakistan Armed Forces Medical Journal},
  year = {2026},
  volume = {76},
  number = {6},
  pages = {822--826},
  doi = {10.51253/pafmj.v76i6.12930}
}
Kostenlos starten →