Item-writing flaws and answer-position bias in large language model-generated medical multiple-choice questions: a benchmark study of 15 models with an open corpus and a rule-based detector
Item-Writing-Fehler und Antwortpositions-Bias bei von Large Language Models erzeugten medizinischen Multiple-Choice-Fragen: Benchmark-Studie zu 15 Modellen mit offenem Korpus und regelbasiertem Detektor
Journal of Educational Evaluation for Health Professions · 05.11.2026 · 23 · 36
DOI: 10.3352/jeehp.2026.23.36 ↗Auf einen Blick
Die Studie zeigte bei von LLM erzeugten MC-Fragen häufig strukturelle Fehler und einen Bias zugunsten von Antwortposition A. Ein Regelset reduzierte die Fehlerquote, nicht aber die inhaltliche Prüfung durch Ärzt:innen.
Fragestellung
Wie häufig treten Item-Writing-Fehler und Antwortpositions-Bias bei LLM-generierten medizinischen Multiple-Choice-Fragen auf, und wie gut stimmen LLM-Judges mit Ärzt:innen überein?
Methode
15 LLMs erzeugten 12.000 Vignetten-Items in 8 Fachgebieten mit 2 Prompts sowie 15.800 Items in 5 experimentellen Armen. Ein 14-Regel-Detektor und 2 Ärzt:innen bewerteten die Items; 4 LLM-Judges wurden mit Ärzt:innen verglichen.
Ergebnisse
23,4 % der Items mit einfachem Prompt hatten einen strukturellen Fehler, gegenüber 17,3 % der NBME-Items mit 5 Antwortoptionen. Guidelines halbierten die Odds für einen Fehler (OR 0,50; 95 %-KI 0,45–0,56) und senkten die Prävalenz auf 13,6 %. 7 Modelle setzten den Schlüssel bei A in 61 %–94 % der Items; die Beispielbuchstaben-Entfernung senkte den gepoolten Anteil von 54 % auf 23 %.
Einschränkungen
Physicians fanden bei 12 %–13 % der Items einen Inhaltsfehler; der beste LLM-Judge erreichte nur mäßige Übereinstimmung (κ=0,53–0,56).
Schlussfolgerung der Autor:innen
LLM-generierte Items vermieden Formatfehler, enthielten aber Antworthinweise und einen A-Positions-Bias, der vor allem aus dem Ausgabetemplate entstand. Guidelines reduzierten die spezifizierten Fehler, nicht aber nachweislich den Inhalt.
Kernaussagen
- 23,4 % der Plain-Prompt-Items hatten einen strukturellen Fehler
- Guidelines senkten die Odds für Fehler (OR 0,50; 95 %-KI 0,45–0,56)
- Antwortposition A war bei 7 Modellen stark überrepräsentiert
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Journal of Educational Evaluation for Health Professions, online erschienen am 05.11.2026. Verfasst von Rohit Gundam. Beteiligte Einrichtung: Independent researcher, Cleveland, OH, USA. rgundam@icloud.com. Hauptthemen laut MEDLINE: Large Language Models, Benchmarking, Writing, Educational Measurement.
Abstract (Originalsprache)
Purpose
Item-writing flaws in large language model (LLM)-generated medical multiple-choice questions have been assessed in small samples. This study developed an open benchmark of such items labeled for structural flaws, compared 15 models and 2 prompts, traced the source of answer-position bias, and evaluated LLM judges against physicians.
Methods
Fifteen LLMs generated 12,000 vignette items across 8 specialties using a plain prompt and a prompt with 10 item-writing guidelines, plus 15,800 items in 5 experimental arms. A 14-rule detector labeled the corpus and 667 retired National Board of Medical Examiners (NBME) items; it was validated against 3,737 external human labels and 2 independent readers. Two physicians rated 100 items; 4 LLM judges assessed those items and 216 human-labeled items.
Results
The detector found no format flaws, but 23.4% of plain-prompt items had a structural flaw, compared with 17.3% of NBME 5-option items. Excluding the longest-option rule reduced the gap from 6.1 to 1.2 percentage points. Guidelines halved the odds of a flaw (odds ratio, 0.50; 95% confidence interval, 0.45–0.56), reducing prevalence to 13.6%. Under the plain prompt, 7 models placed the key at position A in 61%–94% of items; removing the template’s example letter reduced the pooled proportion from 54% to 23%. Physicians found a content defect in 12%–13% of items (κ=0.59). The best LLM judge achieved agreement of κ=0.53–0.56 with the physicians on differently defined composites, a preliminary result.
Conclusion
LLM-generated items avoided format flaws but contained answer cues and a position-A bias arising mostly from the output template. Guidelines reduced the flaws they specified without demonstrably improving content, which needs physician review.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Independent researcher, Cleveland, OH, USA. rgundam@icloud.com.
Zitieren
APA
Gundam, R. (2026). Item-writing flaws and answer-position bias in large language model-generated medical multiple-choice questions: a benchmark study of 15 models with an open corpus and a rule-based detector. Journal of Educational Evaluation for Health Professions, 23, 36. https://doi.org/10.3352/jeehp.2026.23.36
Vancouver
Gundam R. Item-writing flaws and answer-position bias in large language model-generated medical multiple-choice questions: a benchmark study of 15 models with an open corpus and a rule-based detector. Journal of Educational Evaluation for Health Professions. 2026;23:36. doi:10.3352/jeehp.2026.23.36
BibTeX
@article{Gundam2026,
author = {Gundam, Rohit},
title = {Item-writing flaws and answer-position bias in large language model-generated medical multiple-choice questions: a benchmark study of 15 models with an open corpus and a rule-based detector},
journal = {Journal of Educational Evaluation for Health Professions},
year = {2026},
volume = {23},
pages = {36},
doi = {10.3352/jeehp.2026.23.36}
}
EUVIMED