EUVIMEDEUVIMED entdecken
Crossref

Item-writing flaws and answer-position bias in large language model-generated medical multiple-choice questions: a benchmark study of 15 models with an open corpus and a rule-based detector

Item-Writing-Fehler und Antwortpositions-Bias bei von Large Language Models erzeugten medizinischen Multiple-Choice-Fragen: Benchmark-Studie zu 15 Modellen mit offenem Korpus und regelbasiertem Detektor

Rohit Gundam

Journal of Educational Evaluation for Health Professions · 05.11.2026 · 23 · 36

DOI: 10.3352/jeehp.2026.23.36 ↗

Auf einen Blick

Die Studie zeigte bei von LLM erzeugten MC-Fragen häufig strukturelle Fehler und einen Bias zugunsten von Antwortposition A. Ein Regelset reduzierte die Fehlerquote, nicht aber die inhaltliche Prüfung durch Ärzt:innen.

Fragestellung

Wie häufig treten Item-Writing-Fehler und Antwortpositions-Bias bei LLM-generierten medizinischen Multiple-Choice-Fragen auf, und wie gut stimmen LLM-Judges mit Ärzt:innen überein?

Methode

15 LLMs erzeugten 12.000 Vignetten-Items in 8 Fachgebieten mit 2 Prompts sowie 15.800 Items in 5 experimentellen Armen. Ein 14-Regel-Detektor und 2 Ärzt:innen bewerteten die Items; 4 LLM-Judges wurden mit Ärzt:innen verglichen.

Ergebnisse

23,4 % der Items mit einfachem Prompt hatten einen strukturellen Fehler, gegenüber 17,3 % der NBME-Items mit 5 Antwortoptionen. Guidelines halbierten die Odds für einen Fehler (OR 0,50; 95 %-KI 0,45–0,56) und senkten die Prävalenz auf 13,6 %. 7 Modelle setzten den Schlüssel bei A in 61 %–94 % der Items; die Beispielbuchstaben-Entfernung senkte den gepoolten Anteil von 54 % auf 23 %.

Einschränkungen

Physicians fanden bei 12 %–13 % der Items einen Inhaltsfehler; der beste LLM-Judge erreichte nur mäßige Übereinstimmung (κ=0,53–0,56).

Schlussfolgerung der Autor:innen

LLM-generierte Items vermieden Formatfehler, enthielten aber Antworthinweise und einen A-Positions-Bias, der vor allem aus dem Ausgabetemplate entstand. Guidelines reduzierten die spezifizierten Fehler, nicht aber nachweislich den Inhalt.

Kernaussagen

  • 23,4 % der Plain-Prompt-Items hatten einen strukturellen Fehler
  • Guidelines senkten die Odds für Fehler (OR 0,50; 95 %-KI 0,45–0,56)
  • Antwortposition A war bei 7 Modellen stark überrepräsentiert

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Journal of Educational Evaluation for Health Professions, online erschienen am 05.11.2026. Verfasst von Rohit Gundam. Beteiligte Einrichtung: Independent researcher, Cleveland, OH, USA. rgundam@icloud.com. Hauptthemen laut MEDLINE: Large Language Models, Benchmarking, Writing, Educational Measurement.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Purpose

Item-writing flaws in large language model (LLM)-generated medical multiple-choice questions have been assessed in small samples. This study developed an open benchmark of such items labeled for structural flaws, compared 15 models and 2 prompts, traced the source of answer-position bias, and evaluated LLM judges against physicians.

Methods

Fifteen LLMs generated 12,000 vignette items across 8 specialties using a plain prompt and a prompt with 10 item-writing guidelines, plus 15,800 items in 5 experimental arms. A 14-rule detector labeled the corpus and 667 retired National Board of Medical Examiners (NBME) items; it was validated against 3,737 external human labels and 2 independent readers. Two physicians rated 100 items; 4 LLM judges assessed those items and 216 human-labeled items.

Results

The detector found no format flaws, but 23.4% of plain-prompt items had a structural flaw, compared with 17.3% of NBME 5-option items. Excluding the longest-option rule reduced the gap from 6.1 to 1.2 percentage points. Guidelines halved the odds of a flaw (odds ratio, 0.50; 95% confidence interval, 0.45–0.56), reducing prevalence to 13.6%. Under the plain prompt, 7 models placed the key at position A in 61%–94% of items; removing the template’s example letter reduced the pooled proportion from 54% to 23%. Physicians found a content defect in 12%–13% of items (κ=0.59). The best LLM judge achieved agreement of κ=0.53–0.56 with the physicians on differently defined composites, a preliminary result.

Conclusion

LLM-generated items avoided format flaws but contained answer cues and a position-A bias arising mostly from the output template. Guidelines reduced the flaws they specified without demonstrably improving content, which needs physician review.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Large Language ModelsBenchmarkingWritingEducational MeasurementHumansBias

Stichwörter der Autor:innen

Artificial intelligenceBenchmarkingEducation, medicalEducational measurementLarge language modelsUnited States

Autor:innen und Institutionen

  • Independent researcher, Cleveland, OH, USA. rgundam@icloud.com.

Zitieren

APA

Gundam, R. (2026). Item-writing flaws and answer-position bias in large language model-generated medical multiple-choice questions: a benchmark study of 15 models with an open corpus and a rule-based detector. Journal of Educational Evaluation for Health Professions, 23, 36. https://doi.org/10.3352/jeehp.2026.23.36

Vancouver

Gundam R. Item-writing flaws and answer-position bias in large language model-generated medical multiple-choice questions: a benchmark study of 15 models with an open corpus and a rule-based detector. Journal of Educational Evaluation for Health Professions. 2026;23:36. doi:10.3352/jeehp.2026.23.36

BibTeX
@article{Gundam2026,
  author = {Gundam, Rohit},
  title = {Item-writing flaws and answer-position bias in large language model-generated medical multiple-choice questions: a benchmark study of 15 models with an open corpus and a rule-based detector},
  journal = {Journal of Educational Evaluation for Health Professions},
  year = {2026},
  volume = {23},
  pages = {36},
  doi = {10.3352/jeehp.2026.23.36}
}
Kostenlos starten →