EUVIMEDEUVIMED entdecken
Open Access

Effects of Test Length and Scoring Methods on Pass or Fail Classification Accuracy in Single-Choice Examinations: Simulation Study

Einfluss von Testlänge und Bewertungsmethoden auf die Genauigkeit von Bestehen/Nichtbestehen-Klassifikationen in Single-Choice-Prüfungen: Simulationsstudie

Christiane Pink iD, Yola Meisel iD, Arvid Vetter iD, Philipp Kanzow iD

JMIR Formative Research · 15.10.2026 · 10 · e98358-e98358

DOI: 10.2196/98358 ↗

Auf einen Blick

Die Simulation zeigte bei vollständig beantworteten Items und kalibrierten Bestehensgrenzen identische Bestehen/Nichtbestehen-Klassifikationen für 3 Bewertungsmethoden. Die Genauigkeit stieg mit der Testlänge und hing stark von der Verteilung von k ab.

Fragestellung

Wie genau sind Bestehen/Nichtbestehen-Klassifikationen unter dichotomer Bewertung, Formelbewertung und Right-minus-wrong-Bewertung bei Single-Choice-Examen mit 5 Antwortoptionen?

Methode

Monte-Carlo-Simulationen und analytische Herleitungen für Prüfungen mit bis zu 300 Items; 3 Bewertungsmethoden; Passmarken auf dieselbe modellbasierte Grenze kalibriert.

Ergebnisse

Bei vollständigen Antworten waren die 3 Methoden identisch klassifiziert. Unter gleichverteilter k-Verteilung lag die mittlere Genauigkeit nach 24 Items bei 0,90 und nach 94 Items bei 0,95; die Fehlklassifikation war nahe der Entscheidungsgrenze am höchsten.

Einschränkungen

Unter den modellierten Bedingungen vollständiger Antworten, kalibrierter Passmarken und unverändertem Antwortverhalten; die Angaben sollen nicht als empfohlene Prüfungslängen verstanden werden.

Schlussfolgerung der Autor:innen

Unter den modellierten Bedingungen führten die untersuchten Bewertungsmethoden zu identischen Klassifikationen. Die Genauigkeit stieg mit der Testlänge und hing stark von der k-Verteilung ab; die größte Unsicherheit lag nahe dem Cut-off.

Kernaussagen

  • 3 Bewertungsmethoden führten zu identischen Klassifikationen
  • Genauigkeit: 0,90 nach 24 Items; 0,95 nach 94 Items
  • Größte Unsicherheit nahe der Bestehensgrenze

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift JMIR Formative Research, online erschienen am 15.10.2026. Verfasst von Christiane Pink und 3 weiteren Autor:innen. Beteiligte Einrichtung: Department of Restorative Dentistry, Periodontology and Endodontology, University Medicine Greifswald, Fleischmannstr. 42, Greifswald, 17475, Germany…. Hauptthemen laut MEDLINE: Educational Measurement. Die Arbeit nennt 21 Literaturangaben. Der Volltext ist frei in PubMed Central verfügbar.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Background

Multiple-choice examinations are widely used in dental and medical education. To reduce the effects of random guessing, several scoring methods incorporating penalty scores have been proposed. However, it remains unclear whether such scoring methods improve the accuracy of pass or fail decisions when pass marks are appropriately calibrated.

Objective

This study aimed to examine pass or fail classification accuracy under 3 scoring methods (dichotomous scoring, formula scoring, and right-minus-wrong scoring) in summative examinations using single-choice Type A items with 5 answer options and to evaluate the effects of test length and the distribution of the model parameter k (knowledge-based response probability).

Methods

Monte Carlo simulations and analytical derivations were used to evaluate examinations with varying test lengths of up to 300 items. Pass marks were calibrated to the same model-defined cutoff for all scoring methods. Classification accuracy, sensitivity, specificity, and misclassification rates were analyzed across different distributions of k .

Results

With every item answered and pass marks calibrated to the same model-defined cutoff, the 3 scoring methods produced identical pass or fail classifications, as expected from their linear relationship. Classification accuracy increased with test length but was strongly influenced by the distribution of k . Under a uniform distribution, mean accuracy reached 0.90 after 24 items and 0.95 after 94 items, whereas substantially longer tests were required when k was concentrated near the cutoff. These item numbers are model- and distribution-dependent and should not be interpreted as recommended examination lengths. Misclassification was highest near the decision threshold.

Conclusions

Under the modeled conditions of complete responding, calibrated pass marks, and unchanged response behavior, the investigated scoring methods yielded identical pass or fail classifications. Classification accuracy increased with test length and depended strongly on the distribution of k , with greatest uncertainty near the pass or fail cutoff. These findings apply to the structural effects of the scoring transformations examined here and should not be generalized to behavioral effects of scoring rules in real examinations.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Educational MeasurementMonte Carlo MethodHumansComputer Simulation

Stichwörter der Autor:innen

Monte Carlo simulationsassessmentclassification accuracyeducational assessmenteducational measurementexamination lengthmeasurement errormultiple-choice examinationpass or fail decisionsscoringscoring systemsingle-responsetest lengthtesting

Autor:innen und Institutionen

  • Department of Restorative Dentistry, Periodontology and Endodontology, University Medicine Greifswald, Fleischmannstr. 42, Greifswald, 17475, Germany, 49 3834 867130, 49 3834 867171.

ORCID-Profile: Christiane Pink, Yola Meisel, Arvid Vetter, Philipp Kanzow

Zitieren

APA

Pink, C., Meisel, Y., Vetter, A., & Kanzow, P. (2026). Effects of Test Length and Scoring Methods on Pass or Fail Classification Accuracy in Single-Choice Examinations: Simulation Study. JMIR Formative Research, 10, e98358-e98358. https://doi.org/10.2196/98358

Vancouver

Pink C, Meisel Y, Vetter A, Kanzow P. Effects of Test Length and Scoring Methods on Pass or Fail Classification Accuracy in Single-Choice Examinations: Simulation Study. JMIR Formative Research. 2026;10:e98358-e98358. doi:10.2196/98358

BibTeX
@article{Pink2026,
  author = {Pink, Christiane and Meisel, Yola and Vetter, Arvid and Kanzow, Philipp},
  title = {Effects of Test Length and Scoring Methods on Pass or Fail Classification Accuracy in Single-Choice Examinations: Simulation Study},
  journal = {JMIR Formative Research},
  year = {2026},
  volume = {10},
  pages = {e98358--e98358},
  doi = {10.2196/98358}
}
Kostenlos starten →