EUVIMEDEUVIMED entdecken
Open Access

How DISCERNing is ChatGPT? An Evaluation of Models and Prompt Engineering in Assessing Patient Education Materials

Wie DISCERN-fähig ist ChatGPT? Bewertung von Modellen und Prompt-Engineering beim Einschätzen von Patienteninformationsmaterialien

Justin Blackman iD, Danica Friesen, Markus Bernardus Sikkel, Richard Veerapen

Applied Clinical Informatics · 01.03.2026 · 17 (02) · 275-281

DOI: 10.1055/a-2853-8892 ↗

Auf einen Blick

ChatGPT-Modelle zeigten bei DISCERN nur eine schwache bis moderate Übereinstimmung mit menschlichen Bewertungen. Es traten systematische Verzerrungen und eine geringe Wiederholbarkeit auf.

Fragestellung

Können ChatGPT-Modelle das DISCERN-Instrument zuverlässig anwenden, und beeinflussen Prompting-Strategien, Modellwahl und Wiederholbarkeit die Übereinstimmung mit menschlichen DISCERN-Scores?

Methode

PubMed-Suche nach englischsprachigen Studien seit 2019 mit exakten Webseiten-URLs und menschlichen DISCERN-Scores; 42 archivierte Webseiten. 3 ChatGPT-Modelle und 4 Prompting-Strategien; 10 Wiederholungen auf 9 Webseiten.

Ergebnisse

Die Übereinstimmung zwischen ChatGPT- und menschlichen DISCERN-Scores war schwach bis moderat. Kombiniertes Prompting verbesserte die Übereinstimmung nur gering; o3 schnitt besser ab als GPT-5.2 und GPT-4o. Die mittlere Score-Spanne betrug 17,5 Punkte, bis 43 Punkte pro Webseite.

Schlussfolgerung der Autor:innen

Unter den geprüften Prompting-Strategien waren ChatGPT-Modelle für eine zuverlässige automatisierte DISCERN-Bewertung unzureichend. Anhaltende Attenuationsverzerrung und schlechte Wiederholbarkeit begrenzen die klinische und wissenschaftliche Nutzbarkeit.

Kernaussagen

  • Nur schwache bis moderate Übereinstimmung mit menschlichen DISCERN-Scores
  • Systematische Score-Kompression: niedrige Scores zu hoch, hohe zu niedrig
  • Wiederholbarkeit schlecht: bis 43 Punkte Spannweite für dieselbe Webseite

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Applied Clinical Informatics, erschienen am 01.03.2026. Verfasst von Justin Blackman und 3 weiteren Autor:innen. Beteiligte Einrichtung: Island Medical Program, Department of Medicine, Faculty of Medicine, University of British Columbia, Victoria, BC, Canada. Hauptthemen laut MEDLINE: Patient Education as Topic. Der Volltext ist frei in PubMed Central verfügbar.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Objectives

The objective of this study is to evaluate whether ChatGPT models can reliably apply the DISCERN instrument, a 16-question human-scored rubric developed in 1999 to evaluate consumer health information, and assess the impact of prompting strategies, model choice, and scoring repeatability on agreement with human-derived DISCERN scores.

Methods

A PubMed search of “DISCERN” identified English-language studies since 2019 reporting exact webpage URLs with corresponding human-derived DISCERN scores. Archived versions of 42 webpages were retrieved. Three ChatGPT models (GPT-5.2, GPT-4o, and o3) were evaluated using four prompting strategies: “Naïve” zero-shot, item-level “Split” scoring, “Augmented” prompting with DISCERN guidance, and a “Combined” split-plus-augmented approach. Agreement with human scores was assessed using correlations and absolute differences. Repeatability was examined using 10 repeated scoring runs across 9 webpages.

Results

Agreement between ChatGPT-generated and human DISCERN scores was weak to moderate. All models demonstrated systematic score compression, overestimating low-quality webpages and underestimating high-quality webpages. Combined prompting modestly improved agreement and reduced absolute error, particularly for the o3 model, which consistently outperformed GPT-5.2 and GPT-4o. Substantial run-to-run variability was observed with a mean score range of 17.5 points and ranges up to 43 points for the same webpage. Averaging scores across runs did not improve agreement with human ratings. ChatGPT's DISCERN scoring reflects systematic attenuation consistent with prediction under noisy subjective measurement. Prompt engineering did not correct calibration bias or reproducibility limitations.

Conclusion

Under the prompting strategies evaluated, ChatGPT models were insufficient for reliable automated DISCERN scoring. Persistent attenuation bias and poor repeatability significantly limit clinical or research applicability.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Patient Education as TopicHumansLarge Language ModelsGenerative Artificial IntelligenceReproducibility of Results

Autor:innen und Institutionen

  • Island Medical Program, Department of Medicine, Faculty of Medicine, University of British Columbia, Victoria, BC, Canada.
  • Division of Cardiology, Royal Jubilee Hospital, Victoria, British Columbia, Canada.
  • Division of Cardiology, University of British Columbia, Vancouver, British Columbia, Canada.
  • Center for Cardiovascular Innovation, University of British Columbia, Vancouver, British Columbia, Canada.
  • Division of Medical Sciences, University of Victoria, Victoria, British Columbia, Canada.
  • School of Health Information Science, Faculty of Health, University of Victoria, Victoria, BC, Canada.

ORCID-Profile: Justin Blackman

Zitieren

APA

Blackman, J., Friesen, D., Sikkel, M. B., & Veerapen, R. (2026). How DISCERNing is ChatGPT? An Evaluation of Models and Prompt Engineering in Assessing Patient Education Materials. Applied Clinical Informatics, 17(02), 275-281. https://doi.org/10.1055/a-2853-8892

Vancouver

Blackman J, Friesen D, Sikkel MB, Veerapen R. How DISCERNing is ChatGPT? An Evaluation of Models and Prompt Engineering in Assessing Patient Education Materials. Applied Clinical Informatics. 2026;17(02):275-281. doi:10.1055/a-2853-8892

BibTeX
@article{Blackman2026,
  author = {Blackman, Justin and Friesen, Danica and Sikkel, Markus Bernardus and Veerapen, Richard},
  title = {How DISCERNing is ChatGPT? An Evaluation of Models and Prompt Engineering in Assessing Patient Education Materials},
  journal = {Applied Clinical Informatics},
  year = {2026},
  volume = {17},
  number = {02},
  pages = {275--281},
  doi = {10.1055/a-2853-8892}
}
Kostenlos starten →