How DISCERNing is ChatGPT? An Evaluation of Models and Prompt Engineering in Assessing Patient Education Materials
Wie DISCERN-fähig ist ChatGPT? Bewertung von Modellen und Prompt-Engineering beim Einschätzen von Patienteninformationsmaterialien
Applied Clinical Informatics · 01.03.2026 · 17 (02) · 275-281
DOI: 10.1055/a-2853-8892 ↗Auf einen Blick
ChatGPT-Modelle zeigten bei DISCERN nur eine schwache bis moderate Übereinstimmung mit menschlichen Bewertungen. Es traten systematische Verzerrungen und eine geringe Wiederholbarkeit auf.
Fragestellung
Können ChatGPT-Modelle das DISCERN-Instrument zuverlässig anwenden, und beeinflussen Prompting-Strategien, Modellwahl und Wiederholbarkeit die Übereinstimmung mit menschlichen DISCERN-Scores?
Methode
PubMed-Suche nach englischsprachigen Studien seit 2019 mit exakten Webseiten-URLs und menschlichen DISCERN-Scores; 42 archivierte Webseiten. 3 ChatGPT-Modelle und 4 Prompting-Strategien; 10 Wiederholungen auf 9 Webseiten.
Ergebnisse
Die Übereinstimmung zwischen ChatGPT- und menschlichen DISCERN-Scores war schwach bis moderat. Kombiniertes Prompting verbesserte die Übereinstimmung nur gering; o3 schnitt besser ab als GPT-5.2 und GPT-4o. Die mittlere Score-Spanne betrug 17,5 Punkte, bis 43 Punkte pro Webseite.
Schlussfolgerung der Autor:innen
Unter den geprüften Prompting-Strategien waren ChatGPT-Modelle für eine zuverlässige automatisierte DISCERN-Bewertung unzureichend. Anhaltende Attenuationsverzerrung und schlechte Wiederholbarkeit begrenzen die klinische und wissenschaftliche Nutzbarkeit.
Kernaussagen
- Nur schwache bis moderate Übereinstimmung mit menschlichen DISCERN-Scores
- Systematische Score-Kompression: niedrige Scores zu hoch, hohe zu niedrig
- Wiederholbarkeit schlecht: bis 43 Punkte Spannweite für dieselbe Webseite
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Applied Clinical Informatics, erschienen am 01.03.2026. Verfasst von Justin Blackman und 3 weiteren Autor:innen. Beteiligte Einrichtung: Island Medical Program, Department of Medicine, Faculty of Medicine, University of British Columbia, Victoria, BC, Canada. Hauptthemen laut MEDLINE: Patient Education as Topic. Der Volltext ist frei in PubMed Central verfügbar.
Themen: Selbstmanagement bei chronischen Erkrankungen, Künstliche Intelligenz in der Pflege
Abstract (Originalsprache)
Objectives
The objective of this study is to evaluate whether ChatGPT models can reliably apply the DISCERN instrument, a 16-question human-scored rubric developed in 1999 to evaluate consumer health information, and assess the impact of prompting strategies, model choice, and scoring repeatability on agreement with human-derived DISCERN scores.
Methods
A PubMed search of “DISCERN” identified English-language studies since 2019 reporting exact webpage URLs with corresponding human-derived DISCERN scores. Archived versions of 42 webpages were retrieved. Three ChatGPT models (GPT-5.2, GPT-4o, and o3) were evaluated using four prompting strategies: “Naïve” zero-shot, item-level “Split” scoring, “Augmented” prompting with DISCERN guidance, and a “Combined” split-plus-augmented approach. Agreement with human scores was assessed using correlations and absolute differences. Repeatability was examined using 10 repeated scoring runs across 9 webpages.
Results
Agreement between ChatGPT-generated and human DISCERN scores was weak to moderate. All models demonstrated systematic score compression, overestimating low-quality webpages and underestimating high-quality webpages. Combined prompting modestly improved agreement and reduced absolute error, particularly for the o3 model, which consistently outperformed GPT-5.2 and GPT-4o. Substantial run-to-run variability was observed with a mean score range of 17.5 points and ranges up to 43 points for the same webpage. Averaging scores across runs did not improve agreement with human ratings. ChatGPT's DISCERN scoring reflects systematic attenuation consistent with prediction under noisy subjective measurement. Prompt engineering did not correct calibration bias or reproducibility limitations.
Conclusion
Under the prompting strategies evaluated, ChatGPT models were insufficient for reliable automated DISCERN scoring. Persistent attenuation bias and poor repeatability significantly limit clinical or research applicability.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Autor:innen und Institutionen
- Island Medical Program, Department of Medicine, Faculty of Medicine, University of British Columbia, Victoria, BC, Canada.
- Division of Cardiology, Royal Jubilee Hospital, Victoria, British Columbia, Canada.
- Division of Cardiology, University of British Columbia, Vancouver, British Columbia, Canada.
- Center for Cardiovascular Innovation, University of British Columbia, Vancouver, British Columbia, Canada.
- Division of Medical Sciences, University of Victoria, Victoria, British Columbia, Canada.
- School of Health Information Science, Faculty of Health, University of Victoria, Victoria, BC, Canada.
ORCID-Profile: Justin Blackman
Zitieren
APA
Blackman, J., Friesen, D., Sikkel, M. B., & Veerapen, R. (2026). How DISCERNing is ChatGPT? An Evaluation of Models and Prompt Engineering in Assessing Patient Education Materials. Applied Clinical Informatics, 17(02), 275-281. https://doi.org/10.1055/a-2853-8892
Vancouver
Blackman J, Friesen D, Sikkel MB, Veerapen R. How DISCERNing is ChatGPT? An Evaluation of Models and Prompt Engineering in Assessing Patient Education Materials. Applied Clinical Informatics. 2026;17(02):275-281. doi:10.1055/a-2853-8892
BibTeX
@article{Blackman2026,
author = {Blackman, Justin and Friesen, Danica and Sikkel, Markus Bernardus and Veerapen, Richard},
title = {How DISCERNing is ChatGPT? An Evaluation of Models and Prompt Engineering in Assessing Patient Education Materials},
journal = {Applied Clinical Informatics},
year = {2026},
volume = {17},
number = {02},
pages = {275--281},
doi = {10.1055/a-2853-8892}
}
EUVIMED