Assessing Readability and DISCERN Quality of Osteoporosis Education Materials Generated by ChatGPT and Deepseek for Diverse Health Literacy Levels: A Cross‐Sectional Study
Bewertung der Lesbarkeit und DISCERN-Qualität von von ChatGPT und DeepSeek erzeugten Aufklärungsmaterialien zu Osteoporose für unterschiedliche Gesundheitskompetenzniveaus: Querschnittsstudie
Health Science Reports · 2026-07 · 9 (7)
DOI: 10.1002/hsr2.72706 ↗Auf einen Blick
Die Studie verglich Osteoporose-Aufklärungstexte von 4 LLMs für 3 Gesundheitskompetenzstufen. Die Qualität war meist nur „fair“; keine Ausgabe erreichte „excellent“.
Fragestellung
Wie sind Lesbarkeit und Informationsqualität von durch 4 LLMs erzeugten Osteoporose-Patientenmaterialien für 3 Gesundheitskompetenzstufen zu bewerten?
Methode
Querschnittsstudie; 6 klinische Themen pro Modell, Prompts für 3 Gesundheitskompetenzstufen; 12 Composite-Texte; Bewertung durch 3 verblindete Kliniker:innen mit DISCERN und Flesch-Kincaid.
Ergebnisse
Mittlere DISCERN-Werte lagen bei 36–52/80 („fair“). Keine Ausgabe erreichte > 70/80. Median der Lesbarkeit: 4,8 bis 10,2 Schulstufen. DeepSeek-V3.1 hatte FKGL 3,99 für niedrige Gesundheitskompetenz.
Einschränkungen
Alle Ausgaben ohne Zitate, Publikationsdaten, quantitative Risikodaten und Unsicherheitsangaben.
Schlussfolgerung der Autor:innen
LLMs können rasch gut lesbare Osteoporose-Aufklärung erzeugen, brauchen aber vor klinischem Einsatz Ergänzungen mit Referenzen, Risikostatistiken und aktueller Transparenz.
Kernaussagen
- DISCERN meist 36–52/80 („fair“)
- Keine Ausgabe erreichte „excellent“ (> 70/80)
- Alle Ausgaben ohne Zitate, Risikodaten und Unsicherheitsangaben
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Health Science Reports, online erschienen am 04.07.2026. Verfasst von Junfang Miao und 4 weiteren Autor:innen. Beteiligte Einrichtung: Cardiovascular Department II The First People's Hospital of Baiyin Baiyin China. Die Arbeit nennt 25 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).
Themen: Selbstmanagement bei chronischen Erkrankungen, Gesundheitskompetenz, Künstliche Intelligenz in der Pflege
Abstract (Originalsprache)
Background and Aims Large language models (LLMs) are increasingly used for patient education, but their output quality across health literacy levels is unknown. This cross‐sectional study compared ChatGPT‐4o, ChatGPT‐5, DeepSeek‐V3.1, and DeepSeek‐R2 in generating osteoporosis education materials tailored to low, moderate, and high health literacy.
Methods
Six clinical domains were posed to each LLM, with prompts adapted for three literacy tiers per model (18 outputs per model). Outputs were aggregated into 12 composite texts (4 models × 3 tiers). Three blinded clinicians assessed information quality using DISCERN (0–80) and readability using Flesch‐Kincaid (FKGL, lower = easier).
Results
Mean DISCERN scores ranged 36–52/80 (“fair”); no output reached “excellent” (> 70/80). DeepSeek‐V3.1 provided the highest treatment detail for high literacy and best low‐literacy readability (FKGL 3.99). ChatGPT‐5 performed most consistently across tiers. Median readability ranged from grade 4.8 to 10.2. All outputs lacked citations, publication dates, quantitative risk data, and uncertainty statements.
Conclusion
LLMs can rapidly generate readable osteoporosis education, but current outputs require supplementation with references, risk statistics, and updated transparency before clinical use.
Schlagwörter
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Cardiovascular Department II The First People's Hospital of Baiyin Baiyin China.
- Xiaotieshan Mine Baiyin Nonferrous Group Co. Ltd Baiyin China.
- Baiyin Colored Blue Bird Digital Technology Co. Ltd Baiyin China.
- Breast Section The First People's Hospital of Baiyin Baiyin China.
- Nursing Department The First People's Hospital of Baiyin Baiyin China.
ORCID-Profile: Junfang Miao, Guanghu Sun, Yichao Wang, Fangying Li
Zitieren
APA
Miao, J., Sun, G., Wang, Y., Li, F., & Li, F. (2026). Assessing Readability and DISCERN Quality of Osteoporosis Education Materials Generated by ChatGPT and Deepseek for Diverse Health Literacy Levels: A Cross‐Sectional Study. Health Science Reports, 9(7). https://doi.org/10.1002/hsr2.72706
Vancouver
Miao J, Sun G, Wang Y, Li F, Li F. Assessing Readability and DISCERN Quality of Osteoporosis Education Materials Generated by ChatGPT and Deepseek for Diverse Health Literacy Levels: A Cross‐Sectional Study. Health Science Reports. 2026;9(7). doi:10.1002/hsr2.72706
BibTeX
@article{Miao2026,
author = {Miao, Junfang and Sun, Guanghu and Wang, Yichao and Li, Fangying and Li, Fangli},
title = {Assessing Readability and DISCERN Quality of Osteoporosis Education Materials Generated by ChatGPT and Deepseek for Diverse Health Literacy Levels: A Cross‐Sectional Study},
journal = {Health Science Reports},
year = {2026},
volume = {9},
number = {7},
doi = {10.1002/hsr2.72706}
}
EUVIMED