EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

Assessing Readability and DISCERN Quality of Osteoporosis Education Materials Generated by ChatGPT and Deepseek for Diverse Health Literacy Levels: A Cross‐Sectional Study

Bewertung der Lesbarkeit und DISCERN-Qualität von von ChatGPT und DeepSeek erzeugten Aufklärungsmaterialien zu Osteoporose für unterschiedliche Gesundheitskompetenzniveaus: Querschnittsstudie

Junfang Miao iD, Guanghu Sun iD, Yichao Wang iD, Fangying Li iD, Fangli Li

Health Science Reports · 2026-07 · 9 (7)

DOI: 10.1002/hsr2.72706 ↗

Auf einen Blick

Die Studie verglich Osteoporose-Aufklärungstexte von 4 LLMs für 3 Gesundheitskompetenzstufen. Die Qualität war meist nur „fair“; keine Ausgabe erreichte „excellent“.

Fragestellung

Wie sind Lesbarkeit und Informationsqualität von durch 4 LLMs erzeugten Osteoporose-Patientenmaterialien für 3 Gesundheitskompetenzstufen zu bewerten?

Methode

Querschnittsstudie; 6 klinische Themen pro Modell, Prompts für 3 Gesundheitskompetenzstufen; 12 Composite-Texte; Bewertung durch 3 verblindete Kliniker:innen mit DISCERN und Flesch-Kincaid.

Ergebnisse

Mittlere DISCERN-Werte lagen bei 36–52/80 („fair“). Keine Ausgabe erreichte > 70/80. Median der Lesbarkeit: 4,8 bis 10,2 Schulstufen. DeepSeek-V3.1 hatte FKGL 3,99 für niedrige Gesundheitskompetenz.

Einschränkungen

Alle Ausgaben ohne Zitate, Publikationsdaten, quantitative Risikodaten und Unsicherheitsangaben.

Schlussfolgerung der Autor:innen

LLMs können rasch gut lesbare Osteoporose-Aufklärung erzeugen, brauchen aber vor klinischem Einsatz Ergänzungen mit Referenzen, Risikostatistiken und aktueller Transparenz.

Kernaussagen

  • DISCERN meist 36–52/80 („fair“)
  • Keine Ausgabe erreichte „excellent“ (> 70/80)
  • Alle Ausgaben ohne Zitate, Risikodaten und Unsicherheitsangaben

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Health Science Reports, online erschienen am 04.07.2026. Verfasst von Junfang Miao und 4 weiteren Autor:innen. Beteiligte Einrichtung: Cardiovascular Department II The First People's Hospital of Baiyin Baiyin China. Die Arbeit nennt 25 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Background and Aims Large language models (LLMs) are increasingly used for patient education, but their output quality across health literacy levels is unknown. This cross‐sectional study compared ChatGPT‐4o, ChatGPT‐5, DeepSeek‐V3.1, and DeepSeek‐R2 in generating osteoporosis education materials tailored to low, moderate, and high health literacy.

Methods

Six clinical domains were posed to each LLM, with prompts adapted for three literacy tiers per model (18 outputs per model). Outputs were aggregated into 12 composite texts (4 models × 3 tiers). Three blinded clinicians assessed information quality using DISCERN (0–80) and readability using Flesch‐Kincaid (FKGL, lower = easier).

Results

Mean DISCERN scores ranged 36–52/80 (“fair”); no output reached “excellent” (> 70/80). DeepSeek‐V3.1 provided the highest treatment detail for high literacy and best low‐literacy readability (FKGL 3.99). ChatGPT‐5 performed most consistently across tiers. Median readability ranged from grade 4.8 to 10.2. All outputs lacked citations, publication dates, quantitative risk data, and uncertainty statements.

Conclusion

LLMs can rapidly generate readable osteoporosis education, but current outputs require supplementation with references, risk statistics, and updated transparency before clinical use.

Schlagwörter

Stichwörter der Autor:innen

ChatGPTDISCERNDeepSeekartificial intelligencehealth literacyosteoporosisreadability

Autor:innen und Institutionen

  • Cardiovascular Department II The First People's Hospital of Baiyin Baiyin China.
  • Xiaotieshan Mine Baiyin Nonferrous Group Co. Ltd Baiyin China.
  • Baiyin Colored Blue Bird Digital Technology Co. Ltd Baiyin China.
  • Breast Section The First People's Hospital of Baiyin Baiyin China.
  • Nursing Department The First People's Hospital of Baiyin Baiyin China.

ORCID-Profile: Junfang Miao, Guanghu Sun, Yichao Wang, Fangying Li

Zitieren

APA

Miao, J., Sun, G., Wang, Y., Li, F., & Li, F. (2026). Assessing Readability and DISCERN Quality of Osteoporosis Education Materials Generated by ChatGPT and Deepseek for Diverse Health Literacy Levels: A Cross‐Sectional Study. Health Science Reports, 9(7). https://doi.org/10.1002/hsr2.72706

Vancouver

Miao J, Sun G, Wang Y, Li F, Li F. Assessing Readability and DISCERN Quality of Osteoporosis Education Materials Generated by ChatGPT and Deepseek for Diverse Health Literacy Levels: A Cross‐Sectional Study. Health Science Reports. 2026;9(7). doi:10.1002/hsr2.72706

BibTeX
@article{Miao2026,
  author = {Miao, Junfang and Sun, Guanghu and Wang, Yichao and Li, Fangying and Li, Fangli},
  title = {Assessing Readability and DISCERN Quality of Osteoporosis Education Materials Generated by ChatGPT and Deepseek for Diverse Health Literacy Levels: A Cross‐Sectional Study},
  journal = {Health Science Reports},
  year = {2026},
  volume = {9},
  number = {7},
  doi = {10.1002/hsr2.72706}
}
Kostenlos starten →