Sticks and Stones: Bias and Readability Assessment in Large Language Model–Generated Patient Education for Anterior Cruciate Injury
Bias- und Lesbarkeitsbewertung in von Large Language Models erzeugter Patientenedukation zu vorderer Kreuzbandverletzung
JOSPT Open · 2026-01 · 4 (1) · 69-81
DOI: 10.2519/josptopen.2025.0190 ↗Auf einen Blick
Vier LLMs erzeugten 40 Patient Education Materials zur ACL-Verletzung. Die Materialien waren meist verständlich, zeigten laut Analyse wenig Bias, hatten aber ein hohes Leselevel und oft einen negativen Ton.
Fragestellung
Wie ausgeprägt sind Bias sowie Verständlichkeit, Genauigkeit und Konsistenz von LLM-generierten Patient Education Materials zur ACL-Verletzung?
Methode
Querschnittstudie; 4 LLMs lieferten PEMs zu ACL-Verletzung für 10 Personas; Lesbarkeit mit Flesch-Kincaid Grade Level, Verständlichkeit/Handlungsanleitung mit PEMAT-P, Bias per Sprachanalyse.
Ergebnisse
40 Antworten analysiert. Flesch-Kincaid Grade Level 9,9 (SD 0,8; Low-SES-Persona) bis 11,4 (SD 1,5; Boy-Persona). 36 (90 %) lagen über 70 % für Verständlichkeit, 27 (67,5 %) für Handlungsanleitung. Keine signifikanten Sprachunterschiede (p>.05).
Einschränkungen
Schweres Leselevel kann die Generalisierbarkeit einschränken. Wichtige Informationen fehlten in den PEMs; der negative Ton könnte Angst verstärken.
Schlussfolgerung der Autor:innen
Die LLM-generierten PEMs waren ausreichend verständlich, zeigten nur wenig sex-/gender-/ethnisch-/SES-bezogenen Bias und lieferten handlungsleitende Informationen. Das Leselevel und der negative Ton bleiben problematisch.
Kernaussagen
- 40 LLM-generierte PEMs zu ACL-Verletzung analysiert
- 90 % über Schwelle für Verständlichkeit, 67,5 % für Handlungsanleitung
- 92,5 % der Persona-Antworten mit negativem Ton
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift JOSPT Open, 2026-01. Verfasst von Katherine F Wilford und 6 weiteren Autor:innen. Hauptthemen laut MEDLINE: Patient Education as Topic, Comprehension, Anterior Cruciate Ligament Injuries, Health Literacy. Die Arbeit wurde bisher 1-mal zitiert (Crossref) und nennt 38 Literaturangaben.
Themen: Künstliche Intelligenz in der Pflege, Selbstmanagement bei chronischen Erkrankungen
Abstract (Originalsprache)
OBJECTIVE: This study aimed to (1) explore sex/gender/ethnic/socioeconomic status (SES)-related bias in large language model (LLM)-generated anterior cruciate ligament (ACL) patient education materials (PEMs) and (2) assess the accuracy, consistency, and understandability of the information provided. DESIGN: Cross-sectional study. METHODS: Four LLMs provided PEMs on ACL injury following 10 unique personas. Readability was assessed via Flesch-Kincaid Grade Level. Patient Education Materials Assessment Tool for Printable Materials (PEMAT-P) assessed understandability and actionability. The Linguistic Inquiry and Word Count dictionary assessed language differences to measure sex/gender/ethnic/SES-related bias. A qualitative analysis assessed accuracy and robustness. RESULTS: Forty LLM-generated responses were analyzed. Mean Flesch-Kincaid Grade Level ranged between 9.9 (SD=0.8; Low SES persona) and 11.4 (SD=1.5; Boy persona). Thirty-six (90%) and 27 (67.5%) responses scored above the 70% adequate PEMAT-P threshold for understandability and actionability, respectively. The Kruskal-Wallis test and Mann-Whitney U test revealed no statistically significant language differences between personas, across LLMs (p>.05). Linguistic analysis revealed that 37 (92.5%) persona responses had a negative tone. CONCLUSION: The LLM-generated PEMs were adequately understandable with minimal sex/gender/ethnic/SES-related bias and provided actionable information. The difficult reading level may limit generalizability. Crucial information was lacking from PEMs and the negative tone may unintentionally increase patient fear. JOSPT Open 2026;4(1):69-81. Epub 17 December 2025. doi:10.2519/josptopen.2025.0190
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Stichwörter der Autor:innen
Zitieren
APA
Wilford, K. F., Cook, R., Robinson, A., Wash, S., Wilkin, A., Chiddarwar, V. V., & Seeber, G. H. (2026). Sticks and Stones: Bias and Readability Assessment in Large Language Model–Generated Patient Education for Anterior Cruciate Injury. JOSPT Open, 4(1), 69-81. https://doi.org/10.2519/josptopen.2025.0190
Vancouver
Wilford KF, Cook R, Robinson A, Wash S, Wilkin A, Chiddarwar VV, et al. Sticks and Stones: Bias and Readability Assessment in Large Language Model–Generated Patient Education for Anterior Cruciate Injury. JOSPT Open. 2026;4(1):69-81. doi:10.2519/josptopen.2025.0190
BibTeX
@article{Wilford2026,
author = {Wilford, Katherine F and Cook, Rhonda and Robinson, Alexander and Wash, Sara and Wilkin, Anyka and Chiddarwar, Vaishnavi V and Seeber, Gesine H},
title = {Sticks and Stones: Bias and Readability Assessment in Large Language Model–Generated Patient Education for Anterior Cruciate Injury},
journal = {JOSPT Open},
year = {2026},
volume = {4},
number = {1},
pages = {69--81},
doi = {10.2519/josptopen.2025.0190}
}
EUVIMED