EUVIMEDEUVIMED entdecken
Crossref

Sticks and Stones: Bias and Readability Assessment in Large Language Model–Generated Patient Education for Anterior Cruciate Injury

Bias- und Lesbarkeitsbewertung in von Large Language Models erzeugter Patientenedukation zu vorderer Kreuzbandverletzung

Katherine F Wilford, Rhonda Cook, Alexander Robinson, Sara Wash, Anyka Wilkin, Vaishnavi V Chiddarwar, Gesine H Seeber

JOSPT Open · 2026-01 · 4 (1) · 69-81

DOI: 10.2519/josptopen.2025.0190 ↗

Auf einen Blick

Vier LLMs erzeugten 40 Patient Education Materials zur ACL-Verletzung. Die Materialien waren meist verständlich, zeigten laut Analyse wenig Bias, hatten aber ein hohes Leselevel und oft einen negativen Ton.

Fragestellung

Wie ausgeprägt sind Bias sowie Verständlichkeit, Genauigkeit und Konsistenz von LLM-generierten Patient Education Materials zur ACL-Verletzung?

Methode

Querschnittstudie; 4 LLMs lieferten PEMs zu ACL-Verletzung für 10 Personas; Lesbarkeit mit Flesch-Kincaid Grade Level, Verständlichkeit/Handlungsanleitung mit PEMAT-P, Bias per Sprachanalyse.

Ergebnisse

40 Antworten analysiert. Flesch-Kincaid Grade Level 9,9 (SD 0,8; Low-SES-Persona) bis 11,4 (SD 1,5; Boy-Persona). 36 (90 %) lagen über 70 % für Verständlichkeit, 27 (67,5 %) für Handlungsanleitung. Keine signifikanten Sprachunterschiede (p>.05).

Einschränkungen

Schweres Leselevel kann die Generalisierbarkeit einschränken. Wichtige Informationen fehlten in den PEMs; der negative Ton könnte Angst verstärken.

Schlussfolgerung der Autor:innen

Die LLM-generierten PEMs waren ausreichend verständlich, zeigten nur wenig sex-/gender-/ethnisch-/SES-bezogenen Bias und lieferten handlungsleitende Informationen. Das Leselevel und der negative Ton bleiben problematisch.

Kernaussagen

  • 40 LLM-generierte PEMs zu ACL-Verletzung analysiert
  • 90 % über Schwelle für Verständlichkeit, 67,5 % für Handlungsanleitung
  • 92,5 % der Persona-Antworten mit negativem Ton

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift JOSPT Open, 2026-01. Verfasst von Katherine F Wilford und 6 weiteren Autor:innen. Hauptthemen laut MEDLINE: Patient Education as Topic, Comprehension, Anterior Cruciate Ligament Injuries, Health Literacy. Die Arbeit wurde bisher 1-mal zitiert (Crossref) und nennt 38 Literaturangaben.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

OBJECTIVE: This study aimed to (1) explore sex/gender/ethnic/socioeconomic status (SES)-related bias in large language model (LLM)-generated anterior cruciate ligament (ACL) patient education materials (PEMs) and (2) assess the accuracy, consistency, and understandability of the information provided. DESIGN: Cross-sectional study. METHODS: Four LLMs provided PEMs on ACL injury following 10 unique personas. Readability was assessed via Flesch-Kincaid Grade Level. Patient Education Materials Assessment Tool for Printable Materials (PEMAT-P) assessed understandability and actionability. The Linguistic Inquiry and Word Count dictionary assessed language differences to measure sex/gender/ethnic/SES-related bias. A qualitative analysis assessed accuracy and robustness. RESULTS: Forty LLM-generated responses were analyzed. Mean Flesch-Kincaid Grade Level ranged between 9.9 (SD=0.8; Low SES persona) and 11.4 (SD=1.5; Boy persona). Thirty-six (90%) and 27 (67.5%) responses scored above the 70% adequate PEMAT-P threshold for understandability and actionability, respectively. The Kruskal-Wallis test and Mann-Whitney U test revealed no statistically significant language differences between personas, across LLMs (p>.05). Linguistic analysis revealed that 37 (92.5%) persona responses had a negative tone. CONCLUSION: The LLM-generated PEMs were adequately understandable with minimal sex/gender/ethnic/SES-related bias and provided actionable information. The difficult reading level may limit generalizability. Crucial information was lacking from PEMs and the negative tone may unintentionally increase patient fear. JOSPT Open 2026;4(1):69-81. Epub 17 December 2025. doi:10.2519/josptopen.2025.0190

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Patient Education as TopicComprehensionAnterior Cruciate Ligament InjuriesHealth LiteracyHumansLarge Language ModelsCross-Sectional StudiesFemaleMaleBias

Stichwörter der Autor:innen

ACLartificial intelligencebiaspatient education

Zitieren

APA

Wilford, K. F., Cook, R., Robinson, A., Wash, S., Wilkin, A., Chiddarwar, V. V., & Seeber, G. H. (2026). Sticks and Stones: Bias and Readability Assessment in Large Language Model–Generated Patient Education for Anterior Cruciate Injury. JOSPT Open, 4(1), 69-81. https://doi.org/10.2519/josptopen.2025.0190

Vancouver

Wilford KF, Cook R, Robinson A, Wash S, Wilkin A, Chiddarwar VV, et al. Sticks and Stones: Bias and Readability Assessment in Large Language Model–Generated Patient Education for Anterior Cruciate Injury. JOSPT Open. 2026;4(1):69-81. doi:10.2519/josptopen.2025.0190

BibTeX
@article{Wilford2026,
  author = {Wilford, Katherine F and Cook, Rhonda and Robinson, Alexander and Wash, Sara and Wilkin, Anyka and Chiddarwar, Vaishnavi V and Seeber, Gesine H},
  title = {Sticks and Stones: Bias and Readability Assessment in Large Language Model–Generated Patient Education for Anterior Cruciate Injury},
  journal = {JOSPT Open},
  year = {2026},
  volume = {4},
  number = {1},
  pages = {69--81},
  doi = {10.2519/josptopen.2025.0190}
}
Kostenlos starten →