EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

Enhancing patient education on the role of tibial osteotomy in the management of knee osteoarthritis using a customized ChatGPT: a readability and quality assessment

Verbesserung der Patientenedukation zur Rolle der Tibiaosteotomie bei Kniearthrose mit einem angepassten ChatGPT: Lesbarkeits- und Qualitätsbewertung

Stephen Fahy, Stephan Oehme, Danko Dan Milinkovic, Benjamin Bartek

Frontiers in Digital Health · 03.01.2025 · 6

DOI: 10.3389/fdgth.2024.1480381 ↗

Auf einen Blick

Eine angepasste ChatGPT-4-Version („The Knee Guide“) lieferte zu HTO verständlichere und qualitativ bessere Antworten als die native Version. Die Unterschiede waren signifikant.

Fragestellung

Kann ein angepasstes ChatGPT die Lesbarkeit und Quellenqualität von Patient:inneninformationen zur High Tibial Osteotomy (HTO) bei Kniearthrose verbessern?

Methode

Vergleich zweier ChatGPT-4-Modelle; Fragen zu HTO aus Googles „People Also Asked“; Bewertung mit DISCERN, FRES und FKGL.

Ergebnisse

Native ChatGPT-4: mittlerer DISCERN 38,41; „The Knee Guide“: 45,9. FKGL 8,2 vs. 13,9; FRES 60 vs. 32; alle Unterschiede p < 0,001.

Schlussfolgerung der Autor:innen

Die Feinabstimmung von ChatGPT verbesserte die Lesbarkeit und Qualität von HTO-Informationen deutlich. Maßgeschneiderte KI-Tools können Patientenedukation erleichtern.

Kernaussagen

  • „The Knee Guide“ erzielte höhere DISCERN-Werte als die native Version
  • Die Lesbarkeit war mit FKGL 8,2 und FRES 60 besser
  • Die Unterschiede waren statistisch signifikant (p < 0,001)

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Frontiers in Digital Health, online erschienen am 03.01.2025. Verfasst von Stephen Fahy und 3 weiteren Autor:innen. Beteiligte Einrichtung: Centrum für Muskuloskeletale Chirurgie, Charité Universitätsmedizin Berlin, Berlin, Germany. Die Arbeit wurde bisher 11-mal zitiert (Crossref) und nennt 25 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Introduction

Knee osteoarthritis (OA) significantly impacts the quality of life of those afflicted, with many patients eventually requiring surgical intervention. While Total Knee Arthroplasty (TKA) is common, it may not be suitable for younger patients with unicompartmental OA, who might benefit more from High Tibial Osteotomy (HTO). Effective patient education is crucial for informed decision-making, yet most online health information has been found to be too complex for the average patient to understand. AI tools like ChatGPT may offer a solution, but their outputs often exceed the public's literacy level. This study assessed whether a customised ChatGPT could be utilized to improve readability and source accuracy in patient education on Knee OA and tibial osteotomy.

Methods

Commonly asked questions about HTO were gathered using Google's “People Also Asked” feature and formatted to an 8th-grade reading level. Two ChatGPT-4 models were compared: a native version and a fine-tuned model (“The Knee Guide”) optimized for readability and source citation through Instruction-Based Fine-Tuning (IBFT) and Reinforcement Learning from Human Feedback (RLHF). The responses were evaluated for quality using the DISCERN criteria and readability using the Flesch Reading Ease Score (FRES) and Flesch-Kincaid Grade Level (FKGL).

Results

The native ChatGPT-4 model scored a mean DISCERN score of 38.41 (range 25–46), indicating poor quality, while “The Knee Guide” scored 45.9 (range 33–66), indicating moderate quality. Cronbach's Alpha was 0.86, indicating good interrater reliability. “The Knee Guide” achieved better readability with a mean FKGL of 8.2 (range 5–10.7, ±1.42) and a mean FRES of 60 (range 47–76, ±7.83), compared to the native model's FKGL of 13.9 (range 11–16, ±1.39) and FRES of 32 (range 14–47, ±8.3). These differences were statistically significant ( p < 0.001).

Conclusions

Fine-tuning ChatGPT significantly improved the readability and quality of HTO-related information. “The Knee Guide” demonstrated the potential of customized AI tools in enhancing patient education by making complex medical information more accessible and understandable.

Schlagwörter

Stichwörter der Autor:innen

ChatGPTDISCERN criteriaartificial intelligencehigh tibial osteotomyknee osteoarthritispatient educationreadability

Autor:innen und Institutionen

  • Centrum für Muskuloskeletale Chirurgie, Charité Universitätsmedizin Berlin, Berlin, Germany.

Zitieren

APA

Fahy, S., Oehme, S., Milinkovic, D. D., & Bartek, B. (2025). Enhancing patient education on the role of tibial osteotomy in the management of knee osteoarthritis using a customized ChatGPT: a readability and quality assessment. Frontiers in Digital Health, 6. https://doi.org/10.3389/fdgth.2024.1480381

Vancouver

Fahy S, Oehme S, Milinkovic DD, Bartek B. Enhancing patient education on the role of tibial osteotomy in the management of knee osteoarthritis using a customized ChatGPT: a readability and quality assessment. Frontiers in Digital Health. 2025;6. doi:10.3389/fdgth.2024.1480381

BibTeX
@article{Fahy2025,
  author = {Fahy, Stephen and Oehme, Stephan and Milinkovic, Danko Dan and Bartek, Benjamin},
  title = {Enhancing patient education on the role of tibial osteotomy in the management of knee osteoarthritis using a customized ChatGPT: a readability and quality assessment},
  journal = {Frontiers in Digital Health},
  year = {2025},
  volume = {6},
  doi = {10.3389/fdgth.2024.1480381}
}
Kostenlos starten →