Refining patient education on autologous chondrocyte implantation for chondral lesions of the knee: A fine‐tuned ChatGPT‐4o model improves readability and quality
Optimierung der Patient:innenaufklärung zur autologen Chondrozytenimplantation bei chondralen Läsionen des Knies: Ein fein abgestimmtes ChatGPT-4o-Modell verbessert Lesbarkeit und Qualität
Journal of Experimental Orthopaedics · 2025-10 · 12 (4)
DOI: 10.1002/jeo2.70445 ↗Auf einen Blick
Eine Studie verglich native und fein abgestimmte ChatGPT-4o-Antworten zur ACI-Aufklärung. Die fein abgestimmte Version erzielte bessere Qualitäts- und Lesbarkeitswerte.
Fragestellung
Verbessert ein fein abgestimmtes ChatGPT-4o-Modell Qualität und Lesbarkeit von ACI-Patientenmaterial im Vergleich zum nativen Modell?
Methode
Bewertung von ChatGPT-4o-Antworten auf häufige Fragen; Vergleich eines nativen Modells mit einer fein abgestimmten Version. Beurteilung durch 2 orthopädische Chirurgen mit DISCERN, FRES und FKGL; ICC in einem Two-way mixed-effects model.
Ergebnisse
Die fein abgestimmte ACI Guide schnitt bei allen Parametern besser ab. DISCERN: 43,18 ± 3,92 vs. 35,29 ± 5,0; p < 0,001. FKGL: 9,25 ± 1,64 vs. 13,45 ± 1,30. FRES: 49,59 ± 10,44 vs. 35,68 ± 5,08; ICC = 0,767.
Einschränkungen
Nur KI-generierte Antworten wurden bewertet; keine Patient:innen oder klinischen Outcomes.
Schlussfolgerung der Autor:innen
Die Antworten von ChatGPT-4o waren von schlechter Qualität und zu schwer lesbar für Patientenmaterial. Die Feinabstimmung verbesserte Qualität und Lesbarkeit und könnte die ärztliche Aufklärung ergänzen.
Kernaussagen
- Fine-tuning verbesserte DISCERN, FRES und FKGL gegenüber dem nativen Modell.
- Das native Modell lag über empfohlenen Lesbarkeitsgrenzen für Patient:innenmaterial.
- ICC = 0,767 zeigte eine gute Übereinstimmung zwischen den Bewertern.
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Journal of Experimental Orthopaedics, online erschienen am 27.09.2025. Verfasst von Maha Alsadaan und 6 weiteren Autor:innen. Beteiligte Einrichtung: Charité Universitätsmedizin Berlin, Centrum für Muskuloskeletale Chirurgie Berlin Germany. Die Arbeit wurde bisher 5-mal zitiert (Crossref) und nennt 29 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).
Themen: Selbstmanagement bei chronischen Erkrankungen, Künstliche Intelligenz in der Pflege
Abstract (Originalsprache)
Purpose
Autologous chondrocyte implantation (ACI) is a complex procedure for cartilage defects, requiring patient understanding of treatment and recovery, as health literacy impacts outcomes. This study evaluated the quality and readability of AI‐generated ACI materials using ChatGPT‐4o as adjuncts to physician‐led education. We compared responses from the native model and a fine‐tuned version and hypothesised that the fine‐tuned model would provide improved quality and readability.
Methods
Twenty‐two frequently asked questions were identified using Google's ‘People Also Asked’ feature. Two ChatGPT‐4o configurations were evaluated: the native model and a fine‐tuned version (ACI guide) optimised by instruction‐based fine‐tuning and reinforcement learning from human feedback. Two orthopaedic surgeons independently scored the responses. Quality was assessed using the DISCERN criteria and readability by the Flesch Reading Ease Score (FRES) and Flesch‐Kincaid Grade Level (FKGL). Interrater reliability was determined using intraclass correlation coefficient (ICC) in a two‐way mixed‐effects model.
Results
The fine‐tuned ACI Guide outperformed the native ChatGPT‐4o on all parameters. The native model produced poor‐quality responses with a mean DISCERN score of 35.29 ± 5.0 (range: 23–45), while the ACI Guide achieved a significantly higher score of 43.18 ± 3.92 (range: 34–53; p < 0.001), reflecting moderate quality. Regarding readability, the native model reached FKGL of 13.45 ± 1.30 (university sophomore level) . In contrast, the ACI Guide achieved FKGL of 9.25 ± 1.64 (9th‐grade level). The FRES was also significantly higher for the ACI Guide (49.59 ± 10.44) than the native model (35.68 ± 5.08; p < 0.001). Interrater reliability was strong (ICC = 0.767), indicating good agreement.
Conclusions
ChatGPT‐4o's responses were of poor quality and written at a readability level substantially exceeding recommended thresholds for patient education materials, limiting their applicability in clinical communication and patient education. Fine‐tuning ChatGPT‐4o improved the readability and quality of ACI patient education materials, generating content closer to the 8th–9th‐grade level. It may serve as a useful adjunct to physician‐led education in enhancing patient understanding of complex orthopaedic procedures. Level of Evidence Level V.
Schlagwörter
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Charité Universitätsmedizin Berlin, Centrum für Muskuloskeletale Chirurgie Berlin Germany.
- Berlin Institute of Health at Charité Universitätsmedizin Berlin, Center for Regenerative Therapies Berlin Germany.
- Berlin Institute of Health at Charité Universitätsmedizin Berlin, Julius-Wolff-Institute Berlin Germany.
ORCID-Profile: Maha Alsadaan, Stephen Fahy, Danko Dan Milinkovic, Tobias Winkler, Tobias Jung, Stephan Oehme
Zitieren
APA
Alsadaan, M., Fahy, S., Dan Milinkovic, D., Bartek, B., Winkler, T., Jung, T., & Oehme, S. (2025). Refining patient education on autologous chondrocyte implantation for chondral lesions of the knee: A fine‐tuned ChatGPT‐4o model improves readability and quality. Journal of Experimental Orthopaedics, 12(4). https://doi.org/10.1002/jeo2.70445
Vancouver
Alsadaan M, Fahy S, Dan Milinkovic D, Bartek B, Winkler T, Jung T, et al. Refining patient education on autologous chondrocyte implantation for chondral lesions of the knee: A fine‐tuned ChatGPT‐4o model improves readability and quality. Journal of Experimental Orthopaedics. 2025;12(4). doi:10.1002/jeo2.70445
BibTeX
@article{Alsadaan2025,
author = {Alsadaan, Maha and Fahy, Stephen and Dan Milinkovic, Danko and Bartek, Benjamin and Winkler, Tobias and Jung, Tobias and Oehme, Stephan},
title = {Refining patient education on autologous chondrocyte implantation for chondral lesions of the knee: A fine‐tuned ChatGPT‐4o model improves readability and quality},
journal = {Journal of Experimental Orthopaedics},
year = {2025},
volume = {12},
number = {4},
doi = {10.1002/jeo2.70445}
}
EUVIMED