EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

Refining patient education on autologous chondrocyte implantation for chondral lesions of the knee: A fine‐tuned ChatGPT‐4o model improves readability and quality

Optimierung der Patient:innenaufklärung zur autologen Chondrozytenimplantation bei chondralen Läsionen des Knies: Ein fein abgestimmtes ChatGPT-4o-Modell verbessert Lesbarkeit und Qualität

Maha Alsadaan iD, Stephen Fahy iD, Danko Dan Milinkovic iD, Benjamin Bartek, Tobias Winkler iD, Tobias Jung iD, Stephan Oehme iD

Journal of Experimental Orthopaedics · 2025-10 · 12 (4)

DOI: 10.1002/jeo2.70445 ↗

Auf einen Blick

Eine Studie verglich native und fein abgestimmte ChatGPT-4o-Antworten zur ACI-Aufklärung. Die fein abgestimmte Version erzielte bessere Qualitäts- und Lesbarkeitswerte.

Fragestellung

Verbessert ein fein abgestimmtes ChatGPT-4o-Modell Qualität und Lesbarkeit von ACI-Patientenmaterial im Vergleich zum nativen Modell?

Methode

Bewertung von ChatGPT-4o-Antworten auf häufige Fragen; Vergleich eines nativen Modells mit einer fein abgestimmten Version. Beurteilung durch 2 orthopädische Chirurgen mit DISCERN, FRES und FKGL; ICC in einem Two-way mixed-effects model.

Ergebnisse

Die fein abgestimmte ACI Guide schnitt bei allen Parametern besser ab. DISCERN: 43,18 ± 3,92 vs. 35,29 ± 5,0; p < 0,001. FKGL: 9,25 ± 1,64 vs. 13,45 ± 1,30. FRES: 49,59 ± 10,44 vs. 35,68 ± 5,08; ICC = 0,767.

Einschränkungen

Nur KI-generierte Antworten wurden bewertet; keine Patient:innen oder klinischen Outcomes.

Schlussfolgerung der Autor:innen

Die Antworten von ChatGPT-4o waren von schlechter Qualität und zu schwer lesbar für Patientenmaterial. Die Feinabstimmung verbesserte Qualität und Lesbarkeit und könnte die ärztliche Aufklärung ergänzen.

Kernaussagen

  • Fine-tuning verbesserte DISCERN, FRES und FKGL gegenüber dem nativen Modell.
  • Das native Modell lag über empfohlenen Lesbarkeitsgrenzen für Patient:innenmaterial.
  • ICC = 0,767 zeigte eine gute Übereinstimmung zwischen den Bewertern.

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Journal of Experimental Orthopaedics, online erschienen am 27.09.2025. Verfasst von Maha Alsadaan und 6 weiteren Autor:innen. Beteiligte Einrichtung: Charité Universitätsmedizin Berlin, Centrum für Muskuloskeletale Chirurgie Berlin Germany. Die Arbeit wurde bisher 5-mal zitiert (Crossref) und nennt 29 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Purpose

Autologous chondrocyte implantation (ACI) is a complex procedure for cartilage defects, requiring patient understanding of treatment and recovery, as health literacy impacts outcomes. This study evaluated the quality and readability of AI‐generated ACI materials using ChatGPT‐4o as adjuncts to physician‐led education. We compared responses from the native model and a fine‐tuned version and hypothesised that the fine‐tuned model would provide improved quality and readability.

Methods

Twenty‐two frequently asked questions were identified using Google's ‘People Also Asked’ feature. Two ChatGPT‐4o configurations were evaluated: the native model and a fine‐tuned version (ACI guide) optimised by instruction‐based fine‐tuning and reinforcement learning from human feedback. Two orthopaedic surgeons independently scored the responses. Quality was assessed using the DISCERN criteria and readability by the Flesch Reading Ease Score (FRES) and Flesch‐Kincaid Grade Level (FKGL). Interrater reliability was determined using intraclass correlation coefficient (ICC) in a two‐way mixed‐effects model.

Results

The fine‐tuned ACI Guide outperformed the native ChatGPT‐4o on all parameters. The native model produced poor‐quality responses with a mean DISCERN score of 35.29 ± 5.0 (range: 23–45), while the ACI Guide achieved a significantly higher score of 43.18 ± 3.92 (range: 34–53; p < 0.001), reflecting moderate quality. Regarding readability, the native model reached FKGL of 13.45 ± 1.30 (university sophomore level) . In contrast, the ACI Guide achieved FKGL of 9.25 ± 1.64 (9th‐grade level). The FRES was also significantly higher for the ACI Guide (49.59 ± 10.44) than the native model (35.68 ± 5.08; p < 0.001). Interrater reliability was strong (ICC = 0.767), indicating good agreement.

Conclusions

ChatGPT‐4o's responses were of poor quality and written at a readability level substantially exceeding recommended thresholds for patient education materials, limiting their applicability in clinical communication and patient education. Fine‐tuning ChatGPT‐4o improved the readability and quality of ACI patient education materials, generating content closer to the 8th–9th‐grade level. It may serve as a useful adjunct to physician‐led education in enhancing patient understanding of complex orthopaedic procedures. Level of Evidence Level V.

Schlagwörter

Stichwörter der Autor:innen

ChatGPTDISCERN criteriaLLMautologous chondrocyte implantationreadability

Autor:innen und Institutionen

  • Charité Universitätsmedizin Berlin, Centrum für Muskuloskeletale Chirurgie Berlin Germany.
  • Berlin Institute of Health at Charité Universitätsmedizin Berlin, Center for Regenerative Therapies Berlin Germany.
  • Berlin Institute of Health at Charité Universitätsmedizin Berlin, Julius-Wolff-Institute Berlin Germany.

ORCID-Profile: Maha Alsadaan, Stephen Fahy, Danko Dan Milinkovic, Tobias Winkler, Tobias Jung, Stephan Oehme

Zitieren

APA

Alsadaan, M., Fahy, S., Dan Milinkovic, D., Bartek, B., Winkler, T., Jung, T., & Oehme, S. (2025). Refining patient education on autologous chondrocyte implantation for chondral lesions of the knee: A fine‐tuned ChatGPT‐4o model improves readability and quality. Journal of Experimental Orthopaedics, 12(4). https://doi.org/10.1002/jeo2.70445

Vancouver

Alsadaan M, Fahy S, Dan Milinkovic D, Bartek B, Winkler T, Jung T, et al. Refining patient education on autologous chondrocyte implantation for chondral lesions of the knee: A fine‐tuned ChatGPT‐4o model improves readability and quality. Journal of Experimental Orthopaedics. 2025;12(4). doi:10.1002/jeo2.70445

BibTeX
@article{Alsadaan2025,
  author = {Alsadaan, Maha and Fahy, Stephen and Dan Milinkovic, Danko and Bartek, Benjamin and Winkler, Tobias and Jung, Tobias and Oehme, Stephan},
  title = {Refining patient education on autologous chondrocyte implantation for chondral lesions of the knee: A fine‐tuned ChatGPT‐4o model improves readability and quality},
  journal = {Journal of Experimental Orthopaedics},
  year = {2025},
  volume = {12},
  number = {4},
  doi = {10.1002/jeo2.70445}
}
Kostenlos starten →