EUVIMEDEUVIMED entdecken
VergleichsstudieOpen Access · CC BY 4.0

Four general‐purpose large language models (ChatGPT‐5, Claude 4, Grok 4 and Gemini 2.5) show comparable performance in specialised total knee arthroplasty clinical questions

Vier allgemeine Large Language Models (ChatGPT-5, Claude 4, Grok 4 und Gemini 2.5) zeigen vergleichbare Leistung bei spezialisierten klinischen Fragen zur totalen Kniearthroplastik

Oriol Pujol iD, Robert Ferrer, Alex Coelho, Felix C Oettl, Balint Zsidai, Joan Leal-Blanquet, Michael T Hirschmann, Kristian Samuelsson iD

Knee Surgery, Sports Traumatology, Arthroscopy · 2026-11 · 34 (11) · 4210-4218

DOI: 10.1002/ksa.70544 ↗

Auf einen Blick

Vier allgemeine LLMs beantworteten spezialisierte TKA-Fragen mit insgesamt guter Leistung. Die Gesamtwerte unterschieden sich statistisch, ohne klaren Sieger über alle Bereiche.

Fragestellung

Wie schneiden vier allgemeine LLMs bei spezialisierten klinischen Fragen zur totalen Kniearthroplastik ab?

Methode

Querschnittliche Vergleichsstudie; 20 TKA-Fragen aus WEMA; 3 orthopädische Chirurgen beurteilten die Antworten verblindet mit einer adaptierten QUEST-Skala.

Ergebnisse

Gemini 2.5 erreichte den höchsten Gesamt-QUEST-Score (4,77 ± 0,06), gefolgt von Claude 4 (4,72 ± 0,07), ChatGPT-5 (4,70 ± 0,08) und Grok 4 (4,62 ± 0,09; p < 0,001). Claude 4 wurde subjektiv am häufigsten gewählt (46,7 %).

Schlussfolgerung der Autor:innen

Vier allgemeine LLMs zeigten insgesamt gute Leistungen bei spezialisierten TKA-Fragen. Kein Modell war in allen bewerteten Bereichen durchgehend überlegen.

Kernaussagen

  • Gesamtleistung der vier LLMs war gut
  • Gemini 2.5 hatte den höchsten QUEST-Gesamtwert
  • Claude 4 wurde subjektiv am häufigsten gewählt

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Vergleichsstudie in der Zeitschrift Knee Surgery, Sports Traumatology, Arthroscopy, online erschienen am 23.07.2026. Verfasst von Oriol Pujol und 7 weiteren Autor:innen. Beteiligte Einrichtung: Knee Surgery Unit, Orthopaedic Surgery Department, Vall d'Hebron University Hospital, Universitat Autònoma de Barcelona (Departament de Cirurgia), Ba…. Hauptthemen laut MEDLINE: Large Language Models, Arthroplasty, Replacement, Knee. Die Arbeit wurde bisher 3-mal zitiert (Crossref) und nennt 30 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Purpose

To evaluate and compare the performance of four general‐purpose large language models (LLMs) (ChatGPT‐5, Claude 4, Grok 4 and Gemini 2.5) in answering specialised clinical questions related to total knee arthroplasty (TKA) derived from the World Expert Meeting in Arthroplasty (WEMA) .

Methods

This is a cross‐sectional comparative study. Twenty questions on TKA supported by moderate–strong level of evidence were randomly selected from the WEMA . Three orthopaedic surgeons independently performed a blinded assessment of all LLM‐generated responses. An adapted version of the QUEST rating system, a comprehensive framework designed for the objective human assessment of LLM performance across healthcare‐related subdomains, was used. Furthermore, the same three evaluators subjectively selected the best‐performing LLM response for each question.

Results

The four LLMs presented statistically significant differences in overall performance based on the QUEST framework (score range 1–5): Gemini 2.5; 4.77 ± 0.06, Claude 4; 4.72 ± 0.07, ChatGPT‐5; 4.70 ± 0.08 and GROK 4; 4.62 ± 0.09 ( p < 0.001). Gemini 2.5 achieved the highest scores in the Accuracy (4.58 ± 0.70), Comprehensiveness (4.87 ± 0.34) and Trust (4.52 ± 0.62) dimensions. However, Claude 4 obtained the highest score for the Currency (4.23 ± 0.67) dimension. When assessors subjectively selected the superior answer for each question, Claude 4 was chosen most frequently, in 46.7% of cases, followed by ChatGPT‐5 in 25.4%, Gemini 2.5 in 22.9% and GROK 4 in 7.5% of cases.

Conclusions

Four general‐purpose LLMs (ChatGPT‐5, Claude 4, Grok 4 and Gemini 2.5) demonstrated good overall performance when addressing specialised clinical questions related to TKA. No single model consistently outperformed the others across all evaluated domains. Level of Evidence Level V.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Large Language ModelsArthroplasty, Replacement, KneeHumansCross-Sectional StudiesSurveys and QuestionnairesGenerative Artificial Intelligence

Stichwörter der Autor:innen

artificial intelligencelarge language modeltotal knee arthroplasty

Autor:innen und Institutionen

  • Knee Surgery Unit, Orthopaedic Surgery Department, Vall d'Hebron University Hospital, Universitat Autònoma de Barcelona (Departament de Cirurgia), Barcelona, Spain.
  • Knee Surgery Unit, iMove Traumatology, Barcelona, Spain.
  • Knee Surgery Unit, Orthopaedic Surgery Department, Fundació Hospitalàries Hospital, Barcelona, Spain.
  • Knee Unit, Department of Orthopedic Surgery and Traumatology, Parc Taulí Hospital Universitari, Institut d'Investigació I Innovació Parc Tauli (I3PT, CERCA), Universitat Autònoma de Barcelona, Sabadell, Spain.
  • Orthopaedic Surgery Department, Balgrist University Hospital, University of Zürich, Zurich, Switzerland.
  • Sahlgrenska Sports Medicine Center, Gothenburg, Sweden.

ORCID-Profile: Oriol Pujol, Kristian Samuelsson

Zitieren

APA

Pujol, O., Ferrer, R., Coelho, A., Oettl, F. C., Zsidai, B., Leal-Blanquet, J., Hirschmann, M. T., & Samuelsson, K. (2026). Four general‐purpose large language models (ChatGPT‐5, Claude 4, Grok 4 and Gemini 2.5) show comparable performance in specialised total knee arthroplasty clinical questions. Knee Surgery, Sports Traumatology, Arthroscopy, 34(11), 4210-4218. https://doi.org/10.1002/ksa.70544

Vancouver

Pujol O, Ferrer R, Coelho A, Oettl FC, Zsidai B, Leal-Blanquet J, et al. Four general‐purpose large language models (ChatGPT‐5, Claude 4, Grok 4 and Gemini 2.5) show comparable performance in specialised total knee arthroplasty clinical questions. Knee Surgery, Sports Traumatology, Arthroscopy. 2026;34(11):4210-4218. doi:10.1002/ksa.70544

BibTeX
@article{Pujol2026,
  author = {Pujol, Oriol and Ferrer, Robert and Coelho, Alex and Oettl, Felix C and Zsidai, Balint and Leal-Blanquet, Joan and Hirschmann, Michael T and Samuelsson, Kristian},
  title = {Four general‐purpose large language models (ChatGPT‐5, Claude 4, Grok 4 and Gemini 2.5) show comparable performance in specialised total knee arthroplasty clinical questions},
  journal = {Knee Surgery, Sports Traumatology, Arthroscopy},
  year = {2026},
  volume = {34},
  number = {11},
  pages = {4210--4218},
  doi = {10.1002/ksa.70544}
}
Kostenlos starten →