EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

Feasibility and Concordance of a Large Language Model (ChatGPT-5) as a Clinical Decision Support Tool in Gynecologic Oncology Tumor Boards: A Blinded, Multi-Observer Study

Machbarkeit und Übereinstimmung eines Large Language Model (ChatGPT-5) als klinisches Entscheidungsunterstützungstool in Tumorboards der gynäkologischen Onkologie: eine verblindete Multibeobachter-Studie

Hatice Asoglu iD, Sevgul Kose, Oguzhan Kayim, Ali Abaci, Ghanim Khatib iD, Mehmet Ali Vardar, Emine Kilic Bagir iD, Derya Gumurdulu iD, Mehmet Mutlu Kidi iD, Ertugrul Bayram iD, Tolga Koseci, Berksoy Sahin und 1 weitere

Journal of Clinical Medicine · 09.06.2026 · 15 (12) · 4451

DOI: 10.3390/jcm15124451 ↗

Auf einen Blick

Bei 242 Fällen gynäkologischer Krebserkrankungen zeigte ChatGPT-5 nur eine geringe bis mäßige Übereinstimmung mit MDT-Entscheidungen. Die Gesamtleistung war geringer als die des Tumorboards.

Fragestellung

Wie gut stimmt ChatGPT-5 in Tumorboard-Fällen der gynäkologischen Onkologie mit den Entscheidungen des multidisziplinären Tumorboards überein?

Methode

Verblindete Multibeobachter-Studie mit 242 Fällen aus einem gynäkologischen Onkologie-MDT; jede Fallvorstellung wurde 3-mal an einem Tag in unabhängigen Chats abgefragt und mit einer 5-Punkte-Likert-Skala bewertet.

Ergebnisse

Interrater-Reliabilität: κ = 0,761 für MDT und κ = 0,814 für AI. MDT–AI-Übereinstimmung fair: κ = 0,258 bzw. κ = 0,334. CPS höher für MDT als AI (93,8 % ± 5,2 vs. 89,4 % ± 6,7; 93,4 % ± 5,5 vs. 89,7 % ± 6,4; jeweils p < 0,001).

Einschränkungen

Nur 37,2 % der Fälle waren über 3 Abfragen vollständig konsistent; schwächere Leistung bei fortgeschrittener Erkrankung, genetischem Testen, Fertilitätserhalt und neuen Therapien.

Schlussfolgerung der Autor:innen

ChatGPT-5 zeigt Potenzial als klinisches Entscheidungsunterstützungstool, ist für den eigenständigen Einsatz aber nicht ausreichend zuverlässig; menschliche Expertise bleibt unverzichtbar.

Kernaussagen

  • Nur faire Übereinstimmung zwischen MDT und AI
  • CPS war bei MDT höher als bei ChatGPT-5
  • In 62,8 % der Fälle zeigte sich Inkonsistenz

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Journal of Clinical Medicine, online erschienen am 09.06.2026. Verfasst von Hatice Asoglu und 12 weiteren Autor:innen. Beteiligte Einrichtung: Department of Medical Oncology, Cukurova University Faculty of Medicine, 01330 Adana, Turkey. Die Arbeit wurde bisher 2-mal zitiert (Crossref) und nennt 36 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Background

The reliability of large language models (LLMs) in complex oncologic decision-making remains inadequately validated. This study evaluated the concordance of ChatGPT-5 with multidisciplinary tumor board (MDT) decisions in gynecologic oncology, assessing accuracy, reproducibility, and domains of discordance.

Methods

We analyzed 242 gynecologic cancer cases (endometrial n = 102, ovarian n = 85, cervical n = 40, rare n = 15) discussed at the Çukurova University Gynecologic Oncology MDT (2024–2025). Standardized clinical summaries were input into ChatGPT-5 using a structured prompt template. Each case was queried three times within a single calendar day using independent conversations. Recommendations were evaluated by two blinded medical oncologists using a 5-point Likert scale. A composite performance score (CPS) was calculated as (mean Likert/5) × 100. Concordance was analyzed using Cohen’s kappa (κ).

Results

Inter-rater reliability was substantial to almost perfect for both MDT (κ = 0.761) and AI (κ = 0.814) evaluations (both p < 0.001). MDT–AI concordance was fair (Rater 1: κ = 0.258; Rater 2: κ = 0.334). CPS were significantly higher for MDT versus AI (Rater 1: 93.8% ± 5.2 vs. 89.4% ± 6.7; Rater 2: 93.4% ± 5.5 vs. 89.7% ± 6.4; both p < 0.001). Full consistency across three queries was achieved in only 37.2% of cases (90/242). AI performance was significantly inferior in advanced-stage disease (p = 0.008), genetic testing (p = 0.006), fertility-sparing (p = 0.018), and novel therapeutics (p = 0.003).

Conclusions

ChatGPT-5 demonstrates potential as a clinical decision support tool but lacks sufficient reliability for independent use. Key limitations include inconsistency in 62.8% of cases, suboptimal performance in advanced-stage disease, and deficiencies in precision oncology domains. These findings suggest that human expertise remains indispensable for the individualized management of complex gynecologic malignancies.

Schlagwörter

Stichwörter der Autor:innen

ChatGPT-5artificial intelligenceclinical decision supportgynecologic oncologylarge language modelreproducibilitytumor board

Autor:innen und Institutionen

  • Department of Medical Oncology, Cukurova University Faculty of Medicine, 01330 Adana, Turkey.
  • Department of Radiology, Cukurova University Faculty of Medicine, 01330 Adana, Turkey.
  • Department of Gynecologic Oncology, Cukurova University Faculty of Medicine, 01330 Adana, Turkey.
  • Department of Pathology, Cukurova University Faculty of Medicine, 01330 Adana, Turkey.

ORCID-Profile: Hatice Asoglu, Ghanim Khatib, Emine Kilic Bagir, Derya Gumurdulu, Mehmet Mutlu Kidi, Ertugrul Bayram

Zitieren

APA

Asoglu, H., Kose, S., Kayim, O., Abaci, A., Khatib, G., Vardar, M. A., Kilic Bagir, E., Gumurdulu, D., Kidi, M. M., Bayram, E., Koseci, T., Sahin, B., & Kara, I. O. (2026). Feasibility and Concordance of a Large Language Model (ChatGPT-5) as a Clinical Decision Support Tool in Gynecologic Oncology Tumor Boards: A Blinded, Multi-Observer Study. Journal of Clinical Medicine, 15(12), 4451. https://doi.org/10.3390/jcm15124451

Vancouver

Asoglu H, Kose S, Kayim O, Abaci A, Khatib G, Vardar MA, et al. Feasibility and Concordance of a Large Language Model (ChatGPT-5) as a Clinical Decision Support Tool in Gynecologic Oncology Tumor Boards: A Blinded, Multi-Observer Study. Journal of Clinical Medicine. 2026;15(12):4451. doi:10.3390/jcm15124451

BibTeX
@article{Asoglu2026,
  author = {Asoglu, Hatice and Kose, Sevgul and Kayim, Oguzhan and Abaci, Ali and Khatib, Ghanim and Vardar, Mehmet Ali and Kilic Bagir, Emine and Gumurdulu, Derya and Kidi, Mehmet Mutlu and Bayram, Ertugrul and Koseci, Tolga and Sahin, Berksoy and Kara, Ismail Oguz},
  title = {Feasibility and Concordance of a Large Language Model (ChatGPT-5) as a Clinical Decision Support Tool in Gynecologic Oncology Tumor Boards: A Blinded, Multi-Observer Study},
  journal = {Journal of Clinical Medicine},
  year = {2026},
  volume = {15},
  number = {12},
  pages = {4451},
  doi = {10.3390/jcm15124451}
}
Kostenlos starten →