Feasibility and Concordance of a Large Language Model (ChatGPT-5) as a Clinical Decision Support Tool in Gynecologic Oncology Tumor Boards: A Blinded, Multi-Observer Study
Machbarkeit und Übereinstimmung eines Large Language Model (ChatGPT-5) als klinisches Entscheidungsunterstützungstool in Tumorboards der gynäkologischen Onkologie: eine verblindete Multibeobachter-Studie
Journal of Clinical Medicine · 09.06.2026 · 15 (12) · 4451
DOI: 10.3390/jcm15124451 ↗Auf einen Blick
Bei 242 Fällen gynäkologischer Krebserkrankungen zeigte ChatGPT-5 nur eine geringe bis mäßige Übereinstimmung mit MDT-Entscheidungen. Die Gesamtleistung war geringer als die des Tumorboards.
Fragestellung
Wie gut stimmt ChatGPT-5 in Tumorboard-Fällen der gynäkologischen Onkologie mit den Entscheidungen des multidisziplinären Tumorboards überein?
Methode
Verblindete Multibeobachter-Studie mit 242 Fällen aus einem gynäkologischen Onkologie-MDT; jede Fallvorstellung wurde 3-mal an einem Tag in unabhängigen Chats abgefragt und mit einer 5-Punkte-Likert-Skala bewertet.
Ergebnisse
Interrater-Reliabilität: κ = 0,761 für MDT und κ = 0,814 für AI. MDT–AI-Übereinstimmung fair: κ = 0,258 bzw. κ = 0,334. CPS höher für MDT als AI (93,8 % ± 5,2 vs. 89,4 % ± 6,7; 93,4 % ± 5,5 vs. 89,7 % ± 6,4; jeweils p < 0,001).
Einschränkungen
Nur 37,2 % der Fälle waren über 3 Abfragen vollständig konsistent; schwächere Leistung bei fortgeschrittener Erkrankung, genetischem Testen, Fertilitätserhalt und neuen Therapien.
Schlussfolgerung der Autor:innen
ChatGPT-5 zeigt Potenzial als klinisches Entscheidungsunterstützungstool, ist für den eigenständigen Einsatz aber nicht ausreichend zuverlässig; menschliche Expertise bleibt unverzichtbar.
Kernaussagen
- Nur faire Übereinstimmung zwischen MDT und AI
- CPS war bei MDT höher als bei ChatGPT-5
- In 62,8 % der Fälle zeigte sich Inkonsistenz
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Journal of Clinical Medicine, online erschienen am 09.06.2026. Verfasst von Hatice Asoglu und 12 weiteren Autor:innen. Beteiligte Einrichtung: Department of Medical Oncology, Cukurova University Faculty of Medicine, 01330 Adana, Turkey. Die Arbeit wurde bisher 2-mal zitiert (Crossref) und nennt 36 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).
Abstract (Originalsprache)
Background
The reliability of large language models (LLMs) in complex oncologic decision-making remains inadequately validated. This study evaluated the concordance of ChatGPT-5 with multidisciplinary tumor board (MDT) decisions in gynecologic oncology, assessing accuracy, reproducibility, and domains of discordance.
Methods
We analyzed 242 gynecologic cancer cases (endometrial n = 102, ovarian n = 85, cervical n = 40, rare n = 15) discussed at the Çukurova University Gynecologic Oncology MDT (2024–2025). Standardized clinical summaries were input into ChatGPT-5 using a structured prompt template. Each case was queried three times within a single calendar day using independent conversations. Recommendations were evaluated by two blinded medical oncologists using a 5-point Likert scale. A composite performance score (CPS) was calculated as (mean Likert/5) × 100. Concordance was analyzed using Cohen’s kappa (κ).
Results
Inter-rater reliability was substantial to almost perfect for both MDT (κ = 0.761) and AI (κ = 0.814) evaluations (both p < 0.001). MDT–AI concordance was fair (Rater 1: κ = 0.258; Rater 2: κ = 0.334). CPS were significantly higher for MDT versus AI (Rater 1: 93.8% ± 5.2 vs. 89.4% ± 6.7; Rater 2: 93.4% ± 5.5 vs. 89.7% ± 6.4; both p < 0.001). Full consistency across three queries was achieved in only 37.2% of cases (90/242). AI performance was significantly inferior in advanced-stage disease (p = 0.008), genetic testing (p = 0.006), fertility-sparing (p = 0.018), and novel therapeutics (p = 0.003).
Conclusions
ChatGPT-5 demonstrates potential as a clinical decision support tool but lacks sufficient reliability for independent use. Key limitations include inconsistency in 62.8% of cases, suboptimal performance in advanced-stage disease, and deficiencies in precision oncology domains. These findings suggest that human expertise remains indispensable for the individualized management of complex gynecologic malignancies.
Schlagwörter
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Department of Medical Oncology, Cukurova University Faculty of Medicine, 01330 Adana, Turkey.
- Department of Radiology, Cukurova University Faculty of Medicine, 01330 Adana, Turkey.
- Department of Gynecologic Oncology, Cukurova University Faculty of Medicine, 01330 Adana, Turkey.
- Department of Pathology, Cukurova University Faculty of Medicine, 01330 Adana, Turkey.
ORCID-Profile: Hatice Asoglu, Ghanim Khatib, Emine Kilic Bagir, Derya Gumurdulu, Mehmet Mutlu Kidi, Ertugrul Bayram
Zitieren
APA
Asoglu, H., Kose, S., Kayim, O., Abaci, A., Khatib, G., Vardar, M. A., Kilic Bagir, E., Gumurdulu, D., Kidi, M. M., Bayram, E., Koseci, T., Sahin, B., & Kara, I. O. (2026). Feasibility and Concordance of a Large Language Model (ChatGPT-5) as a Clinical Decision Support Tool in Gynecologic Oncology Tumor Boards: A Blinded, Multi-Observer Study. Journal of Clinical Medicine, 15(12), 4451. https://doi.org/10.3390/jcm15124451
Vancouver
Asoglu H, Kose S, Kayim O, Abaci A, Khatib G, Vardar MA, et al. Feasibility and Concordance of a Large Language Model (ChatGPT-5) as a Clinical Decision Support Tool in Gynecologic Oncology Tumor Boards: A Blinded, Multi-Observer Study. Journal of Clinical Medicine. 2026;15(12):4451. doi:10.3390/jcm15124451
BibTeX
@article{Asoglu2026,
author = {Asoglu, Hatice and Kose, Sevgul and Kayim, Oguzhan and Abaci, Ali and Khatib, Ghanim and Vardar, Mehmet Ali and Kilic Bagir, Emine and Gumurdulu, Derya and Kidi, Mehmet Mutlu and Bayram, Ertugrul and Koseci, Tolga and Sahin, Berksoy and Kara, Ismail Oguz},
title = {Feasibility and Concordance of a Large Language Model (ChatGPT-5) as a Clinical Decision Support Tool in Gynecologic Oncology Tumor Boards: A Blinded, Multi-Observer Study},
journal = {Journal of Clinical Medicine},
year = {2026},
volume = {15},
number = {12},
pages = {4451},
doi = {10.3390/jcm15124451}
}
EUVIMED