Benchmarking Clinical Safety and Diagnostic Accuracy of Large Language Models in Otorhinolaryngology Emergencies: A Cross-Lingual Comparison of ChatGPT 5.2 and Gemini 3 Pro
Benchmarking der klinischen Sicherheit und diagnostischen Genauigkeit großer Sprachmodelle in HNO-Notfällen: ein sprachübergreifender Vergleich von ChatGPT 5.2 und Gemini 3 Pro
Ear, Nose & Throat Journal · 10.11.2026
DOI: 10.1177/01455613261506845 ↗Auf einen Blick
In 30 simulierten HNO-Fällen zeigten ChatGPT 5.2 und Gemini 3 Pro hohe Diagnose- und Triagegenauigkeit in Türkisch und Englisch. Zwischen den Modellen fanden sich keine signifikanten Unterschiede.
Fragestellung
Wie sicher und diagnostisch genau bewerten ChatGPT 5.2 und Gemini 3 Pro simulierte HNO-Notfälle in Türkisch und Englisch?
Methode
Explorative Vergleichsstudie mit 30 standardisierten klinischen Szenarien; Referenz waren Expertenkonsens und Goldstandard-Diagnose. Bewertung von Triagegenauigkeit, klinischer Sicherheit und Notfallerkennung.
Ergebnisse
Alle 120 Primärdiagnosen wurden von zwei HNO-Spezialisten bestätigt. Korrekte Triage bei 55/60 Antworten für ChatGPT 5.2 und 58/60 für Gemini 3 Pro; Übereinstimmung mit Expertenentscheidungen fast perfekt (κ = 0,813–0,938).
Einschränkungen
30 simulierte Szenarien; keine Unterschiede in den gepaarten Vergleichen statistisch signifikant; keine Nachweise für Äquivalenz zwischen Modellen oder Sprachen.
Schlussfolgerung der Autor:innen
Beide Modelle zeigten in einer begrenzten Zahl simulierter HNO-Szenarien hohe diagnostische und Triagegenauigkeit. Die Befunde sprechen für weitere Untersuchungen als mögliche klinische Entscheidungsunterstützung.
Kernaussagen
- 55/60 korrekte Triageantworten für ChatGPT 5.2
- 58/60 korrekte Triageantworten für Gemini 3 Pro
- Gemini 3 Pro erkannte alle 18 Notfallszenarien in beiden Sprachen
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Ear, Nose & Throat Journal, online erschienen am 10.11.2026. Verfasst von Omer Faruk Gokgun und 1 weiteren Autor:innen. Beteiligte Einrichtung: Department of Otorhinolaryngology, Head and Neck Surgery, Bursa Cekirge State Hospital, Bursa, Türkiye. Die Arbeit nennt 19 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).
Abstract (Originalsprache)
Background
While the clinical potential of Large Language Models (LLMs) is increasingly recognised, their safety in morphologically rich languages remains debated. This exploratory study comparatively examines the ability of two recent artificial intelligence models, ChatGPT 5.2 and Gemini 3 Pro, to evaluate simulated otorhinolaryngology (ENT) cases across urgent, priority, and elective triage categories in Turkish and English.
Methods
The study was designed around 30 standardised clinical scenarios covering frequent ENT pathologies. Gold standard diagnosis and disease management decisions were determined by expert consensus. Model performance was evaluated in terms of three-category triage accuracy, clinical safety scores, and emergency-detection performance, using expert consensus decisions as the reference standard. Cohen’s Kappa, Wilcoxon Signed Ranks, and McNemar tests were applied to measure inter-model and inter-language agreement.
Results
All 120 model-generated primary diagnoses were confirmed as correct by the two ENT specialists. Correct triage classifications were obtained in 55/60 (91.7%) responses for ChatGPT 5.2 and 58/60 (96.7%) responses for Gemini 3 Pro. Agreement with expert-defined triage decisions was almost perfect (κ = 0.813–0.938). No statistically significant differences in the evaluated paired comparisons of triage accuracy or clinical safety scores were detected (all p > 0.05). Gemini 3 Pro correctly identified all 18 emergency scenarios in both language conditions.
Conclusions
Both models demonstrated high observed diagnostic and triage accuracy in a limited set of simulated ENT scenarios spanning different acuity levels. Although no statistically significant differences were detected in the evaluated comparisons, these findings do not establish equivalence between models or languages. These encouraging findings, particularly the high performance observed in Turkish, support further investigation of large language models as potential adjunctive clinical decision-support tools, while larger and more diverse clinical studies remain necessary before routine clinical implementation.
Schlagwörter
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Department of Otorhinolaryngology, Head and Neck Surgery, Bursa Cekirge State Hospital, Bursa, Türkiye.
ORCID-Profile: Omer Faruk Gokgun, Bahar Ezgi Ucurum Kantarci
Zitieren
APA
Gokgun, O. F., & Ucurum Kantarci, B. E. (2026). Benchmarking Clinical Safety and Diagnostic Accuracy of Large Language Models in Otorhinolaryngology Emergencies: A Cross-Lingual Comparison of ChatGPT 5.2 and Gemini 3 Pro. Ear, Nose & Throat Journal. https://doi.org/10.1177/01455613261506845
Vancouver
Gokgun OF, Ucurum Kantarci BE. Benchmarking Clinical Safety and Diagnostic Accuracy of Large Language Models in Otorhinolaryngology Emergencies: A Cross-Lingual Comparison of ChatGPT 5.2 and Gemini 3 Pro. Ear, Nose & Throat Journal. 2026. doi:10.1177/01455613261506845
BibTeX
@article{Gokgun2026,
author = {Gokgun, Omer Faruk and Ucurum Kantarci, Bahar Ezgi},
title = {Benchmarking Clinical Safety and Diagnostic Accuracy of Large Language Models in Otorhinolaryngology Emergencies: A Cross-Lingual Comparison of ChatGPT 5.2 and Gemini 3 Pro},
journal = {Ear, Nose & Throat Journal},
year = {2026},
doi = {10.1177/01455613261506845}
}
EUVIMED