EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

Benchmarking Clinical Safety and Diagnostic Accuracy of Large Language Models in Otorhinolaryngology Emergencies: A Cross-Lingual Comparison of ChatGPT 5.2 and Gemini 3 Pro

Benchmarking der klinischen Sicherheit und diagnostischen Genauigkeit großer Sprachmodelle in HNO-Notfällen: ein sprachübergreifender Vergleich von ChatGPT 5.2 und Gemini 3 Pro

Omer Faruk Gokgun iD, Bahar Ezgi Ucurum Kantarci iD

Ear, Nose & Throat Journal · 10.11.2026

DOI: 10.1177/01455613261506845 ↗

Auf einen Blick

In 30 simulierten HNO-Fällen zeigten ChatGPT 5.2 und Gemini 3 Pro hohe Diagnose- und Triagegenauigkeit in Türkisch und Englisch. Zwischen den Modellen fanden sich keine signifikanten Unterschiede.

Fragestellung

Wie sicher und diagnostisch genau bewerten ChatGPT 5.2 und Gemini 3 Pro simulierte HNO-Notfälle in Türkisch und Englisch?

Methode

Explorative Vergleichsstudie mit 30 standardisierten klinischen Szenarien; Referenz waren Expertenkonsens und Goldstandard-Diagnose. Bewertung von Triagegenauigkeit, klinischer Sicherheit und Notfallerkennung.

Ergebnisse

Alle 120 Primärdiagnosen wurden von zwei HNO-Spezialisten bestätigt. Korrekte Triage bei 55/60 Antworten für ChatGPT 5.2 und 58/60 für Gemini 3 Pro; Übereinstimmung mit Expertenentscheidungen fast perfekt (κ = 0,813–0,938).

Einschränkungen

30 simulierte Szenarien; keine Unterschiede in den gepaarten Vergleichen statistisch signifikant; keine Nachweise für Äquivalenz zwischen Modellen oder Sprachen.

Schlussfolgerung der Autor:innen

Beide Modelle zeigten in einer begrenzten Zahl simulierter HNO-Szenarien hohe diagnostische und Triagegenauigkeit. Die Befunde sprechen für weitere Untersuchungen als mögliche klinische Entscheidungsunterstützung.

Kernaussagen

  • 55/60 korrekte Triageantworten für ChatGPT 5.2
  • 58/60 korrekte Triageantworten für Gemini 3 Pro
  • Gemini 3 Pro erkannte alle 18 Notfallszenarien in beiden Sprachen

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Ear, Nose & Throat Journal, online erschienen am 10.11.2026. Verfasst von Omer Faruk Gokgun und 1 weiteren Autor:innen. Beteiligte Einrichtung: Department of Otorhinolaryngology, Head and Neck Surgery, Bursa Cekirge State Hospital, Bursa, Türkiye. Die Arbeit nennt 19 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Background

While the clinical potential of Large Language Models (LLMs) is increasingly recognised, their safety in morphologically rich languages remains debated. This exploratory study comparatively examines the ability of two recent artificial intelligence models, ChatGPT 5.2 and Gemini 3 Pro, to evaluate simulated otorhinolaryngology (ENT) cases across urgent, priority, and elective triage categories in Turkish and English.

Methods

The study was designed around 30 standardised clinical scenarios covering frequent ENT pathologies. Gold standard diagnosis and disease management decisions were determined by expert consensus. Model performance was evaluated in terms of three-category triage accuracy, clinical safety scores, and emergency-detection performance, using expert consensus decisions as the reference standard. Cohen’s Kappa, Wilcoxon Signed Ranks, and McNemar tests were applied to measure inter-model and inter-language agreement.

Results

All 120 model-generated primary diagnoses were confirmed as correct by the two ENT specialists. Correct triage classifications were obtained in 55/60 (91.7%) responses for ChatGPT 5.2 and 58/60 (96.7%) responses for Gemini 3 Pro. Agreement with expert-defined triage decisions was almost perfect (κ = 0.813–0.938). No statistically significant differences in the evaluated paired comparisons of triage accuracy or clinical safety scores were detected (all p > 0.05). Gemini 3 Pro correctly identified all 18 emergency scenarios in both language conditions.

Conclusions

Both models demonstrated high observed diagnostic and triage accuracy in a limited set of simulated ENT scenarios spanning different acuity levels. Although no statistically significant differences were detected in the evaluated comparisons, these findings do not establish equivalence between models or languages. These encouraging findings, particularly the high performance observed in Turkish, support further investigation of large language models as potential adjunctive clinical decision-support tools, while larger and more diverse clinical studies remain necessary before routine clinical implementation.

Schlagwörter

Stichwörter der Autor:innen

Artificial intelligenceClinical Decision SupportLarge Language ModelsOtorhinolaryngology

Autor:innen und Institutionen

  • Department of Otorhinolaryngology, Head and Neck Surgery, Bursa Cekirge State Hospital, Bursa, Türkiye.

ORCID-Profile: Omer Faruk Gokgun, Bahar Ezgi Ucurum Kantarci

Zitieren

APA

Gokgun, O. F., & Ucurum Kantarci, B. E. (2026). Benchmarking Clinical Safety and Diagnostic Accuracy of Large Language Models in Otorhinolaryngology Emergencies: A Cross-Lingual Comparison of ChatGPT 5.2 and Gemini 3 Pro. Ear, Nose & Throat Journal. https://doi.org/10.1177/01455613261506845

Vancouver

Gokgun OF, Ucurum Kantarci BE. Benchmarking Clinical Safety and Diagnostic Accuracy of Large Language Models in Otorhinolaryngology Emergencies: A Cross-Lingual Comparison of ChatGPT 5.2 and Gemini 3 Pro. Ear, Nose & Throat Journal. 2026. doi:10.1177/01455613261506845

BibTeX
@article{Gokgun2026,
  author = {Gokgun, Omer Faruk and Ucurum Kantarci, Bahar Ezgi},
  title = {Benchmarking Clinical Safety and Diagnostic Accuracy of Large Language Models in Otorhinolaryngology Emergencies: A Cross-Lingual Comparison of ChatGPT 5.2 and Gemini 3 Pro},
  journal = {Ear, Nose & Throat Journal},
  year = {2026},
  doi = {10.1177/01455613261506845}
}
Kostenlos starten →