EUVIMEDEUVIMED entdecken
VergleichsstudieBeobachtungsstudieOpen Access · CC BY 4.0

Human versus AI in audiological practice: A comparative evaluation of ChatGPT and physician treatment decisions in idiopathic sudden sensorineural hearing loss

Mensch versus KI in der audiologischen Praxis: Vergleich von ChatGPT und ärztlichen Behandlungsentscheidungen bei idiopathischem plötzlichem sensorineuralem Hörverlust

Valeria Caragli, Michele Pellegrino, Luca Pingani, Gian Maria Galeazzi, Davide Soloperto, Elisabetta Genovese, Cosimo de Filippis, Gino Marioni, Leonardo Franz iD

PLOS One · 01.06.2026 · 21 (6) · e0350549

DOI: 10.1371/journal.pone.0350549 ↗

Auf einen Blick

Bei 86 Patient:innen mit idiopathischem plötzlichem sensorineuralem Hörverlust stimmten die Empfehlungen von ChatGPT nur gering bis mäßig mit den ärztlichen Entscheidungen überein. Unterschiede zeigten sich besonders bei Kortikosteroiden und Zusatztherapien.

Fragestellung

Wie stimmen Behandlungsentscheidungen von Ärzt:innen und ChatGPT (GPT-4o) bei idiopathischem plötzlichem sensorineuralem Hörverlust überein?

Methode

Retrospektive Beobachtungsstudie mit 86 Patient:innen; ärztliche Entscheidungen wurden mit ChatGPT-Empfehlungen auf anonymisierten Datensätzen und sequenziellen Prompts verglichen; Übereinstimmung mit Cohen-Kappa.

Ergebnisse

ChatGPT empfahl in 26 Fällen keine orale Kortikosteroidtherapie, obwohl Ärzt:innen sie verordnet hatten (Kappa = 0,029). Intravenöse Kortikosteroide wurden in 20 Fällen empfohlen, obwohl Ärzt:innen sie nicht einsetzten (Kappa = 0,393).

Einschränkungen

Rückblickendes Design; die Leistungsfähigkeit wurde nur an 86 Patient:innen und mit anonymisierten Datensätzen geprüft.

Schlussfolgerung der Autor:innen

ChatGPT (GPT-4o) zeigte strukturierte, protokollorientierte Vorschläge, war bei ISSNHL aber erfahreneren Ärzt:innen unterlegen. Für den klinischen Einsatz wird Unterstützung unter Aufsicht und weitere Validierung gefordert.

Kernaussagen

  • Übereinstimmung zwischen ChatGPT und Ärzt:innen war insgesamt gering bis mäßig.
  • Abweichungen betrafen vor allem orale und intravenöse Kortikosteroide.
  • AI sollte laut Autor:innen derzeit nur unterstützend eingesetzt werden.

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Vergleichsstudie in der Zeitschrift PLOS One, online erschienen am 01.06.2026. Verfasst von Valeria Caragli und 8 weiteren Autor:innen. Beteiligte Einrichtung: Audiology Program, Otorhinolaryngology Unit, Department of Medical and Surgical Sciences for Children and Adults, University of Modena and Reggio Emi…. Hauptthemen laut MEDLINE: Audiology, Clinical Decision-Making, Generative Artificial Intelligence, Hearing Loss, Sensorineural. Die Arbeit wurde bisher 3-mal zitiert (Crossref) und nennt 20 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Purpose

Artificial Intelligence (AI) is increasingly being applied in the field of audiology, demonstrating potential to support screening, diagnosis, and rehabilitation in auditory and vestibular disorders. However, its effectiveness in guiding complex therapeutic decisions—such as those for idiopathic sudden sensorineural hearing loss (ISSNHL)–remains uncertain. This study aimed to compare treatment recommendations for ISSNHL made by medical doctors (MDs) with those proposed by an AI system (ChatGPT, GPT-4o model). The goal was to evaluate the concordance between human and AI decision-making, particularly regarding the administration of corticosteroids and adjunctive therapies, and to assess AI’s potential in clinical practice.

Methods

This study is a retrospective observational analysis. Data from 86 patients diagnosed with ISSNHL were retrospectively analysed. Treatment decisions by MDs were compared with those generated by ChatGPT using anonymized patient datasets and a series of sequential prompts simulating multidisciplinary discussion. Agreement between AI and MDs was assessed using Cohen’s Kappa coefficient.

Results

Overall, poor to fair agreement was observed between AI and clinician treatment decisions. ChatGPT did not recommend oral corticosteroids in 26 cases where MDs prescribed them (Kappa = 0.029) and recommended intravenous corticosteroids in 20 patients who were not treated with this approach by MDs (Kappa = 0.393). Discrepancies were also evident in recommendations for intratympanic steroids (Kappa = −0.044) and adjunctive therapies (Kappa = 0.035). These differences likely stem from the AI’s rigid adherence to generalized treatment protocols and limited contextual understanding.

Conclusion

While ChatGPT (GPT-4o) shows promise in generating structured, protocol-driven suggestions, its clinical decision-making capabilities for ISSNHL remain inferior to those of experienced physicians. The AI’s lack of individualized reasoning and context sensitivity resulted in frequent discordance with physician-led care. Thus, AI should currently be viewed as a supportive tool in audiological practice, with its integration requiring careful oversight and further validation in real-world clinical environments.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

AudiologyClinical Decision-MakingGenerative Artificial IntelligenceHearing Loss, SensorineuralHearing Loss, SuddenAdultAgedFemaleHumansMaleMiddle AgedAdrenal Cortex HormonesPhysiciansRetrospective Studies

Substanzen

Adrenal Cortex Hormones

Autor:innen und Institutionen

  • Audiology Program, Otorhinolaryngology Unit, Department of Medical and Surgical Sciences for Children and Adults, University of Modena and Reggio Emilia, Modena, Italy.
  • Department of Biomedical, Metabolic and Neural Sciences, University of Modena and Reggio Emilia, Modena, Italy.
  • Department of Integrated Mental Health and Substance Abuse Services, Azienda USL - IRCCS of Reggio Emilia, Reggio Emilia, Italy.
  • Audiology Program, Department of Maternal, Child and Adult Medical and Surgical Sciences, University of Modena and Reggio Emilia, Modena, Italy.
  • Phoniatris and Audiology Unit, Department of Neuroscience DNS, University of Padova, Treviso, Italy.

ORCID-Profile: Leonardo Franz

Zitieren

APA

Caragli, V., Pellegrino, M., Pingani, L., Galeazzi, G. M., Soloperto, D., Genovese, E., de Filippis, C., Marioni, G., & Franz, L. (2026). Human versus AI in audiological practice: A comparative evaluation of ChatGPT and physician treatment decisions in idiopathic sudden sensorineural hearing loss. PLOS One, 21(6), e0350549. https://doi.org/10.1371/journal.pone.0350549

Vancouver

Caragli V, Pellegrino M, Pingani L, Galeazzi GM, Soloperto D, Genovese E, et al. Human versus AI in audiological practice: A comparative evaluation of ChatGPT and physician treatment decisions in idiopathic sudden sensorineural hearing loss. PLOS One. 2026;21(6):e0350549. doi:10.1371/journal.pone.0350549

BibTeX
@article{Caragli2026,
  author = {Caragli, Valeria and Pellegrino, Michele and Pingani, Luca and Galeazzi, Gian Maria and Soloperto, Davide and Genovese, Elisabetta and de Filippis, Cosimo and Marioni, Gino and Franz, Leonardo},
  title = {Human versus AI in audiological practice: A comparative evaluation of ChatGPT and physician treatment decisions in idiopathic sudden sensorineural hearing loss},
  journal = {PLOS One},
  year = {2026},
  volume = {21},
  number = {6},
  pages = {e0350549},
  doi = {10.1371/journal.pone.0350549}
}
Kostenlos starten →