EUVIMEDEUVIMED entdecken
Crossref

Evaluation of the Usability of ChatGPT ‐4 and Google Gemini in Patient Education About Rhinosinusitis

Bewertung der Gebrauchstauglichkeit von ChatGPT-4 und Google Gemini in der Patientenedukation zu Rhinosinusitis

Çağrı Becerik iD, Selçuk Yıldız iD, Çiğdem Tepe Karaca iD, Sema Zer Toros iD

Clinical Otolaryngology · 2025-05 · 50 (3) · 456-461

DOI: 10.1111/coa.14273 ↗

Auf einen Blick

Die Antworten von ChatGPT-4 und Google Gemini zur Rhinosinusitis wurden von HNO-Expert:innen bewertet. Für ChatGPT-4 war die Diagnosekategorie durchgehend korrekt; bei Google Gemini gab es in einigen Kategorien mehr ungenaue Antworten.

Fragestellung

Wie geeignet sind ChatGPT-4 und Google Gemini für Patientenedukation zur Rhinosinusitis?

Methode

Vergleichende Bewertung von Antworten auf Fragen aus Patient:innen-Informationswebsites durch 2 HNO-Expert:innen; bei abweichender Bewertung entschied eine 3. Person.

Ergebnisse

Bei ChatGPT-4 wurden alle Antworten in der Diagnosekategorie als umfassend/korrekt bewertet. Bei Google Gemini waren in der Behandlungs-, Operations- sowie Komplikationskategorie mehr unvollständige bzw. völlig unzutreffende Antworten zu sehen; in der Behandlung war ChatGPT-4 signifikant besser.

Schlussfolgerung der Autor:innen

Die Antworten von ChatGPT-4 und Google Gemini zur Rhinosinusitis wurden als ausreichend und informativ bewertet.

Kernaussagen

  • ChatGPT-4: alle Antworten zur Diagnose als umfassend/korrekt
  • Google Gemini: mehr unzutreffende Antworten in der Behandlung
  • ChatGPT-4 war in der Behandlung signifikant besser

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Clinical Otolaryngology, online erschienen am 07.01.2025. Verfasst von Çağrı Becerik und 3 weiteren Autor:innen. Beteiligte Einrichtung: Department of Otorhinolaryngology, Kemalpaşa State Hospital, İzmir, Turkey. Hauptthemen laut MEDLINE: Sinusitis, Patient Education as Topic, Rhinitis, Internet. Die Arbeit wurde bisher 7-mal zitiert (Crossref) und nennt 18 Literaturangaben.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Introduction

Artificial intelligence (AI) based chat robots are increasingly used by users for patient education about common diseases in the health field, as in every field. This study aims to evaluate and compare patient education materials on rhinosinusitis created by two frequently used chat robots, ChatGPT‐4 and Google Gemini.

Method

One hundred nine questions taken from patient information websites were divided into 4 different categories: general knowledge, diagnosis, treatment, surgery and complications, then asked to chat robots. The answers given were evaluated by two different expert otolaryngologists, and on questions where the scores were different, a third, more experienced otolaryngologist finalised the evaluation. Questions were scored from 1 to 4: (1) comprehensive/correct, (2) incomplete/partially correct, (3) accurate and inaccurate data, potentially misleading and (4) completely inaccurate/irrelevant.

Results

In evaluating the answers given by ChatGPT‐4, all answers in the Diagnosis category were evaluated as comprehensive/correct. In the evaluation of the answers given by Google Gemini, the answers evaluated as completely inaccurate/irrelevant in the treatment category were found to be statistically significantly higher, and the answers evaluated as incomplete/partially correct in the surgery and complications category were found to be statistically significantly higher. In the comparison between the two chat robots, in the treatment category, ChatGPT‐4 had a higher correct evaluation rate than Google Gemini and was found to be statistically significant.

Conclusion

The answers given by ChatGPT‐4 and Google Gemini chat robots regarding rhinosinusitis were evaluated as sufficient and informative.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

SinusitisPatient Education as TopicRhinitisInternetArtificial IntelligenceRoboticsHumansRhinosinusitisGenerative Artificial Intelligence

Stichwörter der Autor:innen

ChatGPT‐4Google Geminiartificial intelligencerhinosinusitis

Autor:innen und Institutionen

  • Department of Otorhinolaryngology, Kemalpaşa State Hospital, İzmir, Turkey.
  • University of Health Sciences, Haydarpaşa Numune Research and Training Hospital, Department of Otorhinolaryngology, İstanbul, Turkey.

ORCID-Profile: Çağrı Becerik, Selçuk Yıldız, Çiğdem Tepe Karaca, Sema Zer Toros

Zitieren

APA

Becerik, Ç., Yıldız, S., Tepe Karaca, Ç., & Toros, S. Z. (2025). Evaluation of the Usability of ChatGPT ‐4 and Google Gemini in Patient Education About Rhinosinusitis. Clinical Otolaryngology, 50(3), 456-461. https://doi.org/10.1111/coa.14273

Vancouver

Becerik Ç, Yıldız S, Tepe Karaca Ç, Toros SZ. Evaluation of the Usability of ChatGPT ‐4 and Google Gemini in Patient Education About Rhinosinusitis. Clinical Otolaryngology. 2025;50(3):456-461. doi:10.1111/coa.14273

BibTeX
@article{Becerik2025,
  author = {Becerik, Çağrı and Yıldız, Selçuk and Tepe Karaca, Çiğdem and Toros, Sema Zer},
  title = {Evaluation of the Usability of ChatGPT ‐4 and Google Gemini in Patient Education About Rhinosinusitis},
  journal = {Clinical Otolaryngology},
  year = {2025},
  volume = {50},
  number = {3},
  pages = {456--461},
  doi = {10.1111/coa.14273}
}
Kostenlos starten →