Evaluation of the Usability of ChatGPT ‐4 and Google Gemini in Patient Education About Rhinosinusitis
Bewertung der Gebrauchstauglichkeit von ChatGPT-4 und Google Gemini in der Patientenedukation zu Rhinosinusitis
Clinical Otolaryngology · 2025-05 · 50 (3) · 456-461
DOI: 10.1111/coa.14273 ↗Auf einen Blick
Die Antworten von ChatGPT-4 und Google Gemini zur Rhinosinusitis wurden von HNO-Expert:innen bewertet. Für ChatGPT-4 war die Diagnosekategorie durchgehend korrekt; bei Google Gemini gab es in einigen Kategorien mehr ungenaue Antworten.
Fragestellung
Wie geeignet sind ChatGPT-4 und Google Gemini für Patientenedukation zur Rhinosinusitis?
Methode
Vergleichende Bewertung von Antworten auf Fragen aus Patient:innen-Informationswebsites durch 2 HNO-Expert:innen; bei abweichender Bewertung entschied eine 3. Person.
Ergebnisse
Bei ChatGPT-4 wurden alle Antworten in der Diagnosekategorie als umfassend/korrekt bewertet. Bei Google Gemini waren in der Behandlungs-, Operations- sowie Komplikationskategorie mehr unvollständige bzw. völlig unzutreffende Antworten zu sehen; in der Behandlung war ChatGPT-4 signifikant besser.
Schlussfolgerung der Autor:innen
Die Antworten von ChatGPT-4 und Google Gemini zur Rhinosinusitis wurden als ausreichend und informativ bewertet.
Kernaussagen
- ChatGPT-4: alle Antworten zur Diagnose als umfassend/korrekt
- Google Gemini: mehr unzutreffende Antworten in der Behandlung
- ChatGPT-4 war in der Behandlung signifikant besser
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Clinical Otolaryngology, online erschienen am 07.01.2025. Verfasst von Çağrı Becerik und 3 weiteren Autor:innen. Beteiligte Einrichtung: Department of Otorhinolaryngology, Kemalpaşa State Hospital, İzmir, Turkey. Hauptthemen laut MEDLINE: Sinusitis, Patient Education as Topic, Rhinitis, Internet. Die Arbeit wurde bisher 7-mal zitiert (Crossref) und nennt 18 Literaturangaben.
Themen: Selbstmanagement bei chronischen Erkrankungen, Künstliche Intelligenz in der Pflege
Abstract (Originalsprache)
Introduction
Artificial intelligence (AI) based chat robots are increasingly used by users for patient education about common diseases in the health field, as in every field. This study aims to evaluate and compare patient education materials on rhinosinusitis created by two frequently used chat robots, ChatGPT‐4 and Google Gemini.
Method
One hundred nine questions taken from patient information websites were divided into 4 different categories: general knowledge, diagnosis, treatment, surgery and complications, then asked to chat robots. The answers given were evaluated by two different expert otolaryngologists, and on questions where the scores were different, a third, more experienced otolaryngologist finalised the evaluation. Questions were scored from 1 to 4: (1) comprehensive/correct, (2) incomplete/partially correct, (3) accurate and inaccurate data, potentially misleading and (4) completely inaccurate/irrelevant.
Results
In evaluating the answers given by ChatGPT‐4, all answers in the Diagnosis category were evaluated as comprehensive/correct. In the evaluation of the answers given by Google Gemini, the answers evaluated as completely inaccurate/irrelevant in the treatment category were found to be statistically significantly higher, and the answers evaluated as incomplete/partially correct in the surgery and complications category were found to be statistically significantly higher. In the comparison between the two chat robots, in the treatment category, ChatGPT‐4 had a higher correct evaluation rate than Google Gemini and was found to be statistically significant.
Conclusion
The answers given by ChatGPT‐4 and Google Gemini chat robots regarding rhinosinusitis were evaluated as sufficient and informative.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Department of Otorhinolaryngology, Kemalpaşa State Hospital, İzmir, Turkey.
- University of Health Sciences, Haydarpaşa Numune Research and Training Hospital, Department of Otorhinolaryngology, İstanbul, Turkey.
ORCID-Profile: Çağrı Becerik, Selçuk Yıldız, Çiğdem Tepe Karaca, Sema Zer Toros
Zitieren
APA
Becerik, Ç., Yıldız, S., Tepe Karaca, Ç., & Toros, S. Z. (2025). Evaluation of the Usability of ChatGPT ‐4 and Google Gemini in Patient Education About Rhinosinusitis. Clinical Otolaryngology, 50(3), 456-461. https://doi.org/10.1111/coa.14273
Vancouver
Becerik Ç, Yıldız S, Tepe Karaca Ç, Toros SZ. Evaluation of the Usability of ChatGPT ‐4 and Google Gemini in Patient Education About Rhinosinusitis. Clinical Otolaryngology. 2025;50(3):456-461. doi:10.1111/coa.14273
BibTeX
@article{Becerik2025,
author = {Becerik, Çağrı and Yıldız, Selçuk and Tepe Karaca, Çiğdem and Toros, Sema Zer},
title = {Evaluation of the Usability of ChatGPT ‐4 and Google Gemini in Patient Education About Rhinosinusitis},
journal = {Clinical Otolaryngology},
year = {2025},
volume = {50},
number = {3},
pages = {456--461},
doi = {10.1111/coa.14273}
}
EUVIMED