Evaluating Artificial Intelligence Chatbots for Patient Education on Thyroid Radiofrequency Ablation: An Analysis of Accuracy, Quality, and Readability
Bewertung von KI-Chatbots für Patient:innenaufklärung zu Schilddrüsen-Radiofrequenzablation: Analyse von Genauigkeit, Qualität und Lesbarkeit
Thyroid® · 01.02.2026 · 36 (2) · 162-168
DOI: 10.1177/10507256251414974 ↗Auf einen Blick
Vier frei verfügbare KI-Chatbots wurden zu 20 standardisierten Fragen zur Schilddrüsen-RFA verglichen. Die Leistung variierte; Gemini erzielte die höchsten Werte für Qualität und Genauigkeit.
Fragestellung
Wie schneiden vier öffentlich verfügbare KI-Chatbots bei patientenbezogenen Fragen zur Schilddrüsen-RFA hinsichtlich Qualität, Faktentreue, Lesbarkeit und Konsistenz ab?
Methode
Querschnittsanalyse von Antworten auf 20 standardisierte klinische Fragen; Bewertung durch 6 verblindete Ärzt:innen mit Erfahrung in Schilddrüsen-RFA.
Ergebnisse
Gemini: höchste Mittelwerte für globale Qualität (4,08 ± 0,87) und Genauigkeit (3,76 ± 1,05); besser als ChatGPT und Copilot (p < 0,005). ChatGPT war länger und besser lesbar. Gemini zeigte die geringste Variabilität.
Schlussfolgerung der Autor:innen
Die Leistung der KI-Chatbots variierte zwischen den Plattformen. Sie waren für einfache Fakten meist zuverlässig, für Urteils- oder kontextabhängige Einschätzungen jedoch weniger verlässlich.
Kernaussagen
- Gemini erreichte die höchsten Werte für Qualität und Genauigkeit.
- ChatGPT-Antworten waren länger und besser lesbar.
- Für kontextabhängige Bewertungen waren die Chatbots weniger verlässlich.
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Thyroid®, online erschienen am 13.01.2026. Verfasst von Jacob Beiriger und 10 weiteren Autor:innen. Beteiligte Einrichtung: Sidney Kimmel Medical College, Thomas Jefferson University Hospitals, Philadelphia, Pennsylvania, USA. Hauptthemen laut MEDLINE: Artificial Intelligence, Patient Education as Topic, Radiofrequency Ablation, Thyroid Gland. Die Arbeit wurde bisher 3-mal zitiert (Crossref) und nennt 26 Literaturangaben.
Themen: Künstliche Intelligenz in der Pflege, Selbstmanagement bei chronischen Erkrankungen
Abstract (Originalsprache)
Background
Artificial intelligence (AI) chatbots are increasingly being used by patients to obtain medical information. Comparison between platforms with specialty-specific physician assessment remains limited. This study compares the quality, factual accuracy, readability, and consistency of responses generated by four publicly available AI chatbots when answering patient-centered questions about thyroid radiofrequency ablation (RFA).
Methods
We conducted a cross-sectional analysis of chatbot-generated responses using 20 standardized clinical questions about thyroid RFA. Responses from ChatGPT-4, Gemini, Copilot, and Perplexity were evaluated by six blinded physician reviewers experienced in thyroid RFA using 5-point Likert scales for global quality and factual accuracy. Higher Likert scale scores indicated better performance. Readability and response length were analyzed with established metrics. Statistical significance was defined as p < 0.05.
Results
Gemini achieved the highest mean scores for global quality (4.08 ± 0.87) and accuracy (3.76 ± 1.05), with significantly better performance than ChatGPT and Copilot ( p < 0.005). ChatGPT responses were significantly longer and more readable. Score variability across questions was lowest for Gemini. Copilot and Perplexity ranked lowest across most domains. Question-level analysis identified specific prompts that best discriminated between platforms.
Conclusions
AI chatbot performance varied across platforms for thyroid RFA queries. Chatbots were generally reliable for straightforward factual information but were less dependable for judgment or context-dependent assessments. These AI tools should supplement, not replace, clinician-vetted patient education and institutional materials.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Sidney Kimmel Medical College, Thomas Jefferson University Hospitals, Philadelphia, Pennsylvania, USA.
- Department of Otolaryngology - Head and Neck Surgery, Thomas Jefferson University Hospitals, Philadelphia, Pennsylvania, USA.
- Division of Laryngology, Department of Head and Neck Surgery, Johns Hopkins University, Bethesda, Maryland, USA.
- Division of Otolaryngology-Head and Neck Surgery, Department of Surgery, The Pennsylvania State University-Milton S. Hershey Medical Center, Hershey, Pennsylvania, USA.
- Department of Otolaryngology - Head & Neck Surgery, Stanford University School of Medicine, Stanford, California, USA.
- Division of Thyroid and Parathyroid Endocrine Surgery, Department of Otolaryngology-Head and Neck Surgery, Massachusetts Eye and Ear Infirmary, Boston, Massachusetts, USA.
Zitieren
APA
Beiriger, J., Estephan, L. E., Campbell, D., Dhillon, V. K., Goldenberg, D., Noel, J., Orloff, L. A., Russell, M., Russell, J. O., Sinclair, C. F., & Cottrill, E. E. (2026). Evaluating Artificial Intelligence Chatbots for Patient Education on Thyroid Radiofrequency Ablation: An Analysis of Accuracy, Quality, and Readability. Thyroid®, 36(2), 162-168. https://doi.org/10.1177/10507256251414974
Vancouver
Beiriger J, Estephan LE, Campbell D, Dhillon VK, Goldenberg D, Noel J, et al. Evaluating Artificial Intelligence Chatbots for Patient Education on Thyroid Radiofrequency Ablation: An Analysis of Accuracy, Quality, and Readability. Thyroid®. 2026;36(2):162-168. doi:10.1177/10507256251414974
BibTeX
@article{Beiriger2026,
author = {Beiriger, Jacob and Estephan, Leonard E and Campbell, Daniel and Dhillon, Vaninder Kaur and Goldenberg, David and Noel, Julia and Orloff, Lisa A and Russell, Marika and Russell, Jonathon O and Sinclair, Catherine F and Cottrill, Elizabeth E},
title = {Evaluating Artificial Intelligence Chatbots for Patient Education on Thyroid Radiofrequency Ablation: An Analysis of Accuracy, Quality, and Readability},
journal = {Thyroid®},
year = {2026},
volume = {36},
number = {2},
pages = {162--168},
doi = {10.1177/10507256251414974}
}
EUVIMED