EUVIMEDEUVIMED entdecken
Crossref

Evaluating Artificial Intelligence Chatbots for Patient Education on Thyroid Radiofrequency Ablation: An Analysis of Accuracy, Quality, and Readability

Bewertung von KI-Chatbots für Patient:innenaufklärung zu Schilddrüsen-Radiofrequenzablation: Analyse von Genauigkeit, Qualität und Lesbarkeit

Jacob Beiriger, Leonard E Estephan, Daniel Campbell, Vaninder Kaur Dhillon, David Goldenberg, Julia Noel, Lisa A Orloff, Marika Russell, Jonathon O Russell, Catherine F Sinclair, Elizabeth E Cottrill

Thyroid® · 01.02.2026 · 36 (2) · 162-168

DOI: 10.1177/10507256251414974 ↗

Auf einen Blick

Vier frei verfügbare KI-Chatbots wurden zu 20 standardisierten Fragen zur Schilddrüsen-RFA verglichen. Die Leistung variierte; Gemini erzielte die höchsten Werte für Qualität und Genauigkeit.

Fragestellung

Wie schneiden vier öffentlich verfügbare KI-Chatbots bei patientenbezogenen Fragen zur Schilddrüsen-RFA hinsichtlich Qualität, Faktentreue, Lesbarkeit und Konsistenz ab?

Methode

Querschnittsanalyse von Antworten auf 20 standardisierte klinische Fragen; Bewertung durch 6 verblindete Ärzt:innen mit Erfahrung in Schilddrüsen-RFA.

Ergebnisse

Gemini: höchste Mittelwerte für globale Qualität (4,08 ± 0,87) und Genauigkeit (3,76 ± 1,05); besser als ChatGPT und Copilot (p < 0,005). ChatGPT war länger und besser lesbar. Gemini zeigte die geringste Variabilität.

Schlussfolgerung der Autor:innen

Die Leistung der KI-Chatbots variierte zwischen den Plattformen. Sie waren für einfache Fakten meist zuverlässig, für Urteils- oder kontextabhängige Einschätzungen jedoch weniger verlässlich.

Kernaussagen

  • Gemini erreichte die höchsten Werte für Qualität und Genauigkeit.
  • ChatGPT-Antworten waren länger und besser lesbar.
  • Für kontextabhängige Bewertungen waren die Chatbots weniger verlässlich.

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Thyroid®, online erschienen am 13.01.2026. Verfasst von Jacob Beiriger und 10 weiteren Autor:innen. Beteiligte Einrichtung: Sidney Kimmel Medical College, Thomas Jefferson University Hospitals, Philadelphia, Pennsylvania, USA. Hauptthemen laut MEDLINE: Artificial Intelligence, Patient Education as Topic, Radiofrequency Ablation, Thyroid Gland. Die Arbeit wurde bisher 3-mal zitiert (Crossref) und nennt 26 Literaturangaben.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Background

Artificial intelligence (AI) chatbots are increasingly being used by patients to obtain medical information. Comparison between platforms with specialty-specific physician assessment remains limited. This study compares the quality, factual accuracy, readability, and consistency of responses generated by four publicly available AI chatbots when answering patient-centered questions about thyroid radiofrequency ablation (RFA).

Methods

We conducted a cross-sectional analysis of chatbot-generated responses using 20 standardized clinical questions about thyroid RFA. Responses from ChatGPT-4, Gemini, Copilot, and Perplexity were evaluated by six blinded physician reviewers experienced in thyroid RFA using 5-point Likert scales for global quality and factual accuracy. Higher Likert scale scores indicated better performance. Readability and response length were analyzed with established metrics. Statistical significance was defined as p < 0.05.

Results

Gemini achieved the highest mean scores for global quality (4.08 ± 0.87) and accuracy (3.76 ± 1.05), with significantly better performance than ChatGPT and Copilot ( p < 0.005). ChatGPT responses were significantly longer and more readable. Score variability across questions was lowest for Gemini. Copilot and Perplexity ranked lowest across most domains. Question-level analysis identified specific prompts that best discriminated between platforms.

Conclusions

AI chatbot performance varied across platforms for thyroid RFA queries. Chatbots were generally reliable for straightforward factual information but were less dependable for judgment or context-dependent assessments. These AI tools should supplement, not replace, clinician-vetted patient education and institutional materials.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Artificial IntelligencePatient Education as TopicRadiofrequency AblationThyroid GlandHumansCross-Sectional StudiesComprehension

Stichwörter der Autor:innen

artificial intelligencechatbotlarge language modelpatient educationradiofrequency ablationthyroid nodule

Autor:innen und Institutionen

  • Sidney Kimmel Medical College, Thomas Jefferson University Hospitals, Philadelphia, Pennsylvania, USA.
  • Department of Otolaryngology - Head and Neck Surgery, Thomas Jefferson University Hospitals, Philadelphia, Pennsylvania, USA.
  • Division of Laryngology, Department of Head and Neck Surgery, Johns Hopkins University, Bethesda, Maryland, USA.
  • Division of Otolaryngology-Head and Neck Surgery, Department of Surgery, The Pennsylvania State University-Milton S. Hershey Medical Center, Hershey, Pennsylvania, USA.
  • Department of Otolaryngology - Head & Neck Surgery, Stanford University School of Medicine, Stanford, California, USA.
  • Division of Thyroid and Parathyroid Endocrine Surgery, Department of Otolaryngology-Head and Neck Surgery, Massachusetts Eye and Ear Infirmary, Boston, Massachusetts, USA.

Zitieren

APA

Beiriger, J., Estephan, L. E., Campbell, D., Dhillon, V. K., Goldenberg, D., Noel, J., Orloff, L. A., Russell, M., Russell, J. O., Sinclair, C. F., & Cottrill, E. E. (2026). Evaluating Artificial Intelligence Chatbots for Patient Education on Thyroid Radiofrequency Ablation: An Analysis of Accuracy, Quality, and Readability. Thyroid®, 36(2), 162-168. https://doi.org/10.1177/10507256251414974

Vancouver

Beiriger J, Estephan LE, Campbell D, Dhillon VK, Goldenberg D, Noel J, et al. Evaluating Artificial Intelligence Chatbots for Patient Education on Thyroid Radiofrequency Ablation: An Analysis of Accuracy, Quality, and Readability. Thyroid®. 2026;36(2):162-168. doi:10.1177/10507256251414974

BibTeX
@article{Beiriger2026,
  author = {Beiriger, Jacob and Estephan, Leonard E and Campbell, Daniel and Dhillon, Vaninder Kaur and Goldenberg, David and Noel, Julia and Orloff, Lisa A and Russell, Marika and Russell, Jonathon O and Sinclair, Catherine F and Cottrill, Elizabeth E},
  title = {Evaluating Artificial Intelligence Chatbots for Patient Education on Thyroid Radiofrequency Ablation: An Analysis of Accuracy, Quality, and Readability},
  journal = {Thyroid®},
  year = {2026},
  volume = {36},
  number = {2},
  pages = {162--168},
  doi = {10.1177/10507256251414974}
}
Kostenlos starten →