The future of patient education: A study on AI ‐driven responses to urinary incontinence inquiries
Die Zukunft der Patientenaufklärung: Eine Studie zu KI-gesteuerten Antworten auf Anfragen zur Harninkontinenz
International Journal of Gynecology & Obstetrics · 2024-12 · 167 (3) · 1004-1009
DOI: 10.1002/ijgo.15751 ↗Auf einen Blick
ChatGPT-Antworten zu 10 Fragen zur Harninkontinenz wurden von Urogynäkolog:innen bewertet. Die Rückmeldungen waren insgesamt positiv, besonders bei Vollständigkeit und Sicherheit.
Fragestellung
Wie gut beantwortet ChatGPT häufige Fragen zur Harninkontinenz in Bezug auf Genauigkeit, Vollständigkeit und Sicherheit?
Methode
Urogynäkolog:innen weltweit bewerteten ChatGPTs Antworten auf 10 Fragen zu Harninkontinenz anhand von Genauigkeit, Vollständigkeit und Sicherheit.
Ergebnisse
37 von 50 angeschriebenen Urogynäkolog:innen antworteten. Die Gesamtbewertung lag im Mittel bei 4,0; Genauigkeit 3,9 mit 71 % günstigen Bewertungen, Vollständigkeit 4,0 mit 74 % und Sicherheit 4,0 mit 74 %.
Schlussfolgerung der Autor:innen
Die Untersuchung zeigt eine günstige Leistung von ChatGPT bei Genauigkeit, Vollständigkeit und Sicherheit zu Fragen der Harninkontinenz. Die Autor:innen sehen aber Verbesserungsbedarf bei der Präzision der Informationen.
Kernaussagen
- Gesamtbewertung von ChatGPT: im Mittel 4,0
- Genauigkeit: 3,9; 71 % günstige Bewertungen
- Vollständigkeit und Sicherheit: jeweils 4,0; 74 % günstig
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift International Journal of Gynecology & Obstetrics, online erschienen am 30.06.2024. Verfasst von Reut Rotem und 5 weiteren Autor:innen. Beteiligte Einrichtung: Department of Urogynaecology, Cork University Maternity Hospital, Cork, Ireland. Hauptthemen laut MEDLINE: Urinary Incontinence, Patient Education as Topic, Gynecology. Die Arbeit wurde bisher 18-mal zitiert (Crossref) und nennt 20 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).
Themen: Inkontinenz, Selbstmanagement bei chronischen Erkrankungen
Abstract (Originalsprache)
Objective
To evaluate the effectiveness of ChatGPT in providing insights into common urinary incontinence concerns within urogynecology. By analyzing the model's responses against established benchmarks of accuracy, completeness, and safety, the study aimed to quantify its usefulness for informing patients and aiding healthcare providers.
Methods
An expert‐driven questionnaire was developed, inviting urogynecologists worldwide to assess ChatGPT's answers to 10 carefully selected questions on urinary incontinence (UI). These assessments focused on the accuracy of the responses, their comprehensiveness, and whether they raised any safety issues. Subsequent statistical analyses determined the average consensus among experts and identified the proportion of responses receiving favorable evaluations (a score of 4 or higher).
Results
Of 50 urogynecologists that were approached worldwide, 37 responded, offering insights into ChatGPT's responses on UI. The overall feedback averaged a score of 4.0, indicating a positive acceptance. Accuracy scores averaged 3.9 with 71% rated favorably, whereas comprehensiveness scored slightly higher at 4 with 74% favorable ratings. Safety assessments also averaged 4 with 74% favorable responses.
Conclusion
This investigation underlines ChatGPT's favorable performance across the evaluated domains of accuracy, comprehensiveness, and safety within the context of UI queries. However, despite this broadly positive reception, the study also signals a clear avenue for improvement, particularly in the precision of the provided information. Refining ChatGPT's accuracy and ensuring the delivery of more pinpointed responses are essential steps forward, aiming to bolster its utility as a comprehensive educational resource for patients and a supportive tool for healthcare practitioners.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Department of Urogynaecology, Cork University Maternity Hospital, Cork, Ireland.
- Department of Obstetrics and Gynecology, Shaare Zedek Medical Center, Affiliated with the Hebrew University School of Medicine, Jerusalem, Israel.
- Department of Obstetrics and Gynecology, Soroka University Medical Center, Faculty of Health Sciences, Ben-Gurion University of the Negev, Beer-Sheva, Israel.
ORCID-Profile: Misgav Rottenstreich
Zitieren
APA
Rotem, R., Zamstein, O., Rottenstreich, M., O'Sullivan, O. E., O'reilly, B. A., & Weintraub, A. Y. (2024). The future of patient education: A study on AI ‐driven responses to urinary incontinence inquiries. International Journal of Gynecology & Obstetrics, 167(3), 1004-1009. https://doi.org/10.1002/ijgo.15751
Vancouver
Rotem R, Zamstein O, Rottenstreich M, O'Sullivan OE, O'reilly BA, Weintraub AY. The future of patient education: A study on AI ‐driven responses to urinary incontinence inquiries. International Journal of Gynecology & Obstetrics. 2024;167(3):1004-1009. doi:10.1002/ijgo.15751
BibTeX
@article{Rotem2024,
author = {Rotem, Reut and Zamstein, Omri and Rottenstreich, Misgav and O'Sullivan, Orfhlaith E and O'reilly, Barry A and Weintraub, Adi Y},
title = {The future of patient education: A study on AI ‐driven responses to urinary incontinence inquiries},
journal = {International Journal of Gynecology & Obstetrics},
year = {2024},
volume = {167},
number = {3},
pages = {1004--1009},
doi = {10.1002/ijgo.15751}
}
EUVIMED