Accuracy of ChatGPT in Answering Parental Questions about Posterior Urethral Valves: An Observational Study
Genauigkeit von ChatGPT bei der Beantwortung elterlicher Fragen zu posterioren Urethralklappen: Beobachtungsstudie
Journal of Indian Association of Pediatric Surgeons · 2026-11 · 31 (6) · 955-960
DOI: 10.4103/jiaps.jiaps_144_26 ↗Auf einen Blick
ChatGPT-Antworten auf 14 häufige Elternfragen zu posterioren Urethralklappen wurden von 25 Expert:innen bewertet. 67,7 % galten als korrekt und vollständig, 13,4 % als potenziell irreführend.
Fragestellung
Wie genau und vollständig sind von ChatGPT generierte Antworten auf häufige elterliche Fragen zu posterioren Urethralklappen?
Methode
Querschnitts- und Beobachtungsstudie; 14 Fragen aus klinischen Kontakten; 25 pädiatrische Urologie-Expert:innen bewerteten Antworten blind mit 4 Kategorien.
Ergebnisse
350 Expertenbewertungen: 67,7 % korrekt und vollständig, 18,9 % hilfreich, aber unvollständig, 13,4 % potenziell irreführend. 8 Antworten mit einhellig hoher Qualität; Fleiss’ κ =0,70.
Einschränkungen
6 Antworten zeigten Unterschiede in der Expertenbewertung, vor allem durch fehlende klinisch wichtige Details.
Schlussfolgerung der Autor:innen
ChatGPT-Antworten zeigten eine variable Genauigkeit mit einem erheblichen Anteil fehlender wichtiger klinischer Details. Die Autor:innen sehen eine begrenzte, ergänzende Rolle und weiter nötige klinische Aufsicht.
Kernaussagen
- 67,7 % der Antworten waren korrekt und vollständig
- 13,4 % wurden als potenziell irreführend bewertet
- Fleiss’ κ =0,70 zeigte eine substanzielle Übereinstimmung
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Journal of Indian Association of Pediatric Surgeons, online erschienen am 06.11.2026. Verfasst von Mohd. S. Ansari und 4 weiteren Autor:innen. Die Arbeit nennt 16 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY-NC-ND 4.0).
Abstract (Originalsprache)
A BSTRACT Importance: Parents of children with posterior urethral valves (PUVs) frequently seek accessible information regarding diagnosis, treatment, and long-term outcomes. Artificial intelligence (AI) tools such as ChatGPT are increasingly used for this purpose; however, the accuracy, completeness, and consistency of such information remain uncertain.
Objective
The objective of this study is to evaluate the accuracy and completeness of ChatGPT-generated responses to common parental questions about PUV. Design, Setting, and Participants: This cross-sectional and observational study assessed ChatGPT-generated responses to 14 commonly asked parental questions regarding PUV. Questions were derived from clinical interactions at a tertiary care pediatric urology center. Responses were evaluated by 25 pediatric urology experts with at least 5 years of postqualification experience. Experts independently rated each response using a four-category scale (misleading, helpful but incomplete, accurate, or accurate and comprehensive) and were blinded to each other’s assessments. Main Outcomes and Measures: The primary outcome was the distribution of expert ratings across response categories. Secondary analyses explored the patterns of agreement and the frequency of incomplete or potentially misleading responses.
Results
All questions were considered relevant. Among 350 expert evaluations, 67.7% of responses were rated as accurate and comprehensive, 18.9% as helpful but incomplete, and 13.4% as potentially misleading. Eight responses received unanimous high-quality ratings, whereas six demonstrated variability in expert assessment, primarily due to omission of clinically important details such as key investigations and aspects of long-term management. Inter-rater reliability demonstrated substantial agreement (Fleiss’ κ =0.70). Conclusions and Relevance: ChatGPT-generated responses demonstrated variable accuracy, with a substantial proportion lacking important clinical details. While the model may provide general explanations to common parental queries, its outputs can be incomplete and may vary across instances, limiting reliability for independent medical guidance. These findings support a limited, supplementary role for AI-generated information and reinforce the continued necessity of clinician oversight in patient education.
Zitieren
APA
Ansari, M. S., Dutta, A., Shukla, A., Saxena, A., & Pratap, P. (2026). Accuracy of ChatGPT in Answering Parental Questions about Posterior Urethral Valves: An Observational Study. Journal of Indian Association of Pediatric Surgeons, 31(6), 955-960. https://doi.org/10.4103/jiaps.jiaps_144_26
Vancouver
Ansari MS, Dutta A, Shukla A, Saxena A, Pratap P. Accuracy of ChatGPT in Answering Parental Questions about Posterior Urethral Valves: An Observational Study. Journal of Indian Association of Pediatric Surgeons. 2026;31(6):955-960. doi:10.4103/jiaps.jiaps_144_26
BibTeX
@article{Ansari2026,
author = {Ansari, Mohd. S. and Dutta, Alok and Shukla, Anupam and Saxena, Apoorva and Pratap, Prakhar},
title = {Accuracy of ChatGPT in Answering Parental Questions about Posterior Urethral Valves: An Observational Study},
journal = {Journal of Indian Association of Pediatric Surgeons},
year = {2026},
volume = {31},
number = {6},
pages = {955--960},
doi = {10.4103/jiaps.jiaps_144_26}
}
EUVIMED