EUVIMEDEUVIMED entdecken
Open Access · CC BY-NC-ND 4.0

Accuracy of ChatGPT in Answering Parental Questions about Posterior Urethral Valves: An Observational Study

Genauigkeit von ChatGPT bei der Beantwortung elterlicher Fragen zu posterioren Urethralklappen: Beobachtungsstudie

Mohd. S. Ansari, Alok Dutta, Anupam Shukla, Apoorva Saxena, Prakhar Pratap

Journal of Indian Association of Pediatric Surgeons · 2026-11 · 31 (6) · 955-960

DOI: 10.4103/jiaps.jiaps_144_26 ↗

Auf einen Blick

ChatGPT-Antworten auf 14 häufige Elternfragen zu posterioren Urethralklappen wurden von 25 Expert:innen bewertet. 67,7 % galten als korrekt und vollständig, 13,4 % als potenziell irreführend.

Fragestellung

Wie genau und vollständig sind von ChatGPT generierte Antworten auf häufige elterliche Fragen zu posterioren Urethralklappen?

Methode

Querschnitts- und Beobachtungsstudie; 14 Fragen aus klinischen Kontakten; 25 pädiatrische Urologie-Expert:innen bewerteten Antworten blind mit 4 Kategorien.

Ergebnisse

350 Expertenbewertungen: 67,7 % korrekt und vollständig, 18,9 % hilfreich, aber unvollständig, 13,4 % potenziell irreführend. 8 Antworten mit einhellig hoher Qualität; Fleiss’ κ =0,70.

Einschränkungen

6 Antworten zeigten Unterschiede in der Expertenbewertung, vor allem durch fehlende klinisch wichtige Details.

Schlussfolgerung der Autor:innen

ChatGPT-Antworten zeigten eine variable Genauigkeit mit einem erheblichen Anteil fehlender wichtiger klinischer Details. Die Autor:innen sehen eine begrenzte, ergänzende Rolle und weiter nötige klinische Aufsicht.

Kernaussagen

  • 67,7 % der Antworten waren korrekt und vollständig
  • 13,4 % wurden als potenziell irreführend bewertet
  • Fleiss’ κ =0,70 zeigte eine substanzielle Übereinstimmung

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Journal of Indian Association of Pediatric Surgeons, online erschienen am 06.11.2026. Verfasst von Mohd. S. Ansari und 4 weiteren Autor:innen. Die Arbeit nennt 16 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY-NC-ND 4.0).

Auf einen BlickAbstractBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

A BSTRACT Importance: Parents of children with posterior urethral valves (PUVs) frequently seek accessible information regarding diagnosis, treatment, and long-term outcomes. Artificial intelligence (AI) tools such as ChatGPT are increasingly used for this purpose; however, the accuracy, completeness, and consistency of such information remain uncertain.

Objective

The objective of this study is to evaluate the accuracy and completeness of ChatGPT-generated responses to common parental questions about PUV. Design, Setting, and Participants: This cross-sectional and observational study assessed ChatGPT-generated responses to 14 commonly asked parental questions regarding PUV. Questions were derived from clinical interactions at a tertiary care pediatric urology center. Responses were evaluated by 25 pediatric urology experts with at least 5 years of postqualification experience. Experts independently rated each response using a four-category scale (misleading, helpful but incomplete, accurate, or accurate and comprehensive) and were blinded to each other’s assessments. Main Outcomes and Measures: The primary outcome was the distribution of expert ratings across response categories. Secondary analyses explored the patterns of agreement and the frequency of incomplete or potentially misleading responses.

Results

All questions were considered relevant. Among 350 expert evaluations, 67.7% of responses were rated as accurate and comprehensive, 18.9% as helpful but incomplete, and 13.4% as potentially misleading. Eight responses received unanimous high-quality ratings, whereas six demonstrated variability in expert assessment, primarily due to omission of clinically important details such as key investigations and aspects of long-term management. Inter-rater reliability demonstrated substantial agreement (Fleiss’ κ =0.70). Conclusions and Relevance: ChatGPT-generated responses demonstrated variable accuracy, with a substantial proportion lacking important clinical details. While the model may provide general explanations to common parental queries, its outputs can be incomplete and may vary across instances, limiting reliability for independent medical guidance. These findings support a limited, supplementary role for AI-generated information and reinforce the continued necessity of clinician oversight in patient education.

Zitieren

APA

Ansari, M. S., Dutta, A., Shukla, A., Saxena, A., & Pratap, P. (2026). Accuracy of ChatGPT in Answering Parental Questions about Posterior Urethral Valves: An Observational Study. Journal of Indian Association of Pediatric Surgeons, 31(6), 955-960. https://doi.org/10.4103/jiaps.jiaps_144_26

Vancouver

Ansari MS, Dutta A, Shukla A, Saxena A, Pratap P. Accuracy of ChatGPT in Answering Parental Questions about Posterior Urethral Valves: An Observational Study. Journal of Indian Association of Pediatric Surgeons. 2026;31(6):955-960. doi:10.4103/jiaps.jiaps_144_26

BibTeX
@article{Ansari2026,
  author = {Ansari, Mohd. S. and Dutta, Alok and Shukla, Anupam and Saxena, Apoorva and Pratap, Prakhar},
  title = {Accuracy of ChatGPT in Answering Parental Questions about Posterior Urethral Valves: An Observational Study},
  journal = {Journal of Indian Association of Pediatric Surgeons},
  year = {2026},
  volume = {31},
  number = {6},
  pages = {955--960},
  doi = {10.4103/jiaps.jiaps_144_26}
}
Kostenlos starten →