Comparison of ChatGPT-Generated Patient Information on Testicular Cancer Across Two Assessment Periods: Clinical Accuracy, Response Quality, and Citation Support
Vergleich von ChatGPT-generierten Patienteninformationen zu Hodenkrebs über zwei Bewertungszeiträume: klinische Genauigkeit, Antwortqualität und Zitationsunterstützung
Urology Research and Practice · 02.11.2026 · 52 · 1-8
DOI: 10.5152/tud.2026.26067 ↗Auf einen Blick
61 patientenorientierte Fragen zu Hodenkrebs wurden mit ChatGPT-4o 2024 und mit ChatGPT-5.6 Luna 2026 beantwortet. Die Antwortqualität und die Nutzung hochwertiger Quellen nahmen zu.
Fragestellung
Vergleich von klinischer Genauigkeit, Antwortqualität und Zitiermerkmalen von ChatGPT-generierten Informationen zu Hodenkrebs über 2 Zeitpunkte mit 20 Monaten Abstand.
Methode
61 Fragen aus EAU-Patienteninformationen wurden im Dezember 2024 und im August 2026 an ChatGPT gestellt. Zwei Urolog:innen bewerteten Genauigkeit gegen EAU-Leitlinien sowie GQS und mDISCERN.
Ergebnisse
Vollständig korrekte Antworten: 86,9 % (53/61) 2024 und 93,4 % (57/61) 2026 (P = .125). GQS und mDISCERN stiegen; Zitate pro Antwort sanken von 5,97 ± 3,53 auf 4,79 ± 1,19.
Einschränkungen
Nur die erste Antwort wurde ausgewertet; die Variabilität bei erneuter Generierung wurde nicht geprüft. Verschiedene Modellversionen und Interfaces wurden untersucht.
Schlussfolgerung der Autor:innen
Die Antwortqualität und die Nutzung hochwertiger Quellen waren 2026 höher, während Änderungen bei klinischer Genauigkeit und Source-to-claim-Support weniger klar waren. Klinisch relevante Fehler blieben bestehen.
Kernaussagen
- 86,9 % vs. 93,4 % vollständig korrekte Antworten
- GQS und mDISCERN stiegen zwischen 2024 und 2026
- Klinisch relevante Fehler blieben bei leitliniensensitiven Themen bestehen
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Urology Research and Practice, online erschienen am 02.11.2026. Verfasst von Berk Yasin Ekenci und 1 weiteren Autor:innen. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).
Abstract (Originalsprache)
Objective
The aim of this study was to compare clinical accuracy, response quality, and citation characteristics of ChatGPT-generated testicular cancer information across 2 assessments 20 months apart.
Methods
Sixty-one patient-oriented questions derived from European Association of Urology (EAU) Patient Information were submitted to ChatGPT-4o in December 2024 and repeated unchanged using ChatGPT-5.6 Luna in August 2026. Two urologists independently assessed accuracy against contemporaneous EAU guidelines and rated quality using the Global Quality Score (GQS) and modified DISCERN (mDISCERN). Citation quantity, source quality, and source-to-claim support were evaluated. Only the first response was retained; repeated-generation variability was not assessed.
Results
Fully accurate responses were 86.9% (53/61) in 2024 and 93.4% (57/61) in 2026 (P = .125). Of 8 clinically relevant inaccuracies in 2024, 4 were corrected, 3 improved but remained misleading, and 1 persisted. GQS increased from 3.75 ± 0.77 to 4.82 ± 0.41 and mDISCERN from 30.37 ± 4.65 to 36.80 ± 1.93 (both P < .001). Citations per response decreased from 5.97 ± 3.53 to 4.79 ± 1.19 (P = .042), while high-quality unique sources increased from 77.4% to 96.9% (P < .001). Fully supported sources were 80.1% and 86.4% (P = .050); 6 sources (2.6%) in 2026 did not support the claims.
Conclusion
Response quality and the use of high-quality sources were greater in 2026, whereas changes in clinical accuracy and source-to-claim support were less clear. Clinically meaningful errors persisted in guideline-sensitive topics. Because different model versions and interfaces were assessed, the findings represent model- and interface-specific snapshots, not a controlled head-to-head comparison. Cite this article as: Ekenci BY, Altan M. Comparison of ChatGPT-generated patient information on testicular cancer across two assessment periods: Clinical accuracy, response quality, and citation support. Urol Res Pract. 2026;52, doi: 10.5152/ tud.2026.26067
Zitieren
APA
Ekenci, B. Y., & Altan, M. (2026). Comparison of ChatGPT-Generated Patient Information on Testicular Cancer Across Two Assessment Periods: Clinical Accuracy, Response Quality, and Citation Support. Urology Research and Practice, 52, 1-8. https://doi.org/10.5152/tud.2026.26067
Vancouver
Ekenci BY, Altan M. Comparison of ChatGPT-Generated Patient Information on Testicular Cancer Across Two Assessment Periods: Clinical Accuracy, Response Quality, and Citation Support. Urology Research and Practice. 2026;52:1-8. doi:10.5152/tud.2026.26067
BibTeX
@article{Ekenci2026,
author = {Ekenci, Berk Yasin and Altan, Mehmet},
title = {Comparison of ChatGPT-Generated Patient Information on Testicular Cancer Across Two Assessment Periods: Clinical Accuracy, Response Quality, and Citation Support},
journal = {Urology Research and Practice},
year = {2026},
volume = {52},
pages = {1--8},
doi = {10.5152/tud.2026.26067}
}
EUVIMED