EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

Comparison of ChatGPT-Generated Patient Information on Testicular Cancer Across Two Assessment Periods: Clinical Accuracy, Response Quality, and Citation Support

Vergleich von ChatGPT-generierten Patienteninformationen zu Hodenkrebs über zwei Bewertungszeiträume: klinische Genauigkeit, Antwortqualität und Zitationsunterstützung

Berk Yasin Ekenci, Mehmet Altan

Urology Research and Practice · 02.11.2026 · 52 · 1-8

DOI: 10.5152/tud.2026.26067 ↗

Auf einen Blick

61 patientenorientierte Fragen zu Hodenkrebs wurden mit ChatGPT-4o 2024 und mit ChatGPT-5.6 Luna 2026 beantwortet. Die Antwortqualität und die Nutzung hochwertiger Quellen nahmen zu.

Fragestellung

Vergleich von klinischer Genauigkeit, Antwortqualität und Zitiermerkmalen von ChatGPT-generierten Informationen zu Hodenkrebs über 2 Zeitpunkte mit 20 Monaten Abstand.

Methode

61 Fragen aus EAU-Patienteninformationen wurden im Dezember 2024 und im August 2026 an ChatGPT gestellt. Zwei Urolog:innen bewerteten Genauigkeit gegen EAU-Leitlinien sowie GQS und mDISCERN.

Ergebnisse

Vollständig korrekte Antworten: 86,9 % (53/61) 2024 und 93,4 % (57/61) 2026 (P = .125). GQS und mDISCERN stiegen; Zitate pro Antwort sanken von 5,97 ± 3,53 auf 4,79 ± 1,19.

Einschränkungen

Nur die erste Antwort wurde ausgewertet; die Variabilität bei erneuter Generierung wurde nicht geprüft. Verschiedene Modellversionen und Interfaces wurden untersucht.

Schlussfolgerung der Autor:innen

Die Antwortqualität und die Nutzung hochwertiger Quellen waren 2026 höher, während Änderungen bei klinischer Genauigkeit und Source-to-claim-Support weniger klar waren. Klinisch relevante Fehler blieben bestehen.

Kernaussagen

  • 86,9 % vs. 93,4 % vollständig korrekte Antworten
  • GQS und mDISCERN stiegen zwischen 2024 und 2026
  • Klinisch relevante Fehler blieben bei leitliniensensitiven Themen bestehen

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Urology Research and Practice, online erschienen am 02.11.2026. Verfasst von Berk Yasin Ekenci und 1 weiteren Autor:innen. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).

Auf einen BlickAbstractBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Objective

The aim of this study was to compare clinical accuracy, response quality, and citation characteristics of ChatGPT-generated testicular cancer information across 2 assessments 20 months apart.

Methods

Sixty-one patient-oriented questions derived from European Association of Urology (EAU) Patient Information were submitted to ChatGPT-4o in December 2024 and repeated unchanged using ChatGPT-5.6 Luna in August 2026. Two urologists independently assessed accuracy against contemporaneous EAU guidelines and rated quality using the Global Quality Score (GQS) and modified DISCERN (mDISCERN). Citation quantity, source quality, and source-to-claim support were evaluated. Only the first response was retained; repeated-generation variability was not assessed.

Results

Fully accurate responses were 86.9% (53/61) in 2024 and 93.4% (57/61) in 2026 (P = .125). Of 8 clinically relevant inaccuracies in 2024, 4 were corrected, 3 improved but remained misleading, and 1 persisted. GQS increased from 3.75 ± 0.77 to 4.82 ± 0.41 and mDISCERN from 30.37 ± 4.65 to 36.80 ± 1.93 (both P < .001). Citations per response decreased from 5.97 ± 3.53 to 4.79 ± 1.19 (P = .042), while high-quality unique sources increased from 77.4% to 96.9% (P < .001). Fully supported sources were 80.1% and 86.4% (P = .050); 6 sources (2.6%) in 2026 did not support the claims.

Conclusion

Response quality and the use of high-quality sources were greater in 2026, whereas changes in clinical accuracy and source-to-claim support were less clear. Clinically meaningful errors persisted in guideline-sensitive topics. Because different model versions and interfaces were assessed, the findings represent model- and interface-specific snapshots, not a controlled head-to-head comparison. Cite this article as: Ekenci BY, Altan M. Comparison of ChatGPT-generated patient information on testicular cancer across two assessment periods: Clinical accuracy, response quality, and citation support. Urol Res Pract. 2026;52, doi: 10.5152/ tud.2026.26067

Zitieren

APA

Ekenci, B. Y., & Altan, M. (2026). Comparison of ChatGPT-Generated Patient Information on Testicular Cancer Across Two Assessment Periods: Clinical Accuracy, Response Quality, and Citation Support. Urology Research and Practice, 52, 1-8. https://doi.org/10.5152/tud.2026.26067

Vancouver

Ekenci BY, Altan M. Comparison of ChatGPT-Generated Patient Information on Testicular Cancer Across Two Assessment Periods: Clinical Accuracy, Response Quality, and Citation Support. Urology Research and Practice. 2026;52:1-8. doi:10.5152/tud.2026.26067

BibTeX
@article{Ekenci2026,
  author = {Ekenci, Berk Yasin and Altan, Mehmet},
  title = {Comparison of ChatGPT-Generated Patient Information on Testicular Cancer Across Two Assessment Periods: Clinical Accuracy, Response Quality, and Citation Support},
  journal = {Urology Research and Practice},
  year = {2026},
  volume = {52},
  pages = {1--8},
  doi = {10.5152/tud.2026.26067}
}
Kostenlos starten →