EUVIMEDEUVIMED entdecken
Vergleichsstudie

Evaluating Artificial Intelligence in Patient Education: DeepSeek ‐ V3 Versus ChatGPT ‐4o in Answering Common Questions on Laparoscopic Cholecystectomy

Evaluierung von Künstlicher Intelligenz in der Patientenedukation: DeepSeek‑V3 versus ChatGPT‑4o bei Antworten auf häufige Fragen zur laparoskopischen Cholezystektomie

Hilmi Anil Dincer iD, Dogukan Dogu iD

ANZ Journal of Surgery · 2025-11 · 95 (11) · 2322-2328

DOI: 10.1111/ans.70198 ↗

Auf einen Blick

DeepSeek‑V3 und ChatGPT‑4o beantworteten 20 häufige Fragen zur laparoskopischen Cholezystektomie. DeepSeek‑V3 wurde als geeigneter und angemessener bewertet.

Fragestellung

Wie geeignet, korrekt und lesbar sind Antworten von DeepSeek‑V3 und ChatGPT‑4o für die Patientenedukation zur laparoskopischen Cholezystektomie?

Methode

20 häufige Fragen zur laparoskopischen Cholezystektomie wurden beiden Chatbots vorgelegt. Zwei chirurgische Expert:innen bewerteten die Antworten per Likert-Skala; statistische Tests: gepaarter t‑Test und Wilcoxon-Test.

Ergebnisse

DeepSeek‑V3 erhielt häufiger die 5‑Punkte-Bewertung als ChatGPT‑4o (19/20; 95 % vs. 13/20; 65 %). Es lieferte statistisch signifikant geeignetere Antworten (p = 0,033) und passendere Antworten nach klinischer Einschätzung (p = 0,008).

Schlussfolgerung der Autor:innen

DeepSeek‑V3 liefert laut den Autor:innen geeignetere Antworten auf Patientenfragen zur laparoskopischen Cholezystektomie als ChatGPT‑4o.

Kernaussagen

  • 20 Fragen zur laparoskopischen Cholezystektomie wurden verglichen
  • DeepSeek‑V3 erhielt häufiger 5 Punkte als ChatGPT‑4o
  • DeepSeek‑V3 war in beiden Bewertungen statistisch überlegen

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Vergleichsstudie in der Zeitschrift ANZ Journal of Surgery, online erschienen am 11.06.2025. Verfasst von Hilmi Anil Dincer und 1 weiteren Autor:innen. Beteiligte Einrichtung: Faculty of Medicine, Department of General Surgery, Hacettepe University, Ankara, Turkey. Hauptthemen laut MEDLINE: Cholecystectomy, Laparoscopic, Artificial Intelligence, Patient Education as Topic. Die Arbeit wurde bisher 23-mal zitiert (Crossref) und nennt 32 Literaturangaben.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Background

Artificial intelligence‐based large language models (AI‐based LLMs) have gained popularity over traditional search engines for obtaining medical information. However, the accuracy and reliability of these AI‐generated medical insights remain a topic of debate. Recently, a new AI‐based LLM, DeepSeek‐V3, developed in East Asia, has been introduced. The aim of this study is to evaluate the appropriateness, accuracy, and readability of responses and the usability of these answers for patient education provided by ChatGPT‐4o and DeepSeek‐V3 AI‐based LLMs to frequently asked questions by patients regarding laparoscopic cholecystectomy (LC).

Methods

The 20 most frequently asked questions by patients regarding LC were presented to the DeepSeek‐V3 and ChatGPT‐4o chatbots. Before each question, the search history was deleted. The comprehensiveness of the responses was evaluated based on clinical experience by two board‐certified general surgeons experienced in hepatobiliary surgery using a Likert scale. Paired sample t ‐test and Wilcoxon signed rank test were used. Inter‐rater reliability was analyzed with Cohen's Kappa test.

Results

The DeepSeek‐V3 chatbot provided statistically significantly more suitable responses compared to ChatGPT‐4o ( p = 0.033). On the Likert scale, DeepSeek‐V3 received a 5‐point rating for 19 out of 20 questions (95%), whereas ChatGPT‐4o achieved a 5‐point rating for only 13 questions (65%). Based on the evaluation conducted according to the reviewers' clinical experience, DeepSeek‐V3 provided statistically significantly more appropriate responses ( p = 0.008).

Conclusion

Released in January 2025, DeepSeek‐V3 provides more suitable responses to patient inquiries regarding LC compared to ChatGPT‐4o.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Cholecystectomy, LaparoscopicArtificial IntelligencePatient Education as TopicHumansReproducibility of ResultsFemaleMaleSurveys and QuestionnairesMiddle AgedGenerative Artificial Intelligence

Stichwörter der Autor:innen

ChatGPT‐4oDeepSeek‐V3artificial intelligencelaparoscopic cholecystectomypatient education

Autor:innen und Institutionen

  • Faculty of Medicine, Department of General Surgery, Hacettepe University, Ankara, Turkey.
  • Department of General Surgery, Sincan Training and Research Hospital, Ankara, Turkey.

ORCID-Profile: Hilmi Anil Dincer, Dogukan Dogu

Zitieren

APA

Dincer, H. A., & Dogu, D. (2025). Evaluating Artificial Intelligence in Patient Education: DeepSeek ‐ V3 Versus ChatGPT ‐4o in Answering Common Questions on Laparoscopic Cholecystectomy. ANZ Journal of Surgery, 95(11), 2322-2328. https://doi.org/10.1111/ans.70198

Vancouver

Dincer HA, Dogu D. Evaluating Artificial Intelligence in Patient Education: DeepSeek ‐ V3 Versus ChatGPT ‐4o in Answering Common Questions on Laparoscopic Cholecystectomy. ANZ Journal of Surgery. 2025;95(11):2322-2328. doi:10.1111/ans.70198

BibTeX
@article{Dincer2025,
  author = {Dincer, Hilmi Anil and Dogu, Dogukan},
  title = {Evaluating Artificial Intelligence in Patient Education: DeepSeek ‐ V3 Versus ChatGPT ‐4o in Answering Common Questions on Laparoscopic Cholecystectomy},
  journal = {ANZ Journal of Surgery},
  year = {2025},
  volume = {95},
  number = {11},
  pages = {2322--2328},
  doi = {10.1111/ans.70198}
}
Kostenlos starten →