EUVIMEDEUVIMED entdecken
Crossref

Large Language Models versus Expert Response: A Comparative Analysis of Patient Education Quality after Skull Base Surgery

Große Sprachmodelle versus Expertenantworten: Vergleich der Qualität von Patienteninformationen nach Schädelbasischirurgie

Mahdokht Sadat Manavi, Noel Ayoub, Arifeen Rahman, Jacquelyn Callender, Lirit Levi, David Liu, Axel E. Renteria, Maxime Fieux, Matei Banu, Juan Carlos Fernandez Miranda, Peter H. Hwang, Jayakar V. Nayak und 2 weitere

Journal of Neurological Surgery Part B: Skull Base · 15.10.2026

DOI: 10.1055/a-2976-6204 ↗

Auf einen Blick

LLM-Antworten auf 8 postoperative Fragen nach endoskopischer Schädelbasischirurgie waren verständlicher, handlungsleitender und besser lesbar als Expertenantworten. Die Genauigkeit war meist vergleichbar.

Fragestellung

Wie unterscheiden sich LLM-generierte Antworten und Expertenantworten bei häufigen postoperativen Fragen nach endoskopischer Schädelbasischirurgie?

Methode

Vergleichsstudie mit 8 postoperativen Fragen; Antworten von 7 LLMs und Expert:innen; 8 verblindete Rater bewerteten Verständlichkeit, Handlungsfähigkeit und Genauigkeit; Vergleich per ANOVA und Tukey-HSD.

Ergebnisse

Die meisten LLM-Antworten erreichten eine mit Expert:innen vergleichbare Genauigkeit (p > 0,05), außer ChatGPT-o1 (p = 0,006). Verständlichkeit: F(7, 56) = 23,42; p < 0,001; η2 = 0,75. Handlungsfähigkeit: F(7, 56) = 21,06; p < 0,001; η2 = 0,72.

Schlussfolgerung der Autor:innen

LLMs erzeugten verständlichere, handlungsleitendere und besser lesbare Antworten als Expert:innen bei vergleichbarer Genauigkeit; für die postoperative Beratung nach Schädelbasischirurgie bleibt ärztliche Aufsicht wichtig.

Kernaussagen

  • LLM-Antworten waren verständlicher und handlungsleitender als Expertenantworten.
  • Die Genauigkeit war meist vergleichbar; nur ChatGPT-o1 schnitt schlechter ab.
  • Gemini, GROK, Meta und DeepSeek erzielten die höchsten PEMAT-Werte.

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Journal of Neurological Surgery Part B: Skull Base, erschienen am 15.10.2026. Verfasst von Mahdokht Sadat Manavi und 13 weiteren Autor:innen. Die Arbeit nennt 15 Literaturangaben.

Auf einen BlickAbstractBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Patients undergoing endoscopic skull base surgery (ESBS) often seek postoperative guidance. Large language models (LLMs) are increasingly accessible resources, but their quality in this setting remains poorly studied. This study compared LLM-generated responses with expert responses for common postoperative ESBS questions. Eight common postoperative questions were answered by seven LLMs (ChatGPT-o1, Gemini, Claude, Meta, GROK, DeepSeek, Copilot) and expert surgeons. Eight blinded raters evaluated responses for understandability and actionability using the Patient Education Materials Assessment Tool (PEMAT), while accuracy was graded on a 5-point Likert scale. Readability was assessed using Flesch-Kincaid Grade Level (FKGL) and Flesch Reading Ease Score (FRES). ANOVA with Tukey's honestly significant difference (HSD) tested group differences. Most LLM-generated responses showed accuracy comparable to expert responses (p > 0.05), except ChatGPT-o1, which scored lower (p = 0.006). Significant differences were found in understandability (F(7, 56) = 23.42, p < 0.001, η2 = 0.75) and actionability (F(7, 56) = 21.06, p < 0.001, η2 = 0.72). Gemini, GROK, Meta, and DeepSeek achieved the highest PEMAT scores. Expert responses scored lowest on PEMAT. Expert and Claude required college-level reading, whereas ChatGPT-o1 and Copilot produced grade school–level content. Gemini, GROK, Meta, and DeepSeek produced high school–level text. LLMs generated responses that were more understandable, actionable, and readable than expert responses while maintaining comparable accuracy. LLMs may improve postoperative counseling after skull base surgery, though expert oversight remains essential.

Zitieren

APA

Manavi, M. S., Ayoub, N., Rahman, A., Callender, J., Levi, L., Liu, D., Renteria, A. E., Fieux, M., Banu, M., Miranda, J. C. F., Hwang, P. H., Nayak, J. V., Patel, Z. M., & Chang, M. T. (2026). Large Language Models versus Expert Response: A Comparative Analysis of Patient Education Quality after Skull Base Surgery. Journal of Neurological Surgery Part B: Skull Base. https://doi.org/10.1055/a-2976-6204

Vancouver

Manavi MS, Ayoub N, Rahman A, Callender J, Levi L, Liu D, et al. Large Language Models versus Expert Response: A Comparative Analysis of Patient Education Quality after Skull Base Surgery. Journal of Neurological Surgery Part B: Skull Base. 2026. doi:10.1055/a-2976-6204

BibTeX
@article{Manavi2026,
  author = {Manavi, Mahdokht Sadat and Ayoub, Noel and Rahman, Arifeen and Callender, Jacquelyn and Levi, Lirit and Liu, David and Renteria, Axel E. and Fieux, Maxime and Banu, Matei and Miranda, Juan Carlos Fernandez and Hwang, Peter H. and Nayak, Jayakar V. and Patel, Zara M. and Chang, Michael T.},
  title = {Large Language Models versus Expert Response: A Comparative Analysis of Patient Education Quality after Skull Base Surgery},
  journal = {Journal of Neurological Surgery Part B: Skull Base},
  year = {2026},
  doi = {10.1055/a-2976-6204}
}
Kostenlos starten →