Large Language Models versus Expert Response: A Comparative Analysis of Patient Education Quality after Skull Base Surgery
Große Sprachmodelle versus Expertenantworten: Vergleich der Qualität von Patienteninformationen nach Schädelbasischirurgie
Journal of Neurological Surgery Part B: Skull Base · 15.10.2026
DOI: 10.1055/a-2976-6204 ↗Auf einen Blick
LLM-Antworten auf 8 postoperative Fragen nach endoskopischer Schädelbasischirurgie waren verständlicher, handlungsleitender und besser lesbar als Expertenantworten. Die Genauigkeit war meist vergleichbar.
Fragestellung
Wie unterscheiden sich LLM-generierte Antworten und Expertenantworten bei häufigen postoperativen Fragen nach endoskopischer Schädelbasischirurgie?
Methode
Vergleichsstudie mit 8 postoperativen Fragen; Antworten von 7 LLMs und Expert:innen; 8 verblindete Rater bewerteten Verständlichkeit, Handlungsfähigkeit und Genauigkeit; Vergleich per ANOVA und Tukey-HSD.
Ergebnisse
Die meisten LLM-Antworten erreichten eine mit Expert:innen vergleichbare Genauigkeit (p > 0,05), außer ChatGPT-o1 (p = 0,006). Verständlichkeit: F(7, 56) = 23,42; p < 0,001; η2 = 0,75. Handlungsfähigkeit: F(7, 56) = 21,06; p < 0,001; η2 = 0,72.
Schlussfolgerung der Autor:innen
LLMs erzeugten verständlichere, handlungsleitendere und besser lesbare Antworten als Expert:innen bei vergleichbarer Genauigkeit; für die postoperative Beratung nach Schädelbasischirurgie bleibt ärztliche Aufsicht wichtig.
Kernaussagen
- LLM-Antworten waren verständlicher und handlungsleitender als Expertenantworten.
- Die Genauigkeit war meist vergleichbar; nur ChatGPT-o1 schnitt schlechter ab.
- Gemini, GROK, Meta und DeepSeek erzielten die höchsten PEMAT-Werte.
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Journal of Neurological Surgery Part B: Skull Base, erschienen am 15.10.2026. Verfasst von Mahdokht Sadat Manavi und 13 weiteren Autor:innen. Die Arbeit nennt 15 Literaturangaben.
Abstract (Originalsprache)
Patients undergoing endoscopic skull base surgery (ESBS) often seek postoperative guidance. Large language models (LLMs) are increasingly accessible resources, but their quality in this setting remains poorly studied. This study compared LLM-generated responses with expert responses for common postoperative ESBS questions. Eight common postoperative questions were answered by seven LLMs (ChatGPT-o1, Gemini, Claude, Meta, GROK, DeepSeek, Copilot) and expert surgeons. Eight blinded raters evaluated responses for understandability and actionability using the Patient Education Materials Assessment Tool (PEMAT), while accuracy was graded on a 5-point Likert scale. Readability was assessed using Flesch-Kincaid Grade Level (FKGL) and Flesch Reading Ease Score (FRES). ANOVA with Tukey's honestly significant difference (HSD) tested group differences. Most LLM-generated responses showed accuracy comparable to expert responses (p > 0.05), except ChatGPT-o1, which scored lower (p = 0.006). Significant differences were found in understandability (F(7, 56) = 23.42, p < 0.001, η2 = 0.75) and actionability (F(7, 56) = 21.06, p < 0.001, η2 = 0.72). Gemini, GROK, Meta, and DeepSeek achieved the highest PEMAT scores. Expert responses scored lowest on PEMAT. Expert and Claude required college-level reading, whereas ChatGPT-o1 and Copilot produced grade school–level content. Gemini, GROK, Meta, and DeepSeek produced high school–level text. LLMs generated responses that were more understandable, actionable, and readable than expert responses while maintaining comparable accuracy. LLMs may improve postoperative counseling after skull base surgery, though expert oversight remains essential.
Zitieren
APA
Manavi, M. S., Ayoub, N., Rahman, A., Callender, J., Levi, L., Liu, D., Renteria, A. E., Fieux, M., Banu, M., Miranda, J. C. F., Hwang, P. H., Nayak, J. V., Patel, Z. M., & Chang, M. T. (2026). Large Language Models versus Expert Response: A Comparative Analysis of Patient Education Quality after Skull Base Surgery. Journal of Neurological Surgery Part B: Skull Base. https://doi.org/10.1055/a-2976-6204
Vancouver
Manavi MS, Ayoub N, Rahman A, Callender J, Levi L, Liu D, et al. Large Language Models versus Expert Response: A Comparative Analysis of Patient Education Quality after Skull Base Surgery. Journal of Neurological Surgery Part B: Skull Base. 2026. doi:10.1055/a-2976-6204
BibTeX
@article{Manavi2026,
author = {Manavi, Mahdokht Sadat and Ayoub, Noel and Rahman, Arifeen and Callender, Jacquelyn and Levi, Lirit and Liu, David and Renteria, Axel E. and Fieux, Maxime and Banu, Matei and Miranda, Juan Carlos Fernandez and Hwang, Peter H. and Nayak, Jayakar V. and Patel, Zara M. and Chang, Michael T.},
title = {Large Language Models versus Expert Response: A Comparative Analysis of Patient Education Quality after Skull Base Surgery},
journal = {Journal of Neurological Surgery Part B: Skull Base},
year = {2026},
doi = {10.1055/a-2976-6204}
}
EUVIMED