Evaluation of the Mayo endoscopic score in ulcerative colitis using a multimodal large language model: a human-blinded accuracy study
Bewertung des Mayo endoscopic score bei Colitis ulcerosa mit einem multimodalen Large-Language-Modell: verblindete Genauigkeitsstudie am Menschen
Intestinal Research · 31.10.2026 · 24 (4) · 724-734
DOI: 10.5217/ir.2025.00138 ↗Auf einen Blick
ChatGPT-4o zeigte nur eine geringe Übereinstimmung mit Expert:innen bei der Bewertung des Mayo endoscopic score. Die Trefferquote lag bei 44 % bzw. 45,3 %.
Fragestellung
Kann ChatGPT-4o den Mayo endoscopic score (MES) auf endoskopischen Bildern mit Expert:innen-Übereinstimmung vergeben?
Methode
Verblindete Genauigkeitsstudie; Auswahlset mit hochwertigen endoskopischen Frames, Vergleich von 4 Eingabemodellen, Bestätigung in 304 Frames.
Ergebnisse
Ein vorgetestetes Modell zeigte signifikante Übereinstimmung: κ = 0,232 (95 %-KI 0,167–0,296), ρ = 0,36. Im erweiterten Set: κ = 0,260 (95 %-KI 0,195–0,324), ρ = 0,288. Für moderat bis schwer aktiv: Sensitivität 73 %, Spezifität 60 %, PPV 32 %, NPV 90 %.
Schlussfolgerung der Autor:innen
ChatGPT-4o zeigt laut Autor:innen nur ein mildes Potenzial zur Bewertung des MES in endoskopischen Frames; weitere Verbesserungen sind nötig.
Kernaussagen
- Übereinstimmung mit Expert:innen nur gering
- Absolute Übereinstimmung: 44 % und 45,3 %
- Moderate bis schwere Aktivität: Sensitivität 73 %, Spezifität 60 %
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Intestinal Research, erschienen am 31.10.2026. Verfasst von Antonietta Gerarda Gravina und 7 weiteren Autor:innen. Beteiligte Einrichtung: Division of Hepatogastroenterology, Department of Precision Medicine, University of Campania Luigi Vanvitelli, Naples, Italy. Die Arbeit wurde bisher 1-mal zitiert (Crossref) und nennt 33 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY-NC 4.0).
Abstract (Originalsprache)
Background/Aims: To date, some large language models (LLMs), such as Chat Generative Pre-trained Transformer 4-omni (ChatGPT-4o), can process images through visual transformer patching. An LLM analysis was conducted to assess the ability of ChatGPT-4o to assign the Mayo endoscopic score (MES).
Methods
A selection set of high-quality endoscopic frames was identified to compare 4 input models to select the most performant, confirmed in an extended set of 304 frames. Concordance with the evaluation by expert endoscopists was assessed.
Results
Only one of the pre-tested models demonstrated significant concordance (κ = 0.232, 95% confidence interval [CI] = 0.167 to 0.296, P= 0.003; ρ = 0.36, P= 0.011), with a mean bias of –0.26 ± 1.192 (95% CI, –2.596 to 2.076). This was confirmed in the extended set (κ = 0.260, 95% CI = 0.195 to 0.324, P< 0.001; ρ = 0.288, P< 0.001). The absolute concordance for the selected model was 44% and 45.3% in the selection and extended sets, respectively. For the identification of moderately-to-severely active disease, a sensitivity of 73% (95% CI, 60% to 82%), specificity of 60% (95% CI, 54% to 66%), positive predictive value of 32% (95% CI, 25% to 40%), and negative predictive value of 90% (95% CI, 84% to 93%) were identified.
Conclusions
ChatGPT-4o shows a mild potential in evaluating MES in endoscopic frames, but further refinements are mandatory.
Schlagwörter
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Division of Hepatogastroenterology, Department of Precision Medicine, University of Campania Luigi Vanvitelli, Naples, Italy.
- Division of Hepatogastroenterology, Department of Precision Medicine, University of Campania Luigi Vanvitelli, Naples, Italy. raffaele.pellegrino@unicampania.it.
Zitieren
APA
Gravina, A. G., Pellegrino, R., Imperio, G., Izzo, M., De Costanzo, I., Landa, F., Pellegrino, S., & Federico, A. (2026). Evaluation of the Mayo endoscopic score in ulcerative colitis using a multimodal large language model: a human-blinded accuracy study. Intestinal Research, 24(4), 724-734. https://doi.org/10.5217/ir.2025.00138
Vancouver
Gravina AG, Pellegrino R, Imperio G, Izzo M, De Costanzo I, Landa F, et al. Evaluation of the Mayo endoscopic score in ulcerative colitis using a multimodal large language model: a human-blinded accuracy study. Intestinal Research. 2026;24(4):724-734. doi:10.5217/ir.2025.00138
BibTeX
@article{Gravina2026,
author = {Gravina, Antonietta Gerarda and Pellegrino, Raffaele and Imperio, Giuseppe and Izzo, Michele and De Costanzo, Ilaria and Landa, Fabio and Pellegrino, Stefano and Federico, Alessandro},
title = {Evaluation of the Mayo endoscopic score in ulcerative colitis using a multimodal large language model: a human-blinded accuracy study},
journal = {Intestinal Research},
year = {2026},
volume = {24},
number = {4},
pages = {724--734},
doi = {10.5217/ir.2025.00138}
}
EUVIMED