EUVIMEDEUVIMED entdecken
Open Access · CC BY-NC 4.0

Evaluation of the Mayo endoscopic score in ulcerative colitis using a multimodal large language model: a human-blinded accuracy study

Bewertung des Mayo endoscopic score bei Colitis ulcerosa mit einem multimodalen Large-Language-Modell: verblindete Genauigkeitsstudie am Menschen

Antonietta Gerarda Gravina, Raffaele Pellegrino, Giuseppe Imperio, Michele Izzo, Ilaria De Costanzo, Fabio Landa, Stefano Pellegrino, Alessandro Federico

Intestinal Research · 31.10.2026 · 24 (4) · 724-734

DOI: 10.5217/ir.2025.00138 ↗

Auf einen Blick

ChatGPT-4o zeigte nur eine geringe Übereinstimmung mit Expert:innen bei der Bewertung des Mayo endoscopic score. Die Trefferquote lag bei 44 % bzw. 45,3 %.

Fragestellung

Kann ChatGPT-4o den Mayo endoscopic score (MES) auf endoskopischen Bildern mit Expert:innen-Übereinstimmung vergeben?

Methode

Verblindete Genauigkeitsstudie; Auswahlset mit hochwertigen endoskopischen Frames, Vergleich von 4 Eingabemodellen, Bestätigung in 304 Frames.

Ergebnisse

Ein vorgetestetes Modell zeigte signifikante Übereinstimmung: κ = 0,232 (95 %-KI 0,167–0,296), ρ = 0,36. Im erweiterten Set: κ = 0,260 (95 %-KI 0,195–0,324), ρ = 0,288. Für moderat bis schwer aktiv: Sensitivität 73 %, Spezifität 60 %, PPV 32 %, NPV 90 %.

Schlussfolgerung der Autor:innen

ChatGPT-4o zeigt laut Autor:innen nur ein mildes Potenzial zur Bewertung des MES in endoskopischen Frames; weitere Verbesserungen sind nötig.

Kernaussagen

  • Übereinstimmung mit Expert:innen nur gering
  • Absolute Übereinstimmung: 44 % und 45,3 %
  • Moderate bis schwere Aktivität: Sensitivität 73 %, Spezifität 60 %

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Intestinal Research, erschienen am 31.10.2026. Verfasst von Antonietta Gerarda Gravina und 7 weiteren Autor:innen. Beteiligte Einrichtung: Division of Hepatogastroenterology, Department of Precision Medicine, University of Campania Luigi Vanvitelli, Naples, Italy. Die Arbeit wurde bisher 1-mal zitiert (Crossref) und nennt 33 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY-NC 4.0).

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Background/Aims: To date, some large language models (LLMs), such as Chat Generative Pre-trained Transformer 4-omni (ChatGPT-4o), can process images through visual transformer patching. An LLM analysis was conducted to assess the ability of ChatGPT-4o to assign the Mayo endoscopic score (MES).

Methods

A selection set of high-quality endoscopic frames was identified to compare 4 input models to select the most performant, confirmed in an extended set of 304 frames. Concordance with the evaluation by expert endoscopists was assessed.

Results

Only one of the pre-tested models demonstrated significant concordance (κ = 0.232, 95% confidence interval [CI] = 0.167 to 0.296, P= 0.003; ρ = 0.36, P= 0.011), with a mean bias of –0.26 ± 1.192 (95% CI, –2.596 to 2.076). This was confirmed in the extended set (κ = 0.260, 95% CI = 0.195 to 0.324, P< 0.001; ρ = 0.288, P< 0.001). The absolute concordance for the selected model was 44% and 45.3% in the selection and extended sets, respectively. For the identification of moderately-to-severely active disease, a sensitivity of 73% (95% CI, 60% to 82%), specificity of 60% (95% CI, 54% to 66%), positive predictive value of 32% (95% CI, 25% to 40%), and negative predictive value of 90% (95% CI, 84% to 93%) were identified.

Conclusions

ChatGPT-4o shows a mild potential in evaluating MES in endoscopic frames, but further refinements are mandatory.

Schlagwörter

Stichwörter der Autor:innen

ColonoscopyGenerative artificial intelligenceLarge language modelsMayo endoscopic score

Autor:innen und Institutionen

  • Division of Hepatogastroenterology, Department of Precision Medicine, University of Campania Luigi Vanvitelli, Naples, Italy.
  • Division of Hepatogastroenterology, Department of Precision Medicine, University of Campania Luigi Vanvitelli, Naples, Italy. raffaele.pellegrino@unicampania.it.

Zitieren

APA

Gravina, A. G., Pellegrino, R., Imperio, G., Izzo, M., De Costanzo, I., Landa, F., Pellegrino, S., & Federico, A. (2026). Evaluation of the Mayo endoscopic score in ulcerative colitis using a multimodal large language model: a human-blinded accuracy study. Intestinal Research, 24(4), 724-734. https://doi.org/10.5217/ir.2025.00138

Vancouver

Gravina AG, Pellegrino R, Imperio G, Izzo M, De Costanzo I, Landa F, et al. Evaluation of the Mayo endoscopic score in ulcerative colitis using a multimodal large language model: a human-blinded accuracy study. Intestinal Research. 2026;24(4):724-734. doi:10.5217/ir.2025.00138

BibTeX
@article{Gravina2026,
  author = {Gravina, Antonietta Gerarda and Pellegrino, Raffaele and Imperio, Giuseppe and Izzo, Michele and De Costanzo, Ilaria and Landa, Fabio and Pellegrino, Stefano and Federico, Alessandro},
  title = {Evaluation of the Mayo endoscopic score in ulcerative colitis using a multimodal large language model: a human-blinded accuracy study},
  journal = {Intestinal Research},
  year = {2026},
  volume = {24},
  number = {4},
  pages = {724--734},
  doi = {10.5217/ir.2025.00138}
}
Kostenlos starten →