EUVIMEDEUVIMED entdecken
Multizentrische StudieRandomisierte kontrollierte StudieOpen Access · CC BY-NC-ND 4.0

Influence of artificial intelligence on the diagnostic performance of endoscopists in the assessment of Barrett’s esophagus: a tandem randomized and video trial

Einfluss von künstlicher Intelligenz auf die diagnostische Leistung von Endoskopiker:innen bei der Beurteilung von Barrett-Ösophagus: Tandem-Randomisierungs- und Video-Studie

Michael Meinikheim iD, Robert Mendel, Christoph Palm, Andreas Probst, Anna Muzalyova, Markus W Scheppach, Sandra Nagl, Elisabeth Schnoy, Christoph Römmele iD, Dominik A H Schulz, Jakob Schlottmann, Friederike Prinz und 8 weitere

Endoscopy · 2024-09 · 56 (09) · 641-649

DOI: 10.1055/a-2296-5696 ↗

Auf einen Blick

In 96 standardisierten Endoskopievideos verbesserte KI die diagnostische Leistung von BE-Nichtexpert:innen und deren diagnostische Sicherheit. Expert:innen und Nichtexpert:innen blieben unter der Stand-alone-Leistung der KI.

Fragestellung

Verbessert ein KI-basiertes klinisches Entscheidungsunterstützungssystem die Leistung und diagnostische Sicherheit von Endoskopiker:innen bei Barrett-Ösophagus?

Methode

96 standardisierte Endoskopievideos wurden von 22 Endoskopiker:innen aus 12 Zentren randomisiert in 2 Sets beurteilt, mit und ohne KI; Beurteilung von BERN und Biopsiestelle.

Ergebnisse

KI allein: Sensitivität 92,2 %, Spezifität 68,9 %, Genauigkeit 81,3 %. Ohne KI erreichten BE-Expert:innen Sensitivität 83,3 %, Spezifität 58,1 %, Genauigkeit 71,5 %. Mit KI stieg bei BE-Nichtexpert:innen die Sensitivität von 69,8 % auf 78,0 % und die Spezifität von 67,3 % auf 72,7 %; auch die diagnostische Sicherheit nahm zu.

Schlussfolgerung der Autor:innen

BE-Nichtexpert:innen profitierten signifikant von zusätzlicher KI. Expert:innen und Nichtexpert:innen blieben unter der Stand-alone-Leistung der KI; weitere Faktoren könnten die Übernahme von KI-Ratschlägen beeinflussen.

Kernaussagen

  • KI allein: Sensitivität 92,2 %, Spezifität 68,9 %, Genauigkeit 81,3 %
  • Nichtexpert:innen: Sensitivität 69,8 % auf 78,0 %; Spezifität 67,3 % auf 72,7 %
  • Diagnostische Sicherheit der Nichtexpert:innen verbesserte sich mit KI

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Multizentrische Studie in der Zeitschrift Endoscopy, online erschienen am 02.05.2024. Verfasst von Michael Meinikheim und 19 weiteren Autor:innen. Beteiligte Einrichtung: Department of Gastroenterology, University Hospital Augsburg, Augsburg, Germany. Hauptthemen laut MEDLINE: Artificial Intelligence, Barrett Esophagus, Decision Support Systems, Clinical, Esophageal Neoplasms. Die Arbeit wurde bisher 47-mal zitiert (Crossref) und nennt 29 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY-NC-ND 4.0).

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Background

This study evaluated the effect of an artificial intelligence (AI)-based clinical decision support system on the performance and diagnostic confidence of endoscopists in their assessment of Barrett’s esophagus (BE).

Methods

96 standardized endoscopy videos were assessed by 22 endoscopists with varying degrees of BE experience from 12 centers. Assessment was randomized into two video sets: group A (review first without AI and second with AI) and group B (review first with AI and second without AI). Endoscopists were required to evaluate each video for the presence of Barrett’s esophagus-related neoplasia (BERN) and then decide on a spot for a targeted biopsy. After the second assessment, they were allowed to change their clinical decision and confidence level.

Results

AI had a stand-alone sensitivity, specificity, and accuracy of 92.2%, 68.9%, and 81.3%, respectively. Without AI, BE experts had an overall sensitivity, specificity, and accuracy of 83.3%, 58.1%, and 71.5%, respectively. With AI, BE nonexperts showed a significant improvement in sensitivity and specificity when videos were assessed a second time with AI (sensitivity 69.8% [95%CI 65.2%–74.2%] to 78.0% [95%CI 74.0%–82.0%]; specificity 67.3% [95%CI 62.5%–72.2%] to 72.7% [95%CI 68.2%–77.3%]). In addition, the diagnostic confidence of BE nonexperts improved significantly with AI.

Conclusion

BE nonexperts benefitted significantly from additional AI. BE experts and nonexperts remained significantly below the stand-alone performance of AI, suggesting that there may be other factors influencing endoscopists’ decisions to follow or discard AI advice.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Artificial IntelligenceBarrett EsophagusDecision Support Systems, ClinicalEsophageal NeoplasmsEsophagoscopyHumansBiopsyClinical CompetenceSensitivity and SpecificityVideo Recording

Autor:innen und Institutionen

  • Department of Gastroenterology, University Hospital Augsburg, Augsburg, Germany.
  • Regensburg Medical Image Computing, Ostbayerische Technische Hochschule Regensburg, Regensburg, Germany.
  • Department of Gastroenterology, Chiba University Graduate School of Medicine, Chiba, Japan.
  • Endoscopy Unit, Gastroenterology Department, ICMDM, Hospital Clínic de Barcelona, Barcelona, Spain.
  • Faculty of Medicine, University of Barcelona, Barcelona, Spain.
  • Institut d'Investigacions Biomèdiques August Pi i Sunyer (IDIBAPS), Barcelona, Spain.

ORCID-Profile: Michael Meinikheim, Christoph Römmele, Tomoaki Matsumura

Zitieren

APA

Meinikheim, M., Mendel, R., Palm, C., Probst, A., Muzalyova, A., Scheppach, M. W., Nagl, S., Schnoy, E., Römmele, C., Schulz, D. A. H., Schlottmann, J., Prinz, F., Rauber, D., Rückert, T., Matsumura, T., Fernández-Esparrach, G., Parsa, N., Byrne, M. F., Messmann, H., & Ebigbo, A. (2024). Influence of artificial intelligence on the diagnostic performance of endoscopists in the assessment of Barrett’s esophagus: a tandem randomized and video trial. Endoscopy, 56(09), 641-649. https://doi.org/10.1055/a-2296-5696

Vancouver

Meinikheim M, Mendel R, Palm C, Probst A, Muzalyova A, Scheppach MW, et al. Influence of artificial intelligence on the diagnostic performance of endoscopists in the assessment of Barrett’s esophagus: a tandem randomized and video trial. Endoscopy. 2024;56(09):641-649. doi:10.1055/a-2296-5696

BibTeX
@article{Meinikheim2024,
  author = {Meinikheim, Michael and Mendel, Robert and Palm, Christoph and Probst, Andreas and Muzalyova, Anna and Scheppach, Markus W and Nagl, Sandra and Schnoy, Elisabeth and Römmele, Christoph and Schulz, Dominik A H and Schlottmann, Jakob and Prinz, Friederike and Rauber, David and Rückert, Tobias and Matsumura, Tomoaki and Fernández-Esparrach, Glòria and Parsa, Nasim and Byrne, Michael F and Messmann, Helmut and Ebigbo, Alanna},
  title = {Influence of artificial intelligence on the diagnostic performance of endoscopists in the assessment of Barrett’s esophagus: a tandem randomized and video trial},
  journal = {Endoscopy},
  year = {2024},
  volume = {56},
  number = {09},
  pages = {641--649},
  doi = {10.1055/a-2296-5696}
}
Kostenlos starten →