EUVIMEDEUVIMED entdecken
Systematische Übersicht

Using an artificial intelligence tool can be as accurate as human assessors in level one screening for a systematic review

Der Einsatz eines KI-Tools kann bei der Level-One-Sichtung für ein systematisches Review so genau sein wie menschliche Beurteilende

Joseph K Burns iD, Cole Etherington iD, Olivia Cheng-Boivin, Sylvain Boet iD

Health Information & Libraries Journal · 2024-06 · 41 (2) · 136-148

DOI: 10.1111/hir.12413 ↗

Auf einen Blick

In einer Fallstudie mit 300 Artikeln war DistillerAI bei der Erstsichtung ähnlich genau wie menschliche Beurteilende. Bei bestimmten Konfidenzschwellen lag die Sensitivität bei 1,0 und die Spezifität bei 0,9 bis 1,0.

Fragestellung

Wie genau identifiziert ein KI-Tool geeignete Referenzen für ein systematisches Review im Vergleich zu menschlichen Beurteilenden?

Methode

Diagnostische-Genauigkeitsstudie in einer Fallstudie zu Interventionen der Wissensübersetzung; 300 Artikel wurden unabhängig von menschlichen Rater:innen und DistillerAI geprüft.

Ergebnisse

Bei einer unteren KI-Konfidenzschwelle von 0,1 oder höher und einer oberen von 0,9 oder niedriger traf DistillerAI Entscheidungen ähnlich wie menschliche Beurteilende. Es entschied bei 93–100 % der Artikel; Sensitivität 1,0, Spezifität 0,9–1,0.

Schlussfolgerung der Autor:innen

DistillerAI scheint in dieser Fallstudie mit 300 Artikeln bei der Beurteilung von Artikeln genau zu sein. Weitere Tests sollen die Leistung in anderen Fachgebieten zeigen.

Kernaussagen

  • DistillerAI war bei der Erstsichtung ähnlich genau wie Menschen
  • Sensitivität 1,0 bei den genannten Konfidenzschwellen
  • Spezifität 0,9 bis 1,0; Entscheidungen zu 93–100 % der Artikel

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Systematische Übersicht in der Zeitschrift Health Information & Libraries Journal, online erschienen am 18.11.2021. Verfasst von Joseph K Burns und 3 weiteren Autor:innen. Beteiligte Einrichtung: Clinical Epidemiology Program, Ottawa Hospital Research Institute, Ottawa, ON, Canada. Hauptthemen laut MEDLINE: Artificial Intelligence. Die Arbeit wurde bisher 22-mal zitiert (Crossref) und nennt 24 Literaturangaben. Gefördert von: Dr. Boet was supported by The Ottawa Hospital Anesthesia Alternate Funds Association and the Faculty of Medicine, University of Ottawa with a Tier 2 Clinical R…, The DistillerSR licences were funded by the Department of Anesthesiology and Pain Medicine, The Ottawa Hospital.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Background

Artificial intelligence (AI) offers a promising solution to expedite various phases of the systematic review process such as screening.

Objective

We aimed to assess the accuracy of an AI tool in identifying eligible references for a systematic review compared to identification by human assessors.

Methods

For the case study (a systematic review of knowledge translation interventions), we used a diagnostic accuracy design and independently assessed for eligibility a set of articles ( n = 300) using human raters and the AI system DistillerAI (Evidence Partners, Ottawa, Canada). We analysed a series of 64 possible confidence levels for the AI’s decisions and calculated several standard parameters of diagnostic accuracy for each.

Results

When set to a lower AI confidence threshold of 0.1 or greater and an upper threshold of 0.9 or lower, DistillerAI made article selection decisions very similarly to human assessors. Within this range, DistillerAI made a decision on the majority of articles (93–100%), with a sensitivity of 1.0 and specificity ranging from 0.9 to 1.0.

Conclusion

DistillerAI appears to be accurate in its assessment of articles in a case study of 300 articles. Further experimentation with DistillerAI will establish its performance among other subject areas.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Artificial IntelligenceHumansSystematic Reviews as Topic

Stichwörter der Autor:innen

artificial intelligenceprecisionrecallreviewsystematic

Autor:innen und Institutionen

  • Clinical Epidemiology Program, Ottawa Hospital Research Institute, Ottawa, ON, Canada.
  • Department of Anesthesiology and Pain Medicine, The Ottawa Hospital, Ottawa, ON, Canada.
  • Francophone Affairs & Department of Innovation in Medical Education, Faculty of Medicine, University of Ottawa, Ottawa, ON, Canada.
  • Ottawa Hospital Research Institute, Ottawa, ON, Canada.

ORCID-Profile: Joseph K Burns, Cole Etherington, Sylvain Boet

Förderung

  • Dr. Boet was supported by The Ottawa Hospital Anesthesia Alternate Funds Association and the Faculty of Medicine, University of Ottawa with a Tier 2 Clinical R…
  • The DistillerSR licences were funded by the Department of Anesthesiology and Pain Medicine, The Ottawa Hospital

Zitieren

APA

Burns, J. K., Etherington, C., Cheng-Boivin, O., & Boet, S. (2024). Using an artificial intelligence tool can be as accurate as human assessors in level one screening for a systematic review. Health Information & Libraries Journal, 41(2), 136-148. https://doi.org/10.1111/hir.12413

Vancouver

Burns JK, Etherington C, Cheng-Boivin O, Boet S. Using an artificial intelligence tool can be as accurate as human assessors in level one screening for a systematic review. Health Information & Libraries Journal. 2024;41(2):136-148. doi:10.1111/hir.12413

BibTeX
@article{Burns2024,
  author = {Burns, Joseph K and Etherington, Cole and Cheng-Boivin, Olivia and Boet, Sylvain},
  title = {Using an artificial intelligence tool can be as accurate as human assessors in level one screening for a systematic review},
  journal = {Health Information & Libraries Journal},
  year = {2024},
  volume = {41},
  number = {2},
  pages = {136--148},
  doi = {10.1111/hir.12413}
}
Kostenlos starten →