Using an artificial intelligence tool can be as accurate as human assessors in level one screening for a systematic review
Der Einsatz eines KI-Tools kann bei der Level-One-Sichtung für ein systematisches Review so genau sein wie menschliche Beurteilende
Health Information & Libraries Journal · 2024-06 · 41 (2) · 136-148
DOI: 10.1111/hir.12413 ↗Auf einen Blick
In einer Fallstudie mit 300 Artikeln war DistillerAI bei der Erstsichtung ähnlich genau wie menschliche Beurteilende. Bei bestimmten Konfidenzschwellen lag die Sensitivität bei 1,0 und die Spezifität bei 0,9 bis 1,0.
Fragestellung
Wie genau identifiziert ein KI-Tool geeignete Referenzen für ein systematisches Review im Vergleich zu menschlichen Beurteilenden?
Methode
Diagnostische-Genauigkeitsstudie in einer Fallstudie zu Interventionen der Wissensübersetzung; 300 Artikel wurden unabhängig von menschlichen Rater:innen und DistillerAI geprüft.
Ergebnisse
Bei einer unteren KI-Konfidenzschwelle von 0,1 oder höher und einer oberen von 0,9 oder niedriger traf DistillerAI Entscheidungen ähnlich wie menschliche Beurteilende. Es entschied bei 93–100 % der Artikel; Sensitivität 1,0, Spezifität 0,9–1,0.
Schlussfolgerung der Autor:innen
DistillerAI scheint in dieser Fallstudie mit 300 Artikeln bei der Beurteilung von Artikeln genau zu sein. Weitere Tests sollen die Leistung in anderen Fachgebieten zeigen.
Kernaussagen
- DistillerAI war bei der Erstsichtung ähnlich genau wie Menschen
- Sensitivität 1,0 bei den genannten Konfidenzschwellen
- Spezifität 0,9 bis 1,0; Entscheidungen zu 93–100 % der Artikel
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Systematische Übersicht in der Zeitschrift Health Information & Libraries Journal, online erschienen am 18.11.2021. Verfasst von Joseph K Burns und 3 weiteren Autor:innen. Beteiligte Einrichtung: Clinical Epidemiology Program, Ottawa Hospital Research Institute, Ottawa, ON, Canada. Hauptthemen laut MEDLINE: Artificial Intelligence. Die Arbeit wurde bisher 22-mal zitiert (Crossref) und nennt 24 Literaturangaben. Gefördert von: Dr. Boet was supported by The Ottawa Hospital Anesthesia Alternate Funds Association and the Faculty of Medicine, University of Ottawa with a Tier 2 Clinical R…, The DistillerSR licences were funded by the Department of Anesthesiology and Pain Medicine, The Ottawa Hospital.
Abstract (Originalsprache)
Background
Artificial intelligence (AI) offers a promising solution to expedite various phases of the systematic review process such as screening.
Objective
We aimed to assess the accuracy of an AI tool in identifying eligible references for a systematic review compared to identification by human assessors.
Methods
For the case study (a systematic review of knowledge translation interventions), we used a diagnostic accuracy design and independently assessed for eligibility a set of articles ( n = 300) using human raters and the AI system DistillerAI (Evidence Partners, Ottawa, Canada). We analysed a series of 64 possible confidence levels for the AI’s decisions and calculated several standard parameters of diagnostic accuracy for each.
Results
When set to a lower AI confidence threshold of 0.1 or greater and an upper threshold of 0.9 or lower, DistillerAI made article selection decisions very similarly to human assessors. Within this range, DistillerAI made a decision on the majority of articles (93–100%), with a sensitivity of 1.0 and specificity ranging from 0.9 to 1.0.
Conclusion
DistillerAI appears to be accurate in its assessment of articles in a case study of 300 articles. Further experimentation with DistillerAI will establish its performance among other subject areas.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Clinical Epidemiology Program, Ottawa Hospital Research Institute, Ottawa, ON, Canada.
- Department of Anesthesiology and Pain Medicine, The Ottawa Hospital, Ottawa, ON, Canada.
- Francophone Affairs & Department of Innovation in Medical Education, Faculty of Medicine, University of Ottawa, Ottawa, ON, Canada.
- Ottawa Hospital Research Institute, Ottawa, ON, Canada.
ORCID-Profile: Joseph K Burns, Cole Etherington, Sylvain Boet
Förderung
- Dr. Boet was supported by The Ottawa Hospital Anesthesia Alternate Funds Association and the Faculty of Medicine, University of Ottawa with a Tier 2 Clinical R…
- The DistillerSR licences were funded by the Department of Anesthesiology and Pain Medicine, The Ottawa Hospital
Zitieren
APA
Burns, J. K., Etherington, C., Cheng-Boivin, O., & Boet, S. (2024). Using an artificial intelligence tool can be as accurate as human assessors in level one screening for a systematic review. Health Information & Libraries Journal, 41(2), 136-148. https://doi.org/10.1111/hir.12413
Vancouver
Burns JK, Etherington C, Cheng-Boivin O, Boet S. Using an artificial intelligence tool can be as accurate as human assessors in level one screening for a systematic review. Health Information & Libraries Journal. 2024;41(2):136-148. doi:10.1111/hir.12413
BibTeX
@article{Burns2024,
author = {Burns, Joseph K and Etherington, Cole and Cheng-Boivin, Olivia and Boet, Sylvain},
title = {Using an artificial intelligence tool can be as accurate as human assessors in level one screening for a systematic review},
journal = {Health Information & Libraries Journal},
year = {2024},
volume = {41},
number = {2},
pages = {136--148},
doi = {10.1111/hir.12413}
}
EUVIMED