The emergence of large language models as tools in literature reviews: a large language model-assisted systematic review
Der Aufstieg großer Sprachmodelle als Werkzeuge in Literaturübersichten: eine durch ein großes Sprachmodell unterstützte systematische Übersichtsarbeit
Journal of the American Medical Informatics Association · 01.06.2025 · 32 (6) · 1071-1086
DOI: 10.1093/jamia/ocaf063 ↗Auf einen Blick
Die Arbeit fasst Studien zur Nutzung von LLMs in wissenschaftlichen Reviews zusammen. Am häufigsten wurde ChatGPT bzw. GPT-basierten Modellen zur Review-Automatisierung berichtet.
Fragestellung
Wie werden Large Language Models in der Erstellung wissenschaftlicher Reviews eingesetzt und beschrieben?
Methode
Systematische Übersicht; Suche im Juni 2024 in PubMed, Scopus, Dimensions und Google Scholar; Screening und Extraktion in Covidence mit LLM-Add-on auf Basis von GPT-4o.
Ergebnisse
3788 Treffer, 172 eingeschlossene Studien. ChatGPT/GPT-basierte LLMs waren die häufigste Architektur (n = 126, 73,2 %). Nur 26 Papers (15,1 %) waren Reviews mit LLM-Nennung. GPT-basierte Modelle hatten bei der Datenextraktion eine mittlere Präzision von 83,0 % und einen Recall von 86,0 %.
Einschränkungen
Geringere Extraktionsgenauigkeit bei numerischen Daten wurde genannt.
Schlussfolgerung der Autor:innen
Die Autor:innen sehen einen deutlichen Umfang an Projekten zur Review-Automatisierung mit LLMs und erwarten, dass LLMs die Durchführung wissenschaftlicher Reviews bald verändern werden.
Kernaussagen
- 172 Studien in die Übersicht eingeschlossen
- ChatGPT/GPT-basierte LLMs am häufigsten zur Review-Automatisierung
- Nur 26 Papers waren Reviews mit dokumentierter LLM-Nutzung
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Systematische Übersicht in der Zeitschrift Journal of the American Medical Informatics Association, online erschienen am 07.05.2025. Verfasst von Dmitry Scherbakov und 4 weiteren Autor:innen. Beteiligte Einrichtung: Biomedical Informatics Center, Department of Public Health Sciences, Medical University of South Carolina (MUSC), Charleston, SC 29403, United States. Hauptthemen laut MEDLINE: Systematic Reviews as Topic, Review Literature as Topic, Programming Languages. Die Arbeit wurde bisher 178-mal zitiert (Crossref) und nennt 210 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY-NC 4.0). Gefördert von: Biomedical Informatics and Data Science for Health Equity Research, NIH HHS, Smart-state Chair endowment.
Abstract (Originalsprache)
Objectives
This study aims to summarize the usage of large language models (LLMs) in the process of creating a scientific review by looking at the methodological papers that describe the use of LLMs in review automation and the review papers that mention they were made with the support of LLMs. Materials and Methods The search was conducted in June 2024 in PubMed, Scopus, Dimensions, and Google Scholar by human reviewers. Screening and extraction process took place in Covidence with the help of LLM add-on based on the OpenAI GPT-4o model. ChatGPT and Scite.ai were used in cleaning the data, generating the code for figures, and drafting the manuscript.
Results
Of the 3788 articles retrieved, 172 studies were deemed eligible for the final review. ChatGPT and GPT-based LLM emerged as the most dominant architecture for review automation (n = 126, 73.2%). A significant number of review automation projects were found, but only a limited number of papers (n = 26, 15.1%) were actual reviews that acknowledged LLM usage. Most citations focused on the automation of a particular stage of review, such as Searching for publications (n = 60, 34.9%) and Data extraction (n = 54, 31.4%). When comparing the pooled performance of GPT-based and BERT-based models, the former was better in data extraction with a mean precision of 83.0% (SD = 10.4) and a recall of 86.0% (SD = 9.8). Discussion and Conclusion Our LLM-assisted systematic review revealed a significant number of research projects related to review automation using LLMs. Despite limitations, such as lower accuracy of extraction for numeric data, we anticipate that LLMs will soon change the way scientific reviews are conducted.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Biomedical Informatics Center, Department of Public Health Sciences, Medical University of South Carolina (MUSC), Charleston, SC 29403, United States.
- Interdisciplinary Transformation University, OG 2 A-4040 Linz, Austria.
- School of Computing, Clemson University, Charleston, SC 29634, United States.
ORCID-Profile: Dmitry Scherbakov, Leslie A Lenert
Förderung
- Biomedical Informatics and Data Science for Health Equity Research
- NIH HHS
- Smart-state Chair endowment
- NLM NIH HHS
- NCATS NIH HHS
- National Center for Advancing Translational Sciences
- National Institutes of Health
Zitieren
APA
Scherbakov, D., Hubig, N., Jansari, V., Bakumenko, A., & Lenert, L. A. (2025). The emergence of large language models as tools in literature reviews: a large language model-assisted systematic review. Journal of the American Medical Informatics Association, 32(6), 1071-1086. https://doi.org/10.1093/jamia/ocaf063
Vancouver
Scherbakov D, Hubig N, Jansari V, Bakumenko A, Lenert LA. The emergence of large language models as tools in literature reviews: a large language model-assisted systematic review. Journal of the American Medical Informatics Association. 2025;32(6):1071-1086. doi:10.1093/jamia/ocaf063
BibTeX
@article{Scherbakov2025,
author = {Scherbakov, Dmitry and Hubig, Nina and Jansari, Vinita and Bakumenko, Alexander and Lenert, Leslie A},
title = {The emergence of large language models as tools in literature reviews: a large language model-assisted systematic review},
journal = {Journal of the American Medical Informatics Association},
year = {2025},
volume = {32},
number = {6},
pages = {1071--1086},
doi = {10.1093/jamia/ocaf063}
}
EUVIMED