EUVIMEDEUVIMED entdecken
Systematische ÜbersichtOpen Access · CC BY-NC 4.0

The emergence of large language models as tools in literature reviews: a large language model-assisted systematic review

Der Aufstieg großer Sprachmodelle als Werkzeuge in Literaturübersichten: eine durch ein großes Sprachmodell unterstützte systematische Übersichtsarbeit

Dmitry Scherbakov iD, Nina Hubig, Vinita Jansari, Alexander Bakumenko, Leslie A Lenert iD

Journal of the American Medical Informatics Association · 01.06.2025 · 32 (6) · 1071-1086

DOI: 10.1093/jamia/ocaf063 ↗

Auf einen Blick

Die Arbeit fasst Studien zur Nutzung von LLMs in wissenschaftlichen Reviews zusammen. Am häufigsten wurde ChatGPT bzw. GPT-basierten Modellen zur Review-Automatisierung berichtet.

Fragestellung

Wie werden Large Language Models in der Erstellung wissenschaftlicher Reviews eingesetzt und beschrieben?

Methode

Systematische Übersicht; Suche im Juni 2024 in PubMed, Scopus, Dimensions und Google Scholar; Screening und Extraktion in Covidence mit LLM-Add-on auf Basis von GPT-4o.

Ergebnisse

3788 Treffer, 172 eingeschlossene Studien. ChatGPT/GPT-basierte LLMs waren die häufigste Architektur (n = 126, 73,2 %). Nur 26 Papers (15,1 %) waren Reviews mit LLM-Nennung. GPT-basierte Modelle hatten bei der Datenextraktion eine mittlere Präzision von 83,0 % und einen Recall von 86,0 %.

Einschränkungen

Geringere Extraktionsgenauigkeit bei numerischen Daten wurde genannt.

Schlussfolgerung der Autor:innen

Die Autor:innen sehen einen deutlichen Umfang an Projekten zur Review-Automatisierung mit LLMs und erwarten, dass LLMs die Durchführung wissenschaftlicher Reviews bald verändern werden.

Kernaussagen

  • 172 Studien in die Übersicht eingeschlossen
  • ChatGPT/GPT-basierte LLMs am häufigsten zur Review-Automatisierung
  • Nur 26 Papers waren Reviews mit dokumentierter LLM-Nutzung

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Systematische Übersicht in der Zeitschrift Journal of the American Medical Informatics Association, online erschienen am 07.05.2025. Verfasst von Dmitry Scherbakov und 4 weiteren Autor:innen. Beteiligte Einrichtung: Biomedical Informatics Center, Department of Public Health Sciences, Medical University of South Carolina (MUSC), Charleston, SC 29403, United States. Hauptthemen laut MEDLINE: Systematic Reviews as Topic, Review Literature as Topic, Programming Languages. Die Arbeit wurde bisher 178-mal zitiert (Crossref) und nennt 210 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY-NC 4.0). Gefördert von: Biomedical Informatics and Data Science for Health Equity Research, NIH HHS, Smart-state Chair endowment.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Objectives

This study aims to summarize the usage of large language models (LLMs) in the process of creating a scientific review by looking at the methodological papers that describe the use of LLMs in review automation and the review papers that mention they were made with the support of LLMs. Materials and Methods The search was conducted in June 2024 in PubMed, Scopus, Dimensions, and Google Scholar by human reviewers. Screening and extraction process took place in Covidence with the help of LLM add-on based on the OpenAI GPT-4o model. ChatGPT and Scite.ai were used in cleaning the data, generating the code for figures, and drafting the manuscript.

Results

Of the 3788 articles retrieved, 172 studies were deemed eligible for the final review. ChatGPT and GPT-based LLM emerged as the most dominant architecture for review automation (n = 126, 73.2%). A significant number of review automation projects were found, but only a limited number of papers (n = 26, 15.1%) were actual reviews that acknowledged LLM usage. Most citations focused on the automation of a particular stage of review, such as Searching for publications (n = 60, 34.9%) and Data extraction (n = 54, 31.4%). When comparing the pooled performance of GPT-based and BERT-based models, the former was better in data extraction with a mean precision of 83.0% (SD = 10.4) and a recall of 86.0% (SD = 9.8). Discussion and Conclusion Our LLM-assisted systematic review revealed a significant number of research projects related to review automation using LLMs. Despite limitations, such as lower accuracy of extraction for numeric data, we anticipate that LLMs will soon change the way scientific reviews are conducted.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Systematic Reviews as TopicReview Literature as TopicProgramming LanguagesHumansInformation Storage and RetrievalLarge Language Models

Stichwörter der Autor:innen

Covidencelarge language modelsreview automationscoping reviewsystematic review

Autor:innen und Institutionen

  • Biomedical Informatics Center, Department of Public Health Sciences, Medical University of South Carolina (MUSC), Charleston, SC 29403, United States.
  • Interdisciplinary Transformation University, OG 2 A-4040 Linz, Austria.
  • School of Computing, Clemson University, Charleston, SC 29634, United States.

ORCID-Profile: Dmitry Scherbakov, Leslie A Lenert

Förderung

  • Biomedical Informatics and Data Science for Health Equity Research
  • NIH HHS
  • Smart-state Chair endowment
  • NLM NIH HHS
  • NCATS NIH HHS
  • National Center for Advancing Translational Sciences
  • National Institutes of Health

Zitieren

APA

Scherbakov, D., Hubig, N., Jansari, V., Bakumenko, A., & Lenert, L. A. (2025). The emergence of large language models as tools in literature reviews: a large language model-assisted systematic review. Journal of the American Medical Informatics Association, 32(6), 1071-1086. https://doi.org/10.1093/jamia/ocaf063

Vancouver

Scherbakov D, Hubig N, Jansari V, Bakumenko A, Lenert LA. The emergence of large language models as tools in literature reviews: a large language model-assisted systematic review. Journal of the American Medical Informatics Association. 2025;32(6):1071-1086. doi:10.1093/jamia/ocaf063

BibTeX
@article{Scherbakov2025,
  author = {Scherbakov, Dmitry and Hubig, Nina and Jansari, Vinita and Bakumenko, Alexander and Lenert, Leslie A},
  title = {The emergence of large language models as tools in literature reviews: a large language model-assisted systematic review},
  journal = {Journal of the American Medical Informatics Association},
  year = {2025},
  volume = {32},
  number = {6},
  pages = {1071--1086},
  doi = {10.1093/jamia/ocaf063}
}
Kostenlos starten →