EUVIMEDEUVIMED entdecken
Systematische ÜbersichtMetaanalyseLeitlinieOpen Access · CC BY-NC 4.0

Improving large language model applications in biomedicine with retrieval-augmented generation: a systematic review, meta-analysis, and clinical development guidelines

Verbesserung biomedizinischer Large-Language-Model-Anwendungen mit Retrieval-Augmented Generation: systematische Übersicht, Metaanalyse und klinische Entwicklungsleitlinien

Siru Liu, Allison B McCoy iD, Adam Wright iD

Journal of the American Medical Informatics Association · 01.04.2025 · 32 (4) · 605-615

DOI: 10.1093/jamia/ocaf008 ↗

Auf einen Blick

Eine systematische Übersicht und Metaanalyse untersuchte Retrieval-Augmented Generation (RAG) bei Large Language Models (LLMs) in der Biomedizin. RAG zeigte eine bessere Leistung als Baseline-LLMs.

Fragestellung

Wie wirksam ist RAG im Vergleich zu Baseline-LLMs in biomedizinischen Anwendungen?

Methode

Systematische Literaturübersicht und Metaanalyse nach PRISMA 2020; Suche in PubMed, Embase und PsycINFO nach Artikeln von 2023 und 2024; random-effects-Metaanalyse mit Odds Ratio.

Ergebnisse

20 von 335 Studien wurden eingeschlossen. Gepoolter Effekt: 1,35 (95 %-KI 1,19–1,53; P = .001) zugunsten von RAG.

Schlussfolgerung der Autor:innen

Insgesamt zeigte die Implementierung von RAG eine 1,35-fache Odds-Ratio-Steigerung der Leistung im Vergleich zu Baseline-LLMs. Weitere Forschung sollte sich auf System-, Wissens- und Integrationsverbesserungen konzentrieren.

Kernaussagen

  • 20 von 335 Studien wurden eingeschlossen
  • Gepoolter Effekt: 1,35 (95 %-KI 1,19–1,53)
  • RAG schnitt besser ab als Baseline-LLMs

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Systematische Übersicht in der Zeitschrift Journal of the American Medical Informatics Association, online erschienen am 15.01.2025. Verfasst von Siru Liu und 2 weiteren Autor:innen. Beteiligte Einrichtung: Department of Biomedical Informatics, Vanderbilt University Medical Center, Nashville, TN 37212, United States. Hauptthemen laut MEDLINE: Information Storage and Retrieval, Natural Language Processing, Programming Languages. Die Arbeit wurde bisher 251-mal zitiert (Crossref) und nennt 62 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY-NC 4.0). Gefördert von: NLM NIH HHS, NIH HHS, National Institutes of Health.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Objective

The objectives of this study are to synthesize findings from recent research of retrieval-augmented generation (RAG) and large language models (LLMs) in biomedicine and provide clinical development guidelines to improve effectiveness. Materials and Methods We conducted a systematic literature review and a meta-analysis. The report was created in adherence to the Preferred Reporting Items for Systematic Reviews and Meta-Analyses 2020 analysis. Searches were performed in 3 databases (PubMed, Embase, PsycINFO) using terms related to “retrieval augmented generation” and “large language model,” for articles published in 2023 and 2024. We selected studies that compared baseline LLM performance with RAG performance. We developed a random-effect meta-analysis model, using odds ratio as the effect size.

Results

Among 335 studies, 20 were included in this literature review. The pooled effect size was 1.35, with a 95% confidence interval of 1.19-1.53, indicating a statistically significant effect (P = .001). We reported clinical tasks, baseline LLMs, retrieval sources and strategies, as well as evaluation methods.

Discussion

Building on our literature review, we developed Guidelines for Unified Implementation and Development of Enhanced LLM Applications with RAG in Clinical Settings to inform clinical applications using RAG.

Conclusion

Overall, RAG implementation showed a 1.35 odds ratio increase in performance compared to baseline LLMs. Future research should focus on (1) system-level enhancement: the combination of RAG and agent, (2) knowledge-level enhancement: deep integration of knowledge into LLM, and (3) integration-level enhancement: integrating RAG systems within electronic health records.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Information Storage and RetrievalNatural Language ProcessingProgramming LanguagesHumansLarge Language Models

Stichwörter der Autor:innen

large language modelmeta-analysisretrieval augmented generationsystematic review

Autor:innen und Institutionen

  • Department of Biomedical Informatics, Vanderbilt University Medical Center, Nashville, TN 37212, United States.
  • Department of Computer Science, Vanderbilt University, Nashville, TN 37212, United States.
  • Department of Medicine, Vanderbilt University Medical Center, Nashville, TN 37212, United States.

ORCID-Profile: Allison B McCoy, Adam Wright

Förderung

  • NLM NIH HHS
  • NIH HHS
  • National Institutes of Health

Zitieren

APA

Liu, S., McCoy, A. B., & Wright, A. (2025). Improving large language model applications in biomedicine with retrieval-augmented generation: a systematic review, meta-analysis, and clinical development guidelines. Journal of the American Medical Informatics Association, 32(4), 605-615. https://doi.org/10.1093/jamia/ocaf008

Vancouver

Liu S, McCoy AB, Wright A. Improving large language model applications in biomedicine with retrieval-augmented generation: a systematic review, meta-analysis, and clinical development guidelines. Journal of the American Medical Informatics Association. 2025;32(4):605-615. doi:10.1093/jamia/ocaf008

BibTeX
@article{Liu2025,
  author = {Liu, Siru and McCoy, Allison B and Wright, Adam},
  title = {Improving large language model applications in biomedicine with retrieval-augmented generation: a systematic review, meta-analysis, and clinical development guidelines},
  journal = {Journal of the American Medical Informatics Association},
  year = {2025},
  volume = {32},
  number = {4},
  pages = {605--615},
  doi = {10.1093/jamia/ocaf008}
}
Kostenlos starten →