EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

AE-GPT: Using Large Language Models to extract adverse events from surveillance reports-A use case with influenza vaccine adverse events

AE-GPT: Nutzung großer Sprachmodelle zur Extraktion von unerwünschten Ereignissen aus Surveillance-Berichten – Anwendungsfall Influenza-Impfstoff-assoziierter unerwünschter Ereignisse

Yiming Li iD, Jianfu Li, Jianping He, Cui Tao iD

PLOS ONE · 21.03.2024 · 19 (3) · e0300919

DOI: 10.1371/journal.pone.0300919 ↗

Auf einen Blick

In VAERS-Daten von 1990 bis 2016 wurde geprüft, wie gut große Sprachmodelle unerwünschte Ereignisse extrahieren. Das feinabgestimmte GPT-3.5-Modell AE-GPT erzielte die besten F1-Werte.

Fragestellung

Wie gut können verschiedene große Sprachmodelle unerwünschte Ereignisse aus Surveillance-Berichten extrahieren?

Methode

Vergleich mehrerer LLMs (u. a. GPT-2, GPT-3-Varianten, GPT-4, Llama2) anhand von VAERS-Daten; Anwendungsfall: Influenza-Impfstoff.

Ergebnisse

AE-GPT erreichte einen durchschnittlichen micro-F1 von 0,704 für strict match und 0,816 für relaxed match.

Schlussfolgerung der Autor:innen

Die Autor:innen sehen in AE-GPT und LLMs Potenzial für die Verarbeitung medizinischer Daten und für die unerwünschte-Ereignis-Erkennung.

Kernaussagen

  • AE-GPT erzielte die besten F1-Werte im Vergleich der Modelle.
  • Strict match: micro-F1 0,704.
  • Relaxed match: micro-F1 0,816.

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift PLOS ONE, online erschienen am 21.03.2024. Verfasst von Yiming Li und 3 weiteren Autor:innen. Beteiligte Einrichtung: McWilliams School of Biomedical Informatics, The University of Texas Health Science Center at Houston, Houston, TX, United States of America. Hauptthemen laut MEDLINE: Influenza Vaccines, Influenza, Human. Die Arbeit wurde bisher 62-mal zitiert (Crossref) und nennt 63 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: NIAID NIH HHS, National Institutes of Health.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Though Vaccines are instrumental in global health, mitigating infectious diseases and pandemic outbreaks, they can occasionally lead to adverse events (AEs). Recently, Large Language Models (LLMs) have shown promise in effectively identifying and cataloging AEs within clinical reports. Utilizing data from the Vaccine Adverse Event Reporting System (VAERS) from 1990 to 2016, this study particularly focuses on AEs to evaluate LLMs’ capability for AE extraction. A variety of prevalent LLMs, including GPT-2, GPT-3 variants, GPT-4, and Llama2, were evaluated using Influenza vaccine as a use case. The fine-tuned GPT 3.5 model (AE-GPT) stood out with a 0.704 averaged micro F1 score for strict match and 0.816 for relaxed match. The encouraging performance of the AE-GPT underscores LLMs’ potential in processing medical data, indicating a significant stride towards advanced AE detection, thus presumably generalizable to other AE extraction tasks.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Influenza VaccinesInfluenza, HumanHumansAdverse Drug Reaction Reporting SystemsAlanine TransaminaseDisease Outbreaks

Substanzen

Influenza VaccinesAlanine Transaminase

Autor:innen und Institutionen

  • McWilliams School of Biomedical Informatics, The University of Texas Health Science Center at Houston, Houston, TX, United States of America.
  • Department of Artificial Intelligence and Informatics, Mayo Clinic, Jacksonville, FL, United States of America.

ORCID-Profile: Yiming Li, Cui Tao

Förderung

  • NIAID NIH HHS
  • National Institutes of Health

Zitieren

APA

Li, Y., Li, J., He, J., & Tao, C. (2024). AE-GPT: Using Large Language Models to extract adverse events from surveillance reports-A use case with influenza vaccine adverse events. PLOS ONE, 19(3), e0300919. https://doi.org/10.1371/journal.pone.0300919

Vancouver

Li Y, Li J, He J, Tao C. AE-GPT: Using Large Language Models to extract adverse events from surveillance reports-A use case with influenza vaccine adverse events. PLOS ONE. 2024;19(3):e0300919. doi:10.1371/journal.pone.0300919

BibTeX
@article{Li2024,
  author = {Li, Yiming and Li, Jianfu and He, Jianping and Tao, Cui},
  title = {AE-GPT: Using Large Language Models to extract adverse events from surveillance reports-A use case with influenza vaccine adverse events},
  journal = {PLOS ONE},
  year = {2024},
  volume = {19},
  number = {3},
  pages = {e0300919},
  doi = {10.1371/journal.pone.0300919}
}
Kostenlos starten →