AE-GPT: Using Large Language Models to extract adverse events from surveillance reports-A use case with influenza vaccine adverse events
AE-GPT: Nutzung großer Sprachmodelle zur Extraktion von unerwünschten Ereignissen aus Surveillance-Berichten – Anwendungsfall Influenza-Impfstoff-assoziierter unerwünschter Ereignisse
PLOS ONE · 21.03.2024 · 19 (3) · e0300919
DOI: 10.1371/journal.pone.0300919 ↗Auf einen Blick
In VAERS-Daten von 1990 bis 2016 wurde geprüft, wie gut große Sprachmodelle unerwünschte Ereignisse extrahieren. Das feinabgestimmte GPT-3.5-Modell AE-GPT erzielte die besten F1-Werte.
Fragestellung
Wie gut können verschiedene große Sprachmodelle unerwünschte Ereignisse aus Surveillance-Berichten extrahieren?
Methode
Vergleich mehrerer LLMs (u. a. GPT-2, GPT-3-Varianten, GPT-4, Llama2) anhand von VAERS-Daten; Anwendungsfall: Influenza-Impfstoff.
Ergebnisse
AE-GPT erreichte einen durchschnittlichen micro-F1 von 0,704 für strict match und 0,816 für relaxed match.
Schlussfolgerung der Autor:innen
Die Autor:innen sehen in AE-GPT und LLMs Potenzial für die Verarbeitung medizinischer Daten und für die unerwünschte-Ereignis-Erkennung.
Kernaussagen
- AE-GPT erzielte die besten F1-Werte im Vergleich der Modelle.
- Strict match: micro-F1 0,704.
- Relaxed match: micro-F1 0,816.
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift PLOS ONE, online erschienen am 21.03.2024. Verfasst von Yiming Li und 3 weiteren Autor:innen. Beteiligte Einrichtung: McWilliams School of Biomedical Informatics, The University of Texas Health Science Center at Houston, Houston, TX, United States of America. Hauptthemen laut MEDLINE: Influenza Vaccines, Influenza, Human. Die Arbeit wurde bisher 62-mal zitiert (Crossref) und nennt 63 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: NIAID NIH HHS, National Institutes of Health.
Themen: Patientensicherheit
Abstract (Originalsprache)
Though Vaccines are instrumental in global health, mitigating infectious diseases and pandemic outbreaks, they can occasionally lead to adverse events (AEs). Recently, Large Language Models (LLMs) have shown promise in effectively identifying and cataloging AEs within clinical reports. Utilizing data from the Vaccine Adverse Event Reporting System (VAERS) from 1990 to 2016, this study particularly focuses on AEs to evaluate LLMs’ capability for AE extraction. A variety of prevalent LLMs, including GPT-2, GPT-3 variants, GPT-4, and Llama2, were evaluated using Influenza vaccine as a use case. The fine-tuned GPT 3.5 model (AE-GPT) stood out with a 0.704 averaged micro F1 score for strict match and 0.816 for relaxed match. The encouraging performance of the AE-GPT underscores LLMs’ potential in processing medical data, indicating a significant stride towards advanced AE detection, thus presumably generalizable to other AE extraction tasks.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Substanzen
Autor:innen und Institutionen
- McWilliams School of Biomedical Informatics, The University of Texas Health Science Center at Houston, Houston, TX, United States of America.
- Department of Artificial Intelligence and Informatics, Mayo Clinic, Jacksonville, FL, United States of America.
Förderung
- NIAID NIH HHS
- National Institutes of Health
Zitieren
APA
Li, Y., Li, J., He, J., & Tao, C. (2024). AE-GPT: Using Large Language Models to extract adverse events from surveillance reports-A use case with influenza vaccine adverse events. PLOS ONE, 19(3), e0300919. https://doi.org/10.1371/journal.pone.0300919
Vancouver
Li Y, Li J, He J, Tao C. AE-GPT: Using Large Language Models to extract adverse events from surveillance reports-A use case with influenza vaccine adverse events. PLOS ONE. 2024;19(3):e0300919. doi:10.1371/journal.pone.0300919
BibTeX
@article{Li2024,
author = {Li, Yiming and Li, Jianfu and He, Jianping and Tao, Cui},
title = {AE-GPT: Using Large Language Models to extract adverse events from surveillance reports-A use case with influenza vaccine adverse events},
journal = {PLOS ONE},
year = {2024},
volume = {19},
number = {3},
pages = {e0300919},
doi = {10.1371/journal.pone.0300919}
}
EUVIMED