EUVIMEDEUVIMED entdecken
VergleichsstudieMetaanalyseValidierungsstudieOpen Access · CC BY-NC 4.0

Human versus artificial intelligence: evaluating ChatGPT’s performance in conducting published systematic reviews with meta-analysis in chronic pain research

Mensch versus künstliche Intelligenz: Bewertung der Leistung von ChatGPT bei der Durchführung publizierter systematischer Reviews mit Metaanalyse in der chronischen Schmerzforschung

Anam Purewal iD, Kalli Fautsch, Johana Klasova, Nasir Hussain iD, Ryan S D'Souza iD

Regional Anesthesia & Pain Medicine · 2026-04 · 51 (4) · 437-442

DOI: 10.1136/rapm-2024-106358 ↗

Auf einen Blick

ChatGPT-4o wurde bei Aufgaben eines systematischen Reviews mit Metaanalyse geprüft. Beim Screening war die Genauigkeit moderat, beim Pooling und bei Metaanalysen schnitt das Modell gut ab.

Fragestellung

Wie genau erledigt ChatGPT Schlüsselaufgaben eines systematischen Reviews mit Metaanalyse im Vergleich zu menschlich ausgeführten Schritten?

Methode

Validierungsstudie mit Daten aus einer publizierten Metaanalyse zu emotionaler Funktion nach Rückenmarkstimulation; Vergleich von ChatGPT-4o mit dem menschlichen Goldstandard.

Ergebnisse

Titel-/Abstract-Screening: 70,4 % Genauigkeit, 54,9 % Sensitivität, 80,1 % Spezifität. Full-Text-Screening: 68,4 %, 75,6 % bzw. 66,8 %. 5 Forest Plots korrekt gepoolt; 100 % Genauigkeit für gepoolte Mittelwertdifferenzen und 95 %-KI.

Schlussfolgerung der Autor:innen

ChatGPT zeigt eine mäßige bis moderate Genauigkeit beim Screening und bei der Studienauswahl, arbeitet aber beim Datenpooling und bei Metaanalysen gut. Die Autor:innen betonen die Notwendigkeit menschlicher Kontrolle.

Kernaussagen

  • Screening-Leistung von ChatGPT nur mäßig bis moderat
  • Datenpooling und metaanalytische Berechnungen meist korrekt
  • Menschliche Kontrolle bleibt laut Autor:innen erforderlich

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Vergleichsstudie in der Zeitschrift Regional Anesthesia & Pain Medicine, online erschienen am 16.02.2025. Verfasst von Anam Purewal und 4 weiteren Autor:innen. Beteiligte Einrichtung: Department of Orthopedic Surgery and Rehabilitation Medicine, SUNY Downstate Health Sciences University, Brooklyn, New York, USA. Hauptthemen laut MEDLINE: Artificial Intelligence, Chronic Pain, Systematic Reviews as Topic, Meta-Analysis as Topic. Die Arbeit wurde bisher 26-mal zitiert (Crossref) und nennt 21 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY-NC 4.0).

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Introduction

Artificial intelligence (AI), particularly large-language models like Chat Generative Pre-Trained Transformer (ChatGPT), has demonstrated potential in streamlining research methodologies. Systematic reviews and meta-analyses, often considered the pinnacle of evidence-based medicine, are inherently time-intensive and demand meticulous planning, rigorous data extraction, thorough analysis, and careful synthesis. Despite promising applications of AI, its utility in conducting systematic reviews with meta-analysis remains unclear. This study evaluated ChatGPT’s accuracy in conducting key tasks of a systematic review with meta-analysis.

Methods

This validation study used data from a published meta-analysis on emotional functioning after spinal cord stimulation. ChatGPT-4o performed title/abstract screening, full-text study selection, and data pooling for this systematic review with meta-analysis. Comparisons were made against human-executed steps, which were considered the gold standard. Outcomes of interest included accuracy, sensitivity, specificity, positive predictive value, and negative predictive value for screening and full-text review tasks. We also assessed for discrepancies in pooled effect estimates and forest plot generation.

Results

For title and abstract screening, ChatGPT achieved an accuracy of 70.4%, sensitivity of 54.9%, and specificity of 80.1%. In the full-text screening phase, accuracy was 68.4%, sensitivity 75.6%, and specificity 66.8%. ChatGPT successfully pooled data for five forest plots, achieving 100% accuracy in calculating pooled mean differences, 95% CIs, and heterogeneity estimates ( I 2 score and tau-squared values) for most outcomes, with minor discrepancies in tau-squared values (range 0.01–0.05). Forest plots showed no significant discrepancies.

Conclusion

ChatGPT demonstrates modest to moderate accuracy in screening and study selection tasks, but performs well in data pooling and meta-analytic calculations. These findings underscore the potential of AI to augment systematic review methodologies, while also emphasizing the need for human oversight to ensure accuracy and integrity in research workflows.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Artificial IntelligenceChronic PainSystematic Reviews as TopicMeta-Analysis as TopicHumansGenerative Artificial Intelligence

Stichwörter der Autor:innen

CHRONIC PAINMeta-AnalysisMethodsSpinal Cord Stimulation

Autor:innen und Institutionen

  • Department of Orthopedic Surgery and Rehabilitation Medicine, SUNY Downstate Health Sciences University, Brooklyn, New York, USA.
  • Department of Anesthesiology and Perioperative Medicine, Mayo Clinic, Rochester, Minnesota, USA.
  • The Ohio State University, Columbus, Ohio, USA.
  • Department of Anesthesiology and Perioperative Medicine, Mayo Clinic, Rochester, Minnesota, USA DSouza.Ryan@mayo.edu.

ORCID-Profile: Anam Purewal, Nasir Hussain, Ryan S D'Souza

Zitieren

APA

Purewal, A., Fautsch, K., Klasova, J., Hussain, N., & D'Souza, R. S. (2026). Human versus artificial intelligence: evaluating ChatGPT’s performance in conducting published systematic reviews with meta-analysis in chronic pain research. Regional Anesthesia & Pain Medicine, 51(4), 437-442. https://doi.org/10.1136/rapm-2024-106358

Vancouver

Purewal A, Fautsch K, Klasova J, Hussain N, D'Souza RS. Human versus artificial intelligence: evaluating ChatGPT’s performance in conducting published systematic reviews with meta-analysis in chronic pain research. Regional Anesthesia & Pain Medicine. 2026;51(4):437-442. doi:10.1136/rapm-2024-106358

BibTeX
@article{Purewal2026,
  author = {Purewal, Anam and Fautsch, Kalli and Klasova, Johana and Hussain, Nasir and D'Souza, Ryan S},
  title = {Human versus artificial intelligence: evaluating ChatGPT’s performance in conducting published systematic reviews with meta-analysis in chronic pain research},
  journal = {Regional Anesthesia & Pain Medicine},
  year = {2026},
  volume = {51},
  number = {4},
  pages = {437--442},
  doi = {10.1136/rapm-2024-106358}
}
Kostenlos starten →