EUVIMEDEUVIMED entdecken
Systematische ÜbersichtRandomisierte kontrollierte StudieOpen Access

Large Language Model Analysis of Reporting Quality of Randomized Clinical Trial Articles

Großes Sprachmodell zur Analyse der Berichtsqualität von Artikeln zu randomisierten klinischen Studien

Apoorva Srinivasan, Jacob Berkowitz, Nadine A Friedrich, Sophia Kivelson, Nicholas P Tatonetti

JAMA Network Open · 28.08.2025 · 8 (8) · e2529418

DOI: 10.1001/jamanetworkopen.2025.29418 ↗

Auf einen Blick

Eine systematische Übersichtsarbeit prüfte ein Zero-shot-LLM zur CONSORT-Bewertung von RCTs. Die Berichtsqualität nahm zu, blieb aber unvollständig; kritische Elemente wurden oft nicht berichtet.

Fragestellung

Wie gut kann ein Zero-shot-LLM die CONSORT-Übereinstimmung von RCT-Artikeln automatisiert bewerten, und wie entwickelte sich die Berichtsqualität über die Zeit?

Methode

Systematische Übersichtsarbeit mit RCTs aus PubMed, englisch, Open Access, Humanstudien, publiziert zwischen MONTH 1966 und MONTH 2024; Chat GPT-4o-mini wurde gegen Experten und im Gesamtsample geprüft.

Ergebnisse

Von 53 137 gesichteten PDFs wurden 21 041 RCTs eingeschlossen. In der Validierung stimmte das LLM in 91,7 % (2026 von 2210 Entscheidungen) mit Expert:innen überein; Macro-F1 0,86 (95 %-KI 0,84-0,87).

Schlussfolgerung der Autor:innen

In dieser systematischen Übersichtsarbeit bewertete ein Zero-shot-LLM die CONSORT-Übereinstimmung im großen Maßstab und deckte anhaltende Lücken sowie starke fachliche Unterschiede auf; dies unterstreicht gezielte redaktionelle Maßnahmen.

Kernaussagen

  • LLM-Validierung: 91,7 % Übereinstimmung mit Expert:innen
  • Macro-F1 0,86 (95 %-KI 0,84-0,87)
  • CONSORT-Compliance stieg von 27,3 % auf 57,0 %

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Systematische Übersicht in der Zeitschrift JAMA Network Open, online erschienen am 28.08.2025. Verfasst von Apoorva Srinivasan und 4 weiteren Autor:innen. Beteiligte Einrichtung: Department of Computational Biomedicine, Cedars Sinai Medical Center, Los Angeles, California. Hauptthemen laut MEDLINE: Randomized Controlled Trials as Topic. Die Arbeit wurde bisher 30-mal zitiert (Crossref) und nennt 37 Literaturangaben. Der Volltext ist frei in PubMed Central verfügbar.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Importance Incomplete reporting in randomized clinical trials (RCTs) obscures bias and limits reproducibility. Manual audits for adherence to the Consolidated Standards of Reporting Trials (CONSORT) guideline cannot keep pace with publication volume.

Objectives

To build and validate a zero-shot large-language-model (LLM) pipeline for automated CONSORT assessment and to map reporting quality over time, biomedical disciplines, and trial features. Design, Setting, and Participants This systematic review included RCTs that were indexed on PubMed, available in English, open access, human-participant research, and published between MONTH 1966 to MONTH 2024. PubMed PDFs were converted to XML and linked with Semantic Scholar and ClinicalTrials.gov metadata. Chat GPT-4o-mini was tested on the 50-article CONSORT–Text Classification Model (CONSORT-TM) benchmark, checked by experts in 70 randomly sampled RCTs, and then applied to the full sample. Exposure Publication year, biomedical discipline, funding source, trial phase, US Food and Drug Administration regulation, and oversight features. Main Outcomes and Measures The LLM judged whether each of 21 CONSORT items was met. Primary outcomes were (1) model performance vs expert review (precision, recall, and macro F1 score) and (2) proportion of items reported.

Results

Of 53 137 screened PDFs, 21 041 RCTs (median [IQR] publication year, 2014 [2003-2020]; 30 disciplines) were included, with a registry-linked subset of 1790 RCTs that had a median (IQR) planned enrollment of 210 (95-440) participants. In the 70-article validation set (2210 decisions) LLM outputs matched experts 91.7% of the time (2026 of 2210 decision); the macro F1 score on CONSORT-TM was 0.86 (95% CI, 0.84-0.87). Mean CONSORT compliance increased from 27.3% (95% CI, 27.0%-27.6%) in 1966 to 1990 to 57.0% (95% CI, 56.8%-57.2%) in 2010 to 2024. However, reporting critical elements remained uncommon, such as allocation-concealment mechanism (16.1% [95% CI, 15.6%-16.6%]) and external-validity discussion (1.6% [95% CI, 1.5%-1.8%]). Compliance varied across disciplines from 35.2% (95% CI, 34.8%-35.6%) in pharmacology to 63.4% (95% CI, 62.1%-64.7%) in urology and showed only negligible associations with clinical trial characteristics (all Cramer V <0.10). Conclusions and Relevance In this systemic review of RCTs, a zero-shot LLM audited CONSORT adherence at scale, uncovering persistent reporting gaps and wide disciplinary variation across biomedical fields, underscoring the need for targeted editorial action to boost transparency and reproducibility.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Randomized Controlled Trials as TopicHumansReproducibility of ResultsLanguageLarge Language Models

Autor:innen und Institutionen

  • Department of Computational Biomedicine, Cedars Sinai Medical Center, Los Angeles, California.
  • Cedars Sinai Cancer, Cedars Sinai Medical Center, Los Angeles, California.

Zitieren

APA

Srinivasan, A., Berkowitz, J., Friedrich, N. A., Kivelson, S., & Tatonetti, N. P. (2025). Large Language Model Analysis of Reporting Quality of Randomized Clinical Trial Articles. JAMA Network Open, 8(8), e2529418. https://doi.org/10.1001/jamanetworkopen.2025.29418

Vancouver

Srinivasan A, Berkowitz J, Friedrich NA, Kivelson S, Tatonetti NP. Large Language Model Analysis of Reporting Quality of Randomized Clinical Trial Articles. JAMA Network Open. 2025;8(8):e2529418. doi:10.1001/jamanetworkopen.2025.29418

BibTeX
@article{Srinivasan2025,
  author = {Srinivasan, Apoorva and Berkowitz, Jacob and Friedrich, Nadine A and Kivelson, Sophia and Tatonetti, Nicholas P},
  title = {Large Language Model Analysis of Reporting Quality of Randomized Clinical Trial Articles},
  journal = {JAMA Network Open},
  year = {2025},
  volume = {8},
  number = {8},
  pages = {e2529418},
  doi = {10.1001/jamanetworkopen.2025.29418}
}
Kostenlos starten →