EUVIMEDEUVIMED entdecken
Systematische ÜbersichtOpen Access · CC BY 4.0

Evaluation of a large language model (ChatGPT) versus human researchers in assessing risk-of-bias and community engagement levels: a systematic review use-case analysis

Evaluation eines Large Language Models (ChatGPT) versus menschliche Forschende bei der Bewertung des Verzerrungsrisikos und der Community-Engagement-Stufen: eine systematische Review-Use-Case-Analyse

Marcello Di Pumpo iD, Maria Teresa Riccardi, Vittorio De Vita, Gianfranco Damiani

European Journal of Public Health · 01.12.2025 · 35 (6) · 1082-1086

DOI: 10.1093/eurpub/ckaf072 ↗

Auf einen Blick

ChatGPT wurde mit menschlichen Bewertungen zu Verzerrungsrisiko und Community-Engagement verglichen. Die Übereinstimmung war nur teilweise gegeben.

Fragestellung

Wie stimmen zwei custom GPTs mit menschlichen Urteilen bei ROB- und LOER-Klassifikationen überein?

Methode

Vergleich von zwei custom GPTs mit menschlichen Bewertungen; Interrater-Übereinstimmung und gemischte ordinal-logistische Regression.

Ergebnisse

Für ROB ergab sich OR 0,97 (95 %-KI 0,647–1,446; P = .874), für LOER OR 1,00 (95 %-KI 0,397–2,543; P = .992) im Vergleich zu Forschenden. Teilweise Übereinstimmung bei einzelnen Urteilen.

Einschränkungen

Nur teilweise Übereinstimmung auf einzelne Urteile; weitere Evaluation der Tools erforderlich.

Schlussfolgerung der Autor:innen

Die Autor:innen sehen die Tools als vielversprechend, betonen aber, dass vor einem zuverlässigen Einsatz in der wissenschaftlichen Praxis weitere Evaluation nötig ist.

Kernaussagen

  • ROB: OR 0,97 (95 %-KI 0,647–1,446)
  • LOER: OR 1,00 (95 %-KI 0,397–2,543)
  • Nur teilweise Übereinstimmung mit menschlichen Urteilen

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Systematische Übersicht in der Zeitschrift European Journal of Public Health, online erschienen am 10.06.2025. Verfasst von Marcello Di Pumpo und 3 weiteren Autor:innen. Beteiligte Einrichtung: Department of Life Sciences and Public Health, Università Cattolica del Sacro Cuore, Rome, Italy. Hauptthemen laut MEDLINE: Research Personnel, Language, Community Participation. Die Arbeit wurde bisher 7-mal zitiert (Crossref) und nennt 30 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Large language models (LLMs) like OpenAI’s ChatGPT (generative pretrained transformers) offer great benefits to systematic review production and quality assessment. A careful assessment and comparison with standard practice is highly needed. Two custom GPTs models were developed to compare a LLM’s performance in “Risk-of-bias (ROB)” assessment and “Levels of engagement reached (LOER)” classification vs human judgments. Inter-rater agreement was calculated. ROB GPT classified a slightly higher “low risk” overall judgments (27.8% vs 22.2%) and “some concern” (58.3% vs 52.8%) than the research team, for whom “high risk” judgments were double (25.0% vs 13.9%). The research team classified slightly higher “low risk” total judgments (59.7% vs 55.1%) and almost double “high risk” (11.1% vs 5.6%) compared to “ROB GPT” (55.1%), which rated higher “some concerns” (39.4% vs 29.2%) (P = .366). With regards to LOER analysis, 91.7% vs 25.0% were classified “Collaborate” level, 5.6% vs 61.1% as “Shared leadership”, and 2.8% as “Involve” vs 13.9% by researchers, while no studies classified in the first two engagement level vs 8.3% and 13.9%, respectively, by researchers (P = .169). A mixed-effect ordinal logistic regression showed an odds ratio (OR) = 0.97 [95% confidence interval (CI) 0.647–1.446, P = .874] for ROB and an OR = 1.00 (95% CI = 0.397–2.543, P = .992) for LOER compared to researchers. Partial agreement on some judgments was observed. Further evaluation of these promising tools is needed to enable their effective yet reliable introduction in scientific practice.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Research PersonnelLanguageCommunity ParticipationHumansBiasRisk AssessmentLarge Language ModelsGenerative Artificial Intelligence

Autor:innen und Institutionen

  • Department of Life Sciences and Public Health, Università Cattolica del Sacro Cuore, Rome, Italy.
  • Italian Society for Artificial Intelligence in Medicine (SIIAM-Società Italiana Intelligenza Artificiale in Medicina), Rome, Italy.
  • Cancer Screening Unit, Local Health Unit Roma 2, Rome, Italy.
  • Department of Woman and Child Health and Public Health, Fondazione Policlinico Universitario A. Gemelli IRCCS, Rome, Italy.

ORCID-Profile: Marcello Di Pumpo

Zitieren

APA

Di Pumpo, M., Riccardi, M. T., De Vita, V., & Damiani, G. (2025). Evaluation of a large language model (ChatGPT) versus human researchers in assessing risk-of-bias and community engagement levels: a systematic review use-case analysis. European Journal of Public Health, 35(6), 1082-1086. https://doi.org/10.1093/eurpub/ckaf072

Vancouver

Di Pumpo M, Riccardi MT, De Vita V, Damiani G. Evaluation of a large language model (ChatGPT) versus human researchers in assessing risk-of-bias and community engagement levels: a systematic review use-case analysis. European Journal of Public Health. 2025;35(6):1082-1086. doi:10.1093/eurpub/ckaf072

BibTeX
@article{DiPumpo2025,
  author = {Di Pumpo, Marcello and Riccardi, Maria Teresa and De Vita, Vittorio and Damiani, Gianfranco},
  title = {Evaluation of a large language model (ChatGPT) versus human researchers in assessing risk-of-bias and community engagement levels: a systematic review use-case analysis},
  journal = {European Journal of Public Health},
  year = {2025},
  volume = {35},
  number = {6},
  pages = {1082--1086},
  doi = {10.1093/eurpub/ckaf072}
}
Kostenlos starten →