Evaluation of a large language model (ChatGPT) versus human researchers in assessing risk-of-bias and community engagement levels: a systematic review use-case analysis
Evaluation eines Large Language Models (ChatGPT) versus menschliche Forschende bei der Bewertung des Verzerrungsrisikos und der Community-Engagement-Stufen: eine systematische Review-Use-Case-Analyse
European Journal of Public Health · 01.12.2025 · 35 (6) · 1082-1086
DOI: 10.1093/eurpub/ckaf072 ↗Auf einen Blick
ChatGPT wurde mit menschlichen Bewertungen zu Verzerrungsrisiko und Community-Engagement verglichen. Die Übereinstimmung war nur teilweise gegeben.
Fragestellung
Wie stimmen zwei custom GPTs mit menschlichen Urteilen bei ROB- und LOER-Klassifikationen überein?
Methode
Vergleich von zwei custom GPTs mit menschlichen Bewertungen; Interrater-Übereinstimmung und gemischte ordinal-logistische Regression.
Ergebnisse
Für ROB ergab sich OR 0,97 (95 %-KI 0,647–1,446; P = .874), für LOER OR 1,00 (95 %-KI 0,397–2,543; P = .992) im Vergleich zu Forschenden. Teilweise Übereinstimmung bei einzelnen Urteilen.
Einschränkungen
Nur teilweise Übereinstimmung auf einzelne Urteile; weitere Evaluation der Tools erforderlich.
Schlussfolgerung der Autor:innen
Die Autor:innen sehen die Tools als vielversprechend, betonen aber, dass vor einem zuverlässigen Einsatz in der wissenschaftlichen Praxis weitere Evaluation nötig ist.
Kernaussagen
- ROB: OR 0,97 (95 %-KI 0,647–1,446)
- LOER: OR 1,00 (95 %-KI 0,397–2,543)
- Nur teilweise Übereinstimmung mit menschlichen Urteilen
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Systematische Übersicht in der Zeitschrift European Journal of Public Health, online erschienen am 10.06.2025. Verfasst von Marcello Di Pumpo und 3 weiteren Autor:innen. Beteiligte Einrichtung: Department of Life Sciences and Public Health, Università Cattolica del Sacro Cuore, Rome, Italy. Hauptthemen laut MEDLINE: Research Personnel, Language, Community Participation. Die Arbeit wurde bisher 7-mal zitiert (Crossref) und nennt 30 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).
Abstract (Originalsprache)
Large language models (LLMs) like OpenAI’s ChatGPT (generative pretrained transformers) offer great benefits to systematic review production and quality assessment. A careful assessment and comparison with standard practice is highly needed. Two custom GPTs models were developed to compare a LLM’s performance in “Risk-of-bias (ROB)” assessment and “Levels of engagement reached (LOER)” classification vs human judgments. Inter-rater agreement was calculated. ROB GPT classified a slightly higher “low risk” overall judgments (27.8% vs 22.2%) and “some concern” (58.3% vs 52.8%) than the research team, for whom “high risk” judgments were double (25.0% vs 13.9%). The research team classified slightly higher “low risk” total judgments (59.7% vs 55.1%) and almost double “high risk” (11.1% vs 5.6%) compared to “ROB GPT” (55.1%), which rated higher “some concerns” (39.4% vs 29.2%) (P = .366). With regards to LOER analysis, 91.7% vs 25.0% were classified “Collaborate” level, 5.6% vs 61.1% as “Shared leadership”, and 2.8% as “Involve” vs 13.9% by researchers, while no studies classified in the first two engagement level vs 8.3% and 13.9%, respectively, by researchers (P = .169). A mixed-effect ordinal logistic regression showed an odds ratio (OR) = 0.97 [95% confidence interval (CI) 0.647–1.446, P = .874] for ROB and an OR = 1.00 (95% CI = 0.397–2.543, P = .992) for LOER compared to researchers. Partial agreement on some judgments was observed. Further evaluation of these promising tools is needed to enable their effective yet reliable introduction in scientific practice.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Autor:innen und Institutionen
- Department of Life Sciences and Public Health, Università Cattolica del Sacro Cuore, Rome, Italy.
- Italian Society for Artificial Intelligence in Medicine (SIIAM-Società Italiana Intelligenza Artificiale in Medicina), Rome, Italy.
- Cancer Screening Unit, Local Health Unit Roma 2, Rome, Italy.
- Department of Woman and Child Health and Public Health, Fondazione Policlinico Universitario A. Gemelli IRCCS, Rome, Italy.
ORCID-Profile: Marcello Di Pumpo
Zitieren
APA
Di Pumpo, M., Riccardi, M. T., De Vita, V., & Damiani, G. (2025). Evaluation of a large language model (ChatGPT) versus human researchers in assessing risk-of-bias and community engagement levels: a systematic review use-case analysis. European Journal of Public Health, 35(6), 1082-1086. https://doi.org/10.1093/eurpub/ckaf072
Vancouver
Di Pumpo M, Riccardi MT, De Vita V, Damiani G. Evaluation of a large language model (ChatGPT) versus human researchers in assessing risk-of-bias and community engagement levels: a systematic review use-case analysis. European Journal of Public Health. 2025;35(6):1082-1086. doi:10.1093/eurpub/ckaf072
BibTeX
@article{DiPumpo2025,
author = {Di Pumpo, Marcello and Riccardi, Maria Teresa and De Vita, Vittorio and Damiani, Gianfranco},
title = {Evaluation of a large language model (ChatGPT) versus human researchers in assessing risk-of-bias and community engagement levels: a systematic review use-case analysis},
journal = {European Journal of Public Health},
year = {2025},
volume = {35},
number = {6},
pages = {1082--1086},
doi = {10.1093/eurpub/ckaf072}
}
EUVIMED