Detecting irregularities in randomized controlled trials using machine learning
Erkennung von Unregelmäßigkeiten in randomisierten kontrollierten Studien mittels Machine Learning
Clinical Trials · 2025-04 · 22 (2) · 178-187
DOI: 10.1177/17407745241297947 ↗Auf einen Blick
Eine Machine-Learning-basierte Ausreißererkennung identifizierte formbezogene Unregelmäßigkeiten in historischen klinischen Studien mit mittlerer Koncordanz von 0,74. Sie übertraf damit leicht einen früheren Ansatz.
Fragestellung
Wie gut erkennt ein Machine-Learning-Algorithmus formbezogene Datenunregelmäßigkeiten in historischen klinischen Studien?
Methode
Analyse historischer klinischer Studien; Vergleich vorläufiger mit final gesperrten Datenbanken; Bewertung per Concordance, Precision und Recall.
Ergebnisse
Untersucht wurden 7 historische klinische Studien mit insgesamt 77.001 randomisierten Teilnehmenden. Der Algorithmus zeigte eine mediane Koncordanz von 0,74 (IQR 0,57–0,89); ein früherer Ansatz erreichte 0,73 (IQR 0,54–0,88).
Schlussfolgerung der Autor:innen
Datenunregelmäßigkeiten ließen sich anhand der Datenbank-Snapshots kategorisieren und per Machine Learning früh oder früher als durch Menschen erkennen, ohne menschliches Eingreifen.
Kernaussagen
- 7 historische Studien wurden untersucht
- Medianer AUC/Concordance-Wert: 0,74
- Machine Learning erkannte Unregelmäßigkeiten früh und ohne menschliches Eingreifen
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Clinical Trials, online erschienen am 25.11.2024. Verfasst von Walter Nelson und 5 weiteren Autor:innen. Beteiligte Einrichtung: Centre for Data Science and Digital Health, Hamilton Health Sciences, Hamilton, ON, Canada. Hauptthemen laut MEDLINE: Machine Learning, Randomized Controlled Trials as Topic. Die Arbeit wurde bisher 4-mal zitiert (Crossref) und nennt 28 Literaturangaben. Gefördert von: Canadian Institutes of Health Research.
Abstract (Originalsprache)
Background
Over the course of a clinical trial, irregularities may arise in the data. Trialists implement human-intensive, expensive central statistical monitoring procedures to identify and correct these irregularities before the results of the trial are analyzed and disseminated. Machine learning algorithms have shown promise for identifying center-level irregularities in multi-center clinical trials with minimal human intervention. We aimed to characterize the form-level data irregularities in several historical clinical trials and evaluate the ability of a machine learning-based outlier detection algorithm to identify them.
Methods
Data irregularities previously identified by humans in historical clinical trials were ascertained by comparing preliminary snapshots of the trial databases to the final, locked databases. We measured the ability of a machine learning based outlier detection algorithm to identify form-level irregularities using concordance (area under the receiver operator characteristic), positive predictive value (precision), and sensitivity (recall).
Results
We examined preliminary snapshots of seven historical clinical trials which randomized a total of 77,001 participants. We extracted a total of 1,267,484 completed entries from 358 case report forms containing irregularities from all snapshots across all trials, containing a total of 24,850 form-wide irregularities (median per-form form-level irregularity rate: 1.81%). Our proposed machine learning algorithm detects form-level irregularities with a median concordance of 0.74 (interquartile range = 0.57–0.89), slightly exceeding the performance of a previously proposed machine learning approach with a median area under the receiver operator characteristic of 0.73 (interquartile range = 0.54–0.88).
Conclusion
Data irregularities in historical clinical trials were ascertained by comparing preliminary snapshots of the trial database to the final database. These irregularities can be categorized according to their scope. Irregularities can be successfully detected by a machine learning algorithm as early or earlier than a human can, without human intervention. Such an approach may complement existing techniques for central statistical monitoring in large multi-center randomized controlled trials and possibly improve the efficiency of costly data verification processes.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Centre for Data Science and Digital Health, Hamilton Health Sciences, Hamilton, ON, Canada.
- Department of Statistical Sciences, University of Toronto, Toronto, ON, Canada.
- Population Health Research Institute, Hamilton, ON, Canada.
- Department of Medicine, McMaster University, Hamilton, ON, Canada.
- Institute of Health Policy, Management and Evaluation, University of Toronto, Toronto, ON, Canada.
- Department of Health Research Methods, Evidence, and Impact, McMaster University, Hamilton, ON, Canada.
ORCID-Profile: Walter Nelson, Shrikant I Bangdiwala
Förderung
- Canadian Institutes of Health Research
Zitieren
APA
Nelson, W., Petch, J., Ranisau, J., Zhao, R., Balasubramanian, K., & Bangdiwala, S. I. (2025). Detecting irregularities in randomized controlled trials using machine learning. Clinical Trials, 22(2), 178-187. https://doi.org/10.1177/17407745241297947
Vancouver
Nelson W, Petch J, Ranisau J, Zhao R, Balasubramanian K, Bangdiwala SI. Detecting irregularities in randomized controlled trials using machine learning. Clinical Trials. 2025;22(2):178-187. doi:10.1177/17407745241297947
BibTeX
@article{Nelson2025,
author = {Nelson, Walter and Petch, Jeremy and Ranisau, Jonathan and Zhao, Robin and Balasubramanian, Kumar and Bangdiwala, Shrikant I},
title = {Detecting irregularities in randomized controlled trials using machine learning},
journal = {Clinical Trials},
year = {2025},
volume = {22},
number = {2},
pages = {178--187},
doi = {10.1177/17407745241297947}
}
EUVIMED