EUVIMEDEUVIMED entdecken
Crossref

Detecting irregularities in randomized controlled trials using machine learning

Erkennung von Unregelmäßigkeiten in randomisierten kontrollierten Studien mittels Machine Learning

Walter Nelson iD, Jeremy Petch, Jonathan Ranisau, Robin Zhao, Kumar Balasubramanian, Shrikant I Bangdiwala iD

Clinical Trials · 2025-04 · 22 (2) · 178-187

DOI: 10.1177/17407745241297947 ↗

Auf einen Blick

Eine Machine-Learning-basierte Ausreißererkennung identifizierte formbezogene Unregelmäßigkeiten in historischen klinischen Studien mit mittlerer Koncordanz von 0,74. Sie übertraf damit leicht einen früheren Ansatz.

Fragestellung

Wie gut erkennt ein Machine-Learning-Algorithmus formbezogene Datenunregelmäßigkeiten in historischen klinischen Studien?

Methode

Analyse historischer klinischer Studien; Vergleich vorläufiger mit final gesperrten Datenbanken; Bewertung per Concordance, Precision und Recall.

Ergebnisse

Untersucht wurden 7 historische klinische Studien mit insgesamt 77.001 randomisierten Teilnehmenden. Der Algorithmus zeigte eine mediane Koncordanz von 0,74 (IQR 0,57–0,89); ein früherer Ansatz erreichte 0,73 (IQR 0,54–0,88).

Schlussfolgerung der Autor:innen

Datenunregelmäßigkeiten ließen sich anhand der Datenbank-Snapshots kategorisieren und per Machine Learning früh oder früher als durch Menschen erkennen, ohne menschliches Eingreifen.

Kernaussagen

  • 7 historische Studien wurden untersucht
  • Medianer AUC/Concordance-Wert: 0,74
  • Machine Learning erkannte Unregelmäßigkeiten früh und ohne menschliches Eingreifen

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Clinical Trials, online erschienen am 25.11.2024. Verfasst von Walter Nelson und 5 weiteren Autor:innen. Beteiligte Einrichtung: Centre for Data Science and Digital Health, Hamilton Health Sciences, Hamilton, ON, Canada. Hauptthemen laut MEDLINE: Machine Learning, Randomized Controlled Trials as Topic. Die Arbeit wurde bisher 4-mal zitiert (Crossref) und nennt 28 Literaturangaben. Gefördert von: Canadian Institutes of Health Research.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Background

Over the course of a clinical trial, irregularities may arise in the data. Trialists implement human-intensive, expensive central statistical monitoring procedures to identify and correct these irregularities before the results of the trial are analyzed and disseminated. Machine learning algorithms have shown promise for identifying center-level irregularities in multi-center clinical trials with minimal human intervention. We aimed to characterize the form-level data irregularities in several historical clinical trials and evaluate the ability of a machine learning-based outlier detection algorithm to identify them.

Methods

Data irregularities previously identified by humans in historical clinical trials were ascertained by comparing preliminary snapshots of the trial databases to the final, locked databases. We measured the ability of a machine learning based outlier detection algorithm to identify form-level irregularities using concordance (area under the receiver operator characteristic), positive predictive value (precision), and sensitivity (recall).

Results

We examined preliminary snapshots of seven historical clinical trials which randomized a total of 77,001 participants. We extracted a total of 1,267,484 completed entries from 358 case report forms containing irregularities from all snapshots across all trials, containing a total of 24,850 form-wide irregularities (median per-form form-level irregularity rate: 1.81%). Our proposed machine learning algorithm detects form-level irregularities with a median concordance of 0.74 (interquartile range = 0.57–0.89), slightly exceeding the performance of a previously proposed machine learning approach with a median area under the receiver operator characteristic of 0.73 (interquartile range = 0.54–0.88).

Conclusion

Data irregularities in historical clinical trials were ascertained by comparing preliminary snapshots of the trial database to the final database. These irregularities can be categorized according to their scope. Irregularities can be successfully detected by a machine learning algorithm as early or earlier than a human can, without human intervention. Such an approach may complement existing techniques for central statistical monitoring in large multi-center randomized controlled trials and possibly improve the efficiency of costly data verification processes.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Machine LearningRandomized Controlled Trials as TopicHumansAlgorithmsData Interpretation, StatisticalMulticenter Studies as Topic

Stichwörter der Autor:innen

Central statistical monitoringartificial intelligencedata qualitymachine learningoutlier detectionquality assurancerandomized controlled trials

Autor:innen und Institutionen

  • Centre for Data Science and Digital Health, Hamilton Health Sciences, Hamilton, ON, Canada.
  • Department of Statistical Sciences, University of Toronto, Toronto, ON, Canada.
  • Population Health Research Institute, Hamilton, ON, Canada.
  • Department of Medicine, McMaster University, Hamilton, ON, Canada.
  • Institute of Health Policy, Management and Evaluation, University of Toronto, Toronto, ON, Canada.
  • Department of Health Research Methods, Evidence, and Impact, McMaster University, Hamilton, ON, Canada.

ORCID-Profile: Walter Nelson, Shrikant I Bangdiwala

Förderung

  • Canadian Institutes of Health Research

Zitieren

APA

Nelson, W., Petch, J., Ranisau, J., Zhao, R., Balasubramanian, K., & Bangdiwala, S. I. (2025). Detecting irregularities in randomized controlled trials using machine learning. Clinical Trials, 22(2), 178-187. https://doi.org/10.1177/17407745241297947

Vancouver

Nelson W, Petch J, Ranisau J, Zhao R, Balasubramanian K, Bangdiwala SI. Detecting irregularities in randomized controlled trials using machine learning. Clinical Trials. 2025;22(2):178-187. doi:10.1177/17407745241297947

BibTeX
@article{Nelson2025,
  author = {Nelson, Walter and Petch, Jeremy and Ranisau, Jonathan and Zhao, Robin and Balasubramanian, Kumar and Bangdiwala, Shrikant I},
  title = {Detecting irregularities in randomized controlled trials using machine learning},
  journal = {Clinical Trials},
  year = {2025},
  volume = {22},
  number = {2},
  pages = {178--187},
  doi = {10.1177/17407745241297947}
}
Kostenlos starten →