Explainable machine learning for predicting longitudinal dementia status: Establishing a leakage-free benchmark
Erklärbares Machine Learning zur Vorhersage des longitudinalen Demenzstatus: Aufbau eines leakage-freien Benchmarks
PLOS Digital Health · 18.05.2026 · 5 (5) · e0001409
DOI: 10.1371/journal.pdig.0001409 ↗Auf einen Blick
In der OASIS-2-Kohorte wurde ein leakage-freier Benchmark für die Demenzklassifikation aufgebaut. Nach Ausschluss von CDR und gruppenbewusstem Splitten lagen die Leistungen niedriger; SVC und LightGBM waren am besten.
Fragestellung
Wie lässt sich der longitudinale Demenzstatus ohne Label- und Subject-Information-Leakage mit Machine-Learning-Modellen vorhersagen?
Methode
Analyse der longitudinalen OASIS-2-Kohorte; CDR ausgeschlossen, gruppenbewusstes Splitten, zusätzliche zeitliche Features; Klassifikation mit SVC, CatBoost, LightGBM, Random Forest und Extra Trees; XAI mit Permutation Importance und SHAP.
Ergebnisse
SVC und LightGBM mit originalen und konstruierten Features waren am besten. SVC: Precision 73,3 %; ROC AUC 89,1 %. LightGBM: Recall 69,7 %; Accuracy 69,7 %. Beide Modelle schnitten bei Frauen besser ab.
Einschränkungen
Die Autoren nennen potenzielle Verzerrungen und zeigen, dass realistische Vorhersageleistung nach Entfernen von Leakage deutlich niedriger ist.
Schlussfolgerung der Autor:innen
Die Studie etabliert einen transparenten Benchmark für leakage-freie Demenzklassifikation; mit Entfernen von Leakage ist die realistische Vorhersageleistung deutlich geringer.
Kernaussagen
- CDR wurde als Merkmal ausgeschlossen, um Target Leakage zu vermeiden.
- SVC erreichte die höchste Precision und ROC AUC.
- Leistung und mögliche Bias waren bei Frauen günstiger.
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift PLOS Digital Health, online erschienen am 18.05.2026. Verfasst von Mohammad Mahdi Ghiasi und 3 weiteren Autor:innen. Beteiligte Einrichtung: School of Biomedical Engineering, University of British Columbia, Vancouver, British Columbia, Canada. Die Arbeit wurde bisher 2-mal zitiert (Crossref) und nennt 50 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: University of British Columbia, Killam Trusts, Natural Sciences and Engineering Research Council of Canada.
Abstract (Originalsprache)
Dementia research often suffers from methodological pitfalls such as label-information and subject-information leakages. Leveraging the longitudinal OASIS-2 cohort, this study identifies and addresses three critical gaps in prior research: (i) inclusion of Clinical Dementia Rating (CDR) in predictor sets, risking target leakage and inflated performance estimates; (ii) inappropriate splitting strategies for longitudinal data, risking information leakage; and (iii) inadequate incorporation of temporal dynamics in classification models. To address these, CDR was excluded from input features to ensure that model performance reflects genuine predictive signals from demographic and neuroimaging data. A group-aware data-splitting strategy was implemented to maintain longitudinal data integrity and prevent leakage across training and test sets. Several engineered temporal features were also introduced to evaluate their impact on classification performance. To develop classifiers, a kernel-based classifier (support vector classifier, SVC), boosting ensembles (CatBoost, LightGBM), and bagging ensembles (Random Forest, Extra Trees), were employed. Furthermore, Explainable AI (XAI) techniques, including permutation importance and SHapley Additive exPlanations (SHAP), were utilized to interpret predictions of the best models and identify feature contributions. SVC and LightGBM (LGBM), trained on a combined feature set of original and engineered features, outperformed others. SVC achieved higher precision (73.3%) and discriminative power (ROC AUC 89.1%), while LightGBM provided better recall (69.7%) and accuracy (69.7%). XAI analyses revealed that (i) Mini-Mental State Examination and atlas-scaling-factor dynamics dominated SVC decisions, while (ii) education, age, and estimated total intracranial volume were critical for LGBM predictions. A sex-based analysis showed that both SVC and LGBM models performed better among females, which may indicate potential biases in the models. Collectively, this study establishes a transparent benchmark for leakage-free dementia status classification, demonstrating that realistic predictive performance is markedly lower once leakage is eliminated. This benchmark, together with interpretable analyses, provides a reference point for developing more robust longitudinal dementia models.
Autor:innen und Institutionen
- School of Biomedical Engineering, University of British Columbia, Vancouver, British Columbia, Canada.
- Djavad Mowafaghian Centre for Brain Health, University of British Columbia, Vancouver, British Columbia, Canada.
- Centre for Aging SMART at Vancouver Coastal Health, Vancouver Coastal Health Research Institute, Vancouver, British Columbia, Canada.
- Department of Physical Therapy, University of British Columbia, Vancouver, British Columbia, Canada.
ORCID-Profile: Roger C Tam
Förderung
- University of British Columbia
- Killam Trusts
- Natural Sciences and Engineering Research Council of Canada
- Canadian Institutes of Health Research
- Canada Research Chairs
Zitieren
APA
Ghiasi, M. M., Falck, R. S., Liu-Ambrose, T., & Tam, R. C. (2026). Explainable machine learning for predicting longitudinal dementia status: Establishing a leakage-free benchmark. PLOS Digital Health, 5(5), e0001409. https://doi.org/10.1371/journal.pdig.0001409
Vancouver
Ghiasi MM, Falck RS, Liu-Ambrose T, Tam RC. Explainable machine learning for predicting longitudinal dementia status: Establishing a leakage-free benchmark. PLOS Digital Health. 2026;5(5):e0001409. doi:10.1371/journal.pdig.0001409
BibTeX
@article{Ghiasi2026,
author = {Ghiasi, Mohammad Mahdi and Falck, Ryan Stanley and Liu-Ambrose, Teresa and Tam, Roger C},
title = {Explainable machine learning for predicting longitudinal dementia status: Establishing a leakage-free benchmark},
journal = {PLOS Digital Health},
year = {2026},
volume = {5},
number = {5},
pages = {e0001409},
doi = {10.1371/journal.pdig.0001409}
}
EUVIMED