External validation and adaptation of the Computational Barthel Index Tool in a large nursing home cohort
Externe Validierung und Anpassung des Computational Barthel Index Tool in einer großen Pflegeheimkohorte
PLOS Digital Health · 23.10.2026 · 5 (10) · e0001793
DOI: 10.1371/journal.pdig.0001793 ↗Auf einen Blick
CBIT wurde in einer großen Pflegeheimkohorte extern validiert. Die Trennschärfe nahm gegenüber den ursprünglichen VA-Modellen ab, besonders bei längeren Vorhersagezeiträumen; eine populationsspezifische Anpassung besserte dies teilweise aus.
Fragestellung
Wie gut lässt sich CBIT in einer nicht-VA-Pflegeheimpopulation extern validieren, und kann eine populationsspezifische Anpassung die Leistung nach dem Transport verbessern?
Methode
Externe Validierung und Adaptation von CBIT in SEER-Medicare-Daten; Rekonstruktion der ursprünglichen Modellstruktur; Bewertung ohne Modifikation für aktuelle, 3-, 6- und 12-Monats-Vorhersagen.
Ergebnisse
843.836 Patient:innen und über 8 Millionen MDS-Bewertungen. Mean AUC: 0,795 in den Originalmodellen vs. 0,693 aktuell, 0,595 nach 3 Monaten, 0,595 nach 6 Monaten und 0,592 nach 12 Monaten; Kalibrierungsfehler nahmen zu.
Schlussfolgerung der Autor:innen
Die externe Validierung zeigte einen deutlichen Leistungsabfall von CBIT in einer nicht-VA-Population. Eine populationsspezifische Anpassung stellte viel der Leistung wieder her; vollständige Modellrekonstruktion bleibt eine Alternative.
Kernaussagen
- Externe Validierung: Leistungsabfall in der nicht-VA-Population
- Mean AUC sank bis auf 0,592 bei 12 Monaten
- Populationsspezifische Adaptation verbesserte die Trennschärfe deutlich
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift PLOS Digital Health, online erschienen am 23.10.2026. Verfasst von Lemba Priscille Ngana und 4 weiteren Autor:innen. Beteiligte Einrichtung: Department of Health Administration, Policy and Informatics, George Mason University, Fairfax, Virginia, United States of America. Die Arbeit nennt 20 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: NCI NIH HHS.
Themen: Langzeitpflege
Abstract (Originalsprache)
The Computational Barthel Index Tool (CBIT), originally developed using U.S. Department of Veterans Affairs (VA) data, predicts future dependency in activities of daily living up to one year in advance. This study externally validated CBIT in a large non-VA nursing home population and evaluated whether population-specific adaptation could recover performance following external transport. We analyzed SEER-Medicare linked data, including 843,836 patients and over 8 million Minimum Data Set (MDS) assessments. The predictor and outcome structures of the original CBIT models were reconstructed in the SEER-Medicare cohort. Pretrained models were evaluated without modification for discrimination and calibration at current, 3-, 6-, and 12-month prediction timeframes. Population-specific adaptation was evaluated using progressively larger subsets of SEER-Medicare training data and compared with model reconstruction in the SEER-Medicare. Under strict external validation, discrimination declined relative to the original VA models, particularly for longer-term predictions. For evaluation models, mean AUC decreased from 0.795 in the original models to 0.693 at current prediction, 0.595 at 3 months, 0.595 at 6 months, and 0.592 at 12 months. Re-evaluation models showed stronger but similarly declining external performance. Calibration error increased, particularly for evaluation models at longer timeframes. Subgroup analyses showed modest variation in discrimination across demographic and clinical groups. Population-specific adaptation substantially recovered discrimination, with performance improving as more SEER-Medicare training data were incorporated. Using the adaptation training set, adapted models achieved performance comparable to SEER-Medicare model reconstruction. External validation revealed substantial performance degradation when CBIT was transported to a non-VA population. Population-specific adaptation recovered much of this performance loss, supporting a structured approach to clinical ML transportability in which pretrained models are externally validated first, followed by adaptation when performance degradation is observed. Full model reconstruction remains an alternative when sufficient local data are available.
Autor:innen und Institutionen
- Department of Health Administration, Policy and Informatics, George Mason University, Fairfax, Virginia, United States of America.
ORCID-Profile: Lemba Priscille Ngana, Dharmi Desai
Förderung
- NCI NIH HHS
Zitieren
APA
Ngana, L. P., Wojtusiak, J., Haghighathoseini, A., Patel, B., & Desai, D. (2026). External validation and adaptation of the Computational Barthel Index Tool in a large nursing home cohort. PLOS Digital Health, 5(10), e0001793. https://doi.org/10.1371/journal.pdig.0001793
Vancouver
Ngana LP, Wojtusiak J, Haghighathoseini A, Patel B, Desai D. External validation and adaptation of the Computational Barthel Index Tool in a large nursing home cohort. PLOS Digital Health. 2026;5(10):e0001793. doi:10.1371/journal.pdig.0001793
BibTeX
@article{Ngana2026,
author = {Ngana, Lemba Priscille and Wojtusiak, Janusz and Haghighathoseini, Atefehsadat and Patel, Bhumi and Desai, Dharmi},
title = {External validation and adaptation of the Computational Barthel Index Tool in a large nursing home cohort},
journal = {PLOS Digital Health},
year = {2026},
volume = {5},
number = {10},
pages = {e0001793},
doi = {10.1371/journal.pdig.0001793}
}
EUVIMED