Prospective validation of a seizure diary forecasting falls short
Prospektive Validierung eines Anfalls-Tagebuchs: Vorhersagen bleiben hinter den Erwartungen zurück
Epilepsia · 2024-06 · 65 (6) · 1730-1736
DOI: 10.1111/epi.17984 ↗Auf einen Blick
In einer prospektiven Kohorte von 46 Menschen mit Epilepsie sagte das KI-Modell das Anfallsrisiko nicht besser voraus als ein sehr einfacher gleitender Mittelwert. Auf individueller Ebene war es nur in 28 % der Fälle besser als Zufall.
Fragestellung
Ob ein zuvor entwickeltes Deep-Learning-KI-Modell Anfallsrisiken in einer prospektiven Kohorte genauer vorhersagt als Zufalls- oder Mittelwertprognosen.
Methode
Prospektive Kohortenstudie mit 46 Menschen mit Epilepsie; 25 mit ausreichender Dateneingabe für die Analyse; mediane Beobachtungszeit 5 Monate; Vergleich des KI-Verfahrens mit Zufallsprognosen und einfachem gleitendem Mittelwert.
Ergebnisse
25 Personen gingen in die Analyse ein. Auf Gruppenebene war die KI besser als Zufall; auf individueller Ebene war sie in 28 % der Fälle besser als Zufall. Der gleitende Mittelwert war auf Gruppen- und Individualebene besser als die KI.
Schlussfolgerung der Autor:innen
Das zuvor entwickelte KI-Vorhersagetool war in dieser prospektiven Kohorte nicht besser als ein sehr einfacher gleitender Mittelwert; nach Ansicht der Autor:innen sollte das KI-Modell ersetzt werden.
Kernaussagen
- Prospektive Kohorte mit 46 Menschen mit Epilepsie
- 25 Personen mit ausreichender Dateneingabe wurden analysiert
- Der gleitende Mittelwert schnitt besser ab als die KI
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Validierungsstudie in der Zeitschrift Epilepsia, online erschienen am 12.04.2024. Verfasst von Daniel M Goldenholz und 3 weiteren Autor:innen. Beteiligte Einrichtung: Department of Neurology, Beth Israel Deaconess Medical Center, Boston, Massachusetts, USA. Hauptthemen laut MEDLINE: Seizures, Forecasting. Die Arbeit wurde bisher 18-mal zitiert (Crossref) und nennt 24 Literaturangaben. Der Volltext ist frei in PubMed Central verfügbar. Gefördert von: NINDS NIH HHS, NCATS NIH HHS, NIA NIH HHS.
Themen: Sturzprophylaxe
Abstract (Originalsprache)
Objective
Recently, a deep learning artificial intelligence (AI) model forecasted seizure risk using retrospective seizure diaries with higher accuracy than random forecasts. The present study sought to prospectively evaluate the same algorithm.
Methods
We recruited a prospective cohort of 46 people with epilepsy; 25 completed sufficient data entry for analysis (median = 5 months). We used the same AI method as in our prior study. Group‐level and individual‐level Brier Skill Scores (BSSs) compared random forecasts and simple moving average forecasts to the AI.
Results
The AI had an area under the receiver operating characteristic curve of .82. At the group level, the AI outperformed random forecasting (BSS = .53). At the individual level, AI outperformed random in 28% of cases. At the group and individual level, the moving average outperformed the AI. If pre‐enrollment (nonverified) diaries (with presumed underreporting) were included, the AI significantly outperformed both comparators. Surveys showed most did not mind poor‐quality LOW‐RISK or HIGH‐RISK forecasts, yet 91% wanted access to these forecasts. Significance The previously developed AI forecasting tool did not outperform a very simple moving average forecasting in this prospective cohort, suggesting that the AI model should be replaced.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Department of Neurology, Beth Israel Deaconess Medical Center, Boston, Massachusetts, USA.
- Department of Neurology, Harvard Medical School, Boston, Massachusetts, USA.
- Seizure Tracker, Springfield, Virginia, USA.
- Department of Neurology, Massachusetts General Hospital, Boston, Massachusetts, USA.
- McCance Center for Brain Health, Boston, Massachusetts, USA.
ORCID-Profile: Daniel M Goldenholz
Förderung
- NINDS NIH HHS
- NCATS NIH HHS
- NIA NIH HHS
- National Science Foundation
- American Academy of Sleep Medicine
- NHLBI NIH HHS
- National Institute of Neurological Disorders and Stroke
Zitieren
APA
Goldenholz, D. M., Eccleston, C., Moss, R., & Westover, M. B. (2024). Prospective validation of a seizure diary forecasting falls short. Epilepsia, 65(6), 1730-1736. https://doi.org/10.1111/epi.17984
Vancouver
Goldenholz DM, Eccleston C, Moss R, Westover MB. Prospective validation of a seizure diary forecasting falls short. Epilepsia. 2024;65(6):1730-1736. doi:10.1111/epi.17984
BibTeX
@article{Goldenholz2024,
author = {Goldenholz, Daniel M and Eccleston, Celena and Moss, Robert and Westover, M Brandon},
title = {Prospective validation of a seizure diary forecasting falls short},
journal = {Epilepsia},
year = {2024},
volume = {65},
number = {6},
pages = {1730--1736},
doi = {10.1111/epi.17984}
}
EUVIMED