EUVIMEDEUVIMED entdecken
ValidierungsstudieOpen Access

Prospective validation of a seizure diary forecasting falls short

Prospektive Validierung eines Anfalls-Tagebuchs: Vorhersagen bleiben hinter den Erwartungen zurück

Daniel M Goldenholz iD, Celena Eccleston, Robert Moss, M Brandon Westover

Epilepsia · 2024-06 · 65 (6) · 1730-1736

DOI: 10.1111/epi.17984 ↗

Auf einen Blick

In einer prospektiven Kohorte von 46 Menschen mit Epilepsie sagte das KI-Modell das Anfallsrisiko nicht besser voraus als ein sehr einfacher gleitender Mittelwert. Auf individueller Ebene war es nur in 28 % der Fälle besser als Zufall.

Fragestellung

Ob ein zuvor entwickeltes Deep-Learning-KI-Modell Anfallsrisiken in einer prospektiven Kohorte genauer vorhersagt als Zufalls- oder Mittelwertprognosen.

Methode

Prospektive Kohortenstudie mit 46 Menschen mit Epilepsie; 25 mit ausreichender Dateneingabe für die Analyse; mediane Beobachtungszeit 5 Monate; Vergleich des KI-Verfahrens mit Zufallsprognosen und einfachem gleitendem Mittelwert.

Ergebnisse

25 Personen gingen in die Analyse ein. Auf Gruppenebene war die KI besser als Zufall; auf individueller Ebene war sie in 28 % der Fälle besser als Zufall. Der gleitende Mittelwert war auf Gruppen- und Individualebene besser als die KI.

Schlussfolgerung der Autor:innen

Das zuvor entwickelte KI-Vorhersagetool war in dieser prospektiven Kohorte nicht besser als ein sehr einfacher gleitender Mittelwert; nach Ansicht der Autor:innen sollte das KI-Modell ersetzt werden.

Kernaussagen

  • Prospektive Kohorte mit 46 Menschen mit Epilepsie
  • 25 Personen mit ausreichender Dateneingabe wurden analysiert
  • Der gleitende Mittelwert schnitt besser ab als die KI

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Validierungsstudie in der Zeitschrift Epilepsia, online erschienen am 12.04.2024. Verfasst von Daniel M Goldenholz und 3 weiteren Autor:innen. Beteiligte Einrichtung: Department of Neurology, Beth Israel Deaconess Medical Center, Boston, Massachusetts, USA. Hauptthemen laut MEDLINE: Seizures, Forecasting. Die Arbeit wurde bisher 18-mal zitiert (Crossref) und nennt 24 Literaturangaben. Der Volltext ist frei in PubMed Central verfügbar. Gefördert von: NINDS NIH HHS, NCATS NIH HHS, NIA NIH HHS.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Objective

Recently, a deep learning artificial intelligence (AI) model forecasted seizure risk using retrospective seizure diaries with higher accuracy than random forecasts. The present study sought to prospectively evaluate the same algorithm.

Methods

We recruited a prospective cohort of 46 people with epilepsy; 25 completed sufficient data entry for analysis (median = 5 months). We used the same AI method as in our prior study. Group‐level and individual‐level Brier Skill Scores (BSSs) compared random forecasts and simple moving average forecasts to the AI.

Results

The AI had an area under the receiver operating characteristic curve of .82. At the group level, the AI outperformed random forecasting (BSS = .53). At the individual level, AI outperformed random in 28% of cases. At the group and individual level, the moving average outperformed the AI. If pre‐enrollment (nonverified) diaries (with presumed underreporting) were included, the AI significantly outperformed both comparators. Surveys showed most did not mind poor‐quality LOW‐RISK or HIGH‐RISK forecasts, yet 91% wanted access to these forecasts. Significance The previously developed AI forecasting tool did not outperform a very simple moving average forecasting in this prospective cohort, suggesting that the AI model should be replaced.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

SeizuresForecastingHumansFemaleMaleProspective StudiesAdultMiddle AgedEpilepsyArtificial IntelligenceYoung AdultDeep LearningAlgorithmsDiaries as TopicCohort StudiesAged

Stichwörter der Autor:innen

machine learningprospectiveseizure forecasting

Autor:innen und Institutionen

  • Department of Neurology, Beth Israel Deaconess Medical Center, Boston, Massachusetts, USA.
  • Department of Neurology, Harvard Medical School, Boston, Massachusetts, USA.
  • Seizure Tracker, Springfield, Virginia, USA.
  • Department of Neurology, Massachusetts General Hospital, Boston, Massachusetts, USA.
  • McCance Center for Brain Health, Boston, Massachusetts, USA.

ORCID-Profile: Daniel M Goldenholz

Förderung

  • NINDS NIH HHS
  • NCATS NIH HHS
  • NIA NIH HHS
  • National Science Foundation
  • American Academy of Sleep Medicine
  • NHLBI NIH HHS
  • National Institute of Neurological Disorders and Stroke

Zitieren

APA

Goldenholz, D. M., Eccleston, C., Moss, R., & Westover, M. B. (2024). Prospective validation of a seizure diary forecasting falls short. Epilepsia, 65(6), 1730-1736. https://doi.org/10.1111/epi.17984

Vancouver

Goldenholz DM, Eccleston C, Moss R, Westover MB. Prospective validation of a seizure diary forecasting falls short. Epilepsia. 2024;65(6):1730-1736. doi:10.1111/epi.17984

BibTeX
@article{Goldenholz2024,
  author = {Goldenholz, Daniel M and Eccleston, Celena and Moss, Robert and Westover, M Brandon},
  title = {Prospective validation of a seizure diary forecasting falls short},
  journal = {Epilepsia},
  year = {2024},
  volume = {65},
  number = {6},
  pages = {1730--1736},
  doi = {10.1111/epi.17984}
}
Kostenlos starten →