EUVIMEDEUVIMED entdecken
Scoping ReviewOpen Access

Evaluation framework for conversational agents with artificial intelligence in health interventions: a systematic scoping review

Evaluationsrahmen für Conversational Agents mit künstlicher Intelligenz in Gesundheitsinterventionen: systematische Scoping-Review

Hang Ding, Joshua Simmich, Atiyeh Vaezipour, Nicole Andrews, Trevor Russell

Journal of the American Medical Informatics Association · 16.02.2024 · 31 (3) · 746-761

DOI: 10.1093/jamia/ocad222 ↗

Auf einen Blick

Die Review von 81 Studien bündelt Evaluationsansätze für Conversational Agents in Gesundheitsinterventionen. Daraus wurde ein Rahmen mit 4 Evaluationsstufen abgeleitet.

Fragestellung

Welche Studiendesigns und Outcome-Messungen wurden zur Evaluation von Conversational Agents in Gesundheitsinterventionen verwendet, und wie lassen sie sich in einen Bewertungsrahmen einordnen?

Methode

Systematische Scoping-Review; Einordnung in den digitalen Gesundheitsrahmen der WHO.

Ergebnisse

Eingeschlossen wurden 81 Studien: experimentelle (n=59), Beobachtungsstudien (n=15) und andere Designs (n=7). Der Rahmen umfasst 4 Stufen und 7 Hauptkategorien mit 40 Unterkategorien.

Schlussfolgerung der Autor:innen

Die Review stellt einen neuen Rahmen mit praktischen Designdetails vor, um die Evaluation von CA-Interventionen in der Gesundheitsforschung zu unterstützen.

Kernaussagen

  • 81 Studien zu CA-Evaluationen wurden ausgewertet.
  • 4 Evaluationsstufen: Machbarkeit/Usability, Wirksamkeit, Effektivität, Implementierung.
  • 7 Hauptkategorien: u. a. Funktionalität, Sicherheit, Nutzererleben und klinische Outcomes.

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Scoping Review in der Zeitschrift Journal of the American Medical Informatics Association, online erschienen am 09.12.2023. Verfasst von Hang Ding und 4 weiteren Autor:innen. Beteiligte Einrichtung: RECOVER Injury Research Centre, Faculty of Health and Behavioural Sciences, The University of Queensland, Brisbane, QLD, Australia. Hauptthemen laut MEDLINE: Artificial Intelligence. Die Arbeit wurde bisher 61-mal zitiert (Crossref) und nennt 147 Literaturangaben. Der Volltext ist frei in PubMed Central verfügbar. Gefördert von: University of Queensland.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Objectives

Conversational agents (CAs) with emerging artificial intelligence present new opportunities to assist in health interventions but are difficult to evaluate, deterring their applications in the real world. We aimed to synthesize existing evidence and knowledge and outline an evaluation framework for CA interventions. Materials and Methods We conducted a systematic scoping review to investigate designs and outcome measures used in the studies that evaluated CAs for health interventions. We then nested the results into an overarching digital health framework proposed by the World Health Organization (WHO).

Results

The review included 81 studies evaluating CAs in experimental (n = 59), observational (n = 15) trials, and other research designs (n = 7). Most studies (n = 72, 89%) were published in the past 5 years. The proposed CA-evaluation framework includes 4 evaluation stages: (1) feasibility/usability, (2) efficacy, (3) effectiveness, and (4) implementation, aligning with WHO’s stepwise evaluation strategy. Across these stages, this article presents the essential evidence of different study designs (n = 8), sample sizes, and main evaluation categories (n = 7) with subcategories (n = 40). The main evaluation categories included (1) functionality, (2) safety and information quality, (3) user experience, (4) clinical and health outcomes, (5) costs and cost benefits, (6) usage, adherence, and uptake, and (7) user characteristics for implementation research. Furthermore, the framework highlighted the essential evaluation areas (potential primary outcomes) and gaps across the evaluation stages. Discussion and Conclusion This review presents a new framework with practical design details to support the evaluation of CA interventions in healthcare research. Protocol registration The Open Science Framework (https://osf.io/9hq2v) on March 22, 2021.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Artificial IntelligenceHumansCommunicationEvaluation Studies as Topic

Stichwörter der Autor:innen

chatbotconversational agentevaluationhealthcaresystematic reviewvirtual assistant

Autor:innen und Institutionen

  • RECOVER Injury Research Centre, Faculty of Health and Behavioural Sciences, The University of Queensland, Brisbane, QLD, Australia.
  • STARS Education and Research Alliance, Surgical Treatment and Rehabilitation Service (STARS), The University of Queensland and Metro North Health, Brisbane, QLD, Australia.
  • The Tess Cramond Pain and Research Centre, Metro North Hospital and Health Service, Brisbane, QLD, Australia.
  • The Occupational Therapy Department, The Royal Brisbane and Women's Hospital, Metro North Hospital and Health Service, Brisbane, QLD, Australia.

Förderung

  • University of Queensland

Zitieren

APA

Ding, H., Simmich, J., Vaezipour, A., Andrews, N., & Russell, T. (2024). Evaluation framework for conversational agents with artificial intelligence in health interventions: a systematic scoping review. Journal of the American Medical Informatics Association, 31(3), 746-761. https://doi.org/10.1093/jamia/ocad222

Vancouver

Ding H, Simmich J, Vaezipour A, Andrews N, Russell T. Evaluation framework for conversational agents with artificial intelligence in health interventions: a systematic scoping review. Journal of the American Medical Informatics Association. 2024;31(3):746-761. doi:10.1093/jamia/ocad222

BibTeX
@article{Ding2024,
  author = {Ding, Hang and Simmich, Joshua and Vaezipour, Atiyeh and Andrews, Nicole and Russell, Trevor},
  title = {Evaluation framework for conversational agents with artificial intelligence in health interventions: a systematic scoping review},
  journal = {Journal of the American Medical Informatics Association},
  year = {2024},
  volume = {31},
  number = {3},
  pages = {746--761},
  doi = {10.1093/jamia/ocad222}
}
Kostenlos starten →