EUVIMEDEUVIMED entdecken
Systematische ÜbersichtOpen Access

Charting the evolution of artificial intelligence mental health chatbots from rule‐based systems to large language models: a systematic review

Entwicklung von KI-gestützten Mental-Health-Chatbots von regelbasierten Systemen bis zu Large Language Models: systematische Übersicht

Yining Hua, Steve Siddals, Zilin Ma, Isaac Galatzer-Levy, Winna Xia, Christine Hau, Hongbin Na, Matthew Flathers, Jake Linardon, Cyrus Ayubcha, John Torous

World Psychiatry · 2025-10 · 24 (3) · 383-394

DOI: 10.1002/wps.21352 ↗

Auf einen Blick

Die systematische Übersicht zu 160 Studien beschreibt die Entwicklung von Mental-Health-Chatbots von regelbasierten Systemen zu LLM-basierten Chatbots. Nur 47 % der Studien prüften die klinische Wirksamkeit.

Fragestellung

Wie entwickelten sich Architektur und Evaluation von KI-Chatbots für die psychische Gesundheit, und wie häufig wurde klinische Wirksamkeit geprüft?

Methode

Systematische Übersicht von 160 Studien aus 2020 bis 2024; Einteilung nach Chatbot-Architektur und dreistufigem Evaluationsrahmen.

Ergebnisse

Regelbasierte Systeme dominierten bis 2023, LLM-basierte Chatbots machten 2024 45 % der neuen Studien aus. Nur 16 % der LLM-Studien prüften klinische Wirksamkeit; 77 % waren noch in der frühen Validierung.

Einschränkungen

Heterogene und fragmentierte Evidenz; viele Studien waren nur frühe Validierungen.

Schlussfolgerung der Autor:innen

LLM-basierte Chatbots werden zunehmend untersucht, sind in Hochrisiko-Kontexten der psychischen Gesundheit aber noch weitgehend ungetestet. Die Autor:innen betonen die Notwendigkeit standardisierter Evaluation und Benchmarking.

Kernaussagen

  • Nur 47 % der Studien prüften klinische Wirksamkeit
  • LLM-Chatbots stellten 2024 45 % der neuen Studien
  • Viele Systeme basierten trotz Marketing auf einfachen regelbasierten Skripten

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Systematische Übersicht in der Zeitschrift World Psychiatry, online erschienen am 15.09.2025. Verfasst von Yining Hua und 10 weiteren Autor:innen. Beteiligte Einrichtung: Department of Epidemiology, Harvard T.H. Chan School of Public Health, Boston, MA, USA. Die Arbeit wurde bisher 144-mal zitiert (Crossref) und nennt 198 Literaturangaben. Der Volltext ist frei in PubMed Central verfügbar.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

The rapid evolution of artificial intelligence (AI) chatbots in mental health care presents a fragmented landscape with variable clinical evidence and evaluation rigor. This systematic review of 160 studies (2020‐2024) classifies chatbot architectures – rule‐based, machine learning‐based, and large language model (LLM)‐based – and proposes a three‐tier evaluation framework: foundational bench testing (technical validation), pilot feasibility testing (user engagement), and clinical efficacy testing (symptom reduction). While rule‐based systems dominated until 2023, LLM‐based chatbots surged to 45% of new studies in 2024. However, only 16% of LLM studies underwent clinical efficacy testing, with most (77%) still in early validation. Overall, only 47% of studies focused on clinical efficacy testing, exposing a critical gap in robust validation of therapeutic benefit. Discrepancies emerged between marketed claims (“AI‐powered”) and actual AI architectures, with many interventions relying on simple rule‐based scripts. LLM‐based chatbots are increasingly studied for emotional support and psychoeducation, yet they pose unique ethical concerns, including incorrect responses, privacy risks, and unverified therapeutic effects. Despite their generative capabilities, LLMs remain largely untested in high‐stakes mental health contexts. This paper emphasizes the need for standardized evaluation and benchmarking aligned with medical AI certification to ensure safe, transparent and ethical deployment. The proposed framework enables clearer distinctions between technical novelty and clinical efficacy, offering clinicians, researchers and regulators ordered steps to guide future standards and benchmarks. To ensure that AI chatbots enhance mental health care, future research must prioritize rigorous clinical efficacy trials, transparent architecture reporting, and evaluations that reflect real‐world impact rather than the well‐known potential.

Schlagwörter

Stichwörter der Autor:innen

Artificial intelligencechatbotsclinical efficacy testingfoundational bench testinglarge language modelsmachine learningmental health carepilot feasibility testingrule‐based systems

Autor:innen und Institutionen

  • Department of Epidemiology, Harvard T.H. Chan School of Public Health, Boston, MA, USA.
  • Beth Israel Deaconess Medical Center, Harvard Medical School, Boston, MA, USA.
  • Intelligent Interactive Systems Group, Harvard School of Engineering and Applied Sciences, Allston, MA, USA.
  • Department of Psychiatry, New York University Grossman School of Medicine, New York, NY, USA.
  • Google Research, New York, NY, USA.
  • Australian Artificial Intelligence Institute, University of Technology Sydney, Sydney, NSW, Australia.

Zitieren

APA

Hua, Y., Siddals, S., Ma, Z., Galatzer-Levy, I., Xia, W., Hau, C., Na, H., Flathers, M., Linardon, J., Ayubcha, C., & Torous, J. (2025). Charting the evolution of artificial intelligence mental health chatbots from rule‐based systems to large language models: a systematic review. World Psychiatry, 24(3), 383-394. https://doi.org/10.1002/wps.21352

Vancouver

Hua Y, Siddals S, Ma Z, Galatzer-Levy I, Xia W, Hau C, et al. Charting the evolution of artificial intelligence mental health chatbots from rule‐based systems to large language models: a systematic review. World Psychiatry. 2025;24(3):383-394. doi:10.1002/wps.21352

BibTeX
@article{Hua2025,
  author = {Hua, Yining and Siddals, Steve and Ma, Zilin and Galatzer-Levy, Isaac and Xia, Winna and Hau, Christine and Na, Hongbin and Flathers, Matthew and Linardon, Jake and Ayubcha, Cyrus and Torous, John},
  title = {Charting the evolution of artificial intelligence mental health chatbots from rule‐based systems to large language models: a systematic review},
  journal = {World Psychiatry},
  year = {2025},
  volume = {24},
  number = {3},
  pages = {383--394},
  doi = {10.1002/wps.21352}
}
Kostenlos starten →