A Cautious Integration With AI in the Clinic: A Standardized-Patient Pilot Study of ChatGPT’s Reliability in Hamilton Depression Rating Scale Scoring
Eine vorsichtige Integration von KI in der Klinik: Pilotstudie mit standardisierten Patient:innen zur Zuverlässigkeit von ChatGPT beim Scoring der Hamilton-Depressionsskala
Alpha Psychiatry · 13.08.2026 · 27 (4)
DOI: 10.31083/ap51483 ↗Auf einen Blick
In 10 standardisierten Patient:innen-Fällen zeigte ChatGPT beim Gesamtwert der HAMD-21 eine gute bis ausgezeichnete Übereinstimmung mit Expert:innen. Auf Item-Ebene traten jedoch deutliche Abweichungen auf.
Fragestellung
Wie zuverlässig bewertet ChatGPT die Hamilton-Depressionsskala HAMD-21 im Vergleich zu Expert:innen bei standardisierten Patient:innen?
Methode
Pilotstudie mit 10 standardisierten Patient:innen; ChatGPT-4o bewertete transkribierte Interviews. Vergleich mit Expert:innen und Referenzwerten; Reliabilität per ICC, Gruppenvergleich mit Steiger-Tests.
Ergebnisse
Gesamtwerte: Expert:innen ICC = 0,9921, ChatGPT ICC = 0,9739. Expert:innen erzielten 11 perfekte Item-ICCs, ChatGPT 2. Experten waren bei 10 Items und im Gesamtwert signifikant besser (Z = 1,931; p = 0,0268).
Einschränkungen
ChatGPT überschätzte häufig Schlaflosigkeit und somatische Symptome und berechnete Gesamtwerte oft falsch.
Schlussfolgerung der Autor:innen
ChatGPT zeigte bei strukturierten textbasierten Depressionsbeurteilungen eine exzellente Übereinstimmung beim HAMD-21-Gesamtwert, aber Item-Abweichungen und systematische Fehler machen menschliche Aufsicht erforderlich.
Kernaussagen
- Gesamtwert-HAMD-21: gute bis ausgezeichnete Übereinstimmung
- Item-Ebene: deutlich mehr perfekte Übereinstimmung bei Expert:innen
- Systematische Überschätzung bei Insomnie und somatischen Symptomen
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Alpha Psychiatry, online erschienen am 13.08.2026. Verfasst von Chun-Hung Chang und 7 weiteren Autor:innen. Beteiligte Einrichtung: Department of Psychiatry, An-Nan Hospital, China Medical University, 709 Tainan, Taiwan. Die Arbeit nennt 36 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: An-Nan Hospital, China Medical University Hospital, Taiwan.
Abstract (Originalsprache)
Background:Artificial intelligence (AI) integration offers significant potential to improve mental healthcare, however, the reliability of large language models (LLMs) in performing nuanced clinical tasks remains an important and largely unanswered question. This study aimed to evaluate ChatGPT’s performance in scoring the Hamilton Depression Rating Scale (HAMD-21) compared with expert raters using standardized patients (SPs).Methods:Three senior mental health experts created and portrayed scenarios for ten SPs representing diverse depressive symptom profiles. Recorded interviews were transcribed and used as input for ChatGPT-4o. HAMD-21 scores generated by ChatGPT were compared with those assigned by expert raters and with predefined script-based reference scores. Inter-rater reliability was assessed using intraclass correlation coefficient (ICC), and differences between raters were evaluated using Steiger’s tests.Results:ChatGPT and the expert raters achieved good-to-excellent reliability for total HAMD-21 scores (experts: ICC = 0.9921; ChatGPT: ICC = 0.9739). However, expert raters achieved perfect ICCs on 11 individual items, whereas ChatGPT achieved perfect agreement on only 2 items. Steiger’s test demonstrated that experts significantly outperformed ChatGPT on 10 individual items as well as on total scores (Z = 1.931, p = 0.0268). Qualitative review revealed that ChatGPT tended to overestimate scores on items related to insomnia and somatic symptoms (items 4–6 and 13) and frequently miscalculated total scores.Conclusions:ChatGPT demonstrated excellent agreement on total HAMD-21 scores in structured, text-based depression assessments, supporting the potential role of LLMs as adjunctive tools for standardized depression severity evaluation. However, item-level discrepancies and systematic scoring errors indicate that human oversight remains essential for clinically nuanced interpretation.
Schlagwörter
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Department of Psychiatry, An-Nan Hospital, China Medical University, 709 Tainan, Taiwan.
- Department of Nursing, Shu-Zen Junior College of Medicine and Management, 82144 Kaohsiung, Taiwan.
- Department of Psychiatry, Chi Mei Medical Center, 710 Tainan, Taiwan.
- Mind-Body Interface Research Center (MBI Lab & Care), China Medical University Hospital, 40447 Taichung, Taiwan.
- Digital Service for Smart Healthcare, Chia Nan University of Pharmacy & Science, 717301 Tainan, Taiwan.
- Office of Research and Development, Asia University, 41354 Taichung, Taiwan.
ORCID-Profile: Kuan-Pin Su
Förderung
- An-Nan Hospital, China Medical University Hospital, Taiwan
Zitieren
APA
Chang, C. H., Cheng, S. W., Chen, W. J., Chang, C. W., Liu, T. H., Lee, J. H., Lin, S. C., & Su, K. P. (2026). A Cautious Integration With AI in the Clinic: A Standardized-Patient Pilot Study of ChatGPT’s Reliability in Hamilton Depression Rating Scale Scoring. Alpha Psychiatry, 27(4). https://doi.org/10.31083/ap51483
Vancouver
Chang CH, Cheng SW, Chen WJ, Chang CW, Liu TH, Lee JH, et al. A Cautious Integration With AI in the Clinic: A Standardized-Patient Pilot Study of ChatGPT’s Reliability in Hamilton Depression Rating Scale Scoring. Alpha Psychiatry. 2026;27(4). doi:10.31083/ap51483
BibTeX
@article{Chang2026,
author = {Chang, Chun-Hung and Cheng, Szu-Wei and Chen, Wei-Jen and Chang, Chung-Wen and Liu, Ting-Hui and Lee, Jia-Hau and Lin, Sheng-Che and Su, Kuan-Pin},
title = {A Cautious Integration With AI in the Clinic: A Standardized-Patient Pilot Study of ChatGPT’s Reliability in Hamilton Depression Rating Scale Scoring},
journal = {Alpha Psychiatry},
year = {2026},
volume = {27},
number = {4},
doi = {10.31083/ap51483}
}
EUVIMED