Automated assessment of healthcare de-escalation communication skills in a conversational AI virtual reality simulation
Automatisierte Bewertung von Deeskalations-Kommunikationsfähigkeiten im Gesundheitswesen in einer conversationalen KI-gestützten Virtual-Reality-Simulation
Frontiers in Digital Health · 02.11.2026 · 8
DOI: 10.3389/fdgth.2026.1938760 ↗Auf einen Blick
Bei 20 Pflegestudierenden wurde eine VR-Simulation zur verbalen Deeskalation mit automatisierten Bewertungsverfahren geprüft. RoBERTa erzielte die beste Genauigkeit, besonders in den Validierungsdaten.
Fragestellung
Wie gut lassen sich Deeskalations-Kommunikationsfähigkeiten in einer conversationalen KI-VR-Simulation automatisiert bewerten?
Methode
Vergleichsstudie mit 20 Pflegestudierenden; Evaluation von 11 Deeskalationskompetenzen; Vergleich von BERT, RoBERTa, XLNet und RATAS in zwei Experimenten.
Ergebnisse
Validierungsdaten: RoBERTa 0,9927, BERT 0,9900, XLNet 0,9790, RATAS 0,8554. Studentendaten: RoBERTa 0,8590, RATAS 0,8181, BERT 0,8000, XLNet 0,7681.
Schlussfolgerung der Autor:innen
Die Autor:innen schließen, dass transformerbasierte Modelle unter kontrollierten Bedingungen am besten abschneiden, während RATAS über verschiedene Datensätze hinweg stabil war.
Kernaussagen
- RoBERTa erreichte die höchste Genauigkeit in beiden Datensätzen
- Die Leistung sank bei realen Studierendenantworten für alle Verfahren
- Die Ergebnisse sprechen für die Machbarkeit automatisierter Bewertung in der Pflegebildung
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Frontiers in Digital Health, online erschienen am 02.11.2026. Verfasst von Abiel Algravez Velarde und 2 weiteren Autor:innen. Beteiligte Einrichtung: Faculty of Engineering, School of Electrical Engineering and Computer Science, University of Ottawa, ON, Canada. Die Arbeit nennt 46 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).
Abstract (Originalsprache)
Introduction
Digital health training environments increasingly require scalable methods for assessing communication skills in realistic, interactive scenarios. This paper presents a comparative study of automated assessment approaches within a conversational AI virtual reality simulation designed for verbal de-escalation training.
Methods
A total of 20 nursing students completed the simulation, where their spoken responses were captured and converted to text through a speech-to-text system, and were evaluated across 11 de-escalation competencies. The evaluation compared three fine-tuned deep learning models (BERT, RoBERTa, and XLNet) with a modified RATAS, a rubric-driven framework that leverages large language models. Two experiments were conducted: one using controlled 100-item validation datasets for each section, and another using the real-world responses collected during the user study.
Results
On the validation datasets, the deep learning models achieved the highest performance, with RoBERTa obtaining an average accuracy of 0.9927, followed by BERT at 0.9900 and XLNet at 0.9790, while RATAS achieved 0.8554. On the student-response dataset, performance decreased for all approaches, with RoBERTa obtaining 0.8590 accuracy, RATAS 0.8181, BERT 0.8000, and XLNet 0.7681.
Discussion
These results suggest that transformer-based models perform best under controlled conditions, whereas RATAS demonstrated stability in grading across different dataset types. These preliminary findings support the feasibility of integrating deep learning and rubric-driven LLM-based automated assessment approaches for communication and de-escalation training in nursing education.
Schlagwörter
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Faculty of Engineering, School of Electrical Engineering and Computer Science, University of Ottawa, ON, Canada.
- Faculty of Health Sciences, School of Nursing, University of Ottawa, ON, Canada.
- Faculty of Health Sciences, Interdisciplinary School of Health Sciences, University of Ottawa, ON, Canada.
Zitieren
APA
Algravez Velarde, A., Tyerman, J., & Fallavollita, P. (2026). Automated assessment of healthcare de-escalation communication skills in a conversational AI virtual reality simulation. Frontiers in Digital Health, 8. https://doi.org/10.3389/fdgth.2026.1938760
Vancouver
Algravez Velarde A, Tyerman J, Fallavollita P. Automated assessment of healthcare de-escalation communication skills in a conversational AI virtual reality simulation. Frontiers in Digital Health. 2026;8. doi:10.3389/fdgth.2026.1938760
BibTeX
@article{AlgravezVelarde2026,
author = {Algravez Velarde, Abiel and Tyerman, J and Fallavollita, P},
title = {Automated assessment of healthcare de-escalation communication skills in a conversational AI virtual reality simulation},
journal = {Frontiers in Digital Health},
year = {2026},
volume = {8},
doi = {10.3389/fdgth.2026.1938760}
}
EUVIMED