EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

Automated assessment of healthcare de-escalation communication skills in a conversational AI virtual reality simulation

Automatisierte Bewertung von Deeskalations-Kommunikationsfähigkeiten im Gesundheitswesen in einer conversationalen KI-gestützten Virtual-Reality-Simulation

Abiel Algravez Velarde, J Tyerman, P Fallavollita

Frontiers in Digital Health · 02.11.2026 · 8

DOI: 10.3389/fdgth.2026.1938760 ↗

Auf einen Blick

Bei 20 Pflegestudierenden wurde eine VR-Simulation zur verbalen Deeskalation mit automatisierten Bewertungsverfahren geprüft. RoBERTa erzielte die beste Genauigkeit, besonders in den Validierungsdaten.

Fragestellung

Wie gut lassen sich Deeskalations-Kommunikationsfähigkeiten in einer conversationalen KI-VR-Simulation automatisiert bewerten?

Methode

Vergleichsstudie mit 20 Pflegestudierenden; Evaluation von 11 Deeskalationskompetenzen; Vergleich von BERT, RoBERTa, XLNet und RATAS in zwei Experimenten.

Ergebnisse

Validierungsdaten: RoBERTa 0,9927, BERT 0,9900, XLNet 0,9790, RATAS 0,8554. Studentendaten: RoBERTa 0,8590, RATAS 0,8181, BERT 0,8000, XLNet 0,7681.

Schlussfolgerung der Autor:innen

Die Autor:innen schließen, dass transformerbasierte Modelle unter kontrollierten Bedingungen am besten abschneiden, während RATAS über verschiedene Datensätze hinweg stabil war.

Kernaussagen

  • RoBERTa erreichte die höchste Genauigkeit in beiden Datensätzen
  • Die Leistung sank bei realen Studierendenantworten für alle Verfahren
  • Die Ergebnisse sprechen für die Machbarkeit automatisierter Bewertung in der Pflegebildung

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Frontiers in Digital Health, online erschienen am 02.11.2026. Verfasst von Abiel Algravez Velarde und 2 weiteren Autor:innen. Beteiligte Einrichtung: Faculty of Engineering, School of Electrical Engineering and Computer Science, University of Ottawa, ON, Canada. Die Arbeit nennt 46 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Introduction

Digital health training environments increasingly require scalable methods for assessing communication skills in realistic, interactive scenarios. This paper presents a comparative study of automated assessment approaches within a conversational AI virtual reality simulation designed for verbal de-escalation training.

Methods

A total of 20 nursing students completed the simulation, where their spoken responses were captured and converted to text through a speech-to-text system, and were evaluated across 11 de-escalation competencies. The evaluation compared three fine-tuned deep learning models (BERT, RoBERTa, and XLNet) with a modified RATAS, a rubric-driven framework that leverages large language models. Two experiments were conducted: one using controlled 100-item validation datasets for each section, and another using the real-world responses collected during the user study.

Results

On the validation datasets, the deep learning models achieved the highest performance, with RoBERTa obtaining an average accuracy of 0.9927, followed by BERT at 0.9900 and XLNet at 0.9790, while RATAS achieved 0.8554. On the student-response dataset, performance decreased for all approaches, with RoBERTa obtaining 0.8590 accuracy, RATAS 0.8181, BERT 0.8000, and XLNet 0.7681.

Discussion

These results suggest that transformer-based models perform best under controlled conditions, whereas RATAS demonstrated stability in grading across different dataset types. These preliminary findings support the feasibility of integrating deep learning and rubric-driven LLM-based automated assessment approaches for communication and de-escalation training in nursing education.

Schlagwörter

Stichwörter der Autor:innen

artificial intelligencemedical educationnursingperformance assessmentsimulation-based learningvirtual reality

Autor:innen und Institutionen

  • Faculty of Engineering, School of Electrical Engineering and Computer Science, University of Ottawa, ON, Canada.
  • Faculty of Health Sciences, School of Nursing, University of Ottawa, ON, Canada.
  • Faculty of Health Sciences, Interdisciplinary School of Health Sciences, University of Ottawa, ON, Canada.

Zitieren

APA

Algravez Velarde, A., Tyerman, J., & Fallavollita, P. (2026). Automated assessment of healthcare de-escalation communication skills in a conversational AI virtual reality simulation. Frontiers in Digital Health, 8. https://doi.org/10.3389/fdgth.2026.1938760

Vancouver

Algravez Velarde A, Tyerman J, Fallavollita P. Automated assessment of healthcare de-escalation communication skills in a conversational AI virtual reality simulation. Frontiers in Digital Health. 2026;8. doi:10.3389/fdgth.2026.1938760

BibTeX
@article{AlgravezVelarde2026,
  author = {Algravez Velarde, Abiel and Tyerman, J and Fallavollita, P},
  title = {Automated assessment of healthcare de-escalation communication skills in a conversational AI virtual reality simulation},
  journal = {Frontiers in Digital Health},
  year = {2026},
  volume = {8},
  doi = {10.3389/fdgth.2026.1938760}
}
Kostenlos starten →