Development and Evaluation of an AI-Assisted Answer Assessment (4A) for Cognitive Assessments in Nursing Education
Entwicklung und Evaluation einer KI-gestützten Antwortbewertung (4A) für kognitive Assessments in der Pflegeausbildung
Nursing Reports · 26.02.2025 · 15 (3) · 80
DOI: 10.3390/nursrep15030080 ↗Auf einen Blick
Die Validierungsstudie prüfte ein KI-gestütztes Programm zur Bewertung kognitiver Assessments in der Pflegeausbildung. Die Übereinstimmung mit Expert:innen war hoch; höhere 4A-Scores sagten den Prüfungserfolg voraus.
Fragestellung
Wie zuverlässig, genau und präzise ist das KI-gestützte Antwortbewertungsprogramm 4A für kognitive Assessments in der Pflegeausbildung, und sagt es Prüfungserfolg voraus?
Methode
Validierungsstudie mit 170 Pflegestudierenden aus Nordthailand; 52 wurden für Detailtests zufällig ausgewählt. Übereinstimmung per ICC, Genauigkeit/Präzision per McNemar-Test, externe Validierung mit 138 Teilnehmenden per logistischer Regression.
Ergebnisse
Hohes Maß an Übereinstimmung zwischen 4A und Expert:innen (ICC = 0,886). Genauigkeit 0,808 und Präzision 0,913; Expert:innen: 0,923 bzw. 1,000. Kein signifikanter Unterschied im McNemar-Test (χ2 = 0,4; p = 0,527).
Schlussfolgerung der Autor:innen
Das 4A-Programm zeigt Potenzial für eine zuverlässige Bewertung kognitiver Fähigkeiten von Pflegestudierenden und für die Vorhersage von Prüfungserfolg.
Kernaussagen
- Hohe Übereinstimmung mit Expert:innen (ICC = 0,886)
- 4A sagte Erfolg in der nationalen Pflegeprüfung vorher (OR: 1,124; p = 0,031)
- Kein signifikanter Unterschied zu Expert:innen im McNemar-Test
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Nursing Reports, online erschienen am 26.02.2025. Verfasst von Piyanut Xuto und 9 weiteren Autor:innen. Beteiligte Einrichtung: Faculty of Nursing, Chiang Mai University, Chiang Mai 50200, Thailand. Die Arbeit wurde bisher 9-mal zitiert (Crossref) und nennt 25 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: Chiang Mai University, Faculty of Nursing, Chiang Mai University, Chiang Mai University Faculty of Nursing Visiting Professor Fellowship Program.
Themen: Pflegeausbildung
Abstract (Originalsprache)
Artificial intelligence (AI) can potentially enhance cognitive assessment practices in maternal and child health nursing education.
Objectives
To evaluate the reliability, accuracy and precision, and external validity of an AI-assisted answer assessment (4A) program for cognitive assessments in nursing education.
Methods
This study is a validation study. Initially, 170 nursing students from northern Thailand participated, with 52 randomly selected for detailed testing. Agreement testing between the 4A program and human experts was conducted using the intraclass correlation coefficient (ICC). Accuracy and precision testing compared 4A scores with human expert assessments via the McNemar test. External validation involved 138 participants to compare the 4A program’s assessments against national examination outcomes using logistic regression.
Results
Results indicated a high level of consistency between the 4A program and human experts (ICC = 0.886). With an accuracy of 0.808 and a precision of 0.913, compared to the human expert’s accuracy of 0.923 and precision of 1.000. The McNemar test (χ2 = 0.4, p = 0.527) showed no significant difference in evaluation performance between AI and human experts. Higher scores on the 4A program significantly predicted success in the national nursing examination (OR: 1.124, p = 0.031).
Conclusions
The 4A program demonstrates potential in reliably assessing nursing students’ cognitive abilities and predicting exam success. This study advocates for the continued integration of AI in educational assessments and the importance of refining AI systems to better align with traditional assessment methods.
Schlagwörter
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Faculty of Nursing, Chiang Mai University, Chiang Mai 50200, Thailand.
- Srisavarindhira Thai Red Cross Institute, Bangkok 10330, Thailand.
ORCID-Profile: Piyanut Xuto, Piyaporn Prasitwattanaseree, Tareewan Chaiboonruang, Sujitra Chaiwuth, Podjanee Khwanngern, Chadchadaporn Nuntakwang, Karnjana Nimarangkul, Lawitra Khiaokham, Daniel Bressington
Förderung
- Chiang Mai University
- Faculty of Nursing, Chiang Mai University
- Chiang Mai University Faculty of Nursing Visiting Professor Fellowship Program
Zitieren
APA
Xuto, P., Prasitwattanaseree, P., Chaiboonruang, T., Chaiwuth, S., Khwanngern, P., Nuntakwang, C., Nimarangkul, K., Suwansin, W., Khiaokham, L., & Bressington, D. (2025). Development and Evaluation of an AI-Assisted Answer Assessment (4A) for Cognitive Assessments in Nursing Education. Nursing Reports, 15(3), 80. https://doi.org/10.3390/nursrep15030080
Vancouver
Xuto P, Prasitwattanaseree P, Chaiboonruang T, Chaiwuth S, Khwanngern P, Nuntakwang C, et al. Development and Evaluation of an AI-Assisted Answer Assessment (4A) for Cognitive Assessments in Nursing Education. Nursing Reports. 2025;15(3):80. doi:10.3390/nursrep15030080
BibTeX
@article{Xuto2025,
author = {Xuto, Piyanut and Prasitwattanaseree, Piyaporn and Chaiboonruang, Tareewan and Chaiwuth, Sujitra and Khwanngern, Podjanee and Nuntakwang, Chadchadaporn and Nimarangkul, Karnjana and Suwansin, Wara and Khiaokham, Lawitra and Bressington, Daniel},
title = {Development and Evaluation of an AI-Assisted Answer Assessment (4A) for Cognitive Assessments in Nursing Education},
journal = {Nursing Reports},
year = {2025},
volume = {15},
number = {3},
pages = {80},
doi = {10.3390/nursrep15030080}
}
EUVIMED