EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

Development and Evaluation of an AI-Assisted Answer Assessment (4A) for Cognitive Assessments in Nursing Education

Entwicklung und Evaluation einer KI-gestützten Antwortbewertung (4A) für kognitive Assessments in der Pflegeausbildung

Piyanut Xuto iD, Piyaporn Prasitwattanaseree iD, Tareewan Chaiboonruang iD, Sujitra Chaiwuth iD, Podjanee Khwanngern iD, Chadchadaporn Nuntakwang iD, Karnjana Nimarangkul iD, Wara Suwansin, Lawitra Khiaokham iD, Daniel Bressington iD

Nursing Reports · 26.02.2025 · 15 (3) · 80

DOI: 10.3390/nursrep15030080 ↗

Auf einen Blick

Die Validierungsstudie prüfte ein KI-gestütztes Programm zur Bewertung kognitiver Assessments in der Pflegeausbildung. Die Übereinstimmung mit Expert:innen war hoch; höhere 4A-Scores sagten den Prüfungserfolg voraus.

Fragestellung

Wie zuverlässig, genau und präzise ist das KI-gestützte Antwortbewertungsprogramm 4A für kognitive Assessments in der Pflegeausbildung, und sagt es Prüfungserfolg voraus?

Methode

Validierungsstudie mit 170 Pflegestudierenden aus Nordthailand; 52 wurden für Detailtests zufällig ausgewählt. Übereinstimmung per ICC, Genauigkeit/Präzision per McNemar-Test, externe Validierung mit 138 Teilnehmenden per logistischer Regression.

Ergebnisse

Hohes Maß an Übereinstimmung zwischen 4A und Expert:innen (ICC = 0,886). Genauigkeit 0,808 und Präzision 0,913; Expert:innen: 0,923 bzw. 1,000. Kein signifikanter Unterschied im McNemar-Test (χ2 = 0,4; p = 0,527).

Schlussfolgerung der Autor:innen

Das 4A-Programm zeigt Potenzial für eine zuverlässige Bewertung kognitiver Fähigkeiten von Pflegestudierenden und für die Vorhersage von Prüfungserfolg.

Kernaussagen

  • Hohe Übereinstimmung mit Expert:innen (ICC = 0,886)
  • 4A sagte Erfolg in der nationalen Pflegeprüfung vorher (OR: 1,124; p = 0,031)
  • Kein signifikanter Unterschied zu Expert:innen im McNemar-Test

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Nursing Reports, online erschienen am 26.02.2025. Verfasst von Piyanut Xuto und 9 weiteren Autor:innen. Beteiligte Einrichtung: Faculty of Nursing, Chiang Mai University, Chiang Mai 50200, Thailand. Die Arbeit wurde bisher 9-mal zitiert (Crossref) und nennt 25 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: Chiang Mai University, Faculty of Nursing, Chiang Mai University, Chiang Mai University Faculty of Nursing Visiting Professor Fellowship Program.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Artificial intelligence (AI) can potentially enhance cognitive assessment practices in maternal and child health nursing education.

Objectives

To evaluate the reliability, accuracy and precision, and external validity of an AI-assisted answer assessment (4A) program for cognitive assessments in nursing education.

Methods

This study is a validation study. Initially, 170 nursing students from northern Thailand participated, with 52 randomly selected for detailed testing. Agreement testing between the 4A program and human experts was conducted using the intraclass correlation coefficient (ICC). Accuracy and precision testing compared 4A scores with human expert assessments via the McNemar test. External validation involved 138 participants to compare the 4A program’s assessments against national examination outcomes using logistic regression.

Results

Results indicated a high level of consistency between the 4A program and human experts (ICC = 0.886). With an accuracy of 0.808 and a precision of 0.913, compared to the human expert’s accuracy of 0.923 and precision of 1.000. The McNemar test (χ2 = 0.4, p = 0.527) showed no significant difference in evaluation performance between AI and human experts. Higher scores on the 4A program significantly predicted success in the national nursing examination (OR: 1.124, p = 0.031).

Conclusions

The 4A program demonstrates potential in reliably assessing nursing students’ cognitive abilities and predicting exam success. This study advocates for the continued integration of AI in educational assessments and the importance of refining AI systems to better align with traditional assessment methods.

Schlagwörter

Stichwörter der Autor:innen

AI-assisted assessmentcognitive assessmenteducational technologynursing education

Autor:innen und Institutionen

  • Faculty of Nursing, Chiang Mai University, Chiang Mai 50200, Thailand.
  • Srisavarindhira Thai Red Cross Institute, Bangkok 10330, Thailand.

ORCID-Profile: Piyanut Xuto, Piyaporn Prasitwattanaseree, Tareewan Chaiboonruang, Sujitra Chaiwuth, Podjanee Khwanngern, Chadchadaporn Nuntakwang, Karnjana Nimarangkul, Lawitra Khiaokham, Daniel Bressington

Förderung

  • Chiang Mai University
  • Faculty of Nursing, Chiang Mai University
  • Chiang Mai University Faculty of Nursing Visiting Professor Fellowship Program

Zitieren

APA

Xuto, P., Prasitwattanaseree, P., Chaiboonruang, T., Chaiwuth, S., Khwanngern, P., Nuntakwang, C., Nimarangkul, K., Suwansin, W., Khiaokham, L., & Bressington, D. (2025). Development and Evaluation of an AI-Assisted Answer Assessment (4A) for Cognitive Assessments in Nursing Education. Nursing Reports, 15(3), 80. https://doi.org/10.3390/nursrep15030080

Vancouver

Xuto P, Prasitwattanaseree P, Chaiboonruang T, Chaiwuth S, Khwanngern P, Nuntakwang C, et al. Development and Evaluation of an AI-Assisted Answer Assessment (4A) for Cognitive Assessments in Nursing Education. Nursing Reports. 2025;15(3):80. doi:10.3390/nursrep15030080

BibTeX
@article{Xuto2025,
  author = {Xuto, Piyanut and Prasitwattanaseree, Piyaporn and Chaiboonruang, Tareewan and Chaiwuth, Sujitra and Khwanngern, Podjanee and Nuntakwang, Chadchadaporn and Nimarangkul, Karnjana and Suwansin, Wara and Khiaokham, Lawitra and Bressington, Daniel},
  title = {Development and Evaluation of an AI-Assisted Answer Assessment (4A) for Cognitive Assessments in Nursing Education},
  journal = {Nursing Reports},
  year = {2025},
  volume = {15},
  number = {3},
  pages = {80},
  doi = {10.3390/nursrep15030080}
}
Kostenlos starten →