A mixed methods crossover randomized controlled trial exploring the experiences, perceptions, and usability of artificial intelligence (ChatGPT) in health sciences education
Eine Mixed-Methods-Crossover-randomisierte kontrollierte Studie zu Erfahrungen, Wahrnehmungen und Nutzbarkeit von künstlicher Intelligenz (ChatGPT) in der Gesundheitswissenschaftsausbildung
DIGITAL HEALTH · 2024-09 · 10
DOI: 10.1177/20552076241298485 ↗Auf einen Blick
Bei 27 Studierenden wurde ChatGPT-3.5 mit konventionellen webbasierten Tools verglichen. ChatGPT wurde als leichter erlernbar bewertet; zugleich gab es Bedenken zu Zuverlässigkeit, Genauigkeit und akademischer Integrität.
Fragestellung
Wie erleben, bewerten und nutzen Studierende der Gesundheitswissenschaften ChatGPT-3.5 im Vergleich zu konventionellen webbasierten Tools?
Methode
Crossover-randomisierte kontrollierte Studie mit Fragebögen und 7 Fokusgruppen; 27 Studierende eines Health-Sciences-Kurses an der Carleton University im Herbstsemester 2023.
Ergebnisse
Die Lernbarkeit für den persönlichen Gebrauch und die wahrgenommene schnelle Erlernbarkeit waren unter ChatGPT-3.5 im Systems Usability Scale signifikant höher als unter konventionellen Online-Tools. Qualitativ wurden Produktivitäts- und Brainstorming-Vorteile beschrieben.
Schlussfolgerung der Autor:innen
Trotz der von Studierenden beschriebenen Vorteile und der positiven Nutzbarkeit von ChatGPT-3.5 besteht laut Autor:innen ein Bedarf an Richtlinien, Verfahren und Regulierung für den Einsatz von KI in der Gesundheitswissenschaftsausbildung.
Kernaussagen
- ChatGPT-3.5 wurde als leichter erlernbar bewertet als Web-Tools.
- Qualitativ wurden Produktivität und Brainstorming als Vorteile genannt.
- Genannt wurden auch Bedenken zu Zuverlässigkeit, Genauigkeit und akademischer Integrität.
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Randomisierte kontrollierte Studie in der Zeitschrift DIGITAL HEALTH, online erschienen am 05.12.2024. Verfasst von Mirella Veras und 8 weiteren Autor:innen. Beteiligte Einrichtung: Department of Physical Therapy, College of Rehabilitation Sciences, University of Manitoba, Winnipeg, MB, Canada. Die Arbeit wurde bisher 27-mal zitiert (Crossref) und nennt 28 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY-NC 4.0). Gefördert von: Scholarship of Teaching and Learning Grant from Carleton University.
Abstract (Originalsprache)
Background
Generative artificial intelligence (AI) integrated programs such as Chat Generative Pre-trained Transformers (ChatGPT) are becoming more widespread in educational settings, with mounting ethical and reliability concerns regarding its usage. This paper explores the experiences, perceptions, and usability of ChatGPT in undergraduate health sciences students.
Methods
Twenty-seven students at Carleton University (Canada) were enrolled in a crossover randomized controlled trial study from a Health Sciences course during the Fall 2023 academic term. The intervention condition involved the use of ChatGPT-3.5, whereas the control condition involved using conventional web-based tools. Technology usability was compared between ChatGPT-3.5 and the traditional tools using questionnaires. Focus group discussions were conducted with seven students to further elaborate on student perceptions and experiences. Reflexive thematic analysis was employed to identify themes from the focus group data.
Results
Easiness of learnability for personal use and a perception of quick learnability towards ChatGPT-3.5 were significantly higher, compared to conventional online tools from the Systems Usability Scale. Qualitative results highlighted strong benefits of ChatGPT-3.5, such as being a tool for increased overall productivity and brainstorming. However, students identified challenges associated with reliability and accuracy, and concerns about academic integrity.
Conclusions
Despite the benefits and positive usability of ChatGPT-3.5 identified by students, an explicit need for the development of policies, procedures and regulations remains. An established framework of best practices for the usage of AI within health science education is necessary. This will ensure accountability of users and lead to a more effective integration of AI technologies into academic settings.
Schlagwörter
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Department of Physical Therapy, College of Rehabilitation Sciences, University of Manitoba, Winnipeg, MB, Canada.
- Department of Health Sciences, Carleton University, Ottawa, ON, Canada.
- École de Réadaptation, Faculté de Médecine, Université de Montréal, Montréal, QC, Canada.
- Groupe Interdisciplinaire de Recherche sur la Cognition et le Raisonnement Professionnel, Faculty of Medicine, Université de Montréal, Montréal, QC, Canada.
- Department of Neuroscience, Carleton University, Ottawa, ON, Canada.
- Department of Cellular and Molecular Medicine, Faculty of Medicine, University of Ottawa, Ottawa, ON, Canada.
ORCID-Profile: Mirella Veras, Morgan Ronney, Dahlia Kairy
Förderung
- Scholarship of Teaching and Learning Grant from Carleton University
Zitieren
APA
Veras, M., Dyer, J. O., Shannon, H., Bogie, B. J. M., Ronney, M., Sekhon, H., Rutherford, D., Silva, P. G. B., & Kairy, D. (2024). A mixed methods crossover randomized controlled trial exploring the experiences, perceptions, and usability of artificial intelligence (ChatGPT) in health sciences education. DIGITAL HEALTH, 10. https://doi.org/10.1177/20552076241298485
Vancouver
Veras M, Dyer JO, Shannon H, Bogie BJM, Ronney M, Sekhon H, et al. A mixed methods crossover randomized controlled trial exploring the experiences, perceptions, and usability of artificial intelligence (ChatGPT) in health sciences education. DIGITAL HEALTH. 2024;10. doi:10.1177/20552076241298485
BibTeX
@article{Veras2024,
author = {Veras, Mirella and Dyer, Joseph-Omer and Shannon, Holly and Bogie, Bryce J M and Ronney, Morgan and Sekhon, Harmehr and Rutherford, Derek and Silva, Paulo Goberlânio Barros and Kairy, Dahlia},
title = {A mixed methods crossover randomized controlled trial exploring the experiences, perceptions, and usability of artificial intelligence (ChatGPT) in health sciences education},
journal = {DIGITAL HEALTH},
year = {2024},
volume = {10},
doi = {10.1177/20552076241298485}
}
EUVIMED