Evaluación de la Calidad de los Agentes Conversacionales para la Creación de Instrumentos de Evaluación en Medición de Señales Bioeléctricas
Revista Mexicana de Ingeniería Biomédica · 12.04.2024 · 44 (4) · 152-164
DOI: 10.17488/rmib.44.4.11 ↗Kurz gefasst
Fachartikel in der Zeitschrift Revista Mexicana de Ingeniería Biomédica, online erschienen am 12.04.2024. Verfasst von Alberto Isaac Pérez-Sanpablo und 4 weiteren Autor:innen. Die Arbeit nennt 30 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY-NC 4.0).
Abstract (Originalsprache)
El objetivo de esta investigación es evaluar la calidad de agentes conversacionales basados en Modelos de Lenguaje Grandes, para la evaluación de aplicación de conocimiento en Ingeniería Biomédica. Se desarrolló un instrumento de evaluación sobre seis temas de medición de señales bioeléctricas elaborado por un agente humano y los agentes conversacionales Chat-GPT y Bard. Se evaluó la calidad del instrumento en términos de nivel de pensamiento, validez, relevancia, claridad, dificultad y capacidad de discriminación, mediante índice kappa (k) del acuerdo de dos expertos y análisis Rasch de resultados de treinta y ocho estudiantes. Tras eliminar siete preguntas de los agentes conversacionales por problemas de validez y originalidad se integró un instrumento de seis preguntas. Las preguntas fueron válidas y relevantes, claras (>0.95, k=1.0), con dificultad baja a alta (0.61-0.87, k=0.83), índice de discriminación adecuado (0.11-0.47), a nivel de pensamiento de análisis (k=0.22). El promedio de los estudiantes fue de 7.24±2.40. Este es el primer análisis crítico de la calidad de los agentes conversacionales a un nivel de pensamiento superior al de comprensión. Los agentes conversacionales presentaron limitaciones en términos de validez, originalidad, dificultad y discriminación en comparación con el experto humano lo que resalta la necesidad aún de su supervisión.
Zitieren
APA
Pérez-Sanpablo, A. I., Rodriguez-Urrea, M. D., Arquer-Ruiz, M. D. C., Ramirez-Morales, A. O., & Meneses-Peñaloza, A. (2024). Evaluación de la Calidad de los Agentes Conversacionales para la Creación de Instrumentos de Evaluación en Medición de Señales Bioeléctricas. Revista Mexicana de Ingeniería Biomédica, 44(4), 152-164. https://doi.org/10.17488/rmib.44.4.11
Vancouver
Pérez-Sanpablo AI, Rodriguez-Urrea MD, Arquer-Ruiz MDC, Ramirez-Morales AO, Meneses-Peñaloza A. Evaluación de la Calidad de los Agentes Conversacionales para la Creación de Instrumentos de Evaluación en Medición de Señales Bioeléctricas. Revista Mexicana de Ingeniería Biomédica. 2024;44(4):152-164. doi:10.17488/rmib.44.4.11
BibTeX
@article{PrezSanpablo2024,
author = {Pérez-Sanpablo, Alberto Isaac and Rodriguez-Urrea, Marcela D. and Arquer-Ruiz, María del Carmen and Ramirez-Morales, Adrian Octavio and Meneses-Peñaloza, Alicia},
title = {Evaluación de la Calidad de los Agentes Conversacionales para la Creación de Instrumentos de Evaluación en Medición de Señales Bioeléctricas},
journal = {Revista Mexicana de Ingeniería Biomédica},
year = {2024},
volume = {44},
number = {4},
pages = {152--164},
doi = {10.17488/rmib.44.4.11}
}
EUVIMED