EUVIMEDEUVIMED entdecken
Open Access · CC BY-NC 4.0

Evaluación de la Calidad de los Agentes Conversacionales para la Creación de Instrumentos de Evaluación en Medición de Señales Bioeléctricas

Alberto Isaac Pérez-Sanpablo, Marcela D. Rodriguez-Urrea, María del Carmen Arquer-Ruiz, Adrian Octavio Ramirez-Morales, Alicia Meneses-Peñaloza

Revista Mexicana de Ingeniería Biomédica · 12.04.2024 · 44 (4) · 152-164

DOI: 10.17488/rmib.44.4.11 ↗

Kurz gefasst

Fachartikel in der Zeitschrift Revista Mexicana de Ingeniería Biomédica, online erschienen am 12.04.2024. Verfasst von Alberto Isaac Pérez-Sanpablo und 4 weiteren Autor:innen. Die Arbeit nennt 30 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY-NC 4.0).

AbstractBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

El objetivo de esta investigación es evaluar la calidad de agentes conversacionales basados en Modelos de Lenguaje Grandes, para la evaluación de aplicación de conocimiento en Ingeniería Biomédica. Se desarrolló un instrumento de evaluación sobre seis temas de medición de señales bioeléctricas elaborado por un agente humano y los agentes conversacionales Chat-GPT y Bard. Se evaluó la calidad del instrumento en términos de nivel de pensamiento, validez, relevancia, claridad, dificultad y capacidad de discriminación, mediante índice kappa (k) del acuerdo de dos expertos y análisis Rasch de resultados de treinta y ocho estudiantes. Tras eliminar siete preguntas de los agentes conversacionales por problemas de validez y originalidad se integró un instrumento de seis preguntas. Las preguntas fueron válidas y relevantes, claras (>0.95, k=1.0), con dificultad baja a alta (0.61-0.87, k=0.83), índice de discriminación adecuado (0.11-0.47), a nivel de pensamiento de análisis (k=0.22). El promedio de los estudiantes fue de 7.24±2.40. Este es el primer análisis crítico de la calidad de los agentes conversacionales a un nivel de pensamiento superior al de comprensión. Los agentes conversacionales presentaron limitaciones en términos de validez, originalidad, dificultad y discriminación en comparación con el experto humano lo que resalta la necesidad aún de su supervisión.

Zitieren

APA

Pérez-Sanpablo, A. I., Rodriguez-Urrea, M. D., Arquer-Ruiz, M. D. C., Ramirez-Morales, A. O., & Meneses-Peñaloza, A. (2024). Evaluación de la Calidad de los Agentes Conversacionales para la Creación de Instrumentos de Evaluación en Medición de Señales Bioeléctricas. Revista Mexicana de Ingeniería Biomédica, 44(4), 152-164. https://doi.org/10.17488/rmib.44.4.11

Vancouver

Pérez-Sanpablo AI, Rodriguez-Urrea MD, Arquer-Ruiz MDC, Ramirez-Morales AO, Meneses-Peñaloza A. Evaluación de la Calidad de los Agentes Conversacionales para la Creación de Instrumentos de Evaluación en Medición de Señales Bioeléctricas. Revista Mexicana de Ingeniería Biomédica. 2024;44(4):152-164. doi:10.17488/rmib.44.4.11

BibTeX
@article{PrezSanpablo2024,
  author = {Pérez-Sanpablo, Alberto Isaac and Rodriguez-Urrea, Marcela D. and Arquer-Ruiz, María del Carmen and Ramirez-Morales, Adrian Octavio and Meneses-Peñaloza, Alicia},
  title = {Evaluación de la Calidad de los Agentes Conversacionales para la Creación de Instrumentos de Evaluación en Medición de Señales Bioeléctricas},
  journal = {Revista Mexicana de Ingeniería Biomédica},
  year = {2024},
  volume = {44},
  number = {4},
  pages = {152--164},
  doi = {10.17488/rmib.44.4.11}
}
Kostenlos starten →