EUVIMEDEUVIMED entdecken
Open Access · CC BY-NC-ND 4.0

¿Es capaz GPT-4 de aprobar el MIR 2023? Comparativa entre GPT-4 y ChatGPT-3 en los exámenes MIR 2022 y 2023

Alvaro Cerame, Juan Juaneda, Pablo Estrella-Porter, Lucía De la Puente, Joaquín Navarro, Eva García, Domingo A. Sánchez, Juan Pablo Carrasco

Revista Española de Educación Médica · 21.02.2024 · 5 (2)

DOI: 10.6018/edumed.604091 ↗

Kurz gefasst

Fachartikel in der Zeitschrift Revista Española de Educación Médica, online erschienen am 21.02.2024. Verfasst von Alvaro Cerame und 7 weiteren Autor:innen. Die Arbeit wurde bisher 2-mal zitiert (Crossref). Der Volltext ist frei zugänglich (Open Access, CC BY-NC-ND 4.0).

AbstractBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Introduction

Artificial intelligence (AI) is generating new controversies, opportunities and challenges in medical education. This study evaluates the ability of artificial intelligence (AI) versions ChatGPT-3 and GPT-4 to answer MIR exam questions of the entrance exam in the specialized training in Spain, comparing performance between the 2022 and 2023 exams. Methodology: A descriptive cross-sectional study was conducted, using GPT-4 to answer the 210 questions of the MIR 2023 exam, comparing the results with those of ChatGPT-3 in the MIR 2022 exam. Statistical analysis was used to determine the percentage of correct answers according to speciality, type of question, and question content.

Results

GPT-4 achieved 173 correct answers out of 210 questions, a higher performance than ChatGPT-3, which obtained 108 correct answers in the previous exam. A marked improvement was observed in specialties such as Rheumatology, Paediatrics, Geriatrics and Oncology, although some fields such as Pneumology and Ophthalmology showed less progress or even lower results.

Conclusion

GPT-4 demonstrated better performance compared to ChatGPT-3, indicating advances in AI data processing and analysis, as well as in its contextual understanding and application of medical knowledge. However, the article emphasizes the importance of recognising the limitations of AI and the need for a critical approach in medical education. Introducción: La inteligencia artificial (IA) está generando nuevas controversias, oportunidades y riesgos en la educación médica. Este estudio evalúa la capacidad de las versiones de inteligencia artificial (IA) ChatGPT-3 y GPT-4 para responder a las preguntas del examen de acceso a la formación médica especializada MIR en España, comparando el rendimiento entre las convocatorias de 2022 y 2023. Metodología: Se realizó un estudio descriptivo transversal, utilizando GPT-4 para responder a las 210 preguntas del examen MIR 2023, comparando los resultados con los de ChatGPT-3 en el examen MIR 2022. Se utilizó análisis estadístico para determinar el porcentaje de acierto en función de la especialidad, tipo de pregunta y contenido de la misma. Resultados: GPT-4 consiguió 173 aciertos de un total de 210 preguntas, rendimiento superior al de ChatGPT-3, que obtuvo 108 aciertos en el examen de la convocatoria anterior. Se observó una mejora notable en especialidades como Reumatología, Pediatría, Geriatría y Oncología, aunque algunos campos como Neumología y Oftalmología mostraron menos progreso o incluso resultados inferiores. Conclusión: GPT-4 demostró un mejor rendimiento en comparación con ChatGPT-3, indicando avances en el procesamiento y análisis de datos por parte de la IA, así como en su comprensión contextual y aplicación de conocimientos médicos. Sin embargo, se enfatiza la importancia de reconocer las limitaciones de la IA y la necesidad de un enfoque crítico en su uso en educación médica.

Zitieren

APA

Cerame, A., Juaneda, J., Estrella-Porter, P., Puente, L. D. L., Navarro, J., García, E., Sánchez, D. A., & Carrasco, J. P. (2024). ¿Es capaz GPT-4 de aprobar el MIR 2023? Comparativa entre GPT-4 y ChatGPT-3 en los exámenes MIR 2022 y 2023. Revista Española de Educación Médica, 5(2). https://doi.org/10.6018/edumed.604091

Vancouver

Cerame A, Juaneda J, Estrella-Porter P, Puente LDL, Navarro J, García E, et al. ¿Es capaz GPT-4 de aprobar el MIR 2023? Comparativa entre GPT-4 y ChatGPT-3 en los exámenes MIR 2022 y 2023. Revista Española de Educación Médica. 2024;5(2). doi:10.6018/edumed.604091

BibTeX
@article{Cerame2024,
  author = {Cerame, Alvaro and Juaneda, Juan and Estrella-Porter, Pablo and Puente, Lucía De la and Navarro, Joaquín and García, Eva and Sánchez, Domingo A. and Carrasco, Juan Pablo},
  title = {¿Es capaz GPT-4 de aprobar el MIR 2023? Comparativa entre GPT-4 y ChatGPT-3 en los exámenes MIR 2022 y 2023},
  journal = {Revista Española de Educación Médica},
  year = {2024},
  volume = {5},
  number = {2},
  doi = {10.6018/edumed.604091}
}
Kostenlos starten →