Evaluating the effectiveness of large language models in patient education for conjunctivitis
Evaluierung der Wirksamkeit großer Sprachmodelle in der Patientenaufklärung bei Konjunktivitis
British Journal of Ophthalmology · 2025-02 · 109 (2) · 185-191
DOI: 10.1136/bjo-2024-325599 ↗Auf einen Blick
Die Qualität von Antworten großer Sprachmodelle auf häufige Fragen von Patient:innen mit Konjunktivitis wurde geprüft. GPT-4 und Qwen schnitten in den Bewertungen besonders gut ab.
Fragestellung
Wie gut beantworten große Sprachmodelle patientengenerierte Fragen zur Konjunktivitis in Bezug auf Qualität und Patientenerleben?
Methode
Zweistufige Querschnittstudie an der Eye and ENT Hospital of Fudan University. Vier LLMs beantworteten 22 häufige Fragen; 6 Ophthalmolog:innen bewerteten die Antworten. In Phase 2 interagierten 30 Patient:innen mit GPT-4 oder Qwen.
Ergebnisse
In Phase 1 erzielte GPT-4 die besten Werte, u. a. für Korrektheit (4,39±0,76), Vollständigkeit (4,31±0,96) und Lesbarkeit (4,65±0,59). Qwen war stark bei Hilfreichkeit (4,37±0,93) und Sicherheit (4,25±1,03).
Schlussfolgerung der Autor:innen
Die Autor:innen berichten, dass LLMs die Patientenaufklärung bei Konjunktivitis wirksam verbessern können und für reale Patienteninteraktionen vielversprechend sind. Weitere Verbesserung bei Personalisierung und komplexen Fragen sei nötig.
Kernaussagen
- GPT-4 erreichte die besten Bewertungen in Phase 1
- Qwen zeigte starke Werte bei Hilfreichkeit und Sicherheit
- Patient:innen und Fachleute bewerteten GPT-4 und Qwen ähnlich positiv
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift British Journal of Ophthalmology, online erschienen am 30.08.2024. Verfasst von Jingyuan Wang und 7 weiteren Autor:innen. Beteiligte Einrichtung: Department of Ophthalmology and Vision Science, State Key Laboratory of Molecular Engineering of Polymerse, Fudan University, Shanghai, People's Repu…. Hauptthemen laut MEDLINE: Patient Education as Topic, Conjunctivitis. Die Arbeit wurde bisher 20-mal zitiert (Crossref) und nennt 29 Literaturangaben. Gefördert von: National Natural Science Foundation of China, Research and Development Program of China, Shanghai Medical Innovation Research Program.
Abstract (Originalsprache)
Aims
To evaluate the quality of responses from large language models (LLMs) to patient-generated conjunctivitis questions.
Methods
A two-phase, cross-sectional study was conducted at the Eye and ENT Hospital of Fudan University. In phase 1, four LLMs (GPT-4, Qwen, Baichuan 2 and PaLM 2) responded to 22 frequently asked conjunctivitis questions. Six expert ophthalmologists assessed these responses using a 5-point Likert scale for correctness, completeness, readability, helpfulness and safety, supplemented by objective readability analysis. Phase 2 involved 30 conjunctivitis patients who interacted with GPT-4 or Qwen, evaluating the LLM-generated responses based on satisfaction, humanisation, professionalism and the same dimensions except for correctness from phase 1. Three ophthalmologists assessed responses using phase 1 criteria, allowing for a comparative analysis between medical and patient evaluations, probing the study’s practical significance.
Results
In phase 1, GPT-4 excelled across all metrics, particularly in correctness (4.39±0.76), completeness (4.31±0.96) and readability (4.65±0.59) while Qwen showed similarly strong performance in helpfulness (4.37±0.93) and safety (4.25±1.03). Baichuan 2 and PaLM 2 were effective but trailed behind GPT-4 and Qwen. The objective readability analysis revealed GPT-4’s responses as the most detailed, with PaLM 2’s being the most succinct. Phase 2 demonstrated GPT-4 and Qwen’s robust performance, with high satisfaction levels and consistent evaluations from both patients and professionals.
Conclusions
Our study showed LLMs effectively improve patient education in conjunctivitis. These models showed considerable promise in real-world patient interactions. Despite encouraging results, further refinement, particularly in personalisation and handling complex inquiries, is essential prior to the clinical integration of these LLMs.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Department of Ophthalmology and Vision Science, State Key Laboratory of Molecular Engineering of Polymerse, Fudan University, Shanghai, People's Republic of China.
- Macao Translatoinal Medicine Center, Macau University of Science and Technology, Taipa, Macau SAR, Macau, People's Republic of China.
- Department of Ophthalmology and Vision Science, State Key Laboratory of Molecular Engineering of Polymerse, Fudan University, Shanghai, People's Republic of China jiaxu.hong@fdeent.org.
- NHC Key laboratory of Myopia and Related Eye Diseases, Shanghai, People's Republic of China.
- Shanghai Engineering Research Center of Synthetic Immunology, Shanghai, People's Republic of China.
- Department of Ophthalmology, Children's Hospital of Fudan University, National Pediatric Medical Center of China, Shanghai, People's Republic of China.
Förderung
- National Natural Science Foundation of China
- Research and Development Program of China
- Shanghai Medical Innovation Research Program
- Shanghai Key Clinical Research Program
Zitieren
APA
Wang, J., Shi, R., Le, Q., Shan, K., Chen, Z., Zhou, X., He, Y., & Hong, J. (2025). Evaluating the effectiveness of large language models in patient education for conjunctivitis. British Journal of Ophthalmology, 109(2), 185-191. https://doi.org/10.1136/bjo-2024-325599
Vancouver
Wang J, Shi R, Le Q, Shan K, Chen Z, Zhou X, et al. Evaluating the effectiveness of large language models in patient education for conjunctivitis. British Journal of Ophthalmology. 2025;109(2):185-191. doi:10.1136/bjo-2024-325599
BibTeX
@article{Wang2025,
author = {Wang, Jingyuan and Shi, Runhan and Le, Qihua and Shan, Kun and Chen, Zhi and Zhou, Xujiao and He, Yao and Hong, Jiaxu},
title = {Evaluating the effectiveness of large language models in patient education for conjunctivitis},
journal = {British Journal of Ophthalmology},
year = {2025},
volume = {109},
number = {2},
pages = {185--191},
doi = {10.1136/bjo-2024-325599}
}
EUVIMED