Large Language Models in der HNO – Gefahr oder Chance?
Laryngo-Rhino-Otologie · 01.05.2024 · 103 (S 02 S 02) · S25
DOI: 10.1055/s-0044-1784017 ↗Kurz gefasst
Fachartikel in der Zeitschrift Laryngo-Rhino-Otologie, erschienen am 01.05.2024. Verfasst von Christoph Raphael Buhr und 11 weiteren Autor:innen.
Abstract (Originalsprache)
Das breite verfügbare Informationsspektrum von Large Language Models (LLM) zusammen mit den semantisch hochwertigen Antworten machen LLMs als Informationsquelle für Laien wie medizinisches Personal attraktiv. Vor diesem Hintergrund sind Potential aber auch Risiken durch mögliche Fehlinformationen relevant. Ziel dieser Studie war daher Qualität und Sicherheit der LLMs ChatGPT4 und Bard zu verglichen.41 fallbasierte HNO-Fragen aus der Fachliteratur sowie Fragen aus deutschen Staatsexamina wurden von LLMs (ChatGPT4, Bard) sowie von 6 HNO-Fachärzten beantwortet. Es folgte eine verblindete Bewertung der Antworten durch die Fachärzte. Selbst verfasste Antworten wurden ausgespart. Die Evaluation umfasste die binären Kategorien Mensch/Maschine sowie Gefährdung des Patienten. Ferner wurden Kohärenz, Verständlichkeit, Prägnanz sowie die medizinische Qualität der Antworten auf einer 6 Punkte Likert-Skala bewertet. Die Fachärzte erzielten unter allen Bewertungskriterien bessere Ergebnisse als die LLMs. Insbesondere in der Bewertung der medizinischen Qualität schnitten die Ärzte besserer ab. Hier zeigte sich auch ein Unterschied zwischen den LLMs. Die LLMs erreichten eine hohe Sprachqualität, was sich in guten Ergebnissen in den Kategorien Kohärenz, Verständlichkeit und Prägnanz widerspiegelte. Im Durchschnitt verwendeten die LLMs mehr Zeichen als die Ärzte. Während die Antworten der LLMs verglichen mit den Ärzten eine geringere medizinische Qualität zeigten, kann die gute Sprachkompetenz ein höheres Maß an Fachwissen suggerieren. Dies könnte Nutzer verleiten Informationen als korrekt zu bewerten obwohl diese Fehler enthalten und somit ein Risiko bei breiter Nutzung darstellen. Trotzdem ist die Qualität der von den LLMs generierten Antworten insgesamt vielversprechend. Publication History Article published online: 19 April 2024 © 2024. Thieme. All rights reserved. Georg Thieme Verlag KG Rüdigerstraße 14, 70469 Stuttgart, Germany
Zitieren
APA
Buhr, C. R., Smith, H., Huppertz, T., Bahr-Hamm, K., Matthias, C., Cuny, C., Jan, P. S., Ernst, B., Blaikie, A., Kelsey, T., Kuhn, S., & Eckrich, J. (2024). Large Language Models in der HNO – Gefahr oder Chance?. Laryngo-Rhino-Otologie, 103(S 02 S 02), S25. https://doi.org/10.1055/s-0044-1784017
Vancouver
Buhr CR, Smith H, Huppertz T, Bahr-Hamm K, Matthias C, Cuny C, et al. Large Language Models in der HNO – Gefahr oder Chance?. Laryngo-Rhino-Otologie. 2024;103(S 02 S 02):S25. doi:10.1055/s-0044-1784017
BibTeX
@article{Buhr2024,
author = {Buhr, Christoph Raphael and Smith, Harry and Huppertz, Tilman and Bahr-Hamm, Katharina and Matthias, Christoph and Cuny, Clemens and Jan, Phillipp Snijders and Ernst, Benjamin and Blaikie, Andrew and Kelsey, Tom and Kuhn, Sebastian and Eckrich, Jonas},
title = {Large Language Models in der HNO – Gefahr oder Chance?},
journal = {Laryngo-Rhino-Otologie},
year = {2024},
volume = {103},
number = {S 02 S 02},
pages = {S25},
doi = {10.1055/s-0044-1784017}
}
EUVIMED