EUVIMEDEUVIMED entdecken
Crossref

Large Language Models in der HNO – Gefahr oder Chance?

Christoph Raphael Buhr, Harry Smith, Tilman Huppertz, Katharina Bahr-Hamm, Christoph Matthias, Clemens Cuny, Phillipp Snijders Jan, Benjamin Ernst, Andrew Blaikie, Tom Kelsey, Sebastian Kuhn, Jonas Eckrich

Laryngo-Rhino-Otologie · 01.05.2024 · 103 (S 02 S 02) · S25

DOI: 10.1055/s-0044-1784017 ↗

Kurz gefasst

Fachartikel in der Zeitschrift Laryngo-Rhino-Otologie, erschienen am 01.05.2024. Verfasst von Christoph Raphael Buhr und 11 weiteren Autor:innen.

AbstractBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Das breite verfügbare Informationsspektrum von Large Language Models (LLM) zusammen mit den semantisch hochwertigen Antworten machen LLMs als Informationsquelle für Laien wie medizinisches Personal attraktiv. Vor diesem Hintergrund sind Potential aber auch Risiken durch mögliche Fehlinformationen relevant. Ziel dieser Studie war daher Qualität und Sicherheit der LLMs ChatGPT4 und Bard zu verglichen.41 fallbasierte HNO-Fragen aus der Fachliteratur sowie Fragen aus deutschen Staatsexamina wurden von LLMs (ChatGPT4, Bard) sowie von 6 HNO-Fachärzten beantwortet. Es folgte eine verblindete Bewertung der Antworten durch die Fachärzte. Selbst verfasste Antworten wurden ausgespart. Die Evaluation umfasste die binären Kategorien Mensch/Maschine sowie Gefährdung des Patienten. Ferner wurden Kohärenz, Verständlichkeit, Prägnanz sowie die medizinische Qualität der Antworten auf einer 6 Punkte Likert-Skala bewertet. Die Fachärzte erzielten unter allen Bewertungskriterien bessere Ergebnisse als die LLMs. Insbesondere in der Bewertung der medizinischen Qualität schnitten die Ärzte besserer ab. Hier zeigte sich auch ein Unterschied zwischen den LLMs. Die LLMs erreichten eine hohe Sprachqualität, was sich in guten Ergebnissen in den Kategorien Kohärenz, Verständlichkeit und Prägnanz widerspiegelte. Im Durchschnitt verwendeten die LLMs mehr Zeichen als die Ärzte. Während die Antworten der LLMs verglichen mit den Ärzten eine geringere medizinische Qualität zeigten, kann die gute Sprachkompetenz ein höheres Maß an Fachwissen suggerieren. Dies könnte Nutzer verleiten Informationen als korrekt zu bewerten obwohl diese Fehler enthalten und somit ein Risiko bei breiter Nutzung darstellen. Trotzdem ist die Qualität der von den LLMs generierten Antworten insgesamt vielversprechend. Publication History Article published online: 19 April 2024 © 2024. Thieme. All rights reserved. Georg Thieme Verlag KG Rüdigerstraße 14, 70469 Stuttgart, Germany

Zitieren

APA

Buhr, C. R., Smith, H., Huppertz, T., Bahr-Hamm, K., Matthias, C., Cuny, C., Jan, P. S., Ernst, B., Blaikie, A., Kelsey, T., Kuhn, S., & Eckrich, J. (2024). Large Language Models in der HNO – Gefahr oder Chance?. Laryngo-Rhino-Otologie, 103(S 02 S 02), S25. https://doi.org/10.1055/s-0044-1784017

Vancouver

Buhr CR, Smith H, Huppertz T, Bahr-Hamm K, Matthias C, Cuny C, et al. Large Language Models in der HNO – Gefahr oder Chance?. Laryngo-Rhino-Otologie. 2024;103(S 02 S 02):S25. doi:10.1055/s-0044-1784017

BibTeX
@article{Buhr2024,
  author = {Buhr, Christoph Raphael and Smith, Harry and Huppertz, Tilman and Bahr-Hamm, Katharina and Matthias, Christoph and Cuny, Clemens and Jan, Phillipp Snijders and Ernst, Benjamin and Blaikie, Andrew and Kelsey, Tom and Kuhn, Sebastian and Eckrich, Jonas},
  title = {Large Language Models in der HNO – Gefahr oder Chance?},
  journal = {Laryngo-Rhino-Otologie},
  year = {2024},
  volume = {103},
  number = {S 02 S 02},
  pages = {S25},
  doi = {10.1055/s-0044-1784017}
}
Kostenlos starten →