EUVIMEDEUVIMED entdecken
Crossref

Large Language Modelle zur schnellen Vereinfachung der Eingabe von Qualitätssicherungsdaten: Performance-Test mit Echtdaten am Beispiel der Tumordokumentation in der Urologie

Johannes Frank, Axel S Merseburger, Johannes Landmesser, Silvia Brozat-Essen, Peter Schramm, Laura Freimann, Alexander Kleehaus, Christian Elsner iD

Aktuelle Urologie · 01.09.2024 · 55 (05) · 415-423

DOI: 10.1055/a-2281-8015 ↗

Kurz gefasst

Fachartikel in der Zeitschrift Aktuelle Urologie, erschienen am 01.09.2024. Verfasst von Johannes Frank und 7 weiteren Autor:innen. Beteiligte Einrichtung: Urology Department, University of Luebeck, Luebeck, Germany. Hauptthemen laut MEDLINE: Documentation, Quality Assurance, Health Care. Die Arbeit wurde bisher 2-mal zitiert (Crossref) und nennt 13 Literaturangaben.

AbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Einleitung Large Language Modelle (LLMs) wie ChatGPT haben innerhalb kürzester Zeit die Anwendung von künstlicher Intelligenz in die breite Anwendung gebracht. Neben vielen verschiedenen Use-Cases der Textgenerierung und Verarbeitung ist eine Anwendung die Extraktion von Daten aus vorhandenen Dokumenten und Gesprächen zur vereinfachten und automatisierten Befüllung von Formularen. Zielsetzung Gerade im Bereich der Qualitätssicherung und Dokumentation von Tumorerkrankungen fällt aktuell ein hoher Arbeitsaufwand an, Daten unter verschiedenen Aspekten in leicht variierenden Formaten und unter Anwendung von Interpretationen wie z.B. der TNM-Klassifikation von Tumoren zu übertragen. Zur Beurteilung der Anwendbarkeit von LLMs unterstützen Prozessen in diesem Bereich fehlen jedoch Feldversuche mit Echtdaten, die eine Beurteilung der Effizienz und Praktikabilität ermöglichen. Diese Arbeit soll einen Performance-Test dazu umsetzen und beurteilen. Methodik Es wurde ein Performance-Test mit N=153 datenschutztechnisch und durch eine Ethikkommission zu dem Zweck freigegebenen Arztbriefen von 25 Patienten vorgenommen. Mit der öffentlich verfügbaren Version von ChatGPT 4.0 wurden dazu mit einem automatisierten Programmskript die Aufgaben der Extraktion eines Erstdiagnosedatums sowie gängiger Tumorklassifikationen vorgenommen. Die Ergebnisse wurden dann einzeln auf Richtigkeit geprüft. Daran wurde dann der Nutzen eines Systems zum geführten Support bei Aufgaben im Kontext der Tumordokumentation indikativ beurteilt. Weiterhin wurde das Vorgehen auch im Kontext von Betriebskosten sowie potenzieller Hürden bis zur Anwendbarkeit beurteilt. Ergebnisse In Summe kommt die Arbeit zum Schluss, dass der Einsatz generativer KI in diesem Feld vielversprechend ist und bereits im untrainierten Zustand als Hilfe tauglich ist. In einer simplifizierten Kalkulation stehen Kosten von 35 Cent einer Wertschöpfung von 61,54 Euro gegenüber. Es wird jedoch auch klar, dass die KI nur unterstützend tätig sein kann und die richtige Einbettung mit vorgefertigten spezifischen natürlichsprachigen Abfragen (=Prompts) und Werkzeugen in den Arbeitsablauf entscheidend für die Performance ist. Schlussfolgerung Der Einsatz von generativer KI im Kontext von Such-, Übertragungs- und Interpretationsarbeiten bei der Erstellung einer Tumordokumentation ist ein vielversprechender Ansatz. Die Umsetzung muss jedoch in praktischer Anwendung eng begleitet werden und das beste Zusammenspiel zwischen Mensch und Maschine weiter evaluiert und mit spezifischen Werkzeugen begleitet werden.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

DocumentationQuality Assurance, Health CareHumansNatural Language ProcessingArtificial IntelligenceUrologyUrologic NeoplasmsGermany

Autor:innen und Institutionen

  • Urology Department, University of Luebeck, Luebeck, Germany.
  • Department for Neuroradiology, University of Luebeck, Luebeck, Germany.
  • Data Protection, University Medical Center of the Johannes Gutenberg University Mainz, Mainz, Germany.
  • IT Consulting, PricewaterhouseCoopers Switzerland, Zuerich, Switzerland.
  • Center for Artificial Intelligence, University of Luebeck, Luebeck, Germany.

ORCID-Profile: Christian Elsner

Zitieren

APA

Frank, J., Merseburger, A. S., Landmesser, J., Brozat-Essen, S., Schramm, P., Freimann, L., Kleehaus, A., & Elsner, C. (2024). Large Language Modelle zur schnellen Vereinfachung der Eingabe von Qualitätssicherungsdaten: Performance-Test mit Echtdaten am Beispiel der Tumordokumentation in der Urologie. Aktuelle Urologie, 55(05), 415-423. https://doi.org/10.1055/a-2281-8015

Vancouver

Frank J, Merseburger AS, Landmesser J, Brozat-Essen S, Schramm P, Freimann L, et al. Large Language Modelle zur schnellen Vereinfachung der Eingabe von Qualitätssicherungsdaten: Performance-Test mit Echtdaten am Beispiel der Tumordokumentation in der Urologie. Aktuelle Urologie. 2024;55(05):415-423. doi:10.1055/a-2281-8015

BibTeX
@article{Frank2024,
  author = {Frank, Johannes and Merseburger, Axel S and Landmesser, Johannes and Brozat-Essen, Silvia and Schramm, Peter and Freimann, Laura and Kleehaus, Alexander and Elsner, Christian},
  title = {Large Language Modelle zur schnellen Vereinfachung der Eingabe von Qualitätssicherungsdaten: Performance-Test mit Echtdaten am Beispiel der Tumordokumentation in der Urologie},
  journal = {Aktuelle Urologie},
  year = {2024},
  volume = {55},
  number = {05},
  pages = {415--423},
  doi = {10.1055/a-2281-8015}
}
Kostenlos starten →