EUVIMEDEUVIMED entdecken
Scoping ReviewOpen Access · CC BY 4.0

Medical accuracy of artificial intelligence chatbots in oncology: a scoping review

Medizinische Genauigkeit von KI-Chatbots in der Onkologie: Scoping-Review

David Chen, Kate Avison, Saif Alnassar, Ryan S Huang, Srinivas Raman iD

The Oncologist · 04.04.2025 · 30 (4)

DOI: 10.1093/oncolo/oyaf038 ↗

Auf einen Blick

Das Review beschreibt den Stand der medizinischen Genauigkeit onkologischer LLM-Anwendungen. Am häufigsten wurden sie als Informationsquelle in Frage-Antwort-Form geprüft.

Fragestellung

Wie ist der aktuelle Stand der medizinischen Genauigkeit onkologischer LLM-Anwendungen, und welche Forschungstrends zeigen sich?

Methode

Scoping-Review mit Literaturrecherche in Ovid Medline; eingeschlossen wurden peer-reviewte Primärstudien seit 2000 zur medizinischen Genauigkeit von LLMs in der Onkologie.

Ergebnisse

60 Studien wurden eingeschlossen. 48 % prüften LLMs als Gesundheitsinformationsquelle, 20 % zur Diagnose und 17 % zum Management. Zunahmen bei Fine-Tuning und Prompt-Engineering von 2022 bis 2024.

Einschränkungen

Keine externe Validierung in Hold-out-Datensätzen; uneinheitliche medizinische Genauigkeit über verschiedene klinische Szenarien.

Schlussfolgerung der Autor:innen

Es besteht großes Interesse an LLMs in der klinischen Onkologie. Weitere Forschung ist nötig, um die Tools zu validieren und die medizinische Genauigkeit zu verbessern; klinische Aufsicht bleibt erforderlich.

Kernaussagen

  • 60 eingeschlossene Studien zum Einsatz von LLMs in der Onkologie
  • Häufigster Einsatz: Informationsquelle in Frage-Antwort-Form
  • Nachteile: geringe Verlässlichkeit, Halluzinationen, Bedarf an klinischer Aufsicht

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Scoping Review in der Zeitschrift The Oncologist, online erschienen am 26.04.2025. Verfasst von David Chen und 4 weiteren Autor:innen. Beteiligte Einrichtung: Princess Margaret Hospital Cancer Centre, Radiation Medicine Program, Toronto, ON M5G 2C4, Canada. Hauptthemen laut MEDLINE: Generative Artificial Intelligence, Medical Oncology, Neoplasms, Large Language Models. Die Arbeit wurde bisher 40-mal zitiert (Crossref) und nennt 101 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: Robert L. Tundermann and Christine E. Couturier.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Background

Recent advances in large language models (LLM) have enabled human-like qualities of natural language competency. Applied to oncology, LLMs have been proposed to serve as an information resource and interpret vast amounts of data as a clinical decision-support tool to improve clinical outcomes.

Objective

This review aims to describe the current status of medical accuracy of oncology-related LLM applications and research trends for further areas of investigation.

Methods

A scoping literature search was conducted on Ovid Medline for peer-reviewed studies published since 2000. We included primary research studies that evaluated the medical accuracy of a large language model applied in oncology settings. Study characteristics and primary outcomes of included studies were extracted to describe the landscape of oncology-related LLMs.

Results

Sixty studies were included based on the inclusion and exclusion criteria. The majority of studies evaluated LLMs in oncology as a health information resource in question-answer style examinations (48%), followed by diagnosis (20%) and management (17%). The number of studies that evaluated the utility of fine-tuning and prompt-engineering LLMs increased over time from 2022 to 2024. Studies reported the advantages of LLMs as an accurate information resource, reduction of clinician workload, and improved accessibility and readability of clinical information, while noting disadvantages such as poor reliability, hallucinations, and need for clinician oversight.

Discussion

There exists significant interest in the application of LLMs in clinical oncology, with a particular focus as a medical information resource and clinical decision support tool. However, further research is needed to validate these tools in external hold-out datasets for generalizability and to improve medical accuracy across diverse clinical scenarios, underscoring the need for clinician supervision of these tools.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Generative Artificial IntelligenceMedical OncologyNeoplasmsLarge Language ModelsHumans

Stichwörter der Autor:innen

artificial intelligencechatbotclinical decision supportmedical accuracy

Autor:innen und Institutionen

  • Princess Margaret Hospital Cancer Centre, Radiation Medicine Program, Toronto, ON M5G 2C4, Canada.
  • Temerty Faculty of Medicine, University of Toronto, Toronto, ON M5S 3K3, Canada.
  • Department of Systems Design Engineering, University of Waterloo, Waterloo, ON N2L 3G1, Canada.
  • Department of Radiation Oncology, University of Toronto, Toronto, ON M5T 1P5, Canada.
  • Department of Radiation Oncology, BC Cancer, Vancouver, BC V5Z 1G1, Canada.
  • Division of Radiation Oncology, University of British Columbia, Vancouver, BC V5Z 1M9, Canada.

ORCID-Profile: Srinivas Raman

Förderung

  • Robert L. Tundermann and Christine E. Couturier

Zitieren

APA

Chen, D., Avison, K., Alnassar, S., Huang, R. S., & Raman, S. (2025). Medical accuracy of artificial intelligence chatbots in oncology: a scoping review. The Oncologist, 30(4). https://doi.org/10.1093/oncolo/oyaf038

Vancouver

Chen D, Avison K, Alnassar S, Huang RS, Raman S. Medical accuracy of artificial intelligence chatbots in oncology: a scoping review. The Oncologist. 2025;30(4). doi:10.1093/oncolo/oyaf038

BibTeX
@article{Chen2025,
  author = {Chen, David and Avison, Kate and Alnassar, Saif and Huang, Ryan S and Raman, Srinivas},
  title = {Medical accuracy of artificial intelligence chatbots in oncology: a scoping review},
  journal = {The Oncologist},
  year = {2025},
  volume = {30},
  number = {4},
  doi = {10.1093/oncolo/oyaf038}
}
Kostenlos starten →