EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

Generating patient-friendly radiology reports with a local large language model: expert evaluation of quality and readability

Erstellung patientenfreundlicher Radiologieberichte mit einem lokal betriebenen Large Language Model: Expertenbewertung von Qualität und Lesbarkeit

Frederieke A M van der Mee, Rens Broos, Ramon P G Ottenheijm, Sander Puts, Frank M Zijta, Jesse Jansen, Jochen W L Cals, J Martijn Nobel, Ralph T H Leijenaar

European Radiology · 29.10.2026

DOI: 10.1007/s00330-026-12971-0 ↗

Auf einen Blick

Eine retrospektive Studie prüfte, ob ein lokal gehostetes LLM patientenfreundliche Radiologieberichte aus Röntgen- und Ultraschallbefunden erzeugen kann. Die Schlussfolgerungen waren besser als die Hauptbefunde, aber Halluzinationen traten auf.

Fragestellung

Kann ein lokal gehostetes LLM patientenfreundliche Radiologieberichte bei erhaltener Datenprivatsphäre sowie akzeptabler Genauigkeit, Vollständigkeit und Lesbarkeit erzeugen?

Methode

Retrospektive Studie mit 360 Röntgen- und Ultraschallberichten aus der niederländischen Primärversorgung; Übersetzung mit Gemma-3 (12B). Bewertung von Genauigkeit, Vollständigkeit, Lesbarkeit und Halluzinationen.

Ergebnisse

Die patientenfreundlichen Schlussfolgerungen erreichten höhere mediane Genauigkeit als die Hauptberichte (5 [Q1–Q3 5–5] vs. 4 [3–5]); die Vollständigkeit war für beide hoch (5 [5–5]). 71,0 % der Hauptberichte und 96,0 % der Schlussfolgerungen erfüllten die Qualitätskriterien; Halluzinationen traten in 45 Berichten (12,5 %) auf.

Einschränkungen

Clinically relevant hallucinations remained a safety concern and indicate the need for clinician oversight and further evaluation before clinical implementation.

Schlussfolgerung der Autor:innen

Ein lokal gehostetes LLM zeigte Machbarkeit für patientenfreundliche Übersetzungen von niederländischen Röntgen- und Ultraschallberichten. Schlussfolgerungen schnitten besser ab als Hauptberichte, Halluzinationen bleiben jedoch ein Sicherheitsproblem.

Kernaussagen

  • Schlussfolgerungen erzielten höhere Genauigkeitswerte als Hauptberichte.
  • 71,0 % der Hauptberichte und 96,0 % der Schlussfolgerungen erfüllten Qualitätskriterien.
  • Halluzinationen traten in 45 Berichten (12,5 %) auf.

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift European Radiology, online erschienen am 29.10.2026. Verfasst von Frederieke A M van der Mee und 8 weiteren Autor:innen. Beteiligte Einrichtung: Department of Family Medicine, Care and Public Health Research Institute, Maastricht University, Maastricht, The Netherlands. frederieke.vandermee@ma…. Die Arbeit nennt 49 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: ZonMw.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Objectives

To assess the feasibility of using a locally hosted large language model (LLM) to generate patient-friendly radiology reports while avoiding cloud transfer of report text. Materials and methods In this retrospective study, 360 chest, knee, lumbar spine, and shoulder X-rays, and shoulder and abdominal ultrasound reports from Dutch primary care were included. Main report sections ( n = 359) and conclusion sections ( n = 350) were translated into patient-friendly versions using Gemma-3 (12B parameters) and assessed for accuracy and completeness on 5-point Likert scales. Readability was evaluated using text length and Flesch–Douma reading ease (FDRE) scores. Hallucinations were systematically documented. Statistical analyses included Kruskal–Wallis, Wilcoxon signed-rank, and paired t -tests.

Results

Patient-friendly conclusions achieved higher median accuracy scores than main reports (5 [Q1–Q3 5–5] vs 4 [3–5]), while completeness scores were high for both sections (5 [5–5]). Compared with original reports, patient-friendly reports were longer (median increase 65 words [48–84], p < 0.001) and had higher FDRE scores (mean increase 54.2 ± 18.8, p < 0.001). Overall, 71.0% of main reports and 96.0% of conclusions met predefined quality criteria (accuracy and completeness ≥ 4), while 48.0% of combined main report and conclusion sections met both quality and readability criteria (FDRE score > 60). Clinically relevant hallucinations occurred in 45 reports (12.5%).

Conclusion

A locally hosted LLM demonstrated feasibility for generating patient-friendly translations of Dutch X-ray and ultrasound reports while avoiding cloud transfer of data, with better performance for conclusion sections than main reports. However, clinically relevant hallucinations remain a safety concern and indicate the need for clinician oversight and further evaluation before clinical implementation. Key Points Question Can a locally hosted LLM generate patient-friendly radiology reports while preserving data privacy and maintaining acceptable accuracy, completeness, and readability?

Findings

A locally hosted LLM generated patient-friendly report conclusions with higher quality scores than main reports, while clinically relevant hallucinations remained an important safety concern . Clinical relevance A locally hosted LLM has potential to generate patient-friendly radiology report translations without external cloud data transfer. Report conclusions appear to be the most promising initial application, although clinician oversight and further patient-centered validation remain essential before clinical implementation .

Schlagwörter

Stichwörter der Autor:innen

Artificial intelligenceElectronic health recordsHealth communicationPatient access to recordsRadiology

Autor:innen und Institutionen

  • Department of Family Medicine, Care and Public Health Research Institute, Maastricht University, Maastricht, The Netherlands. frederieke.vandermee@maastrichtuniversity.nl.
  • Department of Family Medicine, Care and Public Health Research Institute, Maastricht University, Maastricht, The Netherlands.
  • Department of Radiation Oncology (MAASTRO), GROW Research Institute for Oncology and Reproduction, Maastricht University Medical Center+, Maastricht, The Netherlands.
  • Department of Radiology and Nuclear Medicine, Maastricht University Medical Center+, Maastricht, The Netherlands.
  • GROW Research Institute for Oncology and Reproduction, Maastricht University, Maastricht, The Netherlands.

Förderung

  • ZonMw

Zitieren

APA

van der Mee, F. A. M., Broos, R., Ottenheijm, R. P. G., Puts, S., Zijta, F. M., Jansen, J., Cals, J. W. L., Nobel, J. M., & Leijenaar, R. T. H. (2026). Generating patient-friendly radiology reports with a local large language model: expert evaluation of quality and readability. European Radiology. https://doi.org/10.1007/s00330-026-12971-0

Vancouver

van der Mee FAM, Broos R, Ottenheijm RPG, Puts S, Zijta FM, Jansen J, et al. Generating patient-friendly radiology reports with a local large language model: expert evaluation of quality and readability. European Radiology. 2026. doi:10.1007/s00330-026-12971-0

BibTeX
@article{vanderMee2026,
  author = {van der Mee, Frederieke A M and Broos, Rens and Ottenheijm, Ramon P G and Puts, Sander and Zijta, Frank M and Jansen, Jesse and Cals, Jochen W L and Nobel, J Martijn and Leijenaar, Ralph T H},
  title = {Generating patient-friendly radiology reports with a local large language model: expert evaluation of quality and readability},
  journal = {European Radiology},
  year = {2026},
  doi = {10.1007/s00330-026-12971-0}
}
Kostenlos starten →