EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

Entity-centric evaluation of large language model responses for medical question-answering tasks

Entity-zentrierte Bewertung von Antworten großer Sprachmodelle für medizinische Frage-Antwort-Aufgaben

Yi Liu, Vijaya B Kolachalama iD

PLOS Digital Health · 06.10.2026 · 5 (10) · e0001752

DOI: 10.1371/journal.pdig.0001752 ↗

Auf einen Blick

Die Studie stellt EntQA als referenzfreie, entity-zentrierte Metrik für medizinische QA vor. EntQA zeigte positive Zusammenhänge mit Genauigkeit und Modellskalierung und schnitt besser ab als herkömmliche Metriken.

Fragestellung

Wie gut erfasst EntQA die klinische Treue und die Reasoning-Qualität von LLM-Antworten in medizinischen QA-Aufgaben?

Methode

Entwicklung und Bewertung von EntQA auf fünf medizinischen QA-Benchmarks und sieben Qwen 2.5 Instruct-Modellen (0.5B–72B Parameter).

Ergebnisse

EntQA zeigte durchgehend positive Zusammenhänge mit Modellgenauigkeit und Skalierung. Gruppenbezogene Korrelationen mit Genauigkeit und Modellgröße wurden berichtet; EntQA übertraf Überlappungs- und embeddingbasierte Metriken.

Schlussfolgerung der Autor:innen

EntQA bietet laut Autor:innen einen skalierbaren und interpretierbaren Rahmen zur Bewertung klinischer Treue und Reasoning-Qualität ohne Goldstandard-Referenzen oder externe Evidenz.

Kernaussagen

  • Referenzfreie, entity-zentrierte Metrik für medizinische QA
  • Positive Zusammenhänge mit Genauigkeit und Modellskalierung
  • Besser als Überlappungs- und embeddingbasierte Vergleichsmetriken

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift PLOS Digital Health, online erschienen am 06.10.2026. Verfasst von Yi Liu und 1 weiteren Autor:innen. Beteiligte Einrichtung: Faculty of Computing & Data Sciences, Boston University, Boston, Massachusetts, United States of America. Die Arbeit nennt 25 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: NIA NIH HHS, NINDS NIH HHS, NHLBI NIH HHS.

Auf einen BlickAbstractBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Large language models (LLMs) are increasingly evaluated for clinical question-answering (QA) tasks, yet benchmark accuracy alone provides limited assurance of clinical reliability. Existing evaluation metrics often fail to capture whether model reasoning preserves patient-specific context and diagnostic intent, while many require external references or manual annotation, limiting scalability and real-world applicability. To address this gap, this study proposes E n t Q A , a reference-free, entity-centric metric that evaluates how well LLM-generated responses retain clinically relevant biomedical concepts from patient backgrounds and diagnostic questions. Across five medical QA benchmarks and seven Qwen 2.5 Instruct models (0.5B–72B parameters), E n t Q A showed consistently positive associations with model accuracy and scaling, outperforming conventional overlap- and embedding-based metrics that frequently exhibited weak or negative correlations. Group-level correlations with accuracy reached Spearman ρ = 0 . 9 2 8 6 , while correlations with model scale reached ρ = 0 . 2 5 2 . These findings suggest that E n t Q A provides a scalable and interpretable framework for assessing clinical fidelity and reasoning quality in healthcare LLMs without requiring gold standard references or external evidence.

Autor:innen und Institutionen

  • Faculty of Computing & Data Sciences, Boston University, Boston, Massachusetts, United States of America.
  • Department of Medicine, Boston University Chobanian & Avedisian School of Medicine, Boston, Massachusetts, United States of America.
  • Department of Computer Science, Boston University, Boston, Massachusetts, United States of America.

ORCID-Profile: Vijaya B Kolachalama

Förderung

  • NIA NIH HHS
  • NINDS NIH HHS
  • NHLBI NIH HHS
  • NIDCD NIH HHS
  • National Institutes of Health

Zitieren

APA

Liu, Y., & Kolachalama, V. B. (2026). Entity-centric evaluation of large language model responses for medical question-answering tasks. PLOS Digital Health, 5(10), e0001752. https://doi.org/10.1371/journal.pdig.0001752

Vancouver

Liu Y, Kolachalama VB. Entity-centric evaluation of large language model responses for medical question-answering tasks. PLOS Digital Health. 2026;5(10):e0001752. doi:10.1371/journal.pdig.0001752

BibTeX
@article{Liu2026,
  author = {Liu, Yi and Kolachalama, Vijaya B},
  title = {Entity-centric evaluation of large language model responses for medical question-answering tasks},
  journal = {PLOS Digital Health},
  year = {2026},
  volume = {5},
  number = {10},
  pages = {e0001752},
  doi = {10.1371/journal.pdig.0001752}
}
Kostenlos starten →