Entity-centric evaluation of large language model responses for medical question-answering tasks
Entity-zentrierte Bewertung von Antworten großer Sprachmodelle für medizinische Frage-Antwort-Aufgaben
PLOS Digital Health · 06.10.2026 · 5 (10) · e0001752
DOI: 10.1371/journal.pdig.0001752 ↗Auf einen Blick
Die Studie stellt EntQA als referenzfreie, entity-zentrierte Metrik für medizinische QA vor. EntQA zeigte positive Zusammenhänge mit Genauigkeit und Modellskalierung und schnitt besser ab als herkömmliche Metriken.
Fragestellung
Wie gut erfasst EntQA die klinische Treue und die Reasoning-Qualität von LLM-Antworten in medizinischen QA-Aufgaben?
Methode
Entwicklung und Bewertung von EntQA auf fünf medizinischen QA-Benchmarks und sieben Qwen 2.5 Instruct-Modellen (0.5B–72B Parameter).
Ergebnisse
EntQA zeigte durchgehend positive Zusammenhänge mit Modellgenauigkeit und Skalierung. Gruppenbezogene Korrelationen mit Genauigkeit und Modellgröße wurden berichtet; EntQA übertraf Überlappungs- und embeddingbasierte Metriken.
Schlussfolgerung der Autor:innen
EntQA bietet laut Autor:innen einen skalierbaren und interpretierbaren Rahmen zur Bewertung klinischer Treue und Reasoning-Qualität ohne Goldstandard-Referenzen oder externe Evidenz.
Kernaussagen
- Referenzfreie, entity-zentrierte Metrik für medizinische QA
- Positive Zusammenhänge mit Genauigkeit und Modellskalierung
- Besser als Überlappungs- und embeddingbasierte Vergleichsmetriken
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift PLOS Digital Health, online erschienen am 06.10.2026. Verfasst von Yi Liu und 1 weiteren Autor:innen. Beteiligte Einrichtung: Faculty of Computing & Data Sciences, Boston University, Boston, Massachusetts, United States of America. Die Arbeit nennt 25 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: NIA NIH HHS, NINDS NIH HHS, NHLBI NIH HHS.
Abstract (Originalsprache)
Large language models (LLMs) are increasingly evaluated for clinical question-answering (QA) tasks, yet benchmark accuracy alone provides limited assurance of clinical reliability. Existing evaluation metrics often fail to capture whether model reasoning preserves patient-specific context and diagnostic intent, while many require external references or manual annotation, limiting scalability and real-world applicability. To address this gap, this study proposes E n t Q A , a reference-free, entity-centric metric that evaluates how well LLM-generated responses retain clinically relevant biomedical concepts from patient backgrounds and diagnostic questions. Across five medical QA benchmarks and seven Qwen 2.5 Instruct models (0.5B–72B parameters), E n t Q A showed consistently positive associations with model accuracy and scaling, outperforming conventional overlap- and embedding-based metrics that frequently exhibited weak or negative correlations. Group-level correlations with accuracy reached Spearman ρ = 0 . 9 2 8 6 , while correlations with model scale reached ρ = 0 . 2 5 2 . These findings suggest that E n t Q A provides a scalable and interpretable framework for assessing clinical fidelity and reasoning quality in healthcare LLMs without requiring gold standard references or external evidence.
Autor:innen und Institutionen
- Faculty of Computing & Data Sciences, Boston University, Boston, Massachusetts, United States of America.
- Department of Medicine, Boston University Chobanian & Avedisian School of Medicine, Boston, Massachusetts, United States of America.
- Department of Computer Science, Boston University, Boston, Massachusetts, United States of America.
ORCID-Profile: Vijaya B Kolachalama
Förderung
- NIA NIH HHS
- NINDS NIH HHS
- NHLBI NIH HHS
- NIDCD NIH HHS
- National Institutes of Health
Zitieren
APA
Liu, Y., & Kolachalama, V. B. (2026). Entity-centric evaluation of large language model responses for medical question-answering tasks. PLOS Digital Health, 5(10), e0001752. https://doi.org/10.1371/journal.pdig.0001752
Vancouver
Liu Y, Kolachalama VB. Entity-centric evaluation of large language model responses for medical question-answering tasks. PLOS Digital Health. 2026;5(10):e0001752. doi:10.1371/journal.pdig.0001752
BibTeX
@article{Liu2026,
author = {Liu, Yi and Kolachalama, Vijaya B},
title = {Entity-centric evaluation of large language model responses for medical question-answering tasks},
journal = {PLOS Digital Health},
year = {2026},
volume = {5},
number = {10},
pages = {e0001752},
doi = {10.1371/journal.pdig.0001752}
}
EUVIMED