EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

Patient-facing diabetic foot information from large language models: a domain- and source-balanced prompt framework for public-interface benchmarking

Patientenorientierte Informationen zum diabetischen Fuß aus Large Language Models: ein domain- und quellenbalancierter Prompt-Rahmen für öffentliches Benchmarking

Yang Wen, Liyuan Chen, Jiaping Lan, Lin Chen, Lei Li

Frontiers in Endocrinology · 21.07.2026 · 17

DOI: 10.3389/fendo.2026.1895366 ↗

Auf einen Blick

Untersucht wurde ein Prompt-Rahmen für patientenorientierte Informationen zum diabetischen Fuß aus öffentlich zugänglichen LLMs. Die Antworten zeigten Unterschiede zwischen den Modellen sowie geringe Transparenz und unzureichende Lesbarkeit.

Fragestellung

Entwicklung und Anwendung eines domain- und quellenbalancierten Prompt-Rahmens zum Benchmarking patientenorientierter Informationen zum diabetischen Fuß aus öffentlich zugänglichen LLMs unter standardisierten öffentlichen Einzelabfragen.

Methode

24-Item-Benchmark-Prompts; 6 klinische Domänen und 4 Quellkategorien; 120 Antworten von GPT-5.5 Thinking, DeepSeek-V4, Gemini 3.1 Pro, Grok 4.3 und Qwen3.6-Max-Preview. Bewertung mit DISCERN, EQIP, GQS, JAMA-Kriterien und 6 Lesbarkeitsformeln.

Ergebnisse

Es zeigten sich signifikante metrikspezifische Unterschiede zwischen den Modellen. Grok 4.3 hatte die höchsten mittleren DISCERN-, EQIP-, GQS- und JAMA-basierten Transparenzwerte; DeepSeek-V4 zeigte bei mehreren Lesbarkeitsmaßen die niedrigsten Mittelwerte und die höchste mittlere FRES.

Einschränkungen

Keine formale Überprüfung der faktischen Genauigkeit auf Claim-Ebene, keine Leitlinien-Konkordanz-Bewertung und keine Analyse der Halluzinationshäufigkeit.

Schlussfolgerung der Autor:innen

Der vorgeschlagene Prompt-Rahmen bietet eine strukturierte Basis für das Benchmarking öffentlicher LLMs in der diabetischen Fußaufklärung. Standardantworten zeigten Variabilität, geringe Transparenz und unzureichende Lesbarkeit.

Kernaussagen

  • 24 Benchmark-Prompts für 6 Domänen und 4 Quellkategorien
  • Grok 4.3 mit den höchsten mittleren Qualitäts- und Transparenzwerten
  • Keine Antwort erfüllte alle vordefinierten Lesbarkeitsziele

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Frontiers in Endocrinology, online erschienen am 21.07.2026. Verfasst von Yang Wen und 4 weiteren Autor:innen. Beteiligte Einrichtung: Department of Lower Extremity and Orthopedic Surgery, Suining Central Hospital, Suining, China. Hauptthemen laut MEDLINE: Diabetic Foot, Benchmarking, Patient Education as Topic. Die Arbeit wurde bisher 2-mal zitiert (Crossref) und nennt 30 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Background

Diabetes-related foot disease requires timely recognition of neuropathic risk, ulceration, infection, ischemia, offloading needs, and recurrence risk. Publicly accessible large language models (LLMs) may provide patient-facing information, but reproducible prompt construction for benchmarking such outputs remains insufficiently characterized.

Objective

This study aimed to develop and apply a domain- and source-balanced prompt framework for benchmarking patient-facing diabetic foot information generated by publicly accessible LLMs under default single-turn public-interface conditions.

Methods

A 24-item benchmark prompt set was generated using a domain- and source-balanced framework incorporating public-query sources and guideline-derived decision-critical content. Six clinical domains were crossed with four source categories: Google Trends, Baidu Zhidao, a PubMed-indexed Chinese diabetic foot guideline, and PubMed-indexed international diabetic foot guidelines. Each prompt was submitted once to GPT-5.5 Thinking, DeepSeek-V4, Gemini 3.1 Pro, Grok 4.3, and Qwen3.6-Max-Preview, yielding 120 responses. Response quality was assessed using DISCERN, EQIP, and GQS; visible transparency-related features were evaluated using JAMA benchmark criteria; readability was assessed using six formulas; and an exploratory potential clinical-risk flag (PCF) screened for overt short-term harm signals. Formal claim-level factual-accuracy review, guideline-concordance adjudication, and hallucination-frequency analysis were not performed.

Results

Significant metric-specific differences were observed across models. Grok 4.3 recorded the highest observed mean DISCERN, EQIP, GQS, and JAMA-based visible transparency-related scores, whereas DeepSeek-V4 showed the lowest observed mean scores for several readability-grade metrics and the highest mean FRES. Visible transparency-related scores remained low across models. No response was rated as PCF 1 or PCF 2. No response met all predefined readability targets.

Conclusions

The proposed prompt framework provides a structured basis for public-interface LLM benchmarking in diabetic foot education. Default responses showed metric-specific variation, limited visible transparency, and inadequate readability, and should not be relied upon independently for high-risk diabetic foot decision-making without clinician oversight.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Diabetic FootBenchmarkingPatient Education as TopicHumansLarge Language Models

Stichwörter der Autor:innen

benchmarkingdiabetic footdomain- and source-balanced prompt frameworklarge language modelspatient-facing information

Autor:innen und Institutionen

  • Department of Lower Extremity and Orthopedic Surgery, Suining Central Hospital, Suining, China.
  • Medical Department, Suining Central Hospital, Suining, China.

Zitieren

APA

Wen, Y., Chen, L., Lan, J., Chen, L., & Li, L. (2026). Patient-facing diabetic foot information from large language models: a domain- and source-balanced prompt framework for public-interface benchmarking. Frontiers in Endocrinology, 17. https://doi.org/10.3389/fendo.2026.1895366

Vancouver

Wen Y, Chen L, Lan J, Chen L, Li L. Patient-facing diabetic foot information from large language models: a domain- and source-balanced prompt framework for public-interface benchmarking. Frontiers in Endocrinology. 2026;17. doi:10.3389/fendo.2026.1895366

BibTeX
@article{Wen2026,
  author = {Wen, Yang and Chen, Liyuan and Lan, Jiaping and Chen, Lin and Li, Lei},
  title = {Patient-facing diabetic foot information from large language models: a domain- and source-balanced prompt framework for public-interface benchmarking},
  journal = {Frontiers in Endocrinology},
  year = {2026},
  volume = {17},
  doi = {10.3389/fendo.2026.1895366}
}
Kostenlos starten →