Patient-facing diabetic foot information from large language models: a domain- and source-balanced prompt framework for public-interface benchmarking
Patientenorientierte Informationen zum diabetischen Fuß aus Large Language Models: ein domain- und quellenbalancierter Prompt-Rahmen für öffentliches Benchmarking
Frontiers in Endocrinology · 21.07.2026 · 17
DOI: 10.3389/fendo.2026.1895366 ↗Auf einen Blick
Untersucht wurde ein Prompt-Rahmen für patientenorientierte Informationen zum diabetischen Fuß aus öffentlich zugänglichen LLMs. Die Antworten zeigten Unterschiede zwischen den Modellen sowie geringe Transparenz und unzureichende Lesbarkeit.
Fragestellung
Entwicklung und Anwendung eines domain- und quellenbalancierten Prompt-Rahmens zum Benchmarking patientenorientierter Informationen zum diabetischen Fuß aus öffentlich zugänglichen LLMs unter standardisierten öffentlichen Einzelabfragen.
Methode
24-Item-Benchmark-Prompts; 6 klinische Domänen und 4 Quellkategorien; 120 Antworten von GPT-5.5 Thinking, DeepSeek-V4, Gemini 3.1 Pro, Grok 4.3 und Qwen3.6-Max-Preview. Bewertung mit DISCERN, EQIP, GQS, JAMA-Kriterien und 6 Lesbarkeitsformeln.
Ergebnisse
Es zeigten sich signifikante metrikspezifische Unterschiede zwischen den Modellen. Grok 4.3 hatte die höchsten mittleren DISCERN-, EQIP-, GQS- und JAMA-basierten Transparenzwerte; DeepSeek-V4 zeigte bei mehreren Lesbarkeitsmaßen die niedrigsten Mittelwerte und die höchste mittlere FRES.
Einschränkungen
Keine formale Überprüfung der faktischen Genauigkeit auf Claim-Ebene, keine Leitlinien-Konkordanz-Bewertung und keine Analyse der Halluzinationshäufigkeit.
Schlussfolgerung der Autor:innen
Der vorgeschlagene Prompt-Rahmen bietet eine strukturierte Basis für das Benchmarking öffentlicher LLMs in der diabetischen Fußaufklärung. Standardantworten zeigten Variabilität, geringe Transparenz und unzureichende Lesbarkeit.
Kernaussagen
- 24 Benchmark-Prompts für 6 Domänen und 4 Quellkategorien
- Grok 4.3 mit den höchsten mittleren Qualitäts- und Transparenzwerten
- Keine Antwort erfüllte alle vordefinierten Lesbarkeitsziele
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Frontiers in Endocrinology, online erschienen am 21.07.2026. Verfasst von Yang Wen und 4 weiteren Autor:innen. Beteiligte Einrichtung: Department of Lower Extremity and Orthopedic Surgery, Suining Central Hospital, Suining, China. Hauptthemen laut MEDLINE: Diabetic Foot, Benchmarking, Patient Education as Topic. Die Arbeit wurde bisher 2-mal zitiert (Crossref) und nennt 30 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).
Themen: Diabetisches Fußsyndrom
Abstract (Originalsprache)
Background
Diabetes-related foot disease requires timely recognition of neuropathic risk, ulceration, infection, ischemia, offloading needs, and recurrence risk. Publicly accessible large language models (LLMs) may provide patient-facing information, but reproducible prompt construction for benchmarking such outputs remains insufficiently characterized.
Objective
This study aimed to develop and apply a domain- and source-balanced prompt framework for benchmarking patient-facing diabetic foot information generated by publicly accessible LLMs under default single-turn public-interface conditions.
Methods
A 24-item benchmark prompt set was generated using a domain- and source-balanced framework incorporating public-query sources and guideline-derived decision-critical content. Six clinical domains were crossed with four source categories: Google Trends, Baidu Zhidao, a PubMed-indexed Chinese diabetic foot guideline, and PubMed-indexed international diabetic foot guidelines. Each prompt was submitted once to GPT-5.5 Thinking, DeepSeek-V4, Gemini 3.1 Pro, Grok 4.3, and Qwen3.6-Max-Preview, yielding 120 responses. Response quality was assessed using DISCERN, EQIP, and GQS; visible transparency-related features were evaluated using JAMA benchmark criteria; readability was assessed using six formulas; and an exploratory potential clinical-risk flag (PCF) screened for overt short-term harm signals. Formal claim-level factual-accuracy review, guideline-concordance adjudication, and hallucination-frequency analysis were not performed.
Results
Significant metric-specific differences were observed across models. Grok 4.3 recorded the highest observed mean DISCERN, EQIP, GQS, and JAMA-based visible transparency-related scores, whereas DeepSeek-V4 showed the lowest observed mean scores for several readability-grade metrics and the highest mean FRES. Visible transparency-related scores remained low across models. No response was rated as PCF 1 or PCF 2. No response met all predefined readability targets.
Conclusions
The proposed prompt framework provides a structured basis for public-interface LLM benchmarking in diabetic foot education. Default responses showed metric-specific variation, limited visible transparency, and inadequate readability, and should not be relied upon independently for high-risk diabetic foot decision-making without clinician oversight.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Department of Lower Extremity and Orthopedic Surgery, Suining Central Hospital, Suining, China.
- Medical Department, Suining Central Hospital, Suining, China.
Zitieren
APA
Wen, Y., Chen, L., Lan, J., Chen, L., & Li, L. (2026). Patient-facing diabetic foot information from large language models: a domain- and source-balanced prompt framework for public-interface benchmarking. Frontiers in Endocrinology, 17. https://doi.org/10.3389/fendo.2026.1895366
Vancouver
Wen Y, Chen L, Lan J, Chen L, Li L. Patient-facing diabetic foot information from large language models: a domain- and source-balanced prompt framework for public-interface benchmarking. Frontiers in Endocrinology. 2026;17. doi:10.3389/fendo.2026.1895366
BibTeX
@article{Wen2026,
author = {Wen, Yang and Chen, Liyuan and Lan, Jiaping and Chen, Lin and Li, Lei},
title = {Patient-facing diabetic foot information from large language models: a domain- and source-balanced prompt framework for public-interface benchmarking},
journal = {Frontiers in Endocrinology},
year = {2026},
volume = {17},
doi = {10.3389/fendo.2026.1895366}
}
EUVIMED