Evaluating AI‐Generated Meal Plans for Simulated Diabetes Profiles: A Guideline‐Based Comparison of Three Language Models
Bewertung KI-generierter Ernährungspläne für simulierte Diabetesprofile: leitlinienbasierter Vergleich von drei Sprachmodellen
Journal of Evaluation in Clinical Practice · 2025-10 · 31 (7)
DOI: 10.1111/jep.70295 ↗Auf einen Blick
In einer Simulation mit 24 virtuellen Profilen wurden 3 Sprachmodelle für Ernährungspläne bei Erwachsenen mit Typ-2-Diabetes verglichen. Keines erfüllte das NCP vollständig.
Fragestellung
Wie gut erzeugen ChatGPT-4.1, Grok-3 und DeepSeek leitlinienkonforme 3-Tage-Ernährungspläne für Erwachsene mit Typ-2-Diabetes?
Methode
Simulationsstudie mit 24 standardisierten virtuellen Profilen; 3 Sprachmodelle erzeugten 3-Tage-Mahlzeitenpläne; Bewertung von Energie, Makro-/Mikronährstoffen, Leitlinienadherenz und NCP.
Ergebnisse
ChatGPT-4.1: höchste Übereinstimmung mit Energiebedarf (70,9 %), aber Fett überschätzt. Grok-3: beste Energiegenauigkeit (83,1 %), aber mehrere Mikronährstoffziele verfehlt. DeepSeek passte Protein an BMI an, Kohlenhydrate zu niedrig.
Einschränkungen
Keine realen Patient:innendaten; synthetische Szenarien; häufige Halluzinationen; fehlende klinische Kontextualisierung.
Schlussfolgerung der Autor:innen
Die Modelle zeigten Potenzial für grundlegende Ernährungshinweise in einer Simulation, sollten aber nicht als gleichwertig zur diätologischen Versorgung interpretiert werden; RAG und Expert:innenaufsicht werden als nötig genannt.
Kernaussagen
- 24 virtuelle Profile, keine realen Patient:innendaten
- Keines der Modelle erfüllte das NCP vollständig
- RAG und Expert:innenaufsicht werden als nötig genannt
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Vergleichsstudie in der Zeitschrift Journal of Evaluation in Clinical Practice, online erschienen am 07.10.2025. Verfasst von Hatice Merve Bayram und 2 weiteren Autor:innen. Beteiligte Einrichtung: Department of Nutrition and Dietetics, Faculty of Health Sciences, Istanbul Gelisim University, Istanbul, Turkiye. Hauptthemen laut MEDLINE: Diabetes Mellitus, Type 2, Computer Simulation, Nutrition Therapy. Die Arbeit wurde bisher 22-mal zitiert (Crossref) und nennt 47 Literaturangaben.
Themen: Diabetes mellitus
Abstract (Originalsprache)
Aims
This synthetic simulation, using no real patient data, study aimed to evaluate and compare the performance of three prominent large language models (LLMs)—ChatGPT‐4.1, Grok‐3 and DeepSeek—in generating medical nutrition therapy aligned dietary plans for adults with type 2 diabetes mellitus (T2DM).
Methods
A simulation‐based design was employed using 24 standardized virtual patient profiles differentiated by gender and body mass index (BMI) category. Each LLM was prompted in Turkish to generate 3‐day meal plans. Outputs were assessed for energy and macro‐/micronutrient accuracy, adherence to national and international T2DM guidelines and alignment with the nutrition care process (NCP).
Results
ChatGPT‐4.1 showed the highest alignment with energy requirements (70.9%) but overestimated fat intake. Grok‐3 demonstrated superior energy accuracy (83.1%) but failed to meet several micronutrient targets. DeepSeek adjusted protein intake according to BMI but underdelivered carbohydrates. None of the models demonstrated full concordance with the NCP framework, particularly in the diagnosis and monitoring components. Frequent hallucinations and lack of clinical contextualization were noted. Integration of retrieval‐augmented generation (RAG) was identified as a potential improvement strategy.
Conclusion
While LLMs showed promise in generating baseline dietary guidance in a simulated context, these results reflected concordance with guideline documents only and concordance with guideline documents only and should not be interpreted as evidence of equivalence to dietitian‐led care. These findings reflected model behaviour in synthetic scenarios only and highlighted the need for RAG integration and expert supervision before any clinical application.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Department of Nutrition and Dietetics, Faculty of Health Sciences, Istanbul Gelisim University, Istanbul, Turkiye.
- Department of Nutrition and Dietetics, Faculty of Health Sciences, Bandirma Onyedi Eylul University, Balikesir, Turkiye.
ORCID-Profile: Hatice Merve Bayram, Sedat Arslan, Arda Ozturkcan
Zitieren
APA
Bayram, H. M., Arslan, S., & Ozturkcan, A. (2025). Evaluating AI‐Generated Meal Plans for Simulated Diabetes Profiles: A Guideline‐Based Comparison of Three Language Models. Journal of Evaluation in Clinical Practice, 31(7). https://doi.org/10.1111/jep.70295
Vancouver
Bayram HM, Arslan S, Ozturkcan A. Evaluating AI‐Generated Meal Plans for Simulated Diabetes Profiles: A Guideline‐Based Comparison of Three Language Models. Journal of Evaluation in Clinical Practice. 2025;31(7). doi:10.1111/jep.70295
BibTeX
@article{Bayram2025,
author = {Bayram, Hatice Merve and Arslan, Sedat and Ozturkcan, Arda},
title = {Evaluating AI‐Generated Meal Plans for Simulated Diabetes Profiles: A Guideline‐Based Comparison of Three Language Models},
journal = {Journal of Evaluation in Clinical Practice},
year = {2025},
volume = {31},
number = {7},
doi = {10.1111/jep.70295}
}
EUVIMED