EUVIMEDEUVIMED entdecken
VergleichsstudieLeitlinie

Evaluating AI‐Generated Meal Plans for Simulated Diabetes Profiles: A Guideline‐Based Comparison of Three Language Models

Bewertung KI-generierter Ernährungspläne für simulierte Diabetesprofile: leitlinienbasierter Vergleich von drei Sprachmodellen

Hatice Merve Bayram iD, Sedat Arslan iD, Arda Ozturkcan iD

Journal of Evaluation in Clinical Practice · 2025-10 · 31 (7)

DOI: 10.1111/jep.70295 ↗

Auf einen Blick

In einer Simulation mit 24 virtuellen Profilen wurden 3 Sprachmodelle für Ernährungspläne bei Erwachsenen mit Typ-2-Diabetes verglichen. Keines erfüllte das NCP vollständig.

Fragestellung

Wie gut erzeugen ChatGPT-4.1, Grok-3 und DeepSeek leitlinienkonforme 3-Tage-Ernährungspläne für Erwachsene mit Typ-2-Diabetes?

Methode

Simulationsstudie mit 24 standardisierten virtuellen Profilen; 3 Sprachmodelle erzeugten 3-Tage-Mahlzeitenpläne; Bewertung von Energie, Makro-/Mikronährstoffen, Leitlinienadherenz und NCP.

Ergebnisse

ChatGPT-4.1: höchste Übereinstimmung mit Energiebedarf (70,9 %), aber Fett überschätzt. Grok-3: beste Energiegenauigkeit (83,1 %), aber mehrere Mikronährstoffziele verfehlt. DeepSeek passte Protein an BMI an, Kohlenhydrate zu niedrig.

Einschränkungen

Keine realen Patient:innendaten; synthetische Szenarien; häufige Halluzinationen; fehlende klinische Kontextualisierung.

Schlussfolgerung der Autor:innen

Die Modelle zeigten Potenzial für grundlegende Ernährungshinweise in einer Simulation, sollten aber nicht als gleichwertig zur diätologischen Versorgung interpretiert werden; RAG und Expert:innenaufsicht werden als nötig genannt.

Kernaussagen

  • 24 virtuelle Profile, keine realen Patient:innendaten
  • Keines der Modelle erfüllte das NCP vollständig
  • RAG und Expert:innenaufsicht werden als nötig genannt

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Vergleichsstudie in der Zeitschrift Journal of Evaluation in Clinical Practice, online erschienen am 07.10.2025. Verfasst von Hatice Merve Bayram und 2 weiteren Autor:innen. Beteiligte Einrichtung: Department of Nutrition and Dietetics, Faculty of Health Sciences, Istanbul Gelisim University, Istanbul, Turkiye. Hauptthemen laut MEDLINE: Diabetes Mellitus, Type 2, Computer Simulation, Nutrition Therapy. Die Arbeit wurde bisher 22-mal zitiert (Crossref) und nennt 47 Literaturangaben.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Aims

This synthetic simulation, using no real patient data, study aimed to evaluate and compare the performance of three prominent large language models (LLMs)—ChatGPT‐4.1, Grok‐3 and DeepSeek—in generating medical nutrition therapy aligned dietary plans for adults with type 2 diabetes mellitus (T2DM).

Methods

A simulation‐based design was employed using 24 standardized virtual patient profiles differentiated by gender and body mass index (BMI) category. Each LLM was prompted in Turkish to generate 3‐day meal plans. Outputs were assessed for energy and macro‐/micronutrient accuracy, adherence to national and international T2DM guidelines and alignment with the nutrition care process (NCP).

Results

ChatGPT‐4.1 showed the highest alignment with energy requirements (70.9%) but overestimated fat intake. Grok‐3 demonstrated superior energy accuracy (83.1%) but failed to meet several micronutrient targets. DeepSeek adjusted protein intake according to BMI but underdelivered carbohydrates. None of the models demonstrated full concordance with the NCP framework, particularly in the diagnosis and monitoring components. Frequent hallucinations and lack of clinical contextualization were noted. Integration of retrieval‐augmented generation (RAG) was identified as a potential improvement strategy.

Conclusion

While LLMs showed promise in generating baseline dietary guidance in a simulated context, these results reflected concordance with guideline documents only and concordance with guideline documents only and should not be interpreted as evidence of equivalence to dietitian‐led care. These findings reflected model behaviour in synthetic scenarios only and highlighted the need for RAG integration and expert supervision before any clinical application.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Diabetes Mellitus, Type 2Computer SimulationNutrition TherapyHumansMaleFemaleBody Mass IndexAdultMiddle AgedLanguagePractice Guidelines as TopicTurkeyMealsEnergy Intake

Stichwörter der Autor:innen

artificial intelligencelarge language modelsmedical nutrition therapyretrieval‐augmented generationtype 2 diabetes mellitus

Autor:innen und Institutionen

  • Department of Nutrition and Dietetics, Faculty of Health Sciences, Istanbul Gelisim University, Istanbul, Turkiye.
  • Department of Nutrition and Dietetics, Faculty of Health Sciences, Bandirma Onyedi Eylul University, Balikesir, Turkiye.

ORCID-Profile: Hatice Merve Bayram, Sedat Arslan, Arda Ozturkcan

Zitieren

APA

Bayram, H. M., Arslan, S., & Ozturkcan, A. (2025). Evaluating AI‐Generated Meal Plans for Simulated Diabetes Profiles: A Guideline‐Based Comparison of Three Language Models. Journal of Evaluation in Clinical Practice, 31(7). https://doi.org/10.1111/jep.70295

Vancouver

Bayram HM, Arslan S, Ozturkcan A. Evaluating AI‐Generated Meal Plans for Simulated Diabetes Profiles: A Guideline‐Based Comparison of Three Language Models. Journal of Evaluation in Clinical Practice. 2025;31(7). doi:10.1111/jep.70295

BibTeX
@article{Bayram2025,
  author = {Bayram, Hatice Merve and Arslan, Sedat and Ozturkcan, Arda},
  title = {Evaluating AI‐Generated Meal Plans for Simulated Diabetes Profiles: A Guideline‐Based Comparison of Three Language Models},
  journal = {Journal of Evaluation in Clinical Practice},
  year = {2025},
  volume = {31},
  number = {7},
  doi = {10.1111/jep.70295}
}
Kostenlos starten →