EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

Exploratory Evaluation of the Statistical Fidelity of Large Language Model-Generated Synthetic Rehabilitation Data for Patients with Hip Fracture

Explorative Bewertung der statistischen Treue von von Large Language Models erzeugten synthetischen Rehabilitationsdaten für Patient:innen mit Hüftfraktur

Ryo Momosaki iD, Kenta Ushida, Yoshinori Yamamoto, Akio Shimizu

Journal of Clinical Medicine · 07.11.2026 · 15 (21) · 8700

DOI: 10.3390/jcm15218700 ↗

Auf einen Blick

Drei von LLMs erzeugte Datensätze zu Hüftfraktur-Patient:innen bildeten die vorgegebenen Randverteilungen unterschiedlich gut ab. Die multivariaten Strukturen und die Aufgabenleistung waren nicht durchgehend vergleichbar mit Realdaten.

Fragestellung

Wie treu reproduzieren drei von Large Language Models erzeugte synthetische Datensätze zu Patient:innen mit Hüftfraktur vorgegebene Statistik, nicht vorgegebene Strukturen und eine Regressionsaufgabe?

Methode

Aus 26.637 Krankenhausakten wurden 12.130 vollständige Datensätze identifiziert und 1.000 reproduzierbar gezogen. Drei LLMs erzeugten je 1.000 Datensätze aus 12 aggregierten Variablen; geprüft wurden Fidelity, Korrelationen, Plausibilität und eine Regression.

Ergebnisse

Mittlere absolute SMDs: 0,164, 0,027 und 0,001 für GPT, Claude und Gemini. Mittlere absolute Differenzen über 36 Korrelationen: 0,090, 0,113, 0,105; maximale Abweichungen: 0,411, 0,713, 0,262. R2: 0,167, −0,080, 0,146; Realdaten: 0,262.

Einschränkungen

Explorative Untersuchung; die Ergebnisse belegen weder klinische Validität noch Datenschutz und erlauben keine definitive Rangfolge der Modelle.

Schlussfolgerung der Autor:innen

Die drei LLM-generierten Datensätze reproduzierten vorgegebene Randziele unterschiedlich gut, erhielten aber multivariable Strukturen und task-spezifische Leistung nicht konsistent aufrecht.

Kernaussagen

  • Randverteilungen wurden unterschiedlich gut getroffen
  • Korrelationen und Plausibilität waren nicht stabil erhalten
  • Train-on-synthetic/test-on-real schnitt schlechter ab als Realdaten

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Journal of Clinical Medicine, online erschienen am 07.11.2026. Verfasst von Ryo Momosaki und 3 weiteren Autor:innen. Beteiligte Einrichtung: Department of Rehabilitation, Mie University Hospital, 2-174 Edobashi, Tsu 514-8507, Japan. Die Arbeit nennt 16 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: Ministry of Education, Culture, Sports, Science and Technology.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Background/Objectives: Synthetic data generated from aggregate statistics may support preliminary clinical research when patient-level data access is restricted. However, statistical similarity does not establish clinical validity, analytical utility, or privacy protection. We evaluated three datasets independently generated by large language models (LLMs) for patients with hip fractures.

Methods

Of 26,637 hospitalization records, 12,130 complete eligible records were identified, and 1000 were reproducibly sampled. Aggregate statistics for 12 variables were provided to three LLMs, each generating one 1000-record dataset. We assessed fidelity to prompted marginal targets, preservation of unsupplied distributional and correlation structures, logical plausibility, and performance in an exploratory regression task predicting discharge Barthel Index scores.

Results

Mean absolute standardized mean differences (SMDs) were 0.164, 0.027, and 0.001 for GPT, Claude, and Gemini, respectively. Mean absolute differences across 36 correlations were 0.090, 0.113, and 0.105, respectively; maximum correlation discrepancies were 0.411, 0.713, and 0.262. In train-on-synthetic/test-on-real evaluations, R2 values were 0.167, −0.080, and 0.146, respectively, compared with 0.262 for five-fold cross-validation on real data.

Conclusions

The three individual LLM-generated datasets reproduced prompted marginal targets with varying fidelity but did not consistently preserve unsupplied multivariable structures or achieve comparable task-specific performance. These exploratory findings do not establish definitive model rankings, demonstrate clinical validity or privacy protection, or support replacing real patient-level data with synthetic data.

Schlagwörter

Stichwörter der Autor:innen

artificial intelligenceclinical informaticsprivacystatistical fidelitytabular modeling

Autor:innen und Institutionen

  • Department of Rehabilitation, Mie University Hospital, 2-174 Edobashi, Tsu 514-8507, Japan.

ORCID-Profile: Ryo Momosaki

Förderung

  • Ministry of Education, Culture, Sports, Science and Technology

Zitieren

APA

Momosaki, R., Ushida, K., Yamamoto, Y., & Shimizu, A. (2026). Exploratory Evaluation of the Statistical Fidelity of Large Language Model-Generated Synthetic Rehabilitation Data for Patients with Hip Fracture. Journal of Clinical Medicine, 15(21), 8700. https://doi.org/10.3390/jcm15218700

Vancouver

Momosaki R, Ushida K, Yamamoto Y, Shimizu A. Exploratory Evaluation of the Statistical Fidelity of Large Language Model-Generated Synthetic Rehabilitation Data for Patients with Hip Fracture. Journal of Clinical Medicine. 2026;15(21):8700. doi:10.3390/jcm15218700

BibTeX
@article{Momosaki2026,
  author = {Momosaki, Ryo and Ushida, Kenta and Yamamoto, Yoshinori and Shimizu, Akio},
  title = {Exploratory Evaluation of the Statistical Fidelity of Large Language Model-Generated Synthetic Rehabilitation Data for Patients with Hip Fracture},
  journal = {Journal of Clinical Medicine},
  year = {2026},
  volume = {15},
  number = {21},
  pages = {8700},
  doi = {10.3390/jcm15218700}
}
Kostenlos starten →