EUVIMEDEUVIMED entdecken
Crossref

Potential and biases of large language model simulation for public surveys on Alzheimer's disease therapies

Potenzial und Verzerrungen von Large-Language-Model-Simulationen für Bevölkerungsumfragen zu Alzheimer-Therapien

Kenichiro Sato iD, Yoshiki Niimi, Ryoko Ihara, Kazushi Suzuki, Atsushi Iwata iD, Takeshi Iwatsubo

Journal of Alzheimer’s Disease · 2026-08 · 112 (4) · 1904-1919

DOI: 10.1177/13872877261464182 ↗

Auf einen Blick

LLMs näherten sich teils den aggregierten Einstellungen zu neuen AD-Therapien an, sagten individuelle Meinungen aber nicht verlässlich voraus. In kleinen Subgruppen traten Verzerrungen auf.

Fragestellung

Wie gut simulieren LLMs öffentliche Einstellungen zu Alzheimer-Therapien im Vergleich zu menschlichen Antworten, und welche Bias-Effekte zeigen sich?

Methode

Vergleich von LLM- und Humanantworten auf AD-Therapie-Dilemmata mit 1671 Teilnehmenden; 4 LLMs; Bewertung per JSD, EMD, Cohen's κ und Spearman's ρ.

Ergebnisse

Einige LLMs erreichten auf Gruppenebene eine faire Übereinstimmung (JSD ≤ 0,05; EMD < 1,0). Auf Individualebene war die Übereinstimmung über alle LLM-Einstellungen hinweg vernachlässigbar (κ, ρ ≈ 0).

Einschränkungen

Die Leistung verschlechterte sich bei Minderheitengruppen, etwa bei niedriger Bildung oder Pflegebedarf; zusätzliche Attribute verbesserten die Ergebnisse nur begrenzt.

Schlussfolgerung der Autor:innen

Aktuelle LLMs können aggregierte Einstellungen zu neuen AD-Therapien annähern, individuelle Meinungen aber nicht vorhersagen. Sie können Bias in kleinen Subgruppen verstärken und sollten echte Humandaten nicht ersetzen.

Kernaussagen

  • Gruppenebene: teils faire Übereinstimmung
  • Individualebene: κ, ρ ≈ 0
  • Bias bei kleinen Subgruppen möglich

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Journal of Alzheimer’s Disease, online erschienen am 27.06.2026. Verfasst von Kenichiro Sato und 5 weiteren Autor:innen. Beteiligte Einrichtung: Dementia Inclusion and Therapeutics, The University of Tokyo Hospital, Bunkyo-ku, Japan. Hauptthemen laut MEDLINE: Alzheimer Disease, Large Language Models, Public Opinion. Die Arbeit wurde bisher 1-mal zitiert (Crossref) und nennt 43 Literaturangaben. Gefördert von: Japan Agency for Medical Research and Development, Japan Society for the Promotion of Science.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Background

While large language models (LLMs) have a potential to simulate public-opinion, their reliability for sensitive medical topics like novel Alzheimer's disease (AD) treatments remains unclear.

Objective

This study compared LLM-generated and human answers on AD-therapy dilemmas; assessed model and prompting parameter influences; and identified demographic bias.

Methods

Using survey data on late 2023 from 1671 Japanese Trial Ready Cohort Webstudy participants who are presumably cognitively unimpaired, LLM persona profiles guided four LLMs (Gemini-1.5-flash, Gemini-2.0-flash, GPT-4.1-mini, GPT-4o-mini). The models answered a binary question about acceptance towards patient-prioritization or a 5-point Likert question on concern about amyloid-related imaging abnormalities (ARIA) under varied prompt settings. Aggregate similarity was measured with Jensen-Shannon Divergence (JSD) for binary and Earth Mover's Distance (EMD) for Likert scale; while individual agreement used Cohen's κ and Spearman's ρ.

Results

While some LLM models achieved fair group-level agreement in both tasks (JSD ≤ 0.05, EMD < 1.0), individual agreement was negligible across any LLM settings (κ, ρ ≈ 0). Adding detailed attributes like living condition, clinical status, or related personal opinions offered limited improvement. Performance was largely stable for most demographic levels, but deteriorated for minority subgroups, such as those with low education or requiring long-term care.

Conclusions

Our study demonstrates that current LLMs can approximate aggregate attitudes toward novel AD therapies but cannot predict individual opinions. They can amplify biases in some small subgroups. LLMs may be useful for pre-testing public survey in the field of AD/dementia treatment but should not replace authentic human data.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Alzheimer DiseaseLarge Language ModelsPublic OpinionHumansFemaleMaleSurveys and QuestionnairesAgedBias

Stichwörter der Autor:innen

Alzheimer's diseaseLLM persona simulationbiaslarge language modelspublic survey

Autor:innen und Institutionen

  • Dementia Inclusion and Therapeutics, The University of Tokyo Hospital, Bunkyo-ku, Japan.
  • Unit for Early and Exploratory Clinical Development, The University of Tokyo Hospital, Bunkyo-ku, Japan.
  • Department of Neurology, Tokyo Metropolitan Institute for Geriatrics and Gerontology, Itabashi-ku, Japan.
  • Division of Neurology, Internal Medicine, National Defense Medical College, Tokorozawa-shi, Saitama, Japan.

ORCID-Profile: Kenichiro Sato, Atsushi Iwata

Förderung

  • Japan Agency for Medical Research and Development
  • Japan Society for the Promotion of Science

Zitieren

APA

Sato, K., Niimi, Y., Ihara, R., Suzuki, K., Iwata, A., & Iwatsubo, T. (2026). Potential and biases of large language model simulation for public surveys on Alzheimer's disease therapies. Journal of Alzheimer’s Disease, 112(4), 1904-1919. https://doi.org/10.1177/13872877261464182

Vancouver

Sato K, Niimi Y, Ihara R, Suzuki K, Iwata A, Iwatsubo T. Potential and biases of large language model simulation for public surveys on Alzheimer's disease therapies. Journal of Alzheimer’s Disease. 2026;112(4):1904-1919. doi:10.1177/13872877261464182

BibTeX
@article{Sato2026,
  author = {Sato, Kenichiro and Niimi, Yoshiki and Ihara, Ryoko and Suzuki, Kazushi and Iwata, Atsushi and Iwatsubo, Takeshi},
  title = {Potential and biases of large language model simulation for public surveys on Alzheimer's disease therapies},
  journal = {Journal of Alzheimer’s Disease},
  year = {2026},
  volume = {112},
  number = {4},
  pages = {1904--1919},
  doi = {10.1177/13872877261464182}
}
Kostenlos starten →