Potential and biases of large language model simulation for public surveys on Alzheimer's disease therapies
Potenzial und Verzerrungen von Large-Language-Model-Simulationen für Bevölkerungsumfragen zu Alzheimer-Therapien
Journal of Alzheimer’s Disease · 2026-08 · 112 (4) · 1904-1919
DOI: 10.1177/13872877261464182 ↗Auf einen Blick
LLMs näherten sich teils den aggregierten Einstellungen zu neuen AD-Therapien an, sagten individuelle Meinungen aber nicht verlässlich voraus. In kleinen Subgruppen traten Verzerrungen auf.
Fragestellung
Wie gut simulieren LLMs öffentliche Einstellungen zu Alzheimer-Therapien im Vergleich zu menschlichen Antworten, und welche Bias-Effekte zeigen sich?
Methode
Vergleich von LLM- und Humanantworten auf AD-Therapie-Dilemmata mit 1671 Teilnehmenden; 4 LLMs; Bewertung per JSD, EMD, Cohen's κ und Spearman's ρ.
Ergebnisse
Einige LLMs erreichten auf Gruppenebene eine faire Übereinstimmung (JSD ≤ 0,05; EMD < 1,0). Auf Individualebene war die Übereinstimmung über alle LLM-Einstellungen hinweg vernachlässigbar (κ, ρ ≈ 0).
Einschränkungen
Die Leistung verschlechterte sich bei Minderheitengruppen, etwa bei niedriger Bildung oder Pflegebedarf; zusätzliche Attribute verbesserten die Ergebnisse nur begrenzt.
Schlussfolgerung der Autor:innen
Aktuelle LLMs können aggregierte Einstellungen zu neuen AD-Therapien annähern, individuelle Meinungen aber nicht vorhersagen. Sie können Bias in kleinen Subgruppen verstärken und sollten echte Humandaten nicht ersetzen.
Kernaussagen
- Gruppenebene: teils faire Übereinstimmung
- Individualebene: κ, ρ ≈ 0
- Bias bei kleinen Subgruppen möglich
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Journal of Alzheimer’s Disease, online erschienen am 27.06.2026. Verfasst von Kenichiro Sato und 5 weiteren Autor:innen. Beteiligte Einrichtung: Dementia Inclusion and Therapeutics, The University of Tokyo Hospital, Bunkyo-ku, Japan. Hauptthemen laut MEDLINE: Alzheimer Disease, Large Language Models, Public Opinion. Die Arbeit wurde bisher 1-mal zitiert (Crossref) und nennt 43 Literaturangaben. Gefördert von: Japan Agency for Medical Research and Development, Japan Society for the Promotion of Science.
Themen: Künstliche Intelligenz in der Pflege, Simulation in der Pflegeausbildung, Demenz
Abstract (Originalsprache)
Background
While large language models (LLMs) have a potential to simulate public-opinion, their reliability for sensitive medical topics like novel Alzheimer's disease (AD) treatments remains unclear.
Objective
This study compared LLM-generated and human answers on AD-therapy dilemmas; assessed model and prompting parameter influences; and identified demographic bias.
Methods
Using survey data on late 2023 from 1671 Japanese Trial Ready Cohort Webstudy participants who are presumably cognitively unimpaired, LLM persona profiles guided four LLMs (Gemini-1.5-flash, Gemini-2.0-flash, GPT-4.1-mini, GPT-4o-mini). The models answered a binary question about acceptance towards patient-prioritization or a 5-point Likert question on concern about amyloid-related imaging abnormalities (ARIA) under varied prompt settings. Aggregate similarity was measured with Jensen-Shannon Divergence (JSD) for binary and Earth Mover's Distance (EMD) for Likert scale; while individual agreement used Cohen's κ and Spearman's ρ.
Results
While some LLM models achieved fair group-level agreement in both tasks (JSD ≤ 0.05, EMD < 1.0), individual agreement was negligible across any LLM settings (κ, ρ ≈ 0). Adding detailed attributes like living condition, clinical status, or related personal opinions offered limited improvement. Performance was largely stable for most demographic levels, but deteriorated for minority subgroups, such as those with low education or requiring long-term care.
Conclusions
Our study demonstrates that current LLMs can approximate aggregate attitudes toward novel AD therapies but cannot predict individual opinions. They can amplify biases in some small subgroups. LLMs may be useful for pre-testing public survey in the field of AD/dementia treatment but should not replace authentic human data.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Dementia Inclusion and Therapeutics, The University of Tokyo Hospital, Bunkyo-ku, Japan.
- Unit for Early and Exploratory Clinical Development, The University of Tokyo Hospital, Bunkyo-ku, Japan.
- Department of Neurology, Tokyo Metropolitan Institute for Geriatrics and Gerontology, Itabashi-ku, Japan.
- Division of Neurology, Internal Medicine, National Defense Medical College, Tokorozawa-shi, Saitama, Japan.
ORCID-Profile: Kenichiro Sato, Atsushi Iwata
Förderung
- Japan Agency for Medical Research and Development
- Japan Society for the Promotion of Science
Zitieren
APA
Sato, K., Niimi, Y., Ihara, R., Suzuki, K., Iwata, A., & Iwatsubo, T. (2026). Potential and biases of large language model simulation for public surveys on Alzheimer's disease therapies. Journal of Alzheimer’s Disease, 112(4), 1904-1919. https://doi.org/10.1177/13872877261464182
Vancouver
Sato K, Niimi Y, Ihara R, Suzuki K, Iwata A, Iwatsubo T. Potential and biases of large language model simulation for public surveys on Alzheimer's disease therapies. Journal of Alzheimer’s Disease. 2026;112(4):1904-1919. doi:10.1177/13872877261464182
BibTeX
@article{Sato2026,
author = {Sato, Kenichiro and Niimi, Yoshiki and Ihara, Ryoko and Suzuki, Kazushi and Iwata, Atsushi and Iwatsubo, Takeshi},
title = {Potential and biases of large language model simulation for public surveys on Alzheimer's disease therapies},
journal = {Journal of Alzheimer’s Disease},
year = {2026},
volume = {112},
number = {4},
pages = {1904--1919},
doi = {10.1177/13872877261464182}
}
EUVIMED