Artificial Intelligence‐Driven Extraction of Patient‐Reported Pain Outcomes in Osteoarthritis Using Large Language Models
KI-gestützte Extraktion patientenberichteter Schmerzwerte bei Osteoarthritis mithilfe großer Sprachmodelle
Arthritis Care & Research · 04.11.2026
DOI: 10.1002/acr.80197 ↗Auf einen Blick
In 163 OA-Notizen extrahierte ein LLM explizit dokumentierte Schmerzwerte genau. Aus narrativen Einträgen ohne klare Schmerzangabe war die Schätzung deutlich ungenauer.
Fragestellung
Kann ein prompt-engineertes Large-Language-Model Schmerzwerte auf einer 0-10-Skala aus OA-Kliniknotizen korrekt extrahieren oder ableiten?
Methode
Retrospektive Analyse von 163 gepaarten internistischen und orthopädischen Notizen aus einem prospektiven OA-Register; Llama 3.2-90B mit Chain-of-Thought- und Few-Shot-Prompting; Referenzstandard: Register-Schmerzwerte.
Ergebnisse
Bei explizit dokumentierten Werten starke bis exzellente Übereinstimmung mit dem Abstractor: internistisch n=132, τ=0,76; orthopädisch n=65, τ=0,95; nach Ausschluss von 15 Default-Nullwerten internistisch τ=1,0. Ohne explizite Werte schwache Korrelation mit Registerwerten.
Einschränkungen
Für Notizen ohne explizite Schmerzwerte war die Inferenz nur schwach mit Registerwerten korreliert.
Schlussfolgerung der Autor:innen
LLMs extrahierten explizit dokumentierte PROMs aus klinischen Notizen genau und erkannten Dokumentationsartefakte zuverlässig. Die Inferenz aus narrativen Dokumentationen war weniger präzise bei unzureichendem Kontext.
Kernaussagen
- Explizit dokumentierte Schmerzwerte wurden mit hoher Übereinstimmung extrahiert.
- Default-Nullwerte wurden vom LLM als Dokumentationsartefakte erkannt.
- Ohne explizite Schmerzangaben war die Inferenz deutlich schwächer.
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Arthritis Care & Research, online erschienen am 04.11.2026. Verfasst von Jainesh Doshi und 7 weiteren Autor:innen. Beteiligte Einrichtung: Hospital for Special Surgery, 535 E 70th St, New York, NY, 10021, USA. Der Volltext ist frei zugänglich (Open Access, CC BY-NC 4.0).
Abstract (Originalsprache)
Objective
Patient‐reported outcome measures (PROMs) are central to assessing symptom burden and treatment response in Osteoarthritis (OA) but are often embedded in unstructured clinical notes. We evaluated whether prompt‐engineered large language models (LLMs) could accurately extract or infer pain scores on a 0‐10 scale from routine OA clinical documentation.
Methods
We retrospectively analyzed 163 paired internal medicine and orthopedic clinic notes from patients in a prospective OA registry. A trained abstractor extracted explicitly documented pain scores from notes. For notes lacking explicit pain scores, physicians estimated pain severity from narrative documentation. The Llama 3.2‐90B model, using Chain‐of‐Thought and Few‐Shot prompting, inferred pain scores. Registry‐collected pain scores served as a reference standard. Agreement was assessed using Kendall's Tau‐b.
Results
Agreement between LLM‐extracted and abstracted scores was strong for IM notes (n =132, τ = 0.76, p < 0.0001) and excellent for orthopedic notes (n = 65, τ = 0.95, p < 0.0001). The LLM identified 15 EMR‐generated default zero scores in IM notes; after excluding them, agreement was perfect (τ = 1.0, p < 0.0001). For notes without explicit pain scores (31 IM and 98 orthopedic notes), LLM‐based pain inference showed weak correlation with registry scores (IM: τ = 0.17; orthopedic: τ = 0.11), but performed comparably to physician estimation. LLM–physician agreement ranged from 54.2%–88.0% within ±1 point and 66.7%–100% within ±2 points for IM notes, and from 54.8%–70.5% within ±1 point and 84.5%–97.7% within ±2 points for orthopedic notes.
Conclusion
LLMs accurately extract explicitly documented PROMs from clinical notes and reliably identify documentation artifacts. Inference from narrative documentation was less precise when notes lacked sufficient contextual information and detailed pain descriptions. image
Autor:innen und Institutionen
- Hospital for Special Surgery, 535 E 70th St, New York, NY, 10021, USA.
- Weill Cornell Medicine, 1300 York Ave, New York, NY, 10021, USA.
ORCID-Profile: William Salerno, Susan Goodman, Bella Mehta
Zitieren
APA
Doshi, J., Batter, S., Wu, Y., Salerno, W., Santilli, A., Kannayiram, S., Goodman, S., & Mehta, B. (2026). Artificial Intelligence‐Driven Extraction of Patient‐Reported Pain Outcomes in Osteoarthritis Using Large Language Models. Arthritis Care & Research. https://doi.org/10.1002/acr.80197
Vancouver
Doshi J, Batter S, Wu Y, Salerno W, Santilli A, Kannayiram S, et al. Artificial Intelligence‐Driven Extraction of Patient‐Reported Pain Outcomes in Osteoarthritis Using Large Language Models. Arthritis Care & Research. 2026. doi:10.1002/acr.80197
BibTeX
@article{Doshi2026,
author = {Doshi, Jainesh and Batter, Stephen and Wu, Yiyuan and Salerno, William and Santilli, Alice and Kannayiram, Sandhya and Goodman, Susan and Mehta, Bella},
title = {Artificial Intelligence‐Driven Extraction of Patient‐Reported Pain Outcomes in Osteoarthritis Using Large Language Models},
journal = {Arthritis Care & Research},
year = {2026},
doi = {10.1002/acr.80197}
}
EUVIMED