EUVIMEDEUVIMED entdecken
Open Access · CC BY-NC 4.0

Artificial Intelligence‐Driven Extraction of Patient‐Reported Pain Outcomes in Osteoarthritis Using Large Language Models

KI-gestützte Extraktion patientenberichteter Schmerzwerte bei Osteoarthritis mithilfe großer Sprachmodelle

Jainesh Doshi, Stephen Batter, Yiyuan Wu, William Salerno iD, Alice Santilli, Sandhya Kannayiram, Susan Goodman iD, Bella Mehta iD

Arthritis Care & Research · 04.11.2026

DOI: 10.1002/acr.80197 ↗

Auf einen Blick

In 163 OA-Notizen extrahierte ein LLM explizit dokumentierte Schmerzwerte genau. Aus narrativen Einträgen ohne klare Schmerzangabe war die Schätzung deutlich ungenauer.

Fragestellung

Kann ein prompt-engineertes Large-Language-Model Schmerzwerte auf einer 0-10-Skala aus OA-Kliniknotizen korrekt extrahieren oder ableiten?

Methode

Retrospektive Analyse von 163 gepaarten internistischen und orthopädischen Notizen aus einem prospektiven OA-Register; Llama 3.2-90B mit Chain-of-Thought- und Few-Shot-Prompting; Referenzstandard: Register-Schmerzwerte.

Ergebnisse

Bei explizit dokumentierten Werten starke bis exzellente Übereinstimmung mit dem Abstractor: internistisch n=132, τ=0,76; orthopädisch n=65, τ=0,95; nach Ausschluss von 15 Default-Nullwerten internistisch τ=1,0. Ohne explizite Werte schwache Korrelation mit Registerwerten.

Einschränkungen

Für Notizen ohne explizite Schmerzwerte war die Inferenz nur schwach mit Registerwerten korreliert.

Schlussfolgerung der Autor:innen

LLMs extrahierten explizit dokumentierte PROMs aus klinischen Notizen genau und erkannten Dokumentationsartefakte zuverlässig. Die Inferenz aus narrativen Dokumentationen war weniger präzise bei unzureichendem Kontext.

Kernaussagen

  • Explizit dokumentierte Schmerzwerte wurden mit hoher Übereinstimmung extrahiert.
  • Default-Nullwerte wurden vom LLM als Dokumentationsartefakte erkannt.
  • Ohne explizite Schmerzangaben war die Inferenz deutlich schwächer.

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Arthritis Care & Research, online erschienen am 04.11.2026. Verfasst von Jainesh Doshi und 7 weiteren Autor:innen. Beteiligte Einrichtung: Hospital for Special Surgery, 535 E 70th St, New York, NY, 10021, USA. Der Volltext ist frei zugänglich (Open Access, CC BY-NC 4.0).

Auf einen BlickAbstractBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Objective

Patient‐reported outcome measures (PROMs) are central to assessing symptom burden and treatment response in Osteoarthritis (OA) but are often embedded in unstructured clinical notes. We evaluated whether prompt‐engineered large language models (LLMs) could accurately extract or infer pain scores on a 0‐10 scale from routine OA clinical documentation.

Methods

We retrospectively analyzed 163 paired internal medicine and orthopedic clinic notes from patients in a prospective OA registry. A trained abstractor extracted explicitly documented pain scores from notes. For notes lacking explicit pain scores, physicians estimated pain severity from narrative documentation. The Llama 3.2‐90B model, using Chain‐of‐Thought and Few‐Shot prompting, inferred pain scores. Registry‐collected pain scores served as a reference standard. Agreement was assessed using Kendall's Tau‐b.

Results

Agreement between LLM‐extracted and abstracted scores was strong for IM notes (n =132, τ = 0.76, p < 0.0001) and excellent for orthopedic notes (n = 65, τ = 0.95, p < 0.0001). The LLM identified 15 EMR‐generated default zero scores in IM notes; after excluding them, agreement was perfect (τ = 1.0, p < 0.0001). For notes without explicit pain scores (31 IM and 98 orthopedic notes), LLM‐based pain inference showed weak correlation with registry scores (IM: τ = 0.17; orthopedic: τ = 0.11), but performed comparably to physician estimation. LLM–physician agreement ranged from 54.2%–88.0% within ±1 point and 66.7%–100% within ±2 points for IM notes, and from 54.8%–70.5% within ±1 point and 84.5%–97.7% within ±2 points for orthopedic notes.

Conclusion

LLMs accurately extract explicitly documented PROMs from clinical notes and reliably identify documentation artifacts. Inference from narrative documentation was less precise when notes lacked sufficient contextual information and detailed pain descriptions. image

Autor:innen und Institutionen

  • Hospital for Special Surgery, 535 E 70th St, New York, NY, 10021, USA.
  • Weill Cornell Medicine, 1300 York Ave, New York, NY, 10021, USA.

ORCID-Profile: William Salerno, Susan Goodman, Bella Mehta

Zitieren

APA

Doshi, J., Batter, S., Wu, Y., Salerno, W., Santilli, A., Kannayiram, S., Goodman, S., & Mehta, B. (2026). Artificial Intelligence‐Driven Extraction of Patient‐Reported Pain Outcomes in Osteoarthritis Using Large Language Models. Arthritis Care & Research. https://doi.org/10.1002/acr.80197

Vancouver

Doshi J, Batter S, Wu Y, Salerno W, Santilli A, Kannayiram S, et al. Artificial Intelligence‐Driven Extraction of Patient‐Reported Pain Outcomes in Osteoarthritis Using Large Language Models. Arthritis Care & Research. 2026. doi:10.1002/acr.80197

BibTeX
@article{Doshi2026,
  author = {Doshi, Jainesh and Batter, Stephen and Wu, Yiyuan and Salerno, William and Santilli, Alice and Kannayiram, Sandhya and Goodman, Susan and Mehta, Bella},
  title = {Artificial Intelligence‐Driven Extraction of Patient‐Reported Pain Outcomes in Osteoarthritis Using Large Language Models},
  journal = {Arthritis Care & Research},
  year = {2026},
  doi = {10.1002/acr.80197}
}
Kostenlos starten →