EUVIMEDEUVIMED entdecken
ValidierungsstudieOpen Access

Exploring the Capacity of Large Language Models to Assess the Chronic Pain Experience: Algorithm Development and Validation

Erkundung der Fähigkeit großer Sprachmodelle zur Beurteilung der chronischen Schmerzerfahrung: Algorithmusentwicklung und -validierung

Jacopo Amidei iD, Rubén Nieto iD, Andreas Kaltenbrunner iD, Jose Gregorio Ferreira De Sá iD, Mayte Serrat iD, Klara Albajes iD

Journal of Medical Internet Research · 31.03.2025 · 27 · e65903

DOI: 10.2196/65903 ↗

Auf einen Blick

In 43 schriftlichen Narrativen von Menschen mit Fibromyalgie zeigte GPT-4 eine hohe Übereinstimmung mit Expert:innen bei der Bewertung von Schmerzstärke und Behinderung.

Fragestellung

Kann ein großes Sprachmodell die in schriftlichen Narrativen geschilderte Schmerzerfahrung von Patient:innen mit Fibromyalgie unterstützend bewerten?

Methode

Experiment mit 43 schriftlichen Narrativen von Menschen mit Fibromyalgie; GPT-4 bewertete Schmerzstärke und Behinderung bei Temperatur 0 oder 1; Vergleich mit Expert:innenbewertungen.

Ergebnisse

GPT-4 erreichte eine gewichtete Übereinstimmung >0,95. Korrelationen mit standardisierten Messungen lagen bei 0,43 bis 0,49; RMSE betrug 1,20 für Schmerzstärke und 1,44 für Behinderung.

Einschränkungen

GPT zeigte eine leichte Tendenz zur Überschätzung von Schmerzstärke und Behinderung sowie eine niedrigere SD als die Expert:innen.

Schlussfolgerung der Autor:innen

Die Ergebnisse unterstreichen das Potenzial von LLMs zur Unterstützung der Beurteilung schriftlicher Narrativen von Menschen mit Fibromyalgie und zur Vereinfachung des Bewertungsprozesses.

Kernaussagen

  • 43 Narrative von Menschen mit Fibromyalgie wurden mit GPT-4 bewertet
  • Hohe Übereinstimmung mit Expert:innen: gewichtete Übereinstimmung >0,95
  • Leichte Überschätzung von Schmerzstärke und Behinderung durch GPT-4

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Validierungsstudie in der Zeitschrift Journal of Medical Internet Research, online erschienen am 31.03.2025. Verfasst von Jacopo Amidei und 5 weiteren Autor:innen. Beteiligte Einrichtung: AI and Data for Society Research Group, Internet Interdisciplinary Institute, Universitat Oberta de Catalunya, Barcelona, Spain. Hauptthemen laut MEDLINE: Chronic Pain, Algorithms, Pain Measurement. Die Arbeit wurde bisher 20-mal zitiert (Crossref) und nennt 42 Literaturangaben. Der Volltext ist frei in PubMed Central verfügbar.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Background

Chronic pain, affecting more than 20% of the global population, has an enormous pernicious impact on individuals as well as economic ramifications at both the health and social levels. Accordingly, tools that enhance pain assessment can considerably impact people suffering from pain and society at large. In this context, assessment methods based on individuals’ personal experiences, such as written narratives (WNs), offer relevant insights into understanding pain from a personal perspective. This approach can uncover subjective, intricate, and multifaceted aspects that standardized questionnaires can overlook. However, WNs can be time-consuming for clinicians. Therefore, a tool that uses WNs while reducing the time required for their evaluation could have a significantly beneficial impact on people's pain assessment.

Objective

This study is the first evaluation of the potential of applying large language models (LLMs) to assist clinicians in assessing patients’ pain expressed through WNs.

Methods

We performed an experiment based on 43 WNs made by people with fibromyalgia and qualitatively evaluated in a prior study. Focusing on pain severity and disability, we prompt GPT-4 (with temperature parameter settings 0 or 1) to assign scores and scores’ explanations, to these WNs. Then, we quantitatively compare GPT-4 scores with experts’ scores of the same narratives, using statistical measures such as Pearson correlations, root mean squared error, the weighted version of the Gwet agreement coefficient, and Krippendorff α. Additionally, 2 experts specialized in chronic pain conducted a qualitative analysis of the scores’ explanation to assess their accuracy and potential applicability of GPT’s analysis for future pain narrative evaluations.

Results

Our analysis reveals that GPT-4’s performance in assessing pain narratives yielded promising results. GPT-4 was comparable in terms of agreement with experts (with a weighted percentage agreement higher than 0.95), correlations with standardized measurements (for example in the range of 0.43 and 0.49 between the Revised Fibromyalgia Impact Questionnaire and GTP-4 with temperatures 1), and low error rates (root mean squared error of 1.20 for severity and 1.44 for disability). Moreover, experts generally deemed the ratings provided by GPT-4, as well as the scores’ explanation, to be adequate. However, we observe that GPT has a slight tendency to overestimate pain severity and disability with a lower SD than expert estimates.

Conclusions

These findings underline the potential of LLMs in facilitating the assessment of WNs of people with fibromyalgia, offering a novel approach to understanding and evaluating patient pain experiences. Integrating automated assessments through LLMs presents opportunities for streamlining and enhancing the assessment process, paving the way for improved patient care and tailored interventions in the chronic pain management field.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Chronic PainAlgorithmsPain MeasurementHumansFemaleMaleMiddle AgedAdultSurveys and QuestionnairesFibromyalgiaLarge Language Models

Stichwörter der Autor:innen

automated assessmentchronic painfibromyalgialarge language modelspain disabilitypain narrativespain severitywritten narratives

Autor:innen und Institutionen

  • AI and Data for Society Research Group, Internet Interdisciplinary Institute, Universitat Oberta de Catalunya, Barcelona, Spain.
  • eHealth Lab Research Group, Faculty of Psychology and Educational Sciences, Universitat Oberta de Catalunya, Barcelona, Spain.
  • Unitat d'Expertesa en Síndromes de Sensibilització Central, Servei de Reumatologia, Vall d'Hebron Hospital Universitari, Barcelona, Spain.
  • Escola Universitària de Fisioteràpia, Escoles Universitàries Gimbernat, Barcelona, Spain.
  • Psyclinic Mental Health, Barcelona, Spain.

ORCID-Profile: Jacopo Amidei, Rubén Nieto, Andreas Kaltenbrunner, Jose Gregorio Ferreira De Sá, Mayte Serrat, Klara Albajes

Zitieren

APA

Amidei, J., Nieto, R., Kaltenbrunner, A., Ferreira De Sá, J. G., Serrat, M., & Albajes, K. (2025). Exploring the Capacity of Large Language Models to Assess the Chronic Pain Experience: Algorithm Development and Validation. Journal of Medical Internet Research, 27, e65903. https://doi.org/10.2196/65903

Vancouver

Amidei J, Nieto R, Kaltenbrunner A, Ferreira De Sá JG, Serrat M, Albajes K. Exploring the Capacity of Large Language Models to Assess the Chronic Pain Experience: Algorithm Development and Validation. Journal of Medical Internet Research. 2025;27:e65903. doi:10.2196/65903

BibTeX
@article{Amidei2025,
  author = {Amidei, Jacopo and Nieto, Rubén and Kaltenbrunner, Andreas and Ferreira De Sá, Jose Gregorio and Serrat, Mayte and Albajes, Klara},
  title = {Exploring the Capacity of Large Language Models to Assess the Chronic Pain Experience: Algorithm Development and Validation},
  journal = {Journal of Medical Internet Research},
  year = {2025},
  volume = {27},
  pages = {e65903},
  doi = {10.2196/65903}
}
Kostenlos starten →