EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

A use case of ChatGPT: summary of an expert panel discussion on electronic health records and implementation science

A use case of ChatGPT: Zusammenfassung einer Expert:innenpanel-Diskussion zu elektronischen Gesundheitsakten und Implementierungswissenschaft

Seppo T Rinne, Julian Brunner, Timothy P Hogan, Jacqueline M Ferguson, Drew A Helmer, Sylvia J Hysong, Grace McKee, Amanda Midboe, Megan E Shepherd-Banigan, A Rani Elwy

Frontiers in Digital Health · 24.10.2024 · 6

DOI: 10.3389/fdgth.2024.1426057 ↗

Auf einen Blick

15 Implementierungswissenschaftler:innen diskutierten die Rolle von EHRs in der Implementierungswissenschaft. ChatGPT erstellte daraus eine Zusammenfassung, die als effizient galt, aber Nuancen und Kontext vermissen ließ.

Fragestellung

Wie kann ChatGPT genutzt werden, um qualitative Daten aus einer Expert:innenpanel-Diskussion zu EHRs in der Implementierungswissenschaft zusammenzufassen und zu berichten?

Methode

15 Teilnehmende in einer einstündigen Expert:innenpanel-Diskussion; Notizen wurden mit ChatGPT zu einem Manuskript synthetisiert und anschließend von Teilnehmenden überarbeitet; zusätzlich Befragung zur Erfahrung.

Ergebnisse

Die Panelist:innen nannten EHR-gestützte Implementierungsstrategien und Outcome-Messungen. Die ChatGPT-Zusammenfassung wurde als effizient für einen Überblick gesehen, wirkte aber wenig nuanciert; umfangreiche Überarbeitungen waren nötig.

Einschränkungen

Die LLM-generierte Fassung fehlte Nuance und Kontext; umfangreiche redaktionelle Überarbeitung war erforderlich.

Schlussfolgerung der Autor:innen

Die Ergebnisse unterstreichen die zentrale Rolle von EHRs für die Implementierungswissenschaft. Die Erfahrung mit ChatGPT als Methodeninnovation war gemischt und erfordert enge menschliche Aufsicht.

Kernaussagen

  • EHRs können Implementierungsstrategien und Outcomes unterstützen.
  • ChatGPT lieferte einen schnellen Überblick, aber mit wenig Nuance.
  • Die Nutzung von LLMs erforderte intensive menschliche Überarbeitung.

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Frontiers in Digital Health, online erschienen am 24.10.2024. Verfasst von Seppo T Rinne und 9 weiteren Autor:innen. Beteiligte Einrichtung: Center for Healthcare Organization & Implementation Research, VA Bedford Healthcare System, Bedford, MA, United States. Die Arbeit wurde bisher 3-mal zitiert (Crossref) und nennt 38 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: HSRD VA.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Objective

Artificial intelligence (AI) is revolutionizing healthcare, but less is known about how it may facilitate methodological innovations in research settings. In this manuscript, we describe a novel use of AI in summarizing and reporting qualitative data generated from an expert panel discussion about the role of electronic health records (EHRs) in implementation science. Materials and methods 15 implementation scientists participated in an hour-long expert panel discussion addressing how EHRs can support implementation strategies, measure implementation outcomes, and influence implementation science. Notes from the discussion were synthesized by ChatGPT (a large language model—LLM) to generate a manuscript summarizing the discussion, which was later revised by participants. We also surveyed participants on their experience with the process.

Results

Panelists identified implementation strategies and outcome measures that can be readily supported by EHRs and noted that implementation science will need to evolve to assess future EHR advancements. The ChatGPT-generated summary of the panel discussion was generally regarded as an efficient means to offer a high-level overview of the discussion, although participants felt it lacked nuance and context. Extensive editing was required to contextualize the LLM-generated text and situate it in relevant literature. Discussion and conclusions Our qualitative findings highlight the central role EHRs can play in supporting implementation science, which may require additional informatics and implementation expertise and a different way to think about the combined fields. Our experience using ChatGPT as a research methods innovation was mixed and underscores the need for close supervision and attentive human involvement.

Schlagwörter

Stichwörter der Autor:innen

artificial intelligenceelectronic health recordsexpert panel discussionimplementation sciencelarge language models

Autor:innen und Institutionen

  • Center for Healthcare Organization & Implementation Research, VA Bedford Healthcare System, Bedford, MA, United States.
  • Pulmonary and Critical Care Medicine, Dartmouth-Hitchcock Medical Center, Lebanon, NH, United States.
  • Center for the Study of Healthcare Innovation, Implementation, and Policy, VA Greater Los Angeles Healthcare System, Los Angeles, CA, United States.
  • Center for Innovation to Implementation, Veterans Affairs Palo Alto Health Care System, Menlo Park, CA, United States.
  • Center for Innovations in Quality, Effectiveness and Safety, Michael E. DeBakey VA Medical Center, Houston, TX, United States.
  • Department of Medicine, Baylor College of Medicine, Houston, TX, United States.

Förderung

  • HSRD VA

Zitieren

APA

Rinne, S. T., Brunner, J., Hogan, T. P., Ferguson, J. M., Helmer, D. A., Hysong, S. J., McKee, G., Midboe, A., Shepherd-Banigan, M. E., & Elwy, A. R. (2024). A use case of ChatGPT: summary of an expert panel discussion on electronic health records and implementation science. Frontiers in Digital Health, 6. https://doi.org/10.3389/fdgth.2024.1426057

Vancouver

Rinne ST, Brunner J, Hogan TP, Ferguson JM, Helmer DA, Hysong SJ, et al. A use case of ChatGPT: summary of an expert panel discussion on electronic health records and implementation science. Frontiers in Digital Health. 2024;6. doi:10.3389/fdgth.2024.1426057

BibTeX
@article{Rinne2024,
  author = {Rinne, Seppo T and Brunner, Julian and Hogan, Timothy P and Ferguson, Jacqueline M and Helmer, Drew A and Hysong, Sylvia J and McKee, Grace and Midboe, Amanda and Shepherd-Banigan, Megan E and Elwy, A Rani},
  title = {A use case of ChatGPT: summary of an expert panel discussion on electronic health records and implementation science},
  journal = {Frontiers in Digital Health},
  year = {2024},
  volume = {6},
  doi = {10.3389/fdgth.2024.1426057}
}
Kostenlos starten →