A use case of ChatGPT: summary of an expert panel discussion on electronic health records and implementation science
A use case of ChatGPT: Zusammenfassung einer Expert:innenpanel-Diskussion zu elektronischen Gesundheitsakten und Implementierungswissenschaft
Frontiers in Digital Health · 24.10.2024 · 6
DOI: 10.3389/fdgth.2024.1426057 ↗Auf einen Blick
15 Implementierungswissenschaftler:innen diskutierten die Rolle von EHRs in der Implementierungswissenschaft. ChatGPT erstellte daraus eine Zusammenfassung, die als effizient galt, aber Nuancen und Kontext vermissen ließ.
Fragestellung
Wie kann ChatGPT genutzt werden, um qualitative Daten aus einer Expert:innenpanel-Diskussion zu EHRs in der Implementierungswissenschaft zusammenzufassen und zu berichten?
Methode
15 Teilnehmende in einer einstündigen Expert:innenpanel-Diskussion; Notizen wurden mit ChatGPT zu einem Manuskript synthetisiert und anschließend von Teilnehmenden überarbeitet; zusätzlich Befragung zur Erfahrung.
Ergebnisse
Die Panelist:innen nannten EHR-gestützte Implementierungsstrategien und Outcome-Messungen. Die ChatGPT-Zusammenfassung wurde als effizient für einen Überblick gesehen, wirkte aber wenig nuanciert; umfangreiche Überarbeitungen waren nötig.
Einschränkungen
Die LLM-generierte Fassung fehlte Nuance und Kontext; umfangreiche redaktionelle Überarbeitung war erforderlich.
Schlussfolgerung der Autor:innen
Die Ergebnisse unterstreichen die zentrale Rolle von EHRs für die Implementierungswissenschaft. Die Erfahrung mit ChatGPT als Methodeninnovation war gemischt und erfordert enge menschliche Aufsicht.
Kernaussagen
- EHRs können Implementierungsstrategien und Outcomes unterstützen.
- ChatGPT lieferte einen schnellen Überblick, aber mit wenig Nuance.
- Die Nutzung von LLMs erforderte intensive menschliche Überarbeitung.
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Frontiers in Digital Health, online erschienen am 24.10.2024. Verfasst von Seppo T Rinne und 9 weiteren Autor:innen. Beteiligte Einrichtung: Center for Healthcare Organization & Implementation Research, VA Bedford Healthcare System, Bedford, MA, United States. Die Arbeit wurde bisher 3-mal zitiert (Crossref) und nennt 38 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: HSRD VA.
Themen: Evidenzbasierte Pflege, Künstliche Intelligenz in der Pflege
Abstract (Originalsprache)
Objective
Artificial intelligence (AI) is revolutionizing healthcare, but less is known about how it may facilitate methodological innovations in research settings. In this manuscript, we describe a novel use of AI in summarizing and reporting qualitative data generated from an expert panel discussion about the role of electronic health records (EHRs) in implementation science. Materials and methods 15 implementation scientists participated in an hour-long expert panel discussion addressing how EHRs can support implementation strategies, measure implementation outcomes, and influence implementation science. Notes from the discussion were synthesized by ChatGPT (a large language model—LLM) to generate a manuscript summarizing the discussion, which was later revised by participants. We also surveyed participants on their experience with the process.
Results
Panelists identified implementation strategies and outcome measures that can be readily supported by EHRs and noted that implementation science will need to evolve to assess future EHR advancements. The ChatGPT-generated summary of the panel discussion was generally regarded as an efficient means to offer a high-level overview of the discussion, although participants felt it lacked nuance and context. Extensive editing was required to contextualize the LLM-generated text and situate it in relevant literature. Discussion and conclusions Our qualitative findings highlight the central role EHRs can play in supporting implementation science, which may require additional informatics and implementation expertise and a different way to think about the combined fields. Our experience using ChatGPT as a research methods innovation was mixed and underscores the need for close supervision and attentive human involvement.
Schlagwörter
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Center for Healthcare Organization & Implementation Research, VA Bedford Healthcare System, Bedford, MA, United States.
- Pulmonary and Critical Care Medicine, Dartmouth-Hitchcock Medical Center, Lebanon, NH, United States.
- Center for the Study of Healthcare Innovation, Implementation, and Policy, VA Greater Los Angeles Healthcare System, Los Angeles, CA, United States.
- Center for Innovation to Implementation, Veterans Affairs Palo Alto Health Care System, Menlo Park, CA, United States.
- Center for Innovations in Quality, Effectiveness and Safety, Michael E. DeBakey VA Medical Center, Houston, TX, United States.
- Department of Medicine, Baylor College of Medicine, Houston, TX, United States.
Förderung
- HSRD VA
Zitieren
APA
Rinne, S. T., Brunner, J., Hogan, T. P., Ferguson, J. M., Helmer, D. A., Hysong, S. J., McKee, G., Midboe, A., Shepherd-Banigan, M. E., & Elwy, A. R. (2024). A use case of ChatGPT: summary of an expert panel discussion on electronic health records and implementation science. Frontiers in Digital Health, 6. https://doi.org/10.3389/fdgth.2024.1426057
Vancouver
Rinne ST, Brunner J, Hogan TP, Ferguson JM, Helmer DA, Hysong SJ, et al. A use case of ChatGPT: summary of an expert panel discussion on electronic health records and implementation science. Frontiers in Digital Health. 2024;6. doi:10.3389/fdgth.2024.1426057
BibTeX
@article{Rinne2024,
author = {Rinne, Seppo T and Brunner, Julian and Hogan, Timothy P and Ferguson, Jacqueline M and Helmer, Drew A and Hysong, Sylvia J and McKee, Grace and Midboe, Amanda and Shepherd-Banigan, Megan E and Elwy, A Rani},
title = {A use case of ChatGPT: summary of an expert panel discussion on electronic health records and implementation science},
journal = {Frontiers in Digital Health},
year = {2024},
volume = {6},
doi = {10.3389/fdgth.2024.1426057}
}
EUVIMED