Evaluating a large language model-powered system for semi-structured interview in health research
Evaluierung eines von einem großen Sprachmodell (LLM) angetriebenen Systems für halbstrukturierte Interviews in der Gesundheitsforschung
JAMIA Open · 06.11.2026 · 9 (6)
DOI: 10.1093/jamiaopen/ooag218 ↗Auf einen Blick
Bei 28 pflegenden Angehörigen von Kindern mit Asthma in subventioniertem Wohnraum wurde ein webbasiertes LLM-Interviewsystem als machbar und akzeptabel bewertet. Es wurde positiv zu Klarheit, Komfort und Zugänglichkeit beurteilt.
Fragestellung
Ist ein LLM-gestütztes Gesprächsinterviewsystem als Alternative zu halbstrukturierten qualitativen Interviews mit marginalisierten Bevölkerungsgruppen machbar und akzeptabel?
Methode
Webbasiertes, LLM-gestütztes Interviewsystem auf Basis eines Community-Based-Participatory-Research-Rahmens; getestet mit 28 Caregivers; Auswertung von Nachgesprächen und Beobachtungsnotizen.
Ergebnisse
Teilnehmende fanden das System leicht nutzbar und schätzten den einfühlsamen, nicht wertenden Ton. Genannte Probleme waren intermittierende technische Fehler, begrenzte kontextuelle Anpassung und Unterschiede im digitalen Komfort.
Einschränkungen
Intermittierende technische Fehler; begrenzte kontextuelle Anpassungsfähigkeit; Unterschiede im Umgang mit digitaler Technologie.
Schlussfolgerung der Autor:innen
Die Befunde sprechen für eine weitere Entwicklung und Evaluation von LLM-gestützten Interviewsystemen für community-engaged qualitative Forschung.
Kernaussagen
- Als machbar und akzeptabel bewertet
- Positiv zu Klarheit, Komfort und Zugänglichkeit
- Technische und kontextuelle Grenzen wurden berichtet
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift JAMIA Open, online erschienen am 12.11.2026. Verfasst von Janet Currie und 9 weiteren Autor:innen. Beteiligte Einrichtung: Department of Economics, Yale University, New Haven, CT 06511, United States. Die Arbeit nennt 43 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: Princeton Alliance for Collaborative Research and Innovation.
Abstract (Originalsprache)
Objectives
Conducting qualitative health research with marginalized populations presents persistent challenges related to trust, disclosure, and resource constraints. Traditional in-person interviews can be costly and difficult to scale, while participants may hesitate to share sensitive experiences openly. This study assessed the feasibility and acceptability of a large language model (LLM)-powered conversational interview system as an alternative to semi-structured qualitative interviews with marginalized populations in a community-engaged health research context. Materials and Methods We developed a web-based, LLM-powered interview system informed by a community-based participatory research framework. The system was tested with 28 caregivers of children with asthma living in subsidized housing. Postinterview evaluation sessions and researcher observation notes were analyzed to assess the system’s feasibility and acceptability and identify usability, accessibility, technical, and implementation considerations.
Results
Participants reported that the system was easy to use and appreciated its empathetic and nonjudgmental tone. They also rated the system positively for clarity, comfort, and accessibility, indicating that conversational artificial intelligence (AI) systems can be adapted to support qualitative data collection in underserved communities. Identified challenges included intermittent technical errors, limited contextual adaptability, and variations in participants’ comfort with digital technology.
Discussion
Large language model-powered conversational interview systems, when guided by community engagement, ethical design principles, and human support, offer a feasible and acceptable approach to qualitative health research with underserved populations. Hybrid human–AI models may offer a scalable yet inclusive pathway for expanding participation and advancing health equity in qualitative research.
Conclusion
These findings support further development and evaluation of LLM-powered interview systems for community-engaged qualitative research. Ongoing technical improvement, ethical safeguards, and participatory design will be critical to ensuring these systems are used responsibly and effectively to advance health equity.
Schlagwörter
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Department of Economics, Yale University, New Haven, CT 06511, United States.
- Princeton School of Public and International Affairs, Princeton University, Princeton, NJ 08544, United States.
- School of Social Work, Howard University, Washington, DC 20059, United States.
- The Cathy Hughes School of Communications, Howard University, Washington, DC 20009, United States.
- School of Technology for Public Health, Arizona State University, Phoenix, AZ 85004, United States.
- Department of Electrical Engineering and Computer Science, Howard University, Washington, DC 20059, United States.
Förderung
- Princeton Alliance for Collaborative Research and Innovation
Zitieren
APA
Currie, J., Liu, M., Chung, J. E., He, L., Li, J., Panthi, A., Rai, R., Sedhain, B., Riche, C., & Kasule, O. (2026). Evaluating a large language model-powered system for semi-structured interview in health research. JAMIA Open, 9(6). https://doi.org/10.1093/jamiaopen/ooag218
Vancouver
Currie J, Liu M, Chung JE, He L, Li J, Panthi A, et al. Evaluating a large language model-powered system for semi-structured interview in health research. JAMIA Open. 2026;9(6). doi:10.1093/jamiaopen/ooag218
BibTeX
@article{Currie2026,
author = {Currie, Janet and Liu, Meirong and Chung, Jae Eun and He, Lu and Li, Jiang and Panthi, Aaryan and Rai, Rahual and Sedhain, Bibesh and Riche, Chloe and Kasule, Olivia},
title = {Evaluating a large language model-powered system for semi-structured interview in health research},
journal = {JAMIA Open},
year = {2026},
volume = {9},
number = {6},
doi = {10.1093/jamiaopen/ooag218}
}
EUVIMED