Deconstructing demographic bias in speech-based machine learning models for digital health
Demografischer Bias in sprachbasierten Machine-Learning-Modellen für digitale Gesundheit
Frontiers in Digital Health · 25.07.2024 · 6
DOI: 10.3389/fdgth.2024.1351637 ↗Auf einen Blick
Die Arbeit untersucht Geschlechter- und Rassenbias in sprachbasierten ML-Algorithmen zur Erkennung von Verhaltens- und psychischen Gesundheitsoutcomes. Es zeigen sich signifikante Unterschiede zwischen demografischen Gruppen und unterschiedliche Modellleistungen.
Fragestellung
Welche demografischen Verzerrungen zeigen sprachbasierte ML-Algorithmen bei der Erkennung von Angst und Depression?
Methode
Analyse potenzieller Bias-Quellen in Trainingsdaten, Merkmalen, Labels und ML-Entscheidungen; zudem Ansätze zur Bias-Reduktion.
Ergebnisse
Signifikante Unterschiede in akustischen Merkmalen und Labels zwischen Gruppen; diese Unterschiede wurden teilweise in ML-Entscheidungen erhalten. Die Modellleistung variierte zwischen demografischen Gruppen.
Schlussfolgerung der Autor:innen
Die Autor:innen betonen die Notwendigkeit einer sorgfältigen Gestaltung von ML-Modellen, damit sie zentrale Datenaspekte bewahren und in allen Populationen gut funktionieren.
Kernaussagen
- Untersucht wurden Bias bei Angst- und Depressionsmodellen aus Sprache
- Akustische Merkmale und Labels unterschieden sich zwischen Gruppen signifikant
- Die ML-Leistung war zwischen demografischen Gruppen unterschiedlich
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Frontiers in Digital Health, online erschienen am 25.07.2024. Verfasst von Michael Yang und 2 weiteren Autor:innen. Beteiligte Einrichtung: Computer Science & Engineering, Texas A&M University, College Station, TX, United States. Die Arbeit wurde bisher 18-mal zitiert (Crossref) und nennt 71 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).
Themen: Künstliche Intelligenz in der Pflege, Digitalisierung in der Pflege
Abstract (Originalsprache)
Introduction
Machine learning (ML) algorithms have been heralded as promising solutions to the realization of assistive systems in digital healthcare, due to their ability to detect fine-grain patterns that are not easily perceived by humans. Yet, ML algorithms have also been critiqued for treating individuals differently based on their demography, thus propagating existing disparities. This paper explores gender and race bias in speech-based ML algorithms that detect behavioral and mental health outcomes.
Methods
This paper examines potential sources of bias in the data used to train the ML, encompassing acoustic features extracted from speech signals and associated labels, as well as in the ML decisions. The paper further examines approaches to reduce existing bias via using the features that are the least informative of one’s demographic information as the ML input, and transforming the feature space in an adversarial manner to diminish the evidence of the demographic information while retaining information about the focal behavioral and mental health state.
Results
Results are presented in two domains, the first pertaining to gender and race bias when estimating levels of anxiety, and the second pertaining to gender bias in detecting depression. Findings indicate the presence of statistically significant differences in both acoustic features and labels among demographic groups, as well as differential ML performance among groups. The statistically significant differences present in the label space are partially preserved in the ML decisions. Although variations in ML performance across demographic groups were noted, results are mixed regarding the models’ ability to accurately estimate healthcare outcomes for the sensitive groups.
Discussion
These findings underscore the necessity for careful and thoughtful design in developing ML models that are capable of maintaining crucial aspects of the data and perform effectively across all populations in digital healthcare applications.
Schlagwörter
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Computer Science & Engineering, Texas A&M University, College Station, TX, United States.
- Computer Science & Engineering, Texas A&M University Qatar, Al Rayyan, Qatar.
- Institute of Cognitive Science & Computer Science, University of Colorado Boulder, Boulder, CO, United States.
Zitieren
APA
Yang, M., El-Attar, A. A., & Chaspari, T. (2024). Deconstructing demographic bias in speech-based machine learning models for digital health. Frontiers in Digital Health, 6. https://doi.org/10.3389/fdgth.2024.1351637
Vancouver
Yang M, El-Attar AA, Chaspari T. Deconstructing demographic bias in speech-based machine learning models for digital health. Frontiers in Digital Health. 2024;6. doi:10.3389/fdgth.2024.1351637
BibTeX
@article{Yang2024,
author = {Yang, Michael and El-Attar, Abd-Allah and Chaspari, Theodora},
title = {Deconstructing demographic bias in speech-based machine learning models for digital health},
journal = {Frontiers in Digital Health},
year = {2024},
volume = {6},
doi = {10.3389/fdgth.2024.1351637}
}
EUVIMED