EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

Deconstructing demographic bias in speech-based machine learning models for digital health

Demografischer Bias in sprachbasierten Machine-Learning-Modellen für digitale Gesundheit

Michael Yang, Abd-Allah El-Attar, Theodora Chaspari

Frontiers in Digital Health · 25.07.2024 · 6

DOI: 10.3389/fdgth.2024.1351637 ↗

Auf einen Blick

Die Arbeit untersucht Geschlechter- und Rassenbias in sprachbasierten ML-Algorithmen zur Erkennung von Verhaltens- und psychischen Gesundheitsoutcomes. Es zeigen sich signifikante Unterschiede zwischen demografischen Gruppen und unterschiedliche Modellleistungen.

Fragestellung

Welche demografischen Verzerrungen zeigen sprachbasierte ML-Algorithmen bei der Erkennung von Angst und Depression?

Methode

Analyse potenzieller Bias-Quellen in Trainingsdaten, Merkmalen, Labels und ML-Entscheidungen; zudem Ansätze zur Bias-Reduktion.

Ergebnisse

Signifikante Unterschiede in akustischen Merkmalen und Labels zwischen Gruppen; diese Unterschiede wurden teilweise in ML-Entscheidungen erhalten. Die Modellleistung variierte zwischen demografischen Gruppen.

Schlussfolgerung der Autor:innen

Die Autor:innen betonen die Notwendigkeit einer sorgfältigen Gestaltung von ML-Modellen, damit sie zentrale Datenaspekte bewahren und in allen Populationen gut funktionieren.

Kernaussagen

  • Untersucht wurden Bias bei Angst- und Depressionsmodellen aus Sprache
  • Akustische Merkmale und Labels unterschieden sich zwischen Gruppen signifikant
  • Die ML-Leistung war zwischen demografischen Gruppen unterschiedlich

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Frontiers in Digital Health, online erschienen am 25.07.2024. Verfasst von Michael Yang und 2 weiteren Autor:innen. Beteiligte Einrichtung: Computer Science & Engineering, Texas A&M University, College Station, TX, United States. Die Arbeit wurde bisher 18-mal zitiert (Crossref) und nennt 71 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Introduction

Machine learning (ML) algorithms have been heralded as promising solutions to the realization of assistive systems in digital healthcare, due to their ability to detect fine-grain patterns that are not easily perceived by humans. Yet, ML algorithms have also been critiqued for treating individuals differently based on their demography, thus propagating existing disparities. This paper explores gender and race bias in speech-based ML algorithms that detect behavioral and mental health outcomes.

Methods

This paper examines potential sources of bias in the data used to train the ML, encompassing acoustic features extracted from speech signals and associated labels, as well as in the ML decisions. The paper further examines approaches to reduce existing bias via using the features that are the least informative of one’s demographic information as the ML input, and transforming the feature space in an adversarial manner to diminish the evidence of the demographic information while retaining information about the focal behavioral and mental health state.

Results

Results are presented in two domains, the first pertaining to gender and race bias when estimating levels of anxiety, and the second pertaining to gender bias in detecting depression. Findings indicate the presence of statistically significant differences in both acoustic features and labels among demographic groups, as well as differential ML performance among groups. The statistically significant differences present in the label space are partially preserved in the ML decisions. Although variations in ML performance across demographic groups were noted, results are mixed regarding the models’ ability to accurately estimate healthcare outcomes for the sensitive groups.

Discussion

These findings underscore the necessity for careful and thoughtful design in developing ML models that are capable of maintaining crucial aspects of the data and perform effectively across all populations in digital healthcare applications.

Schlagwörter

Stichwörter der Autor:innen

anxietydemographic biasdepressionfairnessmachine learningspeech

Autor:innen und Institutionen

  • Computer Science & Engineering, Texas A&M University, College Station, TX, United States.
  • Computer Science & Engineering, Texas A&M University Qatar, Al Rayyan, Qatar.
  • Institute of Cognitive Science & Computer Science, University of Colorado Boulder, Boulder, CO, United States.

Zitieren

APA

Yang, M., El-Attar, A. A., & Chaspari, T. (2024). Deconstructing demographic bias in speech-based machine learning models for digital health. Frontiers in Digital Health, 6. https://doi.org/10.3389/fdgth.2024.1351637

Vancouver

Yang M, El-Attar AA, Chaspari T. Deconstructing demographic bias in speech-based machine learning models for digital health. Frontiers in Digital Health. 2024;6. doi:10.3389/fdgth.2024.1351637

BibTeX
@article{Yang2024,
  author = {Yang, Michael and El-Attar, Abd-Allah and Chaspari, Theodora},
  title = {Deconstructing demographic bias in speech-based machine learning models for digital health},
  journal = {Frontiers in Digital Health},
  year = {2024},
  volume = {6},
  doi = {10.3389/fdgth.2024.1351637}
}
Kostenlos starten →