EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

Entwicklung und Evaluation eines Deep-Learning-Algorithmus für die Worterkennung aus Lippenbewegungen für die deutsche Sprache

Dinh Nam Pham, Torsten Rahne

HNO · 2022-06 · 70 (6) · 456-465

DOI: 10.1007/s00106-021-01143-9 ↗

Kurz gefasst

Fachartikel in der Zeitschrift HNO, online erschienen am 13.01.2022. Verfasst von Dinh Nam Pham und 1 weiteren Autor:innen. Beteiligte Einrichtung: Universitätsklinik und Poliklinik für Hals‑, Nasen‑, Ohrenheilkunde, Kopf- und Halschirurgie, Universitätsklinikum Halle (Saale), Martin-Luther-Unive…. Hauptthemen laut MEDLINE: Deep Learning, Language. Die Arbeit wurde bisher 4-mal zitiert (Crossref) und nennt 38 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: Universitätsklinikum Halle (Saale).

AbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Hintergrund

Zahlreiche Menschen profitieren beim Lippenlesen von den zusätzlichen visuellen Informationen aus den Lippenbewegungen des Sprechenden, was jedoch sehr fehleranfällig ist. Algorithmen zum Lippenlesen mit auf künstlichen neuronalen Netzwerken basierender künstlicher Intelligenz verbessern die Worterkennung signifikant, stehen jedoch nicht für die deutsche Sprache zur Verfügung. Material und Methoden Es wurden 1806 Videos mit jeweils nur einer deutsch sprechenden Person selektiert, in Wortsegmente unterteilt und mit einer Spracherkennungssoftware Wortklassen zugeordnet. In 38.391 Videosegmenten mit 32 Sprechenden wurden 18 mehrsilbige, visuell voneinander unterscheidbare Wörter zum Trainieren und Validieren eines neuronalen Netzwerks verwendet. Die Modelle 3D Convolutional Neural Network, Gated Recurrent Units und die Kombination beider Modelle (GRUConv) wurden ebenso verglichen wie unterschiedliche Bildausschnitte und Farbräume der Videos. Die Korrektklassifikationsrate wurde jeweils innerhalb von 5000 Trainingsepochen ermittelt.

Ergebnisse

Der Vergleich der Farbräume ergab keine relevant unterschiedlichen Korrektklassifikationsraten im Bereich von 69 % bis 72 %. Bei Zuschneidung auf die Lippen wurde mit 70 % eine deutlich höhere Korrektklassifikationsrate als bei Zuschnitt auf das gesamte Sprechergesicht (34 %) erreicht. Mit dem GRUConv-Modell betrugen die maximalen Korrektklassifikationsraten 87 % bei bekannten Sprechenden und 63 % in der Validierung mit unbekannten Sprechenden. Schlussfolgerung Das erstmals für die deutsche Sprache entwickelte neuronale Netzwerk zum Lippenlesen zeigt eine sehr große, mit englischsprachigen Algorithmen vergleichbare Genauigkeit. Es funktioniert auch mit unbekannten Sprechenden und kann mit mehr Wortklassen generalisiert werden.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Deep LearningLanguageAlgorithmsArtificial IntelligenceHumansLipreading

Stichwörter der Autor:innen

Artificial Intelligence (AI)Feature extractionLipreadingNeural networksVisual speech recognition

Autor:innen und Institutionen

  • Universitätsklinik und Poliklinik für Hals‑, Nasen‑, Ohrenheilkunde, Kopf- und Halschirurgie, Universitätsklinikum Halle (Saale), Martin-Luther-Universität Halle-Wittenberg, Ernst-Grube-Str. 40, 06120, Halle (Saale), De…
  • Hochschule Anhalt, Köthen, Deutschland.

Förderung

  • Universitätsklinikum Halle (Saale)

Zitieren

APA

Pham, D. N., & Rahne, T. (2022). Entwicklung und Evaluation eines Deep-Learning-Algorithmus für die Worterkennung aus Lippenbewegungen für die deutsche Sprache. HNO, 70(6), 456-465. https://doi.org/10.1007/s00106-021-01143-9

Vancouver

Pham DN, Rahne T. Entwicklung und Evaluation eines Deep-Learning-Algorithmus für die Worterkennung aus Lippenbewegungen für die deutsche Sprache. HNO. 2022;70(6):456-465. doi:10.1007/s00106-021-01143-9

BibTeX
@article{Pham2022,
  author = {Pham, Dinh Nam and Rahne, Torsten},
  title = {Entwicklung und Evaluation eines Deep-Learning-Algorithmus für die Worterkennung aus Lippenbewegungen für die deutsche Sprache},
  journal = {HNO},
  year = {2022},
  volume = {70},
  number = {6},
  pages = {456--465},
  doi = {10.1007/s00106-021-01143-9}
}
Kostenlos starten →