Entwicklung und Evaluation eines Deep-Learning-Algorithmus für die Worterkennung aus Lippenbewegungen für die deutsche Sprache
HNO · 2022-06 · 70 (6) · 456-465
DOI: 10.1007/s00106-021-01143-9 ↗Kurz gefasst
Fachartikel in der Zeitschrift HNO, online erschienen am 13.01.2022. Verfasst von Dinh Nam Pham und 1 weiteren Autor:innen. Beteiligte Einrichtung: Universitätsklinik und Poliklinik für Hals‑, Nasen‑, Ohrenheilkunde, Kopf- und Halschirurgie, Universitätsklinikum Halle (Saale), Martin-Luther-Unive…. Hauptthemen laut MEDLINE: Deep Learning, Language. Die Arbeit wurde bisher 4-mal zitiert (Crossref) und nennt 38 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: Universitätsklinikum Halle (Saale).
Abstract (Originalsprache)
Hintergrund
Zahlreiche Menschen profitieren beim Lippenlesen von den zusätzlichen visuellen Informationen aus den Lippenbewegungen des Sprechenden, was jedoch sehr fehleranfällig ist. Algorithmen zum Lippenlesen mit auf künstlichen neuronalen Netzwerken basierender künstlicher Intelligenz verbessern die Worterkennung signifikant, stehen jedoch nicht für die deutsche Sprache zur Verfügung. Material und Methoden Es wurden 1806 Videos mit jeweils nur einer deutsch sprechenden Person selektiert, in Wortsegmente unterteilt und mit einer Spracherkennungssoftware Wortklassen zugeordnet. In 38.391 Videosegmenten mit 32 Sprechenden wurden 18 mehrsilbige, visuell voneinander unterscheidbare Wörter zum Trainieren und Validieren eines neuronalen Netzwerks verwendet. Die Modelle 3D Convolutional Neural Network, Gated Recurrent Units und die Kombination beider Modelle (GRUConv) wurden ebenso verglichen wie unterschiedliche Bildausschnitte und Farbräume der Videos. Die Korrektklassifikationsrate wurde jeweils innerhalb von 5000 Trainingsepochen ermittelt.
Ergebnisse
Der Vergleich der Farbräume ergab keine relevant unterschiedlichen Korrektklassifikationsraten im Bereich von 69 % bis 72 %. Bei Zuschneidung auf die Lippen wurde mit 70 % eine deutlich höhere Korrektklassifikationsrate als bei Zuschnitt auf das gesamte Sprechergesicht (34 %) erreicht. Mit dem GRUConv-Modell betrugen die maximalen Korrektklassifikationsraten 87 % bei bekannten Sprechenden und 63 % in der Validierung mit unbekannten Sprechenden. Schlussfolgerung Das erstmals für die deutsche Sprache entwickelte neuronale Netzwerk zum Lippenlesen zeigt eine sehr große, mit englischsprachigen Algorithmen vergleichbare Genauigkeit. Es funktioniert auch mit unbekannten Sprechenden und kann mit mehr Wortklassen generalisiert werden.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Universitätsklinik und Poliklinik für Hals‑, Nasen‑, Ohrenheilkunde, Kopf- und Halschirurgie, Universitätsklinikum Halle (Saale), Martin-Luther-Universität Halle-Wittenberg, Ernst-Grube-Str. 40, 06120, Halle (Saale), De…
- Hochschule Anhalt, Köthen, Deutschland.
Förderung
- Universitätsklinikum Halle (Saale)
Zitieren
APA
Pham, D. N., & Rahne, T. (2022). Entwicklung und Evaluation eines Deep-Learning-Algorithmus für die Worterkennung aus Lippenbewegungen für die deutsche Sprache. HNO, 70(6), 456-465. https://doi.org/10.1007/s00106-021-01143-9
Vancouver
Pham DN, Rahne T. Entwicklung und Evaluation eines Deep-Learning-Algorithmus für die Worterkennung aus Lippenbewegungen für die deutsche Sprache. HNO. 2022;70(6):456-465. doi:10.1007/s00106-021-01143-9
BibTeX
@article{Pham2022,
author = {Pham, Dinh Nam and Rahne, Torsten},
title = {Entwicklung und Evaluation eines Deep-Learning-Algorithmus für die Worterkennung aus Lippenbewegungen für die deutsche Sprache},
journal = {HNO},
year = {2022},
volume = {70},
number = {6},
pages = {456--465},
doi = {10.1007/s00106-021-01143-9}
}
EUVIMED