Computer lernen das Lippenlesen

Was wäre, wenn die Bilder einer Überwachungskamera ausreichen würden, um die Worte eines Verdächtigen zu verstehen? Wenn Piloten im Rauschen des Cockpits lautlose Befehle geben könnten? Die Technik dafür erhoffen sich Forscher von Computern, die von den Lippen lesen können. Doch trotz großer Fortschritte sind die Maschinen noch nicht praxistauglich.

"Ein solches System könnte für eine ganze Reihe von Anwendungen benutzt werden", sagt Helen Bear von der britischen University of East Anglia. Die Informatikerin und ihr Team haben ein Programm entwickelt, das ihrer Studie zufolge deutlich bessere Ergebnisse als bisherige Ansätze liefert - für eine Anwendung unter realen Bedingungen reicht es aber noch lange nicht.

Die Krux: Auf den Lippen sehen viele Töne praktisch gleich aus. Computer müssen lernen, die feinen Unterschiede zu interpretieren, die Menschen verborgen bleiben. Dafür braucht es kluges Training. "Die Sprache sieht bei uns allen unterschiedlich aus, also brauchen wir Modelle, die bei jedem funktionieren", sagt Bear.

Schon 1968 beschrieb der Science-Fiction-Klassiker "2001: Odyssee im Weltraum" die Idee: Der Supercomputer HAL 9000 liest im Film heimlich die Lippenbewegungen von Astronauten durch eine Scheibe. Sie hatten sich eingeschlossen, damit er ihre Pläne nicht mitbekommt. "Das zeigt, wie alt das Thema ist", sagt Tanja Schultz, Professorin für Kognitive Systeme an der Universität Bremen.

Das klassische Vorgehen: Der Computer identifiziert auf einem Video den Bereich der Lippen. Während der Sprecher redet, nimmt das Programm Aussehen und Abfolge der Bewegung (Viseme) sowie die geäußerten Laute (Phoneme) auf. Im dritten Schritt wird es mit einem statistischen Modell trainiert: Wie hängen Video und Audio zusammen? Diese Lernstrategien sind ein entscheidender Teil der Forschung. "Menschen können durch gutes Training gut Lippen lesen, aber sie sind nicht perfekt", sagt Schultz.

Die Laute p, b und m etwa sind auf den Lippen fast nicht zu unterscheiden. Daher braucht das Programm mehr Informationen: Die vorhandenen Wörter einer Sprache schränken die möglichen Phonemketten schon ein. Weitere Hinweise geben erlaubte Satzkonstruktion und Sinn der Aussage. Hilfreich, fast schon unerlässlich: eine Datenbank mit Zusammenhängen von Audio und Text. Ein menschlicher Lippenleser kennt Ausdrücke und Redewendungen seiner Sprache und den Kontext einer Unterhaltung - für Computer ist das schwieriger.