Eye Tracking und Mimik jetzt akustisch erfasst

"GazeTrak" zur präzisen Erfassung der Blickrichtung (Bild: cornell.edu)

Ithaca (pte002/12.04.2024/06:05) - Forscher der Cornell University ( https://www.cornell.edu/ ) haben zwei Technologien entwickelt, die Blick und Mimik einer Person durch winzige Lautsprecher und Mikrofone erfassen. Die Innovation ist so klein, dass sie auf handelsübliche Smartglasses oder Virtual-Reality- und Augmented-Reality-Headsets passt, verbraucht aber deutlich weniger Strom als ähnliche Geräte, die Kameras verwenden.

Unhörbarer Schall als Scanner

Die Mikrofone senden unhörbare Schallwellen aus, die vom Gesicht reflektiert werden - und zwar unterschiedlich, je nach Gesichtsausdruck und Blickrichtung. Mikrofone fangen die akustischen Signale auf. Das eine Gerät, "GazeTrak", ist das erste Eye-Tracking-System, das sich auf akustische Signale stützt. Das zweite, "EyeEcho", ist das erste brillenbasierte System, das kontinuierlich und genau Gesichtsausdrücke erkennt und sie in Echtzeit in einem Avatar wiedergibt.

"In einer VR-Umgebung möchte man detaillierte Gesichtsausdrücke und Blickbewegungen nachbilden, um besser mit anderen Nutzern interagieren zu können", sagt Ke Li, der die Entwicklung von GazeTrak und EyeEcho geleitet hat. Li promoviert bei Cheng Zhang, Assistenzprofessor für Informationswissenschaften, der das Labor für intelligente Computerschnittstellen für künftige Interaktionen leitet.

Genaue Interpretation dank KI

Für GazeTrak haben die Forscher einen Lautsprecher und vier Mikrofone an der Innenseite einer Brille positioniert, um Schallwellen vom Augapfel und dem Bereich um die Augen herum aufzufangen. Die daraus resultierenden Schallsignale werden in eine Deep-Learning-Pipeline eingespeist, die mithilfe von KI die Blickrichtung der Person kontinuierlich erfasst. Bei EyeEcho befinden sich ein Lautsprecher und ein Mikrofon neben den Brillenscharnieren. Sie sind nach unten gerichtet, um Hautbewegungen bei Veränderungen des Gesichtsausdrucks zu erfassen. Die reflektierten Signale werden ebenfalls mithilfe von KI interpretiert.

Mit dieser Technologie können Nutzer über einen Avatar freihändig Videogespräche führen, selbst in einem lauten Café oder auf der Straße. Einige Smartglasses können zwar Gesichter erkennen oder zwischen bestimmten Gesichtsausdrücken unterscheiden, den Gesichtsausdruck jedoch nicht kontinuierlich verfolgen wie EyeEcho.

Die beiden Tools sind nicht nur für die Verbesserung des VR-Erlebnisses geeignet. GazeTrak und EyeEcho könnten auch bei der Diagnose oder Überwachung von neurodegenerativen Krankheiten wie Alzheimer und Parkinson helfen, deren Augenbewegungen und Mimik charakteristisch sind für das Fortschreiten der Krankheiten, meinen die Experten.

(Ende)