KI macht Gebärdensprache zugänglicher

Gebärdensprachlich "okay": Geste ist universell verständlich (Foto: rabkina, pixabay.com)

Leiden (pte004/19.04.2024/06:15) - Jungforscher Manolis Fragkiadakis von der Universität Leiden ( https://www.universiteitleiden.nl/en ) hat ein KI-Werkzeug entwickelt, mit dem sich Wörterbücher für Gebärdensprachen erstellen lassen. Durch die Analyse der Positionen der Hände und der Bewegungen der Gelenke erkennt das System, welches Wort aus welcher Sprache gerade geformt wird.

Doppeltes Training nötig

"Die großen Sprachmodelle, die uns derzeit zur Verfügung stehen, sind nur auf eine einzige Gebärdensprache trainiert, und in den meisten der dafür verwendeten Videos steht der Gebärdensprachler direkt vor der Kamera, sodass seine Gebärden leicht zu erkennen sind. In meiner Arbeit habe ich die KI dagegen sowohl auf mehrere Gebärdensprachen als auch auf mehrere Sprecher trainiert. Dabei wurde die Kamera zwischen zwei Sprechern positioniert, sodass die KI in der Lage sein musste, die gleichen Infos aus einer anderen Position zu extrahieren", so Fragkiadakis.

Wie gesprochene Sprachen entwickeln sich auch Gebärdensprachen organisch und haben nicht immer denselben Ursprung. Daraus ergeben sich unterschiedliche Arten der Kommunikation. "Im Gegensatz zu dem, was viele Leute annehmen, gibt es tatsächlich keine universelle Gebärdensprache. Die Gebärdensprache kann sogar noch stärker fragmentiert sein als die gesprochene Sprache: Es kann mehrere Sprachen in ein und demselben Land geben. Diese Fragmentierung macht es schwierig, die Gebärdensprache zu kodifizieren oder wissenschaftlich darüber zu schreiben. Das wollten wir ändern."

Für die Zukunft sieht Fragkiadakis auch praktische Anwendungen innerhalb der Gebärdensprachgemeinschaft vor: "Künftig könnte die KI dabei helfen, sowohl die Gemeinsamkeiten als auch die Unterschiede zwischen verschiedenen Gebärdensprachen zu erkennen und so die Kommunikation zwischen den Benutzern zu erleichtern."

Große Gesten, laute "Reden"

Darüber glaubt Fragkiadakis, dass seine Forschung dazu beigetragen hat, die Unterschiede zwischen den Gebärdensprachen besser zu erkennen - auch in Bezug auf Kultur. "Ich bin Grieche, also benutze ich viel Raum für meine Gebärden. Das kann die Bedeutung dessen, was ich sagen will, verändern. Größere Gesten können zum Beispiel signalisieren, dass jemand laut wird", sagt Fragkiadakis.

Letztlich soll dieses Wissen die Zugänglichkeit der Gebärdensprache verbessern. "Die Hoffnung ist, dass wir mit dieser Forschung in der Lage sein werden, die Gebärdensprache für alle zugänglicher zu machen, von Akademikern bis hin zu Alltagssprechern. Es gibt immer noch zu wenig Wissen über die Eigenschaften der verschiedenen Gebärdensprachen, und das wollen wir ändern."

(Ende)