Smartphone versteht Handzeichen

image

Schweizer Forscher haben eine neue App entwickelt, mit der Nutzer ihr Smartphone auch mit Gesten bedienen können. Dies erweitert den Umfang möglicher Interaktionen mit den Geräten.

Etwas eigenartig sieht es anfänglich schon aus: Mit der einen Hand hält man das Smartphone, die andere Hand hingegen bewegt sich in der Luft vor der eingebauten Kamera. Man macht Gesten, die denjenigen aus der Gebärdensprache von Gehörlosen ähneln: Der Zeigefinger zeigt mal nach links, mal nach rechts, die Finger spreizen sich, formieren sich zu einer
Zange oder imitieren eine Pistole und drücken ab. Diese Gesten dienen allerdings nicht der Verständigung unter Gehörlosen, sondern der Steuerung des Smartphones.

So kann ein Nutzer mit der Schiessbewegung der Hand beispielsweise in einen anderen Browser-Tab wechseln, den Kartenmodus von Satellitenbild auf Topographische Darstellung ändern oder in einem Game auf gegnerische Flugzeuge schiessen. Durch das Aufspreizen der Finger vergrössert sich ein Kartenausschnitt oder scrollt eine Buchseite hinauf.

Hinter dieser Gestensteuerung steckt ein neuartiger Algorithmus, den der Masterstudent Jie Song aus der Arbeitsgruppe von Otmar Hilliges, Professor für Computerwissenschaften, entwickelte.

Um die Umgebung wahrzunehmen, verwendet das Programm die eingebaute Kamera des Geräts. Tiefen- oder Farbinformationen wertet es nicht aus. Die gewonnene Information – Form der Geste, Teile der Hand – werden auf einen einfachen Umriss reduziert, dieser schliesslich anhand der einprogrammierten Gesten klassifiziert. Je nach wahrgenommener Geste führt
das Programm schliesslich den daran gekoppelten Befehl aus. Das Programm erkennt auch die Distanz, in der sich die Hand vor der Kamera bewegt. Ist die Hand zu nah oder zu weit davon entfernt, erhält der Benutzer einen Warnhinweis.

Aufgrund des geringen Rechenbedarfs könnte sie auch für Smart Watches oder in Augmented Reality-Brillen genutzt werden. Zurzeit kann das Programm sechs verschiedene Gesten erkennen und entsprechende Befehle ausführen.

Tags :

Hinterlasse eine Antwort

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

Advertising