Echtzeit-Handgestenerkennung - Umwandlung von Gebärdensprache in Sprache

Das Hauptziel des Projekts ist die Implementierung eines Echtzeitsystems das Handgesten aus der amerikanischen Gebärdensprache (ASL) in Sprachsignale umwandelt. Dies könnte von Menschen mit Sprachbehinderungen genutzt werden um mit anderen Menschen zu kommunizieren. Zu diesem Zweck wurden ein Oberflächen-Elektromyogramm (EMG) das die elektrische Aktivität der Unterarmmuskulatur misst und ein Beschleunigungsmesser der die Beschleunigung der Handbewegungen misst verwendet. Ein tragbares Datenerfassungsgerät namens Shimmer wurde verwendet um diese Signale vom Benutzer aufzuzeichnen und die gesammelten Daten über Bluetooth an Matlab zu übertragen. In Matlab wurde ein Mustererkennungsalgorithmus implementiert der die Signale verarbeitete und die Ergebnisse basierend auf der ausgeführten Geste anzeigte. Es wurden mehrere Tests an einer Person durchgeführt um verschiedene ein- und zweihändige Gesten zu identifizieren und verschiedene Wörter sowie einfache Sätze in ASL zu erkennen. Die Versuchsergebnisse wurden aufgezeichnet und diskutiert.