Rozpoznawanie gestów dłoni w czasie rzeczywistym - konwersja języka migowego na mowę

Głównym celem projektu jest wdrożenie systemu działającego w czasie rzeczywistym który przekształca gesty rąk z amerykańskiego języka migowego (ASL) na sygnały głosowe. System ten mógłby być wykorzystywany przez osoby z zaburzeniami mowy do komunikowania się z innymi ludźmi. W tym celu wykorzystano elektromiogram powierzchniowy (EMG) który mierzy aktywność elektryczną mięśni przedramienia oraz akcelerometr który mierzy przyspieszenie ruchów dłoni. Do rejestrowania tych sygnałów od użytkownika i przesyłania zebranych danych do programu Matlab za pomocą Bluetooth wykorzystano urządzenie do noszenia służące do gromadzenia danych o nazwie Shimmer. W programie Matlab zaimplementowano algorytm rozpoznawania wzorców który przetwarzał sygnały i wyświetlał decyzje wyjściowe na podstawie wykonanego gestu. Przeprowadzono kilka testów na jednej osobie w celu zidentyfikowania wielu gestów wykonywanych jedną ręką i dwiema rękami w celu rozpoznania różnych słów a także podstawowych zdań w ASL. Wyniki eksperymentów zostały zarejestrowane i omówione.