Reconnaissance des gestes de la main en temps réel - conversion de la langue des signes en voix

L'objectif principal du projet est de mettre en place un système en temps réel qui convertit les gestes de la main issus de la langue des signes américaine (ASL) en signaux vocaux. Ce système pourrait être utilisé par les personnes souffrant de troubles de la parole pour communiquer avec d'autres personnes. À cette fin un électromyogramme de surface (EMG) qui mesure l'activité électrique des muscles de l'avant-bras et un accéléromètre qui mesure l'accélération des mouvements de la main ont été utilisés. Un dispositif portable de collecte de données appelé Shimmer a été utilisé pour enregistrer ces signaux provenant de l'utilisateur et transmettre les données collectées à Matlab via Bluetooth. Un algorithme de reconnaissance de formes a été mis en œuvre dans Matlab pour traiter les signaux et afficher les décisions de sortie en fonction du geste effectué. Plusieurs tests ont été réalisés sur un sujet humain afin d'identifier plusieurs gestes à une ou deux mains permettant de reconnaître divers mots ainsi que des phrases de base en ASL. Les résultats expérimentaux ont été enregistrés et discutés.