Reconhecimento de gestos com as mãos em tempo real - conversão de linguagem gestual para voz

O principal objetivo do projeto é implementar um sistema em tempo real que converta gestos manuais da língua de sinais americana (ASL) em sinais de voz. Isso poderia ser usado por pessoas com deficiências de fala para se comunicarem com outras pessoas. Para esse fim foram utilizados eletromiograma de superfície (EMG) que mede a atividade elétrica do músculo do antebraço e acelerômetro que mede a aceleração dos movimentos da mão. Um dispositivo vestível de recolha de dados chamado Shimmer foi utilizado para gravar esses sinais do utilizador e transmitir os dados recolhidos para o Matlab usando Bluetooth. Um algoritmo de reconhecimento de padrões foi implementado no Matlab que processou os sinais e exibiu as decisões de saída com base no gesto que foi realizado. Vários testes foram realizados em um único sujeito humano para identificar vários gestos com uma e duas mãos para reconhecer várias palavras bem como frases básicas na ASL. Os resultados experimentais foram registrados e discutidos.