Desduplicação eficiente de dados no Hadoop

O Hadoop é amplamente utilizado para armazenamento de dados massivamente distribuído. Embora seja altamente tolerante a falhas escalável e funcione em hardware comum ele não oferece uma solução de armazenamento de dados eficiente e otimizada. Quando o utilizador carrega ficheiros com o mesmo conteúdo no Hadoop ele armazena todos os ficheiros no HDFS (Hadoop Distributed File System) mesmo que o conteúdo seja o mesmo o que leva à duplicação de conteúdo e portanto ao desperdício de espaço de armazenamento. A deduplicação de dados é um processo que reduz a capacidade de armazenamento necessária uma vez que apenas as instâncias únicas de dados são armazenadas. O processo de deduplicação de dados é amplamente utilizado em servidores de ficheiros sistemas de gestão de bases de dados armazenamento de cópias de segurança e muitas outras soluções de armazenamento. Uma estratégia de deduplicação adequada utiliza suficientemente o espaço de armazenamento em dispositivos de armazenamento limitados. O Hadoop não oferece uma solução de deduplicação de dados. Neste trabalho o módulo de deduplicação foi integrado na estrutura do Hadoop para obter um armazenamento de dados otimizado.