Efektywna deduplikacja danych w Hadoop

Hadoop jest szeroko stosowany do masowego przechowywania danych. Mimo że jest bardzo odporny na awarie skalowalny i działa na standardowym sprzęcie nie zapewnia wydajnego i zoptymalizowanego rozwiązania do przechowywania danych. Gdy użytkownik przesyła pliki o tej samej zawartości do Hadoop wszystkie pliki są przechowywane w HDFS (Hadoop Distributed File System) nawet jeśli zawartość jest taka sama co prowadzi do powielania treści a tym samym do marnowania przestrzeni dyskowej. Deduplikacja danych to proces mający na celu zmniejszenie wymaganej pojemności pamięci ponieważ przechowywane są tylko unikalne instancje danych. Proces deduplikacji danych jest szeroko stosowany w serwerach plików systemach zarządzania bazami danych pamięciach kopii zapasowych i wielu innych rozwiązaniach pamięci masowej. Odpowiednia strategia deduplikacji pozwala na wystarczające wykorzystanie przestrzeni dyskowej w ramach ograniczonych urządzeń pamięci masowej. Hadoop nie zapewnia rozwiązania w zakresie deduplikacji danych. W niniejszej pracy moduł deduplikacji został zintegrowany z frameworkiem Hadoop w celu uzyskania zoptymalizowanego przechowywania danych.