Paralleler K-Means-Algorithmus basierend auf Hadoop-MapReduce für Data Mining

Ziel dieser Arbeit war es die Verwendung eines parallelen K-Means-Clustering-Algorithmus auf Basis des MapReduce-Programmiermodells zu untersuchen um die Reaktionszeit beim Data Mining zu verbessern. Die Leistung des Algorithmus wurde hinsichtlich SpeedUp und ScaleUp bewertet. Zu diesem Zweck wurden Experimente in einem Hadoop-Cluster durchgeführt der aus sechs Computern mit handelsüblicher Hardware bestand. Die gruppierten Daten sind Messungen von Strömungstürmen in landwirtschaftlichen Regionen und stammen von Ameriflux. Die Experimente wurden mit 3 4 bzw. 6 Maschinen durchgeführt. Die Ergebnisse zeigten dass mit der Erhöhung der Anzahl der Maschinen eine Leistungssteigerung erzielt wurde wobei die beste Zeit mit sechs Maschinen erreicht wurde und ein SpeedUp von 325 erzielt wurde. Es wurde festgestellt dass die Anwendung mit der entsprechenden Erhöhung der Datenmenge und der Anzahl der Maschinen im Cluster gut skaliert und in den Tests eine ähnliche Leistung erzielt.