Datenanalyse

Datenextraktion und -analyse haben in letzter Zeit aufgrund der Entwicklung der sozialen Medien und der großen Menge an Daten die in unstrukturierter Form verfügbar sind erhebliche Aufmerksamkeit erhalten. Hadoop und Map-Reduce haben kontinuierlich große Datenmengen implementiert und analysiert. In diesem Buch wird Apache Pig eine der High-Level-Plattformen zur Analyse großer Datenmengen die auf Hadoop läuft zur Analyse unstrukturierter Protokolldateien und zur Extraktion von Informationen verwendet. In diesem Buch werden Weblog-Serverdateien verwendet um aussagekräftige Informationen in unstrukturierter Form zu analysieren und in strukturierter Form in das Apache Pig-Framework zu extrahieren. Wir werden die Effizienz und Leistung messen wenn eine große Datenmenge im Map-Reduce-Modus und im lokalen Modus verarbeitet wird.