Big-Data-Management mit der Hadoop-Distribution von Hortonworks

Die Hortonworks Data Platform (HDP) ermöglicht Anwendern das Speichern, Verarbeiten und Analysieren großer Datenmengen aus verschiedenen Quellen und in verschiedenen Formaten. In ihrem Kern enthält die skalierbare Open Source Hadoop-Plattform das Hadoop Distributed File System (HDFS), ein fehlertolerantes Storage-System für die Verarbeitung großer Datenmengen in einer Vielzahl von Formaten und YARN.

Yet Another Resource Negotiator, kurz YARN, ein Bestandteil von Hadoop, stellt ein zentrales Ressourcen-Management für Datenverarbeitungs-Workloads in Hadoop bereit. Es bietet verschiedene Verarbeitungsmethoden, inklusive interaktives SQL, Echtzeit-Streaming, Data Science und Stapelverarbeitung. Zu den weiteren Enterprise-Features gehören Funktionen für Data Governance, Security und allgemeine Transaktionen.

Mit dem jüngsten Release, Version 2.4, hat Hortonworks gezeigt, dass es häufiger neue Versionen als Teil seiner Extended HDP Services veröffentlicht. Damit erhalten Kunden Zugang zu häufigeren Releases und Weiterentwicklungen von Modulen, die nicht Kern der Hadoop-Distribution sind, zum Beispiel Hive, HBase, Storm und Spark.

HDP Kernmodule, zu denen HDFS, YARN und MapReduce gehören, werden weiterhin als jährliches Release veröffentlicht und orientieren sich mit der Open Data Platform Initiative an der Kernversion der Apache Software Foundation.

Dieser Ansatz ermöglicht es Kunden, die Hadoop-Kernmodule für kritische Funktionen wie die Datenspeicherung verwenden, auf stabilere Kernmodule zu setzen. Gleichzeitig bietet der Ansatz häufigere Releases für Kunden, die an den Vorteilen der sich schnell entwickelnden Hadoop-Module interessiert sind.

Im Einzelnen enthält HDP 2.4 Apache Hadoop 2.7.1 (Core HDP-Module) sowie Spark 1.6, HBase 1.1.2, Kafka 0.9.0 und Ambari 2.2.1 als Extended HDP Services.

Hortonworks DataFlow (HDF), welches als separates Produkt erhältlich ist, arbeitet mit HDP zusammen und wurde entwickelt, um Herausforderungen bei der Automatisierung aller Arten von Echtzeit-Datenprozessen zu stemmen. Darüber hinaus hilft die Anwendung beim Sammeln und Verwalten von Geschäftserkenntnissen und Prozessen, die sich aus den verschiedenen Daten ableiten.

Das Produkt wird im Rahmen des Open-Source-Projekts Apache NiFi vorangetrieben, das sich den Herausforderungen des Internet of Anything (IoAT) widmet. Im Gegensatz zum Internet of Things (IoT), das lediglich mit Sensor- und Maschinendaten verknüpft ist, enthält IoAT auch Clickstream- und Social-Stream-Daten.

Hortonworks bietet für seine Hadoop-Distribution drei Installationsoptionen:

• Hortonworks Sandbox on a VM ist eine virtuelle Umgebung, die auf einem Mac-OSX- oder Windows-System in einer VMWare- oder VirtualBox-Umgebung arbeitet. Die Option bietet eine individuelle Hadoop-Umgebung für Prototyping- und Trainingszwecke.
• Hortonworks Sandbox in the Cloud ist eine Cloud-basierte Implementierung, die aktuell innerhalb von Microsoft Azure verfügbar ist und für einen Monat kostenlos getestet werden kann.
• HDP 2.4 Ready for the Enterprise bietet eine automatische Installation für Linux- und Unix-Umgebungen mit Ambari (Version 2.2). Zu den weiteren Optionen zählen eine manuelle Installation mit dem RPM Package Manager für Unix- und Linux-Umgebungen, eine Cloud-Installation über Cloudbreak für Azure sowie eine Windows-Installation (Windows Server 2008 und 2012) innerhalb von Amazon Web Services (AWS) oder OpenStack.