alunablue - stock.adobe.com
Datameer Spectrum: Datenaufbereitung in der Cloud
Der Big-Data-Spezialist Datameer hat Ende 2020 mit Spectrum und Spotlight sein Portfolio erweitert. Das Unternehmen konzentriert sich damit auf die Datenverarbeitung in der Cloud.
Der Firmennamen von Datameer ist Programm: Unternehmen sehen sich heute mit einem Meer von Daten konfrontiert, die heterogen und zunehmend komplexer zu verwalten sind. Es wird immer schwieriger, sie schnell zu nutzen, um zum Beispiel mit Business Intelligence Tools oder anderen analytischen Anwendungen Entscheidungen zu treffen.
Das 2009 in Deutschland gegründete Unternehmen Datameer – heute mit Sitz in San Francisco und Entwicklungsbüros in New York und Halle (Saale) – ist mittlerweile ein etablierter Anbieter auf dem ETL-Markt (Extract, Transform, Load). Die Technologie des Big-Data-Softwareanbieters war bisher auf den Hadoop-Stack ausgerichtet. Im Gegensatz zu Data-Discovery- und Visualisierungs-Lösungen führt Datameer neben der Datenpräsentation auch Datenaufbereitung eng integriert mit Pfad-, Clustering- und anderen Analysen durch.
Mit der Einführung von Spectrum und Spotlight im Dezember 2020 hat Datameer sein Angebot ausgeweitet und konzentriert sich verstärkt auf Datenverarbeitung in der Cloud. Das Start-up positioniert sich damit als Wettbewerber – aber auch Ergänzung – zu Amazon Redshift, Databricks, Google BigQuery, Microsoft Azure Synapse, Snowflake und anderen Data-Lake-Angeboten.
George Shahid, seit 2017 CEO des Unternehmens, fasst die neue Strategie zusammen: "Wir wollen unseren Kunden die Flexibilität geben, ihre analytischen Aufgaben auf Basis ihrer Umgebungen zu erledigen, egal ob sie On-Premises oder in der Cloud sind.“
Ihm ist bewusst, dass Unternehmen aufgrund der Investitionen in lokale Big-Data-Systeme nicht komplett in die Cloud abwandern. „Viele Unternehmen haben stark in eine On-Premises-Infrastruktur investiert, um ihre Daten zu verwalten. Sie geben ihre bestehenden Lösungen nicht unbedingt auf, da sie gut verwaltet und sicher sind und es für sie keinen Sinn macht, alles in die Cloud zu verlagern. Allerdings wollen diese Unternehmen einen hybriden Ansatz für Analytics wählen.“
Datameer: drei Lösungen für Datenmanagement
Datameer bietet hierfür drei Lösungen an:
- X, die ursprüngliche Version der Big-Data-Plattform;
- Spectrum (ETL++), eine modernisierte Cloud-Version der Lösung;
- Spotlight, ein Cloud-Katalogisierungs-Tool.
Alle diese Lösungen sind auf einer einzigen Plattform mit anpassbaren Modulen verfügbar. Datameer X ist ein On-Premises ETL-Werkzeug, das dafür entwickelt wurde, Data Marts aus On-Premises Data Lakes zu füttern. Spectrum und Spotlight erweitern dieses Angebot.
„Mit Datameer Spectrum können Teams nicht nur alle rohen und unstrukturierten extrahierten Daten aus beliebigen Quellen analysieren, sondern diese auch mit wenigen Klicks nach Bedarf transformieren und in ein beliebiges Cloud Data Warehouse laden“, erläutert Shahid. „Und das alles, ohne eine einzige Zeile Code zu schreiben, und zu einem Bruchteil der Kosten alternativer Lösungen.“
Um diese zu ermöglichen, verfügt Spectrum über eine Weboberfläche mit über 200 Konnektoren zu verschiedenen Datenquellen. „Unsere Lösung ist Cloud-nativ und wir haben einen Objektspeicher, der mit Amazon S3 und anderen Angeboten zusammenarbeitet. S3 kann sogar als Datenspeicher für die Datameer-Plattform angeboten werden, wenn der Kunde dies möchte. Wir arbeiten aber mit allen wichtigen Diensten“, ergänzt der Datameer CEO.
„Wir haben Datameer Spectrum als Antwort auf die Marktnachfrage für das Management komplexer Daten-Pipelines in Unternehmen entwickelt. Hier gilt es, die notwendige strenge Sicherheit, die Einhaltung von Vorschriften und die ordnungsgemäße Verwaltung der Datenströme zu gewährleisten“, sagt Shahid.
Spotlight: zentraler Hub für Data Scientists
Spotlight stellt wiederum ein Tool zur Datenkatalogisierung zur Verfügung. Mit 200 Konnektoren, die bereits mit Spectrum genutzt werden, bietet Spotlight Anwendern Zugriff auf jede Art von Datenquelle (lokal oder in der Cloud), um sie zu kombinieren und neue Datensätze zu erstellen, die in einer Datenvisualisierungslösung genutzt werden können.
Spotlight ist ein kollaboratives Werkzeug für Analytics-Experten, Data Engineers und Data Scientists. Datameer hat mit dem Tool eine semantische Schicht hinzugefügt, um die verfügbaren Datensätze und die Beziehungen zwischen ihnen zu entdecken. Es erlaubt dem Benutzer, ein Glossar zu erstellen, Datensätze zu annotieren, sie zu taggen und Attribute hinzuzufügen. Benutzer können anschließend nach Stichworten, Art der Position (Datenanalysten, Datenwissenschaftler, Dateningenieur), Aktivität oder Status (ob etwas in Arbeit ist oder nicht) suchen.
Dies wird ohne Replikation der Daten erreicht. Die Daten bleiben an der Quelle. Spotlight ermöglicht es somit verschiedenen Abteilungen innerhalb eines Unternehmens, umfangreiche Analysen in jeder Umgebung und über Datensilos hinweg durchzuführen.
