GridGain In-Memory Datagrid auf Basis von Apache Ignite
GridGain hat als erster Anbieter eine kommerzielle Implementierung von Apache Ignite auf den Markt gebracht und diese für seine In-Memory-Angebote erweitert.
GridGain wurde 2007 gegründet und zählt heute zu den wichtigsten Akteuren im Bereich In-Memory Computing. Das Unternehmen hat als erster Anbieter eine kommerzielle Implementierung von Apache Ignite auf den Markt gebracht und diese für seine In-Memory-Angebote erweitert.
Das Kernprodukt von GridGain ist ein In-Memory Datagrid, das sich über viele Nodes verteilen lässt und als Cache fungiert. Das heißt, es befindet sich zwischen der Anwendungs- und der Datenbankebene. Ähnlich wie bei Teradata und Oracle TimesTen Cache können auch bei GridGain alle gängigen relationalen Datenbankmanagementsysteme (RDBMS) ohne Änderungen an der Datenstruktur und den Anwendungsprogrammen genutzt werden.
Kosten versus Geschwindigkeit
Auch beim GridGain Datagrid wird die Geschwindigkeit des In-Memory Computing mit kostengünstiger Datenhaltung auf Festplatten kombiniert. Die erzielbaren Performance-Verbesserungen hängen dabei von verschiedenen Parametern ab.
Hierzu gehört an erster Stelle das Verhältnis von Arbeitsspeicher zur Gesamtgröße der Datenbank. Je besser dieser Wert ist, umso weniger Festplattenzugriffe sind erforderlich und umso schneller erfolgt der Datenaustausch mit der Anwendung. Der zweite wesentliche Einflussfaktor ist der Algorithmus, der festlegt, welche Daten In-Memory oder auf Festplatten gehalten werden. Je besser die Vorhersage über die benötigten Daten ist, umso schneller ist die Gesamtleistung. Der dritte Faktor ist die Anzahl der Nodes über die das Datagrid verteilt ist. Der GridGain Datenmanagementalgorithmus nutzt im erheblichen Umfang die Vorzüge der Parallelverarbeitung, womit sich die Performance der gesamten Datenbank verbessert.
GridGain berichtet, dass bei Datagrid die Abfragezeiten bis zum Faktor Tausend schneller sein können als bei herkömmlichen HDD-basierten Systemen.
Ein API für alle Aufrufe
Das GridGain-System kann durch Hinzufügen weiterer Nodes zu einem umfangreichen Cluster skaliert werden, womit sich große Datenmengen aus mehreren Datenbanken gleichzeitig verteilen und managen lassen.
Da sich das GridGain Datagrid problemlos zwischen die vorhandenen Anwendungs- und Datenbankschichten einfügen lässt, eignet es sich besonders zur Modernisierung von bestehenden, datenintensiven Architekturen.
GridGain lässt sich mit allen gängigen RDBMS-, NoSQL- und Hadoop-Systemen verbinden. Datagrid verfügt über eine einheitliche API, die Zugriffe unter anderem über SQL, C++, .NET, Java, Scala, Groovy und Node.js erlaubt. GridGain kann On-Premises, auf einer Cloud-Plattform, zum Beispiel AWS, Microsoft Azure oder Google Cloud Platform, oder in entsprechenden Hybrid-Cloud-Umgebungen verwendet werden.
Zusätzlich zu seinem In-Memory Datagrid bietet das Unternehmen drei weitere Hauptmodule an. Dazu gehört eine In-Memory-Datenbank, ein Modul für Machine Learning (Continuous Learning Framework) sowie eine Streaming Analytics Engine, die als In-Memory Datagrid oder In-Memory-Datenbank eingesetzt werden kann.
Ergänzung zu vielen Apache-Produkten
Über eine Apache-Spark-Integration lassen sich persistente Spark Resilient Distributed Datasets (RDDs) anlegen, die laut GridGain hundertmal schneller sind als konventionelle Spark-Implementierungen.
„Bei IoT kommen alle Vorzüge unserer Technologie zur Geltung: Massive Datenmengen, die in Echtzeit generiert und verarbeitet werden können, extrem kurze Erfassungs-, Bearbeitungs- und Reaktionszeiten und zunehmend komplexe KI-basierte Steuerungsalgorithmen.“
Nikita IvanovGridGain
GridGain kann auch das Hadoop Distributed File System (HDFS) einsetzen, womit eine Integration von Hadoop mit dem GridGain Datagrid möglich ist. Hinzu kommt die Option von ad hoc SQL-Abfragen. Darüber hinaus positioniert sich GridGain als komplementäres System zu den Apache-Systemen Cassandra, Kafka, Camel und Mesos.
Für In-Process HTAP geeignet
GridGain bietet eine umfassende In-Memory-Lösung für verschiedene Transaktionsarten an. Die Systeme eignen sich besonders für Transaktionen mit hohem Datenvolumen, für Echtzeitanalysen sowie Hybrid Transactional/Analytical Processing (HTAP). Hinzu kommt das sogenannte In-Process HTAP, also HTAP als Streaming-Lösung. GridGain hat diese Funktionalität außerdem um seine Machine-Learning-Funktionalität ergänzt. Das heißt, alle Transaktionsprozesse werden zur kontinuierlichen Verbesserung der Algorithmen genutzt. Vor allem im IoT-Bereich bietet diese Kombination Vorteile.
„Bei IoT kommen alle Vorzüge unserer Technologie zur Geltung: Massive Datenmengen, die in Echtzeit generiert und verarbeitet werden können, extrem kurze Erfassungs-, Bearbeitungs- und Reaktionszeiten und zunehmend komplexe KI-basierte Steuerungsalgorithmen“, sagt Nikita Ivanov, Mitgründer und CTO von GridGain.
Zukunft ungewiss
Über die allgemeine Zukunft der In-Memory-Technologien gibt es unterschiedliche Prognosen. Einige Marktbeobachter sagen bereits das Ende der klassischen Speichertechnologien voraus, darunter IDC-Analyst Carl Olofson. Er prognostiziert, dass der traditionelle Storage-Markt komplett verschwinden wird. Für ihn gibt es in Zukunft nur zwei relevante Plattformen: Cloud Computing und In-Memory-Technologien. Er begründet dies mit der erkennbaren Zweiteilung der Applikationswelt in klassische IT und leistungsfähige Echtzeit-Anwendungen. Ausdruck findet dies vor allem in den Bereichen IoT, KI und Robotik.
Skeptiker verweisen dagegen auf die weiterhin hohen Kosten einer All-In-Memory Datenspeicherung. Das dabei gewöhnlich angeführte Argument, dass Arbeitsspeicher immer billiger wird und somit der Kostennachteil verschwindet, hat Teradata CTO Stephen Brobst bereits entkräftet: „Tatsächlich steigen die Datenmengen schneller an, als die Speicherpreise fallen. Und das bedeutet, dass die Kostenschere größer und nicht kleiner wird.“
Marktforscher betrachten die Entwicklung der In-Memory-Technologien jedoch positiv. Bei MarketsandMarkets rechnet man bis 2023 mit einem jährlichen Plus von 19 Prozent, womit der Weltmarkt für diese Produkte bis 2023 auf rund sieben Milliarden Dollar anwächst.
