Gorodenkoff - stock.adobe.com
Die Kosten für Cloud-Data-Warehouses unter Kontrolle halten
Wenn immer größere Anteile des IT-Budgets für das Data Warehouse draufgehen, wird es Zeit, dessen Nutzung zu überwachen und den Betriebskosten auf den Grund zu gehen.
Das variable Kostenmodell ist die gängige Abrechnung in der Cloud: Je mehr Rechenleistung oder Speicher man nutzt, desto teurer wird es. Dies gilt auch für Cloud Data Warehouses, wobei die Preismodelle der einzelnen Anbieter wie zum Beispiel Snowflake, Google Big Query oder Microsoft Synapse variieren: von der zeitbasierten Abrechnung über On-Demand- oder Kapazitätspreise bis zu Pay-as-you-go-Modellen – es gibt etliche Varianten.
Welches Modell auch immer: Man möchte Verschwendung vermeiden und nicht für ungenutzte Kapazitäten zahlen. Um die Betriebskosten – die nur einen Teil der Gesamtbetriebskosten (TCO) eines Cloud Data Warehouses ausmachen – zu kontrollieren, bedarf es zunächst einer genauen Kenntnis der Kostenstruktur.
Eine Kultur des Kostenbewusstseins aufbauen
Das gilt für alle Beteiligten, von der Entwicklungsabteilung bis zu den Endanwendern. In der On-Premises-Welt hatten gewisse Tätigkeiten wie zum Beispiel Abfragen keine direkten Kostenkonsequenzen. Das ist in der Cloud anders. Jede Abfrage, jedes Laden oder Auffrischen von Daten kann Kosten generieren.
Daher ist es zunächst einmal wichtig, dass alle Stakeholder sich dieser Konsequenzen bewusst sind. Das gilt insbesondere für das gesamte Entwicklungsteam. Sie sind dafür verantwortlich Daten, zeitgemäß und in einem Zustand zu liefern, der es den Fachabteilungen ermöglicht, möglichst effizient ihre Informationen aus den Daten zu ziehen. Es geht weniger darum, allein Kosten zu sparen, sondern Ziel ist es, einen maximalen Geschäftsnutzen erzeugen, ohne Kosten durch unnötige Aktivitäten oder schlecht entworfenes Design zu verursachen.
Architektur und Planung
Egal wie das Cloud Data Warehouse genutzt wird: Zunächst braucht man eine robuste Architektur und einen klaren Plan für die Implementierung der Datenprodukte. Dabei gilt es ein Gleichgewicht zwischen den Geschäftsanforderungen, der Lösungsarchitektur und dem Kostenmanagement herzustellen.
Bei der Entwicklung ist es zunächst einmal wichtig, über den gesamten Lebenszyklus eine weitgehende Sichtbarkeit aller Designelemente, wie zum Beispiel Tabellen, Datenstrecken und Transformationen, zu bewahren. Das kann den Einsatz eines entsprechenden Werkzeugs erfordern. Ohne Sichtbarkeit kann man schnell ineffizient entwickeln, was die Kosten steigen lassen kann.
Designfehler durch Low-Code-Ansätze vermeiden
Der Einsatz einer geeigneten Entwicklungsplattform kann die Agilität steigern. Nur so lässt sich sicherstellen, dass Optimierungen zeitnah implementiert werden. Manch ein Designfehler kann teuer werden – insbesondere, wenn dadurch ein neues Laden großer Datenmengen erforderlich wird. Der Einsatz von Low-Code-Ansätzen unterstützt hier, Programmcode effizient zu gestalten und genau diese Fehler zu vermeiden.
Beim Laden von Daten und der effizienten Entwicklung von ELT-Strecken (Extract, Load, Transform) ist es ferner ratsam, kosteneffiziente Delta Loads anstatt von Full Loads zu verwenden. Dazu benötigt man allerdings auch die richtigen Werkzeuge, um dies effektiv zu implementieren.
„Die meisten Cloud-Data-Warehouse-Produkte sind heute einfach zu bedienen und bieten eine enorme Leistungsfähigkeit. Allerdings können die Kosten schnell aus dem Ruder laufen, da man für Speicher und Prozessierung zahlen muss.“
Christoph Papenfuss, Agile Data Engine
Moderne Cloud-Datenbanken bieten unterschiedliche Optimierungsmöglichkeiten, wie zum Beispiel Partitionierung und Clustering, an. Das Entwicklungsteam muss Einsicht in diese Möglichkeiten haben und auch in der Lage sein, sie effizient zu implementieren. Eine weitere Möglichkeit der Kostenkontrolle liegt in der Optimierung der Workflows. Auch hier sollte man darauf achten, dass die Data Engineers die Werkezeuge zur Hand haben, um Änderungen schnell und sicher vorzunehmen und ein unnötiges Datenprozessieren zu vermeiden. Generell gilt für die Entwicklung in Bezug auf Kosten: Je höher der Aufwand für Veränderungen ist, desto höher ist die Hürde, Optimierungen zu testen und durchzuführen. Agilität kann so helfen Kosten einzusparen.
Fazit
Die meisten Cloud-Data-Warehouse-Produkte sind heute einfach zu bedienen und bieten eine enorme Leistungsfähigkeit. Allerdings können die Kosten schnell aus dem Ruder laufen, da man für Speicher und Prozessierung zahlen muss. Eine detaillierte Kenntnis der Kostentreiber und eine Sensibilisierung des gesamten Teams ist daher wichtig. Das Entwicklungsteam kann durch eine solide Architektur und einen agilen Entwicklungsansatz einen großen Beitrag zur Kostenkontrolle leisten. Dazu muss das Team aber das richtige Werkzeug zur Hand haben.
Über den Autor:
Christoph Papenfuss ist verantwortlich für den Geschäftsaufbau am deutschsprachigen Markt des finnischen Datenspezialisten Agile Data Engine. Der Spezialist für Data Analytics hat als Unternehmensberater im Silicon-Valley-Büro von KPMG mit Unternehmen wie Apple, Electronic Arts und Daimler an Datenprojekten gearbeitet und bekleidete später Führungspositionen bei Analytikunternehmen wie Cognos, OSIsoft und msg global.
Die Autoren sind für den Inhalt und die Richtigkeit ihrer Beiträge selbst verantwortlich. Die dargelegten Meinungen geben die Ansichten der Autoren wieder.
