Entmystifizierung von Data Mesh

Was ist Data Mesh?

Data Mesh ist keine Einzellösung, sondern eine moderne architektonische Strategie, die Domänenteams in die Lage versetzt, vertrauenswürdige Datenprodukte zu erstellen, zu organisieren und zu pflegen, damit die Datennutzer zeitnahe, datengesteuerte Entscheidungen treffen können. Domänenbesitzer und Fachexperten können auf wichtige Domänendatenzugreifen, um schnell auf Datenanfragen ihrer Teams zu reagieren.

Im Gegensatz zu vielen bestehenden Ansätzen werden Datenprodukte bei einer Data-Mesh-Strategie nicht in einem zentralen Repository konsolidiert, sondern verbleiben in verteilten Datenspeichern, die mit Technologien und Prozessen ausgestattet sind, um sie leichter zugänglich und nutzbar zu machen.

Diese Idee der Dezentralisierung hat sich in der Softwareentwicklung mit Cloud-nativen Architekturen und Microservicesbereits durchgesetzt – und nun halten einige der gleichen Konzepte auch Einzug in den Daten- und Analysebereich.

Die Gelegenheit

Bei einem Data-Mesh-Ansatz ist das für einen bestimmten Datenbereich zuständige Datenteam damit betraut, Datenprodukte auf Anfrage für Datenkonsumenten bereitzustellen. Dies setzt voraus, dass die Domänenbesitzer und Fachexperten wichtige Daten auf Anfrage selbst bereitstellen.

Die Datenteams verfügen über ein besseres Verständnis der Daten und ihrer einzigartigen Anwendungsfälle, so dass sie besser in der Lage sind, den Wert ihrer Daten zu steigern und sie für Datenteams verfügbar zu machen.

Die Datenprodukte werden dann strategisch verpackt, so dass das Datenteam nicht involviert werden muss, wenn Analysten und Datenwissenschaftler Zugriff benötigen. Mit diesem Ansatz sind die Anforderungen an die einzelnen Teams überschaubarer, und die Analysten können schnell auf die benötigten Daten zugreifen.

Dies steht im Gegensatz zu großen, zentralisierten Gruppen, die bei vielen Anfragen Prioritäten setzen müssen, was zu Engpässen führt, die Tage oder Wochen dauern können.

Das Ergebnis: Größere Autonomie und menschliches Fachwissen führen zu mehr Innovation.

Herausforderungen des Data Mesh

Diese dezentralisierte Datenstrategie macht Daten zwar leichter zugänglich, birgt aber auch zusätzliche Risiken. Einige der häufigsten Herausforderungen sind:

• Standardisierung von Daten: Mit zunehmender Autonomie und verteilten Daten sind Kontrollmechanismen wichtiger denn je, um sicherzustellen, dass die Daten standardisiert, sicher und genau sind. Ein Satz von Standards und Regeln auf Organisationsebene ist erforderlich, um ein Chaos zu vermeiden, selbst bei autonom verwalteten Daten. Auf Domänenebene sind nach wie vor Standards erforderlich, und widersprüchliche Regeln können zu Unterbrechungen und minderwertigen Daten führen.
• Dateneigentum: In dem Maße, in dem die Teams mehr autonome Datenkontrolle erlangen, können auch Herausforderungen in Bezug auf die Frage auftauchen, wer Eigentümer welcher Daten ist. In vielen Fällen gibt es Überschneidungen zwischen den Datenbereichen und die Zuständigkeiten und Verantwortlichkeiten der einzelnen Bereiche sind möglicherweise nicht so klar, was zu Ineffizienzen und Doppelarbeit führt.
• Interoperabilität der Daten: Mehrere Bereiche müssen oft Datenbestände gemeinsam nutzen. Die Qualität und Formatierung kann sich bei der Erstellung von Datenbeständen durch autonomere Teams aus verschiedenen Bereichen unterscheiden, was die Interoperabilität erschwert und eine Garantie für die Datenqualität unmöglich macht.
• Auffindbarkeit und Wiederverwendbarkeit von Daten: Der Übergang zur Produktisierung von Daten erfordert auch eine Möglichkeit, Datenprodukte so zu verpacken, dass sie leicht und einheitlich auffindbar und nutzbar sind. Datenprodukte müssen richtig konzipiert und organisiert werden, damit sie im gesamten Unternehmen wiederverwendet werden können.

„Wenn Unternehmen die Möglichkeiten einer Datenverflechtungsstrategie erkunden, ist es wichtig, dass die Denkweise angepasst wird und die Strategie als ein Rahmenwerk und nicht als eine Technologie betrachtet wird.“

Frank Schulz, Precisely

Vorbereitungen für eine Data-Mesh-Strategie

Zu den wichtigsten Säulen bei der Vorbereitung einer Data-Mesh-Strategie gehören:

• Eine ausgereifte Data-Governance-Strategie zur Verwaltung und Organisation eines dezentralen Datensystems.
• Eine angemessene Governance gewährleistet, dass die Daten einheitlich zugänglich sind und die entsprechenden Sicherheitsmaßnahmen eingehalten werden. Da die Verantwortung für die Erstellung von Datenprodukten auf der Domänenebene liegt, muss die Data Governance auf der Domänenebene föderiert oder implementiert werden, um eine größere Autonomie zu erreichen, die jedoch mit einer zentralen Data-Governance-Strategie koordiniert werden muss.
• Self-Service-Zugang zu kritischen Daten auf Abruf für dezentralisierte Datenteams – damit kann flexibel auf Datenanfragen des Teams reagiert werden. Tools zur Datenbeobachtung sind ein weiterer wichtiger Bestandteil des Technologie-Stacks, der erforderlich ist, um sicherzustellen, dass Daten-Pipelines wie vorgesehen funktionieren und Fehler in Datenprodukten behoben werden können.
• Ein Kanal oder eine Infrastruktur, die es den Nutzern ermöglicht, einfach auf Datenprodukte zuzugreifen, und die es den Datenbereichen erlaubt, effektiv zu kommunizieren. Eine standardisierte Veröffentlichungs- und Entdeckungsplattform ist erforderlich, um sicherzustellen, dass Datenkonsumenten wissen, dass diese Produkte verfügbar sind. Datenkataloge oder Datenmarktplätze können verwendet werden, um den Wert der Data-Mesh-Strategie zu erhöhen.
• Genaue, umfassende, aktuelle, verständliche, zugängliche und gemeinsam nutzbare Metadaten erleichtern die Auffindbarkeit von Datenprodukten. Die Standardisierung von Namenskonventionen macht Datenprodukte auch interoperabel. DataOps-Tools und -Strategien helfen getrennten Bereichen, wiederholbare Arbeitsabläufe gemeinsam zu nutzen, wodurch Doppelarbeit vermieden und die Effizienz verbessert wird.

Ein Blick in die Zukunft: Eine Denkweise des Datennetzes

Wenn Unternehmen die Möglichkeiten einer Datenverflechtungsstrategie erkunden, ist es wichtig, dass die Denkweise angepasst wird und die Strategie als ein Rahmenwerk und nicht als eine Technologie betrachtet wird.

Neue Architekturen werden erforderlich sein, um die Strategie zu ermöglichen, wenn sich der Prozess ändert. Investitionen in Lösungen, die Datenintegrität, also genaue, konsistente und kontextbezogene Daten, liefern, werden bei der Umsetzung dieses kulturellen Wandels eine entscheidende Rolle spielen. Diese Tools werden dabei helfen, den Prozess kontinuierlich zu verbessern, aber am Anfang stehen ein Perspektivwechsel und ein kultureller Wandel in Bezug auf Dateneigentum und die Fähigkeit, Daten in wertvolle Datenprodukte zu verwandeln.

Über den Autor:
Frank Schulz ist Spezialist im Bereich Information Management und Application Integration mit einer langjährigen Karriere. Nach seinem Studium der Elektrotechnik und Betriebswirtschaftslehre legte er den Grundstein für seine berufliche Laufbahn in der IT. Mit seiner Leidenschaft für Technologie und einem tiefgreifenden Verständnis für betriebliche Abläufe hat Frank Schulz in den letzten Jahrzehnten erfolgreich Unternehmen dabei unterstützt, ihre Informationsmanagement- und Integrationsanforderungen umzusetzen. 

Die Autoren sind für den Inhalt und die Richtigkeit ihrer Beiträge selbst verantwortlich. Die dargelegten Meinungen geben die Ansichten der Autoren wieder.