sdecoret - stock.adobe.com
Wie Unternehmen eine Data-Mesh-Architektur entwickeln
Ein dezentraler Ansatz gibt Nutzern die Verantwortung für ihre Daten zurück und fördert die Datenkollaboration im Unternehmen. Was gilt es bei der Einführung zu beachten?
Daten aus verschiedenen Systemen und Quellen im großen Umfang sammeln, in einem Data Warehouse oder Data Lake aufbereiten und speichern, um zentral Nutzen daraus zu ziehen – ein Ansatz, mit dem viele Unternehmen bislang gut gefahren sind.
Doch der Umgang mit Daten ändert sich und damit auch die Anforderungen an das Datenmanagement. So benötigen Unternehmen ihre Analysen zunehmend in Echtzeit, beispielsweise im Kundenservice. Durch den Einsatz innovativer Technologien wie Machine Learning oder Automatisierung werden Daten zudem in immer mehr Bereichen verwendet. Ganz zu schweigen davon, dass die Datenmengen selbst rasant anwachsen.
Eine zentrale, monolithisch organisierte Datenarchitektur kann mit diesen Entwicklungen oft nicht mehr Schritt halten. Schwerfällige Prozesse bei der Datenverarbeitung und lange Wartezeiten, bis Mitarbeitende auf die benötigten Informationen zugreifen können, sind nicht nur frustrierend für alle Beteiligten, sondern führen auch dazu, dass wertvolle Datenschätze ihr Potenzial nicht voll entfalten können.
Data Mesh – Datenmanagement neu gedacht
Um diese Probleme zu vermeiden, verfolgt das Konzept des Data Mesh einen dezentralen Ansatz, Daten zu speichern, zu verwalten und zu nutzen. Das Prinzip wurde bereits 2019 von der Unternehmerin Zhamak Dehghani entwickelt. Der Grundgedanke dabei ist, dass definierte Fachbereiche, sogenannte Datendomänen, ihre eigenen Daten managen. Jede Domäne – in der Praxis sind das meist Abteilungen wie beispielsweise Marketing, Sales, HR oder Finance – ist selbst für die Verwaltung und Qualitätssicherung ihrer Daten verantwortlich.
Die Daten werden dabei als eigenständige Produkte betrachtet und behandelt. Das heißt, sie werden nach klaren Geschäftskriterien bewertet, wie zum Beispiel Nutzen, Qualität und Kosten. Alle Domänen haben Zugriff auf eine Plattform, die als zentrale Dateninfrastruktur fungiert. Sie bietet die erforderlichen Ressourcen, Tools und Services, um schnell und effektiv Datenprodukte erstellen zu können. Governance-Entscheidungen wie Richtlinien, Standards und Best Practices werden ebenfalls von einer zentralen Gruppe aus getroffen, in der Vertreter der einzelnen Domänen zusammenarbeiten.
Strategie für die Datenarchitektur festlegen
Es gibt keine Blaupause für eine erfolgreiche Umsetzung einer Data-Mesh-Strategie, da jedes Unternehmen ganz unterschiedliche Voraussetzungen und Anforderungen mitbringt. Generell gilt jedoch: Im ersten Schritt steht die Analyse, wie der neue Ansatz auf die Unternehmensziele einzahlen kann und die Entwicklung einer Strategie, in welchen Handlungsfeldern Data Mesh eingesetzt werden soll. In diesem Zuge ist auch zu klären, welche Datenquellen und -prozesse es bereits gibt, welche Daten genutzt werden können und welche Daten als kritisch zu bewerten sind.
Damit die Verantwortlichkeiten und Aufgaben klar geregelt sind, wird außerdem für jede Datendomäne ein Data Owner bestimmt. Je nach Größe des Unternehmens kann das eine einzelne Person oder ein Team sein. In ihrem Zuständigkeitsbereich liegt es, die Datenprodukte innerhalb der eigenen Domäne regelmäßig zu pflegen und zu aktualisieren. Die Data Owner verwalten außerdem Zugriffsrechte auf Daten und Datenprodukte innerhalb ihrer Domäne und stellen sicher, dass die Datenschutzbestimmungen eingehalten werden.
Abteilungsübergreifende Zusammenarbeit
Der dezentrale Ansatz bedeutet nicht, dass jede Abteilung vollständig unabhängig agiert. Auch in einer Data-Mesh-Architektur wird daher eine zentrale Governance-Struktur aufgebaut, die Genehmigungsprozesse sowie Kontroll- und Überwachungsmechanismen festlegt. Einheitliche Datenmodelle sowie eine gemeinsame Sprache für die Datenanalyse erleichtern die Kommunikation zwischen den Teams.
Eine entscheidende Rolle für die effektive und sichere Zusammenarbeit der Domänen spielt außerdem die gemeinsame Federated Data Platform. Bei der Auswahl sollte man darauf achten, dass die Plattform in der Lage ist, eine Vielzahl von Datenquellen unabhängig von ihrem Format zu integrieren. Wichtig sind auch eine hohe Skalierbarkeit und Flexibilität, um den Anforderungen der verschiedenen Domänen langfristig gerecht zu werden. Die Plattform sollte außerdem mit unterschiedlichen Werkzeugen und Systemen interagieren können, wie Tools zur Datenanalyse oder Machine-Learning-Systeme.
Umsetzung der ersten Datenprodukte – je konkreter, desto besser
Als Einstieg in den Aufbau einer Data-Mesh-Architektur eignen sich einzelne, konkrete Anwendungsfälle mit einem eindeutigen Ziel und Nutzen. Auf diese Weise können die Domänen Erfahrungen sammeln und schnell positive Ergebnisse erzielen. Das motiviert die Mitarbeitenden und schafft Vertrauen in die neuen Datenprozesse.
Ein Data Mesh-Projekt für ein E-Commerce-Unternehmen kann beispielsweise sein, die Kundendaten für personalisierte Empfehlungen zu nutzen. Die Zufriedenheit der Kunden zu erhöhen und den Umsatz zu steigern, werden dabei als Ziele definiert. Verschiedene Abteilungen wie Marketing, Vertrieb und IT arbeiten interdisziplinär zusammen, um Daten aus Quellen wie Klickraten, Einkaufsverhalten, Produktdaten sowie Kundenumfragen und -bewertungen zu verarbeiten und zu analysieren.
Der Ablauf dieses Projekts kann folgendermaßen aussehen:
- Identifizierung des Anwendungsfalls: Es wird eine personalisierte Empfehlungs-Engine erstellt, die den Kunden Produkte vorschlägt, die auf ihre Interessen und Einkaufsgewohnheiten zugeschnitten sind. Ziel ist es, die Conversion Rate und den Umsatz des Onlineshops zu erhöhen.
- Datensammlung und Datenvorbereitung: Die Datenquellen werden identifiziert und die notwendigen Daten gesammelt. Dazu gehören Kundendaten, Kaufhistorien und Produktinformationen. Diese müssen bereinigt, transformiert und aufbereitet werden, um sicherzustellen, dass sie für das Modellieren und Analysieren geeignet sind.
- Modellierung und Analyse: In dieser Phase werden verschiedene Modelle für die Empfehlungs-Engine entwickelt und getestet. Hierfür können Machine-Learning-Modelle wie Collaborative Filtering oder Content-Based Filtering verwendet werden.
- Implementierung: Die personalisierte Empfehlungs-Engine wird in die Produktionsumgebung des Onlineshops integriert und getestet.
- Monitoring und Evaluierung: Eine kontinuierliche Überwachung der Engine stellt sicher, dass sie die Ziele erreicht und ordnungsgemäß funktioniert. Dabei werden auch Kennzahlen wie Conversion Rate und Umsatz berücksichtigt.
- Optimierung: Basierend auf den Ergebnissen des Monitoring und der Evaluierung können die Performance und die Ergebnisse nachgebessert werden.
- Wartung und Support: Regelmäßige Wartung sorgt dafür, dass die Empfehlungs-Engine reibungslos funktioniert und den Geschäftsanforderungen entspricht.
Durch die Self-Service-Infrastruktur von Data Mesh lassen sich solche Projekte effizienter umsetzen, da jedes Team unabhängig arbeiten kann und nicht warten muss, dass die benötigten Daten zur Verfügung gestellt werden. Da sie außerdem die Verantwortung für ihre Daten tragen, haben sie deren Qualität selbst in der Hand und können die Aussagekraft der Empfehlungs-Engine beeinflussen, indem sie beispielsweise geeignetere Daten verwenden. Ebenfalls wichtig im schnelllebigen Onlinegeschäft: Die Reaktionszeit auf Probleme oder Veränderungen verkürzen sich deutlich, da die Mitarbeitenden selbstständig Anpassungen vornehmen oder bei Bedarf flexibel neue Datenquellen integrieren können.
Mehr als eine neue Technologie
Unternehmen, die große Mengen an Daten aus unterschiedlichen Quellen verarbeiten und über eine hohe Zahl an Datennutzern und Datenanwendungen in verschiedenen Geschäftsbereichen verfügen, profitieren besonders von der Einführung einer Data-Mesh-Architektur. Der schnelle Zugriff auf die relevanten Daten der jeweiligen Teams dient als Grundlage für weiterführende Funktionen wie Advanced Analytics. Wichtig ist daher auch eine leistungsfähige Datenbank, die gewährleistet, dass Daten im Handumdrehen und zuverlässig abgerufen werden können. Ohne eine solide Datenbankinfrastruktur ist es schwer, die Flexibilität und Skalierbarkeit zu erreichen, die für Data Mesh erforderlich sind.
„ Durch die Self-Service-Infrastruktur von Data Mesh lassen sich solche Projekte effizienter umsetzen, da jedes Team unabhängig arbeiten kann und nicht warten muss, dass die benötigten Daten zur Verfügung gestellt werden.“
Dr. Jens Graupmann, Exasol AG
Damit die Umsetzung reibungslos über die Bühne geht und die Mitarbeitenden die neuen Möglichkeiten schnell für ihre Arbeit nutzen können, sollten sich die Verantwortlichen jedoch darüber im Klaren sein, dass sie nicht einfach nur eine Technologie oder Dateninfrastruktur implementieren. Data Mesh ist ein soziotechnischer Ansatz, mit dem Ziel, eine Kultur der Zusammenarbeit, der Kommunikation und der Verantwortlichkeit zu fördern, bei der Daten als wichtiger Geschäftswert erkannt werden.
Voraussetzung ist ein Umfeld, im dem jeder bereit ist, seine Daten und seine Arbeit mit anderen zu teilen und Feedback anzunehmen. Um dies im Unternehmen zu etablieren, ist es wichtig, die Bedürfnisse und Perspektiven aller Beteiligten zu berücksichtigen, die Mitarbeitenden von Anfang an in die Veränderungen einzubinden und so zu schulen, dass sie die notwendigen Fähigkeiten und Kenntnisse haben, um erfolgreich mit der neuen Dateninfrastruktur und den neuen Prozessen umzugehen. Nur wenn neben den technischen Kompatibilitäten auch die Ziele, Prioritäten und Verantwortlichkeiten genau definiert sind, alle Beteiligten verstehen, was von ihnen erwartet wird und Sinn und Zweck von Data Mesh klar kommuniziert wird, kann das gesamte Unternehmen die neuen Analysemöglichkeiten sinnvoll nutzen und die Wertschöpfung der eigenen Daten verbessern.
Über den Autor:
Dr. Jens Graupmann ist Senior Vice President of Product & Innovation bei der Exasol AG. Als promovierter Informatiker betreut und führt er den Bereich Product Management und befasst sich u.a. mit den Themen IT-Management, Business Development sowie SaaS und Cloud Solutions.
Die Autoren sind für den Inhalt und die Richtigkeit ihrer Beiträge selbst verantwortlich. Die dargelegten Meinungen geben die Ansichten der Autoren wieder.
