6 Tipps für das Sichern und Verwalten von Metadaten
Metadaten sind wichtig für die optimale Nutzung von Daten, daher sollten Firmen sie richtig speichern. Zu bewährten Verfahren gehören Schutz und Verständnis der IT-Architektur.
Unternehmen generieren Metadaten so schnell, dass dies zu einer der größten Herausforderungen für Big Data geworden ist. Es ist jedoch nicht immer klar, wie und wo all diese Informationen am besten gespeichert werden sollen.
Vieles hängt davon ab, wie Unternehmen die Metadaten verwalten und nutzen und ob sie diese von den Primärdaten trennen. Viele Firmen legen ihre Metadaten in einem zentralen Repository ab, um die Abläufe zu verbessern und die Informationen besser nutzen zu können. Daher steht die Frage der Metadatenspeicherung im Mittelpunkt des Interesses.
Was ist die Speicherung von Metadaten und warum ist sie so wichtig?
Einfach ausgedrückt, sind Metadaten Daten über Daten. Sie können eine Vielzahl von Informationen über eine Datei enthalten, je nach Art der Datei und der Art der Speicherung. Die Metadaten einer Datei können zum Beispiel Folgendes enthalten:
Dateiname
Eigentümer
Größe
Typ der Datei
Datum und Uhrzeit der Erstellung
GPS-Koordinaten des Ortes, an dem die Datei erstellt wurde
Urheberrechtsinformationen
Datenabstammung
Abbildung 1: Es gibt verschiedene Anwendungsszenarien, in denen Metadaten zum Einsatz kommen.
Obwohl Anwendungen Metadaten oft automatisch generieren, können Unternehmen sie auch manuell hinzufügen und anpassen.
Mit dem wachsenden Datenvolumen hat sich auch die Bedeutung von Metadaten für die Verwaltung und Optimierung von Daten erhöht. Metadaten erleichtern das Indizieren, Finden, Sortieren und Kategorisieren von Daten. Sie helfen, die Daten durch erweiterte Analysen besser zu verstehen. Metadaten tragen auch dazu bei, die Datenqualität zu verbessern, die Datenverwaltung zu optimieren, die Speicherverwaltung zu vereinfachen und die Produktivität zu steigern, was alles zu effizienteren Abläufen und niedrigeren Kosten führen kann.
Das Storage von Metadaten muss den Anforderungen der übergeordneten Metadatenverwaltungsstrategie entsprechen, indem sie ein sicheres und effizientes System für das Hosting der Daten bereitstellt.
Um diese Vorteile zu nutzen, muss ein Unternehmen jedoch ein System für die effektive Speicherung und Verwaltung von Metadaten einrichten. Der Metadatenspeicher muss die Anforderungen der übergeordneten Metadatenverwaltungsstrategie erfüllen, indem sie ein sicheres und effizientes System für das Hosting der Daten bereitstellt. Ohne ein sorgfältig geplantes und implementiertes Speichersystem kann die Leistung leiden, Datenressourcen können schwer zu finden sein und Metadaten können sogar verloren gehen. Das Speichersystem muss sicherstellen, dass die Metadaten ständig verfügbar sind.
Bewährte Verfahren für das Sichern und Verwalten von Metadaten
Bei einem Metadatenverwaltungssystem, das sich auf ein zentrales, von den Quelldaten getrenntes Repository stützt, müssen die Storage-Teams mehrere Faktoren berücksichtigen, darunter die Art und Weise, wie sie die Plattform implementieren und verteilen werden.
1. Unternehmensübergreifendes Konzept
Die Strategie des Teams für die Sicherung von Metadaten sollte Teil der umfassenderen Metadatenmanagementstrategie des Unternehmens sein, die wiederum Teil der umfassenderen Data-Governance-Richtlinie des Unternehmens sein sollte. Eine wirksame Metadatenverwaltung erfordert die Beteiligung des gesamten Unternehmens, einschließlich des für die Metadatenspeicherung zuständigen Teams.
Involvieren Sie alle relevanten Teams für die Definition von Metadatenzielen und der Umsetzung von Standards. Auf diese Weise kann das Team eine wichtige Perspektive in die Diskussion einbringen und mit der Arbeit an der Basis beginnen.
2. Betrachten Sie das große Ganze
Obwohl sich das Storage-Team in erster Linie auf die Speicherung von Metadaten konzentriert, sollte es die zugrunde liegende Infrastruktur und Technologie, die die Metadaten unterstützen wird, gut kennen. Dafür müssen die Verantwortlichen verstehen, welche Komponenten das Unternehmen einsetzen wird, wie diese Komponenten zusammenpassen und wie die Metadaten zwischen diesen Komponenten übertragen werden, bevor sie schließlich im Speicher abgelegt werden.
Das Team muss diese Details kennen:
wie die Organisation den Katalog implementieren wird
welches Datenbanksystem verwendet werden soll
zusätzliche Informationen (außer Metadaten), die im Katalog gespeichert werden müssen
wie unterstützende Anwendungen eingesetzt werden sollen
ob es eine Abstraktionsschicht geben wird
welche Management-Tools von Drittanbietern verwendet werden sollen
alle anderen Informationen über die verschiedenen Systeme, die sich auf das Storage auswirken könnten
3. Skalierbarkeit in der Planung berücksichtigen
Das Storage-Team sollte eine klare Vorstellung davon haben, wie die Plattform für die Metadatenverwaltung skaliert werden kann, um die Anforderungen der Benutzer zu erfüllen. Überlegen Sie beispielsweise, wie viele Standorte Sie einrichten wollen und wie viele Speicherknoten pro Standort. Verstehen Sie, wie das Unternehmen die Metadaten verteilen wird. Sie sollten eine klare Vorstellung davon haben, wie die Speichersysteme skaliert werden müssen, um den künftigen Bedarf zu decken.
4. Behandeln Sie Metadaten nicht als zweitrangig
Bis vor kurzem waren Metadaten für die meisten Unternehmen kaum ein Thema, doch mit dem Wachstum großer Datenmengen und den Verbesserungen bei den Analysetechnologien haben Firmen deren Wert erkannt. Stellen Sie daher sicher, dass das Speichersystem die erwarteten Leistungsanforderungen erfüllt, unabhängig von der Plattform. Das Metadaten-Repository spielt eine entscheidende Rolle beim Zugriff auf Ressourcen, so dass ein Metadatenspeicher, der keine gute Leistung erbringt, einen erheblichen Engpass beim Datenzugriff darstellen kann.
Die Leistungsanforderungen steigen weiter, wenn Unternehmen von einem passiven zu einem aktiven Metadatenmodell übergehen. Passive Metadaten sind relativ statisch. Aktive Metadaten sind intelligenzgesteuert und arbeiten in Echtzeit, so dass sie ständig Informationen aus dem gesamten Netzwerk sammeln.
5. Datenanforderungen bewältigen
Das Storage-Team muss sich ein vollständiges Bild von den zu speichernden Daten machen - nicht nur von den Metadaten, sondern auch von allen Daten, die die Plattform für das Metadatenmanagement unterstützen. Die Gesamtmenge der Daten ist der wichtigste Teil der Planung. Stellen Sie genügend Kapazität zur Verfügung, um die von der Metadatenplattform durchgeführten Operationen zu unterstützen, einschließlich der Extraktion von Metadaten, anderer Extraktions-, Transformations- und Ladeprozesse und anderer unterstützender Tools oder Systeme, die Speicherplatz benötigen.
Die Nutzung von Objektspeichern nimmt zu. Berücksichtigen Sie die Tatsache, dass Metadaten für Objektspeicher in hohem Maße anpassbar sind, was die Gesamtdatenmenge erhöhen kann. Legen Sie fest, ob die Metadaten als Binär- oder Textdaten gespeichert werden sollen, wie lange sie aufbewahrt werden sollen, ob sie archiviert werden sollen und wie viel Speicherplatz für Analysen benötigt wird.
6. Schützen Sie die Metadaten wie alle anderen Unternehmensdaten
Metadaten können sensible Informationen enthalten und Angriffspunkte für Cyberangriffe bieten. Ergreifen Sie die notwendigen Maßnahmen zur Implementierung einer sicheren Speicherumgebung und zur Einhaltung der geltenden Gesetze und Vorschriften. Schützen Sie sich vor Datenverlusten, die durch Naturkatastrophen, Cyberangriffe, unsachgemäßen Umgang mit Daten oder andere bedrohliche Umstände entstehen können. Nutzen Sie Tools wie Replikation, Backups oder Air-Gapped-Archive. Darüber hinaus kann ein Unternehmen seine Metadaten auch dazu nutzen, Daten zu schützen und die geltenden Vorschriften einzuhalten - vorausgesetzt, die Metadaten selbst sind aktuell und zuverlässig.
Weitere Überlegungen und Beispiele für die Sicherung von Metadaten
Ein Unternehmen kann Metadaten zusammen mit den Quelldaten oder an einem separaten Ort speichern. Wenn die Metadaten zusammen mit den Daten gespeichert werden, sind sie oft in dieselbe Datei wie die Primärdaten eingebettet, wobei die Überlegungen zur Metadatenspeicherung im Wesentlichen denen für die Primärdaten entsprechen. In diesem Fall sind die Überlegungen zur Speicherung der Metadaten ähnlich wie bei den Primärdaten. In einigen Fällen werden die Metadaten in externen Dateien gespeichert, die zu den Hauptdaten gehören.
Halten Sie die Metadaten in der Nähe der eigentlichen Daten, um einen einfachen Umgang mit den Metadaten und der damit verbundenen Speicherung zu ermöglichen. Die Metadaten bleiben bei den Primärdaten, wenn diese verschoben werden, und können leicht gelesen und aktualisiert werden. Wenn jedoch die Metadaten aus der Datendatei entfernt werden oder die externe Metadatendatei entfernt wird, gehen die Vorteile beider Ansätze verloren. Keiner der beiden Ansätze ermöglicht eine zentrale Verwaltung im gesamten Netzwerk, was mit dem wachsenden Datenvolumen und der zunehmenden Bedeutung von Metadaten ein immer größeres Problem darstellt. Die wachsenden Datenmengen erschweren auch die Suche nach bestimmten Daten, wenn die Metadaten zusammen mit den Daten gespeichert werden.
Aufgrund dieser Einschränkungen speichern viele Unternehmen ihre Metadaten heute in einem zentralen Repository, das von den Quelldaten getrennt ist. Ein zentrales Metadaten-Repository oder ein zentraler Metadatenkatalog ist in der Regel Teil einer umfassenderen Strategie für das Metadatenmanagement, bei der die Metadaten aus den Quelldaten extrahiert und im Repository gespeichert werden. Ein zentrales Repository erleichtert die Suche nach bestimmten Datentypen im gesamten Unternehmen, unabhängig von der Größe des Datenvolumens oder dem Speicherort der Daten. Dieser Ansatz rationalisiert auch die Verwaltung, was zu effizienteren Abläufen und konsistenteren Metadaten im gesamten Unternehmen führt.
Trennen Sie die Metadaten von den Daten, um einen Speicher einzurichten, der am besten für metadatenspezifische Workloads geeignet ist. Ein zentralisiertes Repository kann erweiterte Analysen erleichtern, um mehr Wert aus den Metadaten zu ziehen. Die Metadaten sind von den Daten getrennt, so dass der Speicher metadatenspezifische Arbeitslasten aufnehmen kann. In einigen Fällen kann ein Unternehmen einen hybriden Ansatz für die Metadatenverwaltung wählen, indem es ein zentrales Repository einrichtet, die Metadaten aber in einigen Dateien eingebettet lässt.
Ein zentralisierter Ansatz bringt andere Herausforderungen mit sich. Wenn die Metadaten nicht mehr mit den Daten übereinstimmen, können die Metadaten weniger nützlich sein. Das Verwaltungssystem muss in der Lage sein, die Metadaten kontinuierlich mit den Quelldaten abzugleichen, um eine kontinuierliche Genauigkeit zu gewährleisten - ein Prozess, der sich auf die Speicherressourcen auswirken kann. Ein Metadatenverwaltungssystem ist möglicherweise nicht in der Lage, die Metadaten in bestimmten Dateien zu verstehen. In diesem Fall muss das System die Metadaten in einem binären großen Objektspeicher speichern, damit ein Drittanbieter-Tool darauf zugreifen kann. Selbst wenn diese Faktoren kein Problem darstellen, muss das Speicherteam sicherstellen, dass es über den richtigen Speicher verfügt, um die für ein Metadaten-Repository typischen leseintensiven Workloads zu unterstützen.
