Mit Datadobi unstrukturierte Daten migrieren und verwalten

StorageMAP

StorageMAP basiert auf der so genannten Mobility Engine für unstrukturierte Daten wie Dateien oder Objekte. Mittels dieser Lösung soll eine Datenvisualisierung und -Orchestrierung ermöglicht werden. Im Analytics-Modul werden die Daten gescannt und mit Tags versehen, über die dann eine detaillierte Suche und Filtern erfolgen kann. Tabellen und Grafiken geben einen Überblick, welche Daten (oder auch Abteilungen) die größten Kapazitäten nutzen sowie wie viele Kosten und welchen Kohlenstoffausstoß sie erzeugen.

Zudem lässt sich mit StorageMAP auch ein Information Lifecycle Management (ILM) umsetzen, da Daten nach Zugriffshäufigkeit gefiltert und mit Tags versehen werden können. Über die Tags werden bestimme Aktionen angestoßen, wie beispielsweise kopieren oder löschen.

Für Replikationen oder Synchronisationen kann S3, SMB oder NFS zum Einsatz kommen. Eine Skalierung erfolgt über das Hinzufügen von Proxys. Die Daten lassen sich – wie auch bei DobiMigrate zwischen unterschiedlichen Rechenzentren, Rechenzentren und Cloud-Plattformen sowie von Cloud zu Cloud verschieben. Im folgenden Beispiel sollen Daten von einem alten NAS-System verschoben und Selbiges stillgelegt werden. Dabei geht es darum, die Daten nicht einfach in einem Schwung auf einen anderen Server zu transferieren, sondern vielmehr diese Daten effizient und entsprechend ihrer Kategorisierung zu verteilen.

Im ersten Schritt wird dafür das NAS dem Analytics-Modul hinzugefügt (Abbildung 1).

Dies wird über den Button Add Scan Roots ausgeführt. Der Admin wählt den Server aus und klickt dann auf add. Danach finden sich links unter der Spalte Name der Server und die Daten wieder. Rechts sind die Informationen zu den Daten in einer Tabelle abgebildet. Darunter geben Grafiken Auskunft darüber, welche Daten wie viel Kapazität benötigen, welche Kosten sie erzeugen und wie viel Kohlenstoffausstoß dadurch entsteht (Abbildung 2).

Jetzt kann der Administrator den Daten Tags zuweisen, womit sich diese organisieren lassen. Hierfür kann zum Beispiel nach Abteilungen kategorisiert werden und den Tags dann empfohlene Aktionen zuordnen, wie Migrieren, Archivieren oder Löschen. Unser vorliegendes Beispiel zeigt, dass die ersten acht Einträge zur Abteilung Engineering gehören und alle markiert werden (Abbildung 3)

Danach erhalten auch die anderen Daten ihre Tags, in diesem Fall Finance, Manufacturing und Marketing (Abbildung 4).

Um Aktionen für die einzelnen Tags festzulegen, sollte der Administrator zunächst mit den entsprechenden Abteilungen sprechen, um herauszufinden, wie wichtig die Daten sind und was das Team mit ihnen tun möchte. Dann kann die dazugehörende Aktion hinter den Tags ausgewählt werden. Neben Archive, Migrate und Delete gibt es eine weitere Handlungskategorie: Discuss. Daten, die mit dieser Aktion gekennzeichnet sind, werden keiner Handlung ausgesetzt, da hier nicht feststeht, was mit den Daten geschehen soll und wie wertvoll sie noch für das Unternehmen sind. In unserem Beispiel werden vier Ordner der Abteilung Engineering migriert, zwei landen im Archiv und zwei weitere müssen noch einer weiteren Prüfung unterzogen werden (Abbildung 5).

Sind die Tags gesetzt, werden die entsprechenden Aktionen durchgeführt. Die Discuss-gekennzeichneten Daten können über den Planning-Reiter davon ausgenommen werden. Eine Filterung der Daten kann über Name oder Tag erfolgen, wo der Administrator eine erneute Auflistung erhält (Abbildung 6).

Die Grafiken unterhalb der Übersichtstabelle aktualisieren sich automatisch entsprechend dem ausgesuchten Datensatz beziehungsweise Filter. Auch hier werden wieder Angaben über Kapazitätsverbrauch, Kosten und Kohlenstofferzeugung der jeweiligen Daten aufgeführt (Abbildung 7).

Auch so genannte kalte Daten lassen sich über den Such-Tab durchsuchen (Abbildung 8). Die Suche kann dabei nach Zugriffshäufigkeit umgesetzt werden, beispielsweise nach Jahren, Monaten oder Tagen, in denen die Daten nicht genutzt wurden. Unser Beispiel zeigt eine Suche nach Daten, die bereits fünf Jahre inaktiv waren (Abbildung 9).

Nun lassen sich auch kalte Daten mit Tags versehen. Über den Button New Migration lässt sich das Storage und dessen Standort wählen. Danach gibt die Benutzeroberfläche einen Vorab-Check der Konfiguration frei und über den Finish-Button wird die Migration angestoßen.

Danach erscheint eine Statusübersicht in Kachelform, die unter anderem den Status Quo des ersten Scans (first scan) und des ersten Kopiervorgangs (first copy) von Quelle und Ziel anzeigt. Nach dem Kopiervorgang erscheint der Modus Steady State. Während dieser Zeit erfolgen inkrementelle Aktualisierungen der Daten im Hintergrund zwischen Source und Target, um die Daten synchronisiert zu halten. Der Pfad bleibt im Steady-Modus bis entweder ein Testlauf oder Switchover erfolgt (Abbildung 10).

Delete-Aktionen werden ebenso angelegt: Zunächst Pfad/Data auswählen und auf New klicken. Bevor irgendeine Aktion angestoßen wird, ist auch hier ein Precheck durchzuführen. Nach einem letzten Check wird ein Löschvorgang mittels Start und Execute manuell angestoßen. Das System warnt an diesem Zeitpunkt, dass mit Aktivieren des Löschvorgangs sich dieser nicht mehr umkehren lassen. Administratoren müssen also sicher sein, dass alle Daten wirklich den Tag haben, den sie benötige und dass das richtige Speicherziel ausgewählt wurde.

Um diese Konfigurationsschritte so einfach wie möglich zu gestalten, hat der Hersteller einen Wizard bereitgestellt, der in den Abbildungen zu sehen ist.

DobiMigrate

Die Benutzeroberfläche von DobiMigrate, einer virtuellen Appliance, ist so aufgebaut wie die der StorageMAP. Das User Interface ist über einen Webbrowser erreichbar. Die Lösung unterstützt eine breite Palette an Storage-Optionen, darunter verschiedene NAS-Systeme, Amazon EFS, Dell Isilon, Dell PowerStore, Dell Unity, Dell VNX/Celera, Microsoft Azure Files und Netapp-Systeme. Daten können auch hier über Multiprotokollunterstützung von SMB, NFS, Objekten und NetApp mixed qtree migriert werden. Über ein REST API können neue Migrationen erstellt werden. Das Dursuchen der Daten geschieht über Metadaten.

Bei reinen NAS-Migrationen kann der Administrator die gesamten Konfigurationseinstellungen der Quellumgebungen einsehen. Generell lasse sich Migrationen simultan gruppieren und nachverfolgen. Migrationen lassen sich über einen Kalender zeitlich planen, basierend auf der Zeit, wann sie abgeschlossen sein sollen. Die Migration lässt sich an jedem Ort innerhalb des Dateibaums anstoßen: auf Dateisystem- oder Volume-Ebene ebenso wie auf der Ebene des Directory, Subdirectory oder noch tiefer. Um die Ressourcen optimal ausnutzen zu können, lassen sich Funktionen wie Throttling und Bandbreitenzuordnung pro Proxy nutzen.

Die Daten lassen sich auch mit WORM-Eigenschaft migrieren, wobei Compliance-Zeitvorgaben überprüft werden und die Datenaufbewahrung mit MD5-Chain-of-Custody-Berichten überwacht werden können. Die WORM-Funktion unterstützt nicht nur die der oben angegebenen Storage-Systeme, sondern lässt weitere Optionen zu.

Die Lösung bietet einen iterativen Ansatz mit automatischer Nachverfolgung der zu migrierenden Änderungen. Darüber hinaus bietet sie Support für Migration Rollback. Wie bereits erwähnt, ist das Benutzer-Interface so gestaltet wie das von StorageMAP. Das heißt, wenn eine Migration angelegt wird, verfährt man wie oben beschrieben und die Statusangabe nach dem Anstoßen erscheint ebenso in der gleichen Kachelansicht. Ebenso ist das Reporting und die tiefgehenden Informationen über die Daten, die einzelnen Prozesse und Aktionsdetails sowie über die Migrationsresultate. Das Reporting gibt Auskunft über alle relevanten Systeme und Datenbanken mit Informationen über Migrationsprobleme und die Migration selbst lassen sich exportieren.

Darüber hinaus erfolgt ein Integritätscheck der Daten bei jedem Kopierprozess. Eine Überprüfung der Quelldaten durch Rücklesen ist zusätzlich möglich. Nach einem Switchover kann der Admin Daten und Metadaten verifizieren und bei Bedarf reparieren.

Das Migrations-Tool offeriert viele umfassende Funktionen sowie zahlreiche Informationsdetails und Visualisierungen, und der Hersteller verspricht schnellere Datenmigrationen und Einsparungen beim ROI.

DataProtect

DataProtect ist eine zusätzliche Lösung, mit der sich unstrukturierte Daten auf jegliche NAS-Systeme oder in die Cloud sichern lassen. Dabei sind Datentransfers von NAS zu NAS, S3- zu S3-Speicher, NAS zu S3-Speicher und NAS zu Azure Blob möglich. Dafür werden die Protokolle von NAS v3 und v4, SMB, S3 und Azure Blob unterstützt. Das Besondere daran ist, dass sich eine air-gapped goldene Kopie anlegen lässt, die vor ungewollten Zugriffen, Änderungen und Löschungen geschützt wird.

Die Sicherung kann sehr granular angelegt werden: Der Admin kann Dateien, Ordner, Shares, Exporte, Objekt-Buckets, Object-Storage-Systeme oder ganze Umgebungen für ein Backup auswählen. Eine Datenwiederherstellung kann auf jedem beliebigen NAS-System oder jeder S3-Plattform stattfinden, nicht nur auf dem originalen Quellsystem. Zusätzlich zu den Dateninhalten können auch NAS-Shares und Exporte wiederhergestellt werden. Danach werden die Dateimetadaten und Rechte wieder zugeordnet.

Die Versioning-Funktion lässt so viele Versionen wie gewünscht zu, um die Veränderungen nachzuverfolgen. Der Anwender entscheidet, welche Versionen er letztlich wiederherstellen möchte. Findet die Replikation innerhalb des gleichen Protokolls statt, so ermöglicht die Lösung ein schnelles Failover auf die goldene Kopie und stellt die Daten so lange bereit, bis die Produktionssysteme wieder aktiviert sind. Die Kopien auf dem Zielsystem werden regelmäßig validiert, um Datenintegrität zu gewährleisten. Wenn sich eine Datei in der Quelle ändert, wird sie erneut auf das Ziel übertragen.

Durch die automatische und flexible Planung der Datensicherungsläufe behalten sollen die vorgegebenen RPO unter Kontrolle bleiben. Außerdem kann der Admin den Bandbreiten- und I/O-Verbrauch kontrollieren, um betriebliche Auswirkungen auf das Geschäft und andere kritische Aktivitäten zu vermeiden. Wer seine Umgebung erweitern will, kann das mit dem Hinzufügen zusätzlicher Proxys tun. Diese sind dann auch über die zentrale Benutzeroberfläche verwaltbar.

Über eine grafische Benutzeroberfläche lassen sich alle Sicherungsaktivitäten nachverfolgen und Statusaktualisierungen in Echtzeit erhalten. Die Berichte sind jederzeit bis auf Dateiebene abrufbar. Automatische Benachrichtigungen und Statusberichterstattung sind ebenso integriert.

Starter Packs

Die Softwarelösungen sind als Lizenz beziehungsweise Abonnement erhältlich. Der Hersteller bietet für die drei oben genannten Produkte einzelne Starter Packs, mit denen Unternehmen einen leichten Einstieg finden sollen.

Das Jahresabo für StorageMAP bietet 150 TByte Kapazität für zu verwaltende Daten und 30 TByte für Datenprozesse. Darüber hinaus gibt es einen 8-Stunden-Support, der remote bereitgestellt wird. Darin enthalten sind der Projektstart, die Installation und Konfiguration, ein erster Überblick auf das Dashboard, eine Erläuterung über die Aktionen, die sich umsetzen lassen, sowie bei Bedarf zusätzlicher Support. Zum Abo gehören zudem der Zugang zum Datadobi Support Portal und Training und Zertifizierungen. Allerdings sind auch einige Dinge nicht in diesem Paket enthalten. So zum Beispiel die Migration von Objektdaten, WORM- und Compliance-Daten sowie von archivierten Daten. Darüber hinaus sind auch keine Migrationen zu NAS- oder Cloud-Gateways, zu Cloud-verwalteten File Service und zu oder von Band möglich.

Das Einsteigerangebot für DobiMigrate umfasst das Setup der Software und das Startup einer Migration, die Umstellung auf die neue Plattform sowie Support und Schulungen wir oben beschrieben. Auch hier ist das Starter Pack im Leistungsumfang ähnlich begrenzt wie bei der StorageMAP-Einstiegsofferte.

Das Starter Pack für DobiProtect offeriert Hilfe bei der Installation, stets bereitstehenden Support sowie bei Bedarf Hilfe für das Recovery. Die Lösung wird als virtuelle Appliance ausgeliefert. Redundanz kann bei Bedarf über VMM-Backup-Methoden eingerichtet werden. Der Hersteller gibt zum Pack folgende Informationen: Bei einer NAS-Quelle repliziert die Software nur Dateiinhalte, die nicht durch laufende Anwendungen exklusiv gesperrt sind. Bei der nächsten Replikationssitzung, wenn diese Sperre nicht mehr vorhanden ist, werden sie repliziert. Übersprungene Dateien werden im GUI aufgeführt.

Bei einer S3-Quelle repliziert die Lösung die aktuellste Version aller Objekte, inklusive der Metadaten. Replikationen, Failover und Failback werden nur unterstützt, wenn sie mit dem gleichen Protokoll (SMB, NFS oder S3) durchgeführt werden. Darüber hinaus empfiehlt Datadobi, historische Versionen der unstrukturierten Daten vorzuhalten. Dafür gibt es verschiedene Methoden: Für die Sicherung von Daten von NAS zu Objektspeicher verfolgt die Lösung die Versionen der Dateien und Verzeichnisse, die als separate Objekte in S3 oder Azure Blob Object Store oder bei einem Cloud-Dienst gespeichert. Bei NAS-zu-NAS-Backup werden regelmäßige Snapshots auf dem Ziel-NAS geplant und umgesetzt. Bei der Sicherung von S3 zu einem S3-Ziel wird die Objektversionierung auf dem S3-Ziel aktiviert.

Bei allen drei Methoden weist der Anbieter darauf hin, das System so zu konfigurieren, dass es ältere Versionen entsprechend den eigenen Vorgaben entfernt.

Die Starter Packs sind somit leichtgewichtige Versionen der Datadobi-Softwareprodukte, mit denen Anwender eine ersten Einblick in die Lösung bekommen und selbst mit einem eingeschränkten Leistungsumfang die Migrationsoptionen und das Management-Dashboard ausprobieren können.