So legen Sie einen Account für Azure Data Lake Gen2 an

Microsoft hat angekündigt, die Cloud-Angebote Azure Data Lake Analytics und Azure Data Lake Storage Gen1 am 29. Februar 2024 auslaufen zu lassen. Jeder Anwender, der den Gen1-Service verwendet, muss vor diesem Stichtag auf Azure Data Lake Storage Gen2 migrieren oder eine andere Alternative wählen, beispielsweise das Rückführen der dort gespeicherten Daten ins eigene Rechenzentrum oder die Migration in eine andere Cloud.

Es ist wichtig, dass Administratoren die notwendigen Maßnahmen und potenziellen Herausforderungen kennen, um ein Azure Data Lake Storage Gen2-Konto zu erstellen.

Erstellen Sie ein Azure Data Lake Storage Gen2-Konto: Schritt für Schritt

Admins können zwei Methoden verwenden, um von Gen1 zu Gen2 zu migrieren.

Unabhängig davon, welche Methode Sie verwenden, müssen Sie vor dem Migrationsprozess ein neues Speicherkonto erstellen. Außerdem müssen Sie dem Konto, das mit Ihrem Gen2-Konto verknüpft ist, die Rolle des Besitzers von Storage-Blob-Daten zuweisen. Sie müssen dem Gen1-Konto ebenfalls die Rolle des Eigentümers zuweisen.

Der Administrator kann in einem Dropdown-Menü aus zwei Kontotypen wählen:

• Standard Universell V2
• Premium Blockblob

Das allgemeine Konto unterstützt Blob Storage (inklusive Data Lake Storage), Queue Storage, Table Storage und Azure Files. Es bietet verschiedene Redundanzoptionen, darunter lokaler redundanter Speicher, georedundanter Speicher und zonenredundanten Speicher. Dieser Standardkontotyp eignet sich für die meisten Azure-Storage-Szenarien. Allerdings ist hier mit einer erhöhten Latenz bei den Datenbewegungen zu rechnen. Darüber hinaus müssen Admins, die NFS-Support wünschen, müssen Sie den Kontotyp Premium-Dateifreigaben wählen. Dieser ist aber nicht zur Datenmigration geeignet.

Das Premium-Blockblobs-Konto unterstützt Blob Storage, auch hier einschließlich Data Lake Storage. Als Redundanzenstehen georedundanter und zonenredundanter Speicher zur Verfügung. Microsoft empfiehlt dieses Konto für hohe Transaktionsraten mit kleineren Objekten und Daten, die eine gleichbleibend geringe Latenz erfordern.

Danach muss der hierarchische Namensraum (hierarchical namespace) aktiviert werden. Dazu wählt der IT-Verantwortliche in der Registrierkarte Advanced die Einstellung Enable hierarchical namespace aus.  

Die Datenmigration von Gen1 auf Gen2

Microsoft hat nicht nur angekündigt, ab Februar 2024 Azure Data Lake Storage Gen1 einzustellen, sondern auch darüber informiert, dass alle Data-Lake-Storage-Konten seit dem 1. April 2023 eingefroren wurden, die in den vorangegangenen 180 Tagen keine Lese- oder Schreibaktivität verzeichneten. Der Cloud-Anbieter empfiehlt, entsprechende Konten auszuwählen und zu migrieren. Darüber hinaus weist Microsoft darauf hin, dass die verfügbaren Leitfäden und Muster für die Azure Data Lake Storage-Migration vor einer Migrationsinstallation studiert werden sollten.

Für die Migration muss ein neu erstelltes Konto genutzt werden, das noch keinen Nutzungsverlauf aufweist. Ebenso sollte kein Konto verwendet werden, von dem Container gelöscht wurden. Darüber hinaus muss der Admin sicherstellen, dass seine Benutzeridentität im Bereich beider Speicherkonten – Gen1 und Gen2 – die Rolle des Besitzers (Owner) zugewiesen ist. Um zu gewährleisten, dass alle Daten sicher migriert werden, müssen die Datei- oder Verzeichnisnamen mit Gen2 kompatibel gemacht werden. Das heißt, falls die Bezeichnungen Leerzeichen, Tabstops, Schrägstriche, Doppelpunkte oder Punkte enthalten, müssen die Namen geändert werden.

Die von Microsoft bevorzugte Methode ist das einfache Kopieren von Daten von Gen1 nach Gen2. Um diese Art der Migration durchzuführen, gehen Sie zunächst zum Übersichtsbildschirm für Ihr Gen1 Data Lake Speicherkonto. Klicken Sie auf diesem Bildschirm auf die Schaltfläche Migrate Data (Daten migrieren), und Sie werden aufgefordert, den gewünschten Migrationsmodus auszuwählen. Wählen Sie Daten in ein neues Gen2-Konto kopieren und aktivieren Sie das Kontrollkästchen, um zu bestätigen, dass Sie den Servicevertrag von Microsoft akzeptieren. Klicken Sie auf die Schaltfläche Übernehmen und die Daten werden kopiert.

Durch den Migrationsprozess wird das Gen1-Konto schreibgeschützt, zumindest für die Dauer der Migration. Ebenso wird das Gen2-Konto deaktiviert, bis die Migration abgeschlossen ist. Die Migration lässt sich im Falle von Problemen über die Schaltfläche Migration beenden abbrechen. Nach der erfolgreichen Migration sind in beiden Konten wieder Lese- und Schreiboperationen möglich.

Die andere Möglichkeit, ein Azure Data Lake Storage Gen2-Konto zu erstellen, besteht darin, eine vollständige Migration durchzuführen, wie Microsoft es nennt. Die ersten Schritte des Migrationsprozesses sind identisch mit denen einer Kopiermigration. Rufen Sie zunächst die Übersichtsseite für Ihr Gen1-Konto auf und klicken Sie auf die Schaltfläche Daten migrieren. Anstatt die Option zum Kopieren von Daten in ein neues Gen2-Konto zu wählen, müssen Sie jedoch die Option Vollständige Migration in ein neues Gen2-Konto wählen. Auch hier müssen Sie das Kontrollkästchen zur Bestätigung aktivieren und auf die Schaltfläche Übernehmen klicken.

Microsoft empfiehlt eine Datenkopiemigration gegenüber einer vollständigen Migration, da das Gen1-Konto dabei nur für die Dauer der Migration vorübergehend deaktiviert wird. Im Gegensatz dazu wird das Gen1-Konto bei einer vollständigen Migration dauerhaft deaktiviert und nach 30 Tagen gelöscht.

Wahrscheinlich müssen Sie danach einige Bereinigungsaufgaben durchführen. Dazu gehören das Verweisen von Diensten auf den Gen2-Endpunkt, die Aktualisierung Ihrer Anwendungen zur Verwendung von Gen2-APIs, die Neuformatierung von URIs zur Verwendung von Gen2-Namenskonventionen und die Aktualisierung aller anwendbaren Skripts.

Herausforderungen bei der Einrichtung

Bei der Einrichtung von Azure Data Lake Storage Gen2-Konten gibt es verschiedene Herausforderungen, die den Prozess zum Scheitern bringen könnten.

Erstens müssen Sie laut Microsoft alle Ihre Azure Data Lake Analytics-Konten auf Azure Synapse Analytics - oder eine andere unterstützte Plattform, falls verfügbar - migrieren. Andernfalls erhalten Sie eine Fehlermeldung, dass Azure nicht in der Lage war, den Migrationsprozess zu initialisieren. Das Unternehmen wird auch Azure Data Lake Analytics im Februar 2024 einstellen.

Sie müssen ein neues Speicherkonto verwenden, auch wenn es noch leer ist. Das Konto, das Sie erstellen, muss die Funktion für hierarchische Namensräume aktiviert haben.

Darüber hinaus werden bestimmte Datei- und Verzeichnisnamen, die in Gen1 gültig waren, in Gen2 nicht unterstützt, wie bereits erwähnt. Dazu gehören Namen, die nur aus Leerzeichen oder Tabulatoren bestehen, Namen mit mehreren Schrägstrichen und Namen, die mit einem Punkt enden oder einen Doppelpunkt enthalten. Sie müssen jede Datei oder jeden Ordner mit einem dieser nicht unterstützten Namen umbenennen, bevor Sie eine Migration durchführen können.

Es kann passieren, dass Konten aufgrund bestimmter Einschränkungen nicht für die portalbasierte Migration geeignet sind. Falls die Schaltfläche Daten migrieren nicht aktiviert ist, muss der Anwender eine Supportanfrage stellen. Dafür muss der Nutzer über einen Supportplan verfügen. Darüber hinaus sind hilfreiche Tipps unter Microsoft Q&A zu finden.

Einrichtung und Verwaltung im Vergleich zu Gen1

Ein Gen2 Data Lake wird Container verwenden, auch wenn Ihre Gen1-Umgebung dies nicht tat, da die Containerstruktur im Migrationsprozess verwendet wird. Azure wird automatisch einen Container mit dem Namen Gen1 erstellen. Der Gen1-Container wird als Repository für die migrierten Daten dienen. Sie können den Gen1-Container nicht umbenennen, aber sobald der Migrationsprozess abgeschlossen ist, können Sie einen neuen Container erstellen und Daten nach Bedarf verschieben.

Nach Abschluss des Migrationsprozesses können Sie die geografisch redundante Speicherung aktivieren, allerdings nur, wenn Sie nicht vorhaben, die Anwendungskompatibilitätsschicht zu verwenden. Die Verwendung von geografisch redundantem Speicher führt zum Ausfall der Anwendungskompatibilitätsschicht.

Schließlich werden bei der Migration nur Daten, nicht aber Einstellungen migriert. Daher müssen Sie alle anwendbaren Einstellungen, wie zum Beispiel die Verschlüsselung und die Verwendung der Firewall, manuell neu konfigurieren.