Amazon FSx: So funktioniert Netapp ONTAP in der Cloud

Die File-System-Angebote unter Amazon FSx im Kurzüberblick

Es gibt einige Unterschiede und Gemeinsamkeiten der vier oben genannten File Services. Allen gemein ist, dass sie über die gleichen Compliance-Zertifikate verfügen: HIPAA BAA, PCI/DSS, ISO, SOC, IRAP, GDPR, ISMAP, FINMA, MTCS, C5, ENS High, OSPAR und HITRUST CSF. Abgesehen von einigen wenigen Einschränkungen scheint die NetApp-Lösung den größten Leistungsumfang zu bieten. Lediglich regionsübergreifende/kontoübergreifende Backups sowie der automatische Import/Export von S3-Datensätzen sind auf der Amazon-Feature-Liste nicht aufgeführt.

Dafür gewährleistet ONTAP in der AWS-Cloud eine Hybridnutzung, die weder OpenZFS noch Lustre bieten. Windows Server ermöglicht hier nur eine lokale Zwischenspeicherung von FSx-Daten über das FSx File Gateway. NetApp kann hier mit seinen Lösungen FlexCache, SnapMirror und Global File Cache mehr Optionen bieten. Als einziger File Service integriert ONTAP auch einen Antivirus-Scan. Datendeduplizierung wird von Windows Server und ONTAP geboten, alle vier Dateisysteme gewährleisten eine Komprimierung.

Die umfassendste Protokollunterstützung kommt ebenso von ONTAP mit SMB 2.0, 2.1,

3.0, 3.1.1), NFS (3, 4.0, 4.1, 4.2) und iSCSI (gemeinsam genutzter Blockspeicher). OpenZFS unterstützt verschiedene NFS-Versionen (3,4.0,4.1, 4.2), während Windows Server SMB-Support bietet (2.0, 2.1, 3.0, 3.1.1). Lustre nutzt ein benutzerdefiniertes (POSIX-konform), leistungsoptimiertes Protokoll.

Im Bereich Compute können alle vier Lösungen EC2, ECS (Elastic Container Service) und EKS (Elastic Kubernetes Service) nutzen. Zwar bietet ONTAP eine nahezu unbegrenzte Skalierbarkeit des Dateisystems – hunderte von Petabytes – , aber hat einen geringeren Datendurchsatz (2-3 GB/s) als OpenZFS (bis zu 12,5 GB/s) oder Lustre (1.000 GB/s). Bei der Performance bieten Windows Server und ONTAP bis zu Hunderttausenden IOPS pro Dateisystem, wobei OpenZFS bis zu einer Million und Lustre bis zu mehrere Millionen IOPS pro Dateisystem bieten.

Natürlich muss man vorsichtig bei diesen Vergleichen sein, da die Dateisysteme für unterschiedliche Anwendungsszenarien konzipiert wurden. So wird Lustre häufig im HPC-Umfeld (High Performance Computing) eingesetzt, dass andere Anforderungen an Speicher- und Rechenressourcen stellt.

Amazon FSx for NetApp ONTAP

NetApp ist ein etablierter Anbieter von NAS-Lösungen. Seine FAS-Systeme basieren auf dem Dateisystem ONTAP, das derzeit in der Version 9.10.1 verfügbar ist. Die Software ermöglicht den Systemen folgende verschiedene Architekturen:

• Metro Cluster (herkömmliche Architektur)
• Asynchrone Replikation mit SnapMirror
• SnapVault

Diese sonst nur auf der Hardware zum Einsatz kommenden Konfiguration lassen sich nun auch in der AWS-Cloud nutzen. Statt wie am eigenen Standort unterschiedliche Brandabschnitte oder Rechenzentren zu verwenden, kommen hier Verfügbarkeitszonen (Availability Zones, AZ) zum Einsatz. Damit soll unterbrechungsfreier Datenzugriff garantiert werden, selbst wenn eine AZ ausfällt. Dafür sind Multi-AZ-Dateisysteme so konfiguriert, dass sie einen aktiven und einen Standby-Dateiserver in separaten Verfügbarkeitszonen haben.

Alle Änderungen, die im Dateisystem auf die Festplatte geschrieben werden, werden synchron über AZs hinweg auf den Standby-Server repliziert. Während geplanter Wartungsarbeiten oder im Falle eines Ausfalls des aktiven Dateiservers oder seiner AZ wird Amazon FSx automatisch auf den Standby-Server umgeschaltet. Die Daten werden hierfür nicht nur innerhalb einer AZ, sondern auch zwischen AZs repliziert. Ist die aktive AZ wieder aktiviert, erfolgt ein Failback zur primären Verfügbarkeitszone.

Wie oben erwähnt, unterstützt ONTAP multiple Protokolle und zusätzlich zu den genannten Amazon-Instanzen auch noch VMware Cloud on AWS, Amazon WorkSpaces und Amazon AppStream 2.0-Instanzen. Durch die Multiprotokoll-Unterstützung lassen sich die Daten von jedem Windows-, Linux- oder Mac-Client abrufen. Darüber hinaus ist auch blockbasierter Zugriff durch iSCSI-Support gegeben.

Um auch den Cloud Storage optimal nutzen zu können, stehen dem Anwender verschiedene Funktionalitäten zur Verfügung. Dazu gehören:

• Elastisches Pool-Tiering (für Kapazität)
• Kompression und Deduplizierung (für Systemspeicher und für Backups)
• Flexibles Storage-Management
• Flexible Durchsatz- und IOPS-Optionen

Für das Pool-Tiering verfügt jedes Dateisystem über zwei Speicherebenen (Storage Tiers): den Primärspeicher und den Kapazitätspoolspeicher. Der Primärspeicher ist ein skalierbarer, hochleistungsfähiger SSD-Speicher, der speziell für den aktiven Teil des Datensatzes entwickelt wurde. Capacity Pool-Storage ist eine vollständig elastische Storage-Ebene, die bis zu einer Größe von Petabytes skaliert werden kann und für Daten, auf die nur selten zugegriffen wird, gedacht ist.

Der Cloud-File-Service transferiert Daten basierend auf vorgegebenen Zugriffsmustern automatisch vom SSD-Storage in den Capacity Pool-Storage. Der Kapazitätspoolspeicher skaliert automatisch nach oben oder unten. Darüber hinaus gibt es verschiedene Tiering-Richtlinien, die festlegen, wie die Daten verschoben werden sollen.

Kompression und Deduplizierung sind bewährte Verfahren, um den Speicherplatz besser zu nutzen. Da auch der günstigste Cloud-Speicher Kosten anfallen lässt, ist ein Einsatz dieser Datenreduzierungsmethoden nützlich. Für flexibles Management lässt sich jedes Volume per Thin Provisioning einrichten.

Das bedeutet, es wird nur die Speicherkapazität für die im Volume gesicherten Daten genutzt. Der Anwender legt die Größe für jedes Volume fest und limitiert so die Datenmenge, die ein Volume speichern kann. Die Größe kann jederzeit beliebig nach oben oder unten skaliert werden. Es lassen sich zudem auch Benutzer-/Gruppen-Kontingente auf Volumes anwenden, um den Kapazitätsbedarf für Nutzer und Anwendungen zu managen.

Ebenso können verschiedene Durchsatz- und IOPS-Ebenen gewählt werden, um dem Leistungsbedarf der Workloads zu entsprechen. Diese Ebenen sind unabhängig voneinander und unabhängig von der Kapazitätsebene konfigurierbar. Der Administrator kann das Management über die folgenden AWS-native Tools oder über NetApp-Optionen umsetzen:

• AWS Management Console, AWS Command Line Interface (AWS CLI), and SDKs
• NetApp ONTAP CLI, REST API, and Cloud Manager

Darüber hinaus stellt der ONTAP-Cloud-Service auch unterschiedliche Funktionen für die Sicherheit und die Data Protection bereit:

• Verschlüsselung von Daten und Backups im Ruhezustand (at rest) mit AWS KMS-Schlüsseln
• Verschlüsselung der Daten während des Transfers (in transit) mit SMB Kerberos Session Keys
• Antiviren-Scans bei Bedarf (AWS-Tool)
• Authentifizierung und Autorisierung mit Microsoft Active Directory
• Audits für den Dateizugriff
• Zugriffskontrolle auf Dateisystemebene über Amazon Virtual Private Cloud (Amazon VPC) Sicherheitsgruppen
• Zugriffskontrolle auf API-Ebene mittels AWS Identity und Access Management (IAM)-Zugriffsrichtlinien.
• Zugriffskontrolle auf Datei- und Ordnerebene durch Unix-Berechtigungen, NFS-Zugriffskontrolllisten (ACLs) und NTFS ACLs. Wird der FSx-Service mit einem Active Directory verbunden, können sich Nutzer mit ihren Active Directory-Anmeldedaten authentifizieren.
• Netzwerkisolation.
• Snapshots und Dateiwiederherstelllungen
• Regionsübergreifende Replikation mit SnapMirror
• Automatisierte Backups

Für eine hybride Nutzung von Ressourcen in der Cloud (FSx for ONTAP) und am lokalen Standort kommen die NetApp-Produkte Global File Cache, SnapMirror und FlexCache zum Einsatz. Bei FlexCache wird FSx als Cache in der Cloud für lokale Daten verwendet, um Computing Bursts in der Cloud zu ermöglichen. SnapMirror gewährleistet Backups und Disaster Recoverys von lokalen Umgebungen in der AWS-Cloud. Die Kombination von Global File Cache und FlexCache sorgt für die Zwischenspeicherung von FSx-Daten an einem lokalen Standort. Dieses hybride Einsatzszenario wird wie gesagt von keinen der anderen Dateisysteme unter AWS gewährleistet beziehungsweise von Windows Server nur sehr eingeschränkt (lokale Zwischenspeicherung).

Die Cloud-ONTAP-Lösung lässt darüber hinaus auch die Integration weiterer Tools von Partnern des Herstellers zu, beispielsweise für Analysen, zusätzliche Sicherheit oder erweitertes Monitoring.

Installation von Amazon FSx for NetApp ONTAP

Das Erstellen und Einrichten eines neuen FSx-Dateisystems mit ONTAP geht nach Angaben von Hersteller und Cloud-Anbieter schnell und unkompliziert. NetApp gibt circa 20 Minuten für die Erstinstallation an. Im Folgenden haben wir die wichtigsten Installationsschritte dokumentiert, die vollständige Demonstration finden Sie hier.

Im ersten Schritt der Installation gibt die Benutzeroberfläche die Wahl zwischen einem „quick create“ oder einem „standard create“. Die quick-Variante gibt eine empfohlene Standardkonfiguration vor, während die standard-Option dem Admin die Möglichkeit gibt, alle Konfigurationsoptionen einzustellen, darunter Performance, Netzwerk, Sicherheit oder Wartung.

Entscheidet sich der Nutzer für die schnelle Variante, muss er im nächsten Schritt den Namen für das Dateisystem festlegen, die Storage-Kapazität angeben (in GiB), eine Virtual Private Cloud auswählen und entscheiden, ob die Funktionen für Speichereffizienz (Dedup und Kompression) aktiviert oder deaktiviert sein sollen.

Nach dem Klick auf „next“ erscheint eine Übersicht über die Konfiguration und ein weiterer Klick auf „create file system“ tut genau das, was es anzeigt: Es kreiert ein Dateisystem mit einem Storage Virtual Machine (SVM) und einem Volume und lässt schnellen Datenzugriff über Linux oder NFS zu. Verbindet man die SVM mit einem Active Directory, so lassen sich Daten auch über Windows-Rechner, Macs und SMB abrufen.

Mit einem Klick auf die ID des File Systems erhält der Admin alle Details im Überblick. Über die Reiter „Network & security“, „Monitoring“, „Administration“, „Storage Virtual Machines“, „Volumes“, „Backups“ und „Tags“ können hier zusätzliche Informationen zu diesen Kategorien eingeholt und Konfigurationsänderungen unternommen werden. So lassen sich unter dem SVM-Tab beispielsweise die verfügbaren SVMs abrufen oder neue anlegen. Das gleiche gilt für die Kategorie Volumes.

Unter Administration sieht der IT-Verantwortliche die Managementendpunkte und den FSx Admin User, der dafür genutzt werden kann, SSH dem Dateisystem hinzuzufügen und administrative Operationen durchzuführen. Das Management lässt sich auch über das ONTAP CLI (Command Line Interface) ausführen. Über das Interface sind Auflistungen der SVM oder Volumes zum Beispiel über den Befehl „show“ möglich.

Über das CLI lässt sich so ein Dateisystem von einer Linux-Instanz mounten. Darüber hinaus lässt sich hier die SVM mit einer Active-Directory-Domain verbinden und so das Multiprotokoll-Directory als SMB Share exportieren. Von einer Windows-Instanz kann der SMB Share dann auch gemappt werden. Dies soll verdeutlichen, dass mit diesem File System ein Einsatz verschiedener Zugriffsoptionen gewährleistet ist.

Um Daten von einem lokalen NetApp-System in das Cloud-Dateisystem zu migrieren, kann der Admin SnapMirror nutzen oder Rsync/robocopy sowie NetApp XCP/CloudSync für eine Migration von anderen Storage-Systemen einsetzen. Für Offline-Migrationen stehen Lösungen der Amazon Snow-Familie zur Verfügung.

Preise für Amazon FSx for NetApp ONTAP

Wie auch bei anderen Cloud-Services variieren die Preise je nach Region und Leistungsumfang. Darüber hinaus gibt es unterschiedliche Preislisten für einzelne und multiple Availability Zones (Multi-AZ) sowie für den Datentransfer. Die Preise variieren auch je nachdem, ob Deduplizierung und Komprimierung aktiviert sind oder nicht.

Der Datentransfer in der gleichen AWS-Region für Multi-AZ-Dateisysteme, die am 23. Februar 2022 oder später erstellt wurden, ist kostenfrei. Für Multi-AZ-Dateisysteme, die davor kreiert wurden, bezahlt der Anwender 0.01 US-Dollar pro Gigabyte in jede Richtung. Der Datentransfer aus Amazon FSx heraus kostet in jeder Region 0,02 US-Dollar pro Gigabyte. Als europäische Regionen kann der Kunde Irland, London, Mailand Paris oder Stockholm wählen.

Bei FSx for NetApp ONTAP werden fünf Komponenten abgerechnet: SSD-Storage, SSD IOPS, Kapazitätspool, Durchsatzkapazität und Backups. Der Storage-Preis pro Gigabyte pro Monat schlägt für eine einzelne Availability Zone in Europa (Irland) mit 0,024 US-Dollar zu buche. Eine Multi-AZ-Konfiguration kostet 0,045 US-Dollar. Eine Beispielrechnung für alle fünf Komponenten ist in den folgenden Abbildungen zu sehen.

Die Preise für Single- oder Multi-AZ-Konfiguration variieren wie erwähnt je nach Region und aktivierter Reduktionstechnologien. Die folgenden Preise gelten für die Region Europa, Frankfurt.

Wie bei allen Preisangaben der Cloud-Anbieter sollten interessierte Anwender direkt bei Cloud Service Provider oder beim Cloud-Partner ihrer Wahl nachfragen, wie sich die Preise in ihrem konkreten Anwendungsszenario gestalten würden.

Nutzungsmöglichkeiten für Amazon FSx for NetApp ONTAP

NAS-Systeme haben ihre Daseinsberechtigung in vielen Anwendungsfällen. Das gilt ebenso für Dateisysteme in der Cloud, die sich allerdings noch flexibler und in neuen Einsatzgebieten nutzen lassen. Die wohl klassischsten Anwendungsbeispiele sind die Nutzung als Backup-Ziel und als Disaster-Recovery-Option in der Cloud.

Hier sollen Anwender allerdings ihre Internetverbindung sowie die konkreten Zugriffszeiten auf die Daten prüfen, damit eine Wiederherstellung bei Bedarf auch reibungslos und zügig über die Bühne geht.

Weitere Anwendungsmöglichkeiten sind Datenmigrationen in die Cloud, Geo-Replikationen, Aufbau hybrider Architekturen oder von Kapazitätspools.

Beim Management kann der Administrator AWS- und/oder NetApp-Funktionen nutzen.