NVMe ist ein schnelles Protokoll für Flash Storage, angetreten, die Performance von Storage in Servern und Speicher-Arrays zu revolutionieren, aber für Storage-Lieferanten scheint es derzeit kein besonderes Anliegen, NVMe und seine Vorteile in Produkten voranzutreiben. Die Herausforderungen hierbei ist, sich mit den neuen I/O-Bottlenecks auf der Hardware-Ebene und mit der Umsetzung eines neuen Protokolls bei den Ethernet- und Fibre-Channel-Netzen zu befassen.
Es geht also um die Frage, wo stehen die fünf großen Storage-Lieferanten – die „Big Five“ – bei der Einführung von NVMe? Non-Volatile Memory Express, gewöhnlich als NVMe bezeichnet, wurde entwickelt, um die Vorteile von Solid-State-Medien wie NAND-Flash und 3D XPoint voll auszuschöpfen.
Traditionelle SAS- und SATA-Speicherschnittstellen wurden in einer Zeit von rotierenden Medien entwickelt und weisen deshalb konsequent Limitierungen bei ihrer I/O-Performance auf. Dieser Performance-Overhead spielte keine Rolle bei rotierenden Medien, da die Zugangszeiten zu den physischen Scheiben so lange dauerten. Doch mit dem Übergang zu NAND-Flash macht sich der natürliche Overhead beim Einsatz von SAS oder SATA stärker bemerkbar.
NVMe adressiert diese und andere Schwächen durch die Einführung einer größeren parallelen Technologie sowie einer verbesserten Software-Ebene und der Verwendung des PCIe-Bus. Diese Features bringen im Vergleich zu SAS und SATA signifikante Reduzierung von I/O-Latenzen bei gleichzeitiger Verbesserung des Datendurchsatzes. Dieser Anstieg der Performance zeigt sich direkt bei Anwendungen, die NVMe lokal auf einem Server benutzen.
NVMe bei Speicher-Arrays
Innerhalb des letzten Jahres haben die Storage-Lieferanten damit begonnen, NVMe in ihre Plattformen zu integrieren.
Am Backend wird SAS durch NVMe ersetzt, um als Verbindung zu Flash Drives zu dienen und um deutlich höheren Systemdurchsatz und niedrigere Latenzen zur Verfügung zu stellen.
Am Frontend der Speichersysteme haben die Hersteller damit begonnen, NVMe over Fabrics (NVM-oF) über mehrere Transportwege hinweg zu unterstützen, einschließlich InfiniBand, Ethernet und Fibre Channel.
Als Faustformel gilt, dass bestehende Gen6- und einige Gen5-Fibre-Channel-Hardware NVMe auf Fibre Channel Fabric unterstützen kann. Natürlich müssen die Hersteller auch FC-NVMe-Unterstützung in ihre Produkte einbauen, damit dies wirklich klappt.
NVM-oF wird auch mit Ethernet als Transportweg und einer Reihe von Transportprotokollen eingesetzt, einschließlich RoCEv2, iWARP und TCP. Letzteres erlaubt den Einsatz von gewöhnlichen Ethernet-Karten. RDMA-fähige RNICs werden dagegen für andere Zwecke gebraucht.
Hardware-Update für NVMe
Die Unterstützung von NVMe-Backends erfordert Hardware-Upgrades, die SAS-Controller mit PCIe-Laufwerkeinschüben ersetzen.
Die Hersteller nutzen zur Zeit oft den U2-Formfaktor für Solid-State Drives, der einem traditionellen 2,5-Zoll-Drive ähnlich ist. Unterdessen wurde U3 entwickelt, damit NVMe-, SAS- und SATA-Drives gemischt auf demselben Storage-Interface eingesetzt werden können.
Der Frontend-Support braucht passende HBAs, entweder Gen5/6 Fibre Channel oder RDMA-fähige Ethernet-NICs. Die Hersteller unterstützen in der Regel Geschwindigkeiten mit 25GbE und 40GbE.
NVMe und die „Big Five“
Dell EMC bringt NVMe in den PowerMax-Systemen. Der Hersteller hat seine bestehende VMAX-Produktlinie am Backend komplett auf NVMe umgestellt, und die Plattform wurde während dieses Prozesses in „PowerMax“ umbenannt. PowerMax soll der langfristige Nachfolger von VMAX werden, da das Unternehmen seine Highend-Plattformen auf Solid-State-Medien umstellt.
Die PowerMax-Plattform unterstützt im Augenblick Laufwerke mit 1,92 TByte, 3,84 TByte und 7,6 TByte, wobei die maximale Rohkapazität bei der PowerMax 2000 737 TByte und bei der PowerMax 8000 2.211 TByte beträgt.
Dell EMC behauptet, die Systeme der PowerMax 2000 können 1,7 Millionen IOPS erreichen und sogar 10 Millionen IOPS bei einer vollständig konfigurierten PowerMax 8000. Die maximalen Performance-Zahlen liegen bei 150 GBps Durchsatz bei Latenzen von 300 ms.
NetApp bietet NVMe in Storage Arrays sowie in Server-Lösung an
NetApp hat NVMe-Support zu seinen AFF-Serien von ONTAP Storage Arrays und den EF-Serien von hoch performantem Block Storage hinzugefügt.
Die AFF A800 unterstützt bis zu 48 NVMe-SSDs pro 4U-Controller-Paar mit 24 Drives in jedem Controller. Alle zusätzlichen Laufwerke pro Controller müssen weiter SAS-Verbindungen benutzen.
Ein einziges A800-System mit 12 HA-Paaren (High Avaibility) und nur für NAS kann 1.152 Drives unterstützen, mit 576 Laufwerken in einer sechsfachen HA-Pair SAN-Konfiguration. Mit 15,36 TByte an NVMe-Drives ist die AF800 äußerst skalierbar. NetApp beansprucht 1,1 Millionen IOPS und 25GBps bei 200 ms Latenzen pro HA-Paar.
Am Frontend unterstützt die AF800 FC-NVMe, wobei Fibre Channel mit 32 Gbps (Gen6) zum Einsatz kommt. NetApp kann auf diese Weise vollen Support für End-to-End-NVMe behaupten.
Das EF570-Array unterstūtzt NMV-oF mit 100 Gbps InfiniBand EDR. Die Performance-Zahlen werden mit 1 Million IOPS und 21 GBps an Bandbreite zu 100 ms Latenzen angegeben, was genau der Geschwindigkeit der zugrunde liegenden NAND Flash-Medien entspricht.
NetApp hat ferner einen dritten Tier von NVMe eingeführt, indem Technologie aus der Akquisition von Plexistor im Jahr 2017 eingesetzt wird. MAX Data ist eine Softwarelösung, die eine Storage-Schicht in einem Host-Server installiert, unterstützt durch ein AF800 Array. Periodisch werden so Daten per Snapshot auf das unterstützende Array geschrieben. Bei lokal angeschlossenem NVMe beansprucht NetApp, eine Performance von unter 10 Mikrosekunden, das heißt< 10 m, zu liefern.
HPE setzt auf NVMe als Cache
HPE hat sich entschieden, sich beim Hinzufügen von NVMe-basierten SSDs zu seinen Speicherplattformen als Ersatz für SAS-basierte Geräte zurückzuhalten. Stattdessen ist NVMe Storage Class Memory (SCM) der 3PAR-Plattform hinzugefūgt worden – in einer Produktvorschau mit einer SCM-basierten Nimble Storage-Plattform.
HPE behauptet, dass die Nutzung von SCM als Read Cache eine genauso gute Performance liefert wie der Ersatz von Festplatten durch NVMe-Drives.
Dies bedeutet, im Durchschnitt eine Performance von weniger als 110 ms zu erreichen, wobei 99 Prozent aller IOPS eine Performance unter 300 ms garantiert wird.
Man sollte sich daran erinnern, dass in einer solchen Implementation NVMe SCM die Rolle eines Cache zukommt, so dass eine gleichmäßige I/O-Performance von effektiven Cache-Algorithmen abhängt.
Hitachi Vantara bietet NVMe bei Hyper-converged an
Hitachi Vantara hat bis heute noch keine NVMe-Features in seine bestehenden Speicherplattformen eingefügt.
Der Hersteller hat jedoch NVMe-Storage in seine hyperkonvergenten Systeme eingebaut. Die HC V124N hyper-converged Plattform stützt sich auf VMware vSphere und nutzt vSAN als Storage Layer.
Der vSAN-Cache arbeitet mit Intel Optane (375-GByte-Laufwerke), während der vSAN-Capacity-Layer aus NVMe NAND SSDs (Intel P4510 1-TByte-Laufwerke) besteht. Mit dieser Konfiguration beansprucht Hitachi, verglichen mit den vorherigen Flash-basierten HC-Lösungen, die Performance verdoppelt zu haben.
IBM bringt NVMe am Backend
Ursprünglich vertrat IBM die Meinung, NVMe sei nicht schnell genug für den Einsatz am Backend seiner Storage Arrays. Mit dem Release von FlashSystem 9100 hat IBM jedoch NVMe als Standardverbindung für interne Laufwerke eingeführt, entweder als Commodity-SSDs oder als kundenspezifische NVMe FlashCore-Module von IBM.
Die FlashSystem-Modelle 9110 und 9150 unterstützen beide bis zu 24 NVMe-Laufwerke in einem 2U-Chassis, während Erweiterungsbauteile weiterhin per SAS verbunden sind. Die NVMe-Unterstūtzung am Frontend ist erklärte Absicht von IBM und soll im Laufe des Jahres 2019 erfolgen.
Am Backend wird SAS durch NVMe ersetzt, um als Verbindung zu Flash Drives zu dienen und um deutlich höheren Systemdurchsatz und niedrigere Latenzen zur Verfügung zu stellen.
Performance-Zahlen von IBM sprechen von 2,5 Millionen IOPS, obwohl sich dies bloß auf 4K Lese-I/Os stützt. Eine vernünftigere Angabe von 1,1 Millionen 4K IOPS für Lesen wird ebenfalls vom Hersteller angegeben, ist aber bei 34 GBps Durchsatz und Latenzen von „nur“ 100 ms eher fragwürdig.
IBM hat ferner NVMe over Fabrics auf FlashSystem- und Power9-Servern vorgeführt. Diese verwenden QDR-InfiniBand (40 GBps) für eine Performance von 600.000 Random Write IOPS und 4,5 GBps Random Write Durchsatz. Die Lese/Schreib-Latenzen werden mit jeweils 95 ms und 155 ms angegeben.
Die „Big Five“ bleiben vorsichtig verglichen mit den NVMe-Start-ups
Insgesamt lässt sich sagen, dass die NVMe-Umstellung für die großen fünf Speicherhersteller mehr einen schrittweisen Prozess als eine radikale Überholung darstellt. Der Übergang zu NVMe wird Zeit in Anspruch nehmen und wahrscheinlich von den Kunden ausgehen, wenn diese einen Auffrischungszyklus ihrer Lösungen in Angriff nehmen – häufig durch die Abschreibungsfristen diktiert.
Jenseits der Big Five hat Pure Storage bereits NVMe in seine Plattform eingefügt, so dass die Kunden nicht das komplette Chassis ersetzen müssen, da sie einfach nur Laufwerke und Controller auszutauschen haben.
Die NVMe-Startups gehen wesentlich aggressiver vor und haben häufig neue Architekturen und Designs entworfen und installiert, die die traditionellen Komponenten eines Storage Arrays auf eine neue Art und Weise zusammensetzen. Auch NetApp geht mit MAX Data auf diesem Weg voran.
Insgesamt jedoch wird die NVMe-Adoption in den Speicher-Arrays nur schrittweise vorankommen. Und bei NVMe-over-Fabrics wird die Integration wahrscheinlich noch etwas länger dauern – ganz einfach deshalb, weil viele Anwender noch nicht den Übergang zu der jüngsten Hardware der fünften und sechsten Generation gemacht haben.
