NVMe-oF-Produkte haben sich rasant entwickelt und eignen sich für den Einsatz in der Produktion. Das sollten Sie über verfügbare Hardware, Software und unterstützte Systeme wissen.
Die NVMe-Schnittstelle entwickelt sich aufgrund ihrer hohen Leistung und des geringeren System-Overheads schnell zur bevorzugten Verbindung für Flash-Laufwerke und All-Flash-Arrays.
In der Tat, selbst als IDC kürzlich vor einer Umsatzeinbuße für externe Speicher in der EMEA-Region warnte, stellte der Branchenanalyst fest, dass der AFA-gut im Geschäft ist und der Marktanteil innerhalb eines Jahres von 20 Prozent auf 35 Prozent wuchs.
Storage-Käufer sind eindeutig bereit, wertvolles Kapital für die bessere Leistung von NVMe-Geräten im Vergleich zu SSDs mit älteren Speicherschnittstellen auszugeben.
NVMe-oF ist eine kritische Grundlage für eine Composable Infrastruktur, die es ermöglicht, physische Hardware-Komponenten logisch in virtuelle Instanzen aufzuteilen.
Die NVMe-Technologie ersetzt nun langsam die herkömmlichen SSDs in Servern. Bei Unternehmen, die Cluster von VMs und Container-Servern für die meisten Workloads verwenden, beeinträchtigt dies jedoch die Portabilität der Workloads, wenn der Speicher für ein bestimmtes System gesperrt ist. Glücklicherweise hat NVMe-oF es endlich geschafft, den Spezifikationsprozess zu überstehen, und NVMe-oF-Produkte beginnen, eine brauchbare Option für NVMe-basierte Shared Storage-Lösungen zu bieten.
Ein wesentliches Merkmal von NVMe-oF ist die Bindungsunterstützung, das heißt die Möglichkeit, über verschiedene zugrunde liegende Transport-Fabrics wie Fibre Channel, InfiniBand und Ethernet zu arbeiten. Protokollbindungen dienen als Verbindung zwischen NVMe und dem Netzwerktransport, aber aufgrund der technischen Unterschiede zwischen den verschiedenen Netzwerkprotokollen stellt die Bindung auch Einschränkungen für die NVMe-Fähigkeiten dar und definiert, wie NVMe über die zugrunde liegende Struktur verwaltet wird.
Wir haben in diesem Artikel Ratschläge zur Bewertung von NVMe-oF-Optionen gegeben. Obwohl die Spezifikation für NVMe-oF over TCP den anderen Anbindungen hinterherhinkt, wurde sie Ende 2018 schließlich ratifiziert und läutete eine Ära ein, in der NVMe-oF-Hosts und -Controller über jedes Standard IP-Netzwerk kommunizieren können.
Während sich die TCP-Spezifikation auf Softwareimplementierungen mit den TCP-Stacks auf Host-Betriebssystemen und AFAs konzentriert, schließt sie hardwarebeschleunigte Implementierungen nicht aus.
Als junge Technologie entwickelt sich das Ökosystem der NVMe-oF-Produkte rasant weiter. Mittlerweile hat es einen Reifegrad erreicht, der NVMe-oF-Geräte für den Einsatz in der Produktion geeignet macht. Im Folgenden erhalten Sie einen Überblick über einige NVMe-oF-Produktkategorien, Geräte, Software und unterstützte Systeme.
Abbildung 1: So sieht die Architektur von NVMe-oF aus.
Der Stand der NVMe-Integrationstests
Jede Woche gibt es NVMe-Produktankündigungen, von denen viele erst in einigen Monaten veröffentlicht werden. Der Hype macht es schwierig, den Markt im Auge zu behalten, geschweige denn herauszufinden, welche Produkte miteinander kompatibel sind.
Glücklicherweise für Technologiekäufer dient das University of New Hampshire InterOperability Laboratory (UNH-IOL) seit langem als Anlaufstelle für zuverlässige Informationen über Netzwerkgeräte und deren Unterstützung verschiedener Netzwerkstandards. UNH-IOL testet NVMe-oF-Produkte seit zwei Jahren und seine Integratorenliste ist eine ausgezeichnete Quelle, um normkonforme Produkte zu finden.
Die Liste umfasst mehrere Produkttypen, wie zum Beispiel:
NVMe-oF-Hardware- und Softwareziele: Fibre Channel, TCP und Remote Direct Access Memory (RDMA) over Converged Ethernet (RoCE)
NVMe-oF-Initiatoren
NVMe-oF Switches
Abbildung 2: Diese NVMe-Produkte wurden erfolgreich getestet.
NVMe-oF-Arrays
Compliance-Tests sind ein langwieriger Prozess, der davon abhängt, dass Anbieter Produkte einreichen, von denen sie glauben, dass sie sie bestehen werden. Daher hinkt sie der Produkteinführung zwangsläufig hinterher, insbesondere in einem so dynamischen Markt wie NVMe.
Im Folgenden finden Sie eine Auswahl einiger der Speichersysteme, die NVMe-oF unterstützen:
Apeiron Data hat eine proprietäre Alternative zu NVMe-oF, die es NVMe over Ethernet (NoE) nennt. Es liefert NoE über eine 2HE-Appliance, die bis zu 24 2,5-Zoll-Laufwerke und 32 40-GbE-Ports unterstützt. Das Design erinnert an die von Coraid entwickelten ATA-over-Ethernet-Systeme, jedoch mit einem Leistungsschub durch NVMe.
E8 Storage bietet 1U- und 2U-Appliances mit bis zu acht 100-GbE-Ports und 68 bis 136 TByte nutzbarer Kapazität mit Treibern für die folgenden Linux-Systeme: RHEL1 und höher oder CentOS 6.7 und höher; Ubuntu 14 und höher; SUSE Linux Enterprise 12 und höher; und Debian 8.6 und höher. E8 bietet auch ein Softwareprodukt für Server mit NVMe-Laufwerken und kompatiblen Netzwerkschnittstellenkarten (NICs) an, das ähnliche Funktionen wie seine Hardware bietet, indem es die Kapazität zu Volumes aggregiert, die über eine NVMe-Fabric verfügbar sind.
Die NVMe-basierte Speichersoftwareplattform von Excelero bündelt NVMe-Kapazität auf Standardservern, unabhängig vom verwendeten lokalen oder Netzwerk-Dateisystem. Es erstellt verteilte Block-Volumes über jede Netzwerkstruktur und jedes Protokoll. Eine kapazitätsoptimierte Plattform mit 24 NVMe-Laufwerken bietet beispielsweise fast 1 Million IOPS bei einer Latenzzeit von weniger als 200 Mikrosekunden und kann auf Millionen von IOPS in einem Single-Server-Rack skaliert werden.
Pavilion Data verfügt über ein 4U-Array mit 14 TByte bis 1 PByte Kapazität und verwendet 2,5-Zoll-NVMe-Laufwerke mit bis zu 20 Millionen IOPS und 20 Mikrosekunden Latenzzeit. Es kann von einem bis zu 40 100-GbE Netzwerk-Ports und zwei bis 20 aktiven Controllern skaliert werden. Das Array verbindet sich über RDMA-fähiges Ethernet, unterstützt aber auch NVMe-over-TCP für Clients, die RDMA nicht unterstützen. Der Pavillon verfügt über Treiber für RHEL, CentOS 7.4 oder höher und Ubuntu 16 oder höher.
Abbildung 3: Pavilion Data System NVMe-Speichergehäuse
Pure Storage Flash Array//X mit Purity Software bietet von 55 TByte (3U) bis 3 PByte (6U). Die Purity DirectFlash-Software unterstützt RoCE und bietet eine Reihe von Speicherdiensten wie Datenkompression, Deduplizierung, Hochverfügbarkeit, Snapshots, Datenverschlüsselung und Windows File Services.
Vast Data bietet sowohl Software- als auch Hardwareprodukte mit NVMe-oF an. Sie bieten ein skalierbares, transaktionales Dateisystem, das bis zu Server-Clustern von bis zu 10.000 Systemen skalierbar ist. Vast hat eine so genannte Disaggregierte, Shared-Everything-Architektur mit drei charakteristischen Elementen entwickelt:
Separate Steuerungs- und Data-Plane-Hardware mit x86-Servern, auf denen die Speichersoftware ausgeführt wird, und Daten, die über NVMe-oF-Disk-Gehäuse verteilt sind.
Eine Hochgeschwindigkeits-Ethernet- oder InfiniBand-Netzwerkstruktur, die Rechen- und Speicherknoten verbindet. Rechenknoten sind typischerweise in 2HE-Quad-Server-Gehäusen mit vier 100-GbE-NICs untergebracht, während die Speicherknoten auch ein 2HE-Gehäuse mit 44 x 15,36 TB QLC-Flash-Laufwerken und 12 x 1,5 TB U.2 XPoint-Geräten sind.
Verteilung von Metadaten über die Speicherknoten auf dedizierten schnellen Intel Optane 3D XPoint Memory in den NVMe-oF Gehäusen. Ein solches verteiltes Metadaten-Design ermöglicht es, dass die Rechenknoten zustandslos (stateless) sind und nicht-redundante, kostengünstigere Systeme verwenden.
Unterstützung von Betriebssystemen und Anwendungen
Wie die UNH-IOL-Testdaten zeigen, bieten die meisten wichtigen Linux-Betriebssysteme, einschließlich RHEL, CoreOS, SUSE und Ubuntu, NVMe-Unterstützung, ebenso wie alle aktuellen Versionen von Windows Server (2012, 2016) und dem Microsoft Windows 10-Client.
NVMe-oF ist eine kritische Grundlage für eine Composable Infrastruktur, die es ermöglicht, physische Hardwarekomponenten – Server, Speicherkapazität und Netzwerkschnittstellen – logisch in virtuelle Instanzen aufzuteilen, die bestimmten VMs, Container-Clustern und Anwendungs-Servern zugeordnet sind.
NVMe-oF-Produkte sind nicht nur die Grundlage für Cloud-Rechenzentren der nächsten Generation, sondern besonders attraktiv für Analyse-, KI-Schulungs- und HPC-Anwendungen mit zahlreichen Speicher-I/Os, die RDMA nutzen können, um den I/O-Overhead auf Compute-Servern deutlich zu reduzieren.
