Fibre Channel (FC)
Fibre Channel ist eine Hochgeschwindigkeits-Netzwerktechnologie, die in erster Linie für die Übertragung von Daten zwischen Rechenzentren, Computerservern, Switches und Storage mit Datenraten von bis zu 128 Gbit/s eingesetzt wird. Sie wurde entwickelt, um die Beschränkungen des Small Computer System Interface (SCSI) und des High-Performance Parallel Interface (HIPPI) zu überwinden, indem sie den Bedarf an einem zuverlässigen und skalierbaren Protokoll und einer Schnittstelle mit hohem Durchsatz und niedriger Latenz erfüllt.
Fibre Channel eignet sich besonders für den Anschluss von Servern an gemeinsam genutzte Speichergeräte und für die Verbindung von Speicher-Controllern und Laufwerken untereinander. Die Fibre-Channel-Schnittstelle wurde für Storage Area Networks (SANs) entwickelt. Fibre-Channel-Geräte können bis zu zehn Kilometer voneinander entfernt sein, wenn multimodale Glasfaserkabel als physisches Medium verwendet werden. Für kürzere Entfernungen sind keine optischen Fasern erforderlich. Fibre Channel funktioniert auch mit Koaxialkabeln und normalen verdrillten Telefonleitungen. Bei der Verwendung von Kupferkabeln wird jedoch empfohlen, dass die Entfernungen 30 Meter nicht überschreiten.
Fibre Channel bietet Punkt-zu-Punkt-, Switched- und Loop-Schnittstellen für die verlustfreie Übertragung von Rohdaten (Raw Data) in Blockform. Da Fibre Channel um ein Vielfaches schneller ist als SCSI, hat es diese Technologie als Übertragungsschnittstelle zwischen Servern und geclusterten Speichergeräten abgelöst. Fibre-Channel-Netzwerke können allerdings auch SCSI-Befehle und Informationseinheiten über das Fibre Channel Protocol (FCP) übertragen. Es ist so konzipiert, dass es nicht nur mit SCSI, sondern auch mit IP und anderen Protokollen interagiert.
Fibre Channel ist neben Remote Direct Memory Access (RDMA) über Ethernet und InfiniBand auch eine Option für HPC-Umgebungen (High Performance Computing), die Daten unter der Spezifikation NVMe-oF (Non-Volatile Memory Express over Fabrics) transportieren, um die Flash-Speicherleistung über ein Netzwerk zu verbessern.
NVM Express Inc. ist die gemeinnützige Organisation mit über 100 Mitgliedern, die NVMe-oF entwickelt und die Version 1.0 der Spezifikation am 5. Juni 2016 veröffentlicht hat. Die Spezifikation NVMe-oF 1.1 wurde 2019 veröffentlicht, um eine feinere Steuerung der I/O-Ressourcenverwaltung, eine End-to-End-Flusskontrolle, Unterstützung für NVMe/TCP und eine verbesserte Fabric-basierte Kommunikation hinzuzufügen. Die Version Revision 1.1a wurde im Jahr 2021 veröffentlicht.
Der T11-Ausschuss des International Committee for Information Technology Standards (INCITS) entwickelte ein Rahmenformat und ein Mapping-Protokoll für die Anwendung von NVMe-oF auf Fibre Channel. Die erste Version des Mapping-Protokolls wurde im August 2017 unter dem Banner des FC-NVMe-Standards fertiggestellt und bei INCITS eingereicht. 2020 wurde FC-NVMe 2 veröffentlicht.
Die Standards für Fibre Channel werden durch den Fibre Channel Physical and Signaling Standard und den American National Standards Institute (ANSI) X3.230-1994 spezifiziert, der auch der International Organization for Standardization(ISO) 14165-1 entspricht.
Geschichte und Entwicklungen des Fibre Channel
Die Entwicklung des FCP begann 1988 als Teil des Intelligent Peripheral Interface (IPI) Enhanced Physical Project. Der erste Entwurf des Standards wurde 1989 fertiggestellt. ANSI genehmigte den Fibre-Channel-Standard im Jahr 1994. Fibre Channel war der erste serielle Speichertransport, der Gigabit-Geschwindigkeiten erreichte; seine Leistung hat sich in den letzten 20 Jahren alle paar Jahre verdoppelt.
In der Vergangenheit wurden die Geschwindigkeiten von Fibre-Channel-Netzwerken in Gbit/s angegeben – 1 Gbit/s, 2 Gbit/s, 4 Gbit/s, 8 Gbit/s, 16 Gbit/s, 32 Gbit/s, 64 Gbit/s und 128 Gbit/s –, um die Durchsatzleistung darzustellen. Die Namenskonvention wurde von der Fibre Channel Industry Association (FCIA) in Gigabit Fibre Channel (GFC) geändert und wird nun wie folgt dargestellt: 1GFC, 2GFC, 4GFC, 8GFC 16GFC, 32GFC, 64GFC und 128GFC. Jeder Fibre Channel ist zu mindestens zwei früheren Generationen abwärtskompatibel. So ist 8GFC beispielsweise abwärtskompatibel zu 4GFC und 2GFC.
Mit Fibre Channel der Generation 5, 16GFC genannt, wurde der Kodierungsmechanismus geändert. Gen 5 arbeitet mit einer Leitungsrate von 15,025 Gbaud mit einem Single-Lane-Durchsatz von 1.600 MB/s und einem bidirektionalen Durchsatz von 3.200 MB/s, so die Roadmap der FCIA.
Mit Gen 6 Fibre Channel wurden Funktionen wie N_Port ID-Virtualisierung, bessere Energieeffizienz und Vorwärtsfehlerkorrektur (Forward Error Correction) hinzugefügt, um die Zuverlässigkeit von Fibre-Channel-Verbindungen zu verbessern und durch die Vermeidung von Datenstromfehlern Leistungseinbußen und Ausfälle von Anwendungen zu verhindern. Es gibt sie in den Varianten 32GFC und 128GFC. Erstere verfügt über eine einzelne Lane mit einer Leitungsrate von 28,05 Gbaud und einem Durchsatz von 6.400 MB/s; letztere, mit paralleler Funktionalität, hat vier Lanes (28,5 Gbaud x 4) für eine Leitungsrate von 112,2 Gbaud und einen Durchsatz von 25.660 MB/s.
Die FCIA-Roadmap reicht weit in die Zukunft bis zu einem Terabit Fibre Channel (1TFC), das eine Leistung von 204.800 MBit/s erreichen soll und dessen T11-Spezifikation im Jahr 2029 abgeschlossen sein wird. Zwischen diesem und Gen 6 Fibre Channel liegen Generationen, die Single-Lane 64GFC (57,8 Gbaud, 12.800 MB/s) und Four-Lane 256GFC (4 x 57,8 Gbaud, 51.200 MB/s) umfassen. In der Roadmap sind auch fortschrittlichere 128GFC- und 256GFC-Versionen mit geschätzten Fertigstellungsterminen für die T11-Spezifikation von 2023 beziehungsweise 2026 sowie eine 512GFC-Version (2026 für T11, 102.400 MBit/s) aufgeführt.
Fibre Channel Layers
Fibre Channel definiert Kommunikationsschichten, so genannte Layer, die dem OSI-Modell (Open Systems Interconnection) ähneln, sich aber von diesem unterscheiden. Wie OSI unterteilt auch Fibre Channel den Prozess der Netzwerkkommunikation in Schichten oder Gruppen von zusammenhängenden Funktionen. OSI umfasst sieben solcher Layer, während Fibre Channel fünf Layer hat. IP-Netzwerke verwenden Pakete, während Fibre Channel auf Frames setzt, um die Kommunikation zwischen Knoten (Nodes) zu fördern.
Die fünf Layer eines Fibre-Channel-Frames sind die folgenden:
- Upper Layer Protocol Mapping: FC Layer 4
- Common Services Layer: FC Layer 3
- Signaling/Framing Layer: FC Layer 2
- Transmission Layer: FC Layer 1
- Physical Layer: FC Layer 0
Innerhalb einer Fibre-Channel-Topologie arbeitet jeder der fünf Frame Layer mit dem darunter und darüber liegenden zusammen, um unterschiedliche Funktionen zu erfüllen. Innovation ist ein zentraler Vorteil eines mehrschichtigen Aufbaus - eine neue Technologie kann in einem Layer eingeführt werden, ohne dass die anderen Layer gestört werden oder neu gestaltet werden müssen.
So gehören beispielsweise Kabel wie Kupfer- oder Glasfaserkabel zum Physical Layer. Wenn ein neues Kabeldesign oder eine neue Technologie eingeführt wird, muss diese nur die Kompatibilitätsanforderungen von Layer 0 erfüllen.
Fibre-Channel-Komponenten
Die vier wichtigsten Fibre-Channel-Komponenten sind die folgenden:
Switches. Ein Fibre-Channel-Switch ermöglicht eine hochverfügbare, latenzarme, leistungsstarke und verlustfreie Datenübertragung in einer Fibre-Channel-Fabric. Er bestimmt den Ursprung und das Ziel von Datenpaketen, um sie an ihren Bestimmungsort zu senden. Als Hauptkomponenten in einem SAN können Fibre-Channel-Switches Tausende von Speicher- und Serverports miteinander verbinden. Zu den Funktionen der Fibre-Channel-Switches der Director-Klasse gehören Zoning zum Blockieren unerwünschten Datenverkehrs und Verschlüsselung.
Host Bus Adapter (HBAs). Fibre-Channel-HBAs sind Karten, die Server mit Speicher- und Netzwerkgeräten verbinden. Ein HBA ist im Prinzip ähnlich wie ein Ethernet-Netzwerkadapter. Er entlastet den Server von der Verarbeitung von Datenspeicheraufgaben und verbessert die Serverleistung. Als Fibre-Channel- und Ethernet-Netzwerke erstmals konvergierten, entwickelten HBA-Anbieter konvergierte Netzwerkadapter (CNAs), die die Funktionalität eines Fibre-Channel-HBA mit einer Ethernet-Netzwerkkarte (NIC) kombinieren.
Ports. Fibre-Channel-Switches und HBAs werden über physische oder virtuelle Ports miteinander und mit Servern verbunden. Daten in einem Fibre-Channel-Fabric-Knoten werden über Ports gesendet und empfangen, die es in verschiedenen logischen Konfigurationen gibt. Fibre-Channel-Switches können weniger als zehn Ports bis hin zu Hunderten von Ports in einem Gehäuse haben. Die Verbindungen zwischen Ports und HBAs werden über physische Kupfer- oder optische Kabel hergestellt.
Software. Fibre-Channel-Installationen hängen von einer Softwareschicht für Gerätetreiber ab. Diese Software ist auch für die Steuerung und Verwaltung zwischen Hosts, Ports und Geräten zuständig. Die Software bietet eine Visualisierungder Fibre-Channel-Umgebung und ermöglicht die Überwachung und Steuerung der Fibre-Channel-Ressourcen von einer zentralen Konsole aus.
Fibre-Channel-Design und -Konfiguration
Das FCP unterstützt drei Haupttopologien, um Fibre-Channel-Ports miteinander zu verbinden und es Geräten wie Switches und HBAs zu ermöglichen, Server mit einem Netzwerk und Speicher zu verbinden.
Point-to-Point (Punkt-zu-Punkt). Die einfachste und eingeschränkteste Fibre-Channel-Topologie verbindet zwei Geräte oder Ports miteinander, zum Beispiel verbindet sie einen Host-Server mit Direct-Attached Storage (DAS).
Arbitrated Loop. Die Geräte sind kreisförmig und ringförmig miteinander verbunden. Jeder Knoten oder jedes Gerät im Ring sendet Daten an den nächsten Knoten. Die Bandbreite wird von allen Geräten gemeinsam genutzt. Wenn ein Gerät oder ein Port ausfällt, können alle Geräte unterbrochen werden, es sei denn, ein Fibre-Channel-Hub kommt zum Einsatz, um mehrere Geräte anzuschließen und ausgefallene Ports zu umgehen. Die maximale Anzahl von Geräten, die sich in einer Arbitrated Loop befinden können, beträgt 127; aus praktischen Gründen ist die Anzahl auf weit weniger Geräte beschränkt.
Switched Fabric. Alle Geräte in dieser Topologie verbinden und kommunizieren über Switches, die die Datenpfade mithilfe des Routing-Protokolls namens Fabric Shortest Path First optimieren und die gleichzeitige Verbindung mehrerer Portpaare ermöglichen. Die Ports sind nicht direkt miteinander verbunden, sondern operieren über Switches. Wenn ein Port ausfällt, sollte der Betrieb der anderen Ports nicht beeinträchtigt werden. Alle Knoten in der Fabric arbeiten gleichzeitig, was die Effizienz erhöht, während die Redundanz der Pfade zwischen den Geräten die Verfügbarkeit erhöht. Switches können der Fabric hinzugefügt werden, ohne dass das Netzwerk heruntergefahren werden muss.
Zu den Verbindungstypen innerhalb der Switched-Fabric-Topologie (Interconnect) gehören die folgenden:
Die Single-Switch-Topologie ist die einfachste Switch-Topologie. Es gibt nur einen Switch und keine Inter-Switch-Verbindungen. Diese Topologie wird nur selten verwendet, da sie einen Single Point of Failure (SPoF) darstellt.
Die Kaskadierte Topologie reiht Switches aneinander und verbindet sie nacheinander in der Art einer Warteschlange. Durch Hinzufügen eines Inter-Switch-Links, der den ersten und den letzten Switch in der Kaskade miteinander verbindet, wird die Schleife geschlossen und eine Switched-Fabric-Ring-Topologie gebildet.
Bei der Mesh-Topologie ist jeder Switch in der Fibre-Channel-Fabric mit jedem anderen Switch verbunden.
Die Core-Edge-Topologie verfolgt einen abgestuften (Tiered) Ansatz für eine Mesh-Topologie, indem sie leistungsstärkere Director-Switches als Core-Switches verwendet. Sie verbindet die Server mit der Edge-Fabric und die Speicher mit den Core-Switches. Diese wiederum sind miteinander verbunden, um die Kommunikation zwischen Servern und Speicher zu erleichtern.
Die Edge-Core-Edge-Topologie ermöglicht die Verbindung von Speicher und Servern mit der Edge-Fabric, während die Kommunikation mit den Core-Switches nur zur Verbindung und Skalierung der Edge-Switches verwendet wird. Diese Topologiekonfiguration trägt dazu bei, den SAN-Datenverkehr über große Entfernungen hinweg zu erweitern, und erleichtert die Verwaltung von Speicher und Servern, wenn sich diese an unterschiedlichen Rändern (Edges) einer Fibre-Channel-Fabric befinden.
Fibre Channel vs. iSCSi-SANs
Da es sich um eine Layer-2-Switching-Technologie handelt, wird das gesamte Protokoll in Fibre-Channel-Fabrics über Hardware abgewickelt. Im Gegensatz dazu ist Internet-SCSI (iSCSI) eine Layer-3-Switching-Technologie, die über Ethernet läuft. Hier können Software, Hardware oder sowohl Software als auch Hardware das Protokoll steuern.
Ethernet-basiertes iSCSI transportiert SCSI-Pakete über ein TCP/IP-Netzwerk. Da iSCSI ein gewöhnliches Ethernet verwendet, müssen keine teuren und oft komplexen Adapter und Netzwerkkarten gekauft werden. Dadurch ist iSCSI billiger und einfacher zu implementieren.
Die meisten Rechenzentren mit einem leistungsstarken Fibre-Channel-SAN (FC-SAN) für unternehmenskritische Arbeitslasten bevorzugen Fibre-Channel-Netzwerke gegenüber iSCSI. Das liegt vor allem daran, dass es sich bei Fibre Channel um eine bewährte Technologie handelt, von der Rechenzentrumsadministratoren wissen, dass sie auch anspruchsvolle Arbeitslasten zuverlässig bewältigen kann, ohne dass Datenpakete verloren gehen.
Um ein FC-SAN ordnungsgemäß in Betrieb zu nehmen, sind spezielle Installations- und Konfigurationskenntnisse erforderlich. Ein IT-Mitarbeiter kann ein iSCSI-SAN in einem bestehenden Netzwerk mit herkömmlichen Switches und Ethernet-NICs implementieren. Mit iSCSI muss nur ein Netzwerk aufgebaut und verwaltet werden, während für Fibre Channel zwei Netzwerke erforderlich sind: ein FC-SAN für Storage und ein Ethernet-Netzwerk für alles andere.
Alle großen Speicherhersteller bieten zusätzlich zu ihren Fibre-Channel-Hauptprodukten auch iSCSI-SAN-Arrays an. Einige verkaufen vereinheitlichte Multiprotokoll-Speicherplattformen mit iSCSI und Fibre Channel.
Fibre Channel und Ethernet im Vergleich
Fibre Channel und Ethernet sind zwei verschiedene Arten von Netzwerktechnologien, die traditionell unterschiedliche Zwecke im Unternehmen erfüllen.
Fibre Channel
Im Allgemeinen unterstützt Fibre Channel die geordnete und verlustfreie Übertragung von Rohblockdaten. Diese Fähigkeiten haben es für die Hochleistungsdatenverarbeitung zwischen Servern und Speichersubsystemen unverzichtbar gemacht.
Fibre-Channel-Netzwerke arbeiten mit Geschwindigkeiten in Zweierpotenzen, die von 1 Gbit/s bis 128 Gbit/s reichen, wobei Versionen mit 256 Gbit/s und 512 Gbit/s in Zukunft verfügbar sein werden.
Fibre Channel bietet wenig Sicherheitsfunktionen, aber die meisten Implementierungen sind innerhalb des Unternehmens isoliert und nicht mit anderen Netzwerken oder dem Internet verbunden. Dies bietet einen natürlichen Schutz vor Eindringlingen und Hackerangriffen.
Ethernet
Im Vergleich dazu bietet Ethernet eine allgemeine, verlusttolerante Paketnetzwerktechnologie, die in lokalen Netzen (LANs) und Wide Area Networks (WAN) eingesetzt wird. Ethernet ist weit verbreitet und stark standardisiert. Zu den Standards, auf denen es basiert, gehören IEEE 802.3 und das herkömmliche OSI-Layer-Modell. Ethernet unterstützt auch lange Kabelstrecken und bewältigt Geschwindigkeiten von 1 Gbit/s bis 400 Gbit/s.
Seine weite Verbreitung und das anfällige TCP/IP-Protokoll machen Ethernet-Netzwerke und angeschlossene Systeme anfälliger für Angriffe und erfordern zusätzliche Sicherheitsmaßnahmen. Dennoch ist Ethernet häufig das Netzwerk der Wahl für grundlegende Speicherkonnektivität, zum Beispiel für Network-Attached Storage (NAS).
Fibre Channel over Ethernet (FCoE)
Angesichts der Kompatibilitätsprobleme von Fibre Channel und Ethernet haben Entwickler nach Möglichkeiten gesucht, die beiden unterschiedlichen Technologien zu verbinden. Fibre Channel over Ethernet (FCoE) ist ein Netzwerkansatz, der Fibre-Channel-Daten und -Datenformate über gängige 10-Gbit/s- und schnellere Ethernet-Netzwerke verkapselt und versendet. Dies ersetzt im Wesentlichen Layer 0 und Layer 1 des Fibre-Channel-Stacks durch entsprechende Ethernet-Layer und ermöglicht die Übertragung von Fibre-Channel-Befehlen und -Daten über Ethernet-LANs.
FCoE ist jedoch kein Routing-fähiges Protokoll und funktioniert nicht über geroutete IP-Netzwerke. FCoE ist ein internationaler Standard, der in der 2009 veröffentlichten Norm T11 FC-BB-5 enthalten ist. Wenn FCoE richtig implementiert wird, integriert es Fibre Channel mit Ethernet-basierten Anwendungen und Verwaltungssoftware.
FCoE fügt drei wichtige Funktionen hinzu, um den Fibre-Channel-Betrieb über Ethernet zu ermöglichen:
- FC-Frames müssen in Ethernet-Frames eingekapselt werden.
- FCoE muss eine verlustfreie Umgebung ermöglichen, in der Frames nicht verloren gehen und als Reaktion auf eine Netzwerküberlastung erneut übertragen werden.
- FCoE muss Fibre Channel N_port IDs auf konventionellen Ethernet MAC-Adressen abbilden. Computer können über CNAs auf FCoE zugreifen, die sowohl FC-HBA- als auch Ethernet-NIC-Funktionen auf demselben Gerät bereitstellen.
Fibre Channel vs. Glasfaser
Fibre Channel unterstützt je nach Einsatzbereich sowohl Kupfer- als auch Glasfaserkabel. Fibre Channel-Kupferkabel eignen sich gut für Kurzstreckenverbindungen bis zu einer Entfernung von etwa 100 Fuß. Optische Verbindungen mit Glasfaserkabeln sind für Verbindungen über mittlere bis große Entfernungen (bis zu circa 6 Meilen) vorgesehen, zum Beispiel für Campus-Netzwerke und Stadtnetze.
Die Wahl des Kabels hängt von der Wahl des HBA-Ports und den verfügbaren Ports der Fibre-Channel-Switches und -Speichergeräte ab. In vielen Fällen bietet die Hardware Port-Optionen sowohl für Kupfer- als auch für Glasfaserkabel, die der Benutzer je nach Bedarf einsetzen kann.
