Diese Storage-Technologien eignen sich für KI und ML

Kosteneinsparungen bei Storage-Lösungen und Software-defined Storage

Storage-Systeme für KI, ML und DL müssen skalierbar aber gleichzeitig im Verhältnis günstig sein. Die Kosten für den Speicher dürfen den Nutzer der Lösung nicht übersteigen, die Daten auf den Systemen ablegt.

Um Kosten einzusparen, aber auch um die Flexibilität, Skalierbarkeit und Leistung zu bieten, die KI (auch Artificial Intelligence, AI), ML und DL brauchen, kann softwaredefinierter Speicherplatz in vielen Bereichen sehr sinnvoll sein. Vor allem Software-defined Storage ist in der Lage effektiv, flexibel und sehr skalierbar Daten speichern zu können. Viele Unternehmen scheuen sich noch davor, auf softwaredefinierten Speicher zu setzen, aber vor allem durch KI/AI, ML und DL wird die Akzeptanz dieser Speicherart deutlich erhöht und findet immer mehr Verbreitung.

Erhöhte Sicherheit und Zuverlässigkeit

Datenverlust und Sicherheit spielen für Storage-Systeme ohnehin eine wichtige Rolle. Durch ML und KI werden Storage-Systeme immer schneller, sicherer und KI/ML können dazu beitragen, die Verarbeitungszeit der Datenspeicherung zu verringern. KI/ML-Systeme können also nicht nur Daten speichern, sondern gespeicherte Daten schneller verarbeiten, wenn sie in Storage-Systeme eingebunden sind.  Durch KI wird die Sicherheit im Rechenzentrum erhöht, auch für die Storage-Systeme. Nutzen Unternehmen also Storage-Systeme, die über eine eigene KI verfügen, lassen sich Daten schneller und sicherer speichern. Intelligente Sicherheitsfunktionen können Angriffe verhindern, bevor diese eine zu starke Auswirkung im Rechenzentrum haben.

Hybride Speicher-Clouds

Hybride Storage-Systeme spielen bei KI/AI, ML und DL eine besonders wichtige Rolle. In den meisten Fällen reicht es nicht aus, Daten im lokalen Rechenzentrum zu speichern, und auch die ausschließliche Nutzung von Cloud-Speichern ist nicht immer sinnvoll. Oft ist eine Mischung ein idealer Weg, also die Speicherung von Daten in der Cloud, aber auch die Möglichkeiten, Daten lokal zu speichern. Davon profitieren Umgebungen, die auf KI und ML setzen, da hier eine maximale Flexibilität und eine schnelle Skalierbarkeit zu erwarten ist.

Arbeiten Unternehmen mit Microsoft Azure, ist StorSimple eine durchaus interessante Technologie, wenn Datenspeicher lokal und in der Cloud schnell zur Verfügung stehen soll. Bei StorSimple handelt es sich um eine Storage-Appliance, die lokale Speicherkapazitäten bietet und parallel noch Datenspeicher in Microsoft Azure. Die Anbindung an interne Netzwerke erfolgt über 10 Gigabit-LAN-Leitungen und iSCSI-Targets. Das Produkt wurde durch die Akquisition des Unternehmen StorSimple in die Microsoft-Produktlinie integriert.

Lokaler Speicher wird in vielen Umgebungen auch benötigt, um Zwischenspeicherung zu ermöglichen, da die Daten über die Cloud nicht so schnell zugreifbar sind wie auf lokalen Datenspeichern. Diese bieten aber wiederum oft zu wenig Speicherplatz und sind nicht so skalierbar und flexibel wie Cloud-Speicher.

Flash-Speicher im Netzwerk: All Flash und NVMe

Herkömmliche Speichertechnologien sind nicht in der Lage, Daten so schnell zu speichern, wie es Flash-Medien können. Es ist zu erwarten, dass Datenspeicher, die auf Flash setzen, in Zukunft immer größere Verbreitung finden, da sie extrem schnell Daten speichern und abrufen können. Es ist zu erwarten, dass in Zukunft vor allem Flash-Speicher weiterhin deutlich an Marktanteilen gewinnen und zum führenden Datenspeicher werden.

Aktuell gibt es bereits viele Anbieter, die entweder All-Flash-Technologie bieten, die auf SSD und NVMe setzt. Teilweise gibt es hybride Variante, die zur schnellen Datenspeicherung auf NVMe setzt und für weniger häufig verwendete Daten auf SSD. Non-Volatile Memory Express (NVMe) kommt in leistungsstarken Speichersystemen zum Einsatz und erlaubt einen massiven parallelen Zugriff auf die gespeicherten Daten.

Zur Archivierung wird schließlich auf herkömmliche Laufwerke und die Cloud gesetzt. Oft ist eine Kombination aus den Technologien ein guter Weg, da hier die Kosten wesentlich geringer sind, als beim Einsatz von kompletten All-Flash-Speichern.

Der Trend zum All-Flash-Speicher setzt sich teilweise bereits durch Flash Data Center durch. Hier wird die komplette Datenspeicherung nur noch über Flash-Speicher durchgeführt.

Konvergente Infrastrukturen berücksichtigen

Immer mehr Rechenzentren setzen auf „Converged Infrastructure“, also konvergente Infrastruktur. Dabei handelt es sich um die Bündelung von Hard- und Software im Rechenzentrum. Unternehmen setzen dabei auf einen einzelnen Anbieter, der alle notwendige Hardware und Software gemeinsam in einem modularen System liefert. Das kann im KI/AI- und ML-Bereich auch bezüglich der Speicherung von Daten ein wichtiger Faktor sein, um auf Storage-Systeme zu setzen, die sich in einem konvergenten Rechenzentrum befinden.

Diese Systeme erleichtern eine Skalierbarkeit auf mehreren Ebenen, was für leistungshungrige Anwendungen sinnvoll sein kann. So wird nicht nur der Speicherplatz in einem Zug erweitert, sondern ebenso Compute- und Netzwerk-Ressourcen.

Parallele Dateisysteme

Storage-Systeme müssen parallele Dateisysteme unterstützen. Bei Zugriffen und Speicheraktionen werden automatisch mehrere Speicherbereiche im Storage-System gleichzeitig angesprochen, so dass die Technologie und die dazu gehörige Software dazu in der Lage sein müssen.

Parallele Dateisysteme sind leistungsstärker als lineare Architekturen und können Daten schneller verarbeiten beziehungsweise lesen und schreiben. Für KI und ML sind somit wichtige Analysen durchführbar und Daten immer im schnellen Zugriff.

Mehr Automatisierung, Instrumentation und Neuraler Speicher

Storage-Systeme für KI/AI, ML und DL arbeiten in Zukunft weitgehend automatisiert und können Aktionen auch ohne menschliche Aktionen durchführen.

Die Speicherung von Daten wird mit Telemetrie instrumentiert, um Daten aus nicht-traditionellen Quellen zu sammeln und zu verarbeiten. Das sind typische Szenarien für den Einsatz von KI/AI, ML und DL. Setzen Unternehmen auf softwaredefinierte Speicherung von Daten, können Algorithmen integriert werden, um komplexe Speicherverwaltungsprobleme zu lösen. Echte neuronale Netzwerke sind in Zukunft nach der Meinung vieler Experten in die Speicherinfrastruktur integriert, so dass sie selbstständig lernen und neue Fähigkeiten entwickeln können. Das verbessert die Verwaltung und den Umgang mit Daten.

Datendeduplizierung und Datenreduktion

Auch wenn der Speicherplatz ständig ansteigt, werden die zu speichernden Daten ebenfalls immer mehr. Aus diesem Grund müssen moderne Speichersysteme dazu in der Lage sein, Daten zu reduzieren, die nicht benötigt werden, oder Daten zu deduplizieren, die mehrfach gespeichert sind. Verantwortlich sind hier zum einen Server, welche die Datenspeicherung steuern, zum anderen aber auch die Speichersysteme. Auch automatische Komprimierung oder das Auslagern von weniger häufig verwendeten Daten (Cold Data) auf Datenspeicher, die günstiger sind und mehr Speicherplatz bieten als beispielsweise Tape oder optische Medien. In diesem Bereich kommt vor allem KI zum Einsatz, da die künstliche Intelligenz diese Daten effektiv verteilen kann und dafür sorgt, dass Daten nicht mehrfach gespeichert werden, wenn das nicht notwendig ist.