turbomotion046 - stock.adobe.com
Künstliche Intelligenz: Auf den Speicher kommt es an
KI-Anwendungen benötigen spezifischen Speicher, der die Anforderungen der leistungshungrigen Apps erfüllt. Dafür sind bereits verschiedene Storage-Optionen verfügbar.
KI-Anwendungen gelten als leistungshungrig, doch in der Regel ist es gar nicht so schwer, ausreichend Rechenleistung zur Verfügung zu stellen. Herausfordernder ist meist die Auswahl eines passenden Memorys, da dies je nach Anwendungsfall ganz unterschiedliche Anforderungen erfüllen muss. Nicht immer passen bestehende Speicherprodukte, weshalb die Hersteller neue Lösungen entwickeln.
Spätestens mit ChatGPT ist ein regelrechter Hype um Künstliche Intelligenz entstanden und das Thema in der breiten Öffentlichkeit angekommen. Dabei steckt die Technologie längst in vielen Anwendungen und Geräten des Alltags, etwa in den Fahrassistenzsystemen von Autos, den persönlichen Assistenten auf Smartphones sowie den Empfehlungen und Suchergebnissen von Amazon, Google, Netflix und Spotify. Im Gesundheitswesen wiederum helfen KI-Algorithmen beim Auswerten von MRT- und Röntgenaufnahmen, in der Logistik optimieren sie Lieferwege und Lieferzeiten, während sie in der Industrie ganze Fertigungsstraßen überwachen und Ausfälle von Maschinen vorhersagen.
So vielfältig wie die Anwendungsfälle sind allerdings auch die Anforderungen, die KI an IoT-Geräte und IT-Systeme stellt. Die Rechenleistung ist dabei meist gar nicht das Problem, sondern erfahrungsgemäß eher der Speicher. Geht es beispielsweise darum, einen großen und steten Strom an Sensordaten zuverlässig zu erfassen, werden Speicher benötigt, die hohe Schreiblasten verkraften. Bei der Bereitstellung von Daten für das Training der Algorithmen sind hingegen vor allem Lese-Performance und hohe Kapazitäten gefragt. Und bei schnellen Entscheidungen anhand vortrainierter KI-Modelle kommt es ganz entscheidend auf Zugriffe mit geringer Latenz an – schließlich dürfen nur Millisekunden vergehen, bis ein Fahrzeug in einer Gefahrensituation automatisch bremst oder ein Produktionsroboter innehält, weil ein Mensch versehentlich seinen Arbeitsbereich betreten hat.
Zu diesen Anforderungen kommt in der Regel noch der Wunsch nach Kosteneffizienz, sprich: einem gesunden Verhältnis aus Kosten und Speicherkapazität oder aus Kosten und Leistung. Insbesondere in der Industrie und im Automobilbereich müssen die Speicher zudem unter wechselhaften Umgebungsbedingungen mit hohen und niedrigen Temperaturen lange halten und fehlerfrei funktionieren.
NAND-Flash ist nicht gleich NAND-Flash
Nicht in jedem Fall lassen sich die konkreten Anforderungen einzelner Anwendungsfälle mit bestehenden SSDs und Embedded-Speichern wie UFS und eMMC erfüllen. Zumal KI noch immer eine vergleichsweise neue Technologie ist, die sich rasant weiterentwickelt und kontinuierliche neue Anwendungsfälle mit ganz spezifischen Anforderungen hervorbringt. Gemeinsam mit den Herstellern von Komponenten und IT-Systemen arbeiten die Anbieter von Flash-Speichern daher an neuen Lösungen: Sie identifizieren typische Anforderungen hinsichtlich Performance, Kapazität, Skalierung, Robustheit, Leistungsaufnahme und Kosten, wählen dazu den passenden NAND-Flashspeicher aus und kombinieren ihn mit optimierten Controllern und Firmware-Versionen.
Dabei hilft ihnen, dass NAND-Flash inzwischen äußerst vielseitig ist und je nach Typ unterschiedliche Eigenschaften aufweist. Am gebräuchlichsten ist heute TLC NAND (Triple-Level Cell), der drei Bits pro Speicherzelle aufnimmt. Es gibt aber auch QLC NAND (Quad-Level Cell) mit vier Bits pro Zelle sowie den klassischen SLC und MLC NAND(Single-Level Cell, Multi-Level Cell) mit einem Bit beziehungsweise zwei Bits pro Zelle. Je mehr Bits eine Zelle speichern kann, desto höher ist die Speicherdichte und damit die Speicherkapazität im Verhältnis zum Platzbedarf eines Speichers. Allerdings muss dessen Elektronik mit jedem zusätzlichen Bit pro Zelle exponentiell mehr Ladungslevel unterscheiden, was zulasten der Performance geht.
Zudem bedeuten mehr Ladungslevel auch geringere Unterschiede zwischen den einzelnen Leveln, sodass die im Laufe der Zeit auftretenden Ladungsverluste oder Störungen durch Schreib- und Leseaktivitäten in benachbarten Zellen leichter zu Bitfehlern führen können. Ebenso gehen mehr Bits pro Zelle mit höheren Belastungen beim Schreiben einher, wodurch sich die Zellen stärker abnutzen. Zwar steuern die Hersteller mit leistungsstarken Fehlerkorrekturmechanismen und einem ausgefeiltem Wear Leveling – der gleichmäßigen Verteilung der Schreibaktivitäten über alle Zellen hinweg – gegen, doch im Grunde gilt: Mit QLC NAND lassen sich die höchsten Speicherkapazitäten realisieren, doch die Speicher sind langsamer und weniger gut für hohe Schreiblasten geeignet als Speicher mit SLC NAND, der deutlich schneller, zuverlässiger und robuster ist, aber geringere Kapazitäten ermöglicht. TLC und MLC NAND liegen zwischen diesen beiden Extremen.
Aus diesen Gründen kommt SLC NAND tendenziell meist dann zum Einsatz, wenn KI-Anwendungen viele Daten schreiben oder die Speicher sehr zuverlässig und langlebig sein müssen. Da SLC NAND vergleichsweise teuer ist, setzt man bei geringeren Anforderungen eher auf TLC NAND, der einen guten Kompromiss aus Performance, Kapazität, Robustheit und Kosten darstellt. Muss vor allem lesend auf große Datenmengen zugegriffen werden, wie es beim Training von KI der Fall ist, bei dem die Algorithmen immer wieder mit den Trainingsdaten gefüttert und weiter verfeinert werden, reicht oft günstiger QLC NAND. Ein solcher Speicher speziell für Lerndaten befindet sich beispielsweise bei KIOXIA in der Entwicklung und wird neben QLC und TLC NAND mit einer für sequenzielle Leseoperationen optimierten Firmware ausgestattet.
Eine Alternative zu DRAM
Bei höchsten Performance-Anforderungen, wenn etwa Code für Echtzeit-Entscheidungen sehr schnell ausgeführt werden muss, stößt bisweilen sogar SLC NAND an seinen Grenzen. Unternehmen greifen dann gerne zu DRAM, der CPUs und GPUs dank seiner äußerst geringen Latenz extrem schnell mit Code oder Daten beliefern kann, jedoch teurer als NAND-Flash ist und weniger gut skaliert. Da KI-Anwendungsfälle typischerweise mit großen oder rasch wachsenden Datenmengen einhergehen, ist das nicht ideal. Eine Alternative zu DRAM ist deshalb Storage Class Memory (SCM) – eine Flash-Technologie, die leistungsmäßig zwischen DRAM und NAND-Flash steht. Sie ist im zweistelligen Prozentbereich günstiger als DRAM und kommt von der Lese-Performance nahe an diesen heran. Die Schreib-Performance ist zwar niedriger, liegt aber noch signifikant über der von NAND-Flash. Darüber hinaus skaliert SCM gut, benötigt wenig Energie und speichert Daten wie jeder Flashspeicher selbst dann noch, wenn der Speicher nicht mehr mit Strom versorgt wird.
„So vielfältig wie die Anwendungsfälle sind allerdings auch die Anforderungen, die KI an IoT-Geräte und IT-Systeme stellt. Die Rechenleistung ist dabei meist gar nicht das Problem, sondern erfahrungsgemäß eher der Speicher. Geht es beispielsweise darum, einen großen und steten Strom an Sensordaten zuverlässig zu erfassen, werden Speicher benötigt, die hohe Schreiblasten verkraften. Bei der Bereitstellung von Daten für das Training der Algorithmen sind hingegen vor allem Leseperformance und hohe Kapazitäten gefragt.“
Axel Störmann, Kioxia, Europe
Einige Speicherprodukte setzen bereits auf SCM-Technologien wie das von KIOXIA entwickelte XL-Flash. Sie werden künftig durch das auf PCIe basierende CXL-Protokoll (Compute Express Link) noch schnellere Speicherzugriffe ermöglichen. Zudem treibt die Nachfrage nach performanten und kostengünstigen Speichern für KI-Anwendungen die Entwicklung neuer Lösungen an. Wie diese aussehen können, zeigt unter anderem ein Proof of Concept von KIOXIA, der auf XL-Flash setzt und eine besonders hohe Leistung bietet. Möglich wird diese durch Optimierungen bei der Verwaltung und Adressierung der Speicherbereiche und durch Verbesserungen beim wechselseitigen Zugriff auf voneinander unabhängige Speicherbereiche, dem sogenannten Interleaving.
Letztlich gibt es viele Möglichkeiten, neue Speicherprodukte passgenau auf die Anforderungen von KI-Anwendungen zuzuschneiden. Je mehr sich typische Anforderungen herauskristallisieren, desto mehr Standard-Building-Blocks und -produkte werden entstehen – bei denen dann aufgrund der wachsenden Anzahl von KI-Anwendungen neben Leistung, Kapazität und Robustheit mehr und mehr auch die Kosten- und Energieeffizienz wichtig sein wird.
Über den Autor: Axel Störmann ist Vice President für Memory Marketing & Engineering bei der KIOXIA Europe GmbH zuständig, die früher unter dem Namen Toshiba Memory Europe GmbH bekannt war. Herr Störmann blickt bereits auf mehr als 20 Jahre Erfahrung bei Toshiba Electronics Europe zurück, wo er verschiedene Positionen in den Bereichen Qualitätssicherung für Speicher, Anwendungstechnik, Produktmarketing für alle Marktsegmente und Systemmarketing für Mobiltelefone und Automotive inne hatte.
Die Autoren sind für den Inhalt und die Richtigkeit ihrer Beiträge selbst verantwortlich. Die dargelegten Meinungen geben die Ansichten der Autoren wieder.
