Kalawin - stock.adobe.com
Auf dem Weg zur KI: Modelle in der Cloud entwickeln und testen
Unternehmen fahren am besten, wenn sie für Entwicklung und Training ihrer KI-Modelle einen Cloud-Ansatz wählen. Bei der Auswahl des Anbieters gilt es aber einiges zu beachten.
Der Aufbau einer Entwicklungs- und Testumgebung für KI-Modelle erfordert großes Fachwissen. Wie schon bei der Datenvorbereitung, die im ersten Teil dieser dreiteiligen Artikelserie erläutert wurde, benötigen Data Scientists auch für das Erstellen von Algorithmen zahlreiche Tools und Softwarekomponenten. Alle Softwarekomponenten auszuwählen, bereitzustellen und zu warten ist zeitaufwendig, zumal je nach Anforderungen häufige Updates anfallen. Dabei geht es hier um Aufgaben mit geringem Mehrwert für das Unternehmen.
Ein Beispiel: Data Scientists arbeiten in der Regel mit Open-Source-Lösungen. Auf Dauer kann deren Verwaltung jedoch kompliziert werden, denn es erscheinen ständig neue Lösungen und Versionen, was zu Kompatibilitätsproblemen führen kann. Daher müssen Vorgängerversionen der Frameworks wegen der Kompatibilität mit bereits eingesetzten Modellen aufbewahrt werden. Bei gemanagten Diensten wird diese komplexe Verwaltung größtenteils vom Cloud-Anbieter übernommen.
Ein Open-Source-Ökosystem für Data Scientists
Data Scientists nutzen insbesondere verschiedene Typen von Notebooks zur Entwicklung von Algorithmen – gängige Notebook-Typen sind zum Beispiel Jupyter und VS Code. Hinzu kommen die Tools und Frameworks für das Training und die Bereitstellung von Modellen wie PyTorch, TensorFlow und Scikit-Learn. Dabei steht Open Source hoch im Kurs: Bei der jährlichen Umfrage von Anaconda zu den von Data Scientists genutzten Tools gaben zuletzt 87 Prozent der Befragten an, dass ihr Unternehmen Open-Source-Lösungen verwendet. Es spricht daher vieles für einen Cloud-Anbieter, der diese Lösungen in Form von gemanagten Diensten bereitstellt.
Die Vorteile von Anwendungen as a Service dürften inzwischen allgemein bekannt sein: IT-Lösungen stehen binnen Minuten zur Verfügung, neue Nutzerinnen und Nutzer lassen sich schnell einrichten, denn der Cloud-Anbieter selbst integriert sie in seine IT-Infrastruktur. Im Falle von Notebooks heißt das: CPU- und GPU-Ressourcen stehen unmittelbar zur Verfügung. Eine Konfigurationsphase ist nicht nötig. Data Scientists wählen einfach und direkt die Instanz für das Training aus, ohne auf ein Drittsystem zuzugreifen.
Anschließend lernen sie ihr Modell in der Regel auf diesem Notebook an und nutzen dabei die Vorzüge der kompletten Integration des Tools in die Infrastruktur. Sobald der Algorithmus die gewünschten Ergebnisse liefert, beginnen sie mit der Produktion des Modells in Form eines Docker-Softwarecontainers. Das Modell wird von nun an regelmäßig mit neuen Daten trainiert. Sollte seine Wirksamkeit nachlassen, wird es angepasst.
Mit entsprechenden Cloud-Lösungen können Modelle über ein Docker-Image angelernt werden. Wie bei der Bereitstellung von Notebooks bietet auch hier ein Cloud-Ansatz den Vorteil, dass sich Trainings praktisch sofort starten lassen, ohne dass sich die Data Scientists um die Orchestrierung von Rechenressourcen kümmern müssen. Der Übergang von der Umgebung des Data Scientists zur Testumgebung wird einfacher, genau wie das Programmieren eines erneuten Trainings des Modells über einen bestimmten Zeitraum hinweg, von einigen Stunden bis zu mehreren Tagen.
Die Ressourcenfrage
Die Entwicklung von KI-Modellen erfordert eine hohe Rechenleistung, sowohl für die Datenverarbeitung als auch für das Training der Modelle. Die entsprechende Infrastruktur muss Lastspitzen abfangen können, wird jedoch meist nicht vollumfänglich genutzt. Für diese Art von Aufgaben eignet sich die Cloud hervorragend, denn durch die praktisch beliebige Skalierbarkeit lässt sich für einen bestimmten Zeitraum eine sehr hohe Rechenleistung abrufen.
Es ist komplizierter, eine derartige Nutzung mit einem On-Premises-Ansatz wirtschaftlich zu amortisieren. Angesichts des derzeitigen Mangels an elektronischen Komponenten ist die Verfügbarkeit von GPUs zudem äußerst eingeschränkt. Für ein Unternehmen ergeben sich mitunter Wartezeiten von mehreren Monaten, bevor eine bestimmte Konfiguration für KI bereit ist. Cloud-Anbieter stehen hingegen in direktem Kontakt zu Zulieferern von Komponenten und können daher vorrangig beliefert werden. So lassen sich Engpässe vermeiden.
„Wie bei der Bereitstellung von Notebooks bietet auch hier ein Cloud-Ansatz den Vorteil, dass sich Trainings praktisch sofort starten lassen, ohne dass sich die Data Scientists um die Orchestrierung von Rechenressourcen kümmern müssen.“
Stefan Schäfer, OVHcloud
Neben der Bereitstellung von potenziell unendlichen IT-Ressourcen ist die Cloud besonders geeignet dafür, die Workloads in Verbindung mit KI zu bewältigen. Ein für KI-Workloads geeigneter Cloud-Anbieter kann die tatsächlich genutzten Ressourcen auf die Minute genau und ohne Mindestbetrag in Rechnung stellen, wobei die Preise für GPU-Instanzen im Marktvergleich niedrig sind und die Abrechnung die spezifischen KI-Workloads berücksichtigt. Das Training von Modellen kann schnell zu Rechnungen über mehrere tausend Euro pro Monat führen, es lohnt daher ein Preisvergleich zwischen den Cloud-Anbietern.
Cloud-Anbieter ist nicht gleich Cloud-Anbieter
Grundsätzlich fahren Unternehmen am besten, wenn sie für Entwicklung und Training ihrer KI-Modelle einen Cloud-basierten, gemanagten Ansatz wählen. Bei der Wahl des richtigen Cloud-Anbieters sollten jedoch eine Reihe von Kriterien beachten werden:
- Gerichtsbarkeit des Cloud-Anbieters. Hat der Anbieter seinen Sitz in der EU und unterliegt damit vollständig und ausschließlich der DSGVO, oder sitzt er außerhalb der EU und unterliegt damit extraterritorialen Gesetzgebungen? Anbieter mit Gerichtsbarkeit in den USA unterliegen beispielsweise dem CLOUD Act – und dieser gilt auch für ihre auf europäischem Gebiet gespeicherten Daten.
- Einhaltung von Technologiestandards. Ein Cloud-Anbieter sollte die gängigen Marktstandards unterstützen, insbesondere Open Source. Dies gilt für die zentrale Speicherung der Daten in einem Speicherpool via Object Storage ebenso wie für die Bereitstellung von Notebooks und Frameworks für das Training sowie das anschließende Deployment der fertigen Modelle.
- Breite Unterstützung marktüblicher KI-Frameworks. Jedes Unternehmen und jeder Data Scientist verwendet je nach Anwendungsfall ein oder mehrere bestimmte Frameworks. Der Cloud-Anbieter muss die wichtigsten Frameworks auf dem Markt unterstützen. Hier bieten sich vor allem technologieneutrale Open-Source-Plattformen wie Kubernetes an.
- Vanilla-Lösungen direkt von Open Source. Standardisierte, offene Formate auf Open-Source-Basis haben noch einen weiteren Vorteil: Nur so lässt sich garantieren, dass die Wahl des Cloud-Anbieters später rückgängig gemacht werden kann. Proprietäre Lösungen dagegen bergen stets das Risiko eines Vendor Lock-in.
- Im Storage-Angebot integrierte Lösungen für Datenverarbeitung. Nutzerinnen und Nutzer können so die Vielzahl von technischen Komponenten für die Datenverarbeitung einfacher handhaben und gewinnen dazu an Performance. Im Gegensatz zu On-Premises-Lösungen erfordern diese Prozesse in der Cloud keine zeitintensive Konfigurationsphase und ersparen Wartungszeiten und -kosten.
- Genaue Abrechnung nach Verbrauch. Diese ist unerlässlich, um die Kosten unter Kontrolle zu behalten und die IT-Ausgaben zu optimieren. Dazu gehört auch, dass der Anbieter Unternehmen die Möglichkeit gibt, die Kosten für ihre KI-Projekte bereits vorab zu kalkulieren.
Anmerkung: Dies ist der zweite Teil einer dreiteiligen Artikelserie zur Implementierung künstlicher Intelligenz in Unternehmen. Der dritte Teil erscheint kommenden Mittwoch. Der erste Teil wurde am 19. Juli veröffentlicht.
Über den Autor:
Stefan Schäfer ist Experte für Produktmanagement, IT und Marketing und arbeitet seit rund 15 Jahren in der Cloud Computing Branche. Beim europäischen Cloud Provider OVHcloud verantwortet er das Produktmarketing in der Region Central Europe.
Die Autoren sind für den Inhalt und die Richtigkeit ihrer Beiträge selbst verantwortlich. Die dargelegten Meinungen geben die Ansichten der Autoren wieder.
