Wie man ML-Workloads mit Apache Spark auf Kubernetes ausführt

Was ist Apache Spark?

Apache Spark ist eine Open-Source-Datenverarbeitungsplattform, die für Machine Learning Workloads entwickelt wurde. Zu den wichtigsten Merkmalen von Spark gehören:

• Die Fähigkeit, große Datenmengen schnell zu verarbeiten, insbesondere wenn die Daten im Arbeitsspeicher gespeichert sind.
• Unterstützung für die Echtzeitverarbeitung von Datenströmen.
• Hochgradig anpassbare Arbeitsabläufe für die Datenverarbeitung.
• Mehrere Bereitstellungsmodelle, das heißt Spark kann auf Wunsch über einem Hadoop-Cluster laufen oder allein betrieben werden.

Dank dieser Funktionen, insbesondere der schnellen Datenverarbeitung, hat sich Spark zum de facto Open Source Tool für den Betrieb von Machine Learning Workloads entwickelt, die eine umfangreiche Datenverarbeitung erfordern.

Die Vorteile der Ausführung von Spark auf Kubernetes

Kubernetes ist für die Ausführung von Spark nicht erforderlich. Die Entscheidung, Spark auf Kubernetes auszuführen, kann jedoch mehrere Vorteile bieten:

• Die Möglichkeit, Spark-Anwendungen problemlos zwischen verschiedenen Kubernetes-Clustern zu verschieben, was ein Vorteil ist, wenn Sie nicht an eine bestimmte Infrastrukturplattform gebunden sein möchten.
• Unterstützung für die Segmentierung von Spark-Anwendungen untereinander, wobei sie dennoch alle in einem einzigen Kubernetes-Cluster untergebracht sind.
• Ein einheitlicher Ansatz für die Bereitstellung und Verwaltung von Anwendungen, da Sie alles über Kubernetes verwalten können.
• Die Möglichkeit, Kubernetes ResourceQuotas zu verwenden, um die Spark zugewiesenen Ressourcen zu verwalten.

Apache Spark hat ab Spark 2.3 native Unterstützung für Kubernetes erhalten. Native Unterstützung bedeutet, dass Sie Spark-Anwendungen wie jede andere Kubernetes-Anwendung mit Container-Images und Pods bereitstellen und verwalten können. Sie benötigen keine speziellen Tools oder Erweiterungen, um Spark mit Kubernetes kompatibel zu machen.

Schritte für die Bereitstellung von Spark auf Kubernetes

Um Spark auf Kubernetes bereitzustellen, erstellen Sie zunächst ein Deployment für einen Spark Master:

kind: Deployment

apiVersion: apps/v1

metadata:

  name: spark-master

spec:

  template:

     metadata:

       labels:

         component: spark-master

     spec:

       containers:

         - name: spark-master

                     image: apache/spark:v3.3.0

           command: ["/spark-master"]

             ports:

           - containerPort: 6000

           - containerPort: 8080

Speichern Sie diese Datei als spark-master.yml.

Als nächstes erstellen Sie einen Service:

kind: Service

apiVersion: v1

metadata:

  name: spark-master

spec:

  ports:

     - name: ui

     port: 8080

     targetPort: 8080

     - name: spark

     port: 6000

     targetPort: 6000

  selector:

     component: spark-master

Speichern Sie Ihre Service-Konfiguration als spark-master-service.yml.

Erstellen Sie dann die Bereitstellung und den Dienst in Ihren Kubernetes-Clustern, indem Sie Folgendes ausführen:

kubectl create -f ./kubernetes/spark-master.yml

kubectl create -f ./kubernetes/spark-master-service.yml

Jetzt haben Sie einen Spark-Master laufen. Nun können Sie einen Spark Worker erstellen, um Ihren Cluster zu vervollständigen:

kind: Deployment

apiVersion: apps/v1

metadata:

  name: worker

  template:

     metadata:

     labels:

     component: spark-worker

     spec:

       containers:

         - name: worker

               image: apache/spark:v3.3.0

           command: ["/worker"]

           ports:

           - containerPort: 8081

Speichern Sie diese Datei unter dem Namen spark-worker.yml und verteilen Sie sie mit folgendem Befehl:

kubectl create -f ./kubernetes/spark-worker.yml

Jetzt ist ein einfacher Spark-Cluster auf Kubernetes eingerichtet und läuft. Sie können damit beginnen, Spark-Arbeitslasten an Ihren Master-Container zu übermitteln.

Auf dem Weg zu einer Produktionsumgebung können Sie zusätzliche Worker einsetzen, um das Cluster zu vergrößern. Vielleicht möchten Sie das Cluster auch für externe Ressourcen öffnen, indem Sie einen Service einrichten, der eine öffentliche IP-Adresse bereitstellt, oder eine Ingress-Regel erstellen. Weitere Einzelheiten finden Sie in der Spark-Dokumentation.