Kafka DataOps: Self-Service-Informationen bereitstellen

Streaming Business Intelligence mit Kafka

Streaming Business Intelligence (BI) ist eine neue Technologieklasse, die Kafka-Streaming-Daten mit Business Intelligence im Self-Service verbindet. Zum ersten Mal gibt es eine Möglichkeit, die fehlenden Eigenschaften zur Darstellung von Echtzeitdaten in einem BI-Tool auszugleichen.

Und das funktioniert so: Streaming BI unterstützt native Konnektivität für Kafka-Topics. Die Einrichtung dauert nur wenige Minuten. Die Anwender öffnen ein Kafka-Topic genau wie zum Beispiel eine Excel-Tabelle. Sobald eine Verbindung hergestellt ist, sieht ein Kafka-Kanal wie jede andere Datenbanktabelle aus, außer, dass er eben live ist und im BI-Tool ständig aktualisiert wird. Die Unternehmensanalyse wählt die Themen aus, die sie untersuchen möchte, erstellt Visualisierungen und verknüpft Ansichten.

Jede Visualisierung erstellt Abfragen, die an die Streaming-BI-Engine gesendet werden, um Nachrichten auf Kafka kontinuierlich auszuwerten, wenn die Bedingungen wechseln. Wenn sich ein Element in der Ergebnismenge verändert, wird die inkrementelle Änderung an das BI-Tool übertragen.

Streaming BI sieht aus wie herkömmliches BI, alle Daten sind jedoch live. Diagramme werden in Echtzeit aktualisiert, Warnmeldungen werden in kürzester Zeit abgegeben. Kontinuierliche Einblicke in Kafka-Daten sind nun für jeden Geschäftsanalysten verfügbar, ohne Programmierung, ohne Hacking von KSQL, ohne wochen- oder monatelange Entwicklung durch die IT-Abteilung.

Da Streaming BI auf einem fortschrittlichen Streaming-Analyse-Modul basiert, können Analysten entscheiden, beliebige Zeitfenster basierend auf zeitlichen Einschränkungen zu erstellen, Streams miteinander zu verbinden und zusammenzuführen, oder sogar Modelle für maschinelles Lernen in Echtzeit anzuwenden.

Adaptive Datenwissenschaft

Dieselbe Streaming-Technologie kann auch die adaptive Datenwissenschaft antreiben. Doch was genau versteht man darunter? Traditionelle Machine-Learning-Modelle werden auf Basis historischer Daten trainiert. Diese Vorhersagen funktionieren für Anwendungen gut, bei denen die Welt im Wesentlichen gleich bleibt – die gleichen Muster, Anomalien und Mechanismen, die in der Vergangenheit beobachtet wurden, werden auch in Zukunft auftreten. Predictive Analytics also in die Vergangenheit und nicht in die Zukunft.

In vielen Situationen der realen Welt ändern sich jedoch die Bedingungen, und mit der zunehmenden Zahl von Sensoren ist Kafka wie ein Enterprise Nervous System, in dem der sensorische Input von Kafka kontinuierlich zur Bewertung von Data-Science-Modellen verwendet werden kann.

Wenn Unternehmen ein KI-Modell in den Streaming-BI-Server integrieren, werden die Vorhersagen kontinuierlich aktualisiert, sobald sich die Bedingungen ändern. Modelle in Java, PMML, R, H2O, Tensorflow und Python können alle Sliding Windows von Kafka-Nachrichten ausgeführt werden.

Streaming BI + Streaming AI + Kafka = Kontinuierliche Intelligenz

In Kombination bieten Streaming BI und KI für Kafka kontinuierliche Informationen. Dieser Analysestil stellt das traditionelle, rückwärtsgerichtete Modell der Verarbeitung auf den Kopf. Geschäftsanalysten können jetzt die Zukunft abfragen und vorhersagen. Diese Art der Erkenntnisgewinnung bringt BI in echte Echtzeit-Anwendungsfälle in operativen Geschäftsanwendungen, die Kafka verwenden.

Um Kafka für Continuous Intelligence einsetzen zu können, müssen Anwender zunächst eine Übersicht der Daten erstellen, die sie in Kafka haben könnten und die sich häufig ändern: Dazu gehören zum Beispiel Sales Leads, Transaktionen, vernetzte Fahrzeuge, mobile Apps, Mobilgeräte, Social-Media-Updates, Kundenanrufe, Zustandsänderungen von Robotiksystemen, Kiosk-Interaktionen, Social-Media-Aktivitäten, Website-Hits, Kundenbestellungen, Chat-Nachrichten, Aktualisierungen der Lieferkette und Dateiaustausch.

Als nächstes muss man Fragen zu den Topics auf Kafka-Streams formulieren, die mit Tell me when (Sag mir, wenn) beginnen. Diese Fragen können Mathematik-, Regel- oder Machine-Learning-Modelle enthalten und täglich millionen- oder milliardenfach beantwortet werden. Wenn dies der Fall ist, meldet sich das BI-Tool – ohne dass die Nutzer darauf warten müssen.

Fragen über die Zukunft könnten folgendermaßen aussehen: Sag mir, wenn ein hochwertiger Kunde in mein Geschäft kommt. Sag mir, wenn ein Gerät für mehr als 30 Sekunden Anzeichen eines Ausfalls zeigt. Sag mir, wenn ein Flugzeug mit einem hochrangigen Passagier an Bord landet, der Gefahr läuft, seinen Anschluss zu verpassen.

Die meisten Unternehmen machen sich nicht die Mühe, die Tell-me-when-Fragen zu stellen, weil ihre BI- und KI-Tools sie nicht beantworten können. Bis jetzt.

Die Anwendungsfälle

Continuous Intelligence mit Kafka ermöglicht völlig neue Anwendungsfälle und Applikationen, die Echtzeitdaten nutzen.

Risikovorstände in Banken können Anomalien in Streams von Kafka-Nachrichten erkennen, die Abschlüsse, Aufträge, Marktdaten, Kunden- und Kontoaktivitäten sowie Risikokennzahlen enthalten. Sie können dann verdächtige Handelsaktivitäten und -möglichkeiten identifizieren und die Einhaltung in Echtzeit bewerten.

Lieferketten-, Logistik- und Transportunternehmen können Streaming-Daten auf Kafka analysieren, um vernetzte Fahrzeuge, Container und Personen in Echtzeit zu überwachen und abzubilden. Mit Streaming BI können Analysten die wichtigsten Routing-Probleme identifizieren und so die Lieferungen optimieren.

Betriebsanalysten einer Smart City können Kafka-Daten von GPS-Systemen, Verkehrsdaten, Bussen und Zügen überwachen, um kritische Bedingungen vorherzusagen und darauf zu reagieren, bevor sie Schaden anrichten.

Energieunternehmen können sensorgestützte Industrieanlagen analysieren, um Probleme bei der Ölförderung zu vermeiden, bevor sie auftreten, und sie können vorhersagen, wann Wartungsarbeiten an Anlagen durchgeführt werden müssen.

Warum nicht KSQL?

Mit KSQL können Entwickler Kafka-Daten abfragen. Jedoch nicht in Echtzeit und kontinuierlich, BI-Tools unterstützen KSQL nicht, und Entwickler müssen ein System damit implementieren. BI-Tools wie Power BI, Tableau und Looker unterstützen es zum Beispiel nicht, da sie nicht für das Streaming von BI entwickelt wurden. Sie akzeptieren keine kontinuierliche Push-basierte, inkrementelle Abfrageverarbeitung.

Die Verwendung von KSQL für Analysen lässt sich mit dem Kauf eines Grundstücks und der darauffolgenden Erwartung vergleichen, als Ergebnis ein Haus zu erhalten – in Wirklichkeit steckt noch viel mehr dahinter.

„Mit Continuous Intelligence können Geschäftsanwender nun im Self-Service auf Kafka-Ereignisse zugreifen, künstliche Intelligenz in Echtzeit anwenden und verstehen, was gerade passiert.“

Mark Palmer, TIBCO

Streaming Business Intelligence macht Kafka sofort nutzbar, da Benutzer ohne KSQL-Codierung eine Verbindung zu professionellen BI-Tools und Data-Science-Modellen herstellen können. Sie müssen, um das gerade verwendete Bild aufzugreifen, kein Haus bauen – sie ziehen einfach ein! Das heißt, sie verbinden Kafka per Knopfdruck mit ihrem BI-Tool.

Der andere Ansatz besteht darin, Kafka-Nachrichten in eine Datenbank zu füllen und SQL zu verwenden. Dies funktioniert, wenn man nur im Rückspiegel das ansehen möchte, was bereits passiert ist.

Continuous Intelligence und der Blick zurück verschmelzen

Mit Streaming BI jedoch können Unternehmen erstmals Echtzeitinformationen mit historischen Informationen kombinieren, sodass Analysten die Echtzeitbedingungen mit den bereits vergangenen vergleichen können.

So können beispielsweise Fluggesellschaften Kafka verwenden, um Daten über Vielflieger beim Einchecken zu erfassen. Mit Unterstützung von Streaming BI können Analysten, die überlegen, wie sie in Echtzeit Maßnahmen ergreifen können, das kontinuierliche Wissen über die Kundenhistorie korrelieren.

Streaming BI und adaptive Datenwissenschaft können die Meinung der Benutzer über die Verwendung von Kafka auf den Kopf stellen.

Mit Continuous Intelligence können Geschäftsanwender nun im Self-Service auf Kafka-Ereignisse zugreifen, künstliche Intelligenz in Echtzeit anwenden und verstehen, was gerade passiert. Noch besser ist, dass sie die Zukunft abfragen und genauere und aktuellere Vorhersagen und Entscheidungen treffen können.

Über den Autor:
Mark Palmer ist General Manager of Analytics, Data Science & Data Virtualization bei TIBCO Software.

Die Autoren sind für den Inhalt und die Richtigkeit ihrer Beiträge selbst verantwortlich. Die dargelegten Meinungen geben die Ansichten der Autoren wieder.