Die Funktionen von Tools für die Datenintegration bewerten
Bei der Evaluierung von Datenintegrationssoftware sollte man prüfen, welche Funktionen das Unternehmen benötigt und welche Features nicht notwendig sind.
Die Auswahl der richtigen Datenintegrations-Tools und -Software ist heute ein entscheidender Faktor, um mit der steigenden Nachfrage nach Daten professionell umgehen zu können. Diese Lösungen tragen dazu bei, fundierte Geschäftsentscheidungen treffen zu können. Das Werkzeug, das ein Unternehmen auswählt, um seine Daten zu integrieren und zu übersetzen, sollte die Anforderungen des Unternehmens vollständig erfüllen. Andernfalls muss es bereits nach kurzer Zeit ein neues Tool implementieren.
Die Bewertung von Datenintegrationsprodukten beginnt mit der Erfassung und Priorisierung von Anforderungen. Ausschlaggebend sind hier vor allem die Quell- und Zielsysteme des Unternehmens. Diese Systeme legen die Art der Daten fest, die IT-Administratoren zusammenführen müssen, und die notwendigen Formen der Integration.
Für diese Anforderungen gibt es verschiedene Variablen. Zum Beispiel kann es sein, dass ein Unternehmen eine Mischung aus strukturierten und unstrukturierten Daten integrieren muss. Auch bei den erforderlichen Aufgaben gibt es eine hohe Variabilität. Diese erstrecken sich von der Datenextraktion, Transformation und dem Laden von Prozessen (ETL) und der Anwendungsintegration bis hin zur Cloud und Echtzeit-Datenintegration, der Datenvirtualisierung und verwandten Funktionen wie Datenbereinigung und Datenprofilierung.
Wenn ein Unternehmen die Anforderungen an Datenverarbeitung und -integration versteht, wird es sich besser durch die große Auswahl an verfügbaren Datenintegrationsplattformen navigieren.
Wenn ein Unternehmen die Anforderungen an Datenverarbeitung und -integration versteht, wird es sich besser durch die große Auswahl an verfügbaren Datenintegrations-Plattformen navigieren.
Sobald die Anforderungen analysiert wurden, wird im nächsten Schritt eine Liste mit spezifischen Merkmalen und Funktionen erstellt, die verglichen und bewertet werden können. Letztendlich sollte ein Unternehmen die Datenintegrationssoftware auswählen, die am besten zu seinen Anwendungsfällen, seinem Budget sowie seinen Ressourcen und Fähigkeiten passt – und nicht unbedingt das am höchsten eingestufte oder mit Funktionen überlastete Produkt.
Produktbewertung und Auswahlkriterien
Zur Vereinfachung des Auswahlprozess klassifiziert man die Liste der Features und Funktionen für Datenintegrationswerkzeuge und -software am besten als Must-haves (sollten zwingend vorhanden sein), Should-haves (sollten vorhanden sein), Nice-to-haves (können optional vorhanden sein) und Will-not-use (werden nicht benötigt).
Must-have-Merkmale sollten eindeutig sein. Es ist wichtig, ein mögliches Tool von vornherein auszuschließen, wenn es nicht über die benötigten Funktionen verfügt. Should-have-Features sind eine Grauzone zwischen Must-have- und Nice-to-have-Features. In dieser Kategorie können bestimmte Funktionen einen großen Einfluss auf die Integrationsproduktivität, Skalierbarkeit und Pflege des Systems haben. Die letzte Kategorie – Nice-to-have-Features – sind nicht erforderlich, können aber oft das Unterscheidungsmerkmal bei der Auswahl eines Produkts sein.
Wenn man überprüft, ob ein Produkt eine bestimmte gewünschte Eigenschaft hat, lautet die Antwort manchmal: Ja, es erfüllt die Kriterien, aber... Dieses aber beinhaltet dann zum Beispiel Dinge wie benutzerdefinierte Codierung, die erforderlich ist, um die Integrationsanforderungen vollständig zu erfüllen. Oder das Unternehmen muss ein Zusatzprodukt kaufen, möglicherweise von einem Drittanbieter, um fehlende Funktionen auszugleichen.
Ein anderer Fall liegt vor, wenn die gewünschte Funktion nur in einer bestimmten Version des Produkts verfügbar ist oder die Funktion in einer zukünftigen Version hinzugefügt werden soll. Oder dass der Anbieter keinen guten Ruf beim Support seiner Produkte hat.
Diese Ausnahmen bedeuten in der Regel, dass zusätzlicher Zeit-, Kosten- und Arbeitsaufwand erforderlich ist, damit dieses Produkt die Kriterien vollständig erfüllt. Die Verantwortlichen bei der Evaluation müssen sich sowohl mit diesen Problemen der Produkte befassen als auch mit den Must-have-, Should-have- und Nice-To-have-Funktionen. Nur so kann eine genaue Produktbewertung gewährleistet und können Überraschungen nach der Produktauswahl vermieden werden.
Wenn beispielsweise ein erforderliches Merkmal in einem ansonsten geeigneten Produkt fehlt, kann das Unternehmen eine benutzerdefinierte Codierung durchführen, um die Lücke zu schließen. Aber Vorsicht: Im Rahmen des Evaluierungsprozesses ist es entscheidend, die Kosten der Codierung in Bezug auf Zeit, Ressourcen und Chancenverlust abzuschätzen. Erst dann kann beurteilt werden, ob es besser ist, auf fehlende Funktionen zu verzichten oder eine andere Integrationsplattform zu wählen, die diese fehlenden Funktionen zur Verfügung stellt.
Liste von Datenintegrationsfunktionen erstellen
Die Must-have-Merkmale unterscheiden sich für jedes einzelne Unternehmen je nach Anforderungen. Die folgenden Kernfunktionen dürften aber in den meisten Unternehmen als unverzichtbar gelten:
Zugriff auf Daten aus einer Vielzahl von Quellen. Das gewählte Datenintegrationsprodukt muss direkt auf verschiedene Datenstrukturen und Informationsarten zugreifen können. Dazu gehören folgende Datensysteme und -formate:
Flat Files, zum Beispiel tabulatorisch getrennte und kommagetrennte Werte oder Tabellenkalkulationen;
Messaging-Technologien, zum Beispiel Enterprise-Messaging-Systeme, XML und JSON;
Branchenspezifische Protokolle, zum Beispiel Health Level Seven International oder Society for Worldwide Interbank Financial Telecommunication (SWIFT);
Web- oder Datenservices für Enterprise Application Integration;
Proprietäre Datenprotokolle zur Kommunikation mit speziellen Sensoren, Geräten und Legacy-Systemen wie Mainframes.
Daten in Zielsysteme schreiben. Datenintegrationswerkzeuge müssen in der Lage sein, Daten in die Zielsysteme von Integrationsprozessen einzufügen, zu ändern und zu löschen – zum Beispiel Data Warehouses oder operative Datenbanken, die Daten aus verschiedenen Quellen zur Transaktionsverarbeitung kombinieren.
Interaktion mit Quellen und Zielen. Ein Integrationswerkzeug muss eine Vielzahl von Datenerfassungs- und Bereitstellungsmethoden unterstützen – einschließlich Batch-Erfassung und -Lieferung sowie Massenimport und -extrahierung. Neben der zeitbasierten und ereignisbasierten Datenerfassung, die durch vordefinierte Verarbeitungsereignisse in Datenbanken oder Anwendungen ausgelöst wird, sollte auch die Streaming- und echtzeitnahe Datenaufnahme zum Standard der Integrationssoftware gehören.
Daten transformieren. Grundlegende Datenverarbeitungsfunktionen sind entscheidend für die Integration. Dazu gehören Datentypkonvertierungen, Datumsfunktionen, Zeichenkettenverarbeitung, NULL-Verarbeitung und mathematische Funktionen. Das Gleiche gilt für Daten-Mapping-Funktionen wie Join, Merge, Lookup, Aggregation und Substitution sowie für die Workflow-Unterstützung. Letztere ermöglicht die Erstellung eines Integrationsprozesses mit mehreren Source-to-Target Mappings, die sich potenziell auf der Grundlage von Daten oder funktionalen Abhängigkeiten verbinden. Darüber hinaus sollte die Integrationssoftware eine Workflow-Orchestrierung bereitstellen, die Looping, If-then-else, Case Style und die Übergabe von Variablen beinhaltet.
Effektives Design und Entwicklung. Ein weiteres wichtiges Feature der Datenintegration ist eine grafische Benutzeroberfläche (GUI). Sie sollte den Aufbau von Source-to-Target Mappings und Integrations-Workflows vereinfachen – mit Daten, Transformationen und anderen Elementen, die in Designpaletten angezeigt werden. Eine gut gestaltete GUI mit einfacher Bedienung ist äußerst wichtig, da sie die Einarbeitungszeit Ihrer Mitarbeiter verkürzt. Die GUI sollte die Funktionalitäten des Softwareentwicklungsmanagements begleiten, zum Beispiel die Versionskontrolle oder die Unterstützung für Entwicklungs-, Test- und Produktionsumgebungen. Sie sollte auch die Möglichkeit bieten, Kommentare oder Notizen einzubringen. Datenintegrationsprodukte sollten außerdem über interaktive Test- und Debugging-Funktionen verfügen sowie die Erstellung wiederverwendbarer und gemeinsam nutzbarer Komponenten bereitstellen.
Effiziente Abläufe unterstützen. Funktionen für die Verwaltung und Optimierung von Integrationsprozessen sind ebenfalls unerlässlich, zum Beispiel Runtime Process Monitoring, Fehler-, Warn- und Zustandsbehandlung, Erfassung von Laufzeitstatistiken und Sicherheitsmanagement.
Mehrere Bereitstellungsoptionen anbieten. Eine Datenintegrationsplattform sollte Betriebsumgebungen sowohl lokal als auch in der Cloud unterstützen – letztere entweder durch gehostete Implementierungen oder über Integration-Platform-as-a-Service-Angebote. Die Plattform sollte auch virtualisierte Server und verteilte Verarbeitungsumgebungen auf einer Vielzahl von Betriebssystemen unterstützen.
Abbildung 1: Unstrukturierte Datentypen, die Unternehmen verarbeiten und integrieren möchten.
Die folgenden Funktionen sind keine Must-haves, können aber die Produktivität der Entwickler beim Design von Datentransformationen steigern:
Unterstützung von sich langsam ändernden Dimensionen, wenn sie für Business Intelligence oder Data Warehousing eingesetzt werden;
Anpassbare Protokollierung, Fehler- und Zustandsbehandlung;
Parsing und Matching von Textzeichenketten; und
Verarbeitung von Datensätzen, wie Zeitreihen und Pivots.
Weitere Merkmale, die als Should-haves klassifiziert werden können, sind die Unterstützung von Entwicklungs- und Managementfunktionen für Teams. Auch ein Release-Management sowohl für Integrationsprozesse als auch für die Datenstrukturen, die in Unternehmen vorhanden sind, kann interessant sein. Repository-Speicher und Zugriff auf Prozess- oder Laufzeit-Metadaten sind weitere Aspekte, da sie die Fähigkeit zur Analyse der Laufzeitleistung verbessern und so helfen, Engpässe und Trends zu identifizieren.
Nice-to-have-Features sind folgende Merkmale:
Selbstgenerierende Dokumentation mit grafischen Darstellungen von Workflows;
Where-Used- und What-If-Funktionen zur Analyse der Nutzung von Quellen, Zielen und Transformationen;
Data Profiling Tools zur Analyse der Informationen in Quell- und Zielsystemen;
Datenqualitätswerkzeuge zur Bereinigung und Verbesserung von Daten;
Integration mit den Softwareentwicklungs-, Verwaltungs-, Planungs- und Überwachungswerkzeugen anderer Anbieter; und
Parallelisierung von Integrationsprozessen und Laden von Daten.
Weitere Kriterien für die Auswahl von Datenintegrations-Tools
Die folgenden Punkte werden ebenfalls häufig in die Bewertungskriterien einbezogen. Da sie aber subjektiv sind, sollte man ihre Anwendbarkeit und Bedeutung für das Unternehmen abwägen:
Ladeleistung. Die Leistung beim Laden der Daten hängt von der Komplexität der Integration ab, den Quellsystemen, auf die zugegriffen wird, und den involvierten Datenmengen. Am besten erstellt man mehrere vordefinierte Anwendungsfälle für die Integration und vergleicht die Leistung der einzelnen Produkte anhand dieser spezifischen Beispiele.
Skalierbarkeit. Unternehmen sollten Tests der Ladeleistung durch Stresstests ergänzen, die das erwartete Wachstum von Anzahl und Größe der Quellen und Ziele simulieren.
Benutzerfreundlichkeit. Diese hängt von den Kenntnissen und Fähigkeiten der beteiligten Datenintegrationsentwickler ab.
Schulung. Das Training kann in Form von stationärem Einzel- und Gruppenunterricht erfolgen, als Online-Schulung, live oder vorab aufgezeichnet, oder als Webaufzeichnungen für bestimmte Funktionen oder Prozesse.
Dokumentation und Support. Es sollte getrennte Kriterien für die Online-Hilfe für Entwickler und für die technische Dokumentation geben. Auf welche Weise der Anbieter Unterstützung anbietet – Online-Fragen und -Antworten zu häufigen Problemen, Online-Chats, persönliche Gespräche und Vor-Ort-Support – sowie die Preise hierfür sollten ebenfalls in die Bewertung einbezogen werden.
Sobald ein Unternehmen seine Bewertungskriterien erstellt hat, ist es an der Zeit, eine Auswahlliste von Datenintegrationswerkzeugen und Software zu erstellen und eine Ausschreibung zu starten.
