Wie man das passende Tool für die Datenintegration findet
Um aus dem kommerziellen und Open-Source-Angebot die richtige Datenintegrationsplattform auszuwählen, empfiehlt sich im Vorfeld ein Vergleich der Anwendungen
Unternehmen müssen die wachsenden Datenmengen, die sie generieren und sammeln, für ihre Workflows zusammenführen. Für diesen Zweck wurden verschiedene Arten von Datenintegrationswerkzeugen entwickelt. Diese unterstützen IT-Teams bei der Vereinfachung und Verwaltung des Integrationsprozesses.
Leider ist das Angebot an solchen Tools mehr als zahlreich. Bei so vielen Produkten, aus denen Sie wählen können, stellt sich zwangsläufig die Frage, was der beste Ansatz ist, um das richtige Datenintegrations-Tool für Ihr Unternehmen auszuwählen. Klar sollte sein: Es geht nicht darum, das Produkt mit den meisten Funktionen zu kaufen. Vielmehr sollte das ausgewählt werden, das Ihren Integrationsanforderungen und Ihrem Unternehmensprofil am besten entspricht.
Bevor Sie Datenintegrationsplattformen evaluieren, sollten Sie in Ihrem Unternehmen einige Fragen stellen. Die Antworten sollten Ihnen bei der Auswahl der Technologie helfen. Ihre Fragen sollten die folgenden Themen abdecken.
Quellsysteme. Wie viele Quellsysteme haben Sie? Haben Sie überlappende Systeme, wie zum Beispiel mehrere Anwendungen für Customer Relationship Management (CRM) oder Verkaufsabwicklung? Gibt es neben den herkömmlichen strukturierten Daten auch unstrukturierte oder teilstrukturierte Daten? Werden neben internen auch externe Datenquellen genutzt? Wie umfangreich sind die Datenmengen? Wie oft werden sie aktualisiert?
Anwendungsfälle der Integration. Müssen Sie Daten für die Analyse integrieren – vor allem über Data Warehousing? Wie sieht es mit der Anwendungskonsolidierung aus? Muss Ihr Unternehmen Daten für das Stammdatenmanagement (Master Data Management, MDM) erfassen oder verarbeiten? Wie sieht es mit der Synchronisation von Daten zwischen lokalen Systemen und Cloud-Anwendungen aus? Wie mit IoT-Geräten? Wie gestaltet sich der Austausch von Daten zwischen internen Geschäftsprozessen oder Anwendungen und solchen in anderen Unternehmen? Müssen Sie Daten für komplexe Ereignisverarbeitungs- oder Stream-Processing-Anwendungen erfassen und bereitstellen? Müssen Daten aus unterschiedlichen Systemen virtuell integriert werden, ohne sie in einen zentralen Datenspeicher zu verschieben? Verfolgt Ihr Unternehmen eine aggressive Fusionsstrategie mit dem Plan, viele verschiedene Unternehmen zu übernehmen – möglicherweise mit unterschiedlichen Systemen und Datenbanken – die sich in Ihre bestehende Technologiebasis integrieren müssen?
Unternehmensgröße. Wie hoch ist der Jahresumsatz Ihres Unternehmens? Wie viele Mitarbeiter beschäftigt es? Wie hoch ist das IT-Budget für die Datenintegration?
Ressourcen und Kompetenzen. Verfügen Sie über spezielle IT-Ressourcen für die Datenintegration? Und wie groß ist die bisherige Erfahrung mit Datenintegrationsanwendungen?
Datenintegrationssoftware für große Unternehmen
Große Unternehmen weisen im Allgemeinen die folgenden Merkmale auf:
- Große Firmen haben unterschiedliche Quellsysteme, die oft sehr große Datenmengen enthalten. In den Quellsystemen dominieren strukturierte Daten, oft enthalten sie aber auch unstrukturierte Daten. Unstrukturierte Daten entstammen beispielsweise Social Media, Webserver-Protokollen oder Flat Files. Hinzu kommen semi-strukturierte Datenquellen wie XML oder nachrichtenorientierte Daten. Diese müssen ebenfalls integriert werden.
- Sie haben mehrere Anwendungsfälle für die Integration.
- Die IT-Budgets reichen aus, um auch hochpreisige Datenintegrations-Tools zu erwerben und die Infrastruktur je nach Notwendigkeit zu unterstützen. Das bedeutet nicht, dass diese Unternehmen ihr Geld zum Fenster rauswerfen, aber sie haben steuerliche Sparmöglichkeiten, wenn der Einsatz gerechtfertigt ist.
- Sie verfügen über eine eigene IT-Gruppe mit bereits vorhandenen Datenintegrationsspezialisten. Und sie haben das Budget, um Mitarbeiter oder Berater einzustellen, die Erfahrung mit der gewählten Datenintegrationssoftware haben.
Große Unternehmen, die diesem Profil entsprechen, sollten Informatica PowerCenter und IBM InfoSphere Information Server for Data Integration in Betracht ziehen. Diese Produkte decken das gesamte Spektrum der Anwendungsfälle im Bereich Datenintegration ab. Beide Lösungen bieten auch die notwendige Skalierbarkeit, um mit der Datenkomplexität, dem Datenvolumen und der Geschwindigkeit großer Unternehmen umgehen zu können.
Diese Produkte können sich auch über mehrere Projekte erstrecken und unterstützen die Integrationsarbeit von Teams jeder Größe. IBM und Informatica bieten beide MDM- und Datenbereinigungsfunktionen an. Das Produkt von IBM deckt vor allem die Bedürfnisse von Informationsanalyse und -management ab, während sich Informatica auf die Integration von Informationen konzentriert.
InfoSphere arbeitet mit Windows und Linux zusammen, die entweder unter der Haube des Großrechners laufen oder auf separaten Servern bereitgestellt werden. IBM InfoSphere Information Server for Data Integration eignet sich besonders gut für Unternehmen, die IBM-Mainframes einsetzen, da dieses System ein Data Warehouse auf Basis von IBM DB2 verwendet. Es unterstützt auch Analysesoftware, die auf oder in Kombination mit Mainframe gehosteten Anwendungen wie Netezza, SQL Server und Oracle ausgeführt werden kann. Sie sollten auch beachten, dass Nicht-Mainframe-Betriebssysteme wie Linux, Unix und Windows inzwischen auch als Gastbetriebssysteme in der Mainframe-Umgebung laufen können. Informatica PowerCenter ist auf Mainframe- und Cloud-Umgebungen ausgerichtet und unterstützt ebenfalls Unix, Linux und Windows.
Diese umfassenden Tools haben jedoch ihren Preis. Sie sind in der Regel nicht nur teurer als ihre Wettbewerber, sondern erfordern auch ein umfangreicheres Spektrum an Fähigkeiten und Erfahrungen. Außerdem benötigen sie normalerweise eine komplexere Infrastruktur und sind komplizierter zu implementieren als ihre Konkurrenten.
Viele der Konkurrenten von IBM und Informatica haben ihre Fähigkeiten und Funktionen im Laufe der Jahre erheblich erweitert. Sie bieten großen Unternehmen mehr Alternativen – insbesondere für Firmen mit weniger anspruchsvollen Integrationsanforderungen als oben beschrieben. Die Datenintegrationswerkzeuge von SAP, Oracle und SAS sprechen eine Vielzahl von Datenquellen und Anwendungsfällen für die Integration an.
Jeder dieser Softwarehersteller bietet ebenfalls Unternehmensanwendungen wie Enterprise Resource Planning, CRM und Analytics an, die viele große Unternehmen einsetzen. Um dies auszunutzen, verzahnen SAP, Oracle und SAS ihre eigenen Datenintegrationswerkzeuge jeweils mit den eigenen Anwendungen. Wenn ein Unternehmen also beträchtlich in eine der Anwendungen dieser Anbieter investiert hat, ist es sinnvoll, auch ein Datenintegrationswerkzeuge dieses Herstellers in Betracht zu ziehen.
Sowohl SAP Data Services als auch SAS Data Management bieten beide umfassende Datenintegrationsfunktionen für große Unternehmen. SAP Data Services beschränkt sich zwar auf die Arbeit mit den Geschäftsanwendungen von SAP, lässt sich aber immer besser auch mit anderen Anwendungen des Unternehmens integrieren. Das bedeutet, dass Firmen, die bereits SAP-Kunden sind, dieses Integrationsprodukt in Betracht ziehen sollten. Ebenso sollten SAS-Kunden, die die statistischen und analytischen Produkte des Unternehmens oder andere Unternehmensprodukte wie Oracle und SAP verwenden, SAS Data Management ins Auge fassen.
Datenintegrationssoftware für mittelständische Unternehmen
Mittelständische Unternehmen haben in der Regel folgende Merkmale:
- Eine Vielzahl von Quellsystemen verarbeiten überlappende Datensubjekte. Die Daten können lokal oder in der Cloud gespeichert sein. Das Datenvolumen variiert je nach Branche und den verfügbaren Produkten oder Dienstleistungen. Strukturierte Datenquellen sind nach wie vor dominant, und unstrukturierte Daten, die eine Integration erfordern, sind im Allgemeinen weniger umfangreich.
- Extract, Transform, Load (ETL) und Data Warehousing sind die vorherrschenden Anwendungsfälle für die Integration. In Zukunft kann jedoch eine Anwendungsintegration entstehen, wenn Data Warehousing angesprochen wird.
- Die IT-Budgets sind begrenzt.
- Die IT-Gruppe, die sowohl Datenintegration als auch Business-Intelligence-Entwicklung betreibt, ist kleiner. Die Einstellung von Spezialisten, die sich mit bestimmten Werkzeugen befassen, ist möglicherweise aus Kostengründen nicht möglich.
Obwohl mittelständische Unternehmen mit diesem Profil einen erheblichen Integrationsbedarf haben, arbeiten sie mit begrenzten Ressourcen in Bezug auf Personal, Budget und Zeit. Diese Unternehmen sollten die Datenintegrationsprodukte von Microsoft, Oracle, Information Builders, Talend, Hitachi Vantara oder Dell Boomi in Betracht ziehen. Jeder dieser Anbieter stellt Funktionen zur Berücksichtigung der typischen Datenvielfalt, des Umfangs der Integrationsnutzung und der typischen Ressourcenbeschränkungen zur Verfügung.
Unternehmen, die Microsoft SQL Server verwenden und über Entwickler mit fundierten SQL-Kenntnissen verfügen, sollten die datenbezogenen Produkte von Microsoft in Betracht ziehen. Dazu gehörten zum Beispiel die SQL Server Integration Services (SSIS). Diese Tools haben einen gemeinsamen Entwicklungsansatz, so dass es der IT-Abteilung möglich ist, effektiver mit mehreren Microsoft-Tools zu arbeiten. Microsoft hat außerdem die Funktionen von SSIS erweitert, um auch komplexere Integrationsfälle zu bewältigen. Das können zum Beispiel sich langsam ändernde Dimensionen und Fuzzy Lookups sein, sowie eine Vielzahl von Datenquellen jenseits von Flat Files und relationalen Datenbanken.
Obwohl die Quellen und Ziele von Microsoft nicht auf deren Plattform beschränkt sind, bleibt die Bereitstellung dennoch auf Windows limitiert. Die Tools von Microsoft wurden zwar in der Vergangenheit immer On-Premises angeboten, aber das Unternehmen hat inzwischen erhebliche Fortschritte bei der Umstellung der Funktionen auf Cloud-Services gemacht.
Auf der anderen Seite fehlt es SSIS an einigen umfassenden Integrationstransformationen, Workflow- und Prozessmanagement-Features, wie sie die Mitbewerber anbieten. Dazu gehört zum Beispiel die Möglichkeit, Prozesse mit Hilfe eines Repositorys oder teambasierter Verwaltungsfunktionen für Entwickler zu verfolgen und zu managen.
Unternehmen, die derzeit Oracle-Datenbanken verwenden, sollten den Oracle Data Integrator (ODI) in Betracht ziehen. ODI ist ein umfassendes Daten- und Anwendungsintegrationswerkzeug, das eine Vielzahl von Datenquellen und Integrationsanwendungen bewältigen kann – einschließlich BI, MDM und Anwendungsintegration. Zudem ermöglicht es Skalierbarkeit in Bezug auf Datenvolumen und -geschwindigkeit. Obwohl das Produkt über zahlreiche Funktionen verfügt, ist eine seiner Hauptfunktionen die Automatisierung von SQL-Skripten für Benutzer.
ODI erfordert eine gute Schulung, um mit der teilweise komplexen Implementierung umgehen zu können. Die Eigenschaft des Produkts, mit einer Vielzahl von Oracle-Produkten zusammenzuarbeiten, erweitert seine Fähigkeiten, erhöht aber auch die Komplexität der Bereitstellung – was die Nutzung für IT-Mitarbeiter mit begrenzten Ressourcen erschwert.
Die iWay Integration Suite von Information Builders kann komplexe Integrationsanwendungen wie MDM, Datenbereinigung und Data Governance verarbeiten. iWay ist insbesondere dann eine praktikable Option, wenn ein Unternehmen bereits andere Information Builders Datenmanagement- und Analyseprodukte verwendet, da es eine enge Integration mit diesen Anwendungen bietet. Diese Tools verfügen über bekannte Skalierungsfunktionen und die Möglichkeit, in Echtzeit mit Betriebssystemen zu arbeiten. Ein Nachteil: Es gibt nur einen begrenzten Pool an Fachwissen und Erfahrung mit der iWay-Software.
Die Datenintegrations-Tools von Talend und die Pentaho Data-Integration-Plattform von Hitachi Vantara können ebenfalls für eine Vielzahl von Integrationszwecken eingesetzt werden. Beide Produkte verfügen über Open-Source-Versionen, so dass IT-Abteilungen im Vorfeld Lizenzkosten vermeiden können. Die Open-Source-Versionen bieten solide Datenintegrationsmöglichkeiten. Sie sind gut für Unternehmen geeignet, die keine anspruchsvollen Integrationsanforderungen haben, oder für IT-Abteilungen, die mit einem knappen Budget arbeiten müssen. Die Enterprise-Versionen der beiden Produkte bieten deutlich umfangreichere Funktionen.
Dell Boomi bietet eine umfangreiche Bibliothek mit Schnittstellen zur Datenintegration für Public-Cloud-Service-Provider, Social Media Outlets, führende Vertriebs-, HR- und CRM-Software-Suiten sowie verschiedene ERP-Plattformen. Es ist ein offenes und agnostisches Werkzeug in dem Sinne, dass es nicht an eine bestimmte Produktsuite gebunden ist und sich besonders gut für Unternehmen eignet, die einen Großteil ihrer IT-Ressourcen in der Cloud bereitstellen.
Datenintegrationssoftware für kleine Unternehmen
Kleinere Unternehmen weisen im Allgemeinen folgende Merkmale auf:
- Eine Vielzahl von Quellsystemen – in erster Linie strukturierte Datenquellen.
- ETL und Data Warehousing sind die primären Anwendungsfälle der Integration.
- Die IT-Budgets sind sehr begrenzt.
- IT-Mitarbeiter mit umfassenden Kenntnissen in Bereichen wie Datenintegration, BI und Betriebssystemen sind nicht oder kaum vorhanden.
Diese Unternehmen können entweder Datenintegrationsanwendungen in Betracht ziehen, die an die Datenbanken gebunden sind, die sie bereits verwenden – wie zum Beispiel Oracle oder Microsoft. Oder sie nutzen die Produkte von Talend, Hitachi Vantara oder Dell Boomi. Diese Tools sind kostengünstig – gerade, wenn man bedenkt, dass SSIS im Lieferumfang von SQL Server enthalten ist.
Die Open-Source-Versionen von Talend oder Pentaho bieten sogar mehr Datenintegrationsmöglichkeiten, als viele kleinere Unternehmen überhaupt benötigen. Dell Boomi bietet außerdem ein breites Sortiment an APIs und Datenintegrationsfunktionen für viele gängige kommerzielle Software und Public-Cloud-Umgebungen. Ein möglicher Nachteil: Kleinere Unternehmen sollten sicherstellen, dass ihre IT-Abteilung über genügend Fachwissen verfügt, damit sie diese Tools auch effektiv nutzen können.
Tools für kleine Unternehmen mit begrenztem Integrationsbedarf
Diese Unternehmen erstellen in erster Linie operative Berichte direkt aus ihren Quellsystemen und brauchen kein Data Warehouse zur Integration dieser Quellsysteme. Unter diesen Umständen werden diese Unternehmen in der Regel nicht in Datenintegrationssoftware oder entsprechende IT-Kenntnisse investieren.
Stattdessen verlässt sich die IT auf die Integrationsfunktionalität, die bereits in den bestehenden Anwendungen enthalten ist, oder sie codiert individuell SQL-Anwendungen. Geschäftsanwender verlassen sich in diesem Segment auf das integrierte Reporting ihrer operativen Anwendungen. Wenn sie für die Berichtserstellung Daten aus mehreren Anwendungen benötigen, nutzen sie Tabellenkalkulationen, um die Lücken zu schließen.
