Schritt für Schritt zu automatisierter Datenintegration

Projektverzögerungen, Kostenexplosion, Qualitätsprobleme: Dies sind die drei zentralen Managementthemen bei der Verbindung von Geschäftsfunktionen zu einem integrierten Geschäftsprozess. Ob es um Verbindungen zwischen verschiedenen Unternehmen oder innerhalb eines Unternehmens zwischen verschiedenen Geschäftseinheiten geht: Business Integration gilt mit seinen vielfältigen Möglichkeiten, Effizienzvorteile zu erzielen, als wichtiges Instrument bei der Optimierung der unternehmensweiten Wertschöpfung.

Doch die Vernetzung von IT-Systemen ist ein komplexes Unterfangen und viele mittelständische und große Unternehmen klagen über Probleme bei der Umsetzung. Die Gründe dafür sind vielfältig, aber eigentlich bekannt. Dass Programmierer Mangelware sind und sich die Lage am Arbeitsmarkt eher weiter zuspitzt, ist nichts Neues. Und dass sich mit dem Megatrend Digitalisierung und Industrie 4.0 die Anzahl von Schnittstellenprojekten derzeit exponentiell vervielfältigt, weiß in IT-Kreisen ebenfalls praktisch jeder.

Die meisten IT-Abteilungen leiden deshalb unter einem Mix aus Mitarbeitermangel und Auftragsexplosion. Wer sich nach externer Unterstützung umsieht, muss ebenfalls mit langen Wartezeiten und hohen Kosten rechnen. Insgesamt entstehen so deutlich verlängerte Projektzeiten und Kosten durch zusätzliche externe Dienstleistungen sowie durch langwierige Projektverzögerungen bei der Integration von Kunden und Lieferanten, bei der Automatisierung interner Prozesse und beim Anschluss von Cloud-Systemen etwa im Rahmen von Software as a Service (SaaS).

Der Ausweg aus dem Dilemma zwischen Kostentreibern und Zeitverzug lautet auch hier Automatisierung. Moderne Standardsoftware für Business Integration ermöglich es, dass Fachabteilungen selbst einen wesentlichen Teil der Prozesse steuern können. Das entlastet nicht nur die IT-Abteilung. Damit entsteht im Sinne eines agilen Projektmanagements auch ein hohes Maß an Flexibilität gegenüber Kunden und Partnern.

Standardsoftware kann also helfen, Projekte intern ohne zusätzliche Belastung der IT-Spezialisten umzusetzen, wenn logische Struktur, einfache Bedienbarkeit mit Funktionen wie Drag and Drop, Multi-Device-Fähigkeit, automatisches Feedback im Fehlerfall und kontinuierliche Dokumentation gegeben sind. Die Integration von Daten kann dann als Automatismus in wenigen Schritten transparent und stets nachvollziehbar initiiert werden.

Zu den wichtigen Vorarbeiten gehören vor allem die Erfassung der vorhandenen Daten, der Speicherorte und der vorliegenden Formate. Darauf folgend muss geklärt werden, welche Daten und Dateiformate im Zielsystem verwendet werden sollen. Ganz wesentlich ist zudem eine intensive Kontrolle der Datenqualität. Fehlerhafte Einträge führen auch nach einer Datenintegration zu Fehllieferungen, falschen Kundenansprachen und Prozessunterbrechungen. Mit erprobten Analyseverfahren und -Tools kann man Redundanzen schnell erkennen, unvollständige und fehlerhafte Daten überarbeiten und Widersprüche bei Daten aus unterschiedlichen Quellen aufdecken. Ab diesem Punkt hilft eine gute Integrationssoftware dabei, die gewünschten Effizienzeffekte schnell zu heben. Folgende sieben Schritte helfen bei der Integration.

1. Eingangsdaten definieren
Mit einer reinen Datenpumpe werden die benötigten Daten inhaltlich unverändert über einen oder mehrere Ausgangswege weitergeleitet. Ist ein Mapping (siehe Schritt 3) notwendig, sollte ein Eingangsagent die zu verarbeitenden Daten entgegennehmen und zu den Schritten zwei und drei überleiten, damit die Daten in die entsprechende Struktur gebracht werden können. Moderne Integrationssoftware kann die gewünschten Daten aktiv sowohl einmalig als auch wiederkehrend abholen.

Alternativ wartet die Software auf die Anlieferung der zu verarbeitenden Daten durch den gewünschten Partner entweder ereignisgesteuert oder reaktiv. Ebenso sollten sich Zeiten und Intervalle für die Datenabholung flexibel einstellen lassen. Gut ist, wenn das System der Wahl direkte Anbindungen an möglichst viele Systeme erlaubt.

2. Datenstrukturen klären
In Schritt zwei klärt man gemeinhin die Struktur der Quelldaten und Dokumentenarten, also etwa CSV beziehungsweise Excel, XML, EDIFACT oder SAP IDoc. Damit erhält die Software die Information, wie die Daten umzuwandeln sind. Manchmal gibt es spezifische Angaben, die so nur ein bestimmtes Format betreffen. Diese sollten ebenfalls konfigurierbar sein. Dazu gehören zum Beispiel das CSV-Quoting bei CSV, die Datenblätter bei Excel oder Schemadateien bei XML. Außerdem sollte die Integrationssoftware kein Problem mit Komprimierungsformaten wie zip oder tgz haben.

3. Daten-Mapping aufsetzen
Beim Mapping geht es darum, die Ziel- oder Ausgangsdaten zu erzeugen. Deswegen wird jetzt das sogenannte Mapping erzeugt. Gemeint sind damit die gewünschte Zielstruktur und der Zusammenhang zwischen Quell- und Zielstruktur. Mit ein wenig technischem Verständnis ist auch das kein Hexenwerk.

Für Fortgeschrittene: Achten Sie darauf, dass Sie die zugeordneten Zieldaten zusätzlich über sogenannte Funktionsketten manipulieren können. Und überprüfen Sie, ob Ihre Integrationssoftware eine möglichst große Anzahl vorbereiteter Funktionen beinhaltet. Diese helfen Ihnen dabei, auch komplexe Mappings zu erstellen, zum Beispiel mit Hilfe von Variablen, Listen und Maps. Der einfachste Fall ist, wie in Schritt 1 beschrieben, das 1:1-Mapping. Hier bildet man die Quellstruktur unverändert auf die Zielstruktur ab. Das bedeutet: Die ausgesuchten Quellfelder werden den entsprechenden Zielfeldern zugeordnet.

4. Datenbanken beschreiben
Falls Sie Ihre Daten in eine Datenbank übernehmen möchten, können Sie bestimmen, ob, und wenn ja, welche Zieldaten in welche Datenbanktabellen geschrieben werden. Ihre Software muss das Schema, in dem die entsprechende Tabelle angelegt ist, natürlich kennen.

5. Datenintegration gestalten
Sofern die Datenintegrationssoftware einfach die Funktion einer Datenpumpe übernimmt, wird die Quelldatei nun unverändert ausgegeben. Oft sollen Daten jedoch mittels eines Mappings in andere Zielformate überführt werden. Eventuell ist für das Zielformat auch eine zusätzliche Bearbeitung notwendig, zum Beispiel wenn nur ein Teil der Quelldaten im Zielformat genutzt oder im Zielformat eine andere Struktur genutzt werden soll.

Ihre Integrationssoftware sollte dazu unbedingt in der Lage sein. Und ab und zu wird es noch komplizierter. Dann benötigt man zum Beispiel für die Quelldaten mehrere unterschiedliche Bearbeitungen in verschiedene Formate, zum Beispiel Daten aus Excel- oder CSV-Listen, die für die Aufbereitung von Aufträgen, Lieferscheinen oder Rechnungen in EDIFACT übernommen werden.

6. Datenübertragung
Die Software holt ganz nach eingestellter Vorgabe die Daten bei der Quelle ab oder wartet auf deren Input und übermittelt die Daten auf einem oder mehreren Antwortwegen und in der gewünschten Form in das/die Zielsystem(e). Ermöglicht die Integrationssoftware die Einstellung von Folgeprofilen, können übertragenen Daten im Anschluss in gleicher Weise automatisch in weitere Systeme übernommen und weiter verarbeitet werden.

7. Fehleranalyse
Die Datenquelle liefert nicht oder ist nicht erreichbar, Zielsysteme stehen nicht zur Verfügung: Jetzt ist schnelles Reagieren wichtig. Die Integrationssoftware sollte in der Lage sein, automatisch eine Nachricht, zum Beispiel per E-Mail oder SMS, zu versenden mit der Information, bei welchem Schritt eine vordefinierte Aufgabe nicht umgesetzt wurde. Moderne Software ermöglicht es, für jeden Schritt eine Benachrichtigungsfunktion zu aktivieren. Ausreichend Sicherheit entsteht, wenn das System zudem alle Vorfälle eindeutig und fortlaufend dokumentiert und zudem Quell- und Zieldaten-Backups erlaubt.

„Die Effizienzgewinne beim Thema Business Integration entstehen durch reibungslose, aber eben auch durch schnell anpassbare und flexibel gestaltbare automatisierte Prozesse.“

Steffen Brehme, Lobster GmbH

Die Effizienzgewinne beim Thema Business Integration entstehen durch reibungslose, aber eben auch durch schnell anpassbare und flexibel gestaltbare automatisierte Prozesse. Mit einer intuitiven Nutzerführung auf Softwareseite, die Multi-Device-fähig ist, und dem individuellen Know-how auf der fachlichen Seite, können Unternehmen den Flaschenhals Business Integration umgehen und selbst bei steigenden Datenvolumina, einer Vervielfachung der Integrationsthemen und hoher Auslastung der hauseigenen IT, die Termintreue bei Projekten optimieren und die Kosten im Zaum halten.

Über den Autor:
Steffen Brehme studierte in Tralee (Irland) Informatik. Anfang der 1990er war er Mitgründer von SimpleWork, das 1996 verkauft wurde. Anfang 1997 wurde er Interims-IT-Leiter bei Maxdata, Ende 1997 war er Mitgründer der Beans AG und 2002 Mitgründer der Lobster GmbH. Dort ist er Leiter Softwareentwicklung und Geschäftsführer.

Die Autoren sind für den Inhalt und die Richtigkeit ihrer Beiträge selbst verantwortlich. Die dargelegten Meinungen geben die Ansichten der Autoren wieder und entsprechen nicht unbedingt denen von ComputerWeekly.de.