JRB - stock.adobe.com
SQL Server Integration Services effektiver mit Azure nutzen
Mit SQL Server Integration Services (SSIS) lassen sich in lokalen Netzwerken Daten von externen Quellen in SQL Server integrieren. Das funktioniert auch in Azure.
SQL Server Integration Services (SSIS) werden seit Jahren dazu genutzt, um externe Daten in SQL-Datenbanken zu importieren. Über Umwege lässt sich diese On-Premises-Funktion auch in Microsoft Azure verwenden.
Microsoft hat seit Version 2 von Azure Data Factory (ADF) die Möglichkeit geschaffen, über SQL Server Integration Services (SSIS) Daten in diesen Cloud-Dienst zu importieren. Azure Data Factory kann in Zusammenhang mit SSIS auch in der Cloud betrieben werden. Es handelt sich bei diesem Dienst immer um eine Funktion in der Azure-Cloud. Diese lässt sich zwar über die verschiedenen Wege mit lokalen Netzwerken verbinden, muss aber immer in der Cloud laufen.
Azure Data Factory – Hybride Daten in Azure nutzen
Bei Azure Data Factory handelt es sich um einen Dienst, mit dem Daten aus verschiedenen Quellen in Azure integriert werden können. Eine Programmierung des Dienstes ist nicht notwendig. Mit Mapping Data Flow lassen sich die Daten transformieren und in der Cloud integrieren. Anschließend erfolgt eine Analyse mit den verschiedenen Tools in Microsoft Azure, oder mit anderen Tools, die sich an Azure Data Factory anbinden lassen.
In Azure Data Factory lassen sich verschiedene Datenquellen anbinden. Dazu gehören auch SAP-Anwendungen und verschiedene Datenbanksysteme. Mit ADF lassen sich Rohdaten in formatierte Daten umwandeln.
Azure Data Factory ist aber auch in der Lage, Daten zwischen Azure-Diensten zu transformieren. So lassen sich zum Beispiel Daten von Azure Blob Storage zu einer Azure SQL-Datenbank mit Azure Data Factory transportieren.
Azure Data Factory und SQL Server Integration Services
Wer in Microsoft Azure die Azure Data Factory in der Version 2 nutzt, kann SSIS-Pakete bereitstellen und ausführen. Das ermöglicht es, Daten in Azure zu importieren. Vor allem wer auf Data-Warehouse-Lösungen setzt, kann mit SSIS-Paketen in Azure Data Factory Daten leicht transformieren, so dass diese innerhalb der verschiedenen Dienste in Azure nutzbar sind. Microsoft stellt dazu ein PDF-Dokument zur Verfügung, dass die Funktionen genauer beschreibt.
Die Integration erfolgt über die Azure-SSIS Integration Runtime (IR). Dazu ist natürlich zunächst ein Abonnement für Azure notwendig. Für die Transformation ist es sinnvoll, einen Azure-SQL-Datenbank-Server zum Speichern der SSISDB einzusetzen. Hierfür wird die Azure PowerShell benötigt sowie die generelle Verfügbarkeit der Azure Data Factory im Abonnement.
Viele Einstellungen lassen sich zwar auch in der grafischen Oberfläche ausführen, allerdings ist die Azure PowerShell besser in der Lage, SSIS-Pakete mit Azure Data Factory zu steuern. Zur Steuerung sollten Microsoft Edge oder Google Chrome verwendet werden.
Bei der Azure-SSIS Integration Runtime handelt es sich um einen Cluster von virtuellen Servern in Microsoft Azure. Der Cluster ist für die Ausführung der SSIS-Pakete zuständig. Azure Data Factory selbst führt keine weiteren Aktionen durch. Administratoren oder Entwickler haben keinen Zugriff auf die Cluster-Knoten, die SSIS ausführen. Aus diesem Grund lassen sich keine internen Einstellungen anpassen oder Drittherstellerprodukte nutzen.
Bereitstellen von SSIS in der Azure-SSIS Integration Runtime
Die Bereitstellung von SSIS in der Azure-SSIS Integration Runtime ist im Grunde genommen identisch mit der Bereitstellung in einer normalen SSIS-Installation. Visual Studio IDE oder ISPAC-Dateien werden für die Bereitstellung unterstützt.
Um ein bereitgestelltes Paket auszuführen, stehen verschiedene Optionen zur Verfügung:
- Direkte Verbindung zur SSIS-Datenbank und Ausführung des Pakets über die Funktionalität des Integration Services Catalog.
- Bei Verbindung mit dem Azure SQL Server können auch die gespeicherten Prozeduren create_execution und start_execution genutzt werden. Eine detaillierte Erklärung dazu findet man bei Microsoft.
- Mit einer Data Factory Pipeline können die gespeicherten Prozeduren (Stored Procedures) ebenfalls ausgeführt werden.
Ausführung von SSIS-Paketen planen
Azure SQL Server verfügt nicht über einen SQL-Agenten, der auch SSIS-Pakete nach einem Zeitplan ausführt. Azure Data Factory unterstützt außerdem Trigger. Diese können für die Ausführung der Stored Procedures create_execution und start_execution angepasst werden.
Die Überwachung der Ausführung kann mit Berichten erfolgen, die Bestandteil des Integration Services Cataloges sind.
Azure Data Factory und SQL Server Integration Services parallel nutzen
Azure Data Factory und SQL Server Integration Services lassen sich mit verschiedenen Datenquellen verbinden. Vor allem ADF nutzt zahlreiche Quellen aus der Cloud, kann sich aber auch mit On-Premises-Diensten und -Datenbanken koppeln.
SSIS nutzt einen Verbindungsmanager, um Daten aus der Quelle in das Zielformat zu bringen.
