Qlik Compose for DWH im Vergleich zu Microsoft SSIS

Qlik Compose for DWH (Qlik Data Integration)

1. Mit der Qlik Data Integration Plattform sind Sie einzigartig agil (durch Kombination aus automatisierter Datenbeladung und Datenverarbeitung / - aufbereitung) mit bereits ersten Test Cases schnell zu starten und können von diesem Punkt ausgehend inkrementell fortfahren (DevOps / DataOps Ansatz).
    
2. Mittels unserem Change-Data-Capture (CDC) Ansatz verstehen wir nicht nur alle Datenquellen durch permanenten, konsistenten Datenfluss, sondern können dadurch automatisiert in Compose ein Data Mapping vorschlagen bzw. auf Data Mapping „Brüche“ aufmerksam machen. Dabei werden die operativen Datenbanken nicht direkt belastet (no-footprint Architektur)
   
   
3. Durch das graphische, web-basierte, Interface können jederzeit völlig agil Anpassungen am Datenmodell oder an einzelnen Data Marts vorgenommen werden und in Kombination mit unserer Versionierung z.B. Tests ausgerollt und deployed werden, um dann gegebenenfalls in die Produktivumgebung zu übernehmen
    
4. DDL Changes jeglicher Art erfassen wir automatisch und geben event-basiert Notifikationen in Compose über Strukturänderungen und deren Impact auf das Datenmodell bzw. betroffene Data Marts aus – dieser Faktor ist ein immens hoher Mehrwert, da das DWH hiermit betriebssicher und „always up to date“ wird – es kann in Compose entschieden werden wie dann mit der Strukturveränderung umgegangen werden soll (z.B. Dev – Test – Deploy in Prod binnen Stunden)
    
5. Das Hinzufügen von neuen Datenquellen / Anforderungen wird von Wochen/Tagen auf Stunden/Minuten reduziert und Qlik Compose hilft dabei neue Anforderungen in das Modell einzupflegen
    
6. Keine scheduled jobs mehr – wir fokussieren uns darauf eine in Echtzeit (binnen Sekunden) aktualisierte Data Landing Zone aufzubauen und von dort ausgehend die Daten je nach Use Case / Data Mart / Anforderung mittels Compose zu verarbeiten bis je nach Wunsch fertig Analysebereit aufzubereiten
    
7. Mit Replicate + Compose + Enterprise Manager von Qlik Data Integration bekommt der Kunde eine Software aus einer Hand mit zentraler „no footprint Architektur“ für nahtloses End-to-End Management von dieser gesamten Datenbewirtschaftung über unser zentrales Interface

Die Qlik Data Integration Platform (Attunity)

Die Qlik Data Integration Platform ist eine Komplettlösung mit allen nötigen Funktionen für DataOps for Analytics. Die Attunity-Technologie ist das Kernstück von Qliks modernen Datenintegrationsfunktionen.

Zur Qlik Data Integration Platform

SQL SERVER INTEGRATION SERVICES (SSIS)

1. Klassischer ETL Ansatz für Analytics Architektur / DWH Datenfluss erfordert bereits vorab ein klar definiertes Anforderungsprofil, sodass der Requirements Engineering Aufwand hoch ist.
    
2. Besonders bei der Kombination aus mehreren verschiedenen Systemen wie hier z.B. ERP, PLM, CRM etc. findet viel Data Mapping statt, das zusätzlichen Transformationsaufwand erzeugt.
    
3. Es gibt wenig Raum für Agilität im Datenmodell bzw. Data Mart Aufbau, da viele Anpassungen eine Veränderung an der gesamten DWH und DB Struktur erfordern würden.
    
   • Beispiel: Ein Finance Data Mart würde auf Daten aus 2-3 verschiedenen Quellsystemen zugreifen und viele der für diese Systeme angelegten ETL Sets wären bei Anpassungen betroffen.
      
4. Veränderungen in der Datenstruktur (DDL) der Quellsysteme z.B. durch Anpassung der Applikation (auch zukünftig – nicht nur während Implementierung) haben zur Folge, dass viele ETL Strecken (meist händisch) angepasst werden müssen -> hohe Folgeaufwände.
    
5. Das Hinzufügen von neuen Datenquellen / Datensets bzw. Integrieren neuer Anforderungen gleicht häufig einem ganzen Projektzyklus und erzeugt viel Wartezeit im Business.
    
6. Diese recht starre Datenbewirtschaftung arbeitet basierend auf „scheduled jobs“ (zeitlich terminierte Scripts, die Datenladestrecken / Transformationsstrecken triggern), die häufig 1x pro Nacht ablaufen – 3 Herausforderungen:
    
   • Häufig fällt erst am nächsten Tag auf, dass bestimme Systemabzüge / Ladezyklen nicht erfolgreich durchgeführt wurden, was zu Analyseproblemen / - ausfällen führt.
   • Hoher Monitoring Aufwand, da Fehler sehr vielschichtig auftreten können innerhalb dieser häufig komplexen Datenladestrecken.
   • Keine Möglichkeit Daten für zeitkritische Business Cases aktiv schneller zu erhalten bzw. mit noch aktuelleren Daten zu arbeiten.
      
7. Nicht nur bei der Implementierung, sondern auch im Betrieb des DWH / der Architektur bietet SSIS / der ETL Ansatz nur eingeschränkt die Möglichkeit über ein zentrales User-freundliches Interface das Datenmodell End-to-End zu managen, zu warten und weiterzuentwickeln, um Data Marts „always-up-to-date“ zu halten.

Microsoft SQL-Server Integration Services Data Flow