Am 08.11.2022 haben wir mit unserem Kunden enercity AG zu einer erfolgreichen Informatica World Tour 2022 in Deutschland mit einem Vortrag zu Data Warehouse Modernization beigetragen. Das Thema: Wie hat es enercity in weniger als fünf Monaten geschafft, das Bestandssystem technologisch, funktional und modernisiert in die Cloud zu heben?
Neue Datenplattformen in der Cloud eröffnen Bestands-Data Warehouses, die enormen Fortschritte der Datentechnologie technisch und ökonomisch bedarfsgerecht zu nutzen. Diese neue elastische Leistungsfähigkeit allein löst aber nicht die Problematik der langsamen Anpassungsgeschwindigkeit von Data Warehouses. In datengetriebenen Unternehmen sind Änderungen eher die Regel als die Ausnahme. Genau dies adressiert die Automatisierung von Entwicklungstätigkeiten. Neue Inhalte werden mit den besten Methoden deutlich schneller integriert.
Data Warehouse Automation is Key
Im Vortrag haben wir unser konkretes Lösungsdesign und unsere Methoden vorgestellt: Mittepunkt ist die Data Warehouse Automation – das bedeutete für uns, das Datenmodell für den Core Layer mit Data Vault komplett neu zu erstellen, das Reporting auf multi-dimensionale Datamarts auszurichten und metadatengetrieben alle Datenintegrationsprozesse automatisiert zu erzeugen.
Bekanntlich belassen wir es nicht bei der Theorie. Wir haben im Vortrag die wesentlichen Hebel sowohl funktional als auch technisch demonstriert. Das Fazit unseres Kunden: Die enercity AG ist hochzufrieden, alle Projekte wurden in Time, in Budget und in Quality geliefert.
Cloud Data Warehouse Architektur
Das neue Cloud Data Warehouse folgt einer Layer Architektur. Der Core Layer ist gemäß Data Vault modelliert. Die Daten werden historisch chronologisch korrekt, vollständig nachvollziehbar und anwendungsfallunabhängig gespeichert. Im sich anschließenden Information Delivery Layer werden die historischen Daten zugriffs- und performanceoptimiert in multi-dimensionalen Datamarts präsentiert. Die Daten stehen in bequemer Weise für die analytische Arbeit mit Reporting-Tools wie Tableau zur Verfügung.
Eine weitere Hauptkomponente des Cloud Data Warehouse: Die Bewirtschaftung.
Eine aufeinander abgestimmte Kollektion von Datenintegrations-Process Pattern und MetaKraftwerk hat uns im Projekt in die Lage versetzt, Datenintegrationsfunktionalität automatisiert zu erzeugen und zu deployen. Input hierfür sind lediglich die Metadaten der Datenquellen und die Modellierung.
Standardisierung und Pattern
Die entlang der Layer Architektur benötigten Datenintegrationsprozesse haben wir durch fünf idealtypische Musterlösungen als Informatica Cloud Data Integration Mappings, Tasks und Taskflows implementiert. Diese fünf Datenintegrations-Process Pattern lösen 90% aller Datenintegrationsaufgaben im Cloud Data Warehouse:
- ein Pattern, das Daten effizient mittels funktionaler Change Data Capture-Verfahren aus der Quelle akquiriert,
- lediglich zwei Pattern, die die Daten in die Historie des Data Vault integrieren und
- schließlich zwei Pattern, die den Datamart bewirtschaften.
Die konkreten Datenintegrationsprozesse, die die Bewirtschaftung für die spezifischen Entitäten Customer, Product, Device, Access Point etc. übernehmen, werden durch MetaKraftwerk automatisiert erzeugt und in die Informatica Data Management Cloud Plattform deployt. Hierfür sind einfache Metadaten erforderlich, die bereits in der Modellierung anfallen.
Grundsätzlich ist noch festzuhalten: Jede Aufgabenstellung, die durch ein Informatica Mapping gelöst werden kann, ist in MetaKraftwerk durch ein Process Pattern für die Entwicklungsautomatisierung umsetzbar. Das ist der große Unterschied zu Data Warehouse Automation Tools, die nur Templates, Frameworks oder Wizards für bestimmte Aufgabenstellungen vordefiniert anbieten.
Vorteile unseres Ansatzes der Data Warehouse Automation
Die benötigte Umsetzungszeit schmilzt dramatisch zusammen. Mit der Präzision einer äußerst zuverlässigen Maschine sind die durch MetaKraftwerk hergestellten und direkt ablauffähigen Informatica-Prozesse von gleichbleibender hoher Qualität. Die erzielten Ersparnisse liegen auf der Hand: Die in der Umsetzung und im Test eingesparte Zeit zahlt sich direkt in Euros aus.
Mit diesem Ansatz lassen sich große Data Warehouse Migrationen und Modernisierungsprojekte kostengünstig und vor allem hinsichtlich des Risikos beherrschbar bewältigen. Am Beispiel der Cloud Data Warehouse Modernization der enercity AG konnten wir dies auf der Informatica World Tour 2022 ansprechend zeigen. Dies hat uns auch der Rücklauf nach unserem Vortrag sowie die interessanten Diskussionen an unserem Stand gezeigt.
Sprechen auch Sie uns an…
