Development Automation

Die Automatisierungslösung für die ETL-Entwicklung

Intelligente Weiterentwicklung des Pattern-Ansatzes

Development Automation

Pattern-Ansatz

Datenintegration (engl. Data Integration) ist der Schlüssel für den Aufbau moderner Datenmanagementsysteme. In den letzten Jahren konnten wir eine Vielzahl an Kunden beim Aufbau hochwertiger Datenmanagementsysteme unterstützen. Unser Pattern-Ansatz zählt hier zu den entscheidenden Erfolgsfaktoren. Dieser hat es uns ermöglicht, mit kleinen, effizienten Teams große Systeme in homogener Qualität schnell zu realisieren. Durch seine Skalierbarkeit ermöglicht der Pattern-Ansatz, das ganze Potential der eingesetzten Werkzeuge abzurufen. Die eingesetzte Investition kann dadurch wirklich realisiert werden.

Für die Erstellung von Datenintegrationsprozessen kommen häufig metadatengetriebene Werkzeuge zum Einsatz. Ein Beispiel eines solchen Tools ist PowerCenter vom Marktführer Informatica. Andere Anbieter von ETL-Tools sind z.B. Talend und SAP. Durch die metadatenunterstützte Entwicklung kann der Fachbereich frühzeitig beteiligt werden, was zu einer wesentlich effektiveren und kostengünstigeren Implementierung führt.

Bei unserem Pattern-Ansatz wird in einem Prozess-Pattern die grundlegende Funktionalität für die zu entwickelnden Datenintegrationsprozesse implementiert und getestet. Das Pattern wird in einem der oben genannten ETL-Tools entwickelt. In einem Kundenprojekt werden ausgehend vom Pattern die geforderten Entitäten in Prozess-Instanzen umgesetzt. Der Vorteil des Pattern-Ansatzes besteht in der standardisierten Entwicklung mit einer einhergehenden hohen Skalierbarkeit, sowie einer hohen Entwicklungsqualität und geringen Testaufwänden.

Beispiele für Prozess-Pattern sind z.B. im Data Warehouse Landing, Staging, (bi-)temporale Historisierung von Dimensionen, Links und Fakten, spezielle Aggregationen oder im Data Lake in Landing, Anwendung eines Schemas, Übersetzung in anwendungsadäquate Formate wie Parquet, Avro etc. bis hin zur Anreicherung für spezifisches Use Cases.

MetaKraftwerk

Den Pattern-Ansatz haben wir so weiterentwickelt, dass die Implementierung von Datenintegrationsprozessen vollständig automatisiert werden kann. Die Anwendung heißt MetaKraftwerk und steht als Cloud Service zur Verfügung.

Mit der Nutzung von MetaKraftwerk entfällt der manuelle Entwicklungsaufwand von Datenintegrationsprozessen vollständig. Die zu erzeugenden Datenintegrationsprozesse basieren ausschließlich auf Metadaten und dem zugewiesenen Pattern. Als Produkt dieser beiden entstehen vollautomatisch ausführbare Prozess-Instanzen. Abweichungen in der Implementierung sind somit komplett ausgeschlossen. Das wiederum reduziert erheblich den Testaufwand. Es müssen lediglich die Instanz-Metadaten validiert werden.

Ihr Nutzen

Welchen Nutzen haben Sie bei der Verwendung von MetaKraftwerk?

Zur Implementierung von Datenintegrationsprozesse bieten sich verschiedene Ansätze. Diese möchten wir gerne mit unserem vollautomatisierten Ansatz MetaKraftwerk vergleichen.

Möglichkeit 1: Template

In Projekten wird häufig die Vorgehensweise mit halbtechnischen Spezifikationen – sogenannten Templates – angewendet. Die Templates geben das generelle Design der Datenintegrationsprozesse vor. Die spätere Funktionalität wird erst im konkreten Prozess implementiert.

Möglichkeit 2: Pattern (manuell)

Durch manuelle Instanziierung des Pattern-Ansatzes profitiert man direkt von der angelegten und getesteten Funktionalität des Patterns. Die Anpassung auf die konkrete Datenstruktur und Datenfelder ist nun durch manuellen Aufwand umsetzbar.

Möglichkeit 3: MetaKraftwerk (automatisiert)

Automatisierte Anwendung des Pattern-Ansatzes. Dabei entfällt der manuelle Entwicklungsaufwand vollständig. Die Erzeugung der Datenintegrationsprozesse erfolgt ausschließlich als Produkt von Metadaten und dem Prozess-Pattern.

Mit der Entscheidung für ein Vorgehen ergeben sich die Aufwände für die Implementierung von Datenintegrationsprozessen. Diese unterscheiden sich erheblich zwischen den einzelnen Vorgehensweisen. Eine exemplarische Darstellung der Aufwände für Design, Entwicklung und Test zeigt das Diagramm rechts.

Das Diagramm verdeutlicht, wie die Aufwände mit dem Einsatz des Pattern-Ansatzes bis zur Automatisierung abnehmen. Der Skaleneffekt von MetaKraftwerk wird noch deutlicher, wenn man eine größere Anzahl an zu erzeugenden Datenintegrationsprozesse betrachtet. Die Vorteile von MetaKraftwerk resultieren vorrangig aus der Eliminierung von Design- und Entwicklungsredundanz. Dies wirkt sich enorm auf die erzielte Qualität aus. Was wiederum zu einer Reduzierung des Testaufwandes führt.

Wie sich der Skaleneffekt durch den Einsatz von MetaKraftwerk auf die Kostenfunktion auswirkt, zeigt das nebenstehende Diagramm sehr deutlich.

Gerne zeigen wir Ihnen die Vorteile von MetaKraftwerk in der Praxis. Sprechen Sie uns einfach an und besuchen Sie MetaKraftwerk für weitere Informationen.

Development Automation

Die Automatisierungslösung für die ETL-Entwicklung

Intelligente Weiterentwicklung des Pattern-Ansatzes