Data
Integration

Um einen echten Mehrwert zu bieten, muss Datenintegration schnell und unkompliziert erfolgen. Aufgrund der zentralen und zumeist sehr umfangreichen Aufgabenstellung liegt das Augenmerk bei der Datenintegration auf Kosteneffizienz und Agilität. Mit unserer Referenzarchitektur einer Informationsfabrik liefern wir eine Blaupause und Best Practices für eine effiziente Datenintegrationskomponente. Und mit unserer Core Components Library haben wir die konkreten Zutaten für alle wesentlichen Aufgabenstellungen in der Datenintegration. Die Core Component Library ist dabei eine Sammlung von verschiedenen Methoden, Prozessen, Object Pattern, modularen Funktionsbausteinen und vollständigen Lösungen.

Direkt adaptierbare Pattern:

• Abstraktion des Fachmodells und Übersetzung in Object Pattern für das physikalische Modell beispielsweise gemäß Data Vault oder Ankermodellierung (Anchor Modelling)
• Data Integration Process Pattern für die verschiedenen Integrationsaufgaben, u.a. für Historisierung und Versionierung bei temporaler und bi-temporale Modellierung
• Transformation von ablage- in analyseoptimierte Datenmodelle beispielsweise gemäß einem multidimensionalen Modell
• Big Data Integrationspattern für batch- und streaming-basierte Verarbeitungen
• Interfacing Integrationspattern
  

Modular einsetzbare Funktionsbausteine stellen das Grundgerüst jedes Datenintegrationsprozesses und die Ausgangsbasis für die Schaffung neuer Process Pattern dar:

• Delta-/ Full Load Unterstützung, Restartfähigkeit, DQ-Prüfungen, ID-Generator, Reject Loop, Process Logging, Chargen-Tracking, Data Lineage
• Realtime Data Integration, Konnektoren und Decoder zu verschiedenen Source- und Target-Formaten, u.a. Google Protocol Buffer, FIXML
• Methoden und Lösungen für Parallel Processing und Mass Data Handling zur Verarbeitung und Transformation extrem großer Datenmengen

• Historical Load Loop Processing
• In-/Outbound Hub
• File State Machines
• Generic Logging Solution
• Operational Metadata Analytics

Der integration-factory Pattern Approach ermöglicht es, mit kleinen Teams große Systeme in homogener Qualität schnell zu realisieren. Der Pattern Approach ist eine skalierbare Methode für den effizienten Aufbau von großen Datenmanagementsystemen und ermöglicht, das ganze Potenzial der eingesetzten Werkzeuge und der getätigten Investition auch wirklich zu nutzen. Der wesentliche Vorteil des Pattern Approach besteht darin, dass Design, Entwicklung und Test der (Kern-)Funktionalität nur genau einmal je Pattern erfolgt. In der N-fachen Anwendung eines Patterns werden dann nur noch die Instanz-Eigenschaften wie bspw. die konkreten Kundendatenfelder angewandt. Diesen Vorgang bezeichnen wir auch als Instanziierung. Es entstehen N lauffähige Prozesse, auf die sich Design, Entwicklung und die getestete Qualität des Patterns gleichermaßen vererben.

Unser Cloud-Service MetaKraftwerk ist die automatisierte Anwendung des Pattern Approach. Mit MetaKraftwerk entfällt der manuelle Entwicklungsaufwand vollständig. Da die erzeugten Instanzen ausschließlich auf Basis von Metadaten und der maschinellen Anwendung von Regeln erzeugt werden, sind Abweichungen vom Pattern ausgeschlossen. Es bleibt ein geringer Testaufwand, der lediglich den Einfluss der Instanz-Metadaten abprüft.