Technologie

Implementierung und Evaluierung einer Verarbeitung von Datenströmen im Big Data Umfeld am Beispiel von Apache Flink Eine steigende Datenmenge in den Rechenzentren und der Wunsch

In einer von uns ausgeschriebenen und betreuten Abschlussarbeit, wurden verschiedene Optionen für das Scheduling von ETL-Prozessen, welche mit Informatica PowerCenter umgesetzt sind, untersucht. In diesem zweiten Beitrag zum Thema zeigen wir die Erkenntnisse, die durch die Arbeit gewonnen werden konnten.

ETL-Prozesse bestehen mitunter aus einer Vielzahl von ETL-Aktivitäten, zwischen denen komplexe Abhängigkeiten existieren können. Zur Orchestrierung eines korrekten Ablaufs der einzelnen ETL-Aktivitäten werden sogenannte Scheduling-Tools eingesetzt. In einer von uns ausgeschriebenen und betreuten Abschlussarbeit, wurden verschiedene Optionen für das Scheduling von ETL-Prozessen, welche mit Informatica PowerCenter umgesetzt sind, untersucht.

Große Banken müssen jederzeit in der Lage sein, ihre verschiedenen Risikobereiche zu überblicken und an die zuständige Aufsicht zu melden. Die entsprechenden Daten müssen nicht nur aktuell, sondern auch hochwertig sein. Damit dieser Datenhaushalt metadatengetrieben und qualitätsgesichert verwaltet werden kann, nutzen unsere Berater Lieferversionen und Datenausschnitte.

Die zeitliche Verfügbarkeit von Informationen wird durch digitale Transformationen immer wirchtiger. In der aktuellen Ausgabe der BI-Spektrum stellt Matthias Hoffmann, Partner bei integration-factory, einen innovativen und auf Big Data-Technologie basierenden Ansatz für die Umsetzung einer ganzheitlichen Streaming-Strategie vor.

Seit dem ersten produktiven Prozess im Data Warehouse der EEX (BDWH) sind nun 5 Jahre vergangen. Von anfänglich 124 täglichen Prozessen vergrößerte es sich in dieser Zeit auf ca. 75.000!

Mit drei Kollegen war integration-factory dieses Jahr auf der Data Driven Business Konferenz in Berlin vertreten. Das Event vereint drei verschiedene Schwerpunkte, sodass wir uns umfangreich über aktuelle Themen in den Bereichen Marketing, Customer Journey und Data Analytics informieren konnten.

Auf der diesjährigen Informatica World Tour stellen integration-factory und DZ Bank AG die Architektur des Financial Data Warehouse vor. Die Konferenz findet in Frankfurt statt und bietet ein vielseitiges Programm mit Keynotes, Technical Breakouts und Best Practices Tracks.

Operational Delivery Channel (ODC) werden verwendet, um relevante Datenmengen anderen Konsumenten in konsistenter Form und gleichbleibender Struktur zur Verfügung zu stellen. Im Rahmen eines Kundenprojekts hat integration-factory auf Basis eines Financial Data Warehouses ein solches ODC implementiert.

In einer von uns betreuten Masterarbeit wurden verschiedene Big Data Technologien im Bereich Data Streaming evaluiert. Dabei ging es um die Lösungen von Informatica Intelligent Streaming, Apache Spark Streaming und Apache Flink. Das Projekt hat nicht nur den Wissensaustausch zwischen Studierenden, Hochschulen und integration-factory gefördert, sondern einem neuen Kollegen auch den Einstieg in eine Karriere bei uns ermöglicht.

Wie reagiert integration-factory auf neue Technologie- und Innovations-Impulse? In einem Interview stellt sich unser Partner Daniel Feidieker genau diese Frage.

Ein Continuous Improvement Process (CIP) optimiert die Leistungsfähigkeit von Data Warehouses. Im Kundenprojekt bei der EEX haben wir einen CIP etabliert, der unterschiedliche Applikationen und Abnehmersysteme der Energiebörse Daten von hoher Qualität und Relevanz zur Verfügung stellt.

Der Betrieb eines Data Warehouses soll unter anderem die Datenzulieferungen aus unterschiedlichen Geschäftsapplikationen, Datenbanken und operativen Systemen zusammenzuführen und die Aktualität des Datenbestands absichern. Integration-factory setzt „Logical Units of Work“ ein, um Job Scheduling und Workload Automation effizient zu gestalten.

Eine erfolgreiche Website ist von vielen Erfolgsfaktoren abhängig. Im Rahmen seiner Bachelor-Thesis hat sich unser Kollege mit dem Thema Web Analytics beschäftigt. Die Arbeit ermöglicht interessante Einblicke in die Grundlagen für einen Web Analytics Ansatz mit der BI-Software Tableau. Eine Weiterentwicklung des konzipieerten Dashboards befindet außerdem bereits im Praxiseinsatz.