Realtime Data
Warehouse

Das Data Warehouse – on-premises oder als modernes Cloud Data Warehouse – stellt die kanonische Lösung zur Integration historischer operativer und weiterer geschäftskritischer Daten in einem konsistenten, homogenen Datenhaushalt dar. Es ist das Ziel des Realtime Data Warehouse-Ansatzes, diese hohe Integrationsleistung mit seinem von hoher Datenqualität geprägten Datenhaushalt auf Echtzeitdaten auszudehnen.

Das Kernstück dieses Active Data Warehouse ist die Realtime Data Integration. Die Aktualisierungsfrequenz soll dabei auf ein sinnvolles Minimum reduziert werden und sich im Prinzip an der möglichen Bereitstellungsfrequenz der operativen Zuliefersysteme orientieren. Realtime Data Integration ist auch eine Lösung zur Bewältigung der weiter steigenden Datenvolumina. Des Weiteren sind in einem 24/7-Arbeitsumfeld traditionelle Nightbatch-Verarbeitungen immer schwieriger aufrechtzuerhalten.

Was bietet integration-factory?

Wir haben uns mit Realtime Data Integration intensiv in verschiedenen Projekten beschäftigt und kennen die verschiedenen Herausforderungen im Umgang mit der Verarbeitung und sofortigen Bereitstellung von Realtime-Informationen im Reporting und im operativen Umfeld.

Bei der Akquisition von Echtzeitdaten wird die Verfügbarkeit und das vollständige Vorliegen von Informationen zu einem nichttrivialen Problem, das zumeist vom Data Warehouse-System selbst und nicht vom Lieferanten gelöst werden muss. Neben speziellen Konnektoren für proprietäre Data Feeds und eigenen Datenprozessoren zum Decoding der Payloads haben wir Lösungen für Gap Detection und Retransmissioning entwickelt.

Wir haben spezielle Konnektoren für AMQP-, UDP-Multicast und TCP/IP-Realtime-Interfaces sowie Decoder/ Encoder für die Payload-Formate Google Protocol Buffers (GPB),  Type-Length-Value (TLV) und FIXML entwickelt.

Das Landing der Daten muss schlank und robust organisiert sein. So lässt sich sicherstellen, dass alle Daten sicher empfangen werden. Die Integration in den Datenhaushalt, so dass die Echtzeitdaten wie in einem traditionellen Data Warehouse vielfältig kombinierbar und auswertbar sind, erfolgt im Anschluss. Hier gibt es diverse Ansätze: Mini- oder Continuous-Batches bis hin zu direkter Echtzeitverarbeitung (Trickle Feed/ Instant Loading) in den Core Layer. Die Anforderungen hinsichtlich Ablage- und Abfrageorientierung entscheiden, welcher Ansatz für welche Informationsgruppen gewählt werden kann. In jedem Fall unterliegen alle Datenintegrationsprozesse für Stamm- und Bewegungs-/ Transaktionsdaten einer Delta-Verarbeitungslogik. Dabei muss der relevante Verarbeitungsscope über ein robustes Verfahren effizient und exakt bestimmt werden.

Das Reporting setzt meistens auf einem abfrageoptimierten Modell auf. Wie in der Integration in den Core Layer sind auch bei der Bereitstellung für das Reporting und Advanced Analytics die Fragen der Aufbereitungsfrequenz zu lösen.

Das Ziel des Active Data Warehouse ist es, die Latenz von Entstehung der Daten bis zur optimalen Bereitstellung für Reporting und Analytics zu minimieren.