integration-factory mit PoC bei WM Datenservice 5/5 (2) Lesedauer 3 Minuten

Share on facebook
Share on twitter
Share on linkedin
Share on xing
Share on whatsapp
Share on email

Gegen Ende 2018 wurde ein Proof-of-Concept zusammen mit Informatica beim Unternehmen WM Datenservice in Frankfurt durchgeführt. Der WM Datenservice betreibt eine umfassende, globale Finanz-Datenbank mit integrierten Daten/Informationen zu allen nationalen und relevanten internationalen Finanzinstrumenten und bietet kundenorientierte Produkte und Dienstleistungen zur ganzheitlichen Unterstützung der Prozesssteuerung und des Managements von Anlage und Risiko. Der erzeugte VF1 Feed wird beispielsweise bei unseren Kunden Deutsche Börse AG und Börse Stuttgart empfangen und verarbeitet.
Im Rahmen der Neuauflage des Projektes Enhanced Data Delivery (EDDy_neu) soll zur Abbildung der Dateneingangsschicht eine ETL-Plattform ausgewählt werden, die den Anforderungen der WM hinsichtlich Funktionsumfang und Performance entspricht. Um ein hohes Maß an Sicherheit im Auswahlprozess zu gewinnen, wurden verschiedene Aufgaben formuliert, die durch einen Proof-of-Concept gelöst werden sollen.

Was war gefordert?

Die erste Aufgabe war das Einlesen einer klassischen XML-Datei. Anschließend wurden, basierend auf den gelesenen Werten, fachliche Prüfungen implementiert. Diese umfassten zum Einen das Zählen bestimmter Wiederholungsgruppen innerhalb des XML und zum anderen einen HTTP-REST Aufruf zur Prüfung einer Wertpapierkennnummer (WKN). Das Ergebnis wurde anschließend sowohl in eine CSV- als auch als JSON-Datei in das Dateisystem geschrieben.

Die zweite Aufgabe war hinsichtlich der Quelldatei etwas komplexer, da es sich um eine Excel-Datei handelte. Die Excel-Datei wurde mittels einer Java-Transformation und einer In-Stream-XML-Transformation verarbeitet. Dieses Verfahren ist voll flexibel und wird bereits bei der DZ Bank erfolgreich produktiv eingesetzt. Die Java Transformation erstellt aus dem Excel eine XML-Struktur, die dann im Mapping mit besagter Transformation umgewandelt wird. So stehen alle Spalten des Excels anschließend im Mapping zur Verfügung. Die Herausforderung lag darin, dass die Spalten im Excel nicht zwangsläufig die gleiche bzw. eine vorhersehbare Reihenfolge aufweisen müssen. Ebenso konnte es vorkommen, dass Spalten bspw. durch Rechtschreibfehler minimal anders benannt sind. Zum Beispiel liefert Kunde A die Bezeichnung WKN und Kunde B an deren Stelle das Wort Wertpapierkennnummer. Nach der erfolgreichen Harmonisierung der Struktur wurden Referenzdaten nachgeschlagen, um das CSV-Zielformat zu befüllen.

Die dritte Aufgabe hatte einen direkten Bezug zur Dateneingangskontrolle. Angediente CSV-Dateien mussten eingelesen und mittels einer Oracle Prozedur geprüft werden. Die Prüfung entnahm dabei Nutzdatenwerte aus der CSV-Datei und Informationen aus dem Dateinamen. Auf Basis der Kombination von Sender und WKN ermittelte die Prozedur, ob der Sender berechtigt ist, die WKN zu liefern oder nicht. Um die Weiterverarbeitung auf dem bestehenden HOST-System zu beschleunigen, mussten die Zeilen gefiltert werden, die sich im Vergleich zur letzten Lieferung nicht geändert haben. Dies wurde klassisch mit MD5 Hashwert-Vergleichen und dynamischen Lookups umgesetzt.

Das Ergebnis und die Abschlusspräsentation

Die gestellten drei Aufgaben wurden durch integration-factory vor Ort in Abstimmung mit dem Kunden umgesetzt. Dabei konnten die verschiedenen Spielarten und Lösungsansätze mittels Informatica PowerCenter dargestellt werden. Der Kunde war dadurch in der Lage, ein aussagekräftiges Bild der Software und auch unserer Beratungsleistung zu bekommen.
Auf der Abschlusspräsentation wurden die entwickelten Lösungen einem interessierten Kreis vorgestellt. Dieser umfasste neben dem Vorstand und den Entwicklern auch die Fachabteilung. Das im Anschluss sattgefundene Feedbackgespräch verlief sehr positiv bezogen auf unsere geleistete Arbeit vor Ort.