WM Datenservice

Kurzprofil

Als einer der führenden Informationsdienstleister für die Finanzwirtschaft liefert die WM Gruppe seit mehr als 70 Jahren maßgeschneiderte Datenlösungen und Informationen entlang der gesamten Prozesskette ihrer Kunden. Das Spektrum der umfangreichen Finanzdatenbank deckt dabei Deutschland und Europa nahezu lückenlos ab.

Zu den weiteren Geschäftsbereichen der WM Gruppe zählen neben der bekannten Börsen-Zeitung auch Seminare zu Fragen des Bank- und Kapitalmarkts.

Projekt

Im Rahmen des Projektes „EDDy_neu“ wurde zur Abbildung der Dateneingangsschicht die ETL-Plattform Informatica Power Center ausgewählt. In der ersten Ausbaustufe werden Zertifikate und Anleihen der SIX Gruppe, die mittels eines Feed (CONNEXOR®) zur Verfügung gestellt werden, verarbeitet. Das verwendete Format „Internet Based Terms (IBT)“ basiert dabei auf XML und wird durch Informatica Power Center verarbeitet.

Entwurf und Aufbau der Infrastruktur, insbesondere Installation und Konfiguration von Informatica Power Center
Etablierung eines automatischen Deployments für Informatica Power Center und Oracle
Konzeption und Realisierung eines operativen Datenhaushalts zum Betrieb einer zentralen Dateneingangsschicht

Teamgröße

Die Teamgröße umfasst 2 Personen.

Technologien

Informatica Power Center, Oracle 12c, Linux, Automic UC4

Aufbau und Ausbau der Dateneingangsschicht (05/2019 - heute)

Evaluierung und Durchführung von Proof of Concepts zum Betrieb der Plattform
Erstellung von Entwicklerrichtlinien zur einheitlichen Entwicklung von Informatica Power Center Prozessen
Erstellung eines Umgebungs- und Availabilitykonzepts
Installation und Konfiguration von Informatica Power Center 10.2 als zentrale Datenintegrationsplattform
Konzeption und Umsetzung von Security Richtlinien
Installation und Konfiguration des mehrfach erprobten integration-factory Deployment Verfahren zur vollständig automatisierten Installation von Informatica und Oracle Metadaten / Prozessen
Konzeption und Umsetzung von Datenintegrationsprozessen zur Bewirtschaftung der operativen Dateneingangsschicht

integration-factory mit PoC bei WM Datenservice

Gegen Ende 2018 wurde ein Proof-of-Concept zusammen mit Informatica beim Unternehmen WM Datenservice in Frankfurt durchgeführt. Der WM Datenservice betreibt eine umfassende, globale Finanz-Datenbank mit integrierten Daten/Informationen zu allen nationalen und relevanten internationalen Finanzinstrumenten und bietet kundenorientierte Produkte und Dienstleistungen zur ganzheitlichen Unterstützung der Prozesssteuerung und des Managements von Anlage und Risiko. Der erzeugte VF1 Feed wird beispielsweise bei unseren Kunden Deutsche Börse AG und Börse Stuttgart empfangen und verarbeitet.
Im Rahmen der Neuauflage des Projektes Enhanced Data Delivery (EDDy_neu) soll zur Abbildung der Dateneingangsschicht eine ETL-Plattform ausgewählt werden, die den Anforderungen der WM hinsichtlich Funktionsumfang und Performance entspricht. Um ein hohes Maß an Sicherheit im Auswahlprozess zu gewinnen, wurden verschiedene Aufgaben formuliert, die durch einen Proof-of-Concept gelöst werden sollen.

Was war gefordert?

Die erste Aufgabe war das Einlesen einer klassischen XML-Datei. Anschließend wurden, basierend auf den gelesenen Werten, fachliche Prüfungen implementiert. Diese umfassten zum Einen das Zählen bestimmter Wiederholungsgruppen innerhalb des XML und zum anderen einen HTTP-REST Aufruf zur Prüfung einer Wertpapierkennnummer (WKN). Das Ergebnis wurde anschließend sowohl in eine CSV- als auch als JSON-Datei in das Dateisystem geschrieben.

Die zweite Aufgabe war hinsichtlich der Quelldatei etwas komplexer, da es sich um eine Excel-Datei handelte. Die Excel-Datei wurde mittels einer Java-Transformation und einer In-Stream-XML-Transformation verarbeitet. Dieses Verfahren ist voll flexibel und wird bereits bei der DZ Bank erfolgreich produktiv eingesetzt. Die Java Transformation erstellt aus dem Excel eine XML-Struktur, die dann im Mapping mit besagter Transformation umgewandelt wird. So stehen alle Spalten des Excels anschließend im Mapping zur Verfügung. Die Herausforderung lag darin, dass die Spalten im Excel nicht zwangsläufig die gleiche bzw. eine vorhersehbare Reihenfolge aufweisen müssen. Ebenso konnte es vorkommen, dass Spalten bspw. durch Rechtschreibfehler minimal anders benannt sind. Zum Beispiel liefert Kunde A die Bezeichnung WKN und Kunde B an deren Stelle das Wort Wertpapierkennnummer. Nach der erfolgreichen Harmonisierung der Struktur wurden Referenzdaten nachgeschlagen, um das CSV-Zielformat zu befüllen.

Die dritte Aufgabe hatte einen direkten Bezug zur Dateneingangskontrolle. Angediente CSV-Dateien mussten eingelesen und mittels einer Oracle Prozedur geprüft werden. Die Prüfung entnahm dabei Nutzdatenwerte aus der CSV-Datei und Informationen aus dem Dateinamen. Auf Basis der Kombination von Sender und WKN ermittelte die Prozedur, ob der Sender berechtigt ist, die WKN zu liefern oder nicht. Um die Weiterverarbeitung auf dem bestehenden HOST-System zu beschleunigen, mussten die Zeilen gefiltert werden, die sich im Vergleich zur letzten Lieferung nicht geändert haben. Dies wurde klassisch mit MD5 Hashwert-Vergleichen und dynamischen Lookups umgesetzt.

Das Ergebnis und die Abschlusspräsentation

Die gestellten drei Aufgaben wurden durch integration-factory vor Ort in Abstimmung mit dem Kunden umgesetzt. Dabei konnten die verschiedenen Spielarten und Lösungsansätze mittels Informatica PowerCenter dargestellt werden. Der Kunde war dadurch in der Lage, ein aussagekräftiges Bild der Software und auch unserer Beratungsleistung zu bekommen.
Auf der Abschlusspräsentation wurden die entwickelten Lösungen einem interessierten Kreis vorgestellt. Dieser umfasste neben dem Vorstand und den Entwicklern auch die Fachabteilung. Das im Anschluss sattgefundene Feedbackgespräch verlief sehr positiv bezogen auf unsere geleistete Arbeit vor Ort.