Preisaggregation eines Realtime-Datenfeed

Ausgangssituation

Stoxx Ltd. berechnet und verteilt Indizes, die das Markt- und Handelsgeschehen an Aktien-, Anleihe- und Commodity-Märkten abbilden, u.a. die Marken DAX, Stoxx und SMI. Die effiziente Index-Berechnung setzt einen intelligenten Umgang mit Stamm- und Preisdaten voraus. Neben den in Echtzeit publizierten Indexticks schafft der Indexanbieter über diverse Berichte und Metriken Transparenz über die Index-Universen. Die hierfür relevanten Daten, insbesondere die Preisdaten, müssen unter den Gesichtspunkten eines gewachsenen Datenvolumens, erhöhter fachlicher Komplexität und  Flexibilität, Geschwindigkeit und aktueller technischer Möglichkeiten betrachtet werden. Als Quelle der Preisaggregation, die hier Projekt-Gegenstand ist, dienen Echtzeit-Daten, die über CEF® Core, dem Realtime-Datenfeed der Deutschen Börse AG, verteilt werden.

Aufgabe: Prozessüberarbeitung zur Preisaggregation

  • Die vorhandenen und nicht mehr zeitgemäßen Prozesse für die Preisaggregation den aktuellen technischen Möglichkeiten anpassen,
  • dabei der gewachsenen fachlichen Komplexität Rechnung tragen,
  • die Verarbeitungs-Performance erhöhen,
  • die Prozesse von anderen Berechnungsprozessen entflechten und schließlich die Wartbarkeit der Gesamtapplikation verbessern.

Lösung: Operational Metadata Analytics

Die von integration-factory entwickelte Applikation Operational Metadata Analytics (OMA) bot die Grundlage, um die über die Jahre gewachsenen Verflechtungen der Prozesse zu identifizieren sowie Abhängigkeiten und Ineffizienzen zu analysieren. Mittels OMA wurden konsolidierte und angereicherte Informationen zu Tabellen und Prozessen aus dem Oracle und Informatica Repository ausgewertet, um Aussagen über das Langzeitverhalten und über Abhängigkeiten und benötigte Aggregations-Snapshots zu treffen.

Schwerpunkte der Neuentwicklung lagen schließlich auf der Ablösung persistenter Lookup-Caches in Informatica-Prozessen, der Vermeidung Datenbank-übergreifender SQL Abfragen für die Zuführung von Stamm- und Preisdaten zu den Aggregationsprozessen sowie einer partitionierten Verarbeitung, in der jedem Thread durch Gleichverteilung annähernd die gleiche Arbeitsmenge zugewiesen wird.

Durch die Umsetzung wurde die bestehende Preisaggregation dem aktuellen technischen Stand des Financial Data Warehouse angepasst und wesentlich beschleunigt. Mittels eines einheitlichen Parametersets wurde die Flexibilität erhöht und somit die Möglichkeit geschaffen, mit geringem Aufwand neue Aggregations-Snapshots zu implementieren. Weiterhin wurde eine transparente Möglichkeit geschaffen, parametergesteuert Aggregations-Snapshots nachzurechnen. Die Wartbarkeit der Applikation ist damit enorm gestiegen, was zu einer Reduktion des täglichen Operations-Aufwands führte.

Ergebnis

Künftig werden durch den von integration-factory entworfenen und implementierten Aggregationsprozess 15 Millionen Indexticks und 20 Millionen Preisticks von circa zwei Millionen unterschiedlichen Wertpapiernotierungen viermal täglich aggregiert und dem Financial Data Warehouse für weitere Prozesse zur Verfügung gestellt.

Durch einen konsequent metadatengetriebenen Ansatz konnte integration-factory das Projekt innerhalb kürzester Zeit zum Erfolg bringen, ohne dabei Einfluss auf bestehende Prozesse oder den Produktionsablauf zu nehmen.

Facts & Figures

  • Projektdauer: ein Monat
  • Aggregation von täglich bis zu 15 Mio. Index- und 20 Mio. Instrument Ticks
  • Berechnung von zwei Millionen Preissnapshots verschiedener Indizes und Instrumente über 18 verschiedene Handelsplätze
  • Technik: Operational Metadata Analytics von integraion-factory, Oracle, Informatica PowerCenter, BMC Control-M