Big Data mit smarter Architektur große Daten zähmen

Big Data ist für uns mehr als nur ein Megatrend. Big Data bietet neue Chancen, bisher schwer zugängliche oder zu beherrschende Daten nutzbar zu machen. Auch eine Big Data Infrastruktur muss sich an der Zugreifbarkeit von Daten für die Transformation zu wertvollen Informationen messen lassen. Selbst wenn Big Data jenseits von ausschließlich strukturierten Daten angesiedelt ist, profitiert der Aufbau einer Informationsinfrastruktur von der Standardisierung und von praxiserprobten Konzepten

Unser Leistungsangebot

Wir glauben daran, dass die Entwicklung von Datenmanagementsystemen einfach, kostengünstig und effizient erfolgen muss, um schnell den Nutzen einer informationsgetriebenen Strategie zu untermauern. Das gilt auch für Big Data Systeme, die zunehmend ihren Beitrag innerhalb der Digitalisierungsstrategie eines Unternehmens erbringen sollen und müssen. Hier gilt es, auf Erfahrungen, Best Practices und der Möglichkeit, Ansätze auszuprobieren und prototypisch bis hin zur Produktionsreife zu treiben, zu setzen.

Auf der Grundlage unserer Core Components Library, unseren Methoden und Erfahrungen aus diversen Big Data-Projekten, entwerfen und realisieren wir für Sie maßgeschneiderte Lösungen zur Streaming- und Batch-orientierten Verarbeitung großer Datenmengen, in strukturierter und unstrukturierter Form.

Des Weiteren können wir direkt für Sie tätig werden, ohne dass Sie bereits ein Cluster besitzen: Diesen bringen wir mit unserem Big Data Labor ein. Wir haben einen Hortonworks- und einen Cloudera-Cluster aufgebaut und sind in der Lage, für Sie die verschiedenen Use Cases prototypisch anzugehen. Damit profitiert Ihr Business von den aktuellsten Erkenntnissen.

Wir begleiten Big Data sowohl auf der Seite der Datenintegrations-Toolanbieter als auch durch Lösung komplexer Problemstellungen über Spark, MapReduce-Implementierungen. Unsere Best Practices im Bereich der Big Data-Datenintegration umfassen

Standardisierte, pattern-basierte Batch-Verarbeitung mit Informatica Big Data Management oder Spark
Standardisierte, pattern-basierte Echtzeitverarbeitung (Streaming) mit Informatica Intelligent Streaming, Spark Streaming und auf Basis einer Lambda Architektur
Migration bestehender Datenintegrationslösungen auf Big Data Technologie
Automatisierung der Entwicklung von Datenintegrationsprozessen durch den Einsatz von MetaKraftwerk

Wir unterstützen Sie in allen Projektphasen Ihres Big Data-Vorhabens von der Use Case-Analyse über die Konzeption, den Aufbau und den Betrieb von Big Data Systemen auf Basis der Lambda-Architektur und des SMACK-Ansatzes. Des Weiteren konzipieren und realisieren wir standardisierte, performante Datenzugriffsschichten für Advanced Analytics, Data Science und Machine Learning.

Ihr Ansprechpartner

Sie möchten ein Big Data Projekt starten oder haben Fragen zur Big Data Architektur?

Wir stehen für Ihre Fragen zur Verfügung. Senden Sie uns einfach eine E-Mail.

integration-factory Lambda-Architektur

Die Herausforderung beim Aufbau einer ganzheitlichen, standardisierten und robusten Streaming-Plattform besteht darin, zunächst einen „Best-of-Breed“ Technologie-Stack für die Anforderungen des Unternehmens zu bestimmen.

Die rasante Innovationskraft im Big Data Bereich hat in den letzten Jahren einige kommerzielle und nicht kommerzielle (Open Source) Lösungen hervorgebracht, die für die Umsetzung von Streaming-Anforderungen optimiert wurden. Die Konzeption eines Big Data Systems auf Basis der Lambda-Architektur gilt heute als Standard und ermöglicht die echtzeit- und batch-basierte Datenverarbeitung auf Basis von Big Data Technologien.

Die zuvor dargestellte technische Architektur eines Big Data Systems beschriebt eine Möglichkeit, mit der sowohl die Datenverarbeitung in Echtzeit als auch im Batch-Modus möglich ist. Die richtige technische Architektur ist entscheidend für den Aufbau einer Streaming-Plattform. Was aber noch fehlt ist eine ganzheitliche, event-basierte Streaming-Strategie. Diese muss das Ziel verfolgen, eine einheitliche und standardisierte prozessuale und technische Vorgehensweise für die Echtzeitdatenverarbeitung zu nutzen, bei der die fachlichen Geschäftsvorfälle des Unternehmens im Fokus stehen. Technisch lässt sich ein solcher Streaming-Ansatz mit einem standardisierten, event-basierten Speed-Layer umsetzten.