Echtzeit-Analyse dank Data Stream Processing

Ohne Datenanalyse geht heute fast nichts mehr: Jedes Unternehmen, das in einer sich stark wandelnden und beschleunigenden Wirtschaft dauerhaft Erfolg haben möchte, muss seine anfallenden Daten auswerten und gewinnbringend einsetzen. Doch die explodierenden Datenmengen werden für immer mehr Unternehmen auch zu einem ernsthaften Problem. Laut einer Prognose des Speicherherstellers Seagate und der Analysten von IDC erreicht die weltweite Datenmenge im Jahr 2025 enorme 163 Zettabyte. Zur Veranschaulichung: Das entspricht dem Datenverkehr, der entstünde, würde man sich die gesamte Videothek von Netflix 489 Millionen Mal ansehen.

Vor allem die Unternehmen selbst sorgen für diese Explosion: Während 2015 noch rund 30 Prozent der weltweiten Datenmenge von Unternehmen generiert wurden, sollen es 2025 bereits 60 Prozent sein. Die Unternehmen sehen sich mit einer immer größeren Datenmenge konfrontiert, die es auszuwerten gilt und worauf zu reagieren ist. Und allein schon wegen der schieren Menge wird es in den kommenden Jahren immer schwieriger, sämtliche anfallenden Daten zu speichern und zu bearbeiten.

Auf die Unternehmen kommen also in Sachen Datenanalyse ganz neue Aufgaben zu. „Die primäre Herausforderung ist, festzulegen, welche Datenströme überhaupt verarbeitet werden“, so die Erfahrung von Björn Bartheidel, Director IoT & Manufacturing beim IT-Dienstleister Freudenberg IT. Die diesbezüglichen Schwierigkeiten bestätigt auch Shawn Rogers, Senior Director of Analytic Strategy bei Tibco, einem Anbieter von Analyse-Software. Es werde für alle Unternehmen wichtig, zu entscheiden, an welcher Stelle Daten analysiert werden sollen – „sie benötigen die Flexibilität, Analysen an der Datenquelle durchführen und die Daten mit anderen Quellen kombinieren zu können, um den Mehrwert der Erkenntnisse zu steigern.“

Das sogenannte Data Stream Processing oder Data Streaming gewinnt daher in der Big-Data-Welt stark an Bedeutung. Anstatt wie beim herkömmlichen Vorgehen die Daten in einer Datenbank abzulegen und erst bei Bedarf abzufragen und zu analysieren, werden beim Data Stream Processing die Daten bereits dann in Echtzeit verarbeitet und analysiert, wenn sie anfallen.

Ein prominentes Beispiel ist die chinesische E-Commerce-Plattform Alibaba. Sie erzielte am letzten Singles’ Day binnen 24 Stunden einen Umsatz in Höhe von 30,8 Milliarden Dollar. Der Singles’ Day ist ein jährliches Event im November und zugleich der umsatzstärkste Online-Shopping-Tag des Jahres. Damit eine IT-Infrastruktur einen solchen Shopping-Ansturm bewältigen kann, ist die unmittelbare Verarbeitung und Analyse großer Datenmengen unabdingbar. So wurden zum Beispiel die Such- und Produktempfehlungen auf den Shop-Seiten den Aktivitäten der Käufer entsprechend in Echtzeit angepasst. Mit einer Stream-Processing-Plattform konnte Alibaba alle Daten innerhalb von Millisekunden nach der Generierung berechnen.

Den Trend zur Echtzeitverarbeitung bestätigen die Wachs­tumsraten: Dem Marktforschungs­unternehmen Markets and Markets zufolge soll der weltweite Markt für Streaming-Analytik von rund 3,1 Milliarden Dollar 2016 auf satte 13,7 Milliarden Dollar im Jahr 2021 wachsen.

Björn Bartheidel von Freudenberg IT kennt aus seiner täglichen Praxis den Druck der Unternehmen, Daten möglichst zeitnah zu verarbeiten: „Speed is Key“, so Bartheidel. Analysen müssten im Grunde direkt verfügbar sein – zeitlicher Verzug könne in diesem Bereich schnell zu einem echten Pro­blem werden. „Heutzutage geht es längst nicht mehr um Tage oder Stunden, sondern um wesentlich kleinere Zeitfenster. Hier hilft das Stream Processing, denn Daten werden damit unmittelbar – im System – verarbeitet.“

Die Echtzeitdatenverarbeitung beim Data Streaming bedeutet aber nicht, dass immer alle Daten sofort und ohne Verzug verarbeitet werden müssen. Während zum Beispiel bei einem selbstfahrenden Auto nur Reaktionszeiten von wenigen Millisekunden tolerierbar sind, dürfen bei der Auswertung eines Sensors, der etwa den Ölstand einer Maschine misst, durchaus einige Sekunden vergehen. Die Verarbeitung der Datenströme muss also je nach Einsatzzweck nicht wirklich in Echtzeit, sondern in der jeweils ausreichenden Schnelligkeit erfolgen.