Data Streaming

Ohne Daten geht selbstverständlich auch im Jahr 2020 nichts. Unternehmen, die Erfolg haben möchten, kommen nicht darum herum, anfallende Daten auszuwerten und sie möglichst gewinnbringend einzusetzen. „2020 wird sich daher alles um das Thema Datenmanagement drehen. Denn die Digitalisierung und der Einsatz etablierter und ganz neuer Trendtechnologien führen zu neuen datenbasierten Geschäftsmodellen und Anwendungen“, so Net­App-Director Peter Hanke. Unabhängig von ihrem Format und der Herkunft müssten Daten daher jederzeit, sicher und überall zur Verfügung stehen – am besten in Echtzeit. Dazu brauche es zum einen Interoperabilität zwischen verschiedenen Cloud-Anbietern und lokalen Systemen, um Applikationen über mehrere Plattformen verteilen zu können. Zum anderen sei ein freier Datenfluss unumgänglich: Ablage, Verwaltung, Zusammenführung und die Übertragung von Daten müssten einheitlich geregelt sein. Denn: „Stimmt die Basis nicht, dann lassen sich keine Mehrwerte generieren und die Nutzer nicht zufriedenstellen“, fasst Peter Hanke zusammen.

Doch das Problem ist: Die Datenmengen explodieren – während 2015 noch rund 30 Prozent der weltweiten Datenmenge von Unternehmen generiert wurden, sollen es 2025 bereits ­60 Prozent sein. Wegen der schieren Menge wird es immer schwieriger, sämtliche Daten zu speichern und zu bearbeiten. Eine Lösung ist das sogenannte Data Stream Processing. Dabei werden Daten bereits dann in Echtzeit verarbeitet und analysiert, wenn sie anfallen. Zum Vergleich: Bislang setzt man in der Big-Data-Welt in der Regel auf das Prinzip „Data at rest“. Dabei nutzen Datenanalysen eine Batch-orientierte Dateninfrastruktur. Die Daten werden zunächst in einem Data Warehouse abgelegt und erst bei Bedarf verarbeitet. Beim Data Stream Processing erzeugt hingegen ein Sender, etwa ein IoT-Sensor, einen permanenten Datenstrom in einem wiederkehrenden Format. Ein Empfänger, etwa ein Cloud-Server, verarbeitet diese Daten kontinuierlich und stellt sie grafisch dar oder führt je nach Datenlage Aktionen aus.

Diese Datenstromverarbeitung hat aber auch ihre Nachteile. So ist nur ein fortlaufender Zugriff auf den Datenstrom möglich – im Gegensatz zur herkömmlichen Analyse von Daten etwa in einem Data Warehouse, bei der ein sogenannter wahlfreier Zugriff auf alle Daten durchführbar ist. Mittels spezieller Algorithmen lassen sich jedoch auch beim Data Streaming einzelne Datensätze aufgrund ihres Inhalts auswählen und etwa zu einem neuen Datenstrom zusammenfassen, der dann für weitere Analysen zur Verfügung steht.

Die Echtzeitverarbeitung von Daten erfordert in vielen Fällen auch Veränderungen in der IT-Architektur. Wenn man die Analyse nicht an einen externen Dienstleister wie einen Cloud-Dienst auslagert, dann müssen die eigenen Datenspeicher in der Lage sein, eine sehr große Menge an gleichzeitig anfallenden Daten in sehr kurzer Zeit zu speichern. Hier setzt man verstärkt auf Speichersysteme mit schnellem Flash-Speicher, um diesen erhöhten Anforderungen gerecht zu werden.