„Data Meshs erfordern einen organisatorischen Wandel“

Ein Data Mesh einzurichten, ist nicht nur eine technische Aufgabe. Vielmehr müssen auch die Organisationsstrukturen im IT-Bereich und den Fachabteilungen angepasst werden, unterstreicht Adam Mayer, Director Technical Product Marketing beim Daten- und KI-Spezialisten Qlik.

Adam Mayer
Director Technical Product Marketing bei Qlik

(Quelle: Qlik)

Adam Mayer: Data Mesh ist keine Technologie, sondern vielmehr eine neue Lösungsarchitektur für die Verwaltung von Unternehmensdaten. Die Intention ist der Wechsel zu einer domain-gesteuerten, dezentralen Datenarchitektur, in der die Data Lakes und Data Warehouses als Knotenpunkte des Meshs gesehen werden, nicht als zentraler Punkt der Gesamtarchitektur.

Mayer: Das Ziel eines Data Mesh ist das Verständnis von Daten als Produkt mit dezentralem, domain-gesteuerten Dateneigentum. Dieses Modell führt die Rolle des Datenproduktmanagers beziehungsweise Eigentümers ein. Er stammt in der Regel aus einer Geschäftssparte und ist Teil eines funktionsübergreifenden Teams von Dateningenieuren, die den Bereich, die Selbstverwaltung und die Governance auf dezentrale Weise verwalten.

Mayer: Data Mesh und Data Lake sind Architekturen, während Data Fabric eine Reihe von Designprinzipien darstellt, die dabei helfen, eine Vielzahl von Architekturimplementierungen zu unterstützen. Beides sind Ansätze zur Datenverwaltung, die sich gegenseitig ergänzen können. Data Mesh ist das Ziel, Data Fabric ist hingegen das Mittel, um dies zu erreichen.

Mayer: Ein Data Mesh fördert die Selbstverwaltung und die Demokratisierung von Daten und Analysen in den Geschäftsbereichen. Dies ermöglicht es diesen, eigene Analyseprojekte zu realisieren. Einige Vorteile und Anwendungsfälle sind beispielsweise die Wiederverwendung von Daten zur Erstellung bereichsübergreifender Datenprodukte und die geringeren Verzögerungen bei datenbasierten Entwicklungsprojekten. Hinzu kommt die höhere Datenagilität.

Mayer: Nehmen Sie eine Marketingabteilung. Sie veröffentlicht ein Datenprodukt, das die meistverkauften Produkte beschreibt. Die Abteilung Operations, welche die Nachfragemodelle entwirft, möchte möglicherweise die Informationen über die meistverkauften Produkte aus dem Marketing als Input für ihre Nachfragemodelle verwenden. Mit einem Data Mesh müssen die Fachleute aus dem Operations-Bereich die Daten nicht in ihre Domain duplizieren und eine abgekoppelte Kopie erstellen. Sie können einfach das Marketing-Datenprodukt abonnieren und in ihrer Analyse verwenden.

Der Energieversorger Uniper nutzt beispielsweise Lösungen von Talend als Basis für seine Datenanalyseplattform. Diese ermöglicht ein besseres Verständnis für die Entwicklung des Marktes und die Optimierung des Energiehandels. Gleichzeitig erlaubt sie es Juniper, gesetzliche Vorschriften einzuhalten.

Mayer: Data Mesh erfordert die richtige Architektur und die richtigen technischen Fähigkeiten, es ist jedoch auch eine Frage der Teamorganisation und der Übertragung von Zuständigkeiten, wenn Datenprodukte erstellt werden sollen. Data Mesh ist eine Umstellung auf eine neue Arbeitsweise. Organisationen müssen bereit sein, sich anzupassen. Durch die Dezentralisierung der Verantwortlich­keiten wird versucht, siloartige Data-Engineering-Teams in bereichsübergreifende Teams umzuwandeln. Die Idee einer verteilten Governance kann allerdings Herausforderungen mit sich bringen und sogar neue Silos schaffen.

Mayer: Data Mesh ist eine Architektur, die sich noch im Anfangsstadium befindet. Daher ist es für uns schwer, die Reaktion auf Data Mesh auf lokaler Ebene zu bestimmen. Aber man kann sagen, dass bisher nur ein kleiner Anteil der Unternehmen über die Fähigkeit und das Vertrauen verfügt, Data Meshs aufzubauen.

Mayer: Die Schlüsselfunktionen für eine erfolgreiche Implementierung von Datenarchitekturen sind überall auf der Welt dieselben. Es ist wichtig, dass die Elemente einer robusten Datenintegrationslösung vorhanden sind. Dazu gehören Mechanismen zur Erfassung, Verwaltung, Speicherung und zum Zugriff auf Daten. Darüber hinaus ist es wichtig, dass ein angemessenes Data-Governance-Framework zur Verfügung steht. Dieses sollte über ein Metadatenmanagement, Datenlinien und Best Practices für die Datenintegrität verfügen.