Data Meshs

Anbieter für den Aufbau von Data Meshs

von - 01.09.2023
Foto: Schutterstock
Nach der Zentralisierung von Datenbeständen in Data Lakes und Data Warehouses stehen die Zeichen nun auf Dezentralisierung beziehungsweise der "Demokratisierung" von Daten. Dies spiegelt sich im Konzept von Data Meshs wider.
Data-Mesh-Lösungen verlagern die Verantwortung für „Datenprodukte“ und die dazugehörige Infrastruktur in Domänen, sprich Fachabteilungen wie Vertrieb, Marketing, Produktentwicklung und Human Resources. Davon versprechen sich Nutzer von Data Mesh eine höhere Agilität durch einen schnelleren Zugriff auf Daten sowie eine höhere Datenqualität. Denn das Fachwissen der Mitarbeitern in diesen Domänen fließt in diese Data Products mit ein. Zudem entfallen aufwendige Aktivitäten wie der Ex- und Import von Daten sowie ein Teil der Storage-Ressourcen.
Eine Herausforderung ist jedoch, dass es keine schlüsselfertigen Data-Mesh-Lösungen gibt. Vielmehr müssen Nutzer Produkte aus unterschiedlichen Sparten zu einem Ganzen zusammenfügen: Lösungen für das Einspeisen (Ingestion), Modellieren und Virtualisieren von Daten, für Data Discovery und Observability, außerdem für das Bereitstellen von Datenprodukten sowie Storage- und Rechenkapazitäten.
Daher findet sich in der Anbieterübersicht eine Vielzahl von Lösungen und Lieferanten aus diversen Bereichen. Daher ist es für potenzielle Anwender keine einfache Aufgabe, die den passenden „Mix“ von Produkten und Services zusammenzustellen und zu implementieren. 
Data Mesh ist daher ein klassischer Fall für Beratungsunternehmen, die sich auf Datenstrategien und deren Umsetzung spezialisiert haben. Sie können Nutzer dabei unterstützen, die passenden Lösungen zu finden. Mindestens wichtig ist ein weiterer Faktor: Externe Fachleute sollten im Vorfeld zusammen mit dem Interessenten prüfen, ob überhaupt die Voraussetzungen für den Einsatz eines Data Mesh gegeben sind. 
Denn es ist nicht zielführend, das „Pferd von hinten aufzuzäumen“, also ein Data Mesh in Angriff zu nehmen, wenn die Grundlagen dafür fehlen. Dazu zählen eine Datenstrategie, ein Data Management und Data Fabrics, über die sich Informationsbestände dort bereitstellen lassen, wo sie verarbeitet werden. Ein unverstellter Blick darauf, welche Datenservices und Lösungen ein Unternehmen überhaupt benötigt, kann daher Fehlinvestitionen und Zeitverluste vermeiden.
Die folgende Übersicht enthält fast 50 Unternehmen, die Software und Dienstleistungen für den Aufbau eines Data Mesh anbieten.

Lösungen für den Aufbau von Data Meshs (Auswahl)

Anbieter

Lösung(en)

Details

Accenture www.accenture.com

Daten- und Analytics-Services, u. a. für Aufbau und Betrieb von Data Meshs

Kooperation bei Data Mesh u. a. mit Collibra; Kombination von Services in Bereichen wie Datentransformation, Anreicherung und Management von Daten mit Data & Analytics mit Cloud-Services, Machine Learning und Ki

AWS

https://aws.amazon.com/de

AWS Lake Formation; AWS Data Exchange; AWS Glue

Lake Formation für Aufbau von Data-Mesh-Mustern, inklusive Steuerung mithilfe von Tags; Data Exchange mit Importfunktion für Daten von Externen in Data Mesh; Glue als Tools für Freigabe, das Hosting und das Katalogisieren von Datenprodukten

Appian

https://appian.com

Appian Platform; Appian Data Fabric;

Data Fabric für Identifizieren von Datenbeständen, Integration und Absicherung der Daten sowie automatisierte Optimierung; Basis für Data Meshs

Areto

www.areto.de

Areto Framework; Beratung und Services im Bereich Datenplattformen, Cloud und Data Mesh

Unternehmen aus Köln; Unterstützung im strategischen und organisatorischen Umfeld von zentralen und dezentralen Datenplattformen; Areto Framework als Basis für Umsetzung von Projekten im Bereich Data Mesh und Datenplattformen

Capgemini

www.capgemini.com

Portfolio von Dienstleistungen für Transformation von Unternehmen zu Data-Driven Enterprises

u. a. Mobilisierung von Daten; Analytics-Lösungen; Implementierung von KI und Machine Learning; "Demokratisierung" von Daten; Modernisierung der Bereitstellung und des Managements von Daten; Monitoring, Governance etc.

Cloudera

www.cloudera.com

Cloudera Data Platform

Hybride Datenplattform und Datenstruktur; Unterstützung von Data Fabrics, Data Warehouses, Lakehouses und Data Meshs; auch in Hybrid- und Multi-Cloud-Umgebungen einsetzbar; umfassende Security- und Governance-Funktionen; Optimierung der Datenqualität, bezogen auf geschäftlichen Kontext

Collibra

www.collibra.com

Collibra Data Intelligence Cloud

Cloud-Plattform für Erstellen und Pflege von Enterprise Data Cataloges; Kooperation mit IT- und Cloud-Unternehmen wie Accenture und Google; Basis: aktive Metadaten von Datenquellen unterschiedlicher Art und Herkunft; Datenmarktplatz; Data-Lineage-Funktion für automatisches Mapping von Datenflüssen; automatisches Monitoring von Regelwerken, Daten-Pipelines, der Datenqualität und Governance-Aspekten

Confluent

www.confluent.io

Confluent Cloud; Confluent Platform;

Data-Streaming-Plattform auf Basis von Apache Kafka und Apache Flink; optional als Managed Service verfügbar; als Cloud-Services und On-Premises-Angebot verfügbar; für Implementierung von Echtzeit-Data-Pipelines, auch in Verbindung mit Data Meshs; Anbindung von Data Warehouses und Datenbanken

Databricks

www.databricks.com

Databricks Lakehouse Platform

Kombination von Data-Lake- und Data-Warehouse-Funktionen und Möglichkeit, Data Meshs einzurichten; Domain-basiertes Design; zentraler Katalog für Daten und KI-Funktionen; sicheres Sharing von Datenprodukten zwischen Domains; Tools für Data Lineage (Lifecycle-Management) und Einrichtung von Daten-Pipelines nach Selbstbedienungsprinzip

Dataiku

www.dataiku.com/de/

Dataiku Platform

Positionierung als Komplettlösung für Data Science, Machine Learning und Ki; Aufbereitung von Daten für Analysen und Machine-Learning-Projekte; Konnektoren für Datenquellen wie Datenbanken und Cloud-Storage; Datenvisualisierung; DataOps-Funktionen; Basis für Data Meshs

DataOps.live

www.dataops.live

DataOps.live Platform

SaaS-Cloud-Plattform für Management von Snowflake-Umgebungen; Funktionen für Orchestrierung, automatisierte Tests, Observability, Code-Management sowie Continuous Integration / Continuous Delivery

Data Virtuality

https://datavirtuality.com

Data Virtuality Platform

Als Cloud-service oder On-Premises-Version verfügbar; Plattform für Datenvirtualisierung; Funktionen u. a. ETL/ELT, Daten-Streaming, CDC (Change Data Capture); für agiles Management von Daten und Sicherstellung der Data Compliance

Denodo

www.denodo.com/de

Denodo Platform

Schwerpunkt auf Datenvirtualisierung; Basis: Datenmanagementplattform; Integration von Daten und Meta-Daten aus unterschiedlichen Quellen, inklusive Hybrid- und Multi-Cloud-Umgebungen; zentrales Datenmanagement; Data-Governance-Funktionen

Estuary

https://estuary.dev

Estuary Flow

Anbieter von Data-Mesh-Tools, speziell im Bereich Echtzeit-DataOps; Aufbau skalierbarer Data Pipelines auf Basis von Data Streaming; Konnektoren für Vielzahl von Datenbanken, Data Warehouses, Filestores, SaaS-Anwendungen

Finbridge

www.finbridge.de

Beratungsdienste im Bereich Daten, Data Science, Machine Learning

Sitz in Bad Homburg; Schwerpunkt auf Finanzservices; Analyse, Beratung, Erstellen von Proof of Concept, Implementierung von datenbasierten Ansätzen, inklusive Data Meshs

Five1 GmbH

www.five1.de

Services für Aufbau und Umsetzung von Datenstrategien

IT-Haus aus Walldorf mit Schwerpunkt auf Data Science, Datenstrategien, Analytics und Cloud Engineering; Beratung und Implementierung von Datenlösungen und Datenkatalogen, inklusive Data Meshs; Kooperation mit AWS, SAP und Databricks

Google

https://cloud.google.com

Google Data Cloud; Google BigQuery; 

Tools für ; Referenzimplementierung eines Data Mesh auf Google Cloud über Github verfügbar; Google BigQuery als zentraler Speicherort von Analytics-Daten; Zugang zu Infrastrukturservices wie Storage und Computer

HPE

www.hpe.com/de

HPE Ezmeral Data Fabric Software

Datenplattform als Managed Service; Data Fabric mit Containern auf Grundlage von Kubernetes; Datensynchronisierung über mehrere Fabrics hinweg; Kombination von Dateien, Objekten, Tabellen und Streaming-Daten in einer einheitlichen Datenebene; Basis für Data Meshs

IBM

www.ibm.com/de-de

IBM Cloud Pak for Data

Implementierung von Data Meshs mit IBM Data Fabric on Cloud Pak for Data; Data Fabric als zentrale Lösung für Erstellen und Nutzung von Datenprodukten sowie die  Zugriffssteuerung; Unterstützung von Data Lake in Firmenrechenzentren sowie von Cloud Data Warehouses

Immuta

www.immuta.com

Immuta  Data Security Platform

Plugin für führende Public-Cloud-Plattformen, Datensicherheits- und Compliance-Tools, Datenkataloge und Business-Intelligence-Software; Einsatzfeld: Absicherung von Daten

Informatica

www.informatica.com/de

Intelligent Data Management Cloud

Schwerpunkt auf cloudbasiertem Datenmanagement, inklusive KI-Funktionen; für Aufbau von Data Meshs; mit API- und App-Integration, Datenkatalogen, Datenintegration und Oberservability- und Governance-Funktionen; Zugang zu Datenmarktplatz

Inovex

www.inovex.de

Beratung und Services für Aufbau von Data Meshs

Analyse bestehender Datenplattformen, der Datenbestände, der Geschäftsanforderungen etc.; Erarbeitung von Data-Mesh-Konzepten und Implementierung entsprechender Lösungen; inklusive Change-Management

Intersystems

www.intersystems.com/de

Smart Data Fabrics; Intersystems Iris

Einrichten von Enterprise Data Fabrics; mit Integration von Datenexploration, Business Intelligence, Verarbeitung natürlicher Sprache und Machine Learning; IRS als Datenplattform mit "Cloud-First"-Ansatz, Datenbankmanagement, Analysefunktionen und KI

K2View

www.k2view.com

K2View Data Product Platform

Plattform für das Erstellen, Managen und Bereitstellen von Datenprodukten; Basis: Mikrodatenbanken (Micro-DB), vergleichbar mit Miniatur-Data-Lakes; Einbindung von Daten aus unterschiedlichen Quellen in Micro-DBs

Metaplane

www.metaplane.dev

Metaplane Platform

Plattform für Data Observability im Zusammenspiel mit Daten-Stacks; Tools für Monitoring und Fehlerbehebung, um Sicherheit und Qualität von Daten zu erhöhen; Basis für Erstellen von Datenprodukten

Microsoft

https://azure.microsoft.com/de-de

u. a. Azure Data Lake Storage Gen2, Data Factory, Data Catalog, Synapse Analytics

Cloud-Services für Implementierung und Betrieb von Data Meshs; Data Factory für Datenintegration und Data Pipelines; Data Catalog für Metadaten; Data Lake Storage als Speicherlösung für Rohdaten

MongoDB

www.mongodb.com/de-de

MongoDB; Mach-Ansatz

MACH (Microservices, API-First, Cloud-Native SaaS, Headless) als Framework für gemeinsame Nutzung von Daten in Unternehmen und Verknüpfung von Systemen; Vorlage für Aufbau eines Data Mesh; MongoDB für Bereitstellung der Datenarchitektur und Datenmodelle

Monte Carlo

www.montecarlodata.com

Monte Carlo Platform

Schwerpunkt Data Observability; ein Einsatzfeld Aufbau von Data Meshs; Inklusive Einrichten von Domänen, Aufspüren von Fehlern und Anomalien sowie Einrichten von Service-Level-Zielen und -Indikatoren

NetApp

www.netapp.com/de/

u. a. Cloud Volumes Ontap; Ontap Data Management; Keystone; BlueX Classification; NetApp Data Fabric;

Ontap Data Management für übergreifendes Datenmanagement (Cloud, On-Premises, Hybrid-Cloud); Keystone als Storage-as-a-Service-Angebot für Speichern und Bereitstellen von Daten, auch in Meshs; Cloud Volumes Ontap als cloudbasierte Datenmanagement-Lösung; BlueX Classification für Klassifizierung und Analyse von Daten unter Aspekten Sicherheit, Governance etc.; NetApp Data Fabric für zentrales Datenmanagement

Nextdata

www.nextdata.com

Nextdata OS

Toolset für Aufbau und Betrieb von Data Meshs; Container und APIs für Datenprodukte; dynamische Suche nach Datenprodukten; in Code integrierte Governance-Regeln für Lifecycle-Management von Containern; bislang vor allem auf größere Unternehmen ausgerichtet, etwa aus Finanz- und Telekommunikationsbranche

OneData

onedata.de

Data Product Builder

Deutsches Unternehmen; automatische Aufbereitung, Klassifizierung und Suche von Daten mit KI; systemübergreifende Verknüpfung von Daten; Qualitätschecks in Echtzeit; Erstellen von Datenprodukten für Marktplätze und Systeme von Drittanbietern

Oracle

www.oracle.com/de/

u. a. Oracle Goldengate; OCI Data Catalog; Oracle Stream Analytics; Oracle Analytics Cloud; 

Goldengate-Microservices für Datensynchronisierung; Erstellen von Datenprodukten mit Data Catalog und Cloud-Datenplattform von Oracle for Data Lakehouses; Stream Analytics für Verknüpfung und Aufbereitung von Daten; Analytics Cloud für KI-basierte Analysen

Oryalis

www.oraylis.de

Beratung mit Schwerpunkt auf Daten und Data-Driven Enterprise

IT-Haus aus Meerbusch; Fokussierung auf Analyse, Beratung, Implementierung und Betrieb von datenbasierten Lösungen; Erfassung, Aufbereitung, Visualisierung von Daten; Erstellen von Datenstrategien; Unterstützung bei Einsatz von KI, Machine Learning, IoT, Business Intelligence

Qlik - Talend

www.talend.com/de/

Talend Data Catalog; Qlik Cloud Data Integration; Talend Data Fabric

Erstellen eines zentralen Datenkatalogs, inklusive Sicherheits- und Managementfunktionen für Daten und Data Pipelines; Compliance- und Data-Governance; automatisierte Aktualisierung von Daten; Aufbau von Echtzeitdaten-Strukturen mit Qlik Cloud Data Integration; inklusive automatisierten Datenbewegungen und Transformationen

Precisely

www.precisely.com

Data integrity Suite

Anbieter aus den USA; Suite mit sieben Services für Aufbau eines konsistenten, hochwertigen und vertrauenswürdigen Datenbestands; Überprüfung auf Risiken und Compliance; Funktionen u. a. Integration, Observability, Governance, Anreicherung von Daten

Pure Storage

www.purestorage.com/de/

Flash-Speichersysteme; Software und Plattformen für Datenservices; Portworx

Storage-Basis für Data Meshs; Portworx als Kubernetes-Plattform für Bereitstellung von Datenservices, etwa Datenmigration und cloudübergreifenden Datenzugriff; AIOps-Funktionen

Red Hat

www.redhat.com/de

u. a. Openshift Data Foundation, AMQ Streams, Ansible Automation Platform, Openshift Datascience;

Grundlagen für Aufbau von Data Meshs; Openshift Data Foundation als verteilte Datenplattform; AMQ Streams für Daten-Streaming; Ansible mit Schwerpunkt auf Verarbeitung und Analyse großer Datenbestände; Openshift Data Science  als Managed Cloudservices für Datenwissenschaftlicher und Anwendungsentwickler; zentrale Integration und Verwaltung von Daten mit Talend Data Fabric

Reply - Data Reply

www.reply.com/data-reply/de/

Services für Aufbau und Umsetzung von Datenstrategien und Data Meshs

Zusammenarbeit mit Cloud-Serviceprovidern wie AWS, Google, Microsoft; Fokus auf Services in Bereichen wie Data Engineering Data Science und Analytics; Umsetzung von Data-Mesh-Projekten, inklusive Beratung, Entwicklung von Lösungsdesigns und Implementierung von Data-Mesh-Plattformen

Salesforce

www.salesforce.com/de/

u. a. Salesforce Mulesoft; Data Fabric, Data Lakes; Einstein; Data Cloud

Date Lakes, Warehouses und Data Marts für Speichern von Daten; Mulesoft als Plattform für Integration von Datenquellen; Data Fabric für Datenmanagement und Verknüpfung von Informationen; Salesforce Einstein als KI- und Machine-Learning-Service für Analysen

SAP

www.sap.com/germany

SAP Data Hub; SAP Data Intelligence; Data Marketplace

Data Hub für Aufbau von Daten-Pipelines; Nutzung von ERP-Systemen, Data Lakes und Data Warehouses; Data Intelligence für Verarbeitung verteilter Daten; Schwerunkt: Datenmanagement; Unterstützung von Data Fabrics; Datenorchestrierung der SAP Business Technology Platform; Data Marketplace für Kauf von Datenprodukten

Snowflake

www.snowflake.com/de/

Snowflake Data Cloud

Umfassendes Portfolio von Services für Aufbau und Betrieb von Meshs; Self-Service-Infrastruktur für Domänen-Teams, die Datenprodukte erstellen wollen; Metadatenschicht für vereinfachtes Teilen von Datenprodukten; Collaboration- und Data-Sharing-Funktionen; automatisiertes Datenmanagement; Date Lineage für Monitoring von Datenbewegungen

Stackable

https://stackable.tech/de/

Stackable Data Platform

Deutsches Unternehmen; Plattform seit Ende Juli 2023 verfügbar; Datenplattform auf Basis von Open-Source-Software, etwa Apache Kafka und Spark, Trino, Apache Druid; Basis: Kubernetes; für Aufbau von Datenarchitekturen; Support von Data Warehouses, Data Lakes, Event Streaming, Data Meshs; mit KI- und Machine-Learning-Funktionen; Service-Provider Ionos hat sich an Stackable beteiligt

Starburst

www.starburst.io/

Starburst Galaxy; Starburst Enterprise

 Galaxy ist gemanagte Plattform für Verwaltung und gemeinsame Nutzung von Daten in Cloud-Data-Lakes; inklusive Erfassen, Modellieren, Transformieren und Analysieren von Daten; Enterprise-Version für Betrieb durch Nutzer; technische Basis: Open-Source-Software Trino

Streamsets

https://streamsets.com

Streamsets Platform

Haupteinsatzfeld Datenintegration über mehrere Cloud-Plattformen hinweg; Unterstützung von AWS, Google Cloud Platform, Microsoft Azure; Synchronisierung von Daten mit Plattformen von Databricks, Cloudera und Snowflake; Control Hub für Erstellen und Managen von Data Pipelines

Teradata

www.teradata.de/

Teradata Platform

Data Fabric; Analysefunktionen auf Basis von KI und Machine Learning; ModelOps-Funktion; für Cloud- und hausinterne IT-Umgebungen; Kooperation mit AWS, Microsoft (Azure) und Google (Google Cloud Platform)

Thoughtworks www.thoughtworks.com/de-de

Services rund um Entwicklung und Implementierung von Datenarchitekturen und Data Meshs;

US-Unternehmen; Kooperation mit Cloud-Serviceprovidern wie AWS, Microsoft und Google; Unterstützung bei Umsetzung von Strategien in Bereichen wie Data Governance, Datenstrategie und Data Mesh; Entwicklung und Implementierung von Datenplattformen

Upsolver

www.upsolver.com

Upsolver Cloud Data Ingestion Platform

Aufnahme von Informationen aus Datenbanken, Streams wie Kafka und Dateien; Ziele: Data Warehouses, Lake Query Engins wie Dremio, Starburst, Athena; Funktionen für Observability und Sicherstellung der Datenzuverlässigkeit; Konfiguration mit No-Code-Tool; Unterstützung von AWS-Cloud-Services wie Glue und EMR

Verwandte Themen