Scale-out mit Data Lake und Object Storage

Bei Ausbaumaßnahmen in der Business-IT setzten Unternehmen lange auf ein Konzept der vertikalen Ausdehnung der IT-Infrastruktur, Scale-up genannt. Dabei werden so lange weitere Prozessoren, Memory-Komponenten oder Festplatten hinzugefügt, bis es sich nicht mehr vermeiden lässt, ein neues Gerät mit besserer Ausstattung anzuschaffen.

Seit Kurzem sind dank neuer Technologien Scale-out-Lösungen mit einem horizontalen Ausbau der Gerätelandschaft im Kommen. Dabei kauft man etwa statt einzelner Komponenten weitere günstige x86-Standard-Server – nach dem Vorbild der riesigen Rechenzentren von Google, Facebook & Co.

Im Speicherbereich hat sich zum Beispiel NetApp mit seinen NAS-Systemen für Scale-out eingesetzt: Dabei konnten neue Nodes zu einer geclusterten NAS-Architektur mit einem gemeinsamen File-System hinzugefügt werden, falls das aus Performance- oder Kapazitätsgründen notwendig wurde. Der Cluster funktioniert bei dieser Lösung wie ein einziges, zentral verwaltetes NAS-Gerät.

Allerdings stieß die NetApp-Technologie an Skalierungsgrenzen, sodass Konkurrenten wie Isilon mit dem Versprechen eines nahtlosen Scaling-outs fast ohne Obergrenzen Marktanteile auf dem NAS-Feld erobern konnten. Im November stellte EMC, zu dem Isilon inzwischen gehört, eine Lösung vor, die neue Skalierungsdimensionen eröffnen soll: Sie dehnt den Data Lake bis hin zu Zweigstellen und in die Cloud aus und ermöglicht es, unstrukturierte Daten in Public „CloudPools“ zu erfassen und zu verschieben.

Eine weitere Technik, die beim Scale-out eine zunehmende Rolle spielt, heißt Object Storage. Diese Speicherform eignet sich besonders, um Daten verschiedener Quellen wie Block- oder File-Systemen in einem gemeinsamen Geräte-Pool zu speichern. Ein schnelles Scaling-out ermöglichen Object-Storage-Lösungen auch deshalb, weil sie Faktoren wie ausreichende CPU-Performance und Hardware-Unabhängigkeit berücksichtigen. Zudem unterstützen mathematische Berechnungen, darunter komplizierteste Algorithmen wie Erasure Coding, die Speicherprozesse.

Zu den Newcomern, die mit Object-Storage-Technik den Unternehmen beim Wachsen ihrer Infrastruktur helfen wollen, zählt das Start-up mit dem bezeichnenden Namen Sca­lity. Es verbindet skalierbaren Object Storage mit großen he­terogenen Speicherumgebungen. Eine softwaredefinierte Ring-Architektur führt dabei Speicherdaten aus verschiedenen Quellen zusammen. Wie vielversprechend diese Innovation ist, sieht man schon daran, dass IBM soeben mit Cleversafe den einzigen Object-Storage-Anbieter gekauft hat, der Scality nennenswert Konkurrenz macht.

Auch das französisch-amerikanische Unternehmen Rozo Systems fordert die etablierten Scaling-out-Anbieter mit einer Object-Storage-Lösung heraus. Es setzt auf einen schnell skalierbaren NAS-Speicher auf Basis eines mathematischen Grid-Konzepts und Erasure Coding. Das soll die Scale-out-Kosten radikal senken, die normalerweise mit verteilten Speichersystemen für große Datenmengen verbunden sind.