Illustration Absmeier foto freepik

»Distributed Asynchronous Object Storage« (DAOS), von Intel im Jahr 2012 von der kleinen Firma »Whamcloud« übernommen, hat eine wechselvolle Geschichte hinter sich, ohne bis heute zu einem eindeutigen Durchbruch am Speichermarkt für Unternehmen gekommen zu sein.

Doch was ist unter »Software-Defined Storage«(SDS) und DAOS genauer zu verstehen? Auf der Web-Seite des Speicherspezialisten »Datacore« finden sich dazu einige Anmerkungen. So heißt es zunächst: »Software-Defined Storage (SDS) ist eine Technologie für die Verwaltung von Datenspeichern, bei der die Funktionen, die für die Bereitstellung von Kapazität, den Schutz von Daten und die Kontrolle der Datenplatzierung verantwortlich sind, bewusst von der physischen Hardware, auf der die Daten gespeichert sind, abgetrennt werden.« SDS ermögliche es auf diese Weise, Speicher-Hardware einfach durch alternative Systeme zu ersetzen, aufzurüsten und zu erweitern, ohne dass dadurch bisher vertraute Betriebsabläufe umgestoßen werden müssen oder wertvolle Investitionen in bisherige Software verloren gehen.

Wenn man diese modernen SDS-Prinzipien mit hardware-gebundenen Designs vergleicht, die Speichervorgänge untrennbar an ein bestimmtes Gerät oder einen bestimmten Hersteller fest anbinden, wird man schnell feststellen, dass jedes Fabrikat und jedes Modell im Prinzip ähnliche Funktionen ausführen. Diese werden aber aus hersteller-spezifischen Motiven heraus so unterschiedlich organisiert und implementiert, dass sie schließlich untereinander nicht mehr kompatibel miteinander sind.

Diese inkompatiblen Prozesse führen dann dazu, dass letztlich kleinere Hardware-Aktualisierungen zu größeren Betriebsüberholungen ausgebaut werden müssen, die durch schmerzhafte Datenmigrationen verzögert werden und schließlich zu kostspieligen Speichersilos führen – zum Vorteil einiger weniger, privilegierter Hersteller.

In ihrer jeweiligen Ausgestaltung verbergen bestehende SDS-Lösungen proprietäre Hardware-Eigenheiten durch eine Schicht von Virtualisierungs-Software. Im Gegensatz zu Hypervisoren, die einen einzelnen Server als mehrere verschiedene virtuelle Maschinen erscheinen lassen, kombiniert SDS verschiedene Speichergeräte in zentral verwalteten Pools miteinander.

Der Umfang eines SDS-Produkts kann sich auf eine kleine Auswahl an Hardware und eine kurze Liste von Funktionen beschränken, insbesondere wenn sie von einem Hardware-Hersteller angeboten werden, der die Einsatzmöglichkeiten bewusst einschränkt. Flexiblere Alternativen von unabhängigen Software-Anbietern unterstützen dagegen eine Vielzahl von Hardware-Auswahlmöglichkeiten und mehrere verschiedene Datendienste.

Schöne neue, kompatible Welt – doch mit einigen Lücken

Das parallele Dateisystem von DAOS soll höhere IOPS (Input/output Operations Per Second) und mehr Bandbreite pro Server liefern als konkurrierende Systeme von Lustre oder WEKA, berichtet die DAOS Foundation. Sie wurde im November 2023 von Argonne National Lab, Enakta Labs, Google, HPE (zusammen mit Cray) und Intel gegründet, um das ursprüngliche parallele Dateisystem von Intel zu unterstützen und im Markt durchzusetzen. Im Jahr 2024 kam dann Vdura hinzu, um DAOS neben seinem PanFS-Dateisystem auf dem AI-Sektor einzusetzen. Das deutsche Leibniz Supercomputing Centre (LRZ) setzt ebenfalls DAOS ein. Vorausgegangen war dieser Entwicklung allerdings, dass Intel ein Jahr vorher im Sommer 2022 sein Optane-Projekt auf der Basis von Storage-Class Memory überraschend einstellte.

Ziel der DAOS Foundation ist es, den Ansatz von DAOS weiter als Open-Source-Projekt zu entwickeln, ohne in die Abhängigkeit von einzelnen Herstellern zu geraten. Seit dem Optane-Desaster ist man vor allem bemüht, das verlorene Vertrauen vieler Anwender neu aufzubauen. Grundsätzliches Ziel ist es, eine Bibliothek von DAOS-Arbeitsprozessen und -Instanzen (hauptsächlich einer Control Plane und einer Engine) mit den Speichergeräten über einen RDMA-Link zu verbinden. Das gilt für verschiedene Schnittstellen auf Basis von File, Block und Object.

DAOS funktioniert auf Basis von mehreren Kunden nebeneinander (»multi-tenant«), wobei die Kunden selbst unterschiedliche Datensätze verwenden können. Die einzelnen Datensätze unterscheiden sich je nach Kapazität, Durchsatz, IOPS-Anteilen und weiteren Eigenschaften – zum Beispiel Kriterien wie Posix-Compliance oder Python-Ebenen.

Die Architektur von DAOS gewann bereits mehrere Preise bei internationalen Computing-Wettbewerben, darunter gegen Systeme von HPE Cray und DDN. DAOS in der Version 2.6 war die letzte auf Intel-Basis, während die neue Version DAOS 2.8 das erste veröffentlichte Community-Projekt sein soll. Geplant ist, sie noch im Laufe diesen Jahres zu veröffentlichen.

Im Jahr 2024 erfolgte bereits die Integration mit der Linux Foundation, was insbesondere Kooperation und Support weiter verbessern soll. Ein weiterer Fokus liegt auf dem Ausbau der Zusammenarbeit mit Google Cloud: Der »Cloud Parallelstore« soll Cloud-Projekte beschleunigen, wie Johann Lombardi, Vorsitzender des Technical Steering Committee (TSC) der DAOS Foundation und Mitarbeiter von HPE, auf der letzten Veranstaltung der »IT Press Tour« im April in London mitteilte.

In einem Artikel im Magazin »ix« findet sich eine treffende Zusammenfassung: »DAOS präsentiert sich als extrem performanter Storage-Stack mit hohem Durchsatz und geringer Latenz, der allerdings ein erhebliches Investment in Hardware erfordert. Der konsequente Einsatz von DPDK, SPDK und PMDK schafft eine pfeilschnelle Basis, die DAOS durch kluge Design-Entscheidungen wie das parallele Schreiben auf Clients sinnvoll aufgreift und nutzt. Mit DAOS steht aber auch ein Elefant im Raum: Intel hat 3D XPoint und Optane 2022 abgekündigt. Das entzieht DAOS eigentlich einen zentralen Baustein aus der Architektur. Allerdings hat das Projekt längst darauf reagiert: Dank diverser Änderungen in der Architektur unterstützt DAOS 2.6 durch das Ausweichen auf schnelle SSDs offiziell den Betrieb ohne Optane-PMem. Später soll es die Meta-Daten direkt im RAM statt in PMem ablegen können. Auf dem Abstellgleis landet DAOS also absehbar nicht.« (ix 10/2024, Seite 65)

Positiv werden folgende Eigenschaften von DAOS bewertet: »Hochperformant, moderne Objektspeicher-Architektur, auch als Block- und File-Storage nutzbar, integrierte Schnittstellen für Hadoop und Apache Spark, latenz-arm durch asynchrone Replikation, nutzt moderne Kernel-Techniken, vorrangig auf NVMe-Laufwerke optimiert.« Dem stehen gegenüber: »Komplexe Einrichtung, setzt teure Hardware voraus, noch nicht gut in Linux-Distributionen integriert.« (a.a.O.)

Ein vorläufiges Résumée der Fortschritte bei DAOS findet sich bei Chris Mellor vom britischen Storage-Spezialisten »Blocks and Files«: »DAOS hat mit seinem Aurora-Supercomputer einen äußerst glaubwürdigen Vorzeigeerfolg erzielt. DAOS ist eine quelloffene HPC-/Supercomputing-Software mit AI-Trainings- und Inferenz-Anstrengungen, die von Entwicklern angenommen werden muss, um weiter zu wachsen. Bestehende HPC-, Supercomputing- und AI-Anwender haben bereits andere Hochleistungssoftware wie zum Beispiel Storage Scale, Lustre, VAST Data, WEKA, BeeGFS oder ThinkParQ übernommen oder sie verwenden Hardware-/Software-Kombinationen wie HPE Cray und DDN. Sie werden DAOS wegen der Umstellungskosten eventuell nicht übernehmen, auch wenn es Open Source ist. Außer es gibt eindeutige Vorteile – wie zum Beispiel verbesserte Performance, niedrigere Kosten oder keinen Vendor Lock-in wie bei vielen anderen Ansätzen.« (https://blocksandfiles.com/2025/04/15/daos-post-optane-resurrection/ )

Hartmut Wiehr, freier Journalist

113 Artikel zu „SDS“

News | Infrastruktur | Ausgabe 11-12-2018

Maximale Leistung durch SDS – Immer höhere Akzeptanz von Software-defined Storage

7. Dezember 2018

Hochverfügbarkeit und Disaster Recovery stellen für viele Unternehmen nach wie vor die größten Herausforderungen in der IT-Infrastruktur dar. Hinzu kommt die Notwendigkeit, vorhandene und zukünftige IT-Hardware herstellerübergreifend nutzen zu können. Einen passenden Lösungsansatz liefert Software-defined Storage, mit dem sich ein Rechenzentrum der nächsten Generation umsetzen lässt. Eine aktuelle Studie von DataCore Software zeigt aktuelle Entwicklungen im Enterprise-Storage-Markt auf.