Unternehmen und Behörden müssen heute in der Lage sein, Daten aus verschiedenen Quellen schnell zu durchsuchen, zu korrelieren und zusammen zu analysieren. Aber wie gelingt das am besten? Lösen lässt sich die Herausforderung mit Data Mesh: einer intelligenten Architektur, die Daten dezentral verwaltet, aber global verfügbar macht – mit einheitlichen Datenschutz- und Sicherheitsrichtlinien. Was unterscheidet Data Mesh von Data Lake und Data Fabric und welche Vorteile bringt die moderne Dateninfrastruktur im Zeitalter von KI?

Die Fähigkeit, jederzeit nahezu in Echtzeit auf relevante Informationen zugreifen zu können, wird für Organisationen der Öffentlichen Hand und Unternehmen der Privatwirtschaft gleichermaßen immer wichtiger. Nicht nur schaffen Daten die Grundlage für erfolgreiche Entscheidungen und neue Geschäftsmodelle. Sie bilden auch den Kern innovativer Technologien wie IoT oder KI. Doch in der Praxis stehen Organisationen vor zahlreichen Herausforderungen. Denn Daten sind heute meist auf viele verschiedene Systeme und Infrastrukturen verteilt und liegen in vielen verschiedenen Formaten vor. Erschwerend kommt hinzu, dass jedes der Repositories unterschiedliche Methoden bietet, um Informationen abzurufen und zu speichern. Dadurch entstehen Silos, die eine übergreifende Auswertung der Daten behindern. Ohne die Möglichkeit, Daten zu korrelieren, riskieren Unternehmen Lücken und Ungenauigkeiten in den Analysen.

Gängige Ansätze, um Silos aufzubrechen, wie ein Data Lake oder Data Fabric führen nicht weit genug. Ein Data Lake hat den Nachteil, dass Daten kopiert und zentral gespeichert werden müssen, was angesichts des exponentiell wachsenden Datenvolumens enorme Ressourcen kostet. In einer Data-Fabric-Architektur verbleiben die Daten zwar an ihrem Ursprungsort und werden über ein intelligentes Datennetzwerk miteinander verbunden. Allerdings liefert die Data Fabric lediglich Rohdaten, die erst noch für die Nutzung aufbereitet werden müssen. Das kostet Zeit und ist nicht agil genug. Ein neuer Ansatz, der noch einen Schritt weiter geht, ist Data Mesh: In dieser Architektur werden Daten dezentral gehalten und verwaltet, aber trotzdem übergreifend durchsuchbar und analysierbar gemacht. Dabei stellt das Data Mesh die Daten als Produkt bereit, das sofort von anderen Diensten und Geschäftsprozessen genutzt werden kann. In der Praxis bringt dieser Ansatz viele Vorteile.

1. Schnell auf verteilte Daten zugreifen
Ein Data Mesh fungiert wie eine zentrale Datenplattform, ohne dass Daten kopiert oder verschoben werden müssen. Informationen bleiben an ihrem Entstehungsort, werden dort indexiert, normalisiert und für alle angeschlossenen Punkte im Ökosystem verfügbar gemacht. So lassen sich Daten aus unterschiedlichen Quellen in unterschiedlichen Formaten mit minimaler Latenz korrelieren. Jeder Nutzer und jede Applikation, der/die berechtigt ist, kann jederzeit auf die Daten zugreifen, die er/sie benötigt – ganz gleich, ob diese Daten On-Premises, in der Cloud oder am Edge liegen. Mit einer einzigen Abfrage können Anwender Daten über verschiedene Cluster hinweg innerhalb von Sekunden durchsuchen und analysieren. Das ermöglicht eine abteilungsübergreifende Datennutzung und schnellere, fundierte Entscheidungsprozesse.

2. Daten flexibel für verschiedene Use Cases nutzen
In einem Data Mesh sind Anwender nicht auf einzelne Datenquellen oder Datenformate limitiert. Unternehmen müssen nicht mehr überlegen, wo sie welche Daten speichern, um sie für bestimmte Anwendungsfälle verfügbar zu machen. Sie müssen Daten auch nicht mehr duplizieren, damit mehrere Applikationen parallel darauf zugreifen können. Stattdessen stehen alle Arten von Daten für alle denkbaren Use Cases bereit. Dadurch, dass das Data Mesh die Daten standardisiert als sofort konsumierbares Produkt liefert, gewinnen Unternehmen maximale Flexibilität. Sie können Daten beliebig nutzen und perspektivisch sogar künftige Use Cases, an die heute noch keiner denkt, schnell umsetzen. Neue Daten oder Datenquellen werden über Sensoren erfasst und in Sekundenschnelle automatisiert zum Data Mesh hinzugefügt. So kann es flexibel skalieren.

3. Für hohe Datenqualität sorgen
Da die Daten in einem Data Mesh an ihrem Ursprungsort bleiben und nicht zentral gespeichert werden, liegt auch die Verantwortung und Kontrolle bei den jeweiligen Fachabteilungen. Es gibt kein zentrales Team, das alle Daten verwaltet. Vielmehr sorgt jede Domäne selbst für die Qualität, Konsistenz und Aktualität ihrer Datenprodukte. So ist garantiert, dass diejenigen die Verantwortung übernehmen, die die Daten am besten kennen. Davon profitieren am Ende alle Beteiligten: Jede Domäne stellt sicher, dass sie hochqualitative, verlässliche Informationen für die anderen bereitstellt.

4. Datenschutz & Sicherheit zentral umsetzen
Trotz der dezentralen Datenhaltung und Verwaltung können Unternehmen in einer Data-Mesh-Architektur auf übergeordneter Ebene einheitliche Sicherheits- und Datenschutzrichtlinien definieren. Das reduziert den Aufwand erheblich und vereinfacht die Einhaltung von Regularien wie DSGVO oder NIS2. Über rollenbasierte Zugriffskontrollen (RBAC) lässt sich genau festlegen, wer welche Daten sehen und wie nutzen darf. Diese Richtlinien werden unmittelbar global im Data Mesh umgesetzt. Sobald ein Nutzer eine Anfrage startet, werden seine Berechtigungen überprüft, unabhängig davon, mit welchem System er arbeitet. Er erhält nur die Ergebnisse, für die er autorisiert ist.

5. Die Geschäftskontinuität sichern
Geschäftskritische Daten müssen immer verfügbar sein und dürfen nicht verloren gehen. Auch dabei unterstützt ein Data-Mesh-Ansatz, indem er Daten von einem Cluster in einen anderen replizieren kann. Fällt einmal ein Server oder Knoten aus, springt automatisch eine identische Kopie ein, sodass der Betrieb ohne Unterbrechung weiterläuft. Außerdem können Unternehmen Daten gezielt näher an latenzkritischen Anwendungen speichern, um Zugriffszeiten zu verkürzen und die Performance zu verbessern.

Fazit. Im Vergleich zu Data Lake und Data Fabric bringt Data Mesh viele Vorteile: Die dezentrale Speicherung und Verwaltung spart Ressourcen und fördert eine hohe Datenqualität, die Umsetzung zentraler Datenschutz- und Security-Policies sorgt für Sicherheit und Compliance. Indem Daten aus verschiedenen Quellen und Formaten als sofort konsumierbares Produkt bereitgestellt werden, gewinnen staatliche Stellen und Unternehmen maximale Agilität und Flexibilität. So schaffen sie eine zukunftsfähige Dateninfrastruktur, die mit künftigen Anforderungen mitwächst und die ideale Grundlage für den Einsatz von KI-Anwendungen bietet. Denn insbesondere im Zeitalter von KI-Agenten gilt: Nur wer seine Daten domänenübergreifend auffindbar, vertrauenswürdig, zugriffsgesteuert und in Echtzeit konsumierbar bereitstellt, kann skalierbare, präzise und sichere KI-Workflows produktiv machen.

Martin Hacker,
Regional Vice President (Public Sector)
bei Elastic

Illustration: © Daffazamiira | Dreamstime.com

152 Artikel zu „Data Mesh“

News | Industrie 4.0 | Künstliche Intelligenz

Vier Prinzipien des intelligenten Data Mesh auf dem Weg hin zu Industrie 4.0

13. März 2024

Künstliche Intelligenz (KI) und maschinelles Lernen (ML) sind für Fabriken von erheblichem Nutzen. Es gibt jedoch nach wie vor Herausforderungen. Diese liegen normalerweise nicht in der Datenwissenschaft – denn der Code funktioniert in der Regel gut. Bei der Umsetzung von KI/ML-Projekten in großem Maßstab liegen die Herausforderungen vorwiegend in der Architektur und Datenverwaltung. Hersteller müssen…

Martin Hacker, Regional Vice President (Public Sector) bei Elastic

152 Artikel zu „Data Mesh“

Martin Hacker,
Regional Vice President (Public Sector)
bei Elastic