Um generative KI in das Datenmanagement zu integrieren und damit eine breite Nutzerbasis zu erreichen, ist die Weiterentwicklung der Lakehouse-Architektur durch die Implementierung der Data Intelligence Platform eine ideale Vorgehensweise.

Am 7. November 2024 lud Databricks, das Daten und KI-Unternehmen, zum zweiten Mal in die Eisbach Studios nach München und 1.500 Daten- und KI-Führungskräfte aus Deutschland folgten dem Ruf. Die Besucher erhielten Einblicke in wichtige Branchentrends und erfuhren, wie führende Kunden mit der Databricks Data Intelligence Platform geschäftliche Erfolge erzielen.

Neben der Keynote von Naveen Rao, VP of AI bei Databricks, und Kundenpräsentationen von Cariad, Fraport und Deichmann zählten unter anderem produktbezogene Vorträge zu den Highlights der Veranstaltung. Marco Metting, Director Field Engineering, und Horst Mundt, Manager Solution Architects bei Databricks, präsentierten zusammen einen umfassenden Leitfaden zu Mosaic AI. Sie zeigten auf, wie generative KI-Anwendungen auf Databricks in die Produktion gebracht werden können. Kevin Risch, Delivery Solutions Architect bei Databricks, führte in die Nutzung von Databricks SQL ein und stellte sowohl Live-Demos als auch neue Funktionen vor. Chi-Ju Wo, Senior Solutions Engineer bei Databricks, erläuterte in einer Live-Demo die Unity Catalog-Plattform als Lösung für Governance im Bereich Data und KI und stellte ebenfalls neue Features vor. Ellen Hoeven, Senior Specialist Solutions Engineer für ML und generative KI bei Databricks, gab eine Einführung in AI/BI Genie und teilte Best Practices mit dem Publikum. Karthik Subarrao, Specialist Solutions Architect bei Databricks, präsentierte Delta Lake UniForm, eine Lösung zur Vereinheitlichung von Tabellenformaten über Iceberg, Hudi und Delta Lake hinweg.

Anlässlich der Veranstaltung sprach »manage it« mit Roman Dölle, Regional Vice President Germany bei Databricks, über die aktuell größten Herausforderungen von Unternehmen beim Datenmanagement.

Was ist das Wichtigste, dass Unternehmen aktuell beim Thema Datenmanagement umtreibt?

Das Hauptthema für Unternehmen ist zur Zeit vor allem die Umstellung und Weiterentwicklung der Lakehouse Architektur durch die Implementierung der Data Intelligence Platform. Das bedeutet auch, die Integration von generativer KI (GenAI) in das Datenmanagement voranzutreiben, damit GenAI einer breiteren Nutzerbasis – in dem jeweiligen regulierten Umfeld – im Unternehmen zugänglich wird. Denn aktuell ist die GenAI-Adaption in vielen Unternehmen noch wenig gesteuert und kaum in die Prozesse eingebunden. Neben häufigem Wildwuchs, viel Eigeninitiative, Inspiration und verschiedenen Ideen rund um die Monetarisierung dieser Projekte existieren leider noch zu wenig Ansätze zum Servicing. Und genau hier setzt Databricks an: Wir greifen den Unternehmen unter die Arme und stellen mit unserer Data Intelligence Platform all den Diensten, die nun entwickelt wurden und entwickelt werden eine reguläre Plattform zur Verfügung.

Roman Dölle,
Regional Vice President Germany
bei Databricks

Wie muss ich mir das vorstellen?

Das Ganze lässt sich gut mit einer Gateway vergleichen, über die Dienste und Applikationen, die heute in Open-Source-Modellen laufen, morgen über die zentrale Plattform des Unternehmens gesteuert werden. Diese bleiben funktionell identisch erhalten, jedoch behält das Center of Excellence die Kontrolle über den Datenfluss im Unternehmen und ist damit in der Lage Governance, Privacy, Security und Zugangsberechtigungen sicherzustellen. Die Implementierung von GenAI darf dabei nicht dazu führen, dass Mitarbeitende und Externe Zugriff auf interne Daten bekommen, für die sie bis dahin keine Berechtigung hatten. Durch die Adaptierung der Data Intelligence Platform erhalten Unternehmen die Möglichkeit, diese Kon-trolle über ihre Daten zu behalten.

Lässt sich die Migration von AI Workloads auf die Plattform automatisieren?

Die Migration der AI Workloads aus den Open-Source-Modellen auf die Plattform muss einmalig manuell erfolgen. Dies ist aber aus unserer Erfahrung ein überschaubarer Aufwand. Unternehmen sprechen hier von etwa 200 oder 300 Applikationen, die sie kennen. Aus der Projekterfahrung heraus können wir sagen, dass es meist rund 500 Applikationen mehr sind, die die Unternehmen aktuell noch nicht im Blick haben. Der Aufwand, all diese Applikationen zu mi-grie-ren, ist also nicht allzu groß. Viel entscheidender für die interne IT ist es, klarzustellen, wo der Mehrwert für die Anwender liegt, künftig die Plattform der internen IT zu benutzen. Die Antwort ist eindeutig die Rechtssicherheit. Und die erreichen Unternehmen nur über Data Governance, Privacy, Security und einem Zugriffsberichtigungsmanagement. Angesichts der zunehmenden regulatorischen Anforderungen durch den EU AI ACT, NIS2 und andere Richtlinien stehen Unternehmen vor einer ähnlichen Herausforderung wie bei der Adaption von technischen Innovationen wie KI. Sie müssen auf beide reagieren und Schritt halten. Die IT muss letztlich beides zusammenführen und als Service anbieten und hier sehen wir aktuell viele Unternehmen, die diesen Schritt gehen.

Ist diese Einsicht auch schon bei den Vorständen -angekommen?

Wir sehen da durchaus einen Wandel und unterstützen CIOs dabei, Sponsorship für solche Projekte zu bekommen. Diese wünschen sich mehr Unterstützung und müssen große Erwartungen an Inspiration, Monetarisierung und Servicing erfüllen. Vor allem Letzteres wird erst jetzt von CIOs aktiv angegangen. Aus den Ergebnissen der Studie »Unlocking Enterprise AI: Opportunities and Strategies«, die wir in Zusammenarbeit mit Economist Impact entwickelt haben, lässt sich unter anderem ableiten, dass in Deutschland nur 41 Prozent der Führungskräfte glauben, dass ihre GenAI-Applikationen produktionsreif sind [1]. Grund dafür ist, dass die interne IT-Infrastruktur noch nicht für die Umsetzung bereit ist. Weltweit sind es sogar nur 37 Prozent. Global gesehen sind die Haupthindernisse für die bislang fehlende Implementierung die Kosten (41 %), ein Mangel an Fähigkeiten (40 %), Fragen hinsichtlich der Qualität (37 %) und die Data Governance (33 %).

In den Keynotes wurde viel von Cloud-Plattformen und der Migration sowie Nutzung von mehreren Umgebungen gesprochen, wie ist Databricks hier aufgestellt?

Wir sind Cloud-agnostisch, das heißt, wir arbeiten mit Unternehmen zusammen, die in diesem Jahr mehr denn je auf Multi-Cloud setzen. Ich sehe das als eine natürliche Entwicklung der Cloud Maturity dieser Unternehmen. Zunächst liegt der Fokus darauf, die Ressourcen auf einer Cloud-Umgebung einzusetzen. Erst wenn dies erfolgreich war, kann man diese auch für die nächste Cloud-Umgebung bereitstellen. Viele unserer Kunden sind inzwischen auf zwei Clouds unterwegs.

Bei vielen Großunternehmen sowie global agierenden Firmen wird auf SAP gesetzt. Wie hat sich Databricks hier aufgestellt und wie läuft die Zusammenarbeit?

Diese Unternehmen müssen ihre SAP-Daten nicht nur im Rahmen des Lakehouses für Machine Learning, sondern auch im Rahmen der Data Intelligence Platform für GenAI verfügbar machen. Databricks ist dafür bereits 2023 eine Kooperation mit SAP Datasphere eingegangen und baut diese kontinuierlich aus. Allerdings sind längst nicht alle Unternehmen auf SAP Datasphere. Unsere Kunden teilen sich in drei Cluster auf: Diejenigen die von SAP auf eine Data Intelligence Platform migrieren, solche, die eine Verbindung zu Databricks für Data Analytics aufbauen und schlussendlich diejenigen, die auf SAP Datasphere gehen. Letztere haben es aus meiner Sicht am einfachsten, aber wir arbeiten in allen drei Fällen mit Unternehmen zusammen und unterstützen sie.

Herr Dölle, wir danken Ihnen für das Gespräch.

[1] https://www.databricks.com/resources/analyst-research/unlocking-enterprise-ai-opportunities-and-strategies

Illustration: © A M | Dreamstime.com

408 Artikel zu „Data Intelligence Platform“

News | Produktmeldung

Databricks stellt Data Intelligence Platform vor

22. November 2023

Databricks hat die Data Intelligence Platform auf den Markt gebracht, eine Evolution der Lakehouse-Architektur. Diese Entwicklung ist das Ergebnis der Integration von MosaicML, der bislang größten Übernahme in der Unternehmensgeschichte für 1,3 Milliarden US-Dollar im Juni 2023. Der Einfluss von KI auf Datenplattformen ist fundamental. Daher wird die neue Generation von Systemen als Data Intelligence…