Illustration Absmeier foto freepik ki

Künstliche Intelligenz (KI) und maschinelles Lernen (ML) verändern Unternehmen in einem noch nie dagewesenen Tempo. Dennoch fällt es vielen Datenverantwortlichen schwer, ihren KI-gestützten Erkenntnissen zu vertrauen, da die Daten nicht ausreichend beobachtbar sind.

Tatsächlich vertrauen nur 59 % der Unternehmen ihren KI/ML-Modelleingaben und -ausgaben, wie die jüngste BARC Data Observability Studie »Observability for AI Innovation« zeigt: Beobachtungsfähigkeit für KI-Innovation [1].

Viele Datenverantwortliche setzen sich mit Vertrauen, Transparenz und Governance in KI-Datenpipelines auseinander. Die BARC-Umfrage unter 264 Daten- und KI-Stakeholdern zeigt, warum Unternehmen mit der Beobachtbarkeit von Daten kämpfen – und welche Möglichkeiten es gibt, diese Probleme zu lösen.

Beobachtbarkeit der Daten: Ein entscheidender Pfeiler für den KI-Erfolg

Bei der Datenbeobachtung geht es nicht nur um die Überwachung von Systemen, sondern auch darum, sicherzustellen, dass Datenqualität, Datenpipelines und KI/ML-Modelle genaue und zuverlässige Erkenntnisse liefern. Die Umfrage ergab Folgendes:

76 % der Unternehmen haben formale Beobachtungsprogramme für Datenqualität und -pipelines eingeführt.
Weniger Unternehmen (obwohl deren Zahl insgesamt zunimmt) haben sich mit der Beobachtbarkeit von KI/ML-Modellen befasst, was zu Vertrauensproblemen bei KI-generierten Erkenntnissen führt.
Die Einführung generativer KI (GenAI) wird beschleunigt und erfordert neue Beobachtungsansätze für unstrukturierte Daten, Vektordatenbanken und KI-generierte Inhalte.

Damit KI effektiv sein kann, müssen Datenverantwortliche starke Beobachtungspraktiken einführen, die qualitativ hochwertige Eingaben und transparente, nachvollziehbare Ausgaben gewährleisten.

Die größten Herausforderungen von Unternehmen – und wie sie diese überwinden können

Trotz der zunehmenden Akzeptanz bleibt die Beobachtbarkeit von Daten eines der größten Hindernisse auf dem Weg zur KI-Reife. Die Umfrage zeigt vier zentrale Herausforderungen auf, die Datenverantwortliche bewältigen müssen:

1️. Die Qualifikationslücke: fehlendes Fachwissen über die Beobachtbarkeit von KI-Daten

Das größte Hindernis für die Beobachtbarkeit ist der Mangel an geschulten Fachleuten, die wissen, wie man KI-Datenpipelines und Modellleistung überwacht.
Viele Unternehmen verlassen sich auf manuelle Prozesse, weil es an Automatisierungsfähigkeiten mangelt.

So kann das Problem gelöst werden:

Weiterbildung der Datenteams mit KI-spezifischen Beobachtbarkeitsschulungen.
Investition in Tools, die Beobachtungsprozesse automatisieren und somit die Abhängigkeit von manueller Überwachung verringern.
Einsatz von KI-gestützten Beobachtungsassistenten, um die Effizienz zu steigern.

Probleme mit dem Vertrauen in KI-Daten: Können Sie Ihren KI/ML-Modellen vertrauen?

Nur 59 % der Unternehmen vertrauen ihren KI-generierten Ergebnissen – ein großes Problem für die Entscheidungsfindung.
Datendrift, Modellverzerrungen und unstrukturierte Datenqualität bleiben in vielen KI-Beobachtungsprogrammen unbehandelt.

So kann das Problem gelöst werden:

Implementierung einer Echtzeitüberwachung für KI/ML-Pipelines, um Drift, Verzerrungen und Anomalien zu erkennen, bevor sie sich auf Entscheidungen auswirken.
Priorisierung der Beobachtung unstrukturierter Daten – mehr als 60 % der Unternehmen erkennen inzwischen deren Bedeutung für den KI-Erfolg an.
Stärkung des Governance-Rahmens, um sicherzustellen, dass KI-Modelle mit voller Transparenz und Verantwortlichkeit arbeiten.

Tooling-Lücken: Verlassen auf Legacy-Lösungen statt auf KI-fokussierte Beobachtungstools

Die meisten Unternehmen verlassen sich bei der Beobachtbarkeit immer noch auf herkömmliche BI-, Data-Warehouse- und Datenintegrationstools.
Nur 8 % nutzen dedizierte Beobachtungsplattformen, was die Automatisierung und Skalierbarkeit einschränkt.

So kann das Problem gelöst werden:

Nutzung spezieller KI-Beobachtungsplattformen, die Folgendes bieten:

Automatisierte Erkennung von Anomalien
KI-Modell-Drift-Überwachung
Beobachtbarkeit über den gesamten Lebenszyklus für strukturierte und unstrukturierte Daten

Vermeidung von Patchwork-Lösungen – Integration der Beobachtbarkeit direkt in die KI-Governance-Strategie.

4️. Reifegrad der KI-Beobachtbarkeit: Nordamerika führt, Europa hinkt hinterher

88 % der nordamerikanischen Unternehmen haben formalisierte Beobachtungsprogramme, in Europa sind es nur 47 %.
Nordamerikanische Unternehmen räumen auch der Einhaltung von Vorschriften und der Modellgenauigkeit mehr Priorität ein als ihre europäischen Kollegen.

So kann das Problem gelöst werden:

Messung des Reifegrads der Beobachtungsfähigkeit: Wo befindet sich das Unternehmen im Spektrum?
Konzentration darauf, Lücken in der KI-Governance zu schließen, um sich an die Best Practices anzupassen.
Festlegung klarer KPIs für den Erfolg der Beobachtbarkeit, einschließlich Modellgenauigkeit, Datenintegrität und Einhaltung von Compliance-Vorgaben.

Der Aufstieg von GenAI: Wie sich die Beobachtungsfähigkeit weiterentwickeln muss

Mit der zunehmenden Verbreitung von GenAI in Unternehmen kommen neue Anforderungen ins Spiel, die einen modernisierten Ansatz für die Beobachtbarkeit erfordern.

Bei der Beobachtbarkeit von KI geht es nicht mehr nur um strukturierte Daten – moderne KI-Modelle erfordern eine Beobachtbarkeit über alle Datentypen hinweg, einschließlich unstrukturierter Daten (Dokumente, Bilder, Video, Audio), Vektordatenbanken für GenAI-Anwendungen sowie KI-generierte Inhaltsverwaltung.

Mittlerweile erkennen bereits 40 % der Unternehmen, dass die Beobachtbarkeit von GenAI eine Priorität ist – gehört Ihr Unternehmen dazu?

Wenn ja, gibt es einige wesentliche Best Practices, die Ihr Unternehmen in die Tat umsetzen muss:

Fördern des KI-Vertrauens durch Transparenz: Verbesserung der Zusammenarbeit zwischen Datenwissenschaftlern, Ingenieuren und Geschäftsführern.
Sicherstellen der Governance von KI-Modellen: Verfolgen der Datenherkunft und -genauigkeit von der Eingabe bis zur Ausgabe.
Erweiterung der Beobachtbarkeit über strukturierte Daten hinaus: Überwachung von Dokumenten, Streaming-Daten und Vektoreinbettungen.

Die Zukunft der KI-Beobachtbarkeit

Die BARC-Umfrage macht eines deutlich: Unternehmen, die heute in die Beobachtbarkeit von KI-Daten investieren, werden in Zukunft vertrauenswürdigere, skalierbarere und erfolgreichere KI-Systeme aufbauen.

Das bedeutet, dass Datenverantwortliche, die sich proaktiv mit den Herausforderungen der Beobachtbarkeit auseinandersetzen – insbesondere im Hinblick auf die Beobachtbarkeit von KI – ihre Unternehmen langfristig von der Konkurrenz abheben werden. Jetzt ist es an der Zeit für Unternehmen, ihre Beobachtungsstrategie zu verbessern und sicherzustellen, dass ihre KI-Modelle einen echten Geschäftswert liefern.

Ute Gregorius, Data Integrity Expertin bei Precisely

[1] https://www.precisely.com/resource-center/analystreports/barc-research-study-observability-for-ai-innovation?utm_source=Referral&utm_medium=Press-Release

293 Artikel zu „KI Observability“

News | Digitalisierung | Effizienz | Favoriten der Redaktion | IT-Security | Künstliche Intelligenz | Services | Strategien

Observability, Application Security und KI: Tiefe KI-gestützte Echtzeit-Einblicke für Entwicklungsprozesse

10. Mai 2024

Optimierung von DevOps und Platform Engineering durch Observability, Application Security und KI. Bei der Bereitstellung von Cloud-nativen Technologien und Software spielen die Disziplinen DevOps und Platform Engineering eine entscheidende Rolle. Um Zuverlässigkeit, Sicherheit und Effizienz in den Prozessen zu gewährleisten, ist es wichtig, weitere technologische Investitionen zu tätigen. Eine dieser Schlüsseltechnologien ist Observability. …