foto freepik

Warum KI‑Produktion kein Modell‑, sondern ein Betriebsproblem ist und was nötig ist, damit aus KI-Demos tatsächlich KI-Produktion wird.

Auf der kürzlich zu Ende gegangenen KubeCon EU 2026 hatte jeder große Anbieter etwas zum Thema KI auf Kubernetes anzukündigen. IBM, Red Hat und Google stellten »llm-d« zur Optimierung der verteilten Inferenz zur Verfügung. Microsoft brachte »AI Runway« für die Modellsuche auf den Markt. Cast AI veröffentlichte »Kimchi« für kostenbewusstes Routing. Die gesamte Konferenz drehte sich darum, KI auf Kubernetes schneller, kostengünstiger und intelligenter zu machen. Die implizite Annahme: Der schwierige Teil ist die Modellebene.

Sebastian Scheele, CEO und Mitbegründer von Kubermatic, sieht dies grundlegend anders. Seiner Meinung nach liegen die wahren Herausforderungen darunter:

»Die Verfügbarkeit von GPUs stabilisiert sich endlich. H100s und B200s sind nicht mehr der Engpass, der sie vor 18 Monaten waren. Die meisten Unternehmen, die heute Kubernetes betreiben, haben zwar Zugang zu Rechenleistung, können aber dennoch KI-Workloads nicht zuverlässig in die Produktion bringen. Dies ist nicht der Fall, weil ihnen Modelle oder GPUs fehlen, sondern weil die operative Grundlage nie dafür geschaffen wurde.

Es gibt Datenpipelines, die bei Schemaänderungen ausfallen. CI/CD, die für Webanwendungen konzipiert wurde, bricht bei 15 GB großen Modellartefakten zusammen. Die Observability erfasst die HTTP-Latenz, aber hat kein Konzept für Token-Durchsatz oder Halluzinationsraten. Die Governance kann die Frage ›Welche Modellversion hat diese Ausgabe generiert?‹ nicht beantworten, wenn die Aufsichtsbehörde danach fragt. Sicherheitsrichtlinien weisen einem KI-Agenten dasselbe Dienstkonto wie der Deployment-Pipeline zu.

Dies alles sind keine hypothetischen Schwachstellen. McKinseys interne KI-Plattform »Lilli« wurde über nicht authentifizierte API-Endpunkte gehackt. Ein unabhängiger Forscher verschaffte sich in weniger als zwei Stunden Zugriff auf 46,5 Millionen Nachrichten. Die Diskussion dreht sich um Weight-Clustering und Quantisierung, während die Haustür unverschlossen bleibt. Die meisten Implementierungen von MCP-Servern verwenden Dateisystemoperationen, die anfällig für Path-Traversal-Angriffe sind. Die Argo CD Maintainer ertrinken in über 700 offenen Pull Requests, viele davon KI-generiert, die niemand überprüfen kann. Es wurde die Rechenebene aufgebaut, aber nicht die Betriebsebene. Die Unternehmen, die KI tatsächlich in die Produktion bringen, verwenden keine besseren Modelle, sie betreiben bessere Plattformen. Sie haben das Datenversioning gelöst, bevor sie das Inferenz-Routing gelöst haben. Sie haben Richtlinien-Frameworks aufgebaut, bevor sie Agent-Frameworks aufgebaut haben. Sie haben zudem in die unscheinbare Arbeit investiert – in Form von reproduzierbaren Pipelines, Modellregistern, automatisierten Rollbacks und Audit-Trails. Diese Arbeit verwandelt ein Experiment in ein System.

Die Kluft zwischen ›KI-Demo‹ und ›KI in der Produktion‹ liegt nicht in der Technologie. Sie liegt in der operativen Disziplin. Keine noch so große Optimierung der Inferenz kann diese Kluft schließen. Die Frage ist nicht, welches Modell Unternehmen auf ihrem Cluster ausführen, sondern ob ihr Cluster überhaupt für irgendein Modell bereit ist.«

6494 Artikel zu „KI Betrieb“

News | Business | Business Process Management | Favoriten der Redaktion | Künstliche Intelligenz

Vom Hype zum Impact: Warum Agentic Orchestration das Betriebssystem der KI-Ära ist

6. März 2026

Unternehmen testen autonome KI‑Agenten mit großen Erwartungen – doch beim Schritt von der Demo zur produktiven Skalierung folgt oft die Ernüchterung. Der Grund liegt weniger in der Intelligenz der Modelle als in fehlender Kontrolle, Governance und Prozessverantwortung. Erst Agentic Orchestration macht KI vom faszinierenden Experiment zum belastbaren Motor für messbaren Business‑Impact. In den letzten…

Jetzt 25 % Ticketrabatt für »manage it« Leser

Warum KI‑Produktion kein Modell‑, sondern ein Betriebsproblem ist und was nötig ist, damit aus KI-Demos tatsächlich KI-Produktion wird.

6494 Artikel zu „KI Betrieb“