Illustration Absmeier foto ki designer

Bildunterschrift: Nicht jeder KI-Workload gehört in die Cloud. Hybride Architekturen verteilen Verarbeitung und Datenhaltung nach Latenz, Schutzbedarf und Verfügbarkeit.

Cloud-Plattformen beschleunigen den KI-Einstieg – doch bei sensiblen Daten, Millisekunden-Entscheidungen und unternehmenskritischen Prozessen kann Distanz zum Risiko werden. Sieben typische Einsatzfelder zeigen, wann Edge- oder Vor-Ort-Architekturen mehr Kontrolle, Resilienz und Planbarkeit bieten und weshalb die Entscheidung nicht »Cloud oder lokal«, sondern eine nüchterne Zuordnung von Workloads sein sollte.

Management Summary

Architektur folgt Risiko: Latenz, Datenvolumen, Schutzbedarf und Ausfalltoleranz entscheiden, wo ein KI-Workload betrieben werden sollte.
Edge für Echtzeit: Produktion, Videoanalyse, autonome Systeme und Betrugserkennung profitieren von kurzen Datenwegen und lokaler Reaktionsfähigkeit.
On-Premises für Kontrolle: Interne Wissensbestände, Gesundheitsdaten und kritische Infrastrukturen verlangen häufig strikte Zugriffs-, Speicher- und Betriebsmodelle.
Cloud bleibt relevant: Elastische Rechenleistung, Modelltraining und Lastspitzen sprechen weiterhin für Cloud-Services; hybride Ansätze verbinden beide Welten.
Governance ist entscheidend: Unternehmen sollten Datenflüsse, Verantwortlichkeiten, Sicherheitsmaßnahmen, Modellüberwachung und Exit-Szenarien vor dem produktiven Einsatz festlegen.

Sieben KI-Anwendungsfälle, bei denen die Cloud an Grenzen stößt

In der Cloud lassen sich KI-Anwendungen schnell bereitstellen und unkompliziert betreiben, doch nicht jeder Use Case kann oder sollte dort umgesetzt werden. Cloudian, Anbieter von Object Storage und modernen KI-Infrastrukturen, erklärt, in welchen Szenarien der KI-Einsatz Vor-Ort die bessere Wahl ist.

Geht es darum, KI möglichst schnell produktiv zu nutzen, ist die Cloud eine attraktive Option. Die benötigten IT-Ressourcen können flexibel bezogen werden, ohne dass sich Unternehmen um die Systeme und Plattformen kümmern müssen. Allerdings eignen sich einige Use Cases nicht für die Cloud, weil bestimmte Anforderungen hinsichtlich Antwortzeit, Verfügbarkeit oder Sicherheit und Datenschutz bestehen. Anwendungsfälle, die üblicherweise lokal umgesetzt werden sollten oder müssen, sind unter anderem:

Interne Chat- und Wissensbots

KI kann Wissen einfach zugänglich machen, wird aber erst so richtig hilfreich, wenn sie nicht nur über das antrainierte öffentliche Know-how verfügt, sondern auch auf interne Datenquellen zugreifen kann. Dann ist sie in der Lage, unternehmens- und abteilungsspezifische Fragen besser zu beantworten und halluziniert seltener. Viele interne Daten haben jedoch in der Cloud nichts zu suchen, weil sie wertvolles geistiges Eigentum, personenbezogene Informationen oder andere schützenswerte Dinge enthalten. Interne Chat- und Wissensbots sollten daher on-premises realisiert werden – zumal es in der Regel auch wenig sinnvoll ist, Tera- oder Petabyte an Daten in die Cloud zu übertragen, wenn die KI auch einfach datennah in der eigenen Infrastruktur laufen kann.

Videoanalysen

Mit KI-Hilfe lassen sich Videodaten auswerten, um etwa Besucherströme auf Veranstaltungen oder im Einzelhandel zu überwachen, Verkehrsflüsse zu steuern, Abläufe in der Logistik zu optimieren oder um Einbrüche, Sabotage und Brände auf Firmengeländen zu erkennen. Die Videoanalysen sollten dabei meist am Edge stattfinden, sodass keine riesigen Datenmengen in die Cloud übertragen werden müssen. Schließlich liefern moderne 4K- und 8K-Kameras selbst mit Komprimierung mehrere Gigabyte an Videomaterial pro Stunde, was enorme Bandbreiten und Speicherkapazitäten erfordern würde. Für weitergehende Analysen und ein Nachtraining der KI-Modelle mit bislang unbekannten Situationen und Lichtverhältnissen können ausgewählte Sequenzen bei Bedarf ins Rechenzentrum transferiert werden, wo sich Datenschutzanforderungen leichter und ohne Auftragsverarbeitungsverträge einhalten lassen.

Fertigungsoptimierung

In Produktionsumgebungen bieten sich zahlreiche Einsatzmöglichkeiten für KI, etwa bei der Überwachung und Anpassung von Fertigungsparametern, um die Produktion von Ausschuss zu verhindern; in der Qualitätskontrolle, wo KI-Algorithmen zuverlässig kleinste Fehler und Unregelmäßigkeiten an Produkten entdecken; oder beim frühzeitigen Erkennen von Verschleißerscheinungen an Maschinen, die zu Produktionsabweichungen und -störungen führen können. Auch die Produktionsplanung erfolgt immer häufiger mit KI-Unterstützung, um Maschinen besser auszulasten, Ressourcen optimal einzusetzen und Durchlaufzeiten zu verringern. All das muss jederzeit zuverlässig funktionieren, möglichst unabhängig von Onlineverbindungen und meist auch ohne Verzögerungen durch Datenübertragungen in die Cloud – denn ohne Echtzeit-Entscheidungen können Roboter, Maschinen und Steuersysteme nicht flexibel auf Situationen und Ereignisse reagieren. Hinzu kommt, dass viele sensible Daten zu Materialien, Verfahren und Modellen verarbeitet werden, die nicht außer Haus gelangen dürfen, weshalb KI-Anwendungen in der Fertigung in der Regel direkt am Edge oder in einem produktionsnahen Rechenzentrum laufen sollten.

Medizinische Anwendungen

Viele KI-Anwendungen im Gesundheitswesen arbeiten mit Patientendaten, die einen hohen Schutzbedarf haben, darunter MRT- und CT-Bilder, Laborergebnisse, Befunde, Therapiepläne und Arztbriefe. Werden diese nicht in die Cloud übertragen, sondern lokal ausgewertet, lassen sich Zugriffe besser kontrollieren und auch Datenschutzanforderungen leichter umsetzen. Hinzu kommt, dass viele KI-Anwendungen integraler Bestandteil von klinischen Workflows sind und auch dann noch nutzbar sein müssen, wenn Onlineverbindungen und Cloudservices gestört sind. Bei einigen Anwendungen in Notaufnahmen, Intensivstationen und Operationssälen zählt zudem die Reaktionszeit, etwa wenn lebensbedrohliche Zustände erkannt oder Strukturen bei Eingriffen markiert werden müssen. Hier ist eine Datenverarbeitung am Gerät oder zumindest innerhalb des Krankenhauses sogar Pflicht.

Betrugserkennung

Auch KI-Anwendungen in der Finanz- und Versicherungsbranche müssen häufig Entscheidungen in Echtzeit treffen, um Abläufe nicht zu verzögern und eine optimale User Experience sicherzustellen. Hierzu zählt beispielsweise die Betrugserkennung bei Zahlungsvorgängen im Einzelhandel und E-Commerce, bei der verschiedenste Parameter binnen Millisekunden bewertet werden müssen, bevor eine Zahlung freigegeben wird. Diese Echtzeitanforderungen, wie sie auch beim Realtime Trading und der Online-Kreditvergabe entstehen, lassen sich am Edge oder in einem lokalen Rechenzentrum meist besser erfüllen. Bei anderen Use Cases in der Finanz- und Versicherungsbranche sind es hingegen die sensiblen Kundendaten, die für eine lokale Datenverarbeitung sprechen, etwa bei der Bearbeitung von Schadensfällen, wo inzwischen immer häufiger KI-Algorithmen eingereichte Schadensbilder auswerten, um Schäden automatisiert zu bewerten und gefakte oder manipulierte Bilder zu identifizieren.

Autonome Fahrzeuge und Roboter

Ganz besonders zeitkritisch ist die Auswertung von Sensordaten mittels KI bei autonomen Fahrzeugen und Robotern. Schließlich müssen diese in Sekundenbruchteilen auf ihre Umgebung reagieren können – andernfalls drohen Unfälle mit Sach- und Personenschäden. Die Verarbeitung erfolgt daher immer auf Systemen im Fahrzeug oder Roboter. Später können die Telemetriedaten in ein Rechenzentrum übertragen und für ein weiterführendes Training der KI-Modelle für die Umgebungserkennung genutzt werden. Wegen der riesigen Datenmengen von dutzenden Gigabyte oder sogar einigen Terabyte, die pro Stunde und System anfallen, ist eine Verarbeitung in der Cloud häufig äußerst kostenintensiv. Zumal bestimmte Daten wie Betriebszeiten, Bewegungsmuster und Aufnahmen mit Personen, Kennzeichen und anderen sensiblen Informationen lokal ohnehin besser aufgehoben sind.

KI in kritischen Infrastrukturen

Organisationen und Einrichtungen, die wichtig für das Funktionieren des Staates und des Gemeinwesens sind, müssen hohe Sicherheits- und Verfügbarkeitsanforderungen erfüllen. Das betrifft unter anderem Versorger, TK-Anbieter, Unternehmen im Personen- und Güterverkehr, Krankenhäuser und Banken, aber auch Behörden und militärische Einrichtungen. Mit eigenen lokalen Infrastrukturen für KI und andere Anwendungen können sie diese Anforderungen am besten erfüllen. Sie behalten alle Daten und Systeme unter voller Kontrolle und bleiben unabhängig von Onlineverbindungen und Clouds; können die Infrastrukturen bei Bedarf sogar vollständig abschotten und air-gapped betreiben.

»Auch wenn es verlockend sein kann, KI in der Cloud einzusetzen, sollten Unternehmen genau abwägen, ob sie die zu analysierenden Daten tatsächlich aus der Hand geben wollen und ob sich ihre spezifischen Verfügbarkeits-, Sicherheits- und Datenschutzanforderungen dort wirklich erfüllen lassen«, erklärt Sascha Uhl, Director Technical Alliances bei Cloudian. »Lokale Systeme sind oft die bessere Wahl – nicht zuletzt, weil dort auch viele Anforderungen aus dem EU AI Act hinsichtlich Transparenz und Nachvollziehbarkeit besser umsetzbar sind. Mit modernen Objektspeicher-Plattformen lassen sich große Datenmengen sicher, effizient und kostengünstig verwalten und der KI mit der benötigten Latenz und Performance zur Verfügung stellen. Per Object Lock können die Daten dabei vor der Verschlüsselung durch Ransomware geschützt werden, aber auch vor versehentlichen Veränderungen – was wichtig für die Einhaltung von Transparenz- und Archivierungsvorgaben ist.«

Tipps für die Architekturentscheidung

1. Workloads klassifizieren

Bevor eine Plattform ausgewählt wird, sollte jeder KI-Anwendungsfall anhand eines einheitlichen Kriterienrasters bewertet werden. Dazu gehören die verarbeiteten Datenarten, ihr Schutzbedarf, die maximal tolerierbare Antwortzeit, das erwartete Datenvolumen, die Folgen eines Ausfalls und einschlägige regulatorische Vorgaben. Wichtig ist zudem die Trennung zwischen Training, Inferenz und Speicherung: Diese Aufgaben können unterschiedliche Betriebsorte erfordern.

Praxisbeispiel: Ein Industrieunternehmen bewertet einen visuellen Qualitätsprüfungsprozess. Kamerabilder enthalten vertrauliche Produktionsdetails, fehlerhafte Entscheidungen können Ausschuss erzeugen und die Reaktion muss innerhalb weniger Millisekunden erfolgen. Daraus ergibt sich eine lokale Inferenz am Produktionsstandort. Für das periodische Nachtraining werden nur ausgewählte, freigegebene und bereinigte Bildausschnitte in eine zentrale Umgebung übertragen.

2. Datenwege und Ende-zu-Ende-Latenz messen

Die reine Rechenzeit eines Modells sagt wenig über die tatsächliche Reaktionsfähigkeit aus. Gemessen werden muss die gesamte Verarbeitungskette: Erfassung, Vorverarbeitung, Übertragung, Warteschlangen, Inferenz, Rückgabe und die Reaktion des Zielsystems. Tests sollten Durchschnittswerte, Lastspitzen und Störungen berücksichtigen. Erst Messungen unter realistischen Betriebsbedingungen zeigen, ob Cloud, Edge oder ein lokales Rechenzentrum die Anforderungen erfüllt.

Praxisbeispiel: Bei einer Betrugserkennung benötigt das Modell selbst nur 25 Millisekunden. Übertragung, API-Gateway, Identitätsprüfung und Rückgabe erhöhen die Antwortzeit zu Spitzenzeiten jedoch auf 280 Millisekunden. Eine lokale Vorentscheidung filtert deshalb eindeutige Fälle direkt am Transaktionssystem; nur komplexe Vorgänge werden an einen zentralen Dienst weitergeleitet.

3. Hybride Architekturen gezielt planen

Hybrid sollte nicht bedeuten, Komponenten zufällig auf mehrere Umgebungen zu verteilen. Unternehmen brauchen ein klares Zielbild: Welche Daten dürfen den Standort verlassen? Wo läuft die Inferenz? Wo werden Modelle trainiert, validiert, versioniert und bereitgestellt? Ebenso wichtig sind abgesicherte Schnittstellen, konsistente Identitäten und ein kontrollierter Mechanismus für Modellupdates. Für den Störungsfall muss feststehen, welche Funktionen lokal weiterlaufen.

Praxisbeispiel: Eine Logistikkette analysiert Videostreams an mehreren Lagern. Die Edge-Systeme erkennen Belegungen und Gefahrensituationen lokal. An die Zentrale werden keine vollständigen Streams, sondern Ereignisdaten und technisch erforderliche Sequenzen übermittelt. Dort werden standortübergreifende Muster analysiert und geprüfte Modellversionen anschließend signiert an die Edge-Knoten verteilt.

4. Gesamtkosten über den Lebenszyklus berechnen

Ein belastbarer Vergleich berücksichtigt nicht nur Anschaffungspreise oder Cloud-Nutzungsgebühren. In die Rechnung gehören Datenübertragung, Speicherung, Beschleuniger-Hardware, Energie, Kühlung, Lizenzen, Betriebspersonal, Sicherheitsmaßnahmen, Wartung, Ausfallkosten und regelmäßige Erneuerungen. Auch Kosten für Migration, Anbieterwechsel und die Stilllegung einer Lösung sollten einbezogen werden. Sinnvoll sind mehrere Szenarien für Grundlast, Wachstum und Spitzenbetrieb.

Praxisbeispiel: Ein Händler vergleicht die zentrale Cloud-Analyse aller Filialvideos mit Edge-Appliances. Die Cloud wirkt zunächst günstiger, doch dauerhafter Upload, Speicherung und Abruf großer Videomengen erhöhen die laufenden Kosten deutlich. Die Edge-Variante benötigt dagegen Anfangsinvestitionen und Wartung. Über fünf Jahre erweist sich eine Kombination aus lokaler Ereigniserkennung und zentraler Analyse ausgewählter Sequenzen als wirtschaftlicher.

5. Ausfälle und Angriffe realistisch simulieren

Eine KI-Anwendung ist erst betriebsreif, wenn ihr Verhalten bei Störungen bekannt ist. Tests sollten unter anderem WAN-Unterbrechungen, Cloud-Ausfälle, fehlerhafte Identitätsdienste, nicht erreichbare Modell-Repositorys, beschädigte Updates und kompromittierte Edge-Knoten abdecken. Für jeden Fall werden ein sicherer Betriebszustand, Wiederanlaufzeiten, Verantwortlichkeiten und Kommunikationswege definiert. Ergebnisse gehören in Notfall- und Wiederanlaufpläne.

Praxisbeispiel: In einer Fertigung wird die Verbindung zum zentralen KI-Dienst während eines geplanten Tests getrennt. Die lokale Anlage arbeitet mit der zuletzt freigegebenen Modellversion weiter, protokolliert Entscheidungen offline und schaltet bei sinkender Modellkonfidenz auf konservative Grenzwerte um. Nach Wiederherstellung der Verbindung werden Protokolle kontrolliert synchronisiert, ohne ungeprüft ein neues Modell zu übernehmen.

6. Governance in den Betrieb integrieren

Governance darf nicht erst nach dem Pilotprojekt beginnen. Für jedes Modell sollten Eigentümer, Zweck, Freigabestatus, Trainings- und Testdaten, Leistungsgrenzen, Änderungsverlauf und erlaubte Einsatzbereiche dokumentiert sein. Benötigt werden außerdem Protokollierung, Überwachung von Daten- und Modelldrift, menschliche Eingriffsmöglichkeiten sowie ein eindeutig geregelter Abschaltweg. Freigaben sollten technische, fachliche, rechtliche und sicherheitsbezogene Perspektiven verbinden.

Praxisbeispiel: Ein Krankenhaus führt ein Assistenzsystem zur Priorisierung radiologischer Aufnahmen ein. Jede produktive Modellversion erhält eine dokumentierte Freigabe, definierte Qualitätsgrenzen und einen verantwortlichen klinischen Ansprechpartner. Sinkt die Erkennungsleistung unter einen festgelegten Schwellenwert, wird das Modell automatisch aus der Priorisierung genommen; die medizinische Entscheidung verbleibt bei qualifiziertem Fachpersonal.

7. Cloud-Anbieter und Nachweise systematisch prüfen

Zertifikate und Prüfberichte sind Ausgangspunkte, ersetzen aber keine eigene Risikoanalyse. Unternehmen sollten Leistungsumfang, geprüfte Dienste, Regionen, Unterauftragnehmer, Verschlüsselung, Schlüsselverwaltung, Protokollzugriff, Meldewege, Wiederherstellungsziele und Exit-Unterstützung prüfen. Vertragszusagen müssen zu den technischen Kontrollen passen. Für kritische Workloads sind außerdem regelmäßige Neubewertungen und Tests der Datenportabilität sinnvoll.

Praxisbeispiel: Ein Finanzdienstleister prüft einen Cloud-Dienst für KI-gestützte Dokumentenverarbeitung. Neben einem C5-Bericht vergleicht das Team die tatsächlich genutzten Dienste mit dem Prüfungsumfang, verlangt nachvollziehbare Angaben zu Datenstandorten und testet den Export von Modellen, Protokollen und Metadaten. Erst nachdem ein Anbieterwechsel praktisch erprobt wurde, erhält der Dienst die Produktionsfreigabe.

FAQ: KI zwischen Cloud, Edge und On-Premises

Wann ist On-Premises für KI die bessere Wahl?
Wenn sehr kurze Reaktionszeiten, ein hoher Schutzbedarf, geringe Ausfalltoleranz oder große kontinuierliche Datenströme den Betrieb bestimmen. Die Entscheidung sollte auf einer dokumentierten Risiko- und Wirtschaftlichkeitsanalyse beruhen, nicht auf einem pauschalen Architekturprinzip.
Ist eine lokale KI automatisch datenschutzkonform?
Nein. Auch lokal betriebene Systeme benötigen eine Rechtsgrundlage, Zweckbindung, Zugriffsschutz, Löschkonzepte und angemessene technische sowie organisatorische Maßnahmen. Gesundheitsdaten gelten unter der DSGVO als besonders sensibel und benötigen besonderen Schutz [4].
Welche Vorteile bietet Edge Computing?
Edge Computing verarbeitet Daten nahe an ihrer Entstehung. Das kann Latenz und Übertragungsvolumen reduzieren sowie Dienste bei eingeschränkter Verbindung verfügbar halten. ENISA weist zugleich auf zusätzliche, mehrdimensionale Sicherheitsherausforderungen verteilter Edge-Umgebungen hin [3].
Wann bleibt die Cloud sinnvoll?
Bei schwankendem Ressourcenbedarf, zeitlich begrenzten Trainingsläufen, globaler Bereitstellung und wenn geprüfte Plattformdienste den Betrieb vereinfachen. Cloud-Nutzung entbindet Unternehmen jedoch nicht von eigener Risikoanalyse und Nutzerkontrollen [2].
Was bedeutet eine hybride KI-Architektur?
Sie verteilt Aufgaben gezielt: Sensor- oder Nutzerdaten werden beispielsweise lokal vorverarbeitet, Inferenz läuft am Edge und rechenintensives Training findet zentral statt. Entscheidend sind klar definierte Datenflüsse, Identitäten, Schnittstellen und Verantwortlichkeiten.
Welche Rolle spielt der EU AI Act bei der Infrastrukturwahl?
Der AI Act verfolgt einen risikobasierten Ansatz und enthält unter anderem Anforderungen an Hochrisiko-Systeme, Transparenz und Governance [1]. Er schreibt nicht pauschal einen lokalen Betrieb vor; die Architektur muss jedoch die jeweils geltenden Pflichten praktisch unterstützen.
Welche AI-Act-Regeln gelten bereits?
Die Umsetzung erfolgt stufenweise. Nach der aktuellen offiziellen Zeitleiste gelten seit dem 2. August 2026 unter anderem Transparenzregeln; die Fristen für bestimmte Hochrisiko-Systeme reichen bis Ende 2027 beziehungsweise 2028 [5].
Wie lässt sich ein Cloud-Angebot sicherheitstechnisch bewerten?
Unternehmen können standardisierte Prüfberichte wie C5 in ihre Bewertung einbeziehen. Der BSI-Katalog beschreibt Mindestanforderungen an die Informationssicherheit von Cloud-Diensten und dient als Grundlage für das kundeneigene Risikomanagement [2].
Was gehört in einen Proof of Concept?
Neben Modellgüte sollten Ende-zu-Ende-Latenz, Verfügbarkeit, Datenabfluss, Rechtekonzept, Protokollierung, Wiederanlauf, Skalierung, Updatefähigkeit und Gesamtkosten unter realistischen Last- und Ausfallszenarien getestet werden.
Welche erste Entscheidung sollte das Management treffen?
Zuerst müssen geschäftlicher Nutzen, Risikoklasse und Betriebsanforderungen des konkreten Use Cases geklärt werden. Erst danach folgt die Plattformwahl; andernfalls bestimmen vorhandene Produkte die Architektur statt der fachlichen Anforderungen.

Quellen

[1] https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng
[2] https://www.bsi.bund.de/DE/Themen/Unternehmen-und-Organisationen/Informationen-und-Empfehlungen/Empfehlungen-nach-Angriffszielen/Cloud-Computing/Kriterienkatalog-C5/kriterienkatalog-c5_node.html
[3] https://www.enisa.europa.eu/publications/fog-and-edge-computing-in-5g
[4] https://www.edpb.europa.eu/topics/specific-domains/health-and-research_en
[5] https://ai-act-service-desk.ec.europa.eu/en/ai-act/timeline/timeline-implementation-eu-ai-act

Management Summary, FAQ und Bild wurden mit Hilfe von KI erstellt

1344 Artikel zu „KI on-prem“

Cloud Computing | Infrastruktur | News | Trends 2025

IT 2025: Die Rückkehr zu On-Premises und die Revolution der KI

31. Januar 2025

Im Jahr 2025 wird die IT-Landschaft von tiefgreifenden Veränderungen geprägt sein. Unternehmen müssen sich nicht nur den rasanten Entwicklungen in der künstlichen Intelligenz stellen, sondern auch mit zunehmendem Druck auf ihre Budgets und die Notwendigkeit, ihre Technologien effizienter und kostengünstiger zu gestalten, umgehen. In dieser Prognose wirft Sascha Giese, Global Tech Evangelist, Observability, SolarWinds einen…