Illustration Absmeier foto ki designer

Mit KI-Agenten wird aus einer fehlerhaften Antwort schnell eine geschäftskritische Aktion. Unternehmen brauchen deshalb mehr als Modellschutz: Gefragt ist eine Sicherheitsarchitektur, die Identitäten, Daten, Berechtigungen, Endgeräte, Überwachung und Wiederherstellung miteinander verzahnt – und autonome Systeme jederzeit kontrollierbar hält.

Management Summary

KI-Sicherheit ist Architekturaufgabe: Schutz muss Infrastruktur, Modelle, Daten, Identitäten, Anwendungen und Endgeräte durchgängig umfassen.
Agenten erhöhen das operative Risiko: Wer Systeme handeln lässt, muss Rechte minimal vergeben, Zuständigkeiten eindeutig definieren und Aktionen begrenzen.
Datenvertrauen ist Voraussetzung: Herkunft, Integrität, Verschlüsselung und Zugriffssteuerung entscheiden über die Verlässlichkeit von RAG- und KI-Ergebnissen.
Kontrolle braucht Nachvollziehbarkeit: Audit-Trails, Monitoring, Policy Enforcement und ein technischer Stoppmechanismus gehören in jeden produktiven Agenten-Workflow.
Resilienz endet nicht beim Backup: Unternehmen müssen Modelle, Konfigurationen, Berechtigungen und Workflows getestet in einen vertrauenswürdigen Zustand zurückführen können.

KI eröffnet Unternehmen zwar neue Möglichkeiten, schafft aber gleichzeitig auch neue Angriffsflächen. Das Thema Sicherheit lässt sich jedoch nicht auf den Schutz eines Modells oder die Absicherung einer einzelnen Komponente reduzieren. Je stärker die Technologie in Unternehmensprozesse integriert ist, desto größer sind die Folgen einer manipulierten Eingabe, eines kompromittierten Accounts oder eines fehlerhaft arbeitenden Agenten. Dell Technologies zeigt, worauf Unternehmen beim Aufbau sicherer KI-Umgebungen achten sollten.

Ausgerechnet die Unternehmen, die die Entwicklung leistungsfähiger KI vorantreiben, warnen zunehmend vor den Risiken ihrer eigenen Technologien. Sie befürchten einen dramatischen Kontrollverlust. Ob dahinter echte Sorge steckt oder strategisches Kalkül, bleibt umstritten. Klar ist: Autonome KI schafft eine neue Klasse von Sicherheitsrisiken – das gilt auch für den ganz alltäglichen Einsatz in Unternehmen.

Security by Design beginnt bei der technischen Basis. In der IT gilt ein ungeschriebenes Gesetz: IT-Sicherheit und Datenschutz sollten nicht erst nachträglich hinzugefügt werden, sondern von der ersten Planung an fester Bestandteil der Entwicklung sein. Bei KI-Anwendungen sieht es nicht anders aus. Vertrauenswürdige Systeme und Firmware, abgesicherte Entwicklungs- und Bereitstellungsprozesse, Schutz vor Manipulationen in der Lieferkette sowie eine konsequente Trennung von Entwicklungs-, Test- und Produktionsumgebungen sollten grundlegende Standards sein. Ebenso wichtig sind Zero-Trust-Prinzipien: Zugriffe sollten nicht allein aufgrund eines Netzwerkstandorts oder einer Systemzugehörigkeit als vertrauenswürdig gelten, sondern stets anhand von Identität, Kontext und erforderlichen Berechtigungen überprüft werden.
Ein falscher Output ist ärgerlich, eine falsche Aktion kann gefährlich werden. Mit dem Aufkommen agentischer KI verändert sich die Risikolage nochmals grundlegend. Ein Sprachmodell erzeugt zunächst nur Text oder andere Inhalte. Ein KI-Agent dagegen ruft Daten ab, greift auf Anwendungen zu oder löst Workflows aus. Damit wird aus einem Modellfehler schnell ein operatives Risiko. Ein manipulierter Prompt, ein kompromittierter Kontext oder zu weitreichende Berechtigungen können dazu führen, dass ein Agent eine Handlung ausführt, für die er eigentlich gar nicht vorgesehen ist. Die Sicherheitsarchitektur muss deshalb den Handlungsspielraum des Systems begrenzen. Jeder Agent benötigt eine klar definierte Identität, festgelegte Zuständigkeiten und möglichst wenig Rechte. Unternehmen sollten Berechtigungen granular nach Aufgabe, Identität, Kontext und Zeitpunkt vergeben. Ein Agent für die Bearbeitung einer Kundenanfrage benötigt andere Zugriffsrechte als ein Agent, der einen Produktionsprozess unterstützt. Diese Zugriffsrechte sollten zudem kontinuierlich überprüft werden.
KI kann nur so vertrauenswürdig sein wie die Daten, auf die sie zugreift. Die Sicherheitsverantwortlichen müssen aber nicht nur den Handlungsspielraum der Agenten einschränken, sondern auch die Qualität der KI-Ergebnisse und somit die Qualität der zugrunde liegenden Daten überprüfen. Dafür müssen sie nachvollziehen können, woher die KI-Daten stammen, aber auch wie diese bereitgestellt werden. Technisch gesehen gehören dazu Verschlüsselung während der Übertragung und Speicherung, Integritätsprüfungen und eine Überwachung der Datenflüsse. Besonders relevant ist das beispielsweise bei RAG-Architekturen, in denen externe Wissensbestände in die Generierung einbezogen werden. Hier muss gewährleistet sein, dass ein Modell nur auf Informationen zugreifen kann, die kontrolliert und damit sicher sind.
Was ein KI-Agent tut, muss sich jederzeit stoppen lassen. Je autonomer KI arbeitet, desto wichtiger wird ihre Kontrollierbarkeit. Unternehmen müssen im Ernstfall rekonstruieren können, welche Daten ein Agent abgerufen, welche Entscheidungen er getroffen, welche Tools er verwendet und welche Änderungen er anschließend vorgenommen hat. Ohne diese Informationen lassen sich Fehlverhalten oder Manipulationen nur schwer erkennen und noch schwerer korrigieren. Deshalb brauchen KI-Workflows durchgängige Audit-Trails, Aktivitätsmonitoring und Policy Enforcement. Ebenso entscheidend sind Eskalationsmechanismen und ein technischer Stoppmechanismus. Wenn ein Agent unerwartete Aktionen ausführt, muss ein Unternehmen ihn jederzeit anhalten, seine Berechtigungen einschränken und den betroffenen Workflow stoppen können.
Interessante Angriffsziele gibt es nicht nur im Rechenzentrum. KI breitet sich über Rechenzentren und Cloud-Umgebungen hinaus bis an den digitalen Arbeitsplatz aus. Rechner, Anwendungen und mobile Endpoints werden so zu Schnittstellen zwischen Mitarbeitern, KI-Systemen und Unternehmensdaten. Ein kompromittierter Endpoint kann beispielsweise den Zugriff auf sensible Daten ermöglichen oder als Ausgangspunkt für Manipulationen von KI-Workflows dienen. Ein KI-fähiger Arbeitsplatz muss deshalb mehr leisten, als nur die notwendige Rechenleistung bereitzustellen. Gerätezustand, Identität, Zugriffskontrollen, Patch- und Konfigurationsmanagement sowie der Schutz lokaler und übertragener Daten müssen Teil der Sicherheitsarchitektur sein.
Cyberschutz und Resilienz sind zwei völlig unterschiedliche Themen. Sicherheit ist mehr als Cyberabwehr. Unternehmen müssen immer davon ausgehen, dass Schutzmechanismen versagen können. KI hat zudem die Bedrohungslage grundlegend verändert, da sie Angriffe massiv beschleunigt, automatisiert und damit die Hürden für Kriminelle senkt. Deshalb müssen die Themen Erkennung, Eindämmung und Wiederherstellung von Anfang im Rahmen des Sicherheitskonzeptes mitgedacht werden. Dazu zählen getrennte und geschützte Recovery-Umgebungen, unveränderbare beziehungsweise gegen Manipulation geschützte Sicherungen und definierte Wiederanlaufverfahren. Entscheidend ist dabei nicht nur, Anwendungen wieder online zu bringen. Unternehmen müssen auch sicherstellen, dass Modelle, Konfigurationen, Daten, Berechtigungen und Agenten-Workflows in einen vertrauenswürdigen Zustand zurückgeführt werden können. Ein theoretischer Plan reicht allerdings nicht aus, regelmäßig getestete Recovery-Prozesse sind unabdingbar.

»Mit der zunehmenden Autonomie von KI verschiebt sich die Bedrohungslage. Entscheidend ist die Kontrollierbarkeit des gesamten Systems – von der Infrastruktur über Daten und Identitäten bis hin zu den Aktionen eines Agenten und der Fähigkeit, einen kompromittierten Zustand zuverlässig zu beenden und den ursprünglichen wiederherzustellen«, sagt Christian Scharrer, Lead Architect und CTO Ambassador bei Dell Technologies Deutschland. »Unternehmen müssen ihre Schutzmaßnahmen schärfen. Unabdingbar sind eine abgesicherte Infrastruktur, vertrauenswürdige Daten, eindeutig zugeordnete Identitäten, kontrollierte Aktionen und belastbare Recovery-Prozesse. Erst wenn diese Ebenen zusammenspielen, lässt sich KI in geschäftskritischen Umgebungen kontrolliert betreiben.«

Tipps für die Praxis

Starten Sie mit einem vollständigen Inventar aller Modelle, Agenten, Datenquellen, Tools und Verantwortlichen.
Definieren Sie pro Use Case Schutzbedarf, erlaubte Aktionen, Datenklassen und Abbruchkriterien.
Setzen Sie für Agenten separate Identitäten, kurzlebige Berechtigungen und eine explizite Tool-Allowlist ein.
Testen Sie Prompt Injection, Datenabfluss, Poisoning und unsichere Ausgaben vor jedem produktiven Rollout.
Verknüpfen Sie Laufzeitmonitoring mit klaren Eskalationswegen und einem technisch getesteten Kill Switch.
Üben Sie die Wiederherstellung nicht nur für Daten, sondern auch für Modelle, Konfigurationen und Agenten-Workflows.

FAQ: KI-Sicherheit in Unternehmen

Warum reicht klassische IT-Sicherheit für KI nicht aus?
KI-Anwendungen erweitern die Angriffsfläche um modellspezifische Risiken wie Prompt Injection, Daten- und Model Poisoning, Offenlegung sensibler Informationen und unsichere Ausgabeverarbeitung. Bewährte Kontrollen bleiben wichtig, müssen aber um KI-spezifische Tests, Datenherkunft und Laufzeitüberwachung ergänzt werden. [1]
Was ist Prompt Injection?
Dabei beeinflussen manipulierte direkte oder indirekte Anweisungen das Verhalten eines Modells. Das BSI nennt solche Angriffe als neuartigen Vektor, der unter anderem zu Datenabfluss oder schädlichen Ausgaben führen kann. Eingaben und externe Inhalte sollten daher als nicht vertrauenswürdig behandelt werden. [2]
Welche zusätzlichen Risiken bringen KI-Agenten?
Agenten können Tools aufrufen, Daten verändern und Prozesse starten. OWASP führt „Excessive Agency“ als zentrales LLM-Risiko: Zu viele Funktionen, Rechte oder zu viel Autonomie vergrößern mögliche Schäden. Sinnvoll sind eng begrenzte Werkzeuge, Least Privilege und Freigaben für kritische Aktionen. [1]
Wie lässt sich ein RAG-System absichern?
Dokumentquellen, Berechtigungen und Aktualität müssen kontrolliert werden. Zusätzlich sind Eingabefilter, Trennung von Systemanweisungen und Inhalten, Zugriffskontrollen auf Vektorbestände sowie Tests gegen manipulierte Dokumente erforderlich. Protokolle sollten zeigen, welche Quelle eine Antwort beeinflusst hat. [1][2]
Welche Rolle spielt Zero Trust?
Zero Trust behandelt weder Netzwerkstandort noch Systemzugehörigkeit als ausreichenden Vertrauensbeweis. Für KI bedeutet das: Jeder Nutzer, Dienst und Agent erhält eine eigene Identität; Zugriffe werden kontextbezogen geprüft, minimal vergeben, zeitlich begrenzt und regelmäßig rezertifiziert.
Was fordert der EU AI Act von Anbietern allgemeiner KI-Modelle?
Seit 2. August 2025 gelten unter anderem Pflichten zu technischer Dokumentation, Informationen für nachgelagerte Anbieter, Urheberrechts-Policy und einer veröffentlichten Zusammenfassung der Trainingsinhalte. Für Modelle mit systemischem Risiko bestehen zusätzliche Anforderungen. [3][4]
Wie sollte Human Oversight umgesetzt werden?
Menschliche Kontrolle sollte risikobasiert sein. Kritische Aktionen – etwa Zahlungen, Löschungen, Rechteänderungen oder produktive Konfigurationswechsel – benötigen verbindliche Freigaben. Verantwortliche brauchen verständliche Kontextinformationen und eine echte Möglichkeit, Aktionen abzulehnen oder zu stoppen.
Welche Protokolle sind für KI-Agenten wichtig?
Erfasst werden sollten Identität, Eingabe und Kontext, verwendete Datenquellen, Tool-Aufrufe, Berechtigungsentscheidungen, Ausgaben, Änderungen, Freigaben und Fehlermeldungen. Protokolle müssen vor Manipulation geschützt, datenschutzkonform aufbewahrt und für Analysen zeitlich korrelierbar sein.
Was gehört in einen KI-Incident-Response-Plan?
Der Plan sollte Verantwortlichkeiten, Alarmwege, Isolierung von Agenten, Sperrung von Identitäten und Tools, Sicherung von Beweisen, Prüfung betroffener Daten sowie Wiederanlaufkriterien definieren. Übungen müssen auch manipulierte Wissensbestände, kompromittierte Konten und fehlerhafte Automationen abdecken.
Welches Vorgehensmodell eignet sich für das Management?
Das NIST AI RMF strukturiert Risikomanagement in vier Funktionen: Govern, Map, Measure und Manage. Damit lassen sich Governance, Kontextanalyse, Messung und Behandlung von Risiken über den Lebenszyklus verbinden. Das GenAI-Profil ergänzt konkrete Hinweise für generative KI. [5]

Quellen

[1] OWASP GenAI Security Project, „OWASP Top 10 for LLM Applications 2025“: https://genai.owasp.org/resource/owasp-top-10-for-llm-applications-2025/
[2] Bundesamt für Sicherheit in der Informationstechnik, „Kriterienkatalog zur Integration extern bereitgestellter generativer KI-Modelle“: https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Kriterienkatalog_KI-Modelle_Bundesverwaltung.html
[3] Europäische Kommission, „General-purpose AI obligations under the AI Act“: https://digital-strategy.ec.europa.eu/en/factpages/general-purpose-ai-obligations-under-ai-act
[4] AI Act Service Desk, „Article 53: Obligations for providers of general-purpose AI models“: https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-53
[5] NIST, „Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile“: https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence

Management Summary, FAQ und Bild wurden mit Hilfe von KI erstellt

177 Artikel zu „KI-Agenten Sicherheitsarchitektur“

Geschäftsprozesse | IT-Security | Künstliche Intelligenz | News | Strategien | Whitepaper

Vertrauensarchitekturen für KI-Agenten: Identität, Berechtigungen und kontrollierbarer Einsatz

22. September 2026

Autonome KI-Systeme benötigen überprüfbare Identitäten, klare Zugriffsgrenzen und Mechanismen zur schnellen Entziehung von Berechtigungen. KI-Agenten entwickeln sich vom Assistenzsystem zum eigenständig handelnden digitalen Akteur. Damit steigen die Anforderungen an Identität, Berechtigungen, Governance und schnelle Reaktionsfähigkeit. Unternehmen benötigen deshalb Vertrauensarchitekturen, die autonome Systeme eindeutig zuordnen, kontrollieren und bei Bedarf sofort begrenzen können. Management Summary KI-Agenten…