Illustration Absmeier foto ki designer

Agentische KI macht aus Empfehlungen operative Entscheidungen – und aus Modellqualität eine Frage von Governance, Kontrolle und Haftung. Der EU AI Act gibt den regulatorischen Rahmen vor; Unternehmen müssen ihn jetzt in belastbare Rollen, Berechtigungen, Protokolle und Freigaben übersetzen.

Management Summary

Verantwortung bleibt beim Unternehmen: KI-Agenten sind keine Rechtssubjekte; haftungsrelevant sind Entwicklung, Bereitstellung, Betrieb und konkrete Nutzung.
Der AI Act ordnet Pflichten nach Rollen: Anbieter müssen Risiken, Dokumentation und Logs beherrschen; Betreiber müssen bestimmungsgemäßen Einsatz, Aufsicht und Monitoring sicherstellen.
Autonomie erhöht die Beweislast: Bei mehrstufigen Aktionen müssen Eingaben, Tool-Aufrufe, Berechtigungen und Auslöser lückenlos rekonstruierbar sein.
Finanzielle Risiken sind erheblich: Verstöße können – abhängig vom Tatbestand – Bußgelder bis zu 35 Millionen Euro oder sieben Prozent des weltweiten Jahresumsatzes auslösen.
Governed Access ist der operative Hebel: Eine kontrollierte Zugriffsschicht begrenzt, prüft und protokolliert, was ein Agent lesen, anstoßen oder eigenständig ausführen darf.

Künstliche Intelligenz entwickelt sich vom antwortenden Werkzeug zum handelnden Agenten. Agentische Systeme zeigen sich in der Lage, Ziele zu zerlegen, Anwendungen anzusteuern und innerhalb definierter Grenzen Aktionen auszulösen. Damit verschiebt sich eine zentrale Frage: Wer trägt die Verantwortung, wenn ein System einen Prozess eigenständig ausführt? »Wenn ein KI-Agent nicht nur empfiehlt, sondern handelt, macht er aus einer Qualitätsfrage eine Governance- und Haftungsfrage. Unternehmen müssen deshalb nachvollziehen können, welche Befugnisse ein Agent hatte und warum eine konkrete Aktion ausgelöst wurde«, erklärt Mathias Herrmann, CEO der ALLEHERZEN GmbH. Ein KI-Agent wird dabei nicht selbst zum Rechtssubjekt. Verantwortlich bleiben die Personen oder Unternehmen, die ein System entwickeln, bereitstellen, betreiben oder einsetzen – abhängig von Rolle, Einsatz und anwendbarem Recht.

AI Act verteilt Pflichten nach Rollen

Der AI Act sieht für Hochrisiko-KI umfangreiche Pflichten für Anbieter und Betreiber vor. Die zentralen Anforderungen werden nach der jüngsten Fristverschiebung für Annex-III-Systeme ab Dezember 2027 und für produktbezogene Hochrisiko-Systeme ab August 2028 anwendbar. Dazu gehören unter anderem Risikomanagement, technische Dokumentation und Protokollierung auf Anbieterseite. Betreiber müssen Systeme bestimmungsgemäß einsetzen, menschliche Aufsicht gewährleisten und den Betrieb überwachen. Entscheidend bleibt, wer welche Kontrolle hatte, und welche Pflichten verletzt wurden – soweit der risikobasierte Ansatz des EU AI Act. Agentische Systeme machen diese Zuordnung jedoch anspruchsvoller. Ein Agent kann ein internes System falsch bedienen, fehlerhafte Informationen weiterverarbeiten oder über eine Schnittstelle eine externe Aktion auslösen. Hinzu kommen Prompt Injection, manipulierte Daten, fehlerhafte Tool-Aufrufe und überhöhte Berechtigungen. »Das Risiko liegt deshalb nicht nur im Modell, sondern im Gesamtsystem und seinen Handlungsmöglichkeiten«, präzisiert Herrmann. »Haftung entsteht nicht automatisch durch einen Fehler des KI-Agenten. Maßgeblich sind die einschlägigen Regeln, etwa aus Vertrags-, Delikts- und Produkthaftungsrecht sowie sektorspezifischen Vorschriften. Die neue EU-Produkthaftungsrichtlinie erfasst ausdrücklich auch Software und KI-Systeme. Für Produkte, die nach dem 8. Dezember 2026 in Verkehr gebracht oder in Betrieb genommen werden, erweitert sie damit den produkthaftungsrechtlichen Rahmen auch auf KI.« Besonders relevant ist die Beweisbarkeit. Führt ein Agent mehrere Schritte autonom aus, reicht der Blick auf das Endergebnis häufig nicht. Unternehmen müssen rekonstruieren können, welche Eingaben vorlagen, welche Werkzeuge beteiligt waren, welche Berechtigungen bestanden und wann eine Aktion ausgelöst wurde. Für bestimmte Hochrisiko-Systeme sieht der AI Act automatisch erzeugte Logs und angemessene Überwachung vor.

Strafen können erheblich ausfallen

Neben zivilrechtlichen Ansprüchen drohen bei Verstößen gegen den AI Act Verwaltungsstrafen. »Für verbotene KI-Praktiken sind bis zu 35 Millionen Euro oder sieben Prozent des weltweiten Jahresumsatzes möglich – maßgeblich ist der höhere Betrag«, so der Experte. »Weitere Pflichtverstöße können bis zu 15 Millionen Euro oder drei Prozent kosten. Für falsche oder irreführende Angaben sind bis zu 7,5 Millionen Euro oder ein Prozent vorgesehen.« Bei KMUs gelten besondere Begrenzungen. Für Unternehmen heißt das: Compliance darf nicht erst nach einem Vorfall beginnen. Wer Agenten produktiv einsetzen will, braucht eine Verbindung zwischen Berechtigung, menschlicher Kontrolle, Protokollierung und organisatorischer Verantwortung. Entscheidend ist die Trennung zwischen dem, was ein Agent lesen, anstoßen und ausführen darf.

Kontrollschicht als Leitplanke

Hier gewinnt ein Governed Access Layer an Bedeutung. Sie kann als kontrollierender Puffer zwischen KI-Agenten und den Systemen, Daten sowie Aktionen fungieren. Zugriffe lassen sich kontextbezogen begrenzen, kontrollieren und protokollieren. Das ersetzt keine rechtliche Prüfung oder menschliche Verantwortung, schafft aber eine technische Grundlage für Governance. »Wir müssen weg von der Vorstellung, dass Sicherheit allein durch ein besseres Modell entsteht«, fordert Herrmann. »Bei agentischer KI entscheidet die Zugriffsebene darüber, was ein Agent in der realen Welt überhaupt tun kann. Governance muss dort greifen, wo aus einer Modellentscheidung eine konkrete Aktion entsteht.« Ein Beispiel für diesen Ansatz bietet die Lösung COLOSSOS. Der Governed Access Layer setzt an der Schnittstelle zwischen KI und Unternehmensressourcen an und zielt darauf, Zugriffe und Aktionen kontrollierbar zu machen. Verantwortlichkeit sollte nicht erst im Nachhinein rekonstruiert werden müssen, sondern bereits beim Zugriff technisch mitgedacht werden. Agentische KI wird damit nicht zur rechtsfreien Zone. Je autonomer Systeme handeln, desto wichtiger wird die Zuordnung von Rollen, Befugnissen und Kontrollmechanismen. Der EU AI Act liefert dabei den regulatorischen Rahmen. Die Herausforderung besteht darin, ihn in technische und organisatorische Prozesse zu übersetzen – damit Unternehmen Innovation nutzen können, ohne die Verantwortung dem Zufall zu überlassen.

Weitere Informationen finden Sie unter https://alleherzen.de/ und https://colossos.ai/

FAQ: KI-Agenten, Governance und Haftung

Wenn der KI-Agent falsch entscheidet: Wer steht am Ende dafür gerade?
Ein KI-Agent ist kein eigenständiger Haftungsträger. Verantwortung bleibt bei den Unternehmen und Personen, die das System entwickeln, bereitstellen, betreiben oder konkret einsetzen. Wer im Schadenfall einstehen muss, entscheidet sich deshalb nicht allein am technischen Fehler, sondern an der Rollenverteilung: Wer hatte Kontrolle über das System, wer definierte seine Befugnisse, wer hätte eingreifen müssen – und welche vertraglichen, deliktsrechtlichen oder produkthaftungsrechtlichen Pflichten wurden verletzt? Für Unternehmen ist diese Zuordnung keine juristische Formalität, sondern eine zentrale Governance-Aufgabe.
Kann sich ein Unternehmen darauf berufen, dass »die KI« gehandelt hat?
Nein. Die Formulierung mag technisch plausibel klingen, rechtlich entlastet sie jedoch nicht. Ein KI-Agent besitzt weder eigene Rechtspersönlichkeit noch eine unabhängige Verantwortung. Unternehmen müssen daher nachweisen können, auf welcher Grundlage das System gehandelt hat, welche Grenzen gesetzt waren und welche menschliche oder organisatorische Aufsicht bestand. Je autonomer der Agent agiert, desto wichtiger wird eine klare Verantwortungsmatrix.
Was verlangt der AI Act konkret von Anbietern?
Für Anbieter von Hochrisiko-KI rückt der gesamte Lebenszyklus des Systems in den Fokus. Gefordert sind unter anderem ein belastbares Risikomanagement, nachvollziehbare technische Dokumentation und geeignete Protokolle, mit denen sich der Betrieb später untersuchen lässt. Hinter diesen Pflichten steht ein klarer Gedanke: Ein System darf nicht nur leistungsfähig sein – sein Verhalten und seine Risiken müssen auch erklärbar, kontrollierbar und auditierbar bleiben.
Und was müssen Unternehmen beachten, die KI-Agenten einsetzen?
Betreiber dürfen sich nicht darauf beschränken, eine Lösung einzukaufen und technisch anzuschließen. Sie müssen den bestimmungsgemäßen Einsatz sicherstellen, Verantwortliche benennen, menschliche Aufsicht organisieren und den laufenden Betrieb überwachen. Dazu gehört auch, Abweichungen früh zu erkennen und Eskalationswege festzulegen. Entscheidend ist die Praxis: Wer darf den Agenten starten, wer genehmigt sensible Aktionen und wer stoppt ihn, wenn sich ein Prozess unerwartet entwickelt?
Warum sind agentische Systeme riskanter als klassische Chatbots?
Ein Chatbot formuliert in der Regel eine Antwort; ein Agent kann daraus eine Handlung machen. Er zerlegt Ziele in Einzelschritte, greift auf Anwendungen und Daten zu und kann über Schnittstellen reale Prozesse auslösen. Damit wächst die Zahl möglicher Fehlerquellen – vom falschen Kontext über ungeprüfte Zwischenschritte bis zur fehlerhaften Buchung oder Freigabe. Das Risiko liegt deshalb nicht nur im zugrunde liegenden Modell, sondern in der Verbindung von Modell, Werkzeugen, Berechtigungen und Geschäftsprozess.
Wo liegen im Alltag die größten technischen Einfallstore?
Besonders kritisch sind manipulierte Eingaben, Prompt Injection, fehlerhafte Tool-Aufrufe und zu weit gefasste Zugriffsrechte. Ein Agent kann etwa vertrauenswürdig wirkende Informationen übernehmen, obwohl diese gezielt verfälscht wurden, oder über eine Schnittstelle mehr ausführen, als für seine Aufgabe erforderlich wäre. Hinzu kommen schlecht kontrollierte Datenquellen und unklare Systemgrenzen. Deshalb sollten Unternehmen nicht nur das Modell prüfen, sondern die gesamte Aktionskette absichern.
Was muss im Ernstfall lückenlos nachvollziehbar sein?
Ein bloßes Endergebnis reicht bei autonom ausgeführten Prozessketten häufig nicht aus. Unternehmen sollten rekonstruieren können, welche Eingaben vorlagen, welche Datenquellen und Werkzeuge genutzt wurden, welche Berechtigungen galten und wann eine Aktion ausgelöst oder freigegeben wurde. Diese Protokolle helfen nicht nur bei Audits und Haftungsfragen. Sie sind auch entscheidend, um Fehlerquellen zu erkennen, Vorfälle einzudämmen und Systeme gezielt zu verbessern.
Wie teuer können Verstöße gegen den AI Act werden?
Die Sanktionsrahmen sind so bemessen, dass sie auch für große Konzerne spürbar bleiben. Bei verbotenen KI-Praktiken können bis zu 35 Millionen Euro oder sieben Prozent des weltweiten Jahresumsatzes fällig werden; bei weiteren Pflichtverstößen sind bis zu 15 Millionen Euro oder drei Prozent vorgesehen. Für falsche oder irreführende Angaben gelten nochmals eigene Grenzen. Welche Summe tatsächlich verhängt wird, hängt vom Einzelfall ab; für KMUs gelten besondere Begrenzungen. Hinzu kommen mögliche Schadenersatzforderungen und Reputationsverluste.
Was bringt ein Governed Access Layer in der Praxis?
Die kontrollierte Zugriffsschicht sitzt zwischen KI-Agent und Unternehmensressourcen. Sie kann festlegen, welche Daten ein Agent lesen, welche Prozesse er anstoßen und welche Aktionen er tatsächlich ausführen darf. Zugriffe lassen sich abhängig von Rolle, Kontext und Risiko begrenzen, prüfen und protokollieren. Damit wird Governance dort wirksam, wo aus einer Modellentscheidung eine reale Handlung entsteht. Eine rechtliche Bewertung oder menschliche Verantwortung ersetzt das nicht – es schafft aber belastbare technische Leitplanken.
Wo sollten Unternehmen mit der Umsetzung beginnen?
Am Anfang steht eine nüchterne Bestandsaufnahme: Welche Agenten sind bereits im Einsatz, auf welche Systeme greifen sie zu und welche Entscheidungen dürfen sie treffen? Darauf sollten klare Rollen, minimale Berechtigungen, verbindliche Freigaben und dokumentierte Eskalationswege folgen. Ergänzt um belastbare Logs, laufendes Monitoring und regelmäßige Kontrollen entsteht ein Rahmen, der Innovation ermöglicht, ohne Verantwortung zu verwischen. Der wichtigste Grundsatz lautet: Autonomie darf nur so weit reichen wie die technische und organisatorische Kontrolle.

3385 Artikel zu „Verantwortung KI“

Ausgabe 7-8-2026 | IT-Security | Künstliche Intelligenz | News | Rechenzentrum

KI verantwortungsvoll einsetzen – Sicherheit, Souveränität und Kontrolle für autonome Systeme

4. September 2026

Künstliche Intelligenz ist den Kinderschuhen entwachsen. KI-Agenten – autonome Systeme, die planen, entscheiden und handeln – greifen in operative Geschäftsprozesse ein. Sie steuern Lieferketten, bewerten Kreditrisiken, priorisieren Serviceanfragen und optimieren Produktionsabläufe. Die Effizienzgewinne: kürzere Reaktionszeiten, präziserer Ressourceneinsatz oder automatisierte Entscheidungsketten. Doch mit der Autonomie wachsen Verantwortung und Angriffsfläche.