KI-Agenten können Aufgaben zunehmend selbstständig übernehmen. Für Unternehmen stellt sich dabei die Frage: Wie viel Autonomie ist sinnvoll? Und wie behält der Mensch stets die Verantwortung? Mit einer soliden Datenbasis, der richtigen Technologie und klaren Regeln für menschliche Kontrolle schaffen Unternehmen die Grundlage für den effektiven Einsatz von KI-Agenten.

Mit der wachsenden Autonomie von KI-Agenten rückt die Verantwortung des Menschen stärker in den Fokus. Für seine Rolle im Umgang mit KI-Agenten kursieren inzwischen mehrere Begriffe: »Human in the Loop«, »Human Oversight« und »Human in Control«. Sie werden häufig nahezu synonym verwendet, beschreiben aber unterschiedliche Formen menschlicher Kontrolle: von der Prüfung einzelner Ergebnisse über die laufende Überwachung bis hin zur Festlegung von Zielen und Grenzen. Entscheidend ist aber weniger das jeweilige Label als das gemeinsame Prinzip: Der Mensch muss handlungsfähig bleiben und die Verantwortung behalten.

Eine aktuelle Studie zeigt, dass KI in Deutschland bereits intensiv genutzt wird [1]. Das Vertrauen bleibt jedoch begrenzt, insbesondere wenn KI eigenständig handelt. Doch genau das ist immer häufiger der Fall: KI-Agenten recherchieren Informationen, treffen Entscheidungen und greifen auf Daten und Systeme zu, um selbstständig Aufgaben zu erledigen.

Um Vertrauen zu schaffen und ihrer Verantwortung gerecht zu werden, müssen Unternehmen festlegen, wo KI selbstständig handeln darf, auf welche Informationen sie dafür zugreifen darf und wann ein Mensch einbezogen werden sollte. Um das Potenzial agentischer KI verantwortungsvoll auszuschöpfen, braucht es daher eine stabile Datengrundlage, klare Regeln für die menschliche Kontrolle und technische Möglichkeiten, das Zusammenspiel von Mensch und KI transparent sowie bis ins Detail nachvollziehbar zu protokollieren.

Kontrolle muss Automatisierung nicht ausbremsen.

Menschliche Verantwortung bedeutet nicht, dass Mitarbeitende künftig jede einzelne Aktion eines Agenten kontrollieren müssen. Ein solcher Ansatz würde einen wesentlichen Vorteil agentischer KI zunichtemachen: ihre Fähigkeit, Routineaufgaben schnell und selbstständig auszuführen. Für eine bessere Balance sollten Unternehmen stattdessen für jeden Anwendungsfall den passenden Grad an Autonomie bestimmen. Ein Agent kann beispielsweise Informationen recherchieren, Dokumente klassifizieren oder einen Prozess vorbereiten, ohne dass ein Mensch jeden einzelnen Arbeitsschritt kontrolliert. Bei einer sensiblen Entscheidung oder einer Ausnahme kann hingegen eine verpflichtende Freigabe sinnvoll sein.

Verantwortung beginnt bei den Daten.

Ein tragfähiges Verantwortungsmodell für agentische KI beginnt bei der Informationsbasis. KI-Agenten können nur zuverlässig arbeiten, wenn die Informationen, auf denen ihre Entscheidungen beruhen, verlässlich und zugänglich sind. Dokumente sollten klar den entsprechenden Kategorien zugeordnet sein. Relevante Eigenschaften sollten erfasst und direkt erkennbar sein. Zudem muss über ein dediziertes Rechtemanagement geregelt sein, wer im Unternehmen auf welche Informationen zugreifen kann und darf.

Mit einer strukturierten Datenbasis lässt sich nicht nur sicherstellen, dass Mitarbeitende die richtigen Informationen finden. Auch Agenten erhalten so den Kontext, den sie für ihre Aufgaben benötigen. Dabei ist es wichtig, dass ein KI-Agent stets seine Quellen angibt, damit nachvollziehbar bleibt, auf welche Informationen er zugegriffen und worauf er seine Entscheidung gestützt hat.

Die richtige Technologie für autonome Systeme.

Auch die technologische Basis entscheidet darüber, wie souverän ein Unternehmen mit KI umgehen kann. Das beginnt beim zugrunde liegenden Modell. Nicht für jede Aufgabe ist dasselbe Modell geeignet: Je nach Anwendungsfall können Qualität, Geschwindigkeit, Kosten oder Schutzbedarf unterschiedlich gewichtet werden. Je nach Kritikalität des Anwendungsfalls sollten Unternehmen zwischen großen internationalen Modellen, europäischen Alternativen und eigenen spezialisierten Sprachmodellen (Small Language Models) für klar umrissene Aufgaben wählen können. Ebenso wichtig ist die Fähigkeit, KI in die bestehende Systemlandschaft einzubinden. Denn Unternehmenswissen liegt selten in einem einzigen System. Es verteilt sich über Dokumentenmanagement, ERP, CRM und zahlreiche weitere Fachanwendungen.

Eine leistungsfähige KI-Architektur muss deshalb nicht nur eigene Daten bereitstellen, sondern auch mit bestehenden Systemen zusammenarbeiten können.

Autonomie braucht Transparenz und Kontrolle.

Je mehr Agenten in einem Unternehmen eingesetzt werden, desto wichtiger wird eine zentrale Übersicht und Steuerung. Genau hier setzt ein Agent Center an. Eine zentrale Sicht auf das Zusammenspiel von Menschen und Agenten. Es protokolliert, wer oder was einen Prozessschritt ausgeführt hat, welche Entscheidung auf welcher Grundlage getroffen wurde und wann ein Mensch freigegeben oder korrigiert hat. Agenten handeln innerhalb klar definierter Zugriffsrechte, kritische Aktionen bleiben an eine menschliche Freigabe gebunden. Wichtig ist zudem, dass der jeweilige Kontext und die Informationen, die für Antworten hinzugezogen wurden, stets protokolliert werden, damit sie auch Jahre später noch nachvollziehbar sind. So kann der Mensch auch bei möglichen Fehlern von Agenten direkt nachjustieren, etwa indem er neue Regeln für den Agenten definiert.

Fazit.

Anders als Aufgaben lässt sich Verantwortung nicht an ein technisches System delegieren. Wer KI-Agenten einsetzt, bleibt für die Rahmenbedingungen ihres Einsatzes selbst verantwortlich. Dafür brauchen Unternehmen einen Ansatz, der eine solide Datenbasis, Technologie, Prozesse und menschliche Zuständigkeiten miteinander verbindet. Dabei muss der Mensch nicht jeden einzelnen Schritt kontrollieren. Er muss jedoch Regeln festlegen, innerhalb derer KI handeln darf, bestimmen, wann er selbst eingreifen sollte, und die Verantwortung für den Einsatz behalten. Genau diese Kombination aus technischer Autonomie und menschlicher Verantwortung schafft die Voraussetzung dafür, KI-Agenten produktiv und vertrauenswürdig in Unternehmensprozesse zu integrieren.

Nico Bäumer ist Vorstand und CTO der d.velop AG und treibt mit seiner langjährigen Erfahrung im Produktmanagement und in der Produktentwicklung die Innovations- und Digitawwlisierungsstrategie des Unternehmens voran. Zuvor unterstützte er als Solutions Architect bei AWS Softwarehersteller auf ihrem Weg in die Cloud. Aktuell liegt sein Fokus auf Künstlicher Intelligenz und deren Potenzial, das Enterprise Content Management grundlegend zu transformieren.

[1] https://www.ey.com/de_de/insights/ai/ki-in-deutschland-nutzung-hoch-vertrauen-gering

Illustration: © Partho Pratim Sheal | Dreamstime.com

3529 Artikel zu „Verantwortung KI“

Digitalisierung | Favoriten der Redaktion | IT-Security | Künstliche Intelligenz | New Work | News | Services | Tipps | Whitepaper

KI nutzen, Risiken beherrschen: künstliche Intelligenz verantwortungsvoll, sicher und rechtssicher einsetzen

19. Oktober 2026

Künstliche Intelligenz ist im Unternehmensalltag angekommen. Mit ihrer zunehmenden Verbreitung wachsen jedoch nicht nur die wirtschaftlichen Chancen, sondern auch die rechtlichen, operativen und finanziellen Risiken. Der Bitkom-Leitfaden »Verantwortungsvoller KI-Einsatz: Risiken verstehen, steuern und versichern« zeigt, wie Unternehmen KI-Risiken systematisch erfassen, steuern und teilweise versichern können. Entscheidend ist nicht allein die eingesetzte Technologie. Ausschlaggebend sind…