Illustration Absmeier foto freepik

Guardian Agents gewährleisten die Zuverlässigkeit und Sicherheit von KI-Prozessen – besonders im Hinblick auf steigende Risiken.

Laut Einschätzung von Gartner werden Guardian-Agent-Technologien bis zum Jahr 2030 mindestens 10 bis 15 % des Marktes für agentenbasierte Künstliche Intelligenz ausmachen.

Guardian Agents sind KI-basierte Technologien, die speziell für vertrauenswürdige und sichere Interaktionen mit KI-Systemen entwickelt wurden. Sie übernehmen dabei eine doppelte Rolle: Einerseits agieren sie als Assistenten, die Nutzer bei Aufgaben wie der Überprüfung, Überwachung und Analyse von Inhalten unterstützen. Andererseits entwickeln sie sich zunehmend zu halbautonomen oder sogar vollständig autonomen Agenten, die eigenständig Aktionspläne erstellen und umsetzen können – einschließlich der Fähigkeit, Handlungen umzulenken oder zu blockieren, um sie auf vorher definierte Ziele auszurichten.

Warum Richtlinien für Agentic AI unerlässlich sind

Eine aktuelle Webinar-Umfrage von Gartner unter 147 CIOs und IT-Führungskräften, die im Mai 2025 durchgeführt wurde, zeigt: 24 % der Befragten setzen bereits erste KI-Agenten (weniger als ein Dutzend) ein, weitere 4 % nutzen eine größere Anzahl solcher Systeme.

Die Umfrage ergab außerdem, dass sich 50 % der Teilnehmer derzeit in der Evaluations- oder Testphase befinden. Weitere 17 % gaben an, noch keine entsprechenden Maßnahmen ergriffen zu haben, planen jedoch, bis spätestens Ende 2026 mit der Implementierung zu beginnen. Um diese Systeme wirksam zu koordinieren und abzusichern, sind automatisierte Kontrollen in den Bereichen Vertrauen, Risiko und Sicherheit erforderlich – was die Nachfrage nach Guardian Agents weiter antreibt.

»Agentenbasierte KI ohne Richtlinien kann zu unerwünschten Ergebnissen führen«, sagte Avivah Litan, VP und Distinguished Analyst bei Gartner: »Wenn agentenbasierte KI-Systeme nicht mit klaren Leitplanken ausgestattet sind, können sie Fehlentscheidungen treffen oder Sicherheitsrisiken verursachen. Guardian Agents setzen auf ein breites Spektrum agentischer Fähigkeiten und deterministischer, KI-gestützter Bewertungen. Dadurch sind sie in der Lage, sämtliche Aktivitäten der Agenten zu überwachen, gezielt zu steuern und dabei eine Balance zwischen dynamischer Entscheidungsfindung und konsequentem Risikomanagement herzustellen.«

Risiken steigen mit zunehmender Leistung und Verbreitung von Agenten

Zweiundfünfzig Prozent der 125 Teilnehmer derselben Webinar-Umfrage gaben an, dass sich ihre KI-Agenten in erster Linie auf Anwendungsfälle im Zusammenhang mit internen Verwaltungsfunktionen wie IT, HR und Buchhaltung konzentrieren oder konzentrieren werden, während 23 % auf externe, kundenorientierte Funktionen ausgerichtet sind.

Da die Anwendungsfälle für KI-Agenten weiter zunehmen, gibt es mehrere Bedrohungskategorien Dazu gehören Eingabemanipulation und Data Poisoning, bei denen sich Agenten auf manipulierte oder falsch interpretierte Daten verlassen. Beispiele hierfür sind:

Entführung und Missbrauch von Zugangsdaten, die zu unbefugter Kontrolle und Datendiebstahl führen.
Agenten, die mit gefälschten oder kriminellen Websites und Quellen interagieren, was zu vergifteten Aktionen führen kann.
Agentenabweichungen und unbeabsichtigtes Verhalten aufgrund interner Fehler oder externer Auslöser, die zu Rufschädigung und Betriebsunterbrechungen führen können.

»Die rasante Beschleunigung und die zunehmende Handlungsfähigkeit von KI-Agenten machen einen Wandel jenseits der traditionellen menschlichen Aufsicht erforderlich«, so Litan. »Da sich Unternehmen auf komplexe Multi-Agenten-Systeme zubewegen, die mit halsbrecherischer Geschwindigkeit kommunizieren, können Menschen mit dem Potenzial für Fehler und bösartige Aktivitäten nicht Schritt halten. Diese eskalierende Bedrohungslage unterstreicht den dringenden Bedarf an Guardian Agents, die eine automatisierte Überwachung, Kontrolle und Sicherheit für KI-Anwendungen und Agenten bieten.«

CIOs sowie Sicherheits- und KI-Verantwortliche sollten sich auf drei primäre Nutzungstypen von Guardian Agents konzentrieren, um zur Sicherung und zum Schutz von KI-Interaktionen beizutragen:

Prüfer: Identifizierung und Überprüfung von KI-generierten Ausgaben und Inhalten auf Richtigkeit und akzeptable Nutzung.
Überwacher: Beobachtung und Verfolgung von KI- und Agentenaktionen für menschliche oder KI-basierte Folgemaßnahmen.
Schützer: Anpassung oder Blockierung von KI- und Agentenaktionen und -berechtigungen durch automatisierte Aktionen während des Betriebs.

Guardian-Agenten werden Interaktionen und Anomalien unabhängig von der Art der Nutzung verwalten. Dies ist eine wichtige Säule ihrer Integration, da Gartner prognostiziert, dass 70 % der KI-Anwendungen bis 2028 Multi-Agenten-Systeme nutzen werden.

[1] Gartner-Kunden können mehr lesen in Wächter der Zukunft: Wie CIOs Guardian Agents für vertrauenswürdige und sichere KI nutzen können. Weitere Details finden Sie auch im kostenlosen Webinar von Gartner CIOs, nutzen Sie Guardian Agents für vertrauenswürdige und sichere KI.

146 Artikel zu „Agentic AI“

News | IT-Security | Künstliche Intelligenz

Agentic AI läutet die 3. KI-Revolution in der Cybersecurity ein

22. Mai 2025

Revolutionen kommen öfter vor, als man denkt. In der Cybersecurity gab es beispielsweise bereits mehrere Revolutionen, in denen neue Technologien wie künstliche Intelligenz und Machine Learning alles bisher Dagewesene auf den Kopf stellten. (Ein)Blick in die Geschichte, die Gegenwart und die Zukunft der KI-Revolutionen im Cybersecurity-Bereich. KI verändert jeden Bereich unseres Lebens – von…