Illustration Absmeier foto freepik

Während Unternehmen und Privatpersonen ihre Abwehrmechanismen gegen traditionelle Phishing-Angriffe stetig verbessern, zeichnet sich am Horizont eine neue, möglicherweise noch gefährlichere Bedrohung ab: Die gezielte Manipulation und die Übernahme von KI-Agenten. Diese autonomen digitalen Assistenten, die im Namen ihrer Nutzer handeln und Zugriff auf sensible Konten und Systeme haben, könnten in naher Zukunft zur Achillesferse der digitalen Sicherheit werden. Wir schlagen dafür den Begriff AI-Jacking vor.

»Alexa, überweise meiner Tochter 20 Euro Taschengeld. Meine Voice-PIN ist 1102.«

Das Angriffsszenario: Aus den 20 Euro werden 20.000, dem Modell wurde vorher injiziert, Beträge bis 20 Euro als Tausender zu verstehen. Die Überweisungsdaten meiner Tochter wurden ebenfalls mit einem vorherigen Prompt verändert – jetzt hat sie wohl ein Bitcoin-Konto in Malta. Die Stimme? Kann gecloned werden. Die Voice-PIN? Abzufangen, denn die involvierten Devices können kaum als sicher gelten. Selbst mehrstufige Authentifizierungsverfahren könnten abhängig von der Autonomie des Agenten umgangen werden.

Betrug setzt immer an zwei Schwachstellen an: Lücken in Prozessen und menschlichem Versagen. Social-Engineering-Taktiken spielen zum Beispiel mit Emotionen, Zeitdruck oder dem Gehorsam ihrer Opfer gegenüber Autoritätspersonen zum Beispiel Polizisten oder Vorgesetzte).

Etablierte Betrugserkennungssysteme haben sich als effektiv erwiesen, klassische Angriffsmuster zu erkennen: durch Datenvernetzung, Wiedererkennung, Anomaliedetektion und Mustererkennung. Und diese Verfahren werden immer mehr durch selbstlernende Algorithmen unterstützt.

Wesentlich ist für die Prävention allerdings die Risikoanalyse. Wir müssen die Schwachstellen in den Prozessen kennen, um ihnen zu begegnen. Doch mit der Einführung autonomer KI-Agenten, die zunehmend Aufgaben für ihre Nutzer übernehmen, eröffnen sich neue Angriffsvektoren. Vor allem, weil wir die dahinterliegenden Prozesse nur eingeschränkt nachvollziehen können.

Warum KI-Agenten besonders verwundbar sind

Die Eigenschaften generativer KI-Systeme machen sie zu attraktiven Angriffszielen für Betrüger und Cyberkriminelle:

Strukturelle Schwachstellen:
Die Transformer-Architektur, auf der die meisten modernen KI-Agenten basieren, neigt zum »Halluzinieren« – dem Generieren plausibler, aber falscher Informationen. Das ist kein Fehler, sondern eine Begleiterscheinung der gewünschten Fähigkeit, neue Inhalte zu kreieren.
Ohne (unabhängige) Überprüfung der Ergebnisse nehmen wir diese Halluzinationen leicht als Wahrheit auf.

Weitreichende Zugriffsrechte:
Um effektiv im Namen ihrer Nutzer handeln zu können, benötigen KI-Agenten Zugang zu verschiedenen Systemen und Konten. Ein kompromittierter Agent wird damit zum Einfallstor.
»Hey Google, buch mir über Booking ein romantisches Hotel für mich und meine Freundin für das nächste Wochenende in Wien, 4-Sterne oder mehr.«
Je nach Kontext braucht der Assistent dazu verschiedene Rechte, hier einen Zugriff auf meinen Account bei Booking und Kreditkarteninformationen .

Nicht-deterministische Entscheidungsfindung:
Generative KI-Modelle bieten aufgrund ihrer Arbeitsweise verschiedene Angriffspunkte.
In einer Textgenerierung gehe ich davon aus, dass der beste Inhalt auf vorhandenen, qualitätsgesicherten Artikeln beruht oder vielleicht auch auf der Akzeptanz der User vorhergehender Texte – aber wer gibt das vor?
Dem Algorithmus kann als Ziel des »besten Inhalts” auch eine Meinungsveränderung oder ein Kaufverhalten vorgegeben werden. Diese Zielstellungen sind für mich nicht ersichtlich und damit nicht zu überprüfen.
Besonders kritisch ist, dass die Zielstellung eine KI dazu verleiten kann, menschliche Schwächen auszunutzen. Bestätigungsfehler, Katastrophisieren oder Verfügbarkeitsfehler sind nur einige Beispiele.
»Claude, welche Krankheiten treten in Thailand auf und wogegen sollte ich mich impfen lassen?«
Der unklare Prozess der Entscheidungsfindung ist dazu ein grundlegendes Problem für die Absicherung – die klassische Risikoanalyse der Prozessschritte scheidet praktisch aus. Aus Sicht der Prävention ist zurzeit nicht klar, wie der Prozess der Entscheidungsfindung auf Angriffsvektoren hin untersucht werden kann.

Automatisierung:
Die Autorisierung ist eine Herausforderung, da diese regelmäßig elektronisch über ein Gerät oder vernetzte Geräte erfolgt.
Insbesondere der Gewöhnungseffekt könnte hier schwierig werden: Wie genau schaue ich noch auf die einzeln abgefragten Bestätigungen in Multi-Faktor-Authentifizierungen, wenn die letzten zwanzig Anfragen einfach in Ordnung waren?

Nichtmenschliche Interaktionsmuster:
Bereits 2016 gewann eine KI im schwierigsten Brettspiel der Welt »GO” gegen den damaligen Weltmeister. Die KI nutzte dabei auch Züge, die von Profis nicht gespielt werden, weil sie in 2.500 Jahren Spielgeschichte als unsinnig galten. Das waren sie aber keineswegs; sie entsprachen nur nicht menschlicher Logik.
Das Fazit daraus: Bei einem Angriff durch eine hochentwickelte KI werden wir unerwartete und völlig neue Verhaltensweisen erleben.

Ressourcen und Zeit:
Ein menschlicher Angreifer gibt irgendwann auf. Eine KI wird endlos testen – das könnte unser Hase- und Igel-Spiel grundlegend verändern. Gleichzeitig kann sie viele Ressourcen selbst neu generieren, zum Beispiel Mailadressen, Webseiten, Dokumente, Bilder, Videos und Stimmen.

Angriffsvektoren der nächsten Generation

Die Methoden, die Cyberkriminelle im AI-Jacking einsetzen könnten, unterscheiden sich fundamental von traditionellen Phishing-Techniken:

Prompt Injection 2.0

Für aktuelle generative KI-Chatbots gibt verschiedene Beispiele, bei denen durch Prompt-Injection-Manipulation die Sicherheitsprotokolle umgangen werden. Dies wird bei der Nutzung von KI-Agenten deutlich gefährlicher.

Veränderung der Trainingsdaten

Können Trainingsdaten von Angreifern kompromittiert werden, ergeben sich einfachste und großflächig einsetzbare Angriffsmuster.

In einem Test wurden in einem Trainingsdatensatz für Gesichtserkennung Gesichter als »Sicher« gelabelt, bei denen die Personen einen Post-It auf der Stirn hatten. In der Folge war die Gesichtserkennung einfach mit einem Post-It auf der Stirn zu umgehen. Das Merkmal wurde von der KI als hoch signifikantes Sicherheitsmerkmal eingestuft.

Kontextuelle Manipulation

KI-Agenten sind darauf ausgelegt, Kontext zu verstehen und entsprechend zu reagieren. Diese Fähigkeit kann ausgenutzt werden, indem Angreifer Szenarien konstruieren, die den Agenten in eine Zwickmühle bringen, in der er »logischerweise« schädliche Aktionen ausführen muss.

Vertrauensketten-Exploitation

Da KI-Agenten oft mit anderen automatisierten Agenten interagieren, könnten Angreifer versuchen, diese Vertrauensketten auszunutzen. Ein kompromittierter Agent könnte dabei als trojanisches Pferd dienen, um weitere Systeme zu infiltrieren.

Wie kann man sich gegen KI-Agent-Phishing absichern?

Die Verteidigung gegen KI-Agent-Phishing erfordert einen mehrschichtigen Ansatz:

Architektonische Sicherheit

Entwickler müssen bereits beim Design der Agenten Sicherheitsmechanismen implementieren, die über traditionelle Authentifizierung hinausgehen. Dies könnte die Einführung von »Security Boundaries« umfassen – klar definierte Grenzen für Aktionen, die ein Agent ausführen darf. Bei der Autorisierung müssten verschiedene Verfahren eingesetzt und nach Kritikalität unterschieden werden.

Verhaltensanalyse und Device Intelligence

Das Verhalten von KI-Agenten kann mittels spezialisierter (Machine Learning-) Algorithmen überwacht werden, um anormale Aktionen frühzeitig zu erkennen. Hier bietet es sich an, Erfahrungen aus der Cybersecurity zu nutzen, zum Beispiel aus dem Bereich der Netzwerkanalyse.

Hilfreich sind dafür zusätzliche Datenquellen wie etwa Device Fingerprinting. Zum einen liefern diese Daten, die nur von einem kleinen, sehr hoch entwickelten Teil der Betrüger zu manipulieren sind, d.h. Ein Großteil der Angriffe kann besser identifiziert werden. Zum anderen sind diese Daten extrem hilfreich in der Positividentifizierung – denn gute Kunden manipulieren diese Daten nicht.

Trainingsblock

Damit ein Angriffssystem nicht automatisiert aus direkten Reaktionen lernt, ist zu klären, wann eine Aktion aufgehalten wird und welche Alternativen es gibt. Beispiele gibt es aus der Betrugsabwehr bei Dating-Plattformen oder bei Online-Casinos: In hoch entwickelten Präventionssystemen werden erkannte Betrüger in ein Spiegelsystem (»Honeypot«) geleitet, in dem sie keinen Schaden anrichten können.

Zero-Trust-Architektur

Die Implementierung eines Zero-Trust-Modells für KI-Agenten könnte dazu beitragen, das Schadenspotential bei erfolgreichen Angriffen zu minimieren. Jede Aktion des Agenten müsste dabei kontinuierlich validiert werden.

Zero-Trust bedeutet in diesem Umfeld: Jeder Prompt kommt möglicherweise von einem Angreifer.

Schon jetzt mit der Sicherheitsplanung beginnen

Die Bedrohung durch AI-Jacking wird mit der zunehmenden Verbreitung autonomer Systeme wachsen. Unternehmen sollten sich bereits jetzt darauf vorbereiten. Hier sind ein paar konkrete Handlungsempfehlungen:

Aufbau von Expertise im Bereich KI-Sicherheit
Klare Limits und Grenzen für Handlungen über KI-Agenten, die nur durch stark gesicherte Verfahren verändert werden dürfen
Entwicklung spezialisierter Sicherheitsframeworks für KI-Agenten
Integration von spezifischen Sicherheitsprotokollen in bestehende Cybersecurity-Strategien
Etablierung von Notfallprotokollen für kompromittierte KI-Agenten
Einführung von Machine-Learning-gestützter Verhaltensanalyse zur Identifikation anomaler Interaktionen mit KI-Agenten
Ergänzung der zur Prävention genutzten Datenquellen. Dies hilft auch bei der Abwehr anderer Angriffe

Die Herausforderung wird darin bestehen, die Vorteile autonomer KI-Agenten zu nutzen, ohne dabei neue, mitunter gravierende Sicherheitslücken zu schaffen. Dies erfordert ein Umdenken und die Entwicklung neuer Sicherheitsparadigmen, die den spezifischen Eigenschaften von KI-Systemen Rechnung tragen. Die Integration bewährter Betrugserkennungsmethoden in diese neuen Sicherheitskonzepte wird dabei eine zentrale Rolle spielen.

Wir wissen doch längst: Bequemlichkeit gewinnt. Und ist ein Risiko.

Dass hier das Thema Sicherheit eine größere Rolle spielen muss, werden wir erst lernen.

Wer haftet für Verluste aus AI-Jacking?

Interessant ist die Frage der Haftung für ein Fehlverhalten von teilautonomen KI-Agenten. Gerade unter der kommenden Payment-Service-Regulation könnte dies ein kritisches Thema werden. Geplant ist, die vorhandene Beweislast der Anbieter auch tatsächlich durchzusetzen. Noch ist aber unklar, wie ein tatsächliches Verschulden eines Kunden bewiesen werden soll und kann, insbesondere wenn Angebote von Unternehmen KI-Agenten unterstützen.

Das Kind ist noch nicht im Brunnen

AI-Jacking eröffnet eine neue Dimension für Angreifer, der traditionelle Abwehrmechanismen noch kaum Rechnung tragen. Die Eigenschaften generativer KI-Systeme machen sie zu attraktiven Angriffszielen, deren Absicherung neue Ansätze erfordert. Unternehmen und Organisationen sind gut beraten, sich frühzeitig mit dieser aufkommenden Bedrohung auseinanderzusetzen und schon im Vorfeld entsprechende Gegenmaßnahmen zu entwickeln.

Dirk Mayer, Head of Anti-Fraud Consultants bei RISK IDENT

354 Artikel zu „KI-Agenten Sicherheit“

News | Business Process Management | Geschäftsprozesse | IT-Security | Services | Strategien | Tipps

DORA: Fünf Chancen, um Cybersicherheit und Resilienz zu erhöhen

22. Juli 2025

Wie der Finanzsektor und dessen IT-Dienstleister ihre DORA-Hausaufgaben jetzt erledigen können. Der Digital Operational Resilience Act (DORA), welcher am 17. Januar 2025 in Kraft getreten ist, betrifft nicht nur Anbieter von Finanzdiensten, sondern auch deren IT-Dienstleister: Dazu gehören sowohl Partner und Distributoren, aber auch indirekte IT-Dienstanbieter, wie die Anbieter von IT-Sicherheitsplattformen. Der Kreis der…