foto magnific

Die Google Threat Intelligence Group (GTIG) hat ihren neuen Bericht »AI Threat Tracker: From Prompting to Autonomy – The Evolution of Adversarial AI« veröffentlicht. Der Report zeigt, wie sich der Einsatz von KI durch Cyberangreifer weiterentwickelt: von einfachen Prompts hin zu agentenbasierten, automatisierten Workflows, die mehrere Schritte eines Angriffs weitgehend selbstständig durchführen können.

Das Wichtigste im Überblick:

Von einfachen Prompts zu agentischer KI:

Angreifer setzen KI zunehmend nicht mehr nur für einzelne Aufgaben ein, sondern integrieren sie in automatisierte Angriffsketten. In einem von Mandiant untersuchten Fall kompromittierte ein Angreifer eine Cloud-Umgebung und nutzte anschließend ein autonomes Multi-Agenten-Framework, um innerhalb von weniger als sechs Stunden eine groß angelegte Kampagne zum Abgreifen von Zugangsdaten zu planen, aufzubauen und durchzuführen. Das System konnte Schwachstellen automatisiert scannen, Zugangsdaten ernten, Fehler beheben und IP-Adressen rotieren – ohne kontinuierliches Eingreifen eines Menschen.

Auch staatliche Akteure experimentieren mit agentischer KI: Eine mit der Volksrepublik China verbundene Gruppe versuchte, mit Gemini ein automatisiertes Penetration-Testing-Framework zu entwickeln, das Ziele selbstständig analysieren und Aufgaben wie Port-Scanning und Service-Erkennung durchführen sollte.

GTIG beobachtete zudem ein automatisiertes Reconnaissance- und Credential-Management-Framework, das mehr als 23.800 gestohlene Secrets in Echtzeit verwaltete – darunter API-Schlüssel für Cloud- und KI-Dienste.

KI wird über die gesamte Angriffskette eingesetzt:

Bedrohungsakteure nutzen generative KI inzwischen für nahezu alle Phasen eines Angriffs – von Aufklärung und Social Engineering über Malware-Entwicklung bis hin zu Post-Exploitation und Datenexfiltration.

China: Die Gruppe BASIN CASTLE setzt LLMs unter anderem ein, um hochwertige Ziele zu identifizieren, Social-Engineering-Inhalte zu erstellen und zu übersetzen, Malware zu verschleiern und Fehler bei Post-Exploitation-Kommandos zu beheben.

Iran: CALANQUE ION nutzt Gemini für OSINT-Recherchen, die Identifizierung von E-Mail-Adressen, Übersetzungen und die Erstellung lokalisierter Social-Engineering-Köder. Die Gruppe experimentiert zudem mit Reverse Engineering und dem Umgehen von Sicherheitsmechanismen.

Russland: SANDWORM RELIC nutzt Gemini unter anderem für automatisiertes Password Spraying, Endpoint-Fingerprinting und die Verschleierung von Command-and-Control-Infrastruktur.

Nordkorea: DPRK-nahe Akteure setzen KI für Zielprofiling, Phishing und die Erstellung gefälschter Lebensläufe, Jobbeschreibungen und Recruiter-Personas ein.

Open-Source- und KI-Lieferketten werden zum Angriffsziel:

Die zunehmende Verbreitung von KI-Coding-Tools und Open-Source-Komponenten erhöht die Angriffsfläche. Besonders im Fokus stehen Entwickler, AI Coding Assistants und LLM-Sicherheitsscanner. Der Cybercrime-Akteur UNC6780 (TeamPCP) kompromittierte unter anderem PyPI-, npm- und Docker-Hub-Ökosysteme und nutzte manipulierte MCP-Server, GitHub-Repositories und CI/CD-Umgebungen, um Zugangsdaten zu stehlen und Schadcode in Entwicklerumgebungen einzuschleusen.

Besonders relevant: Die Malware DUSTMAKER nutzt Prompt Injection, um KI-Coding-Assistenten dazu zu bringen, im Hintergrund Befehle auszuführen. Manipulierte Dateien werden dabei gezielt in versteckten Verzeichnissen wie .claude, .vscode oder .cursor platziert.

Proprietäre KI wird selbst zum Spionage- und Erpressungsziel:

GTIG beobachtet zunehmend Angriffe auf proprietäre KI-Modelle, Source Code, Prompts, Skills und Forschungsergebnisse. Betroffen sind nicht nur KI-Unternehmen, sondern unter anderem Organisationen aus Gesundheitswesen, Regierung, Militär sowie Medien und Unterhaltung.

Ein mit China verbundener Akteur kompromittierte Forschungsorganisationen in Nordamerika und versuchte, proprietäre KI-Forschung zu stehlen. In kompromittierten Cloud-Umgebungen wurde zudem lokale Open-Weight-KI-Infrastruktur aufgebaut, um kommerzielle API-Kontrollen zu umgehen und die Rechenressourcen der Opfer zu nutzen.

Bei mehreren Erpressungsfällen wurden proprietäre KI-Modelle, Source Code, Prompts und Forschung gestohlen und mit der Veröffentlichung der Daten gedroht.

KI-Accounts und Rechenleistung werden auf dem Schwarzmarkt gehandelt:

Angreifer stehlen zunehmend Zugangsdaten zu KI-Diensten und kompromittieren Unternehmens-Clouds, um deren Rechenleistung für eigene KI-Workloads zu missbrauchen (»LLMJacking«). Die Nachfrage nach gestohlenen Claude- und Gemini-Accounts sowie nach autonomen Coding-Umgebungen wie Cursor Pro und Devin ist 2026 deutlich gestiegen; die durchschnittlichen Preise auf Untergrund-Marktplätzen haben sich laut GTIG mehr als verdoppelt.

Noch kein »vollautonomer« Zero-Day-Angriff in freier Wildbahn:

GTIG beobachtet zwar eine deutliche Entwicklung hin zu automatisierten und agentischen Angriffen. Einen vollständig autonomen Angriff, bei dem KI selbstständig einen Zero-Day entdeckt und gegen ein Ziel eingesetzt hat, konnte GTIG im vergangenen Quartal jedoch noch nicht beobachten. Stattdessen setzen Angreifer KI bereits heute ein, um öffentlich bekannte Schwachstellen schneller in funktionierende Exploits umzuwandeln und komplexe Exploit-Ketten zu entwickeln.

[1] https://cloud.google.com/blog/topics/threat-intelligence/from-prompting-to-autonomy-the-evolution-of-adversarial-ai?hl=en

2853 Artikel zu „KI Angreifer“

IT-Security | Künstliche Intelligenz | News

Maschinelle Identitäten von KI-Lösungen stehen zunehmend im Fokus der Angreifer

21. Oktober 2024

Menschliche und maschinelle Identitäten stellen durch die Zugriffsmöglichkeiten auf kritische Ressourcen für jedes Unternehmen ein großes Sicherheitsrisiko dar. Durch die zunehmende Nutzung von Lösungen der generativen KI steigt gerade die Gefahr von Attacken auf KI-Maschinen-Identitäten. Drei Angriffsszenarien könnten in naher Zukunft Probleme bereiten. Welchen Abwehrmechanismus gibt es? Maschinelle Identitäten sind heute der wichtigste Treiber…