Illustration Absmeier foto freepik

LLM-Jailbreak ermöglicht einfache Erstellung eines Password Stealers

Cato Networks, hat den Cato CTRL Threat Report 2025 veröffentlicht [1]. In diesem Threat Report zeigt das Unternehmen, wie ein Cato CTRL Threat Intelligence-Forscher ohne jegliche Erfahrung in der Programmierung von Malware populäre Generative AI (GenAI)-Tools – darunter DeepSeek, Microsoft Copilot und ChatGPT von OpenAI – erfolgreich dazu gebracht hat, Malware zu entwickeln. Diese Malware war sodann in der Lage, Anmeldedaten von Google Chrome zu stehlen.

Um ChatGPT, Copilot und DeepSeek zu überlisten, schuf der Sicherheitsforscher eine detaillierte fiktive Welt, in der jedes GenAI-Tool eine Rolle spielte – mit zugewiesenen Aufgaben und Herausforderungen. Durch dieses narrative Engineering konnte der Experte die Sicherheitskontrollen umgehen und die Beschränkungen der Operationen überwinden. Schließlich gelang es ihm, die GenAI-Tools davon zu überzeugen, einen Infostealer – also eine Malware zum Diebstahl von Daten – für Google Chrome zu schreiben. Diese neue LLM-Jailbreak-Technik wird »Immersive World« genannt.

»Infostealer spielen eine wichtige Rolle beim Diebstahl von Zugangsdaten, da sie es Angreifern ermöglichen, in Unternehmen einzudringen. Die neue LLM-Jailbreak-Technik, die wir aufgedeckt und Immersive World getauft haben, zeigt das gefährliche Potenzial der einfachen Erstellung eines Infostealers«, betont Vitaly Simonovich, Threat Intelligence Researcher bei Cato Networks. »Wir gehen davon aus, dass die Zunahme von Zero-Knowledge-Angreifern ein hohes Risiko für Unternehmen birgt, da die Hürde für die Erstellung von Malware mit GenAI-Tools nun deutlich niedriger geworden ist.«

Die zunehmende, sogenannte Demokratisierung der Cyberkriminalität ist ein wichtiges Thema für CIOs, CISOs und IT-Manager. Das Aufkommen von Bedrohungsakteuren, die über keinerlei Fachwissen verfügen, stellt eine grundlegende Veränderung der Bedrohungslandschaft dar. Der Bericht zeigt, wie jedermann von überall aus mit handelsüblichen Tools Angriffe auf Unternehmen starten kann. Dies unterstreicht die Notwendigkeit proaktiver und umfassender KI-Sicherheitsstrategien.

»Während sich die Technologiebranche auf GenAI konzentriert, ist klar, dass die Risiken genauso groß sind wie die potenziellen Vorteile. Unsere neue LLM-Jailbreak-Technik, die im Cato CTRL Threat Report 2025 beschrieben wird, hätte von den GenAI-Sicherheitsmaßnahmen blockiert werden müssen. Dies war jedoch nicht der Fall. Dadurch war es möglich, ChatGPT, Copilot und DeepSeek als Waffe einzusetzen«, sagt Etay Maor, Senior Security Strategist bei Cato Networks. »Unser Bericht unterstreicht die Gefahren, die mit GenAI-Tools verbunden sind, um darüber aufzuklären und ein Bewusstsein dafür zu schaffen, damit wir bessere Schutzmaßnahmen implementieren können. Dies ist entscheidend, um den Missbrauch von GenAI zu verhindern«.

[1] Der Cato CTRL Threat Report 2025 fasst die Ergebnisse von Cato CTRLs Analyse von 1,46 Billionen Netzwerk-Datenpunkten von mehr als 3.000 Unternehmenskunden weltweit im Jahr 2024 zusammen. Für die LLM-Jailbreaking-Untersuchung von Cato CTRL führte das Team seine Analyse in einer kontrollierten Testumgebung durch.

Download des Cato CTRL Threat Report 2025. Dies ist der erste jährliche Threat Report von Cato CTRL, dem Bedrohungsanalyse-Team von Cato Networks. Der Report widmet sich in diesem Jahr vor allem dem Thema KI. https://www.catonetworks.com/resources/2025-cato-ctrl-threat-report-rise-of-zero-knowledge-threat-actor/

5423 Artikel zu „KI Security“

Trends 2025 | News | Trends Security | IT-Security | Künstliche Intelligenz

KI & Cybersecurity: Drei Sicherheitstrends für 2025

11. Februar 2025

Die gute Nachricht: Dank KI werden Unternehmen 2025 noch mehr Möglichkeiten und fortschrittlichere Tools zur Verfügung stehen, mit denen sie ihre IT-Systeme und Mitarbeitenden effektiv vor Cyberangriffen schützen können. Die schlechte Nachricht: KI ist keine Technologie, die ausschließlich für gute Zwecke genutzt wird. Auch Cyberkriminelle werden sie sich zunutze machen, um Unternehmen gleich mehrere Schritte…