Illustration Absmeier foto freepik

Die Google Threat Intelligence Group (GTIG) hat den Bericht »Adversarial Misuse of Generative AI« veröffentlicht, in dem die Sicherheitsexperten darüber aufklären, wie Bedrohungsakteure derzeit generative KI wie Gemini für ihre Angriffe nutzen. Die wichtigsten Ergebnisse zusammengefasst:

• Die Bedrohungsakteure experimentieren mit Gemini, um ihre Operationen zu unterstützen und werden dadurch produktiver, entwickeln aber noch keine neuen Fähigkeiten. Derzeit nutzen sie KI hauptsächlich für die Recherche, die Fehlersuche im Code und die Erstellung und Lokalisierung von Inhalten.
• APT-Akteure (Advanced Persistent Threat) nutzten Gemini zur Unterstützung mehrerer Phasen des Angriffslebenszyklus. Dazu gehören die Erforschung potenzieller Infrastrukturen und kostenloser Hosting-Anbieter, die Recherche über Zielorganisationen, die Erforschung von Schwachstellen, die Entwicklung von Nutzdaten und die Unterstützung bei bösartigen Skripten und Umgehungstechniken. Iranische APT-Akteure waren die stärksten Nutzer von Gemini und setzten es für eine Vielzahl von Zwecken ein. Bemerkenswert ist, dass russische APT-Akteure Gemini während des Analysezeitraums nur in begrenztem Umfang nutzten.
• IO-Akteure (Information Operations) nutzten Gemini für Recherchen und die Erstellung von Inhalten. Dazu gehören die Entwicklung von Personas und Botschaften, die Übersetzung und Lokalisierung von Inhalten sowie die Suche nach Möglichkeiten zur Erhöhung ihrer Reichweite. Auch hier waren iranische IO-Akteure die stärksten Nutzer von Gemini, auf die drei Viertel der gesamten Nutzung durch IO-Akteure entfielen. Die Experten haben beobachtet, dass chinesische und russische IO-Akteure Gemini hauptsächlich für allgemeine Recherchen und die Erstellung von Inhalten nutzen.
• Die Sicherheitsmaßnahmen von Gemini verhinderte die Erstellung von Inhalten, die die Fähigkeiten der Bedrohungsakteure maßgeblich verbessern würden. Gemini leistete Unterstützung bei allgemeinen Aufgaben wie der Erstellung von Inhalten, Zusammenfassungen, der Erläuterung komplexer Konzepte und sogar bei einfachen Codierungsaufgaben. Die Anfrage nach aufwändigeren oder explizit bösartigen Aufgaben löste eine Sicherheitsreaktionen von Gemini aus.
• Bedrohungsakteure versuchten erfolglos, Gemini für den Missbrauch von Google-Produkten zu nutzen, einschließlich der Erforschung von Techniken für Gmail-Phishing, Datendiebstahl, Programmierung eines Chrome-Infostealers und Umgehung der Google-Kontoverifizierungsmethoden.
• Die Experten haben keine anhaltenden Versuche von Bedrohungsakteuren beobachtet, Prompt-Angriffe oder andere auf maschinelles Lernen (ML) ausgerichtete Bedrohungen einzusetzen. Anstatt maßgeschneiderte Prompts zu entwickeln, nutzten die Bedrohungsakteure einfachere Maßnahmen oder öffentlich verfügbare Jailbreak-Prompts, mit denen sie aber an den Sicherheitskontrollen von Gemini scheitern.

Weitere Blog-Artikel, die Google heute zum Thema Cybersecurity und KI veröffentlicht hat:

• Research: Evaluating the Adversarial Robustness of Gemini in Security-Critical Settings: Das Agentic AI Security Team von Google teilt mit, wie es »indirekte Prompt-Injection-Angriffe« durch die aktive Bereitstellung von Verteidigungsmaßnahmen in seinen KI-Systemen und die Verwendung von Tools wie dem Evaluierungs-Framework, das die Anfälligkeit eines KI-Systems für solche Angriffe automatisch überprüft, bekämpft.
• Blog: Recommendations on how to securely create and distribute AI models: Das Google Open Source Security Team erinnert Entwickler daran, die Modellsicherheit von Beginn der Entwicklung an zu berücksichtigen und gibt eine Liste mit Empfehlungen zur sicheren Erstellung und Verteilung von KI-Modellen heraus.

4800 Artikel zu „Cyber KI“