Generative KI hat das Potenzial, die Leistung von Sicherheitsteams zu maximieren – es müssen aber auch die damit verbundenen Herausforderungen gemeistert werden. Es gilt Risiken und potenziellen Missbrauch zu minimieren. Was ist bei der Einführung generativer KI-Technologie zu beachten?

Das CrowdStrike Counter Adversary Operations Team bestätigt im Global Threat Report 2024, dass generative KI im Jahr 2024 wahrscheinlich für böswillige Cyberaktivitäten eingesetzt werden wird, da die Technologie immer weiter an Popularität gewinnt. Unternehmen müssen darauf vorbereitet sein, ihnen mit gleichwertigen, wenn nicht sogar überlegenen Maßnahmen entgegenzuwirken. Generative KI geht einen Schritt weiter und ermöglicht es, komplexe Sicherheitsbedrohungen proaktiv anzugehen, da sie in der Lage ist, eigenständig Lösungen zu generieren und sich an sich verändernde Angriffsmuster anzupassen. Diese innovative Technologie hat das Potenzial, die Leistung von Sicherheitsteams zu maximieren, sowohl in Bezug auf Volumen als auch Geschwindigkeit.

Es ist also eine Sicherheitsplattform erforderlich, deren Herzstück KI ist und die zusammen mit dem menschlichen Fachwissen ihre kritischen Werte vom Endpunkt und darüber hinaus schützen kann. Obwohl die Einführung von generativer KI durch Sicherheitsteams in Unternehmen nicht durch die Risiken behindert werden sollte, ist es dennoch wichtig, das Bewusstsein für die potenziellen Gefahren zu schärfen. Auf folgende Faktoren müssen Unternehmen bei der Einführung generativer KI achten:

Vermeidung von KI-Halluzinationen
KI-Halluzinationen sind ungenaue und irreführende oder sogar abwegige Antworten auf Benutzerfragen. Derartige »Halluzinationen« in Produkten mit Large Language Models (LLM) für Verbraucher können lustig bis absurd sein – im Sicherheitsbereich jedoch stellt Ungenauigkeit keinen Anlass zur Belustigung dar [1]. Falsche Sicherheitsinformationen können schwerwiegende Folgen für ein Unternehmen haben, von unterbrochenen Abläufen über eine geschwächte Risikoposition bis hin zu einem unbemerkten Sicherheitsverstoß.

Aus diesem Grund ist es notwendig, eine generative, KI-basierte Cybersecurity-Lösung zu nutzen, die präventive Maßnahmen ergreift, um sicherzustellen, dass KI-Systeme genaue und zuverlässige Ergebnisse liefern. Crowd-Strike hat mit Charlotte AI einen neuen generativen KI-Assistenten für Sicherheitsoperationen entwickelt, der in erster Linie darauf ausgelegt ist, wahrheitsgemäß zu sein. Die Gewährleistung der Genauigkeit von Charlotte AI ergibt sich aus drei Schlüsselbereichen: die revolutionäre Multi-Modell-Architektur, die zur Feinabstimmung der Modelle verwendeten Daten und die Daten, auf die -Charlotte AI Zugriff hat.

Schutz der personenbezogenen Kundendaten
Generative KI-Technologie wirft auch kritische Fragen zum Datenschutz auf. Die Nutzer sollten wissen, welche Daten – wenn überhaupt – mit Drittanbietern geteilt werden. Die Verarbeitung personenbezogener Daten durch generative KI sollte im Einklang mit den entsprechenden Datenschutzbestimmungen stehen. Charlotte AI beispielsweise übermittelt sensible Daten durch die Technologien vertrauenswürdiger Partner, wie AWS Bedrock, und nicht durch Dienste, die Benutzerfragen zur Analyse ihrer Modelle nutzen [2]. Auf diese Weise bekommen Kunden die im Rahmen der Datenschutzgarantien bestmögliche Antwort auf ihre Frage. Außerdem sollten die Nutzer auch wissen, auf welchen Daten die LLMs in ihren Produkten trainiert werden.

Verhinderung der unbefugten Offenlegung von Daten
Sicherheitsbedenken im Zusammenhang mit generativer KI können in Form von internen und externen Risiken auftreten. Unternehmen werden intern mit unterschiedlichsten Risiken konfrontiert. Zum einen stellt sich die Frage, wie die unberechtigte Veröffentlichung von Daten innerhalb der Organisation verhindert wird. Zum anderen muss geklärt werden, wer letztendlich verantwortlich und rechenschaftspflichtig für Maßnahmen ist, die auf der Grundlage von Informationen ergriffen werden, die von generativer KI bereitgestellt wurden. Extern sollten Unternehmen auch darüber nachdenken, wie sie ihre Produkte vor gegnerischen Manipulationen schützen, zum Beispiel durch Prompt Injections oder Prompt Leaks.

Eine Kombination mehrerer Maßnahmen hilft dabei, die unbefugte Offenlegung von Daten bei generativer KI zu minimieren und sicherzustellen, dass Datenschutzrichtlinien und -standards eingehalten werden:

Rollenbasierte Zugriffskontrollen: Unternehmen müssen strenge Zugriffskontrollen und rollenbasierte Zugriffsrichtlinien (RBAC) implementieren, um sicherzustellen, dass nur autorisierte Benutzer Zugriff auf die generativen Modelle und die dazugehörigen Daten haben und diese nur im Rahmen der ihrer Rolle zugewiesenen Privilegien arbeiten. Dies kann durch Authentifizierung, Autorisierung und Überwachung erreicht werden.

Der Analyst ist die Autorität: Obwohl der Mensch oft als das vermeintlich schwächste Glied in der Sicherheitsstruktur gilt, sind die von Analysten bereitgestellten Fakten und der Kontext eine der größten Stärken der Cybersicherheit. In einem KI-nativen SOC wird der Analyst bei der Überprüfung, Entscheidung und Autorisierung von Sicherheitsoperationen, die durch die Ergebnisse der generativen KI unterstützt werden, weiterhin eine wichtige Rolle spielen. Letztendlich obliegt es den Sicherheitsanalysten, die Expertise einer generativen, KI-basierten Cybersecurity-Lösung zu steuern und zu entscheiden, welche strategischen Maßnahmen in ihrer Umgebung ergriffen werden müssen. Wenn ein Analyst beispielsweise eine Host-Gruppe identifiziert hat, kann die KI eine empfohlene Handlungsanweisung erstellen, aber es obliegt dem Benutzer, die Anweisung zu überprüfen und auszuführen.

Verhinderung von Prompt Injection und Prompt Leakage: Prompt Injection, eine Methode, bei der generative KI mit Informationen gefüttert wird, damit Eingabedaten mit Anweisungen verwechselt werden, hat bei Sicherheitsforschern, die mit Tools wie dem KI-Chatbot Sydney von Bing interagieren, große Aufmerksamkeit erregt [3]. Forscher haben auch auf das Risiko hingewiesen, dass Bedrohungsakteure Schwachstellen in Benutzerumgebungen aufdecken, indem sie generative KI-Systeme dazu bringen, ihre anfänglichen Anweisungen oder Meta-Prompts preiszugeben (bekannt als Prompt Leakage), wodurch die systeminterne Konfiguration und Daten offengelegt werden. Eine generative, KI-basierte Cybersecurity-Lösung muss also so konzipiert sein, dass sie mehrere Schutzmechanismen gegen diese Art von Angriffen bietet.

CrowdStrike hat bereits den Versuch einer Hacktivistengruppe beobachtet, ein Spam-Tool mit generativer KI zu erstellen, um pro-aserbaidschanische Botschaften zu verbreiten. Um mit den Gegnern mithalten zu können, müssen Cybersicherheitsexperten generative KI nutzen, um den Wert ihrer vorhandenen Sicherheitstools zu maximieren und bei der Reaktion auf Sicherheitsvorfälle aus vielen Stunden Arbeitsaufwand Minuten oder Sekunden zu machen. Das ist besonders wichtig, wenn man die derzeitige Qualifikationslücke in der Cybersecurity-Branche betrachtet. Obwohl der Einsatz von generativer KI vielversprechend ist, müssen auch die damit verbundenen Herausforderungen berücksichtigt werden. Wie jede andere Technologie muss auch diese verantwortungsvoll eingesetzt werden, um Risiken und potenziellen Missbrauch zu minimieren.

Marian Radu, Sr.
Director, Generative AI,
CrowdStrike

[1] https://www.nytimes.com/2023/05/01/business/ai-chatbots-hallucination.html

[2] https://www.crowdstrike.com/press-releases/
crowdstrike-and-aws-to-accelerate-ai-development-in-cybersecurity/

[3] https://www.vice.com/en/article/7kxzzz/hackers-bing-ai-scammer

Illustration: © Zniehf | Dreamstime.com | AI generated

3217 Artikel zu „Sicherheit KI Team“

Trends 2024 | News | Trends Security | IT-Security | Künstliche Intelligenz

DevSecOps-Teams zweifeln an der Sicherheit von KI-generiertem Code

9. Oktober 2024

Die Umfrage analysiert das »Tauziehen«, das KI-gestützte Codierungstools im Software-Entwicklungsprozess hervorrufen. Der Bericht »Global State of DevSecOps 2024« von Black Duck Software, Inc. (»Black Duck«) analysiert Trends, Herausforderungen und Chancen, die sich auf die Software-Sicherheit auswirken. Die Daten belegen, dass der umfassende Einsatz von KI die Art und Weise, wie Software entwickelt wird, grundlegend…

Marian Radu, Sr. Director, Generative AI, CrowdStrike

[1] https://www.nytimes.com/2023/05/01/business/ai-chatbots-hallucination.html

[2] https://www.crowdstrike.com/press-releases/ crowdstrike-and-aws-to-accelerate-ai-development-in-cybersecurity/

[3] https://www.vice.com/en/article/7kxzzz/hackers-bing-ai-scammer

3217 Artikel zu „Sicherheit KI Team“

Marian Radu, Sr.
Director, Generative AI,
CrowdStrike

[2] https://www.crowdstrike.com/press-releases/
crowdstrike-and-aws-to-accelerate-ai-development-in-cybersecurity/