KI: Diese Angriffsszenarien auf ihre KI-Modelle sollten Unternehmen kennen

Illustration Absmeier foto freepik ki

Rasend schnell gewinnt KI an Bedeutung und erobert immer mehr Branchen und Unternehmen. Deshalb nehmen Cyberkriminelle verstärkt die KI-Modelle selbst ins Visier und versuchen beispielsweise, sie so zu manipulieren, dass sie sensible Daten preisgeben oder falsche Ergebnisse liefern. Dell Technologies listet die gängigen Angriffsarten auf.

 

Das Wissen um die Bedrohungen hilft Unternehmen, Risiken richtig einzuschätzen, sinnvolle Prioritäten zu setzen und geeignete Sicherheitsmaßnahmen einzuleiten. Diese Aufgaben obliegen allerdings nicht allein dem Security-Team, denn Sicherheit muss von Anfang an mitgedacht werden – schon bei der Entwicklung und dem Training der Modelle. Idealerweise arbeiten daher Sicherheitsspezialisten, KI-Experten und Software-Entwickler gemeinsam am Schutz von KI-Modellen und Daten. Folgende Bedrohungsszenarien sollten sie dabei berücksichtigen:

  • Modelldiebstahl:

    Da die Entwicklung und das Training von KI-Modellen sehr teuer und aufwendig sind, ist es für Cyberkriminelle attraktiv, Modelle zu stehlen oder günstig nachzubauen. Finden sich keine Sicherheitslücken, um gleich das gesamte Modell zu kopieren, können massenhafte Abfragen umfangreiche Informationen zu seinem Verhalten, den Gewichtungen und Parametern sowie zu den Trainingsdaten liefern. Damit lässt sich dann ein vergleichbares Modell erstellen.

  • Data Poisoning:

    Durch die Veränderung oder den Austausch von Trainingsdaten können Angreifer ein KI-Modell schwächen. Es arbeitet dann weniger genau oder wird unbrauchbar – möglicherweise auch nur in einem einzigen Bereich. Es lassen sich sogar Hintertüren einbauen: Das Modell liefert dann bei einem bestimmten Input – dem sogenannten Trigger – ein vom Angreifer gewünschtes Ergebnis. Es führt beispielsweise eine vorgegebene Aktion aus oder übersieht eine Bedrohung.

  • Model Inversion:

    Wie beim Modelldiebstahl wird die KI mit zahllosen Anfragen gefüttert – allerdings nicht, um Informationen zur Funktionsweise zu erhalten, sondern um sie zur Ausgabe von Trainingsdaten zu bewegen oder aus ihren Antworten bestimmte Trainingsdaten zu rekonstruieren. Auf diese Weise können schützenswerte Informationen – etwa personenbezogene Daten oder wertvolles geistiges Eigentum – aus dem Unternehmen abfließen.

  • Perturbation-Angriffe:

    Hier werden die Eingabedaten so manipuliert, dass die KI beispielsweise ungenaue Vorhersagen trifft, Daten falsch klassifiziert oder ein bestimmtes Ereignis übersieht. Dafür reichen schon kleine Veränderungen an Sensordaten, Texten oder Bildern. Die Auswirkungen können weitreichend sein, wenn es sich um kritische Systeme etwa zur Erkennung von Cyberangriffen oder zur Erkennung von Verkehrsschildern beim autonomen Fahren handelt.

  • Prompt Injection:

    Mit geschickt formulierten Anfragen versuchen Cyberkriminelle, die KI zu einem unerwünschten Verhalten zu bewegen. In harmlosen Fällen soll sie nur Schimpfworte verwenden oder andere unangemessene Inhalte ausgeben. Schwerer wiegt es, wenn es den Angreifern gelingt, ihr vertrauliche oder gefährliche Inhalte zu entlocken, etwa sensible interne Daten oder schädlichen Code.

  • Rewards Hacking:

    Beim Reinforcement Learning, dem bestärkenden oder verstärkenden Lernen, erhält die KI regelmäßig Feedback zu ihren Entscheidungen. Auf diese Weise lernt sie Schritt für Schritt, welche Entscheidung in einer bestimmten Situation die beste ist. Gelingt es Angreifern allerdings, das Belohnungssystem (Rewards System) zu manipulieren, trainiert sich die KI ein falsches oder nicht optimales Verhalten an und kann ihre künftigen Aufgaben nur unzureichend erfüllen.

  • DoS- und DDoS-Angriffe:

    Mit Denial-of-Service- beziehungsweise Distributed-Denial-of-Service-Angriffen lassen sich KI-Systeme überlasten, sodass sie besonders viele Ressourcen verbrauchen oder ihre Aufgaben nicht mehr wahrnehmen können. Damit werden wichtige Geschäftsprozesse im Unternehmen gestört oder Sicherheitssysteme lahmgelegt, um einen anderen Angriff vorzubereiten.

  • Kompromittierung der Lieferkette:

    Bei dieser Angriffsvariante kompromittieren Cyberkriminelle die Hardware und Software, die Unternehmen für die KI-Entwicklung und den KI-Einsatz von Dritten beziehen. Da die Infrastrukturen und Software-Stacks für KI meist sehr komplex sind, gibt es viele Systeme, Tools und Bibliotheken, die dafür in Frage kommen – selbst vortrainierte Modelle lassen sich manipulieren, wenn deren Anbieter sie nicht ausreichend schützen. Für die Angreifer reicht es, ein einziges schwaches Glied in der Lieferkette zu finden, um sich Zugang zu den KI-Systemen eines Unternehmens zu sichern.

 

»Für KI ist ein umfassendes Sicherheitskonzept notwendig, das weit über Security-Basics wie sichere Zugriffskontrollen, Verschlüsselung und Angriffserkennung hinausgeht«, betont Christian Scharrer, Enterprise Architect und CTO Ambassador bei Dell Technologies in Deutschland. »Unternehmen müssen sowohl Trainings- als auch Input-Daten sorgfältig validieren und bereinigen und sogenannte Guardrails implementieren, die alle Ein- und Ausgaben überprüfen. Darüber hinaus benötigen sie Tools, die sie bei der Überwachung der Modelle unterstützen und Leistungsveränderungen erkennen – und natürlich sichere Lieferketten für Hardware und Software.«

 

4632 Artikel zu „Angriff KI“

Sicherheitsprobleme bei Grok: Unkontrollierte KI vergrößert die Angriffsfläche

Das neueste Grok-Debakel liest sich wie eine Fallstudie darüber, wie man keinen AI-Chatbot auf den Markt bringt. Elon Musks xAI, frisch aus dem Hype-Zyklus für Grok 4.0, befand sich im Schadensbegrenzungsmodus, nachdem der Bot antisemitische Klischees verbreitet, Hitler gelobt und mit einer Art von »Wahrheitssuche«-Rhetorik nachgelegt hatte, die zu einem Dog-Whistle für »alles ist erlaubt«…

Cybersecurity 2025: Identitätskonvergenz, PrivateGPTs und KI-Angriffen

2024 wurde die IT von zahlreichen Innovationen etwa bei der künstlichen Intelligenz und bei großen Sprachmodellen geprägt. Auch neue Angriffsvektoren wie das KI-Modell-Jailbreaking oder das Prompt Hacking sind entstanden. Ein Blick auf die Trends des Jahres 2025. 2025 wird wieder eine Reihe von neuen Entwicklungen, Herausforderungen und Chancen in der IT und Cybersicherheit mit sich…

Bedrohungslandschaft: Bösartige Links, KI-gestützte Tools und Angriffe auf KMU nehmen zu

Bedrohungslandschaft auf Basis der Analyse von 1,7 Milliarden E-Mails pro Tag kartiert. Daraus ergeben sich Handlungsempfehlungen zur Verbesserung der Cyberabwehr.   Laut dem Report »Global Threat Intelligence-Report für das erste Halbjahr 2024« von Mimecast sind bösartige Links und KI-gesteuerte Serviceplattformen weiterhin die größten Herausforderungen für Cybersicherheitssysteme. Der Großteil der untersuchten Angriffe hat kleine Unternehmen zum…

Zero Trust gegen KI-basierte Cyberangriffe

Das Thema künstliche Intelligenz ist weiterhin omnipräsent. KI wird ein ähnliches Potenzial nachgesagt wie der Dampfmaschine oder dem elektrischen Strom. Auch der Bereich der Cybersicherheit wird durch KI umgekrempelt.   Insbesondere KI-basierte Angriffe und die beste Verteidigung dagegen stehen in vielen Diskussionen im Fokus. KI-basierte Angriffe sind sehr wahrscheinlich noch raffinierter, zielgerichteter und hartnäckiger als…

KI vs. KI: Wie künstliche Intelligenz hilft, KI-generierte BEC-Angriffe abzuwehren

Nennen wir ihn John, Manager auf der mittleren Unternehmensebene. In seiner Funktion war es ihm bislang nicht in den Sinn gekommen, die Rechnungen seines langjährigen Lieferanten in Frage zu stellen. Folglich zögerte er nicht, der dringenden Dienstanweisung seines »CEO« Folge zu leisten, und eine bestimmte Summe auf ein scheinbar neues, anderes Konto zu transferieren. Eine…

Angriffsversuche auf Banking-Apps nehmen deutlich zu

Mit einer neuen Sicherheitsstudie dokumentiert Zimperium, Sicherheitsexperte für Echtzeitschutz auf Mobilgeräten, das gestiegene Risiko für Finanzinstitute und Verbraucher durch Trojanerangriffe auf Mobile-Banking-Apps. Der Bericht über die aktuelle Gefahrenlage im Finanzsektor identifiziert 29 Malware-Familien, die insgesamt 1.800 mobile Bank- und Finanz-Apps in 61 Ländern im zurückliegenden Jahr angegriffen haben. In Deutschland waren 23 Finanzinstitute von Malware-Angriffen betroffen.…

Sicherheitsvorhersagen für 2024: KI-unterstützte Cyberangriffe auf dem Vormarsch

Sicherheitsexperten warnen vor der transformativen Rolle von generativer künstlicher Intelligenz (KI) für die Cyber-Bedrohungslandschaft sowie einer neuen Welle an ausgeklügelten Social-Engineering-Taktiken und Identitätsdiebstahl mithilfe von KI-gestützten Tools.   Trend Micro stellt seine Cybersicherheitsvorhersagen für das kommende Jahr vor [1]. Die breite Verfügbarkeit und verbesserte Qualität generativer KI in Verbindung mit Generative Adversarial Networks (GANs) zur…

So schlecht ist der deutsche Mittelstand auf Hacking-Angriffe vorbereitet

Knapp 42 Prozent der befragten Unternehmen haben sich bisher nicht ausreichend mit der Thematik befasst. Rund 70 Prozent der Unternehmen fühlen sich trügerischerweise nicht bedroht.   CyberDirekt, die erste digitale Plattform für Cybergefahren und deren Absicherung, präsentiert die »CyberDirekt Risikolage 2022«. Die repräsentative Studie in Zusammenarbeit mit dem Düsseldorfer Forschungsinstitut INNOFACT zeigt, dass es in…

Conversation Hijacking: Best Practices zum Schutz vor hochpersonalisierten Angriffen

Beim Conversation Hijacking klinken sich Cyberkriminelle in bestehende Geschäftskonversationen ein oder initiieren neue Konversationen auf Grundlage von ausgespähten Informationen. Conversation Hijacking ist häufig Teil einer E-Mail-Kontenübernahme: Hierbei überwachen Kriminelle das kompromittierte Konto, um Unternehmensvorgänge, Geschäftsaktivitäten, Zahlungsverfahren und andere Details auszuspionieren. Die gekaperten Konten selbst nutzen Angreifer jedoch eher selten für Conversation Hijacking, da der Kontobesitzer…

Verantwortungsbewusster Einsatz von KI-Agenten: Maßnahmen und Empfehlungen

Es gibt mehr Herausforderungen und Risiken, die mit der Einführung von KI-Agenten in Unternehmen verbunden sind, als bisher angenommen. Gerade Unternehmen, die bereits KI-Agenten einsetzen, haben ein höheres Bewusstsein für die damit verbundene Management-Komplexität, und erkennen, dass diese Komplexität oft die verfügbaren Mitarbeiterressourcen übersteigt. Ohne klare Governance, Ressourcenplanung und Transparenz drohen erhebliche Risiken wie Überlastung,…

Drei Viertel der Unternehmen betrachten KI inzwischen als betriebskritisch

Agentic AI erreicht den Mainstream, da die Mehrheit der Unternehmen bereits mehrere KI-Agenten nutzt. Umfrageergebnisse belegen ein wachsendes Vertrauen von Führungskräften in KI-Agenten und zeigen, dass sich Unternehmen in allen Geschäftsbereichen zunehmend auf KI verlassen. Der PagerDuty AI Resilience Survey, für den 1.500 IT- und Führungskräfte aus Australien, Frankreich, Deutschland, Japan, Großbritannien und den USA…

Vergessen Sie Ihre Privatsphäre: KI-Browser wollen alles wissen

Der neue Gemini im KI-Browser Chrome für Mobilgeräte sammelt die meisten Nutzerdaten unter den von Surfshark analysierten KI-Browsern. Er sammelt Daten wie Namen, präzise Standortdaten und den Browserverlauf der Nutzer. Ein Cybersicherheitsexperte weist auf eine noch wichtigere Tatsache hin: Wir könnten mit einer neuen Form der Überwachung konfrontiert werden, wenn KI-Browser alles sehen, nachverfolgen und…

Wachsende Bedrohungslage durch KI-Cyberkriminalität und neue Ansätze für mehr Resilienz

65 % der befragten IT-Führungskräfte halten ihre Systeme gegenüber KI-basierter Cyberkriminalität für unzureichend geschützt.   Eine Lenovo-Studie zeigt eine wachsende Sicherheitslücke angesichts zunehmender KI-gestützter Cyberkriminalität: 65 % der befragten IT-Führungskräfte geben an, dass ihre Abwehrmechanismen veraltet sind und KI-Angriffen nicht standhalten können. Lediglich 31 % fühlen sich in der Lage, sich wirksam zu verteidigen. Diese…

Lokalkolorit, das mitfährt: So verankert KI Sprachen im Alltag

Sprachen überleben nicht allein in Wörterbüchern, sondern im Alltag – in Geschäftsräumen, auf Bahnsteigen und in Fahrzeugen. Wo seltene, nur teilweise normierte oder digital unterversorgte Sprachen auf betriebliche Anforderungen treffen, entscheidet saubere Text-to-Speech-Technologie (TTS) über Verstehen, Akzeptanz und damit auch über Sichtbarkeit und Erhalt. Dabei kann Sprach-KI helfen – vorausgesetzt, sie erfüllt die Anforderungen an…

Industrielle KI braucht eine ganzheitliche IT

Für den breiten Einsatz von künstlicher Intelligenz bauen Industrieunternehmen idealerweise ganzheitliche IT-Plattformen, so genannte AI Factories, auf. Diese müssen allerdings die Anforderungen verschiedener Anwendungsklassen unter einen Hut bringen. Dell Technologies erläutert, welche das sind und wie der Plattform das gelingt.   Viele Industrieunternehmen haben bereits erste KI-Anwendungsfälle erfolgreich umgesetzt und gehen jetzt einen breiteren Rollout…

Warum KI ein Teil der Cybersicherheit von Unternehmen sein sollte

Künstliche Intelligenz beschleunigt die Reaktion auf Cyberangriffe und hilft bei der Entwicklung von Verteidigungsstrategien, die auf neue Bedrohungen zugeschnitten sind.   Expertenkommentar von Joel Carusone, Senior Vice President of Data and Artificial Intelligence bei NinjaOne   KI ist ein mächtiger Verbündeter im Kampf gegen Cyberbedrohungen. In einer aktuellen Umfrage des Ponemon Institute geben 56 Prozent…