ChatGPT-Agenten: Je eigenständiger KI-Agenten handeln, desto gefährlicher werden sie

foto freepik ki

Generative KI wird bisher vor allem als Assistenzwerkzeug verstanden, doch mit der Einführung von sogenannten »Agenten« steht ein Paradigmenwechsel bevor. Diese autonomen Systeme führen nicht nur Befehle aus, sondern agieren selbstständig, interagieren mit Systemen, treffen Entscheidungen und können, im schlimmsten Fall, ohne menschliches Zutun Schaden anrichten. In einem neuen Blogbeitrag warnt Trend Micro vor den Sicherheitsrisiken dieser Technologie:

Zusammenfassung:

  • Der neu veröffentlichte ChatGPT-Agent bietet verbesserte Funktionen und damit Sicherheitsherausforderungen, denen herkömmliche Assistenten nie ausgesetzt waren. Er kann eigenständig Aktionen auszuführen und auf externe Systeme zuzugreifen ohne, dass der Nutzer jede Handlung explizit anstößt.
  • Diese Autonomie macht ihn attraktiv für Angreifer: von automatisierter Cyberkriminalität und gezielten Angriffen auf kritische Infrastrukturen bis hin zu großflächiger Datenspionage.
  • Der Agent hat außerdem ein erhöhtes Risiko für Manipulation und ist damit anfälliger für Datenschutzverstöße. Unternehmen sind unbeabsichtigten Aktionen und möglichen Datenlecks ausgesetzt.
  • Im Unterschied zu Chatbots wie dem klassischen ChatGPT können KI-Agenten komplexe Aufgaben in mehreren Schritten ausführen, APIs ansteuern, Tools starten und Prozesse vollständig automatisieren. Dies ermöglicht auch den Aufbau persistenter Zugänge im Unternehmensnetzwerk.
  • Die Kombination aus generativer KI, API-Anbindung und eigenständiger Aktionsausführung schafft ein Angriffspotenzial, das deutlich über klassische Social-Engineering- oder Phishing-Ansätze hinausgeht.

 

Technische Risiken und Szenarien

Wie kann ein konkreter Angriffsweg aussehen? Ein kompromittierter KI-Agent könnte komplette Angriffsketten autonom durchführen. Vom Erkennen einer Schwachstelle über den Erstzugang bis zur dauerhaften Verankerung im Zielsystem. Möglich wird das durch seine Fähigkeit, externe Tools anzusteuern, Schnittstellen zu nutzen und Prozesse selbstständig zu planen und auszuführen. So kann er beispielsweise eigenständig Schwachstellen-Scans starten, Passwörter auslesen, interne Dokumente exfiltrieren oder Cloud-Services manipulieren. Und das alles automatisiert und in einer Geschwindigkeit, die menschliche Angreifer kaum erreichen könnten. Besonders brisant ist, dass ein Angreifer den Agenten nur ein einziges Mal manipulieren müsste, um anschließend über Wochen oder Monate hinweg unbemerkt Datenabflüsse oder Sabotageaktionen zu ermöglichen.

Udo Schneider, Governance, Risk & Compliance Lead, Europe bei Trend Micro, warnt:

»Während traditionelle Assistenten wie Gemini noch reaktiv sind, überschreitet der neue ChatGPT-Agent diese Grenze und übernimmt eigenständig die Initiative, um Aufgaben mit nur wenig Eingaben zu erledigen.

Diese gesteigerte Autonomie bringt jedoch neue Risiken mit sich, mit denen frühere ChatGPT-Versionen nicht konfrontiert waren. Da das System jetzt mit weniger Kontrolle durch den Nutzer arbeitet, könnten Angreifer seine Aktionen so manipulieren, dass es dem Nutzer gar nicht sofort auffällt und der Agent dadurch gegen die eigentlichen Absichten des Nutzers handelt.«

Das Sicherheitsproblem verschärft sich dadurch, dass viele Unternehmen Agenten bereits in Testumgebungen einsetzen. Das geschieht oft ohne klare Richtlinien zu Zugriffen, Datenflüssen oder Protokollierung.

Empfohlene Schmutzmaßnahmen sind:

  1. Klare Zugriffsbeschränkungen für Agenten:
  • Implementieren Sie rollenbasierte Zugriffskontrollen (RBAC), um sicherzustellen, dass nur autorisierte Benutzer und Systeme auf die KI-Agenten zugreifen können
  • Verwenden Sie Multi-Faktor-Authentifizierung (MFA), um den Zugriff weiter abzusichern.

 

  1. Monitoring aller Agenten-Aktivitäten in Echtzeit:
  • Setzen Sie Überwachungstools ein, die alle Aktivitäten der KI-Agenten in Echtzeit protokollieren und analysieren 2.
  • Implementieren Sie Anomalieerkennungssysteme, um ungewöhnliche oder verdächtige Aktivitäten sofort zu identifizieren und darauf zu reagieren.

 

  1. Simulation möglicher Angriffsszenarien:
  • Führen Sie regelmäßige Penetrationstests und Schwachstellenanalysen durch, um potenzielle Sicherheitslücken zu identifizieren.
  • Simulieren Sie verschiedene Angriffsszenarien, um die Reaktionsfähigkeit und Widerstandsfähigkeit der Systeme zu testen

 

[1] https://www.trendmicro.com/de_de/research/25/h/gefahr-chatgpt-agent-assistiert-nicht-er-handelt.html
[2] Hier der Link zum vollständigen englischen Blog-Artikel von Trend Micro:
https://www.trendmicro.com/vinfo/us/security/news/cybercrime-and-digital-threats/the-silent-leap-openais-new-chatgpt-agent-capabilities-and-security-risks

 

7863 Artikel zu „KI Sicherheit“

Die meisten KI-Tools haben massive Sicherheitsprobleme

Cybersicherheitsexperten sagen, dass »unkontrollierte KI-Nutzung« gefährliche blinde Flecken schafft, da Untersuchungen zeigen, dass 84 % der KI-Tool-Anbieter Sicherheitsverletzungen erlitten haben.   Vor drei Wochen enthüllte das ChatGPT-Leck »geteilte Gespräche« und machte Tausende von Benutzerchats – einige davon mit Namen, Adressen und anderen persönlich identifizierbaren Informationen – in den Google-Suchergebnissen sichtbar. Die Links, die ursprünglich über…

KI-Einsatz im Blindflug: Unternehmen bringen sich durch fehlende Sicherheitsmaßnahmen in Gefahr

Viele Unternehmen verzichten auf Maßnahmen zur sicheren Anwendung von KI. Das zeigt die repräsentative Umfrage von G DATA CyberDefense, Statista und brand eins: Nur zwei von fünf Firmen schulen ihre Mitarbeitenden oder haben unternehmensweite KI-Guidelines etabliert [1]. Zwar ergreifen viele Verantwortliche bereits vereinzelt Maßnahmen, jedoch noch zu wenig und ohne Strategie. Die Risiken sind groß,…

Agentenbasierte KI mit einem Höchstmaß an Vertrauen und Sicherheit

  Kyndryl nutzt seine jahrzehntelange Erfahrung im Bereich IT-Infrastrukturen, um ein leistungsfähiges unternehmensweites Framework bereitzustellen: Es basiert auf intelligenten KI-Agenten, die lernen, sich anpassen und weiterentwickeln und so Daten in konkretes Handeln übersetzen.  Das »Kyndryl Agentic AI Framework« organisiert sich selbst, skaliert flexibel und führt Aufgaben sicher über unterschiedliche IT-Landschaften und komplexe Workflows hinweg aus,…

Sicherheitsprobleme bei Grok: Unkontrollierte KI vergrößert die Angriffsfläche

Das neueste Grok-Debakel liest sich wie eine Fallstudie darüber, wie man keinen AI-Chatbot auf den Markt bringt. Elon Musks xAI, frisch aus dem Hype-Zyklus für Grok 4.0, befand sich im Schadensbegrenzungsmodus, nachdem der Bot antisemitische Klischees verbreitet, Hitler gelobt und mit einer Art von »Wahrheitssuche«-Rhetorik nachgelegt hatte, die zu einem Dog-Whistle für »alles ist erlaubt«…

Hyperautomatisierung in der Finanzbranche: Effizienz, Sicherheit und Skalierbarkeit durch KI

Die Digitalisierung hat den Finanzsektor tiefgreifend verändert. Banken, Versicherungen und Finanzdienstleister stehen vor der Herausforderung, ihre Prozesse zu optimieren, Kosten zu senken und gleichzeitig den steigenden regulatorischen Anforderungen gerecht zu werden. Hyperautomatisierung spielt dabei eine Schlüsselrolle. Doch was genau verbirgt sich hinter diesem Konzept, und wie profitieren Finanzunternehmen konkret davon?   Was ist Hyperautomatisierung? Hyperautomatisierung…

KI zwingt Unternehmen, Abstriche in Sachen Hybrid-Cloud-Sicherheit zu machen – Public Cloud als größtes Risiko

KI verursacht größeres Netzwerkdatenvolumen und -komplexität und folglich auch das Risiko. Zudem gefährden Kompromisse die Sicherheit der hybriden Cloud-Infrastruktur, weshalb deutsche Sicherheits- und IT-Entscheider ihre Strategie überdenken und sich zunehmend von der Public Cloud entfernen. Gleichzeitig gewinnt die Netzwerksichtbarkeit weiter an Bedeutung.

KI boomt – die Sicherheitsrisiken auch

Generative künstliche Intelligenz (Generative Artificial Intelligence, GenAI) ist im Jahr 2025 keine experimentelle Technologie mehr, sondern eine unternehmenskritische Lösung, die Unternehmen unterstützt, innovativ zu arbeiten und Daten zu schützen. Zwar ermöglicht GenAI theoretisch beispiellose Produktivitätssteigerungen, gleichzeitig führt sie zu neuen, komplexen Risiken: Während der GenAI-Traffic 2024 um über 890 Prozent gestiegen ist, haben sich sicherheitsrelevante Vorfälle…

Deutschland übertrifft Europa bei GenAI-Investitionen und ROI mit KI-Einsatz in Prozessoptimierung, Cybersicherheit und Qualitätskontrolle

Eine globale Studie zeigt, dass deutsche Hersteller trotz Herausforderungen bei der Personalentwicklung und Datennutzung die höchsten GenAI-Renditen in Europa erzielen.   Rockwell Automation, das Unternehmen für industrielle Automatisierung und digitale Transformation, hat die deutschen Ergebnisse seines 10. jährlichen Berichts zur intelligenten Fertigung vorgestellt [1]. Die Daten zeigen, dass der Fertigungssektor erhebliche Investitionen und Erträge in…

Künstliche Intelligenz in der IT-Sicherheit: Wie Partner mit KI-gestützter Security Neu- und Zusatzgeschäft generieren können

Künstliche Intelligenz spielt sowohl bei Cyberangriffen als auch bei der Cyberabwehr eine immer größere Rolle. Wer sich jetzt richtig aufstellt und marktführende KI-basierende Security-Lösungen ins Portfolio aufnimmt, sichert sich für die kommenden Jahre nachhaltiges Wachstum.   Künstliche Intelligenz ist die wichtigste Zukunftstechnologie, sagen drei Viertel der Unternehmen, die vom Branchenverband Bitkom über ihre Einstellung zu…

Sicherheit für Kinder und Jugendliche: Couragiert im digitalen Raum

TU-Projekt erforscht Risiken der Online-Interaktion bei Jugendlichen und entwickelt das Bildungsprogramm »FairNetzt« gegen Cybermobbing, Hatespeech und andere Gefahren im Netz. Kinder und Jugendliche wachsen in einer digitalen Welt auf, die neben Chancen auch erhebliche Risiken birgt, deren Folgen weit über kurzfristige negative Emotionen hinausreichen können. Das abgeschlossene Teilforschungsprojekt »Sicherheit für Kinder in der digitalen Welt«…

KI zwingt Abstriche in Sachen Hybrid-Cloud-Sicherheit zu machen

KI verursacht größeres Netzwerkdatenvolumen und -komplexität und folglich auch das Risiko. Zudem gefährden Kompromisse die Sicherheit der hybriden Cloud-Infrastruktur, weshalb deutsche Sicherheits- und IT-Entscheider ihre Strategie überdenken und sich zunehmend von der Public Cloud entfernen. Gleichzeitig gewinnt die Netzwerksichtbarkeit weiter an Bedeutung.   63 Prozent der deutschen Sicherheits- und IT-Entscheider berichten, dass sie im Laufe…

Cyberkriminalität befeuert durch KI: End-to-end-Sicherheit ist gefragt

Fast 70 Prozent der deutschen Unternehmen spüren die Auswirkungen der offensiven Nutzung künstlicher Intelligenz durch Cyberkriminelle. Doch noch fehlen den meisten die Konzepte, um den teils völlig neuartigen Bedrohungsszenarien durch KI zu begegnen. Das sind Ergebnisse des aktuellsten »State of AI Cybersecurity«-Report von Darktrace [1]. KI ermöglicht nämlich auch nur mittelmäßig ausgebildeten Angreifern raffinierte und…

Datensicherheit: KI macht Mitarbeiter zu Insider-Bedrohungen

GenAI-Daten-Uploads steigen innerhalb eines Jahres um das 30-fache; drei von vier Unternehmen nutzen Apps mit integrierten genAI-Funktionen.   Netskope, ein Unternehmen für moderne Sicherheit und Netzwerke, hat eine neue Studie veröffentlicht, die einen 30-fachen Anstieg der Daten zeigt, die von Unternehmensanwendern im letzten Jahr an generative KI-Apps (genAI) gesendet wurden [1]. Dazu gehören sensible Daten…

KI-Sicherheit beginnt bei der Architektur – DeepSeek-R1 als Warnsignal

Künstliche Intelligenz revolutioniert nicht nur Geschäftsprozesse, sondern bringt auch neue, hochkomplexe Sicherheitsrisiken mit sich. Ein aktuelles Beispiel ist DeepSeek-R1, ein KI-Modell, das mit sogenanntem Chain-of-Thought (CoT) Reasoning arbeitet. Diese Methode soll die Nachvollziehbarkeit von KI-Entscheidungen verbessern, indem sie Denkschritte explizit offenlegt. Doch genau hier liegt die Schwachstelle: Unsere aktuelle Analyse zeigt, dass Angreifer diese Transparenz…

IT 2025: Im Spannungsfeld zwischen Nachhaltigkeit, Sicherheit, KI und Geopolitik

Neben den Themen IT-Security und künstliche Intelligenz (KI) müssen sich Unternehmen in der IT im Jahr 2025 mit den aktuellen geopolitischen Entwicklungen und Nachhaltigkeit auseinandersetzen.   Für seinen jährlich erscheinenden Digital Infrastructure Report hat der Netzwerkanbieter Colt Technology Services 1.500 CIOs und IT-Verantwortliche in Europa, Nord- und Südamerika, Asien und dem Nahen Osten befragt. Der…

Trends in der Automatisierung: Sicherheit, KI und Nachhaltigkeit sind Zukunftstreiber

Cyber Resilience Act fördert umfassendere Sicherheitsmaßnahmen. Immer mehr KI-gestützte Anwendungen fließen in Automatisierungssysteme ein. Nachhaltige Produktion wird zum strategischen Ziel. Die Zukunft liegt in Ökosystemen und kollaborativen Innovationen.   Erhöhte Sicherheitsmaßnahmen, künstliche Intelligenz und mehr Nachhaltigkeit. Das sind die Automatisierungstrends aus Sicht von Bosch Rexroth für das Jahr 2025. (Bildquelle: Bosch Rexroth AG, mithilfe von…

KI & Cybersecurity: Drei Sicherheitstrends für 2025

Die gute Nachricht: Dank KI werden Unternehmen 2025 noch mehr Möglichkeiten und fortschrittlichere Tools zur Verfügung stehen, mit denen sie ihre IT-Systeme und Mitarbeitenden effektiv vor Cyberangriffen schützen können. Die schlechte Nachricht: KI ist keine Technologie, die ausschließlich für gute Zwecke genutzt wird. Auch Cyberkriminelle werden sie sich zunutze machen, um Unternehmen gleich mehrere Schritte…

Diese vier KI-gestützten Cybersicherheitstools sichern 2025 Ihr Unternehmen

Die technologische Revolution auf Grund des Einsatzes der künstlichen Intelligenz (KI) hat vielen Bereichen der Wirtschaft große Vorteile ermöglicht. Gegenwärtig können beispielsweise Unternehmen weltweit dank der zahlreichen verfügbaren KI-gestützten Tools und Systeme von einer höheren Produktivität und verbesserten Effizienz profitieren. Diese Fortschritte in der KI-Technologie sind jedoch zu einem zweischneidigen Schwert geworden. Auch die KI-bezogenen…

So gehen Unternehmen Sicherheitsrisiken innerhalb der KI- und Softwarelieferketten an

Die Anzahl der Unternehmen, die sogenannte Adversarial Tests (Angriffsfälle) durchführen, hat sich im Vergleich zum Vorjahr verdoppelt. Die Anzahl der Unternehmen, die eine Software Composition Analysis (SCA) für Code-Repositorien nutzen, ist um 67 % gestiegen. Die Zahl der Firmen, die Forschungsgruppen beschäftigen, um neue Angriffsmethoden zu entwickeln, hat sich um 30 % erhöht. Die Zahl…