»AI Kill Switch Act«: KI braucht Kontrolle

Illustration Absmeier foto magnific

In den Nachrichten: Die Abgeordneten Ted Lieu und Nathaniel Moran haben in den USA den parteiübergreifenden »AI Kill Switch Act« eingebracht. Er würde betroffene KI-Entwickler verpflichten, Kontrollmechanismen vorzuhalten, mit denen sich die Inferenzleistung drosseln, Nutzer oder Funktionen einschränken, Dienste aussetzen oder Systeme abschalten lassen. Das US-Heimatschutzministerium könnte nach einem erfassten Vorfall den Einsatz dieser Kontrollmechanismen anordnen; bei Nichteinhaltung drohen Strafen von bis zu 20 Millionen US-Dollar pro Tag.

Ich unterstütze die Idee. Systeme, die in Cyber-, Finanz-, Verkehrs- oder anderen kritischen Umgebungen mit Maschinengeschwindigkeit agieren können, benötigen verlässliche Notfallkontrollen. Ob das Gesetz einen präzisen Sicherheitsmechanismus schafft, wird von den Details abhängen: Welche Systeme fallen darunter, welche Belege rechtfertigen ein Eingreifen, wer trifft die Entscheidung und wie erhalten betroffene Unternehmen eine angemessene Überprüfung?

Der Entwurf erfasst Entwickler mit mindestens 500 Millionen US-Dollar relevantem Jahresumsatz sowie KI-Systeme, deren Trainingsrechenleistung mehr als 100 Millionen US-Dollar kosten würde. Das Heimatschutzministerium könnte eine Anordnung auch während eines laufenden Rechtsbehelfs durchsetzen. Entwickler müssten außerdem Modellgewichte und Telemetriedaten sichern und betroffene Betreiber und Nutzer informieren, sofern dies praktikabel ist.

Ein Notausschalter hat für jedes Unternehmen, das auf Frontier-Modellen aufbaut, eine Folgewirkung zweiter Ordnung. Ausfälle beim Anbieter, geschäftliche Streitigkeiten, Exportkontrollen, Sicherheitsmängel und Produktentscheidungen machen die Verfügbarkeit von Modellen bereits heute unsicher. Staatliches Eingreifen schafft einen weiteren Ausfallmodus – und jeder Produktionsprozess, der an ein einziges proprietäres Modell gebunden ist, übernimmt dieses Risiko.

Der Gesetzentwurf erkennt dies ausdrücklich an. Sein abgestuftes Reaktionskonzept weist das Heimatschutzministerium an, die Umstellung eines modellabhängigen Betriebs auf ein Ersatzsystem oder eine frühere Modellversion zu erwägen. Geschäftskontinuität ist nun Teil der KI-Politik.

Echte Portabilität liegt in der Betriebsebene: Prompts, Daten, Tools, Geschäftslogik, Evaluierungen, Berechtigungen und Workflow-Status. Alternative Modelle verhalten sich unterschiedlich; deshalb muss eine Ausweichlösung getestet werden, bevor das primäre Modell nicht mehr verfügbar ist. Ein modellunabhängiger Technologie-Stack gibt der Organisation eine eingeübte Möglichkeit, den Betrieb fortzusetzen, wenn jemand anderes den Schalter kontrolliert.

Das ist vermutlich nicht eingeplant, aber ein eigenes Team für KI-Kontinuität und -Resilienz ist keine Option mehr, auf die man verzichten kann.

Shelly Palmer

 

KI-Notausschalter für die EU

Europa braucht die Funktion eines KI-Notausschalters – aber wahrscheinlich kein separates Gesetz nach US-Vorbild.

Der EU AI Act verlangt von Anbietern besonders leistungsfähiger Basismodelle mit systemischem Risiko bereits Risikobewertungen, Schutzmaßnahmen, Meldungen schwerwiegender Vorfälle und Cybersicherheit. Das Europäische KI-Büro kann Modelle evaluieren, Informationen anfordern, Korrekturmaßnahmen verlangen und Sanktionen verhängen [1].

Was jedoch noch klarer geregelt werden sollte, ist eine abgestufte Notfallbefugnis:

  • Rechenleistung oder bestimmte Fähigkeiten begrenzen
  • riskante Schnittstellen, Nutzergruppen oder Anwendungen sperren
  • ein Modell vorübergehend aussetzen
  • nur als letztes Mittel vollständig abschalten

Eine solche Befugnis sollte an überprüfbare Gefahrenkriterien, unabhängige technische Expertise, zeitliche Befristung, gerichtlichen Rechtsschutz und eine Pflicht zur Wiederherstellung beziehungsweise sicheren Migration gekoppelt sein. Sonst könnte ein zentraler „Kill Switch“ selbst zum Sicherheits-, Macht- und Ausfallrisiko werden.

Für kritische Branchen existiert zudem bereits ein breiter Resilienzrahmen: NIS2 verlangt Risikomanagement, Vorfallmeldungen und Geschäftskontinuität in 18 kritischen Sektoren. Die Europäische Kommission verbindet den AI Act, NIS2, den Cyber Resilience Act und weitere Regelwerke inzwischen ausdrücklich zu einem gemeinsamen Ansatz für KI- und Cybersicherheit [2].

 

Fazit: Europa sollte keinen einzelnen roten Knopf schaffen, sondern ein rechtssicheres, abgestuftes Notfallregime im bestehenden AI-Act-Rahmen – ergänzt durch technische Vorgaben für sichere Abschaltung, Anbieterwechsel, Datenportabilität und getestete Ersatzmodelle.

Albert Absmeier & KI

 

[1] https://digital-strategy.ec.europa.eu/en/factpages/general-purpose-ai-obligations-under-ai-act
[2] https://digital-strategy.ec.europa.eu/en/policies/nis2-directive

 

5339 Artikel zu „KI Risiko“

Agentische KI: Produktivität mit hohem Risiko

Management Summary Agentische KI eröffnet Unternehmen erhebliche Produktivitätspotenziale, erweitert aber zugleich die Angriffsfläche, da KI-Agenten selbstständig auf Systeme, Daten und Anwendungen zugreifen können. Schatten-KI entsteht, wenn Mitarbeitende private oder nicht freigegebene Tools nutzen; dadurch können vertrauliche Informationen unkontrolliert an externe Dienste gelangen. Besonders kritisch sind Erweiterungen, Skills und Plugins, die manipuliert sein können und mit…

KI-Agenten brauchen Identitäten – sonst werden sie zum Sicherheitsrisiko

KI-Agenten ziehen in Unternehmen ein – oft schneller, als IT- und Security-Teams sie kontrollieren können. Im Gespräch mit manage it erklärt Sven Kniest, Vice President Central and Eastern Europe bei Okta, warum KI-Governance ohne kontinuierliche Identitätsprüfung ins Leere läuft und weshalb digitale Identitäten zur Voraussetzung für sichere Agentic Enterprises werden.   Die manage it traf…

Quantensouveräne KI – vom kritischen Risiko zur vertrauenswürdigen Lösung

KEEQuant, Collaider und noris network demonstrieren ein souveränes KI-Modell, das quantengesicherte Kommunikation, vertrauenswürdige deutsche Infrastruktur und anwendungsbereite KI für vertraulichkeitssensible Anwendungsfälle kombiniert.   Viele Organisationen möchten KI für ihre eigentliche Arbeit nutzen, schrecken jedoch davor zurück, wenn sensible Informationen unter einem herkömmlichen Cloud-Modell ihre Umgebung verlassen müssen. Fragen rund um Vertraulichkeit, Governance und langfristige Datenexposition…

Schatten-KI wird zum messbaren Risiko

Zwei Drittel der Büromitarbeitenden nutzen nicht autorisierte KI-Tools am Arbeitsplatz. 75 % der Büroangestellten würden für bessere KI-Weiterbildungsmöglichkeiten einen Arbeitsplatzwechsel in Betracht ziehen; in Unternehmen mit über 1 Mrd. US-Dollar Umsatz sind es 80 %.   PagerDuty hat eine internationale Umfrage veröffentlicht, die eine wachsende Diskrepanz zwischen der KI-Nutzung durch Mitarbeitende und der unternehmensinternen Governance…

Cyberrisiko Digitalisierung und KI – warum Identitäten zum zentralen Sicherheitsfaktor in Kliniken werden

Statement zur DMEA 2026 von Olaf Milde, Manager Solutions Engineering Central Europe bei Imprivata   Mit der wachsenden digitalen Vernetzung der Akteure im Gesundheitswesen und dem Einsatz von KI-Agenten steigt auch die Angriffsfläche für Cyberkriminelle. Krankenhäuser gelten heute als besonders attraktive Ziele für Angreifer: Sie verarbeiten hochsensible Patientendaten, betreiben komplexe IT-Infrastrukturen und sind gleichzeitig auf…

Cyber ist weltweit das Top-Risiko, während KI-Risiken auf Platz 2 springen

Cyber, insbesondere Ransomware-Angriffe, zum fünften Mal in Folge auf Platz 1 der Unternehmensrisiken (42 Prozent der Antworten weltweit). 32 Prozent der Befragten bewerten künstliche Intelligenz (KI) als branchenübergreifendes, hohes Risiko und sorgen für einen Sprung von Platz 10 auf 2. In Deutschland liegen Cyberattacken und Betriebsunterbrechungen weiterhin auf den Plätzen 1 und 2 – angesichts…

Warum Wikipedia den Einsatz generativer KI einschränkt: Habsburg KI als datenökologisches Risiko

Die Entscheidung der englischsprachigen Wikipedia, den Einsatz großer Sprachmodelle (Large Language Models, LLMs) zum Schreiben oder Umschreiben von Artikeln weitgehend zu untersagen, markiert einen Wendepunkt im gesellschaftlichen Umgang mit generativer künstlicher Intelligenz. Auf den ersten Blick wirkt das Verbot paradox: Gerade LLMs sind in der Lage, formal korrekte, gut strukturierte und enzyklopädisch anmutende Texte zu…

Unternehmensrisiko: KI im Einsatz ohne Kontrolle

Die meisten Unternehmen können nicht sagen, wie schnell sie ein KI-System in einer Krise stoppen könnten – und viele könnten danach nicht erklären, was schiefgelaufen ist.   KI-Technologie wird in europäischen Unternehmen in rasantem Tempo eingeführt, aber viele haben sie ohne die passende Governance- und Sicherheitsinfrastruktur implementiert. Das geht aus einer neuen Studie von ISACA…

Agents of Chaos: KI-Agenten als neue Risikoklasse

Autonome KI‑Agenten auf Basis von Large Language Models (LLMs) entwickeln sich rasant von experimentellen Chatbots zu handlungsfähigen Systemen, die eigenständig Aufgaben ausführen, Werkzeuge nutzen, kommunizieren und Entscheidungen treffen. Das Paper »Agents of Chaos« analysiert erstmals systematisch, welche neuen Sicherheits‑, Datenschutz‑ und Governance‑Risiken dadurch entstehen [1].   Die Studie basiert auf einer zweiwöchigen Red‑Teaming‑Untersuchung mit realistisch…

Mehr Risikokapital für KI – weniger für Energie

Laut Internationaler Energieagentur konkurrieren Energie‑Startups immer stärker mit KI‑Firmen um Risikokapital (Venture Capital, VC) [1]. Der KI‑Boom verschiebe Kapital und Aufmerksamkeit – auch von großen generalistischen Fonds – in Richtung KI. Die IEA weißt zugleich daraufhin, dass der Rückgang energiebezogener VC‑Finanzierung auch mit dem Auslaufen eines großen Finanzierungszyklus in der Elektromobilität (EVs und EV‑Batterien) zusammenhängt.…

Welche Compliance-Risiken beschert KI deutschen Unternehmen – Vom Regelhüter zum Risikonavigator

Das Interview mit Oliver Riehl, Regional Vice President DACH bei NAVEX, beleuchtet die Herausforderungen und Chancen, die künstliche Intelligenz (KI) für deutsche Unternehmen im Bereich Compliance mit sich bringt. Riehl betont, dass KI helfen kann, Ordnung in die wachsende Komplexität der Regularien zu bringen, jedoch eine gute Governance und klare Richtlinien erforderlich sind, um effektiv eingesetzt zu werden. Zudem wird die Bedeutung einer vertrauensvollen Compliance-Kultur hervorgehoben, um Datenverluste zu vermeiden und die Effizienz von Hinweisgebersystemen zu steigern.

Prüfbare KI-Qualität: MISSION KI präsentiert Qualitätsstandard und digitales Prüfportal für Niedrigrisiko-KI

Der VDE hat sich an dem Projekt MISSION KI – Nationale Initiative für Künstliche Intelligenz und Datenökonomie beteiligt. Entstanden sind ein Qualitätsstandard und ein Portal für die strukturierte Bewertung der Qualität von KI-Systemen, die sich unterhalb der Hochrisikoschwelle befinden.   Die Partner des Projekts MISSION KI – Nationale Initiative für Künstliche Intelligenz und Datenökonomie haben…

Cybervorfälle sind das größte Geschäftsrisiko – KI in diesem Zusammenhang Fluch und Segen zugleich

Cyberangriffe sind in Deutschland das größte Geschäftsrisiko – noch vor Naturkatastrophen, politischen Risiken oder regulatorischen Herausforderungen. Das zeigt die aktuelle Umfrage Allianz Risk Barometer 2025. Jüngste Vorfälle zeigen: Bedrohung ist real Allein im Juli 2025 sorgten zahlreiche Bedrohungen für Schlagzeilen. Darunter sogenannte DDoS-Attacken auf kommunale Websites von Stadtverwaltungen, S-Bahnen und Landratsämtern. Solche Angriffe verfolgen das…

KI ohne wirksames Risikomanagement ist verantwortungslos

Globale Technologien und lokale Gesetze erfordern verantwortungsvollen Umgang mit KI.   Die Entwicklung von künstlicher Intelligenz schreitet weiter voran, doch weltweit fehlt es an einheitlichen Vorgaben. Während die EU mit dem AI Act und der Datenschutzgrundverordnung (DSGVO) zwei rechtlich verbindliche Regelwerke geschaffen hat, gibt es international viele Lücken. Für global tätige Unternehmen bedeutet das vor…

KI zwingt Unternehmen, Abstriche in Sachen Hybrid-Cloud-Sicherheit zu machen – Public Cloud als größtes Risiko

KI verursacht größeres Netzwerkdatenvolumen und -komplexität und folglich auch das Risiko. Zudem gefährden Kompromisse die Sicherheit der hybriden Cloud-Infrastruktur, weshalb deutsche Sicherheits- und IT-Entscheider ihre Strategie überdenken und sich zunehmend von der Public Cloud entfernen. Gleichzeitig gewinnt die Netzwerksichtbarkeit weiter an Bedeutung.

it-sa 2024: Zwischen KI-gestützter Bedrohungsabwehr und digitaler Identität – Von reaktiver Gefahrenabwehr zu proaktivem Risikomanagement

Die Messehallen in Nürnberg verwandelten sich auch 2024 wieder zum Epizentrum der IT-Sicherheits­branche. Die it-sa bestätigte einmal mehr ihre Position als Europas führende Fachmesse für Cybersecurity. Die Rekordbeteiligung internationaler Aussteller unterstrich dabei den Stellenwert der Veranstaltung weit über den deutschsprachigen Raum hinaus. Während die Gänge von geschäftigem Treiben erfüllt waren, kristallisierten sich rasch die dominierenden Themen heraus: Der Umgang mit künstlicher Intelligenz, die Bedeutung digitaler Identitäten und die wachsende Verschmelzung von IT- und OT-Security.

71 Prozent der Verbraucher sieht KI als Risiko für Datensicherheit

Große Mehrheit der Endkunden prüft Wechsel zur Konkurrenz, wenn Anbieter ihre Daten nicht wirksam schützen.   Weltweit sind Verbraucher sehr besorgt über die Menge an Daten, die Unternehmen über sie sammeln, den Umgang damit und sehen auch deren Sicherheit gefährdet – insbesondere durch die den zunehmenden Einsatz von künstlicher Intelligenz. Das belegt eine Umfrage von…

Risikomanagement: KI-gestützte Risikoanalyse

Mit KI-gestützten Projektmanagement-Anwendungen schneller, flexibler und sicher zum Erfolg.   Mit auf KI- und maschinellem Lernen (ML)-gestützten Datenanalysetools können Unternehmen ihr gesamtes Projektportfolio scannen und die risikoreichsten Projekte und Arbeitspakete identifizieren. Außerdem lassen sich auf Projektbasis Simulationen durchführen und wahrscheinliche Risiken aufzeigen, die bei einer manuellen Analyse möglicherweise nicht erkennbar sind.   Monte-Carlo-Analyse (Szenarioanalyse) Die…

Deutschland zu risikoscheu bei Nutzung und Einsatz von KI

Verbraucher erkennen die Vorteile von KI für Wirtschaft und Gesellschaft. Bedenken vor allem in Bezug auf Cybersicherheit.   Nach dem »Jahr der künstlichen Intelligenz (KI)« hat eine aktuelle, repräsentative Umfrage von Splunk, Anbieter in den Bereichen Cybersicherheit und Observability, ein gemischtes, aber weitgehend positives Bild der öffentlichen Einstellung zur KI aufgezeigt. Die Mehrheit der Befragten…

Mobile Sicherheit und Risikomanagement: Wettbewerbsanalyse und Ranking der führenden Anbieter für In-App-Schutzlösungen

In einer neuen Marktstudie hat das Analystenhaus Quadrant Knowledge Solutions die Stärken und Schwächen von In-App-Schutzlösungen untersucht. Neben einer Wettbewerbsanalyse umfasst die Untersuchung ein Ranking der führenden Technologieanbieter. Die »Quadrant Knowledge Solutions SPARK Matrix« beinhaltet eine detaillierte Analyse der globalen Marktdynamik, der wichtigsten Trends, der Anbieterlandschaft und Wettbewerbsposition. Darüber hinaus bietet die Studie strategische Informationen,…