Wer haftet, wenn KI einen Fehler macht?

Bitkom-Leitfaden zeigt, wie Unternehmen KI-Risiken erkennen, steuern und absichern können [1].

Mit der wachsenden Autonomie künstlicher Intelligenz steigen nicht nur Effizienzpotenziale, sondern auch Haftungs-, Sicherheits- und Reputationsrisiken. Ein aktueller Bitkom-Leitfaden zeigt, wie Unternehmen KI-Schäden systematisch bewerten, Kontrollmechanismen etablieren und Versicherungslücken erkennen können. Für Entscheider wird damit klar: Verantwortbarer KI-Einsatz beginnt nicht beim Modell, sondern bei Governance, Zugriffsrechten und überprüfbaren Freigaben.

Management Summary

KI verstärkt bestehende Risiken: Fehler können sich automatisiert verbreiten, hohe Folgekosten auslösen und schwerer nachvollziehbar werden.
Autonomie erhöht den Kontrollbedarf: KI-Agenten benötigen minimale Zugriffsrechte, definierte Freigaben, laufendes Monitoring und menschliche Eingriffsmöglichkeiten.
Governance ist Führungsaufgabe: Verantwortlichkeiten, Risikoklassen, Dokumentation und Kontrollprozesse müssen in das unternehmensweite Risikomanagement eingebettet werden.
Versicherungsschutz bleibt lückenhaft: Bestehende Cyber-, Sach- oder Haftpflichtpolicen können einzelne Schadenbilder abdecken; reine KI-bedingte Vermögensschäden bleiben häufig schwierig einzuordnen.
Versicherbarkeit folgt Kontrollierbarkeit: Je transparenter Unternehmen Einsatzkontext, Daten, Rechte, Protokolle und Schutzmaßnahmen nachweisen, desto belastbarer lässt sich das Risiko bewerten.

Bild: Kontrollierte KI braucht technische Schutzschichten, klare Verantwortlichkeiten und menschliche Freigaben.

Eine künstliche Intelligenz erstellt eine falsche Prognose, stößt eine fehlerhafte Zahlung an oder trifft eine automatisierte Entscheidung mit teuren Folgen. Wie Unternehmen solchen Risiken beim KI-Einsatz erkennen und vermeiden können, zeigt der neue Bitkom-Leitfaden »Verantwortungsvoller KI-Einsatz: Risiken verstehen, steuern und versichern« [1]. Denn je stärker KI in Geschäftsprozesse einzieht, desto wichtiger wird auch die Frage, wie Unternehmen mögliche Schäden begrenzen können.

Bereits 57 Prozent der Unternehmen in Deutschland setzen KI ein, weitere 38 Prozent planen oder diskutieren den Einsatz.

»KI kann vorhandene Prozesse deutlich schneller und effizienter machen, zugleich besteht aber die Gefahr, dass sie bestehende Risiken deutlich verstärkt: Fehler können sich schneller verbreiten, größere Auswirkungen haben und im Nachhinein schwieriger nachvollziehbar sein«, so Lukas Spohr, Experte für Digital Insurance und InsurTech beim Bitkom.

»Besonders relevant wird das bei KI-Agenten, die eigenständig Aufgaben planen und Aktionen ausführen können. Mit wachsendem Handlungsspielraum steigen die Anforderungen an Zugriffsrechte, Freigabeprozesse, Monitoring und menschliche Kontrolle.«

Der Leitfaden richtet sich an Unternehmen, aber insbesondere auch an Versicherer, InsurTechs und Makler sowie an Fach- und Führungskräfte aus Underwriting, Risikomanagement und IT-Sicherheit. Er zeigt Voraussetzungen für einen verantwortungsvollen und kontrollierten KI-Einsatz auf und geht dabei insbesondere auf Qualitätsfaktoren der KI-Governance und -Security ein. Zudem ordnet er typische Schadenfälle ein – etwa Schäden im eigenen Unternehmen, bei Dritten oder am Ruf des Unternehmens, zum Beispiel durch fehlerhaft eingesetzte KI oder sogenanntes AI-Washing. Abschließend zeigt er auf, welche KI-Risiken bereits versicherbar sind und wo noch Lücken bestehen. [1] Der Leitfaden steht hier kostenlos zum Download bereit: https://www.bitkom.org/Bitkom/Publikationen/Verantwortungsvoller-KI-Einsatz

Die folgende Zusammenfassung basiert ausschließlich auf dem Bitkom-Leitfaden »Verantwortungsvoller KI-Einsatz: Risiken verstehen, steuern und versichern«.

KI wird zum Unternehmensrisiko: Warum Kontrolle wichtiger wird als Technologie

Künstliche Intelligenz wandert aus der Experimentierphase in die operative Realität. Unternehmen setzen KI in Geschäftsprozessen, Entscheidungsstrukturen und Produkten ein. Nach den im Bitkom-Leitfaden »Verantwortungsvoller KI-Einsatz: Risiken verstehen, steuern und versichern« genannten Zahlen nutzen inzwischen 57 Prozent der Unternehmen in Deutschland KI, gegenüber 36 Prozent im Jahr 2025 und 20 Prozent zwei Jahre zuvor. Mit dieser Entwicklung verändert sich auch die Risikolandschaft. KI wird vom isolierten Technologiethema zu einer festen Größe des unternehmerischen Chancen- und Risikomanagements.

Die zentrale Botschaft des Leitfadens ist dabei weniger alarmistisch, als es die Debatte um KI-Risiken häufig vermuten lässt: Künstliche Intelligenz schafft demnach in der Regel keine grundsätzlich neuen Schadenarten. Sie verändert und verstärkt vielmehr bekannte Risiken. Fehler können schneller auftreten, automatisiert vervielfältigt und über zahlreiche Prozesse, Kunden oder Standorte skaliert werden. Entscheidend für die Bewertung ist deshalb nicht allein, welche Technologie eingesetzt wird, sondern welches konkrete Schadenbild entstehen kann, was dieses verursacht und wie gut Unternehmen das Risiko kontrollieren können.

Aus einem KI-Fehler kann schnell ein Geschäftsrisiko werden

Eine Besonderheit von KI liegt darin, dass Fehler nicht zwangsläufig als technischer Defekt erkennbar werden. Ein System kann technisch einwandfrei funktionieren und dennoch falsche, verzerrte oder nicht nachvollziehbare Empfehlungen und Entscheidungen produzieren. Ursache können etwa ungeeignete Daten, falsche Zielvorgaben, Halluzinationen oder fehlende Kontrollmechanismen sein. Gerade die Skalierbarkeit verschärft die Situation: Eine fehlerhafte Entscheidung lässt sich innerhalb kurzer Zeit vielfach reproduzieren und in Geschäftsprozesse übertragen.

Noch größer wird die Herausforderung bei agentischer KI. Solche Systeme beschränken sich nicht darauf, Texte oder Empfehlungen zu erzeugen, sondern können mehrstufige Aufgaben bearbeiten, Informationen abrufen, externe Anwendungen ansteuern und Aktionen auslösen. Damit verschiebt sich das Risiko vom fehlerhaften Output hin zum fehlerhaften Handeln. Entscheidend wird, welche Rechte ein Agent besitzt, auf welche Daten und Systeme er zugreifen kann und an welcher Stelle ein Mensch eingreifen muss.

Der Leitfaden fordert deshalb eine Sicherheitsarchitektur aus mehreren Ebenen. Dazu gehören minimale Zugriffsrechte nach dem Least-Privilege-Prinzip, robuste Authentifizierung, Protokollierung, isolierte Ausführungsumgebungen wie Sandboxes und KI-spezifische Schutzmaßnahmen. Hinzu kommen menschliche Kontrollschleifen. Bei kritischen Aktionen sollen ausdrücklich Freigaben vorgesehen werden. Technische Sicherheit allein reicht nach dieser Argumentation nicht: KI-Sicherheit umfasst technische, organisatorische, rechtliche und menschliche Faktoren.

Governance wird zur Managementaufgabe

Damit rückt die Unternehmensführung ins Zentrum. KI-Risiken sollen nicht separat verwaltet, sondern in Risikomanagement, Compliance, Datenschutz und Informationssicherheit integriert werden. Der Leitfaden empfiehlt klare Verantwortlichkeiten, verbindliche KI-Richtlinien, definierte Freigabeprozesse und eine systematische Dokumentation der eingesetzten Systeme. Für KI-Systeme und insbesondere Agenten sollen unter anderem Zweck, Verantwortliche, Nutzerkreis, Datenquellen, eingesetzte Komponenten, Risikoklassifizierung, Kontrollmaßnahmen sowie Anforderungen an Logging und Monitoring festgehalten werden.

Der EU AI Act bildet dafür den regulatorischen Rahmen. Er verfolgt einen risikobasierten Ansatz, der unter anderem zwischen verbotenen Praktiken, Hochrisiko-Systemen, Anwendungen mit Transparenzpflichten sowie KI mit geringem oder minimalem Risiko unterscheidet. Für Hochrisiko-KI werden unter anderem Risikomanagement, Datengovernance, technische Dokumentation, Protokollierung, menschliche Aufsicht, Robustheit und Cybersicherheit relevant. Auch Systeme unterhalb der Hochrisikoschwelle können laut Leitfaden betriebliche, regulatorische und reputationsbezogene Risiken verursachen und sollten deshalb nicht ohne Mindestkontrollen eingesetzt werden.

Aus Compliance soll dabei langfristig »Good AI Governance« werden. Der Leitfaden sieht darin mehr als Pflichterfüllung. Einheitliche Begriffe, Risikokategorien und Dokumentationsstandards können Unternehmen helfen, Risiken systematischer zu bewerten und Kontrollmechanismen zu professionalisieren. KI-Kompetenz der Beschäftigten wird dabei ausdrücklich als Bestandteil der Governance betrachtet. Führungskräfte sollen Risiken und Entscheidungsgrenzen verstehen, während Fachanwender lernen müssen, Ergebnisse kritisch zu kontrollieren sowie Verzerrungen und fehlerhafte KI-Ausgaben zu erkennen

KI verändert Haftungs- und Versicherungsfragen

Besondere Aufmerksamkeit widmet der Leitfaden der wirtschaftlichen Dimension. Er unterscheidet zwischen Eigenschäden, Drittschäden sowie Governance- und Compliance-Risiken. Eigenschäden können beispielsweise entstehen, wenn Modelle, Trainingsdaten oder andere digitale KI-Assets beschädigt oder unbrauchbar werden. Ebenso können Fehlentscheidungen einer KI Produktionsanlagen beschädigen, Betriebsunterbrechungen auslösen oder unmittelbar finanzielle Verluste verursachen.

Kompliziert wird die Situation bei reinen Vermögensschäden. Falsche Nachfrageprognosen können Überbestände verursachen, fehlerhafte Bonitätsbewertungen Kreditverluste begünstigen und automatisierte Systeme unberechtigte Zahlungen oder Rückerstattungen auslösen. Nach Darstellung des Leitfadens sind reine Vermögensverluste infolge fehlerhafter KI-Nutzung bislang weitgehend ein Eigenrisiko der Unternehmen. Für Versicherer ist insbesondere die Abgrenzung zwischen einer versicherbaren technischen Fehlfunktion und einem klassischen unternehmerischen Fehlentscheidungsrisiko schwierig.

Auch bestehende Policen können bereits KI-Schäden erfassen. Cyberversicherungen kommen beispielsweise infrage, wenn ein Schaden auf einen entsprechend definierten Cybervorfall zurückzuführen ist. Sach- und Betriebsunterbrechungsversicherungen können ebenfalls relevant sein. Der Leitfaden verwendet hierfür in bestimmten Konstellationen den Begriff »Silent AI«: KI-bezogene Schäden können unter bestehenden Versicherungsverträgen erfasst sein, obwohl KI darin nicht ausdrücklich als Risiko berücksichtigt wurde.

Wer KI verändert, kann zusätzliche Verantwortung übernehmen

Bei Drittschäden bleiben klassische Haftungsfragen entscheidend. Ein für Unternehmen besonders wichtiger Punkt ist die eigene Rolle in der KI-Wertschöpfungskette. Wer ein fremdes KI-System lediglich einsetzt, befindet sich in einer anderen Position als ein Unternehmen, das ein Modell wesentlich verändert, mit eigenen Daten weitertrainiert, mehrere Systeme zu einer eigenen Lösung kombiniert oder das Ergebnis unter eigener Marke anbietet. Dadurch können zusätzliche Hersteller- beziehungsweise Quasi-Hersteller-Risiken entstehen.

Gleichzeitig wird die Ursachenklärung schwieriger, weil an KI-Anwendungen häufig zahlreiche Parteien beteiligt sind: Anbieter von Basismodellen, Datenlieferanten, Softwarehersteller, Integratoren, IT-Dienstleister und Anwender. Der Leitfaden stellt deshalb als mögliche Zukunftsidee eine gemeinsame, projektbezogene Versicherung für mehrere Beteiligte zur Diskussion.

Entscheidend ist nicht ob, sondern wie Unternehmen KI einsetzen

Damit verändert sich letztlich die strategische Perspektive. Unternehmen müssen KI nicht nur leistungsfähig machen, sondern beherrschbar. Governance, Dokumentation, Zugriffsrechte, Monitoring, menschliche Eingriffsmöglichkeiten und klare Verantwortlichkeiten werden zu zentralen Bestandteilen des KI-Einsatzes. Mit zunehmender Autonomie wächst die Bedeutung dieser Faktoren weiter.

Die wichtigste Managementbotschaft des Bitkom-Leitfadens »Verantwortungsvoller KI-Einsatz: Risiken verstehen, steuern und versichern« lautet deshalb: Künstliche Intelligenz sollte nicht mehr primär als einzelnes IT-Werkzeug betrachtet werden, sondern als unternehmensweites Querschnittsrisiko. Die entscheidende Frage lautet nicht länger, ob Unternehmen KI einsetzen. Entscheidend ist, wie sie ihren Einsatz organisieren, überwachen und verantworten. Genau an dieser Stelle treffen Technologie, Management, Recht, Sicherheit und Versicherung aufeinander.

Tipps für einen kontrollierten KI-Einsatz

KI-Inventar aufbauen: Erfassen Sie Systeme, Modelle, Anbieter, Datenquellen, Schnittstellen, Verantwortliche und geschäftliche Einsatzbereiche.
Risiken am Use Case bewerten: Ordnen Sie nicht nur die Technologie, sondern mögliche Personen-, Sach-, Vermögens- und Reputationsschäden ein.
Agentenrechte begrenzen: Vergeben Sie ausschließlich notwendige Lese-, Schreib- und Ausführungsrechte; trennen Sie Test- und Produktivumgebungen.
Freigabegrenzen definieren: Zahlungen, Vertragsänderungen, Veröffentlichungen und andere kritische Aktionen sollten einer menschlichen Prüfung unterliegen.
Logging revisionsfähig gestalten: Protokollieren Sie Eingaben, Ausgaben, Tool-Aufrufe, Freigaben, Modellversionen und Sicherheitsereignisse nachvollziehbar.
Qualität kontinuierlich messen: Testen Sie Robustheit, Genauigkeit, Verzerrungen und Missbrauchsszenarien vor dem Rollout und im laufenden Betrieb.
Notfallmechanismen vorsehen: Kill Switch, Eskalationswege, Rückfallprozesse und Verantwortlichkeiten müssen vor einem Vorfall feststehen.
Versicherungsverträge abgleichen: Prüfen Sie Definitionen, Ausschlüsse, Sublimits und Meldepflichten gemeinsam mit Risikomanagement, Recht und Versicherern.

FAQ: KI-Risiken, Haftung und Versicherung

Wer haftet, wenn ein KI-System einen Fehler verursacht?
Die Haftung hängt vom konkreten Schaden, dem Vertrag, der Rolle des Unternehmens in der KI-Wertschöpfungskette und der Ursache ab. Relevant ist unter anderem, ob ein Unternehmen ein System nur einsetzt, wesentlich verändert oder als eigene Lösung anbietet. Eine pauschale Zuordnung ist nicht möglich. [1]
Schafft KI völlig neue Schadenarten?
Der Bitkom-Leitfaden kommt zu dem Ergebnis, dass KI häufig bekannte Schadenbilder verändert oder verstärkt. Entscheidend sind Skalierung, Automatisierung, mangelnde Nachvollziehbarkeit und die Geschwindigkeit, mit der Fehler weitere Prozesse erreichen können. [1]
Warum sind autonome KI-Agenten besonders riskant?
Agenten können mehrstufig planen, Anwendungen ansteuern und Aktionen auslösen. Dadurch entsteht neben dem Risiko falscher Inhalte auch das Risiko fehlerhaften Handelns. Zugriffsrechte, Freigaben, Protokollierung und Eingriffsmöglichkeiten gewinnen deshalb an Bedeutung. [1]
Welche Anforderungen stellt der EU AI Act an Hochrisiko-KI?
Für Hochrisiko-Systeme sieht der AI Act unter anderem Risikomanagement, Datengovernance, technische Dokumentation, Aufzeichnung, Transparenz, menschliche Aufsicht sowie Anforderungen an Genauigkeit, Robustheit und Cybersicherheit vor. Ob ein System als Hochrisiko-KI gilt, hängt vom Einsatzkontext und der gesetzlichen Klassifizierung ab. [2][3]
Reicht ein Human-in-the-Loop als Absicherung?
Nein. Menschliche Aufsicht muss wirksam ausgestaltet sein: Die verantwortliche Person benötigt ausreichende Informationen, Zeit, Kompetenz und Befugnis, um Ergebnisse zu hinterfragen, Entscheidungen zu stoppen oder zu überschreiben. [2]
Welche Kontrollen sind für KI-Agenten besonders wichtig?
In der Praxis gehören dazu minimale Berechtigungen, starke Authentifizierung, getrennte Umgebungen, erlaubte Tool- und Datenzugriffe, Freigaben für kritische Aktionen, manipulationsgeschützte Protokolle, laufendes Monitoring und ein Abschaltmechanismus. Der Bitkom-Leitfaden ordnet diese Maßnahmen in eine mehrschichtige Sicherheitsarchitektur ein. [1]
Wie lässt sich KI-Risikomanagement strukturieren?
Das freiwillige NIST AI Risk Management Framework gliedert die Arbeit in vier Funktionen: Govern, Map, Measure und Manage. Governance wirkt dabei übergreifend; Risiken sollen über den gesamten Lebenszyklus eines KI-Systems kontinuierlich erfasst, gemessen und behandelt werden. [4]
Welche Rolle spielt Datenschutz bei automatisierten Entscheidungen?
Werden personenbezogene Daten verarbeitet, gelten die Anforderungen der DSGVO. Artikel 22 schützt Betroffene unter bestimmten Voraussetzungen vor ausschließlich automatisierten Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung und sieht Schutzmaßnahmen wie menschliches Eingreifen und die Möglichkeit zur Anfechtung vor. [5]
Sind KI-Schäden bereits versicherbar?
Einzelne Schäden können unter bestehenden Cyber-, Haftpflicht-, Sach- oder Betriebsunterbrechungsdeckungen fallen. Schwieriger bleiben reine Vermögensschäden, unklare Ursachenketten und nicht ausdrücklich berücksichtigte KI-Risiken. Unternehmen sollten Deckungsumfang und Ausschlüsse anhand konkreter Szenarien prüfen. [1]
Was sollten Geschäftsführung und CIO zuerst veranlassen?
Priorität haben ein vollständiges KI-Inventar, eine risikobasierte Klassifizierung der Use Cases, klare Verantwortlichkeiten, technische und organisatorische Mindestkontrollen sowie ein Abgleich mit Datenschutz, Compliance, Informationssicherheit und Versicherungsschutz. [1][4]

Quellen

[1] https://www.bitkom.org/Bitkom/Publikationen/Verantwortungsvoller-KI-Einsatz
[2] https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-14
[3] https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-9
[4] https://airc.nist.gov/airmf-resources/airmf/5-sec-core/
[5] https://www.edpb.europa.eu/documents/guideline/automated-decision-making-and-profiling_en
[6] https://www.enisa.europa.eu/publications/artificial-intelligence-cybersecurity-challenges

[1] Der Leitfaden steht hier kostenlos zum Download bereit: https://www.bitkom.org/Bitkom/Publikationen/Verantwortungsvoller-KI-Einsatz

Zusammenfassung, Tipps, Management Summary, FAQ und Bild wurden mit Hilfe von KI erstellt

629 Artikel zu „KI Haftung“

Business | Business Process Management | Digitale Transformation | Effizienz | Favoriten der Redaktion | Geschäftsprozesse | Lösungen | New Work | News | Tipps

KI braucht Geschäftskontext: Warum technische Datenqualität zu kurz greift

9. Oktober 2026

Technisch korrekte Daten sind noch keine verlässliche Entscheidungsgrundlage. Erst wenn Definitionen, Kontext und konkrete Geschäftsfragen zusammengeführt werden, entstehen Informationen, die Führungskräfte, Prozesse und KI-Anwendungen tatsächlich nutzen können. Unternehmen müssen ihre Datenstrategie deshalb vom Anwendungsfall her denken – und Datenqualität nicht nur an Regeln, sondern an ihrer Wirkung messen. Management Summary Technische Qualität ist nur die…