Governance: KI-Agenten brauchen menschliche Aufsicht

foto freepik

Agentic AI bietet Unternehmen große Vorteile, muss aber von menschlichen Instanzen überwacht werden, um regulatorische Vorgaben und ethische Standards zu erfüllen.  Unternehmen müssen einen robusten Governance-Rahmen für agentische KI etablieren.

Agentic AI verspricht Unternehmen erhebliche Effizienzgewinne. Sie zerlegt komplexe Aufgaben in kleinere, überschaubare Teilaufgaben, die sich einfacher lösen lassen. KI-Agenten, die bestimmte Rollen wahrnehmen oder auf bestimmte Tätigkeiten spezialisiert sind, führen diese Aufgaben dann automatisiert aus. Anschließend setzt ein übergeordneter Agent die Ergebnisse zusammen, um die Gesamtaufgabe zu lösen.

Damit ermöglicht agentische KI mehr und bessere Automatisierung. Sie birgt aber auch Risiken: Algorithmen könnten diskriminierende Entscheidungen treffen, die Entscheidungen von KI-Agenten sind unter Umständen nicht transparent nachvollziehbar oder es entstehen Sicherheitslücken. Unternehmen laufen Gefahr, gegen regulatorische Vorgaben und ethische Standards zu verstoßen.

Agentic AI benötigt einen Governance-Rahmen. Im Zentrum steht dabei die Überwachung durch Menschen, denn eine selbstgesteuerte Überwachung durch Agenten reicht nicht aus. Pegasystems zeigt auf, wie Unternehmen Schritt für Schritt eine robuste Governance für Agentic AI etablieren.

  1. Governance-Richtlinien definieren.
    Zunächst klären Unternehmen die internen Verantwortlichkeiten für ihre KI-Systeme. Zudem legen sie Standards fest, die auf regulatorischen Anforderungen wie dem EU AI Act und der DSGVO basieren.
  2. Risikoanalyse und -management implementieren.
    Im zweiten Schritt identifizieren sie Hochrisiko-Anwendungen. Außerdem führen sie kontinuierliche Monitorings für diskriminierende KI-Entscheidungen («Bias«), Sicherheit und Datenschutz ein.
  3. Transparenz- und Erklärbarkeitsmaßnahmen umsetzen.
    Unternehmen wählen erklärbare KI-Modelle aus oder implementieren ergänzende Mechanismen für die Nachvollziehbarkeit von KI-Modellen in die Agentic AI. Zudem richten sie eine Dokumentation der KI-Entscheidungen für Audits und Regulierungsbehörden ein.
  4. Human-in-the-Loop-Mechanismus etablieren.
    Im nächsten Schritt integrieren Organisationen menschliche Kontrolle in kritische Entscheidungsprozesse. Zusätzlich definieren sie klare Eingriffsmechanismen bei Fehlentscheidungen und legen die Verantwortung für finale Entscheidungen fest.
  5. Kontinuierliche Überwachung und Anpassung.
    Die Governance-Richtlinien sollten regelmäßig evaluiert und aktualisiert werden. Dazu implementieren Unternehmen ein »AI Governance Board« oder ähnliche Kontrollinstanzen.
  6. Schulung und Sensibilisierung der Mitarbeitenden.
    In Trainingsprogrammen informieren Unternehmen ihre Entwickler und Entscheidungsträger zu ethischen und rechtlichen Anforderungen. Damit schaffen sie eine Governance-Kultur, in der die Verantwortung für Künstliche Intelligenz ernst genommen wird.

»Wenn Unternehmen beim Einsatz von agentischer KI für Transparenz, Fairness und Sicherheit sorgen, minimieren sie nicht nur Risiken. Sie verschaffen sich auch Wettbewerbsvorteile, weil sie das Vertrauen in ihre KI-Systeme stärken«, erklärt Florian Lauck-Wunderlich, Head of AI and Advanced Analytics Consulting EMEA bei Pegasystems. »Dabei verfolgen sie am besten einen strukturierten Governance-Ansatz mit klaren Verantwortlichkeiten, regelmäßigen Audits und menschlicher Kontrolle.«

 

163 Artikel zu „KI-Agenten“

Das neue SEO: Webseiten für die Kommunikation mit KI-Agenten vorbereiten

Unternehmen müssen das Thema KI-Agenten aus zwei unterschiedlichen Perspektiven betrachten. Einerseits geht es darum, welche Aufgaben Mitarbeitende bereits heute mit KI-Agenten wie ChatGPT Tasks oder Operator automatisieren können. Andererseits stellt sich die Frage, welche Anpassungen auf der Unternehmenswebsite notwendig sind, um die Interaktion mit KI-Agenten entweder zu optimieren oder gezielt zu unterbinden.   Was sind…

KI-Agenten sollen durchschnittlich 18 Arbeitsstunden pro Woche einsparen

IT-Verantwortliche in Deutschland vertrauen auf KI-Agenten und investieren mit 2,6 Millionen Euro mehr als britische und US-amerikanische Unternehmen.   Nach einer Umfrage der generativen Integrationsplattform SnapLogic gehen deutsche Führungskräfte im IT-Bereich davon aus, dass KI-Agenten im Durchschnitt 18 Arbeitsstunden pro Woche einsparen könnten [1]. Fast die Hälfte (47 %) vertraut ihnen dabei, so effizient wie…

KI-Agenten werden im Jahr 2025 Cyberkriminalität revolutionieren

Cyberkriminelle entwickeln ihre Taktiken kontinuierlich weiter und werden 2025 zu einem Rekordjahr für Ransomware machen. Künstliche Intelligenz (KI) verändert die Bedrohungslandschaft durch erhöhte Skalierbarkeit und Effizienz.   Malwarebytes hat seinen »State of Malware 2025«-Report veröffentlicht [1]. Der Report bietet Einblicke in die wichtigsten Cyberbedrohungen und Taktiken von Cyberkriminellen im Jahr 2025, darunter die vermehrte Nutzung…

KI-Agenten sorgen für mehr Kundenzufriedenheit und Wettbewerbsvorteile

Differenzierter Service und exzellente digitale Kundenerlebnisse können Tarife und Gebühren aufwiegen. Verbraucher haben große Erwartungen an KI bei Finanzdienstleistungen. Vertrauensaufbau ist bei der Einführung von agentenbasierter KI unerlässlich. Weniger als 40 Prozent der Verbraucher sind mit dem Angebot von Banken, Versicherungen und Vermögensverwaltern voll zufrieden. Der Salesforce Connected Financial Services Report zeigt, wie entscheidend ein…

IT-Führungskräfte setzen auf KI-Agenten, um ihre Ressourcen zu erweitern

Für 81 Prozent der deutschen Unternehmen ist die Datenintegration eine der größten Herausforderungen bei der KI-Einführung. Integration ist entscheidend für die erfolgreiche Nutzung von KI-Agenten.   99 Prozent der IT-Führungskräfte in deutschen Unternehmen ab 1.000 Mitarbeiterinnen und Mitarbeiter setzen auf KI-Agenten oder planen dies innerhalb der nächsten zwei Jahre, um ihren steigenden IT-Ressourcenbedarf zu decken,…

Internationale Hochschule entwickelt eigenen KI-Agenten für die Lehre

Die IU hat ihren KI-Lernassistenten Syntea um agentenbasierte Funktionen erweitert, die selbstständig die beste Lernmethode auswählen und so das Lernen für die Studierenden noch personalisierter gestalten. Selbstlernendes System: Ein neuer KI-Agent in Syntea analysiert Interaktionen der Studierenden und gibt individuelle Lern-Empfehlungen. Proaktives Erinnern an Lernziele: Syntea erinnert die Studierenden nun per Push-Benachrichtigung an kritische Lernziele.…

Cybersecurity-Trends in 2025: KI-Agenten, Finanzsysteme und Zusammenarbeit

  Trend 1: Außer Kontrolle geratene KI-Agenten Laut Untersuchungen von Gartner werden KI-Agenten zu den wichtigsten Technologietrends im Jahr 2025 gehören. Die Analysten gehen derzeit davon aus, dass bis 2028 bereits 15 Prozent der täglichen Arbeitsentscheidungen autonom von KI-Agenten getroffen werden. Während dies einen enormen Produktivitätszuwachs bedeutet, muss die Cybersecurity-Branche dringend über die Kontrolle sowie…

Leitfaden für KMU: Strategisch ressourceneffizient

Neuer Leitfaden unterstützt mit praxisorientierten Unternehmensstrategien zur Steigerung der Ressourceneffizienz in KMU. Die Ressourceneffizienz im eigenen Unternehmen systematisch zu verbessern, ist ein wesentlicher Faktor für langfristigen Erfolg. Hier setzt der neue Leitfaden des VDI Zentrums Ressourceneffizienz (VDI ZRE) an. Er unterstützt kleine und mittlere Unternehmen (KMU) dabei, sich trotz begrenzter Kapazitäten mit der Entwicklung einer…

Wie sich fehlerhafte Vorhersagestrategien durch gängige maschinelle Lernmodelle verbreiten

KI-Modelle wie GPT, Llama, CLIP und andere generative Modelle dienen aktuell bereits häufig als Ausgangsbasis für spezialisierte KI-Modelle, die in der Wissenschaft, Industrie und nicht zuletzt in der medizinischen Diagnostik eingesetzt werden. Das wirft die berechtigte Frage nach der Erklärbarkeit dieser Modelle auf: Wie korrekt und transparent treffen die Ursprungsmodelle ihre Entscheidungen? Bei GPT und…

Zeitalter des Zero-Knowledge-Angreifers hat begonnen

LLM-Jailbreak ermöglicht einfache Erstellung eines Password Stealers Cato Networks, hat den Cato CTRL Threat Report 2025 veröffentlicht [1]. In diesem Threat Report zeigt das Unternehmen, wie ein Cato CTRL Threat Intelligence-Forscher ohne jegliche Erfahrung in der Programmierung von Malware populäre Generative AI (GenAI)-Tools – darunter DeepSeek, Microsoft Copilot und ChatGPT von OpenAI – erfolgreich dazu…

Speichertechnologie als heimlicher Held der KI-Revolution

Von autonomen Fahrzeugen bis hin zur Genomforschung verschiebt KI die Grenzen des Möglichen – die geeignete Speicherinfrastruktur trägt dazu bei, diese Entdeckungen zu beschleunigen.   Im Wettlauf um die künstliche Intelligenz gibt die Speichertechnologie den Takt vor. Während Algorithmen und Rechenleistung im Rampenlicht stehen, sind es die Speicherinfrastrukturen, die KI-Durchbrüche ermöglichen. Die ersten KI-Bemühungen wurden…

Schnell wachsende Zahl maschineller Identitäten sorgt für häufigere Ausfälle 

In den meisten deutschen Unternehmen gibt es deutlich mehr maschinelle als menschliche Identitäten, und diese Schere wird in den kommenden Monaten noch weiter auseinandergehen. Beim Schutz der maschinellen Identitäten tun sich die Unternehmen jedoch schwer – mehr als ein Drittel hat bereits Probleme damit, einen Überblick über sie zu erhalten. Das führt unter anderem zu…

2025: Wie KI die Regeln der Arbeitswelt neu definiert

Im Jahr 2025 ist künstliche Intelligenz (KI) längst keine Zukunftsvision mehr, sondern ein fester Bestandteil der Wirtschaft. Sie verändert Branchen, prägt die Arbeitswelt neu und beeinflusst die Art, wie Unternehmen mit ihren Kunden interagieren. KI wird zunehmend alltagstauglich und hilft Unternehmen, innovativer zu arbeiten, Abläufe effizienter zu gestalten und wirtschaftlichen Mehrwert zu schaffen. Laut McKinsey…

Die Zukunft der Robotic Process Automation: Die Kombination aus RPA, ML, Process Mining und GenAI

Robotic Process Automation (RPA) ist seit Jahrzehnten eine etablierte Technologie zur Automatisierung repetitiver Geschäftsprozesse. In den vergangenen Jahren hat sich jedoch das mediale Interesse an RPA verringert. Ist die Technologie nun überholt oder von anderen Innovationen verdrängt worden? Die Antwort ist ein klares Nein. Vielmehr hat sich RPA weiterentwickelt – und dabei spielt Artificial Intelligence…

Continuous Compliance: Automatisierte Compliance für den Finanzsektor

Finanzunternehmen stehen vor neuen Herausforderungen: Strenge Regulatorik wie die EU-Verordnung DORA (Digital Operational Resilience Act) setzt hohe Standards, um die IT-Sicherheit zu stärken. Doch wie lassen sich diese Anforderungen effizient umsetzen und gleichzeitig die Wettbewerbsfähigkeit steigern? Das EU-Forschungsprojekt »EMERALD« liefert Antworten.   EMERALD verfolgt das Ziel, die automatisierte Einhaltung von Compliance-Anforderungen durch innovative Technologien zu…

Über 50 Prozent der KI-Anwendungsfälle zeigen bereits messbare Wirkung

Agentic AI wird zum Schlüssel für die Transformation von Geschäftsmodellen. Gezieltes Change Management und aktive Einbindung der Mitarbeiter steigern den Erfolg von KI-Anwendungen um bis zu 18 Prozentpunkte.   Das Infosys Knowledge Institute, ein Forschungszweig von Infosys, einem Anbieter von digitalen Dienstleistungen und Beratung der nächsten Generation, veröffentlicht seine aktuelle und bisher umfangreichste Studie zur…

Wenn KI erwachsen wird: Wie Firmen den Sprung von der Experimentierphase zur unternehmensweiten Skalierung meistern

Die anfängliche Euphorie rund um generative KI stößt inzwischen auf erste Hürden. Zwar wird die Technologie noch immer zu Recht als bahnbrechend für Wirtschaft und Gesellschaft gefeiert – doch zu Beginn des Jahres 2025 kämpfen viele Unternehmen noch damit, ihre ambitionierten KI-Versprechen in greifbaren, unternehmensweiten Mehrwert zu überführen. Der Markt ist sich einig, dass generative…

Neues E-Book »PQC für Dummies«

Post-Quanten-Kryptografie: DigiCert-Sachbuch hilft Unternehmen bei der Vorbereitung auf das Quantum-Computing-Zeitalter.   Das neue E-Book »PQC for Dummies« (Wiley Verlag) führt Einsteiger in die Thematik ein, wie sie sich auf zukünftige Herausforderungen des Quantencomputer-Zeitalters vorbereiten [1]. Verantwortliche im Unternehmen erhalten fundiertes Wissen und praxisnahe Strategien, wie sie Post-Quanten-Kryptographie (PQC) zur Absicherung ihrer digitalen Infrastruktur einsetzen können.…

Das Jahr 2025 in der Informationstechnologie – Von Innovationen und Evolutionen

Das Jahr 2025 wird eine Vielzahl von spannenden Entwicklungen und Trends in der IT-Welt mit sich bringen. Die IT-Technologie entwickelt sich rasant weiter und verändert unsere Lebens- und Arbeitsweise grundlegend. In dieser Zusammenfassung werfen wir einen Blick auf die wichtigsten Trends, die das Jahr prägen werden.