Generative KI verändert nicht nur die Softwareentwicklung, sondern erfordert auch eine neue Testing-Strategie. Für Entwicklungsunternehmen birgt die Technologie sowohl große Chancen als auch Herausforderungen. Wie profitieren sie von ChatGPT & Co. und worauf sollten sie achten?
Seit dem Erfolg von ChatGPT haben 45 Prozent der Unternehmen ihre KI-Investitionen erhöht, so eine Gartner-Studie [1]. 70 Prozent experimentieren bereits mit generativer KI. Auch im Bereich der Softwareentwicklung und Qualitätssicherung bietet die neue Technologie wertvolle Unterstützung. Sie hilft Unternehmen dabei, dem Fachkräftemangel zu trotzen und Innovationen zu beschleunigen. Zwar kann ChatGPT noch keine komplette Applikation in ausreichender Qualität selbst schreiben, wohl aber sehr gut einzelne Bausteine generieren.
Der große Vorteil von generativer KI besteht darin, dass man in natürlicher Sprache mit ihr interagieren kann. Ähnlich wie bereits beim Low-Code/No-Code-Ansatz erweitert sich dadurch der Anwenderkreis, weil die Einstiegshürde sinkt. Auch Mitarbeiter, die keine oder nur wenig Programmierkenntnisse haben, können dann Entwicklungs- und Testing-Aufgaben übernehmen – vorausgesetzt, sie wissen, wie man die KI richtig einsetzt. Genau hier liegt aber auch die Herausforderung. Wir müssen lernen, mit der KI so zu interagieren und sie so anzuleiten, dass sie die gewünschten Ergebnisse liefert.
Warum gute Dokumentation Gold wert ist. Die KI anzuleiten gelingt umso besser, je konkreter Entwickler die Prozesse beschreiben können, die beim Coden in ihrem Kopf ablaufen. Für viele ist das zunächst einmal ungewohnt. Sie müssen lernen, eine verständliche Dokumentation anzulegen – ganz so, als würden sie ihr Vorgehen einer anderen Person erklären. Dasselbe gilt für die Testautomatisierung. Quality Engineers sollten möglichst genau dokumentieren, was ein Test tun soll und welche Entscheidungen er trifft. Aus einer guten Dokumentation lernt die KI dann sehr schnell, worauf sie achten muss.
Wie testet man generative KI? Während generative KI einerseits die Entwicklung und Qualitätssicherung optimieren kann, brauchen Unternehmen andererseits eine neue Strategie, um solche Systeme selbst zu testen. Es liegt in der Natur selbstlernender Systeme, dass sie sich kontinuierlich verändern – abhängig von den Daten, mit denen sie trainiert werden. ChatGPT wurde zum Beispiel daraufhin optimiert, mit Menschen zu interagieren. Interessanterweise haben sich dadurch aber die Coding-Fähigkeiten des Systems verschlechtert, wie eine Studie von Wissenschaftlern der Stanford University zeigt [2]. Man kann also nie sicher sein, dass sich eine KI im Produktiveinsatz noch wie erwartet verhält. Das Paradoxe ist: Wir nutzen die Technologie ja, um Aufgaben zu lösen, deren Antworten wir selbst nicht kennen. Wie sollen wir da testen, ob die Antwort richtig ist?
Continuous Testing und Monitoring. Die Lösung liegt darin, die Teststrategie neu auszurichten. Statt abzuprüfen, ob eine Anwendung eine vorher als richtig bekannte Antwort ausgibt, brauchen wir einen »Das hat in der Vergangenheit funk-tio-niert«-Ansatz. Es geht darum, zu erkennen, ob die KI vom erwarteten Verhalten abdriftet und ob diese Veränderung Auswirkungen auf die eigenen Applikationen und Systeme hat. Dafür ist kontinuierliches Testing gefragt, das eher einem Monitoring gleicht. Qualitätsingenieure sollten zunächst zwei Test-Kategorien identifizieren: kritische Szenarien, in denen es mit hoher Wahrscheinlichkeit zu erheblichen Störungen kommt, wenn sich die Ergebnisse der KI ändern. Und wichtige Szenarien, in denen möglicherweise Störung auftreten könnten. Um ein Abdriften zu erkennen, muss man – wie bei einem Boot – eine Art Anker werfen, indem man Ein- und Ausgaben erfasst. Dafür eignen sich Tools wie IRIS, die es ermöglichen, den Datenverkehr passiv aufzuzeichnen, ohne dass man die Codebasis aktualisieren muss. Anschließend können Qualitätssicherer die Szenarien mit API-Testing-Tools wie -Tricentis Tosca oder Tricentis Testim kontinuierlich monitoren. Für kritische Szenarien ist es außerdem wichtig, den Ernstfall durchzuspielen. Was würde passieren, wenn ChatGPT plötzlich fehlerhaft reagiert? Um das herauszufinden, muss man die KI-Umgebung simulieren– zum Beispiel, indem man die aufgezeichneten IRIS-Szenarien in virtuelle Dienste umwandelt. Anschließend können Qualitätsingenieure die Antworten der simulierten KI ändern, um zu testen, wie das nachgelagerte System reagiert.
Auf die Datenhygiene kommt es an. Generative KI ist kein vorübergehender Hype, sondern wird die Arbeitswelt grundlegend verändern. Wir alle müssen daher lernen, richtig mit der neuen Technologie umzugehen. Das betrifft auch ethische und rechtliche Fragen, zum Beispiel wie Datenschutz und Urheberrecht gewahrt bleiben. Daten, die einmal in das Modell eingeflossen sind, lassen sich nicht mehr so einfach extrahieren. Das ist insbesondere dann problematisch, wenn die KI mit den Eingaben der Anwender trainiert wird. Wem gehören die Daten und wie lässt sich das in der DSGVO–verankerte »Recht auf Vergessenwerden« einhalten? Unternehmen, die KI-Modelle in ihren Anwendungen nutzen, sollten daher auf eine gute Datenhygiene achten. Im B2B-Bereich ist es zum Beispiel empfehlenswert, für jeden Kunden ein separates Modell einzusetzen, sodass das System nicht mit Daten verschiedener Kunden trainiert wird.
Fazit. Eine Ein-Modell-pro-Kunde-Strategie ist derzeit der beste Weg, um generative KI Compliance-konform einzusetzen. In den kommenden Jahren wird sich in der Gesetzgebung sicher noch einiges tun. Keine Volkswirtschaft kann es sich aber leisten, generative KI zu verbieten. Denn sonst wandern innovative Unternehmen einfach in andere, weniger restriktive Länder ab. Entscheidend wird sein, die richtige Balance zwischen Regulierung und Innovation zu finden. Indem Unternehmen auf eine gute Datenhygiene achten und ihre Teststrategie anpassen, sind sie gut vorbereitet und können die Chancen der neuen Technologie ausschöpfen.
David Colwell,
VP, AI & Machine Learning
bei Tricentis
[1] https://www.gartner.com/en/newsroom/press-releases/2023-05-03-gartner-poll-finds-45-percent-of-executives-say-chatgpt-has-prompted-an-increase-in-ai-investment
[2] https://arxiv.org/pdf/2307.09009.pdf