Illustration Absmeier foto freepik

Nicht nur Konzerne, auch KMU können von generativer KI profitieren. Wegen ihrer limitierten Ressourcen müssen sie dabei aber besonders planvoll vorgehen. Vor allem drei Aspekte sind entscheidend.

Mittelständische Unternehmen, die zunehmend unter Kostendruck und Fachkräftemangel leiden, haben gute Chancen von generativer KI zu profitieren. GenAI gibt ihnen die Möglichkeit, die Produktivität ihrer vorhandenen Mitarbeiter zu erhöhen und sie von Routinetätigkeiten zu entlasten, so dass sie mehr Freiraum für kreative und wertschöpfende Tätigkeiten haben. Das erlaubt es KMU, ihre Wettbewerbsfähigkeit sicherzustellen. Auch ermöglicht generative KI neuen, noch unerfahreneren Mitarbeitenden, einfacher an wertvolles Expertenwissen zu kommen, das in den unzähligen vorhandenen Dokumenten und Inhalten steckt, deren Existenz und Zugang aber nicht transparent ist.

Viele mittelständische Unternehmen testen oder nutzen bereits GenAI-Tools wie ChatGPT oder CoPilot und setzen sie als Chatbots für ihre Mitarbeiter ein. Damit schöpfen sie das Potenzial von generativer KI aber nicht annähernd aus, und das aus zwei Gründen: Erstens gehen die möglichen Use Cases weit über die populären Chatbot-Anwendungen hinaus. GenAI kann beispielsweise auch Informationen aus verschiedenen und umfangreichen Dokumenten zusammenfassen, Produktbeschreibungen erstellen, als digitaler Assistent im First-Level-Kundensupport zum Einsatz kommen oder bestimmte Daten aus Dateien extrahieren.

Zweitens wurden die KI-Modelle hinter Tools wie ChatGPT ausschließlich mit Daten aus dem öffentlichen Internet trainiert. Deshalb können sie zwar allgemeine Fragen gut beantworten, domänenspezifische Fragen aber nicht – geschweige denn, unternehmenseigene Dokumente zusammenfassen oder Daten daraus extrahieren. Da die Modelle aber primär darauf ausgelegt sind, Texte zu generieren, tun sie es meistens dennoch: Sie »halluzinieren« und erfinden einfach Fakten. So kommt es zu Output, der falsche Informationen enthält. Weil die Texte aber formal perfekt sind und deshalb schlüssig klingen, ist das für die Anwender oft gar nicht erkennbar. Unternehmen riskieren damit, dass ihre Mitarbeiter und Kunden Fehlinformationen aufsitzen.

Wie integrieren wir unsere eigenen Daten?

Die meisten Use Cases erfordern deshalb, dass Unternehmen die Sprachmodelle von generativer KI mit ihren eigenen Daten einsetzen. Das wertvolle Wissen, das in organisationseigenen Daten steckt, macht die meisten sinnvollen Anwendungsfälle überhaupt erst möglich.

Eine Option dafür ist, die Modelle mit Unternehmensdaten zu trainieren. Dabei besteht allerdings weiterhin das den Sprachmodellen inhärente Risiko von Halluzinationen. Außerdem ist dieses Training aufwändig und kostspielig und muss regelmäßig wiederholt werden, damit die Modelle up to date bleiben. Das dürfte die Ressourcen vieler KMU bei weitem überfordern. Ein weiteres Problem: Viele Unternehmensdaten sind aus Sicherheitsgründen mit Lese- und Zugriffsrechten versehen. Diese Berechtigungen lassen sich beim Training der Modelle – und dadurch auch bei ihrem Output – nicht ohne weiteres berücksichtigen.

Eine ideale Alternative zum nicht zielführenden Training eigener Sprachmodelle ist Retrieval Augmented Generation (RAG). Bei diesem Ansatz werden die generellen, auch gegebenenfalls frei verfügbaren, GenAI-Sprachmodelle mit einer Suchmaschine kombiniert. Bei Anfragen durchsuchen die Retrieval-Technologien der Enterprise Search die organisationseigenen Daten nach relevanten Informationen und stellen sie dem Sprachmodell zur Generierung der Antwort zur Verfügung. Dessen Output basiert dadurch immer auf aktuellen Informationen und das Risiko für Halluzinationen sinkt signifikant. Zudem berücksichtigt die Enterprise Search automatisch die Zugriffsrechte auf die Unternehmensdaten. Mitarbeiter oder Kunden erhalten in ihren Antworten nur Informationen, für die sie auch berechtigt sind. Damit ist automatisch eine zentrale Datenschutzanforderung erfüllt, die in der derzeitigen GenAI-Test-Euphorie gerne übersehen wird.

Welches KI-Modell und welches Betriebsmodell ist geeignet?

Neben der Frage, wie KMU ihre Daten am besten in generative KI integrieren, ist auch die Auswahl des KI-Sprachmodells eine wichtige Weichenstellung. Sie hat große Auswirkungen auf die Qualität, die Kosten und die Performance ihrer GenAI-Anwendungen. Wenn sie sich an die Auswahl machen, sollten sie sich bewusst sein, dass außer den bekannten proprietären Modellen wie GPT von OpenAI oder auch Luminous des deutschen Anbieters Aleph Alpha leistungsfähige quelloffene Lösungen aus der Open-Source-Community existieren. Zudem unterscheiden sich die Sprachmodelle hinsichtlich der Modellgröße und der sogenannten Kontextgröße. Sie bestimmt, wieviel Text ein Modell auf einmal sichten kann.

Ein wichtiger Aspekt bei der Implementierung von generativer KI ist wie erwähnt der Datenschutz. Wenn GenAI-Anwendungen geistiges Eigentum oder persönliche Informationen nach DSGVO verarbeiten, kann es aus Compliance-Gründen erforderlich sein, diese Anwendungen On-premises in der eigenen IT-Umgebung zu betreiben. Dann haben mittelständische Unternehmen den Schutz ihrer Daten unter eigener Kontrolle und vermeiden zudem die Gefahr des Vendor Lock-in. Allerdings müssen sie die nötige GPU-Infrastruktur selbst aufbauen und betreiben, was aber meist nicht so aufwendig ist, wie viele annehmen. Bei einem Betrieb in der Cloud ist dafür zu beachten, dass die Kosten derzeit noch schwer kalkulierbar sind. Viele große Anbieter rechnen momentan nach einem komplizierten »Token-basierten« Verfahren ab, das sich an der Anzahl der Wörter in den Fragen und Antworten orientiert.

KMU sollten Strategie entwickeln

Die Euphorie um generative KI ist riesig und es ist nur allzu verständlich, dass auch KMU möglichst sofort von dieser Technologie profitieren möchten. Unüberlegte Schnellschüsse gilt es aber zu vermeiden, sonst drohen Fehlinvestitionen. Deshalb entwickeln sie besser erst eine GenAI-Strategie. Ihre Prozesse kennen sie selbst am besten und darum können sie auch selbst am besten ausloten, von welchen Use Cases sie individuell am meisten profitieren. Bei der Auswahl der geeigneten KI-Modelle und Betriebsoptionen, der Integration ihrer Daten und der Implementierung einer passgenauen Lösung können ihnen dann erfahrene Experten und Dienstleister helfen. So müssen sich KMU kein tiefes Technologiewissen aneignen, um die Potentiale von Generativer KI zu nutzen und Erfahrungen zu sammeln.

Franz Kögl ist Vorstand bei IntraFind in München, einem Spezialisten für Enterprise Search und KI

Retrieval Augmented Generation (RAG) – Was hat es damit auf sich?

Ein Konzept, das einem im Bereich Enterprise Search immer häufiger begegnet ist »RAG”, kurz für »Retrieval Augmented Generation«. IntraFind AI-Experte Tim Vossen erläutert in seinem Blogbeitrag, was die Kern-Idee ist und welche Fragen bei der Umsetzung zu beachten sind.

Wofür steht RAG?

»RAG« steht in diesem Kontext für »Retrieval Augmented Generation«. Das Wort »Generation« steht dabei für das Generieren einer Antwort. »Retrieval« steht hier für das Auffinden von relevanten Dokumenten aus einem Datenbestand. »Augmented« bedeutet, dass diese Dokumente beim Erstellen einer Antwort genutzt werden, um das Ergebnis zu augmentieren, also zu verbessern.

Fragen stellen und Antworten erhalten

Ausgangspunkt dieser Idee ist zunächst einmal, dass Benutzer in ihrer Arbeit Fragen haben und diese Fragen direkt, mit natürlicher Sprache, ihrem IT-System stellen können und dann dazu möglichst hilfreiche und korrekte Antworten erhalten sollten.

LLMs

Spätestens seit OpenAIs ChatGPT im November 2022 veröffentlicht wurde und (zurecht) ein riesiges mediales Echo erzeugt hat, werden zur Generierung einer solchen Antwort zunehmend sogenannte Large Language Models (LLMs) eingesetzt.

Diese LLMs gibt es prinzipiell schon länger und in einer riesigen Zahl von Ausprägungen und Varianten. Am erfolgreichsten sind hierbei jedoch die »Generative Pretrained Transformer« (GPT), die auch ChatGPT seinen Namen geben. Diese Modelle basieren auf der Transformer-Technologie, die seit ihrer Vorstellung im Jahr 2017 in einer Großzahl von Bereichen (neben Sprachverarbeitung beispielsweise in Computer Vision oder Empfehlungssystemen) äußerst erfolgreich eingesetzt werden. Bei ihrer Erstellung konsumieren sie üblicherweise zunächst riesige Mengen an Text (Pretraining), bevor man ihnen anhand von eher kleineren Datenmengen ein aufgabenspezifisches Verhalten antrainiert (Finetuning).

Grenzen der LLMs

Dadurch, dass diese Modelle große Teile der Textmengen des Internets gesehen haben, sind sie häufig in der Lage, Fakten über die Welt zutreffend wiederzugeben. Dies funktioniert umso besser, je häufiger und eindeutiger diese Fakten im Trainingsmaterial auftauchen. Dadurch können sie Fragen, die auf allgemein bekannte Tatsachen abzielen (z.B. »Wie heißt die Hauptstadt von Deutschland?«), in der Regel sehr gut beantworten.

Das funktioniert in der Regel auch bei etwas exotischerem Wissen wie »Was ist die Hauptstadt von Bhutan?« (es ist »Thimphu«) oder bei Fragen zu weitverbreiteter Fiktion wie »Auf welchem Planeten ist Luke Skywalker aufgewachsen?« (es ist »Tatooine«).

Wird das benötigte Wissen jedoch zu speziell oder zu domänenspezifisch, dann kommt es im Trainingsmaterial entweder zu selten vor oder aber (wie z.B. bei nicht-öffentlichen Informationen) gar nicht. Das Wissen kann auch zu neu sein, so dass es zum Trainingszeitpunkt noch nicht verfügbar war.

Da LLMs aber primär darauf trainiert wurden, Texte zu vervollständigen, machen sie hier häufig eben dies: Sie generieren eine Antwort, die plausibel klingt, die aber nicht korrekt ist. Man spricht hier von »Halluzinationen«.

Halluzinationen vermeiden

Da diese Halluzinationen im Allgemeinen unerwünscht sind, gibt es einige Bestrebungen, die Trainingsprozesse zu verbessern und die Halluzinationen damit zu vermeiden. Die LLMs sollen stattdessen Auskunft geben, dass sie nicht genug Informationen haben, um eine Frage zu beantworten. Vor allem bei den großen Spitzenmodellen (z.B. von OpenAI oder Anthropic) wird hierbei beispielsweise RHLF (Reinforcement Learning from Human Feedback) eingesetzt, bei dem Nutzerfeedback verwendet wird, um beispielsweise auch das Verweigern von Antworten zu belohnen.

Diese Techniken haben einen großen Nutzen, sind allerdings noch nicht perfekt. Auch dauert es gegenwärtig in der Regel 6-12 Monate, bis die entsprechenden Techniken auch bei Open-Source-Modellen – die viele Vorteile bieten – verfügbar sind.

Organisationseigene Datenquellen nutzen

Nun ist »keine Antwort« natürlich schon einmal besser als eine falsche. Aber noch viel besser wäre natürlich eine korrekte Antwort. Oftmals haben Nutzer aber prinzipiell Zugriff auf Dokumente, die die Beantwortung ihrer Fragen erleichtern oder gar erst ermöglichen. Hierbei kann es sich um aktuelle Informationen aus dem öffentlichen Internet handeln, oder um organisationsinterne Datenquellen wie Dokumentenmanagementsysteme, Laufwerkverzeichnisse oder Datenbanken.

Und genau hier kommt nun der RAG-Ansatz ins Spiel, bei dem versucht wird, das LLM für die Antwortgenerierung in eine bessere Ausgangslage zu versetzen, indem wir ihm neben der Nutzeranfrage auch relevante Dokumente übergeben. Mit diesem Zusatzwissen ausgestattet, ist es dem LLM dann oft möglich, die Fragen akkurat zu beantworten.

Information Retrieval verbessert die Antworten

Hier ist die Herausforderung dann, aus der großen Menge an Informationen die relevanten herauszufiltern. Dabei werden bewährte und effiziente Information-Retrieval-Techniken wie die lexikalische Suche heute oft durch die sogenannte »semantische« Suche ergänzt. Man spricht dann von einer »hybriden« Suche.

Die lexikalische Suche nutzt prinzipiell Suchbegriffe und ergänzt dieses beispielsweise durch Thesauri (wer »E-Bike« sucht soll auch »Pedelec« finden) und Lemmatisierung (wer »fördern« sucht, soll auch »fördert« finden).

Die semantische Suche löst sich ganz von einzelnen Suchbegriffen (Buchstabenfolgen), und setzt stattdessen auf sogenannte »Embeddings«. Das sind Vektoren, die in der Regel aus einigen Hundert Zahlenwerten bestehen und die, vereinfacht gesagt, den Inhalt (also die Semantik) eines Textes (oder Textabschnitts) repräsentieren. Dadurch ist es möglich, Dokumente (oder einzelne Passagen) zu identifizieren, die in einem inhaltlich engen Verhältnis zur gestellten Frage stehen. Sucht man beispielsweise nach »Wie kann ich ein Notebook für einen Werkstudenten bestellen?« findet man idealerweise auch Informationen zu »Hardwarebeschaffung für Praktikanten und externe Mitarbeiter«.

Bei der Suche sind die Nutzerberechtigungen zu berücksichtigen. Es dürfen also nur Dokumente in die Suche einbezogen werden, die die jeweiligen Nutzer auch sehen dürfen. Andernfalls könnten die Nutzer indirekt an Informationen gelangen, für die sie gar keine Berechtigungen haben.

Es ist ein großer Vorteil von RAG, die Berechtigungen beim Retrieval einfließen lassen zu können. Das ist beispielsweise beim Ansatz, ein Modell durch Training (bzw. Finetuning) die Inhalte aus allen verfügbaren organisationsinternen Datenquellen lernen zu lassen, nicht direkt möglich.

Nutzen der Treffer

Stellt man die auf diese Art gefundenen Informationen dem LLM zur Verfügung, dann kann es diese bei der Beantwortung der Nutzerfragen verwenden. Je nachdem welche Informationen hier enthalten sind, kann dies die Arbeit des LLMs stark vereinfachen und somit die Qualität der Antworten signifikant erhöhen.

Ebenfalls kann das LLM angeben, welche Treffer es bei der Erzeugung der Antworten genutzt hat. Dadurch wird es den Benutzern ermöglicht, die Plausibilität der Antworten selbst zu überprüfen.

Herausforderungen bei der Umsetzung

Diese Grundidee ist an sich einfach und einleuchtend. Bei der Umsetzung ergeben sich dann allerdings viele Herausforderungen, um optimale Ergebnisse zu erzielen. Das beginnt bei Auswahl der Modelle sowohl für Retrieval als auch für die generative KI und geht über viele suchspezifischen Detailfragen bis hin zu Sicherheitsaspekten: Beispielsweise, wie kann sichergestellt werden, dass zur Beantwortung von Fragen nur die Daten herangezogen werden, die die einzelnen Nutzer auch tatsächlich sehen dürfen?

Mit der Lösung solcher Details müssen sich Organisationen aber nicht zwingend selbst beschäftigen, sondern können sich Experten anvertrauen, die bereits detaillierte Konzepte ausgearbeitet haben, und entsprechende Lösungen umsetzen können.

Fazit

Mit dem RAG-Ansatz lassen sich die Flexibilität und Intelligenz von modernen LLMs und der Wert von öffentlichen und internen Datenquellen zu einem mächtigen Werkzeug kombinieren, das die Nutzer bei ihrer täglichen Arbeit sinnvoll unterstützen kann.

Als KI- und Suchspezialist hat IntraFind entsprechende Produkte und Lösungen im Portfolio und bietet einen sicheren Rahmen für den Einsatz von LLMs und RAG. Wir beraten und betreuen unsere Kunden hinsichtlich der besten Lösung für ihren Use Case.

Tim Vossen; Senior Softwareentwickler, Intrafind

Tim Vossen ist seit über 15 Jahren in der Softwareentwicklung aktiv. Seit 2019 arbeitet er als Senior Softwareentwickler bei der IntraFind Software AG. Sein Schwerpunkt liegt dort auf den Themen Text Classification und Machine Learning.

NEWS | DIGITALISIERUNG | FAVORITEN DER REDAKTION | KÜNSTLICHE INTELLIGENZ | MARKETING

Generative KI: Digitalstrategie zukunftssicher aufstellen

1. Juni 2024

Wie Unternehmen sich an die veränderten digitalen Bedürfnisse der Verbraucher anpassen (müssen). Von der Suche zum Dialog: Der Wandel hin zur generativen Suche stellt bewährte digitale Strategien auf den Kopf, sei es bei der Platzierung von Werbung, bei der Suchmaschinenoptimierung oder in vielen weiteren Marketing-Domänen. Selbst die gute alte Unternehmenswebseite steht auf dem Prüfstand.…