Illustration Absmeier foto freepik ki

Generative KI schickt sich an, die Prozesse und Arbeitsmethoden von Behörden und Unternehmen zu revolutionieren. Eine Herausforderung bleibt jedoch die Wahl des richtigen Large Language Model (LLM), denn es gibt viele Faktoren zu beachten – etwa die Modellgröße, die Sprachunterstützung sowie die Kosten und die Sicherheit. Ein KI- und Enterprise-Search-Spezialist zeigt, wie Organisationen aller Art das für sie beste KI-Modell finden.

Der Markt für Large Language Models wächst stetig – es gibt große und kleinere Sprachmodelle, sehr populäre und weniger bekannte, Open-Source-Varianten und proprietäre. Es verwundert daher nicht, dass bei vielen Unternehmen und Behörden Unsicherheit herrscht, welches Large Language Model denn nun für ihren spezifischen Einsatzzweck das richtige ist. Mit diesen Tipps von IntraFind wird die Suche zum Erfolg.

Tipp 1: Auch kleinere Modelle in Betracht ziehen

Die größten LLMs wie GPT-4.5/o3, Gemini 2.0 oder Claude 3 bieten beeindruckende Möglichkeiten. Doch gerade für Anwendungen wie Chatbots in Kombination mit Suchsoftware sind kleinere Modelle durchaus ausreichend. Das liegt daran, dass das Modell nicht selbst das Wissen für Antworten erarbeiten muss, sondern von der Suchsoftware erhält. Je nach Use Case können somit auch kleinere LLMs vergleichbare qualitativ hochwertige Ergebnisse wie die großen liefern – sind dabei aber oft kosteneffizienter und schneller.

Tipp 2: Sprachunterstützung prüfen

Es gibt beeindruckende Vision-Language-Modelle, die Text aus Bilddateien verarbeiten können – ganz ohne OCR (Optical Character Recognition), also ohne optische Zeichen- und Texterkennung. Solche Modelle sind – wie LLMs auch – überwiegend mit englischsprachigen (und in chinesischen Modellen auch chinesischsprachigen) Daten trainiert. Da hiesige Unternehmen und Behörden aber vor allem Modelle für deutschsprachige Inhalte benötigen, sollten sie die Sprachfähigkeiten des Wunsch-LLMs genau prüfen – beispielsweise, ob das Modell Umlaute erkennt und auch deutsche Grammatik gut verarbeitet.

Tipp 3: Kontextlänge berücksichtigen

Manche LLMs können große Informationsmengen mühelos auf einmal verarbeiten, das ist gerade bei der Zusammenfassung langer Texte oder umfangreicher Dokumente hilfreich. Bei klassischen Suchanfragen können aber auch kleinere Modelle ausreichen, für die die Suchsoftware relevante Inhalte vorab gezielt extrahiert und bereitstellt. Das LLM muss dann nicht ganze Dokumente verarbeiten, was Rechenleistung spart und Kosten reduziert.

Tipp 4: Open-Source-Modelle und proprietäre LLMs vergleichen

Quelloffene Modelle wie Llama 3, Mistral Small oder OpenEuroLLM sind anpassungsfähig, agieren nachvollziehbar und bieten Unternehmen wie auch Behörden die Möglichkeit, sie auf eigener Hardware (on-premises) kosteneffizient zu betreiben. Das reduziert Datenschutzrisiken auf ein Minimum. Die Modelle sind universell nutzbar und bieten einen ausgewogenen Mix aus Sprachfähigkeit, Geschwindigkeit und Kosteneffizienz. Proprietäre Modelle erfordern hingegen keine eigene Hardware, da deren Anbieter sie in der Cloud beitreiben. Um die Kontrolle über die eigenen Daten allerdings sicher zu behalten, ist eine On-premises-Lösung eindeutig die bessere Wahl, selbst wenn die Betreiber proprietärer Lösungen versprechen, keine Nutzerdaten für das Training ihrer Modelle zu verwenden. Unternehmen sollten zudem an den US Cloud Act denken, der der US-Regierung jederzeit ermöglicht, auch auf die Daten zuzugreifen, die auf deutschen Servern der Hyperscaler liegen. Data Governance und die Vermeidung eines »Hyperscaler-Lock-ins« sollten für hiesige Firmen oberste Priorität haben. Es gibt deutsche und europäische Alternativen.

Tipp 5: Kosten und Sicherheit im Blick behalten

Ob Unternehmen Cloud-Modelle wie GPT-4o nutzen oder lieber ein LLM on-premises betreiben wollen, ist neben der Data Governance und der Datensicherheit auch eine Frage des Aufwands und der Kosten. Eine Cloud-Lösung ist sehr leistungsfähig, allerdings können umfangreiche Use Cases schnell sehr teuer werden. Das liegt daran, dass jede Abfrage eine bestimmte Anzahl an sogenannten Tokens verbraucht – also den Einheiten, in die ein Text für die Verarbeitung durch ein Sprachmodell zerlegt wird. Je mehr Abfragen durchgeführt werden und je umfangreicher sie sind, desto teurer wird der Use Case. In eigene LLM-gerechte IT-Infrastruktur zu investieren, lohnt sich für Unternehmen und Behörden, die langfristige Unabhängigkeit und hohen Datenschutz gewährleisten wollen.

»Es ist nicht ganz einfach, im KI-Dschungel wirklich durchzublicken – das perfekte Modell zu evaluieren, hängt sowohl vom Einsatzfall als auch dem IT-Infrastrukturszenario ab«, betont Franz Kögl, Vorstand bei IntraFind. »Umso wichtiger ist es daher, auf einen erfahrenen Partner zu setzen, der durch seine Expertise aus zahlreichen Projekten und systematischen Vergleichen auf einer internen Benchmarking-Plattform das beste LLM für unterschiedliche Unternehmensanforderungen empfehlen kann.«

www.intrafind.com

Vom Suchen und Finden im Datendschungel – warum KI und Search zusammengehören

7. September 2024

ChatGPT hat innerhalb weniger Monate nach seiner Einführung mehr als 100 Millionen Nutzer erreicht. Seitdem ist generative KI (GenAI) immer häufiger in bereits vertraute Tools zur Bildbearbeitung oder zum Schreiben von Texten integriert. Nach dieser Anfangsphase suchen nun auch Führungskräfte Möglichkeiten, GenAI umfassend in ihrem Unternehmen zu nutzen – und das nicht nur als einfaches Plug-in für bestehende Software. Sie möchten die Arbeitsweise in ihrem Unternehmen nicht nur für den Moment, sondern nachhaltig verändern. Die große Frage: Wann und wie wird GenAI darüber hinausgehen, nur ein Feature oder Chatbot zu sein?

Die Antwort liegt auf der anderen Seite des Bildschirms, tief in den Software- und IT-Systemen, die modernen Unternehmen zugrunde liegen. Microsofts Code-Vervollständigungstool GitHub Copilot beispielsweise ist mehr als ein Jahr älter als ChatGPT, und Programmierer berichten immer wieder, dass sie dadurch schneller und sauberer Codes schreiben können. Jetzt will Cognition AI das Feld mit »Devin«, einem Agenten, den das Unternehmen als »den weltweit ersten vollständig autonomen KI-Software-Ingenieur« bezeichnet, erneut verändern. IT-Experten beobachten, wie sich die KI-Revolution in Bereichen wie Cybersicherheit, Systemresilienz und Informationsfindung entwickelt. Ihre unmittelbaren Erfahrungen zeigen, was heute möglich ist, und verdeutlichen gleichzeitig die grundlegenden Fähigkeiten, die angesichts der technologischen Entwicklungen erforderlich sind.

Unternehmen sind überzeugt vom Potenzial der GenAI

Um zu erfahren, wie generative KI den Wandel in Unternehmen vorantreiben könnte, hat das Search AI-Unternehmen Elastic eine Umfrage unter mehr als 3.000 IT-Fachleuten auf der ganzen Welt in Auftrag gegeben. Eine Erkenntnis:

43 Prozent der Befragten in Deutschland sehen Möglichkeiten, um die Kundenerfahrung und -bindung zu verbessern.
61 Prozent denken sogar, GenAI würde dazu beitragen, die betriebliche Effizienz und individuelle Produktivität zu steigern.

In beiden Fällen ergibt sich der Wert aus einem Paradigmenwechsel weg von einfachen Suchergebnissen, Warnungen und Benachrichtigungen hin zu exakten Antworten auf ein bestimmtes Problem. Damit die generative KI Antworten aus Daten heraus liefern kann, mit denen sie nicht direkt trainiert wurde, benötigt sie kontextbezogene Unterstützung. Und der Schlüssel zur kontextbezogenen Unterstützung? Das ist die Suche.

Die richtigen Daten zur richtigen Zeit

Basismodelle wie GPT-4, Llama 2 und Gemini werden in der Regel mit umfangreichen Datensätzen trainiert, die aus offen zugänglichen Quellen stammen. Ihr Kontextfenster begrenzt ihre Fähigkeit, neue Informationen zu lernen. Dabei reicht dessen Umfang von kleinen Dokumenten bis hin zu großen Codebases. Dies zwingt Unternehmen dazu, die richtigen Daten zur richtigen Zeit zusammenzuführen, damit generative KI-Systeme kontextspezifische Antworten generieren können. Die Lösung, um die Lücke zwischen öffentlich zugänglichen Informationen und internen Unternehmensdaten, die sich sehr rasch verändern, zu schließen: eine Suchmaschine.

Wenn ein GenAI-Tool beispielsweise gebeten wird, bei einem Kundenanruf zu helfen, kann es erforderlich sein, die unternehmenseigenen Daten – die Bestellhistorie des Kunden, Anrufprotokolle und andere relevante Informationen – zur Analyse schnell in das Kontextfenster zu ziehen. Eine zuverlässige Suche ist notwendig, um die Genauigkeit der Antworten, die aus den unternehmenseigenen Daten erzeugt werden, zu maximieren. Die generative KI hilft dabei, personalisierte Erlebnisse zu erschaffen und den Kundensupport und ähnliche Interaktionen von einer einfachen Seite mit Suchergebnissen in ein persönliches Gespräch zu verwandeln.

Dasselbe Prinzip gilt im Fall eines IT-Managers oder anderer Führungskräfte im Unternehmen, die verstehen wollen, wie sich Probleme mit der betrieblichen Performance auf die Unternehmensleistung auswirken könnten. Durch die Kombination von externen mit internen Daten innerhalb des Kontextfensters können Nutzer wertvolle Zeit und Ressourcen sparen: Sie fragen einfach die generative KI direkt, anstatt selbst nach Korrelationen zu suchen. Auf die Frage danach‚ ob in den letzten Stunden etwas Ungewöhnliches passiert sei, könnte die KI Protokolle liefern, die problematisch scheinen. Basierend darauf kann sie Daten verknüpfen, um Auswirkungen auf das Geschäft anzuzeigen – ohne dass der Nutzer wissen muss, wie Daten miteinander verbunden werden können.

Derartige Feedbackschleifen helfen den Teams, produktiver zu werden, indem sie Probleme schneller erkennen und die Zeit für die Suche nach Antworten verkürzen. Außerdem trainieren sie die KI im Laufe der Zeit darin, operative Daten mit Informationen zur Unternehmensleistung zu verknüpfen und verbessern so ihre Ergebnisse kontinuierlich. Anstatt Warnungen und Benachrichtigungen an die Benutzer auszugeben, lernen generative KI-Tools von ihnen und schreiben schließlich ihre eigenen Skripte. So erkennen sie Probleme automatisch, diagnostizieren und beheben sie, bevor sie eskalieren und menschliche Hilfe erfordern.

Unmittelbare Vorteile für die Cybersecurity

Solche Fähigkeiten werden besonders wichtig sein, wenn es um Cybersicherheit geht. Denn die Anzahl und Schwere der Bedrohungen nehmen täglich zu, während viele Unternehmen damit kämpfen, wichtige Positionen in diesem Bereich zu besetzen. Mehr als die Hälfte (55 %) der von Elastic befragten Unternehmen in Deutschland planen daher den Einsatz von KI, um die automatische Erkennung von Bedrohungen zu verbessern.

Denn generative KI-Tools

haben sich sowohl bei der Identifizierung von Bedrohungen als auch bei der Erkennung von Korrelationen zwischen Angriffen bewährt.
helfen Analysten, Vorfälle einfacher zu verstehen, darauf zu reagieren und sie zu dokumentieren.
entlasten Angestellte und tragen dazu bei, den Fachkräftemangel in der Cybersicherheit zu beheben, indem komplexe Aufgaben für Nachwuchskräfte leichter zugänglich gemacht werden.
bringen einen unmittelbaren Nutzen, indem sie Schutzmaßnahmen stärken, die ansonsten unbemannt bleiben würden.

Fazit: Mehr Produktivität und Sicherheit durch KI-basierte Suche

Das Bindeglied zwischen all diesen Aspekten – zu denen vor allem die Nutzung eigener Daten über die Suche gehört – ist die Fähigkeit der generativen KI, die Komplexität zu reduzieren und zu lernen, während sie wächst und neue Fähigkeiten und Funktionen entwickelt. Das vereinfacht Arbeitsprozesse, was Unternehmen insbesondere in der Cybersicherheit in die Lage versetzt, schneller, effizienter und effektiver auf Bedrohungen und Störungen reagieren zu können. Aus diesem Grund geben 91 % der von Elastic befragten Unternehmen an, ihr Budget für KI-Technologien in den nächsten zwölf Monaten erhöhen zu wollen – und das nicht nur für die Entwicklung von Chatbots.

Jörg Hesske, Area Vice President_EMEA Central, Elastic

225 Artikel zu „KI Dschungel“

News | Digitalisierung | Künstliche Intelligenz | Strategien

Unternehmen im Dschungel der KI-Regularien: Konsequente Beachtung muss volle Aufmerksamkeit erhalten

29. März 2024

Zwischen KI-Innovationen und den regulatorischen Herausforderungen gibt es eine dynamische Schnittmenge, mit welcher sich Unternehmen aktuell konfrontiert sehen. Denn die Regierungen der unterschiedlichen Länder verfolgen keine einheitlichen Ansätze in der KI-Regulatorik. Für einen erfolgreichen Einsatz von künstlicher Intelligenz müssen global tätige Unternehmen daher die sich ändernden Regularien genau im Auge behalten und das nicht…