Zu Beginn des Jahres 2025 konnte man den Eindruck haben, dass in der Information Technology (IT) etwas ganz Neues passiert sei. Die Nachrichten und Hintergrundberichte über eine bis dahin fast unbekannte IT-Firma aus China überstürzten sich selbst in ganz normalen Tageszeitungen. Aber Inhalt und Auswirkungen dieser neuen Sache rund um »DeepSeek« und dem dahinterstehenden chinesischen Hedge Fund »High-Flyer« (gegründet im Jahr 2016) waren nicht so klar – von wenigen über den Globus verteilten Spezialisten abgesehen.

Die »New York Times« schrieb zum Beispiel auf ihrer Website am 11. März 2025 über den neuen Trend bei den IT-Investitionen: »Während Chinas jährlicher Legislativversammlung machte Staatschef Xi Jinping deutlich, dass er seine Pläne, China an seinen Rivalen vorbeiziehen zu lassen und eine technologische Supermacht zu werden, durch nichts aufhalten lassen will – weder durch eine Konjunkturabschwächung, die hohe Verschuldung des chinesischen Staates und auch nicht durch einen drohenden Handelskrieg mit den Vereinigten Staaten. China werde alles dafür tun, bei führenden Technologien wie zum Beispiel künstlicher Intelligenz, Biotechnologie oder neuen Waffen voranzukommen.« (11.3.2025)

Die Prioritäten von Xi Jinping spiegeln sich auch in Chinas neuem Jahreshaushalt wider, in dem die staatlichen Ausgaben für Wissenschaft und Technologie um 8,3 Prozent, für Bildung um 6,1 Prozent und für das Militär um 7,2 Prozent steigen sollen. Der chinesische Staatshaushalt für Wissenschaft und Technologie beläuft sich in diesem Jahr allein auf etwa 172 Milliarden Dollar und steht damit an zweiter Stelle nach den Vereinigten Staaten. Doch die Kürzungen der neuen Regierung unter Donald Trump könnten den noch existierenden Vorsprung der USA verringern. Einschließlich der Investitionen von Unternehmen gaben die USA allein im Jahr 2021 806 Milliarden Dollar für Forschung und Entwicklung aus, verglichen mit 668 Milliarden Dollar in China, wie die amerikanische »National Science Foundation« ermittelt hatte.

Die Konkurrenz zwischen den USA und China verschärft sich rasant, und China ist bestrebt, den noch bestehenden Vorsprung Amerikas einzuholen. Jimmy Goodrich, der als leitender Berater bei RAND Analysen für die US-Regierung bereitstellt, beurteilt die aktuelle Situation: »China hat gesehen, wie die jahrzehntelangen Investitionen der US-Regierung in die Wissenschaft nach dem Zweiten Weltkrieg zu einem durchschlagenden Erfolg wurden, und möchte dies wiederholen. Xi Jinping ist überzeugt, dass sein Land nur dann erfolgreich sein kann, wenn es Wirtschaft, Wissenschaft und Militär weiter modernisiert.« Nur so könne es auf Dauer weltpolitisch mitspielen.

Der neue lange Marsch. Den Durchbruch von »DeepSeek« hatte so niemand erwartet. Wie Dave Bergmann, Senior Writer AI Models bei IBM, ausführt, konnte anfangs fast niemand in der Welt der IT die Fakten von Spekulationen und Fiktionen trennen (»DeepSeek: Sorting through the hype« [1]). Doch plötzlich gab es eine Art von allgemeinem Einverständnis, dass eine Art von IT-Revolution mit erst zum Teil einsehbaren Folgen geschehen war. Tief schürfende und sichtlich begeisterte Stimmen waren vermehrt zu hören, auch wenn sich die meisten großen Player auf dem Gebiet der Artificial Intelligence (AI) wie zum Beispiel OpenAI, Anthropic oder Google vornehm zurückhielten oder wie zum Beispiel Microsoft und Nvidia recht unverbindlich lobend äußerten. Doch welche Aspekte sind besonders wichtig?

Bedeutung und Funktion von »DeepSeek-R1«. DeepSeek ist im Prinzip ein AI-Forschungslabor und Unternehmen mit Sitz in Hangzhou, China. Es ist auch der Name des generativen AI-Models, das das Unternehmen entwickelt – was manchmal zu Verwechslungen zwischen dem Produkt und dem Unternehmen führt. Ende Januar diesen Jahres wurde »DeepSeek-R1 LLM« angekündigt. Seine Fähigkeiten konkurrieren direkt mit OpenAI und anderen Ansätzen, erfordern aber wesentlich geringere Kosten. Gegenwärtig wird es als Open-Source-Variante angeboten.

DeepSeek-R1 ist ein »reasoning model«, das durch Feinabstimmung eines LLM (Large Language Model von DeepSeek-V3) erstellt wurde, um einen umfangreichen Schritt-für-Schritt-Denkprozess (CoT, Chain of Thought) zu generieren, bevor der endgültige »Output« für den Anwender bestimmt wird. Weitere solche Denkmodelle sind zum Beispiel OpenAIs o1 (basierend auf GPT-4o) und o3, Googles Gemini Flash 2.0 Thinking (basierend auf Gemini Flash) und Alibabas offenes QwQ (Qwen with Questions), basierend auf seinem Qwen2.5-Modell.

Die Performance von DeepSeek-R1 konkurriert mit jener von derzeit führenden Modellen bei Mathematik- und Code-Aufgaben, darunter o1 von OpenAI und Claude 3.5 Sonnet von Anthropic. Unabhängig davon, welches Modell das »beste« ist – was subjektiv und situationsabhängig ist –, stellt es eine bemerkenswerte Leistung für ein im Prinzip offenes Modell dar. Besonders wichtig sind jedoch die Trainingstechniken von R1, die es der Open-Source-Gemeinschaft vermittelt hat, argumentiert IBM.

Normalerweise läuft der Prozess, der ein Standard-LLM von einem untrainierten Modell zur Einsatzreife für Endbenutzer bringt, wie folgt ab:

Vortraining: das Modell erlernt linguistische Muster durch selbstüberwachtes Lernen;
Supervised Fine-Tuning (SFT): das Modell lernt anhand von besonderen Beispielen, wie es diese sprachlichen Muster anwenden kann;
Reinforcement Learning (RL): das Modell wird zu mehr spezifischen und abstrakten Überlegungen geführt.

Bei proprietären Denkmodellen wie o1 sind die spezifischen Details dieses letzten Schritts normalerweise ein streng gehütetes Geschäftsgeheimnis. DeepSeek hat jedoch ein technisches Papier veröffentlicht, in dem seine Prozesse detailliert beschrieben sind [2].

Einsatz von DeepSeek-V3. DeepSeek-V3 stellt das Backbone von R1 dar: Es besteht aus einem gemischten Language Model mit 671 Millionen Parametern (mixture of experts/MoE), das für Aufgaben in den Bereichen Mathematik, Überprüfung und Codierung geeignet ist. Es stellt damit das umfangreichste LLM-Angebot für Open Source dar, das zu Anfang diesen Jahres verfügbar war. Laut Bergmann von IBM ist es ein deutlich schnelleres und billigeres Angebot als andere führende LLM-Modelle.

Eine größere Vielzahl an Parametern erhöht in der Regel die Kapazität des Modells in den Bereichen Wissen und Komplexität. Mehr Parameter bedeuten, dass es mehr Möglichkeiten für die Anpassung des Models gibt und damit auch mehr Trainingsmöglichkeiten. Doch das steigert auch die Anforderungen an die Computing-Leistungen, macht sie langsamer und teuerer. Wie können also DeepSeek-V3 (und damit auch DeepSeek-R1) schnell und billig sein? Die Antwort liegt primär in der gemischten Architektur und darin, wie DeepSeek sie modifiziert.

Kosten von DeepSeek. Laut den Angaben des Unternehmens soll die Planung und Umsetzung seiner Architektur bis hin zu DeepSeek-V3 die vergleichsweise geringe Summe von etwa 5,5 Millionen Dollar gekostet haben. Allerdings hat sich DeepSeek bisher nicht dazu geäußert, wie hoch die Gesamtausgaben gewesen sein sollen. Als nicht börsennotiertes chinesisches Unternehmen besteht dazu für DeepSeek auch keine gesetzliche Notwendigkeit. Die Konkurrenten von Nvidia und IBM können es dennoch nicht lassen, die Glaubwürdigkeit von DeepSeek in Zweifel zu ziehen. So hat sich zum Beispiel Kate Soule, Director of Technical Product Management for Granite bei IBM, wie folgt geäußert: »Das ist so, als würde man sagen: Wenn ich eine Marathonstrecke laufe, besteht die einzige Distanz dabei 26,2 Meilen. In Wirklichkeit trainiert man aber monatelang, übt und läuft Hunderte oder Tausende von Kilometern, um dieses eine Rennen zu absolvieren.« [3]

Laut Schätzungen von SemiAnalysis hat DeepSeek seit 2023 über 500 Millionen Dollar in seine GPU-Entwicklung investiert, zusätzlich zu den laufenden Kosten für Angestelltengehälter, Gebäude und andere typische Geschäftsausgaben [4]. IBM nimmt denn auch seine Kritik am Finanzgebaren des neuen Konkurrenten wieder teilweise zurück: »Natürlich ist es immer noch beeindruckend, nur 5,5 Millionen US Dollar für einen Pre-Trainingslauf für ein Modell dieser Größe und Leistungsfähigkeit auszugeben. Zum Vergleich: Derselbe SemiAnalysis-Bericht geht davon aus, dass das Claude 3.5 Sonnet von Anthropic – ein weiterer Anwärter auf das stärkste LLM der Welt Anfang 2025 – ebenfalls einige Millionen Dollar für das Pre-Training gekostet hat. Dank der gleichen Design-Effizienz kann DeepSeek-V3 mit deutlich geringeren Kosten (und Latenzzeiten) betrieben werden als seine Konkurrenten.« (a.a.O.)

Wie man Innovation aus dem Hut zaubert. AI-Unternehmen trainieren ihre Chatbots normalerweise mit Supercomputern, die vollgepackt mit 16.000 oder mehr spezialisierten Chips sind. Nach eigener Auskunft benötigte DeepSeek hingegen nur etwa 2.000 von ihnen. In einem Forschungspapier veröffentlichten Ingenieure von DeepSeek um die Jahreswende einen Artikel, in dem sie mehrere technologische Tricks darlegten, mit denen sie die Kosten für den Aufbau ihres Systems deutlich senken konnten [5].

So benötigten sie nur etwa 6 Millionen Dollar an roher Rechenleistung ihrer Supercomputer, etwa ein Zehntel dessen, was Meta für die Entwicklung seiner neuesten AI-Technologie ausgab. Die führenden AI-Technologien basieren auf sogenannten neuronalen Netzen, mathematischen Systemen, die ihre Fähigkeiten durch die Analyse enormer Datenmengen erlernen. Die leistungsfähigsten Systeme unter ihnen analysieren monatelang fast alle englisch-sprachigen Texte im Internet sowie jede Menge an Bildern, Tönen und anderen Multimedia-Inhalten. Und so etwas funktioniert nur durch den Einsatz riesiger Mengen an Rechenleistung.

Spezialisierte Computerchips, Graphics Processing Units (GPUs), stellen eine effektive Möglichkeit für diese Art von Datenanalysen dar. Unternehmen wie Nvidia haben diese Chips ursprünglich für die Darstellung in Videospielen entwickelt. Aber bald zeigte sich, dass GPUs auch für die Berechnung von neuronalen Netzen geeignet waren.

Die besten Grafikprozessoren kosten jedoch rund 40.000 Dollar pro Stück und benötigen große Mengen an Strom, um ihre Arbeiten durchzuführen. Und die Übertragung der Daten zwischen den verschiedenen Chips und Systemen kann mehr Strom verbrauchen als der Betrieb der Chips selbst. Forscher versuchten dann, dieses Problem zu lösen, indem sie ihre Systeme in viele neuronale Netze aufspalteten: zum Beispiel eines für Literatur, eines für Computer-Programmierung, eines für Biologie, eines für Physik und so weiter.

Viele Unternehmen haben sich mit dieser Methode zunächst schwer getan, doch DeepSeek ist es nun gelungen, sie mit einem Trick umzusetzen: Viele kleinere »Experten«-Systeme werden mit einem »Generalisten«-System kombiniert. Die Mathematik, die es einem neuronalen Netz ermöglicht, Muster in Texten zu erkennen, ist dann eigentlich nur eine Form von Multiplikationen – vielen Multiplikationen. Es geht um monatelange Multiplikationen mit Tausenden von Computer-Chips.

Normalerweise multiplizieren Chips Zahlen, die in 16 Bit Speicherplatz passen. Aber DeepSeek ist es gelungen, jede Zahl in nur 8 Bits des Speichers zu quetschen – der Hälfte des verfügbaren Platzes. Das heißt, es wurden mehrere Dezimalstellen von jeder Zahl abgezogen. Nachdem DeepSeek jede Zahl in 8 Bits Speicher untergebracht hatte, ging man bei der Multiplikation dieser Zahlen einen anderen Weg. Bei der Ermittlung von Antworten auf jedes Multiplikationsproblem wurde die Antwort auf 32 Bits des Speichers verteilt. Mit anderen Worten, es blieben viel mehr Dezimalstellen erhalten. Dadurch wurden die Antworten präziser.

DeepSeek hat sein experimentelles Vorgehen in dem erwähnten Forschungspapier ausführlich dargelegt. Es bleibt abzuwarten, wie die AI-Branche diese Neuerungen aufnehmen und bei sich selbst integrieren wird.

Literatur

Ausführliche Hintergrundinformationen finden sich in diesen beiden
Artikeln der New York Times:

Your Guide to the DeepSeek Freakout: An Emergency Pod
www.nytimes.com/2025/01/27/podcasts/your-guide-to-the-deepseek-freakout-an-emergency-pod.html?action=click&module=audio-series-bar&region=header&pgtype=Article

DeepSeek Deep Dive
www.nytimes.com/2025/01/31/podcasts/hardfork-deepseek-china.html?action=click&module=audio-series-bar&region=header&pgtype=Article

Hartmut Wiehr,
freier Journalist

[1] www.ibm.com/think/topics/deepseek

[2] https://arxiv.org/abs/2501.12948

[3] Mixture of Experts, Episode: www.youtube.com/watch?v=jC0MGFDawWg)

[4] https://semianalysis.com/2025/01/31/deepseek-debates/

[5] https://arxiv.org/html/2412.19437v1

Illustration: © Andreus | Dreamstime.com

6394 Artikel zu „KI Trends“

Trends 2025 | News | Industrie 4.0 | Infrastruktur | Künstliche Intelligenz | Services

KI-Trends in der Servicebranche: Um die Maschine kümmert sich der Agent

30. April 2025

KI erledigt eigenständig viele Aufgaben, eine dynamische Einsatzplanung wird für alle zugänglich, Unternehmen bekommen Unterstützung beim Kampf gegen den Fachkräftemangel: IFS zeigt auf, wie künstliche Intelligenz die Servicebranche in den nächsten Jahren transformieren wird. Künstliche Intelligenz verändert die Arbeitswelt in einem rasanten Tempo. Das gilt auch für Dienstleister und die Service-Organisationen von Unternehmen. Chatbots beantworten…

Hartmut Wiehr, freier Journalist