foto freepik

Rekonstruktionstechnologie für generative KI für optimierte und energieeffiziente KI-Modelle auf Basis von Takane LLM.

Weltweit höchste Genauigkeitsbeibehaltung von 89 Prozent, dreifache Inferenzgeschwindigkeit und 94 Prozent weniger Speicherbedarf durch 1-Bit-Quantisierung.

Fujitsu hat eine neue Rekonstruktionstechnologie für generative KI entwickelt. Als zentraler Bestandteil des Fujitsu Kozuchi AI Service ermöglicht sie die Erstellung kompakter und energieeffizienter KI-Modelle auf Basis des Fujitsu Takane LLM.

Die Technologie basiert auf zwei Kerninnovationen:

Quantisierung:
Ein Verfahren, das die in neuronalen Verbindungen gespeicherten Informationen stark komprimiert und so den Speicherbedarf reduziert – ohne signifikanten Genauigkeitsverlust.
Spezialisierte KI-Destillation:
Eine weltweit erstmalige Methode (1), die sowohl eine Verschlankung als auch eine Genauigkeit oberhalb des Ausgangsmodells ermöglicht.

Durch den Einsatz der 1-Bit-Quantisierung auf Takane ließ sich der Speicherverbrauch um 94 Prozent verringern. Gleichzeitig erreichte Fujitsu eine weltweit höchste Genauigkeitsbeibehaltung von 89 Prozent (2) im Vergleich zum unquantisierten Modell sowie eine dreifache Beschleunigung der Inferenzgeschwindigkeit. Damit übertrifft Fujitsu die bislang üblichen Werte von unter 20 Prozent Genauigkeitserhalt bei gängigen Methoden wie GPTQ deutlich. Diese Innovation ermöglicht es, große generative KI-Modelle, die bisher vier High-End-GPUs erforderten, effizient auf einer einzigen Low-End-GPU auszuführen.

Die neue Kompaktheit eröffnet den Einsatz agentenbasierter KI auf Edge-Geräten wie Smartphones oder Fertigungsmaschinen. Dies steigert die Reaktionsfähigkeit in Echtzeit, verbessert die Datensicherheit und senkt den Energieverbrauch von KI-Anwendungen drastisch – ein wichtiger Beitrag zu einer nachhaltigen KI-Gesellschaft.

Ab der zweiten Hälfte des Geschäftsjahres 2025 wird Fujitsu weltweit Testumgebungen für Takane mit der neuen Quantisierungstechnologie bereitstellen. Zudem werden ab sofort schrittweise quantisierte Modelle von Cohere’s Open-Weight Command A über die Plattform Hugging Face (3) veröffentlicht.

Fujitsu wird die Forschung und Entwicklung im Bereich generative KI konsequent vorantreiben, um die Leistungsfähigkeit weiter zu steigern und die Zuverlässigkeit zu sichern – mit dem Ziel, komplexere Herausforderungen von Kunden und Gesellschaft zu lösen und neue Anwendungsfelder zu erschließen.

Details zur Technologie

Viele Aufgaben von KI-Agenten erfordern nur einen Bruchteil der allgemeinen Fähigkeiten eines LLM. Fujitsus Rekonstruktionstechnologie orientiert sich an der Fähigkeit des menschlichen Gehirns, neuronale Schaltkreise neu zu organisieren und sich durch Lernen und Erfahrungen auf bestimmte Fähigkeiten zu spezialisieren. So wird nur das für eine Aufgabe relevante Wissen extrahiert und ein spezialisiertes Modell geschaffen, das leichtgewichtig, effizient und zuverlässig ist.

Quantisierungstechnologie zur Verschlankung des KI-»Denkens« und zur Reduzierung des Stromverbrauchs

- Parameterkomprimierung:
  Reduzierung der Modellgröße und des Energiebedarfs bei gleichzeitiger Performance-Steigerung.
- Lösung für Quantisierungsfehler:
  Fujitsus neuer Algorithmus zur Quantization Error Propagation verhindert das exponentielle Fehlerwachstum in mehrschichtigen Netzen.
- 1-Bit-Quantisierung:
  Weltweit führender Optimierungsalgorithmus ermöglicht die 1-Bit-Quantisierung großer LLMs.

Spezialisierte Destillation zur Verdichtung von Wissen und Verbesserung der Genauigkeit

- Gehirn-inspirierte Optimierung:
  Anpassung der Modellstruktur an die Prozesse von Gedächtnisorganisation und Wissensverstärkung.
- Modellgenerierung und -auswahl:
  Kombination aus Pruning, Hinzufügen von Transformer-Blöcken, Generierung von Kandidatenmodellen und Auswahl mittels Neural Architecture Search (NAS).
- Wissensdistillation:
  Übertragung von Wissen aus Lehrermodellen (z. B. Takane) in kompaktere Studentenmodelle.
- Nachgewiesene Ergebnisse:

1. 1. Text-QA (Verkaufsverhandlungen, CRM-Daten Fujitsu): 11-fache Inferenzgeschwindigkeit, +43 % Genauigkeit, Studentenmodell mit nur 1/100 der Parameter übertrifft Lehrermodell, 70 % weniger GPU-Speicherbedarf und Betriebskosten.
  2. Bilderkennung: +10 % Genauigkeit bei der Erkennung unbekannter Objekte (4), mehr als Verdreifachung der Genauigkeit innerhalb von zwei Jahren.

Zukunftspläne

Fujitsu wird Takane mithilfe dieser Technologie weiterentwickeln, um Kunden bei der Transformation ihrer Geschäftsprozesse zu unterstützen. Geplant sind spezialisierte, kompakte KI-Agenten auf Takane-Basis für Branchen wie Finanzwesen, Fertigung, Gesundheitswesen und Einzelhandel. Künftige Forschungsschritte zielen auf eine weitere Reduktion des Modellspeichers um den Faktor 1/1000 bei gleichbleibender Genauigkeit.

Langfristig sollen spezialisierte Takane-Modelle zu fortschrittlichen KI-Agenten heranwachsen, die ein tieferes Verständnis der Welt entwickeln und komplexe Probleme autonom lösen können.

Anmerkungen

Weltneuheit: Systematische Kombination von Neural Architecture Search mit Wissensdistillation – erzielt Leichtgewichtigkeit und Genauigkeit jenseits des Ursprungsmodells.
Weltweit höchste Genauigkeitsbeibehaltung: Unabhängige Fujitsu-Benchmarks zeigen bessere Ergebnisse als modernste Verfahren wie OneBit.
Hugging Face: Plattform für gemeinschaftliche Arbeit mit KI-Modellen und -Datensätzen. https://huggingface.co/qep
Ergebnisse vorgestellt auf der 2025 IEEE International Conference on Image Processing (ICIP 2025).

Nützliche Links:

Ultrakomprimierte KI-Modelle: kleiner, sicherer, nachhaltiger und industriereif

27. August 2025

Illustration Absmeier foto freepik ki

Quanteninspirierte Tensornetzwerke zur Komprimierung von KI-Modellen ermöglichen es große Modelle effizienter und an lokale Bedingungen anpassbar zu machen, indem sie die Genauigkeit numerischer Werte verringert und unnötige Parameter eliminiert – ohne die Leistung zu verringern. Dadurch können KI-Modelle auf einer Vielzahl von Plattformen eingesetzt werden, was die Energieeffizienz verbessert und die Betriebskosten senkt. Besonders in Deutschland, wo industrielle Innovation und technische Genauigkeit hoch geschätzt werden, bietet diese Methode eine nachhaltige Lösung für die Herausforderungen der KI-Skalierung.

Branchenübergreifend, von der Automobil- und Verteidigungsindustrie über das Gesundheitswesen bis hin zur fortschrittlichen Fertigung, hat sich KI bereits zu einer wichtigen strategischen Stütze entwickelt. In Deutschland, wo industrielle Innovation auf strenge Vorschriften und eine tief verwurzelte Kultur technischer Genauigkeit trifft, ist KI nicht mehr nur ein Hype, sondern bereits im operativen Geschäft angekommen. Neben dieser Begeisterung steht jedoch eine technische und wirtschaftliche Realität, da KI-Modelle, insbesondere die leistungsstärksten Large Language Models (LLMs), immer größer werden, sehr energieintensiv sind und ihre effektive Skalierung teuer ist. Die Internationale Energieagentur (IEA) schätzt , dass die Datenverarbeitung für KI bis 2030 allein in den USA mehr Strom verbrauchen wird als die Herstellung von Stahl, Zement, Chemikalien und allen anderen energieintensiven Gütern zusammen [1]. In Deutschland legt deswegen das Energieeffizienzgesetz bereits Ziele für die Reduzierung des Energieverbrauchs bis 2030 fest [2]. Rechenzentren müssen ab 2026 mindestens 10 % der Energie zurückgewinnen beziehungsweise wiederverwenden, bis 2028 soll dieser Anteil auf 20 % steigen [3].

Allein die Größe heutiger LLMs führt zu einem immer steigenden Bedarf an Rechenressourcen, High-End-GPUs und einer riesigen Cloud-Infrastruktur. Für viele Unternehmen werden die Gesamtbetriebskosten sehr teuer. Diese wirtschaftliche Belastung wird durch einen weltweiten Mangel an KI-Serverchips verschärft, der durch steigende Nachfrage und Lieferkettenengpässe verursacht wird.

Effizientere Methode: Tensornetzwerke

Als Reaktion darauf entsteht ein neuer Ansatz, der KI zugänglicher, effizienter und an lokale Bedingungen anpassbarer macht: quanteninspirierte Tensornetzwerke. Diese Netzwerke bieten gegenüber herkömmlichen Komprimierungstechniken mehrere Vorteile. Anstatt immer größere Modelle zu erstellen, verlagert sich der Fokus darauf, bestehende Modelle durch Tensorisierung – der Prozess bei dem Schichten eines neuronalen Netzwerks, die zum Verkleinern geeignet sind identifiziert werden, und großen Matrizen innerhalb dieser Schichten in kleinere, miteinander verbundene Matrizen zerlegt werden – und Quantisierung, die Verringerung der Genauigkeit numerischer Werte, um bis zu 95 % zu komprimieren [4] [5]. Dennoch wird die Leistung beibehalten, aber gleichzeitig die Effizienz drastisch verbessert. Im Kern strukturiert die Technologie die Darstellung neuronaler Netzwerke so um, dass unnötige Parameter eliminiert werden, während die volle Funktionsfähigkeit des Netzwerks erhalten bleibt. Diese Technik funktioniert, indem nur die relevantesten Korrelationen zwischen Datenpunkten identifiziert werden und erhalten bleiben. Statistische Redundanzen werden entfernt, ohne die Vorhersagefähigkeit des Modells zu beeinträchtigen.

Das KI-Modell wird dadurch so kompakt, dass es auf Geräten läuft, die zuvor von der KI-Bereitstellung ausgeschlossen waren. Durch die Vereinfachung der internen Architektur verarbeiten komprimierte Modelle zudem Abfragen schneller (gemessen in Token pro Sekunde), was zu einer schnelleren Benutzerinteraktion, Systemreaktion und Ergebnissen führt. Darüber hinaus wird die Energieeffizienz verbessert. Da pro Inferenz weniger Operationen erforderlich sind, sinkt der Energiebedarf deutlich um bis zu 50 %, was Green-IT-Strategien unterstützt und die Betriebskosten senkt. Schließlich gibt es noch den entscheidenden Vorteil der Hardwareunabhängigkeit. Diese ultrakomprimierten Modelle können auf einer Vielzahl von Plattformen eingesetzt werden, von großen Servern bis hin zu Edge-Geräten, wodurch die Abhängigkeit von seltenen oder teuren GPU-Clustern und Internetverbindungen vermieden wird.

Während die theoretischen Grundlagen von Tensornetzwerken aus der Quantenmechanik stammen, ist ihre Anwendung auf KI vollständig mit der herkömmlichen digitalen Infrastruktur kompatibel. Hier kommen also Ideen aus der Quantenwissenschaft herkömmlichen Computerumgebungen direkt zugute.

Das Ergebnis ist ein schlankeres KI-Modell, das genauso gut oder in manchen Fällen sogar besser funktioniert als das ursprüngliche LLM. Im operativen Umfeld bedeutet dies schnellere Erkenntnisse, höhere Reaktionsfähigkeit und weniger Infrastruktureinschränkungen. Diese neue Technik kann also tiefgreifende Auswirkungen auf die deutsche Industrie haben.

Traditionelle Methoden wie Quantisierung oder Pruning (Entfernen redundanter neuronaler Verbindungen) wurden zum Verschlanken von Modellen eingesetzt, jedoch oft auf Kosten von Genauigkeit und Zuverlässigkeit. Dies stellte eine besondere Herausforderung in hochpräzisen Industrieumgebungen wie beispielsweise in der Verteidigung, den Biowissenschaften oder dem Gesundheitswesen dar.

Von der Cloud bis zum Edge – lokalisierte Bereitstellungsmodelle

Die Branche setzte lange Zeit auf Cloud-zentrierte Architekturen zur Skalierung von KI, doch komprimierte Modelle stellen dieses Paradigma auf den Kopf. Indem sie LLM-Modelle kleiner, effizienter und prozessorfreundlicher machen, ermöglichen sie einen Wandel hin zu dezentralen und stärker lokalisierten Informationsquellen. Der Wechsel zum Edge Computing ist nicht nur praktisch, sondern eröffnet auch eine Vielzahl von Anwendungsmöglichkeiten.

In Fahrzeugen können beispielsweise KI-Systeme für Navigation, Sicherheit oder prädiktive Diagnose lokal ausgeführt werden und machen sich so von Cloud-Diensten unabhängig, die auf abgelegenen Straßen oder in Tunneln möglicherweise nicht verfügbar sind. Auf Verbrauchergeräte, intelligente Haushaltsgeräte oder Assistenzsysteme können KI-gestützte Funktionen auch offline anbieten und so die Benutzerfreundlichkeit und den Datenschutz verbessern. In der industriellen Automatisierung kann Edge-KI Geräte überwachen, Anomalien erkennen und Arbeitsabläufe optimieren, ohne Daten extern zu senden. Dies ist ideal für regulierte Branchen wie die Biowissenschaften, Forschung oder für abgelegenere Orte ohne Internetzugang.

Einsatz eines komprimierten KI-Modells für industrielle Effizienz

Eine der überzeugendsten Validierungen dieses Ansatzes fand in einer Produktionsstätte in Europa statt. Ziel war es, die Größe des bestehenden KI-Modells des Herstellers, das bei der Produktion von Automobilkomponenten verwendet wird, zu reduzieren, ohne dessen Leistung zu beeinträchtigen.

Die Ergebnisse waren beeindruckend. Durch den Einsatz fortschrittlicher Komprimierungsmethoden auf Basis von Tensornetzwerken konnte die Größe des Modells deutlich reduziert werden. Dadurch lieferte das KI-Modell etwa doppelt so schnelle Reaktionszeiten und verbesserte die Integration in bestehende Anlagensysteme. Besonders bemerkenswert: Der Energieverbrauch für den Betrieb des Modells sank um etwa 50 %.

Für Fertigungsunternehmen, die Wert auf schlanke Produktion und Umweltverantwortung legen, bedeuteten diese Einsparungen nicht nur messbare Kostensenkungen, sondern auch einen beschleunigten Weg zu einer intelligenteren und effizienteren Produktion.

Das komprimierte KI-Modell ermöglichte eine lokalisierte Entscheidungsfindung in Echtzeit, sei es in der Robotik, Qualitätskontrolle oder vorausschauenden Wartung, ohne Daten an entfernte Server zu senden oder auf eine instabile Konnektivität angewiesen zu sein.

Edge AI in der Verteidigung – Intelligenz und Geschwindigkeit ohne Internet

Auch die Verteidigung kann enorm von komprimierter KI profitieren. Moderne Militäroperationen sind zunehmend auf Datenanalysen in Echtzeit angewiesen, sei es durch Drohnen, Überwachungssysteme oder taktische Entscheidungshilfen. Diese werden jedoch häufig in abgelegenen oder feindlichen Umgebungen eingesetzt, in denen Cloud- und Internetverbindungen eingeschränkt oder sogar gar nicht verfügbar sind.

Komprimierte KI-Modelle bieten einen entscheidenden Vorteil: Sie können lokal auf Hardware mit begrenzter Rechenkapazität, wie beispielsweise Drohnen oder eingebetteten Systemen, eingesetzt werden. Durch die Reduzierung der Modellgröße und der Hardwareanforderungen kann KI vollständig am Netzwerkrand ausgeführt werden und sofortige Intelligenz in Echtzeit liefern, ohne auf externe Infrastruktur angewiesen zu sein und ohne übermäßigen Energieverbrauch.

Eine Aufklärungsdrohne, zum Beispiel, die ein Grenzgebiet patrouilliert kann mit einem eingebetteten KI-System, das darauf trainiert ist, Geländemerkmale oder fremde Ausrüstung zu erkennen, ihre Mission auch bei Funkstille selbstständig ausführen. Auch in der Cybersicherheit oder der elektronischen Kriegsführung sorgt der lokale KI-Einsatz dafür, dass sensible Daten auf das Einsatzgebiet beschränkt bleiben, was sowohl die Sicherheit als auch die taktische Zuverlässigkeit erhöht.

Aus technischer Sicht liegt der Schlüssel im Gleichgewicht zwischen Komprimierung und Leistung. Durch die Anwendung einer tensornetzwerkbasierten Komprimierung können Verteidigungsbehörden die Modelltreue aufrechterhalten und gleichzeitig Formfaktoren bereitstellen, die zuvor als unpraktisch galten.

Komprimierte KI-Modelle im Gesundheitswesen – lokale Intelligenz für sensible Daten

Datenschutz ist im Gesundheitswesen nicht nur eine Frage der Compliance, sondern eine zentrale ethische Anforderung. Patientenakten gehören zu den sensibelsten Datensätzen – Kliniken sind sollten den Einsatz cloudbasierter KI-Systeme vermeiden, die persönliche Gesundheitsdaten an externe Anbieter oder Hosts übertragen oder speichern.

Komprimierte KI-Modelle bieten eine zusätzliche Lösung, indem sie die Ausführung komplexer Modelle auf lokalen Geräten oder in sicheren, privaten Clouds ermöglichen. Dies kann das krankenhausinterne Rechenzentrum oder auch Geräte wie Tablets und lokale Workstations sein. Patientendaten bleiben dadurch innerhalb der Firewall der Organisation. Ärzte profitieren dennoch von KI-gestützter Diagnostik, der Zusammenfassung von Patientengeschichten und intelligenter Unterstützung bei Konsultationen und Visiten.

Die KI-Komprimierung ermöglicht, dass nun auch kleinere Gesundheitsdienstleister diese Funktionen nutzen können, denen möglicherweise das Budget oder die Infrastruktur für traditionelle KI-Implementierungen fehlt. Sie reduziert den Bedarf an High-End-Hardware drastisch und ermöglicht den effizienten Betrieb intelligenter Systeme an Orten, an denen die Finanzierung großer oder neuer Technologieinvestitionen sorgfältig geprüft wird.

In der Praxis bedeutet dies, dass die Diagnose nicht nur schneller, sondern auch sicherer erfolgt. Medizinisches Personal kann auf KI-Unterstützung zugreifen, ohne die Offenlegung von Patientendaten zu riskieren, und sowohl betriebliche als auch gesetzliche Anforderungen erfüllen.

Die deutsche Industrie am Scheideweg

Deutschlands weltweiter Ruf für industrielle Präzision und Effizienz verschafft dem Land eine einzigartige Position, um Kompressionstechniken frühzeitig einzusetzen. Von der Fertigung bis zum Operationssaal ermöglichen komprimierte Modelle schnellere Erkenntnisse, eine bessere Energieeffizienz und mehr Datenschutz ohne Kompromisse bei der Genauigkeit. Da Innovationen aus Deutschland und Europa zunehmend effizient und verantwortungsvoll sein müssen, bietet dieser Ansatz einen nachhaltigen Weg in die Zukunft.

Der Schwerpunkt auf regionaler Datenverwaltung steht auch im Einklang mit den Vorteilen lokaler KI in den ansässigen Schlüsselindustrien.

KI besticht nicht mehr durch Größe, sondern durch Einfallsreichtum. Komprimierte KI stellt eine entscheidende Weiterentwicklung in der Art und Weise dar, wie wir Machine-Learning-Modelle entwickeln, einsetzen und nutzen. Das bedeutet nicht weniger Leistung, sondern intelligentere, sauberere Abläufe und Organisationen, die sowohl bereit für die Gegenwart als auch für die Zukunft sind.

Roman Orus, Mitbegründer und Chief Scientific Officer, Multiverse Computing

[1] https://www.theguardian.com/technology/2025/apr/10/energy-demands-from-ai-datacentres-to-quadruple-by-2030-says-report

[2] https://www.bundeswirtschaftsministerium.de/Redaktion/EN/Pressemitteilungen/2023/09/20230921-bundestag-adopts-energy-efficiency-act-a-clear-legal-framework-for-energy-efficiency.html#:~:text=The%20Energy%20Efficiency%20Act%20stipulates,of%20the%20mix%20of%20instruments.

[3] https://assetphysics.com/higher-performance-drives-data-center-energy-demand/

[4] https://arxiv.org/html/2505.20132v1

[5] https://docs.pytorch.org/docs/stable/quantization.html

489 Artikel zu „KI-Modelle“

Trends 2025 | News | Künstliche Intelligenz | Strategien | Tipps

Spezialisierten KI-Modellen gehört die Zukunft

10. April 2025

Gartner prognostiziert: Bis 2027 werden Unternehmen dreimal häufiger kleine, auf spezielle Aufgaben ausgerichtete KI-Modelle einsetzen als allgemeine Sprachmodelle. Der Bedarf an kontextualisierten, zuverlässigen und kosteneffizienten Lösungen treibt den Trend hin zu spezialisierten KI-Modellen. Laut einer Prognose des Marktforschungsunternehmens Gartner werden Unternehmen bis 2027 kleine, auf bestimmte Aufgaben zugeschnittene KI-Modelle einsetzen – und das mit einem…

Rekonstruktionstechnologie für generative KI für optimierte und energieeffiziente KI-Modelle auf Basis von Takane LLM.

Weltweit höchste Genauigkeitsbeibehaltung von 89 Prozent, dreifache Inferenzgeschwindigkeit und 94 Prozent weniger Speicherbedarf durch 1-Bit-Quantisierung.

Anmerkungen

Weltneuheit: Systematische Kombination von Neural Architecture Search mit Wissensdistillation – erzielt Leichtgewichtigkeit und Genauigkeit jenseits des Ursprungsmodells.

Weltweit höchste Genauigkeitsbeibehaltung: Unabhängige Fujitsu-Benchmarks zeigen bessere Ergebnisse als modernste Verfahren wie OneBit.

Hugging Face: Plattform für gemeinschaftliche Arbeit mit KI-Modellen und -Datensätzen. https://huggingface.co/qep

Ergebnisse vorgestellt auf der 2025 IEEE International Conference on Image Processing (ICIP 2025).