Rechenleistung allein beschreibt noch nicht die Leistungsfähigkeit eines KI-Clusters: Beim verteilten Training müssen Beschleuniger Daten austauschen, bei disaggregierter Inferenz verbindet das Netzwerk getrennte Verarbeitungspools. Aria Networks setzt mit »Deep Networking« auf eine Kombination aus Switching-Hardware, Telemetrie und automatisierter Steuerung. Für IT-Entscheider stellt sich damit eine konkrete Prüfaufgabe: Welcher Nutzen lässt sich unter realistischen Lasten bei Token-Durchsatz, Antwortzeiten und Kosten nachweisen? Produktversprechen und messbare Ergebnisse sind dabei auseinanderzuhalten. [1][3][4]

Management Summary

Netzwerkleistung ist Teil der KI-Leistung. Gradientensynchronisation und die Übertragung von KV-Caches verbinden Netzwerkverhalten mit Training und Inferenz. Aria adressiert diese Abhängigkeit mit seinem »Deep Networking«-Ansatz. [1][4]
Token-Durchsatz braucht einen Qualitätsrahmen. Tokens pro Sekunde, Zeit bis zum ersten Token und Zeit zwischen Ausgabetokens beschreiben unterschiedliche Leistungsaspekte. Empfehlung: Kosten nur bei vergleichbaren Modellen, Antwortqualität und Latenzanforderungen gegenüberstellen. [3]
MFU ist nicht mit Rentabilität gleichzusetzen. Model FLOPs Utilization beschreibt die Nutzung theoretischer Rechenleistung für Modelloperationen. Forschungsarbeiten zur Inferenz untersuchen ausdrücklich den Zielkonflikt zwischen MFU und Latenz; eine einzelne Auslastungszahl reicht deshalb nicht als Entscheidungsgrundlage. [5]
Automatisierung verlangt einen belastbaren Nachweis. Aria beschreibt feingranulare Telemetrie und intelligente Agenten als Kern seiner Plattform. Empfehlung: Optimierungswirkung, Eingriffsrechte und Rücknahme von Änderungen im eigenen Pilotprojekt prüfen, statt Herstellerangaben als allgemeine Leistungszusage zu übernehmen. [1]
Europas Kapazitätsausbau bleibt anspruchsvoll. Roland Berger prognostiziert bis 2035 weltweit bis zu 340 GW installierte Rechenzentrumskapazität und nennt Netzanschlüsse sowie Energieverfügbarkeit als europäische Hürden. Empfehlung: Infrastrukturplanung nicht nur auf Beschleunigerbeschaffung ausrichten. [2]

Illustration Absmeier foto ki designer

Bild: KI-generierte Symbolillustration. Netzwerkverbindungen und Telemetrie als Bestandteile einer KI-Infrastruktur; keine Darstellung eines konkreten Aria-Produkts oder gemessener Leistungswerte.

Deep Networking: Optimierte Performance und Token-Effizienz von KI-Infrastrukturen

Das auf KI spezialisierte Netzwerkunternehmen expandiert von Berlin aus nach Europa mit einem neuen Ansatz, der Betreibern von KI-Infrastrukturen zu mehr Performance und Wertschöpfung verhelfen soll.
Die Deep-Networking-Lösung kombiniert KI-Hardware der Spitzenklasse, AriaOS, detaillierte Telemetrie, intelligente Agenten und Expertise im Bereich Deep Networking, um die Performance von KI-Infrastrukturen zu optimieren.
Entwickelt zur Maximierung der Model FLOP Utilization (MFU) und der Token-Effizienz, um Betreibern zu helfen, den Wert jedes Accelerators zu maximieren.
Unterstützt mit 125 Millionen US-Dollar von Sutter Hill Ventures, Atreides Management, Valor Equity Partners und Eclipse Ventures.

Mit der Skalierung von KI-Infrastrukturen wandeln sich auch die damit verbundenen Herausforderungen. Der Ausbau von Rechenzentrumskapazitäten und die Integration weiterer Beschleuniger sind dabei nur ein Teil der Gleichung. Betreiber müssen zudem sicherstellen, dass diese Investitionen die bestmögliche Leistung und den größtmöglichen wirtschaftlichen Ertrag liefern.

Das Netzwerk spielt hierbei eine entscheidende Rolle. Dennoch ist es oft einer der am wenigsten sichtbaren Bestandteile einer KI-Infrastruktur, was es schwierig macht, seinen Einfluss auf die Gesamtleistung des Systems zu verstehen, zu optimieren und zu verwalten. Aria Networks wurde entwickelt, um genau diese Herausforderung anzugehen. Der »Deep Networking«-Ansatz kombiniert KI-spezifische Hardware, das Aria Operating System (AriaOS), durchgängige Telemetrie, intelligente Agenten sowie fundiertes Expertenwissen im Bereich Netzwerktechnik. So wird das Netzwerk zu einem aktiven Bestandteil bei der Optimierung von KI-Infrastrukturen.

»Das Netzwerk hat sich zu einem Flaschenhals in KI-Infrastrukturen entwickelt und ist oft der Teil der KI-Umgebung, den Betreiber am wenigsten verstehen. Deep Networking ändert das. Die wirtschaftliche Rechnung ist simpel: Eine Steigerung um 10 % bei den verarbeiteten Token pro Sekunde kann eine Umsatzsteigerung von 10 % bedeuten«, erklärt Mansour Karam, Gründer und CEO von Aria Networks. »Unser Start in Berlin war sehr vielversprechend. Unternehmen, insbesondere in Europa, suchen nach Wegen, um mehr aus der wertvollen und energieintensiven Hardware in ihren Rechenzentren und KI-Clouds herauszuholen. Die Nachfrage wird die Rechenzentren füllen, die Leistung wird darüber entscheiden, welchen Wert sie tatsächlich haben. Wir verfügen nun über ein eigenes Team in Europa und gehen davon aus, in Kürze erste Kundenprojekte in der Region bekannt geben zu können.«

Laut der Studie »The AI Datacenter Study – Part 1: The Global Build-out Race« des in Deutschland ansässigen Beratungsunternehmens Roland Berger wird sich die weltweit installierte Rechenzentrumskapazität bis 2035 voraussichtlich fast vervierfachen. Es wird ein Anstieg von derzeit 88 Gigawatt auf bis zu 340 GW bis zum Jahr 2035 prognostiziert. Im gleichen Zeitraum dürfte der Anteil der gesamten Rechenlast, der auf KI entfällt, von etwa 20 Prozent auf nahezu 60 Prozent wachsen. Die Studie deutet darauf hin, dass Europa Gefahr läuft, in diesem globalen Wettlauf weiter zurückzufallen; so wird prognostiziert, dass sein Anteil an der weltweiten Rechenzentrumskapazität bis 2030 von rund 13 Prozent auf etwa 10 Prozent sinken wird. Zu den Faktoren, die dazu beitragen, zählen unter anderem hohe Energiekosten, die eine geringere betriebliche Effizienz zur Folge haben.

Token-Effizienz wird für KI-Betrieb erfolgskritisch

Die Token-Effizienz ist die entscheidende Kennzahl im Zeitalter der »KI-Fabriken« und der beste Indikator dafür, ob sich die Investitionen in einen KI-Cluster auszahlen. Die Token-Effizienz steht in direktem Zusammenhang mit der »Model Flop Utilization« (MFU), also der Auslastung der Rechenleistung für KI-Modelle, sowie den Kosten pro Token. Verbesserungen in diesen Bereichen führen unmittelbar zu höheren Erträgen. Da Token zur »Währung der Intelligenz« werden, versetzt Aria die Betreiber in die Lage, zu den kosteneffizientesten Anbietern auf dem Markt zu werden und macht so Infrastruktureffizienz zu einem echten Wettbewerbsvorteil.

Das Netzwerk spielt in dieser Gleichung eine zentrale Rolle: Es ist nicht nur ein potenzieller Flaschenhals, sondern kann auch als Multiplikator wirken. Arbeitet das Netzwerk nicht optimal, beeinträchtigt dies alle anderen Komponenten des Systems. Ist es hingegen optimiert, steigert es deren Gesamtleistung. Obwohl das Netzwerk nur etwa 10-15 % der gesamten Cluster-Kosten ausmacht, ist sein Einfluss beträchtlich: Es ist mit jedem Beschleuniger, jedem Speicherknoten und jeder Anfrage verknüpft. Eine Verbesserung der MFU um lediglich 1 % reicht aus, um die gesamten Kosten des Netzwerks zu amortisieren.

Eine suboptimale Netzwerkleistung verhindert, dass das volle Potenzial anderer Infrastrukturinvestitionen ausgeschöpft werden kann: Beim Training beeinflusst sie die Geschwindigkeit der Gradientensynchronisation; beim »disaggregierten« Inferenzbetrieb bestimmt sie, wie effizient KV-Caches übertragen werden und wie reibungslos Aufgaben über Tausende von xPUs (Beschleunigereinheiten) hinweg koordiniert werden. Zudem wandeln sich Inferenzprozesse alle paar Monate: »Prefill«- und »Decode«-Phasen laufen zunehmend auf getrennten Ressourcen-Pools ab, KV-Caches werden auf verschiedene Speicher- und Speicherebenen ausgelagert und bei »Mixture-of-Experts«-Modellen wird die Arbeitslast auf eine Vielzahl von Beschleunigern verteilt. Durch diese Entwicklungen wird das System immer stärker disaggregiert, wodurch das Netzwerk – sowohl im Backend als auch im Frontend – direkt zum kritischen Pfad für die Gesamtleistung wird.

Blinde Flecken im Netzwerk als Flaschenhals und Kostentreiber

»Basierend auf meiner Erfahrung bei der Konzeption von Hochleistungsnetzwerken für KI-Cluster sind ›blinde Flecken‹ im Netzwerk der größte Flaschenhals. Ich bin beeindruckt davon, wie Aria Networks über eine einfache Fehlererkennung hinausgeht und eine echte prädiktive Orchestrierung ermöglicht. Durch die Nutzung von Telemetriedaten im Mikrosekundenbereich erhalten Betreiber nicht nur Warnungen bei Überlastungen, sondern auch die nötigen Informationen, um solche Engpässe in einer Umgebung mit stark schwankendem Datenverkehr proaktiv zu antizipieren und zu verhindern. Dies ist ein bedeutender Schritt hin zu einer aktiven Steuerung, die maximale Effizienz über die gesamte KI-Infrastruktur hinweg gewährleistet«, sagt Prakash Sripathy, Vice President bei Supermicro.

KI-Fabriken suchen nach Lösungen, die es ihnen ermöglichen, Tokens effizienter und zu möglichst geringen Kosten zu produzieren – mit dem Ziel, eine schnellstmögliche Erzeugung sowie eine kostengünstige Nutzung von Intelligenz zu gewährleisten. Aria wurde entwickelt, um genau diesen Hebel nutzbar zu machen. »Deep Networking« ist die Antwort von Aria. Ein grundlegend anderer Ansatz, der das Netzwerk von einem einschränkenden Faktor in einen Wettbewerbsvorteil verwandelt.

»Beim Betrieb von KI-Clustern im großen Maßstab zeigte sich eine kritische Schwachstelle: die Netzwerkebene. Ohne Einblick in die Infrastruktur bleiben Leistungsprobleme ungelöst, die Kosten steigen rapide an, und herkömmliche Werkzeuge stoßen schlicht an ihre Grenzen. Ein KI-zentrierter, autonomer Ansatz verschafft uns endlich die nötige Kontrolle und messbare Einsparungen«, erklärt Dali Kilani, Gründer und CTO von Blackfuel.ai.

Herkömmliche Netzwerklösungen betrachten Telemetriedaten oft nur als nachrangigen Aspekt und stützen sich auf statische Konfigurationen, die für eine andere Ära entwickelt wurden. Deep Networking ändert dies und basiert auf fünf Säulen, die allesamt vorhanden sein müssen, um das gewünschte Ergebnis zu erzielen:

Hardware der KI-Klasse und das Betriebssystem Aria (AriaOS). Die Switches der KI-Klasse von Aria – entwickelt in enger Abstimmung mit AriaOS, dem gehärteten, auf SONiC basierenden Betriebssystem von Aria – laufen auf Broadcom-Chipsätzen. Sie bieten führende 800GbE- und 1,6T-Switching-Leistung und sind sowohl in flüssigkeitsgekühlten als auch in luftgekühlten Ausführungen erhältlich.
Feingranulare End-to-End-Telemetrie. Mit einer 100- bis 10.000-fach höheren Auflösung als bei herkömmlichen Tools werden Daten von Switches, Transceivern und Hosts erfasst. Diese werden – unabhängig vom jeweiligen Hersteller der Beschleuniger-Hardware – mit Host- und NIC-Daten auf einer einheitlichen Zeitachse korreliert.
Intelligente Agenten auf jeder Ebene. Spezialisierte Agenten werten Signale aus, gewinnen Erkenntnisse und ergreifen Maßnahmen auf der jeweils passenden Ebene – vom Switching-ASIC bis hin zur Cloud-Orchestrierung.
Integrierte Netzwerk-Expertise. Jeder Agent und jede Entscheidung basiert auf fundiertem Fachwissen im Bereich Netzwerktechnik: Das System betrachtet nicht nur Daten, sondern versteht auch deren Bedeutung.
Kontinuierliche Updates. Neue Funktionen werden nahtlos und stetig weiterentwickelt, sodass das Netzwerk bei jeder neuen Workload stets an der Spitze der Leistungsfähigkeit bleibt.

Die Kombination dieser fünf Elemente schafft einen sich selbst verstärkenden Kreislauf: Selbstregulierende Kontrollschleifen bewahren das, was sie gelernt haben – je mehr Arbeitslasten das System also verarbeitet, desto intelligenter wird es. Das Ergebnis ist ein Netzwerk, das sich genauso schnell anpasst wie die Software, die darauf ausgeführt wird.

Deep Networking als Effizienz-Booster

»Deep Networking« ist nicht nur eine technologische Architektur, sondern eine Reihe von konkreten Vorteilen, die Betreiber vom ersten Tag an erleben:

Nahtlose, automatische Netzwerk-Feinabstimmung. Die Plattform optimiert kontinuierlich jeden Aspekt der Netzwerkinfrastruktur für den jeweils genutzten Cluster – ganz ohne manuellen Eingriff. Dies umfasst Routing, Lastverteilung, Überlastungsmanagement und Failover. Auf diese Weise entfallen manuelle, fehleranfällige Arbeitsprozesse, die bei herkömmlichen Bereitstellungen oft zu Verzögerungen führen.
Intent-based Configuration. Die Betreiber geben lediglich an, was sie benötigen – die Plattform konfiguriert die Netzwerkinfrastruktur daraufhin entsprechend.
Adaptive Leistungsoptimierung in Echtzeit. Das System wartet nicht erst auf ein Support-Ticket oder das Überschreiten eines Schwellenwerts. Es analysiert kontinuierlich den Netzwerkzustand und ergreift in Echtzeit Maßnahmen, um die Auslastung der Accelerators zu maximieren und einen reibungslosen Datenfluss zu gewährleisten. Das Netzwerk passt sich dabei automatisch an die jeweilige Arbeitslast, Topologie und auftretende Fehlerzustände an.
Partnerschaftliche Zusammenarbeit mit KI-gestützten Agenten. Betreiber erhalten Zugriff auf detaillierte Telemetriedaten und werden bei Problemen sofort benachrichtigt. Sie können Fragen zu den jeweiligen Meldungen in natürlicher Sprache stellen und gemeinsam mit den Agenten von Aria Strategien zur Problemlösung oder Leistungsoptimierung entwickeln. Es handelt sich nicht um eine »Black Box«, sondern um eine echte Partnerschaft.
Integrierte »Forward Deployed Engineers« (FDEs). Die FDEs von Aria sind kein optionaler Zusatzdienst, sondern ein integraler Bestandteil der Aria-Lösung selbst. Sie arbeiten direkt im Team des Kunden, begleiten den gesamten Lebenszyklus – von der Architektur bis zur Leistungsoptimierung –, entwickeln gemeinsam mit dem Kunden Lösungen und integrieren das Aria-Netzwerk nahtlos in den gesamten »AI Factory«-Stack.

Diese Ergebnisse verschaffen Betreibern einen entscheidenden Vorteil. Sie ermöglichen es ihnen, unabhängig von bestimmten Accelerator-Technologien zu agieren und einen höheren Mehrwert aus ihren Investitionen in Beschleuniger zu ziehen. Besonders wichtig ist, dass Betreiber ihre Cluster linear skalieren können, während sie gleichzeitig eine maximale MFU (Mean Functional Utilization) aufrechterhalten. Zudem erhalten sie die Möglichkeit, die erbrachte Leistung transparent zu machen, zu erklären und nachzuweisen – was es ihnen erlaubt, entsprechende Garantien zu geben und die Leistung in Rechnung zu stellen.

Technologie ist einsatzbereit – erste Teststellungen

»Proprietäre Netzwerk-Fabrics gehören der Vergangenheit an. Mit der Einführung der 1,6-Tbps-Technologie in Kombination mit einer auf Telemetrie ausgerichteten Softwarearchitektur beweist Aria Networks, dass die leistungsstärksten KI-Netzwerke weltweit auf einer Basis aus offenem, skalierbarem Ethernet – wie etwa der Tomahawk-6-Switch-Serie von Broadcom – aufgebaut werden«, erklärt Hasan Siraj, Vice President of Product Marketing, Core Switching Group bei Broadcom.

Shane Corban, Senior Director of Product Management, Networking Technology and Solutions Group bei AMD, ergänzt: »Im Zuge der Weiterentwicklung von KI-Infrastrukturen werden Effizienz und Auslastung ebenso entscheidend wie die Skalierbarkeit. Dies stellt neue Anforderungen an das Netzwerk in Bezug auf Transparenz, Vorhersehbarkeit und Kontrolle. Um diesen Anforderungen gerecht zu werden, setzt sich AMD dafür ein, Kunden durch ein offenes Ökosystem eine echte Auswahlmöglichkeit zu bieten. Die AMD Pensando™ Pollara 400 AI NIC, die in Verbindung mit Aria Networks eingesetzt wird, unterstützt Kunden dabei, eine höhere Leistung, tiefere Einblicke und eine verbesserte Kontrolle über ihre KI-Netzwerkinfrastruktur zu erzielen.«

Ethernet hat sich – dank seiner Offenheit, Allgegenwärtigkeit und herstellerübergreifenden Skalierbarkeit – zur dominierenden Netzwerktechnologie für neue KI-Back-End-Infrastrukturen entwickelt. Da die Leistungsdichte in den Racks rasch in Richtung 1 MW zusteuert, wird erwartet, dass in diesem Jahr bereits 76 % aller KI-Server mit Flüssigkeitskühlung ausgestattet sein werden. Zudem verläuft der Übergang zu 1,6T schneller, als es beim Übergang zu 800G der Fall war; bis 2027 werden voraussichtlich mehr als 22 Millionen Ports ausgeliefert. Die von Grund auf neu entwickelte Switch-Plattform von Aria – die in enger Abstimmung mit dem Betriebssystem AriaOS konzipiert wurde – bietet führende 800GbE- und 1,6T-Switching-Lösungen, sowohl für flüssigkeitsgekühlte als auch für luftgekühlte Systeme, ganz ohne Herstellerbindung.

»Aria ist etwas Seltenes gelungen: Das Unternehmen hat ein messbares Problem identifiziert und eine differenzierte Lösung entwickelt, die bereits von Kunden nachgefragt wird. Unsere Überzeugung stützt sich auf die Technologie, die Dynamik und vor allem auf die Gründer«, sagt der aus Bayern stammende Stefan Dyckerhoff, Gründungsinvestor und Vorstandsmitglied bei Aria Networks.

Während sich der Fokus bei KI-Infrastrukturen – den sogenannten »KI-Fabriken« – vom reinen Wettlauf um Kapazitäten hin zum Wettbewerb um Leistung verlagert, definiert Aria Networks eine neue Kategorie: ein Netzwerk, das von Grund auf für KI konzipiert, mit entsprechender Sensorik ausgestattet und durchgängig für KI betrieben wird – wobei die »Token-Effizienz« die entscheidende Kennzahl darstellt. Angesichts der stetig wachsenden Nachfrage nach leistungsstarker KI setzt sich Aria Networks weiterhin dafür ein, die Grenzen der Netzwerkintelligenz zu erweitern. Das Unternehmen unterstützt seine Kunden dabei, die Effizienz zu steigern, die Leistung von Beschleuniger-Hardware zu maximieren und die Innovationskosten im Zeitalter der KI-Fabriken zu senken.

Praxistipps für IT-Entscheider

Die folgenden Tipps sind redaktionelle Empfehlungen für Evaluierung und Betrieb, keine Zusagen zu Einsparungen oder Leistungssteigerungen.

Mit einer reproduzierbaren Baseline starten. Modellversion, Präzision, Prompt- und Antwortlängen, Parallelität und Softwarestand dokumentieren. Durchsatz und Latenz gemeinsam messen; die Quellen erläutern, dass diese Parameter Benchmark-Ergebnisse beeinflussen. [3][6]
Kosten pro Million nutzbarer Ausgabetokens festlegen. Für einen definierten Messzeitraum die einbezogenen Infrastruktur- und Betriebskosten durch die Zahl der Ausgabetokens teilen und auf eine Million skalieren. Dokumentieren, was »nutzbar« bedeutet, und Qualitäts- sowie Latenzanforderungen vor dem Vergleich festhalten. Dies ist eine vorgeschlagene interne Kennzahl, kein universeller Standard.
Netzwerk- und Anwendungssignale zusammen betrachten. In Pilotmessungen Switch-, NIC- und Hostdaten mit Trainingsschritten oder Inferenzanfragen zeitlich korrelieren. Aria beschreibt eine solche Telemetriekorrelation als Bestandteil seines Ansatzes; deren praktischen Mehrwert im eigenen Cluster prüfen. [1]
Disaggregation als Option testen, nicht voraussetzen. Aggregierte und getrennte Prefill-/Decode-Pools unter derselben Last vergleichen. Den KV-Cache-Transfer explizit messen: Die Dynamo-Dokumentation nennt ihn als kritischen Pfad und weist darauf hin, dass die Trennung nicht für jede Last vorteilhaft ist. [4]
Automatisierte Eingriffe begrenzen. Für Agenten zulässige Aktionen, Freigaben, Protokollierung und Rücknahmeverfahren definieren. Zunächst beobachtend testen, danach kontrollierte Eingriffe im Pilotbetrieb zulassen. Die Empfehlung ergänzt die von Aria beschriebene agentengestützte Steuerung. [1]
Abnahme nach eigener Last statt nach Maximalwerten. Spitzenlast, lange Kontexte, wechselnde Parallelität und ausgewählte Fehlerfälle in einen Testplan aufnehmen. Kriterien für Durchsatz, Antwortzeiten und Verfügbarkeit vorab vereinbaren; Hardwarebandbreite und Anwendungsleistung nicht als identische Größen behandeln. [3][4]
Ausbau und Energie gemeinsam planen. Netzanschluss, Kühlung, Leistungsaufnahme und Beschaffungszeiträume in die Kapazitätsplanung einbeziehen. Die Roland-Berger-Prognose ist ein Szenario, keine gesicherte Zukunft; lokale Standortdaten separat prüfen. [2]

FAQ: Zehn Fragen zu Deep Networking und KI-Effizienz

1. Was bedeutet »Deep Networking« in diesem Zusammenhang?

Aria Networks bezeichnet damit seinen Ansatz, KI-orientierte Netzwerkhardware, ein auf SONiC basierendes Betriebssystem, End-to-End-Telemetrie und intelligente Agenten zusammenzuführen. Die Unternehmensmitteilung nennt Model FLOP Utilization und Token-Effizienz als Optimierungsziele. Der Begriff beschreibt hier den Ansatz dieses Anbieters; die Produktmitteilung allein ist kein unabhängiger Beleg dafür, dass eine bestimmte Leistungssteigerung im Kundenbetrieb erreicht wird. [1]

2. Wie lässt sich Token-Effizienz sinnvoll bewerten?

Für eine betriebliche Bewertung empfiehlt sich ein transparent definiertes Verhältnis von nutzbarer Token-Ausgabe zu Kosten oder Energieverbrauch. Ergänzend sind Durchsatz und Nutzerlatenz zu erfassen. NVIDIA unterscheidet unter anderem Systemdurchsatz, Zeit bis zum ersten Token und Inter-Token-Latenz. Vergleiche sollten dieselbe Modell- und Qualitätskonfiguration sowie ähnliche Ein- und Ausgabelängen verwenden; andernfalls beschreibt ein günstigerer Token-Preis nicht zwingend dieselbe Leistung. Die hier vorgeschlagene Kostenkennzahl ist eine redaktionelle Empfehlung. [3][6]

3. Was misst die Model FLOPs Utilization?

MFU steht für »Model FLOPs Utilization« und setzt die für Modelloperationen erreichte Rechenleistung zur theoretischen Spitzenleistung der eingesetzten Hardware ins Verhältnis. Sie ist nicht einfach die Zeit, in der eine GPU als beschäftigt angezeigt wird. Bei Inferenz untersuchen Forschungsarbeiten einen Zielkonflikt zwischen Auslastung und Latenz, etwa bei unterschiedlichen Batchgrößen. Hinweis zum Originalartikel: Die dort einmal verwendete Auflösung »Mean Functional Utilization« entspricht nicht dieser Fachbezeichnung; der Originaltext wurde nicht verändert. [5][7]

4. Warum kann das Netzwerk KI-Beschleuniger ausbremsen?

Aria nennt beim Training die Synchronisation von Gradienten und bei disaggregierter Inferenz den Transfer von KV-Caches als netzwerkabhängige Vorgänge. Die NVIDIA-Dokumentation erklärt ebenfalls, dass langsamer KV-Transfer die Zeit bis zum ersten Token und den Durchsatz dominieren kann. Das heißt jedoch nicht, dass jede schwache Clusterleistung ein Netzwerkproblem ist. Empfehlung: Netzwerk, Rechenleistung, Speicher und Serving-Konfiguration anhand korrelierter Messungen untersuchen. [1][4]

5. Was unterscheidet Prefill und Decode?

Prefill verarbeitet die Eingabe und erzeugt den anfänglichen Key-Value-Cache. Decode nutzt diesen Zustand, um weitere Ausgabetokens zu erzeugen. In disaggregierten Architekturen laufen beide Phasen in getrennten, unabhängig skalierbaren Worker-Pools; der Cache muss zwischen ihnen übertragen oder zugänglich gemacht werden. Die Phasen haben unterschiedliche Ressourcenprofile. Wie stark Rechenleistung, Speicherbandbreite oder Kommunikation begrenzen, hängt von Modell und Last ab. [4][5]

6. Wann lohnt sich disaggregierte Inferenz?

Die Dynamo-Dokumentation nennt lange Prompts, lange Ausgaben, hohe Parallelität und unterschiedliche Skalierungsanforderungen als mögliche Einsatzgründe. Für kleine Modelle, kurze Prompts, geringe Parallelität oder unzureichend schnellen KV-Transfer kann ein aggregierter Betrieb einfacher und schneller sein. Empfehlung: Beide Varianten mit dem eigenen Anfrageprofil vergleichen und den zusätzlichen Transferaufwand mitmessen. Eine pauschale Überlegenheit lässt sich aus dem Architekturprinzip nicht ableiten. [4]

7. Welche Kennzahlen gehören auf das Evaluierungsdashboard?

NVIDIA definiert die Zeit bis zum ersten Token (TTFT), die End-to-End-Latenz und die durchschnittliche Zeit zwischen Ausgabetokens (ITL beziehungsweise TPOT) als unterschiedliche Metriken. TTFT enthält typischerweise Warteschlange, Prefill und Netzwerklatenz. Empfehlung: Diese Werte zusammen mit Systemdurchsatz, Fehlerquote, Qualitätsprüfung und einer klar definierten Kostenkennzahl erfassen. Zusätzlich Verteilungen und hohe Perzentile auswerten, damit ein Mittelwert langsame Anfragen nicht verdeckt. [3][6]

8. Bedeutet zehn Prozent mehr Durchsatz automatisch zehn Prozent mehr Umsatz?

[Inference] Nein: Eine technische Durchsatzsteigerung ist nicht automatisch eine entsprechende Umsatzsteigerung; maßgeblich wären unter anderem tatsächlich verkaufte Zusatzleistung, Nachfrage, Preis und Vertragsmodell. [1] enthält wirtschaftliche Aussagen des Herstellers, aber keinen allgemeinen Nachweis für diese Übertragung. Empfehlung: Einen Business Case mit separat ausgewiesenen Annahmen zu Absatz, Preisen und Kosten erstellen. Ebenso ist die Aussage, ein MFU-Zuwachs von einem Prozent amortisiere das gesamte Netzwerk, als Herstellerangabe zu behandeln, nicht als universelle Rechenregel. [1]

9. Was sollten Betreiber bei agentengestützter Netzwerksteuerung prüfen?

Aria beschreibt Agenten auf mehreren Ebenen der Infrastruktur, die Signale auswerten und Maßnahmen ergreifen. Empfehlung: Für die Evaluierung eine Liste konkreter Aktionen verlangen, Zuständigkeiten und Berechtigungen definieren sowie Entscheidungen und Konfigurationsänderungen protokollieren. Ausfall- und Rücknahmetests sollten Bestandteil der Abnahme sein. Der Nutzen einer solchen Steuerung ist anhand eigener Messungen zu beurteilen; die Beschreibung einer autonomen Architektur ersetzt diesen Nachweis nicht. [1]

10. Welche Bedeutung hat die Entwicklung für europäische Rechenzentren?

Roland Berger prognostiziert einen Anstieg der weltweit installierten Rechenzentrumskapazität von 88 GW im Jahr 2025 auf bis zu 340 GW im Jahr 2035. Der europäische Anteil könnte laut Studie bis 2030 von etwa 13 auf 10 Prozent sinken. Netzanschlusszeiten, Energieverfügbarkeit und Energiekosten werden als Hürden genannt. Die Zahlen sind modellgestützte Prognosen, keine feststehenden Ergebnisse. Empfehlung: Die Studie als Planungskontext nutzen und konkrete Standort-, Energie- und Kapazitätsannahmen regelmäßig aktualisieren. [2]

Quellen

Recherche: 4. November 2026. Die Bezugszeichen [1] bis [7] gelten für die ergänzten redaktionellen Bausteine. Unternehmensmitteilungen und technische Herstellerdokumentation sind als solche einzuordnen; der Originalartikel wurde nicht faktisch überarbeitet.

[1] Aria Networks: Produkt- und Unternehmensmitteilung zu »Deep Networking«, veröffentlicht über Business Wire, 7. April 2026. Quelle für Anbieterbeschreibung und ausdrücklich zugeordnete Herstellerangaben.
https://www.businesswire.com/news/home/20260407939233/en/Aria-Networks-Launches-the-Network-that-Thinks-The-Worlds-First-AI-Native-Network-Built-to-Maximize-Token-Efficiency

[2] Roland Berger: Mitteilung zur Studie »The AI Datacenter Study – Part 1: The Global Build-out Race«, 24. Juli 2026. Quelle für Kapazitätsprognosen und europäische Ausbauhürden.
https://www.rolandberger.com/en/Media/AI-drives-global-datacenter-capacity-to-quadruple-by-2035-as-Europe-s-share.html

[3] NVIDIA: NIM Benchmarking Documentation – Metrics. Technische Herstellerdokumentation zu TTFT, End-to-End-Latenz und Inter-Token-Latenz.
https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html

[4] NVIDIA: Dynamo Documentation – Disaggregated Serving, Version 1.3.0. Technische Herstellerdokumentation zu getrennten Prefill-/Decode-Pools, Einsatzgrenzen und KV-Transfer.
https://docs.nvidia.com/dynamo/v1.3.0/user-guides/disaggregated-serving

[5] Pope et al.: Efficiently Scaling Transformer Inference, 2022. Forschungsarbeit zu Inferenz, Parallelisierung und Zielkonflikten zwischen Latenz und MFU.
https://arxiv.org/abs/2211.05102

[6] NVIDIA: LLM Inference Benchmarking: Fundamental Concepts, 2. April 2025. Technischer Beitrag zu Durchsatz, Latenz und Benchmark-Parametern.
https://developer.nvidia.com/blog/llm-benchmarking-fundamental-concepts/

[7] Glenn K. Lockwood: Model FLOPs Utilization, 2. April 2026. Technische Erläuterung der MFU-Definition mit Verweis auf die PaLM-Forschungsarbeit.
https://www.glennklockwood.com/garden/mfu

Management Summary, Tipps, FAQ und Bilder wurden mit Hilfe von KI erstellt

6226 Artikel zu „KI Netzwerk“

Digitalisierung | Infrastruktur | News | Rechenzentrum | Services | Whitepaper

Netzwerkinfrastrukturmanagement: Fünf Best Practices, um operative Exzellenz im Netzbetrieb zu erreichen

9. Dezember 2025

Das effektive Management ihrer Netzwerkinfrastruktur ist für lokale sowie globale Telekommunikationsanbieter oder Data-Center-Betreiber zu einem kritischen Business-Faktor geworden. Besonders nach vielen Akquisitionen oder vor dem Hintergrund ambitionierter Wachstumspläne sind sie gefordert, ihre Strategien neu zu bewerten, um ihre meist (zu) komplex gewordene Infrastruktur effektiv steuern, skalieren und zukunftssicher aufstellen zu können. Mit den richtigen Ansätzen…