Supermicro, Inc. ein Anbieter von IT-Gesamtlösungen für KI, Cloud, Storage und 5G/Edge, kündigt sein neuestes Produktportfolio an, um den Einsatz von generativer KI zu beschleunigen. Die Supermicro SuperCluster-Lösungen bieten grundlegende Bausteine für die Gegenwart und die Zukunft der Infrastruktur für große Sprachmodelle (Large Language Models, LLM).

 

Die drei leistungsstarken Supermicro SuperCluster sind jetzt für generative KI-Workloads verfügbar. Die flüssigkeitsgekühlten 4HE-Systeme und die luftgekühlten 8HE-Systeme sind speziell für leistungshungrige LLM-Trainingsleistungen sowie für große Batchgrößen und LLM-Inferenzen mit hohem Volumen ausgelegt. Der luftgekühlte NVIDIA MGX 1HE-SuperCluster ist für Cloud-Scale Inferenz-Workloads optimiert.

 

Supermicro 4HE NVIDIA HGX H100/H200 8-GPU Systeme verdoppeln die Dichte der 8HE luftgekühlten Systeme durch den Einsatz von Flüssigkeitskühlung, reduzieren den Energieverbrauch und senken die TCO des Rechenzentrums. Diese Systeme sind für die nächste Generation der auf der NVIDIA Blackwell-Architektur basierenden Grafikprozessoren ausgelegt. Die Supermicro Cooling Distribution Unit (CDU) und Manifold (CDM) sind die Hauptadern für die Verteilung der gekühlten Flüssigkeit an die kundenspezifischen Direct-to-Chip (D2C) Cold Plates von Supermicro, die die GPUs und CPUs auf optimaler Temperatur halten, was zu einer maximalen Leistung führt. Diese Kühltechnologie ermöglicht eine Senkung der Stromkosten für das gesamte Rechenzentrum um bis zu 40 % und spart Platz in den Räumlichkeiten des Rechenzentrums.

 

Die mit 8-GPUs ausgestatteten NVIDIA HGX H100/H200-Systeme sind ideal für das Training von generativer KI. Die Hochgeschwindigkeits-GPUs, die über NVIDIA NVLink miteinander verbunden sind, sowie die hohe GPU-Speicherbandbreite und -kapazität sind der Schlüssel zur kosteneffizienten Ausführung von großen Sprachmodellen. Die Supermicro SuperCluster schaffen einen massiven Pool von GPU-Ressourcen, die wie ein einziger KI-Supercomputer funktionieren.

 

»In der KI-Ära wird die Recheneinheit jetzt an Clustern gemessen, nicht nur an der Anzahl der Server. Mit unserer erweiterten globalen Fertigungskapazität von 5.000 Racks/Monat können wir unseren Kunden komplette generative KI-Cluster schneller als je zuvor liefern«, sagte Charles Liang, President und CEO, Supermicro. »Ein 64-Node-Cluster bietet 512 NVIDIA HGX H200 GPUs mit 72 TB HBM3e durch einige unserer skalierbaren Cluster-Bausteine mit 400 Gb/s NVIDIA Quantum-2 InfiniBand und Spectrum-X Ethernet-Netzwerken. Die SuperCluster-Lösungen von Supermicro in Kombination mit der NVIDIA AI Enterprise Software sind ideal für Unternehmens- und Cloud-Infrastrukturen, um die heutigen LLMs mit bis zu Milliarden von Parametern zu trainieren. Die miteinander verbundenen GPUs, CPUs, Speicher, Storage und Netzwerke bilden, wenn sie über mehrere Nodes in Racks eingesetzt werden, die Grundlage der heutigen KI. Die SuperCluster-Lösungen von Supermicro bieten grundlegende Bausteine für die sich schnell entwickelnde generative KI und LLMs.«

 

Flüssigkeitsgekühlte SuperCluster 4HE-Systeme in 5 Racks oder luftgekühlte 8HE-Systeme in 9 Racks:

— 256 NVIDIA H100/H200 Tensor Core GPUs in einer skalierbaren Einheit

— Die Flüssigkeitskühlung ermöglicht 512 GPUs, 64 Nodes, auf der gleichen Grundfläche wie die luftgekühlte Lösung mit 256 GPUs und 32 Nodes

— 20TB HBM3 mit NVIDIA H100 oder 36TB HBM3e mit NVIDIA H200 in einer skalierbaren Einheit

— 1:1-Netzwerke liefern bis zu 400 Gbit/s an jede GPU, um GPUDirect RDMA und Storage für das Training großer Sprachmodelle mit bis zu Milliarden von Parametern zu ermöglichen

— 400G InfiniBand oder 400GbE Ethernet Switch Fabrics mit hoch skalierbarer Spine-Leaf-Netzwerktopologie, einschließlich NVIDIA Quantum-2 InfiniBand und NVIDIA Spectrum-X Ethernet Platform.

— Anpassbare AI Data Pipeline Storage Fabric mit branchenführenden Optionen für parallele Dateisysteme

— NVIDIA AI Enterprise 5.0 Software mit Unterstützung für die neuen NVIDIA NIM Inferenz-Microservices, die die Bereitstellung von KI-Modellen im großen Maßstab beschleunigen

Flüssigkeitsgekühlte SuperCluster:

Datenblatt Gesamtsystem: https://www.supermicro.com/datasheet/datasheet_SuperCluster_4U.pdf

Datenblatt Einzelsystem SYS-421GE-TNHR2-LCC: https://www.supermicro.com/de/products/system/gpu/4u/sys-421ge-tnhr2-lcc

Luftgekühlte SuperCluster:

Datenblatt Gesamtsystem: https://www.supermicro.com/datasheet/datasheet_SuperCluster_8U.pdf

Datenblatt Einzelsystem SYS-821GE-TNHR: https://www.supermicro.com/de/products/system/gpu/8u/sys-821ge-tnhr

 

 

Luftgekühlte SuperCluster NVIDIA MGX 1HE-Systeme in 9 Racks:

— 256 GH200 Grace Hopper Superchips in einer skalierbaren Einheit

— Bis zu 144 GB HBM3e + 480 GB LPDDR5X-Unified-Memory, geeignet für Cloud-Scale, hohe Volumina, niedrige Latenzzeiten und große Batchgrößen, die ein KI-Modell mit mehr als 70 Milliarden Parametern in einen Node integrieren können.

— 400G InfiniBand- oder 400GbE-Ethernet-Switch-Fabrics mit hoch skalierbarer Spine-Leaf-Netzwerktopologie

— Bis zu 8 integrierte E1.S NVMe-Storagemodule pro Node

— Anpassbare KI-Datenpipeline-Speicherstruktur mit NVIDIA BlueField-3 DPUs und branchenführenden parallelen Dateisystemoptionen für hohen Durchsatz und latenzarmen Speicherzugriff auf jede GPU

— NVIDIA AI Enterprise 5.0 Software

Datenblatt Gesamtsystem: https://www.supermicro.com/datasheet/datasheet_SuperCluster_MGX.pdf

Datenblatt Einzelsystem ARS-111GL-NHR: https://www.supermicro.com/de/products/system/gpu/1u/ars-111gl-nhr

 

 

»NVIDIAs neueste GPU-, CPU-, Netzwerk- und Software-Technologien ermöglichen es Systemherstellern, eine Reihe von KI-Workloads der nächsten Generation für globale Märkte zu beschleunigen«, sagte Kaustubh Sanghani, Vice President of GPU Product Management bei NVIDIA. »Durch die Nutzung der NVIDIA Accelerated Computing-Plattform mit Produkten auf Basis der Blackwell-Architektur bietet Supermicro seinen Kunden hochmoderne Serversysteme, die problemlos in Rechenzentren eingesetzt werden können.«

 

Ob es sich um die Anpassung eines enormen Basismodells handelt, das auf einem Datensatz mit Milliarden von Token von Grund auf trainiert wurde, oder um den Aufbau einer LLM-Inferenzinfrastruktur im Cloud-Maßstab, die Spine- und Leaf-Netzwerktopologie mit nicht blockierenden 400-Gb/s-Fabrics ermöglicht eine nahtlose Skalierung von 32 Nodes auf Tausende von Nodes. Bei der vollständig integrierten Flüssigkeitskühlung werden die betriebliche Effektivität und Effizienz vor der Auslieferung durch die bewährten Testverfahren von Supermicro gründlich überprüft.

 

Supermicros NVIDIA MGX Systemdesigns mit den NVIDIA GH200 Grace Hopper Superchips werden eine Blaupause für zukünftige KI-Cluster schaffen, die einen entscheidenden Engpass in der generativen KI beheben: die GPU-Speicherbandbreite und -kapazität zur Ausführung großer Sprachmodelle mit hohen Inferenz-Batchgrößen, um die Betriebskosten zu senken.

 

Mit der höchsten erreichbaren Netzwerkleistung für GPU-GPU-Konnektivität sind die SuperCluster-Lösungen von Supermicro für LLM-Training, Deep Learning und Inferenzen mit hohem Volumen und großen Batchgrößen optimiert. Supermicros L11- und L12-Validierungstests in Kombination mit dem Vor-Ort-Bereitstellungsservice bieten Kunden eine nahtlose Erfahrung. Kunden erhalten skalierbare Plug-and-Play-Einheiten für eine einfache Bereitstellung im Rechenzentrum und schnellere Ergebnisse.