Die KV-Cache-Lösung (Key-Value) vereint Petascale-Speicherserver von Supermicro, die IBM Storage Scale-Software, die NVIDIA Dynamo-Inferenzsoftware sowie NVIDIA Spectrum-X-Ethernet-Switches Leistungstests zeigen, dass die KV-Cache-Lösung die »Time-to-First-Token« (TTFT) bei langen Kontextfenstern im Vergleich zu Systemen ohne KV-Cache reduziert Kunden können die Effizienz bei der Inferenz durch eine höhere GPU-Auslastung, einen höheren Durchsatz und eine bessere Skalierbarkeit der Infrastruktur…