KI-Beschleuniger decken ein breites Spektrum an Anwendungsanforderungen ab. Die Auswahl und Leistung nehmen weiter zu. Die Wahl des richtigen Beschleunigertyps und der Systemarchitektur kann die Leistung und den Preis des Gesamtsystems erheblich beeinflussen.

Die in den heutigen Servern installierten KI-Beschleuniger können in verschiedene Gruppen eingeteilt werden. Die typischen Optionen (jeweils mehrere Systemanbieter, mehrere Beschleunigeranbieter) bestehen aus:

Integrierte Beschleuniger: Jeder Beschleuniger hat eine Hochgeschwindigkeitsverbindung zu anderen Beschleunigern.
PCIe-Beschleuniger: CPUs kommunizieren mit Beschleunigern über PCIe, und die Beschleuniger haben keine direkte Verbindung zu anderen Beschleunigern.
Integrierte PCIe-Beschleuniger: Jeder Beschleuniger kann mit einem anderen Beschleuniger über eine direkte Verbindung kommunizieren, aber die Hauptkommunikationsmethode ist über PCIe.
Integrierte GPUs und CPUs: Eine CPU ist über eine Hochgeschwindigkeitsverbindung eng mit einem Beschleuniger verbunden. Nur eine CPU und ein Beschleuniger können diese enge Verbindung haben. Dennoch können Systeme je nach Design einen oder mehrere PCIe-Beschleuniger aufnehmen.

Große und mittelgroße KI-Trainings basieren auf der Verarbeitung enormer Datenmengen und der schrittweisen Ermittlung einer Antwort. Jeder Beschleuniger muss mit hoher Geschwindigkeit mit anderen Beschleunigern kommunizieren, um große Mengen an unstrukturierten Daten zu analysieren.

KI Inferencing ist der Entscheidungsteil der KI. Sobald ein Modell trainiert wurde, kann ein neuer Datensatz an das System gesendet werden, und es wird eine Antwort oder Empfehlung ausgesprochen. KI Inferencing ist eine relativ schnelle Berechnung, bei der ein Server mit vielen unabhängigen Beschleunigern am besten funktioniert.

HPC-Anwendungen können beschleunigt werden, indem rechenintensive Aufgaben an die Beschleuniger geschickt werden, um die Berechnungen für bestimmte Anwendungsteile durchzuführen. Teile der Anwendung, die in vielen parallelen Rechenelementen ausgeführt werden können, werden durch den Einsatz von Beschleunigern erheblich beschleunigt. Bei vielen HPC-Anwendungen ist ein von einem Beschleuniger bearbeiteter Datensatz relativ unabhängig von der Arbeit eines anderen Beschleunigers.

Virtuelle Desktop-Schnittstellen (VDI) ermöglichen es einem zentralen Server, den Desktop auf den Client-Geräten zu steuern. Ein Beschleuniger beschleunigt die Berechnungen und die Bereitstellung der Pixel auf den Client-Geräten. Das PCIe-Modell eignet sich hervorragend für diesen Workload, da jedes Client-Gerät in der Regel unabhängig von anderen Client-Geräten ist.

Unter Visualisierung versteht man das Rendern auf dem Bildschirm. Beschleuniger eignen sich hervorragend, um den Rendering-Prozess zu beschleunigen, da viele Rendering-Berechnungen parallel durchgeführt werden können. Visualisierungsanwendungen können mehrere Beschleuniger verwenden, die jedoch nicht miteinander kommunizieren müssen.

Für die Bereitstellung von Inhalten ist eine Beschleunigung erforderlich, um Videos zu komprimieren, die in vielen Formaten an Client-Geräte gesendet werden, wobei eine bestimmte SLA für das Client-Gerät gilt. Beschleuniger können mehrere Streams gleichzeitig verarbeiten und unabhängig voneinander arbeiten, so dass eine PCIe-Lösung verwendet werden kann.

Integrierte Beschleuniger. Die leistungsstärkste Architektur für KI ist ein System, bei dem die Beschleuniger miteinander kommunizieren können, ohne dass eine Rückkommunikation zur CPU erforderlich ist. Diese Art von System erfordert, dass die Beschleuniger auf einem eigenen Baseboard mit einem Hochgeschwindigkeits-Switch auf dem Baseboard selbst montiert sind. Die anfängliche Kommunikation zur Initialisierung der Anwendung, die auf den Beschleunigern läuft, erfolgt über PCIe. Nach Abschluss werden die Ergebnisse ebenfalls über PCIe an die CPU zurückgeschickt. Die Kommunikation zwischen CPU und Beschleunigern sollte begrenzt sein, damit die Beschleuniger über Hochgeschwindigkeitsstrecken miteinander kommunizieren können.

Eine Anfrage von einem Beschleuniger wird direkt oder über einen nicht blockierenden Switch (4 Stück) an die entsprechende GPU weitergeleitet. Die Leistung der GPU-zu-GPU-Verbindung ist deutlich höher als über PCIe, so dass Anwendungen mehr als eine GPU nutzen können, ohne mit der CPU über die relativ langsamen PCIe-Lanes interagieren zu müssen.

Vorteile:

Es können sehr große Modelle trainiert werden, die viel Speicherplatz zum Speichern der Parameter benötigen. Jeder Beschleuniger kann schnell Daten erfassen und bearbeiten, die sich möglicherweise auf einem anderen Beschleuniger befinden.
Jeder Beschleuniger kann direkt mit anderen Beschleunigern kommunizieren.
Derzeit werden Systeme gebaut, die erweitert werden können. Die Beschleuniger in einem Server werden in der Lage sein, mit den Beschleunigern in einem anderen Server zu kommunizieren und Daten auszutauschen.

PCIe-Beschleuniger. Eine gemeinsame und genau definierte Schnittstelle zwischen CPUs und Beschleunigern ist die Kommunikation über PCIe-Lanes. Diese Architektur ermöglicht verschiedene Konfigurationen des Servers und der Anzahl der Beschleuniger. Kleine Server können bis zu vier Beschleuniger aufnehmen, während größere Server bis zu 10 Beschleuniger beherbergen können. Verschiedene Serverarchitekturen können den direkten Modus, Single-Root- oder Dual-Root-Konfigurationen verwenden.

Ein hybrider Ansatz, der die Vorteile der PCIe-Architektur und der integrierten Beschleuniger vereint, ist ebenfalls möglich, wobei zwei PCIe-Karten eng miteinander verbunden werden.

Vorteile:

Erweiterbar innerhalb eines Servers von einer bis 10 GPUs.
Zuordnung von unabhängigen Aufgaben zur Anzahl der Beschleuniger.
Die Leistung kann steigen, wenn zusätzliche Beschleuniger zu einer Basiskonfiguration hinzugefügt werden.
Direkt-, Single-Root- und Dual-Root-Konfigurationen für verschiedene Workloads.

Integrierte GPUs und CPUs. Eine neue Architektur, die eine CPU und einen Beschleuniger integriert, ist jetzt verfügbar und wird neue Anwendungen ermöglichen, die auf Hochleistungsverbindungen zwischen einer CPU und einer GPU angewiesen sind. Die Leistung zwischen CPU und GPU nähert sich einem TB pro Sekunde, was eine enge Kopplung zwischen den Aufgaben der CPU und denen der GPU ermöglicht. Darüber hinaus kann ein gemeinsam genutzter Speicherbereich zwischen CPU und GPU eine neue Klasse von Anwendungen ermöglichen, ohne auf das relativ langsame PCIe warten zu müssen.

Vorteile:

Der CPU- und der Beschleunigerteil der Anwendung können sich den Speicher teilen, was die Leistung erhöht.
Vereinfachtes Programmiermodell für Speicherbereiche.
Sehr schnelle Kommunikation zwischen CPU und GPU.

Die Auswahl der passenden Beschleunigerarchitektur ist entscheidend, um die Leistungsfähigkeit und Kosteneffizienz von KI- und HPC-Systemen optimal zu gestalten. Je nach Anwendungsprofil bieten unterschiedliche Architekturen spezifische Vorteile.

Michael McNerney,
Vice President Marketing & Network Security,
Supermicro

Illustration: © Faysal Islam, GenAi | Dreamstime.com

3096 Artikel zu „KI Rechenzentrum“

Trends 2025 | News | Digitalisierung | Effizienz | Nachhaltigkeit | Rechenzentrum

Rechenzentrumstrends 2025: Unterstützung, Umsetzung, Nutzung und Regulierung von KI rücken verstärkt in den Fokus der Branche

22. November 2024

Innovationen bei der Stromversorgung und Kühlung von KI-Racks sowie das Management von Energieverbrauch und Emissionen – diese Entwicklungen werden im kommenden Jahr im Mittelpunkt stehen. KI wird die Rechenzentrumsbranche weiterhin grundlegend neu gestalten. Das wird in den von Vertiv, einem Anbieter von Lösungen für kritische digitale Infrastrukturen und Kontinuität, prognostizierten Trends für Rechenzentren für…

Michael McNerney, Vice President Marketing & Network Security, Supermicro

3096 Artikel zu „KI Rechenzentrum“

Michael McNerney,
Vice President Marketing & Network Security,
Supermicro