Schon ein durchschnittlich genutztes Rechenzentrum hat zu Spitzenzeiten Mühe, für eine ausreichende Klimatisierung des Equipments zu sorgen. High Performance Computing – Hochleistungsrechnen – fordert Serversystemen über Tage oder sogar Wochen Volllast ab, dementsprechend hoch sind auch die Anforderungen an die Klimatisierung. Doch mittlerweile beherrschen Entwicklungen wie rackbasierte Module und indirekte freie Kühlung die Königsdisziplin der Klimatisierung zuverlässig und energieeffizient.

In Abwandlung eines alten Börsensprichworts kann es bei Leistung und Effizienz eines Rechenzentrums nur eine Maxime geben: Mehr! High Performance Computing (HPC) verkörpert dieses Prinzip in Reinstform. Und durch Big Data hat die bisher gültige Dynamik der regelmäßigen Verdopplung von angebotener und abgerufener Rechenleistung einen weiteren Schub bekommen. Firmen nutzen ihre gesammelten Datenbestände, um Entwicklungen, Trends und Wünsche ihrer Kunden besser erkennen zu können, Universitäten führen komplizierte Simulationen und Auswertungen durch. Die Rechenleistung für diese Auswertung wird häufig durch spezialisierte Serversysteme und Anwendungen erbracht, deren Leistungsansprüche noch vor wenigen Jahren unvorstellbar waren.

Typische Lastprofile bei HPC. Anders als bei klassischen Back-Office Anwendungen müssen Server und deren Prozessoren bei der Verarbeitung großer Datenmengen höchsten Anforderungen gerecht werden. Aufträge wie Big Data-Analysen oder rechenintensive Simulationen fahren die CPU-Auslastung über lange Zeitspannen auf das Maximum, während Standard-IT-Anwendungen viel dynamischer zwischen unterschiedlichen Lastebenen hin und her schwanken. Noch dazu setzt HPC stark auf Parallelisierung. Nicht selten arbeiten ganze Batterien von Serverschränken gleichzeitig und dauerhaft an einem Auftrag. Dementsprechend hoch sind die Anforderungen an die Netzteile der Server. Durch die Konzentration auf kleinstem Raum müssen extrem hohe Leistungen in die Serverschränke geführt und in Form von Abwärme wieder heraus transportiert werden. Eine Studie des Partnership for Advanced Computing in Europe (PRACE) ergab, dass das Equipment in den Serverschränken für HPC-Anwendungen nicht selten 30 Kilowatt verbraucht, auf einer Fläche von weniger als einem Quadratmeter [1].

Hohe Leistungen am Rack stellen auch die Verkabelung und Stromverteilung vor Herausforderungen. Mit normalen Steckdosen sind die Leistungen nicht mehr zu bewältigen, dazu sind Komponenten nötig, die drei Phasen mit 32 Ampere in den Schränken verteilen können. Zudem muss man die Last auf den Phasen sehr sorgfältig ausbalancieren. Wird eine Phase im Vergleich zu den anderen über Gebühr beansprucht, geht die Redundanz verloren.

 

Keine Kollision von Verkabelung und Luftführung. Verschiedene Entwicklungen adressieren den ständig steigenden Hunger nach Rechenleistung von HPC-Anwendungen und stellen dabei auch etablierte Eckdaten wie Größe und Aufbau der Racks infrage. Das Open Compute Project, in dem sich Facebook stark engagiert, verzichtet beispielsweise auf das klassische Gehäuse von Servern und nutzt Module mit 21 Zoll Breite. Die größere Fläche wird genutzt, um die Server thermisch besser zu designen. Das Außenmaß der Schränke bleibt trotzdem identisch mit dem von 19-Zoll-Racks, sodass im Rechenzentrum kein zusätzlicher Platz eingeplant werden muss. Mittelfristig stellt sich die Frage, ob 600 Millimeter breite Schränke reichen werden, da bereits jetzt Verkabelung und Luftführung miteinander kollidieren. Zurzeit ist eine sehr sorgfältige Planung im Vorfeld notwendig. Wichtig ist, wie die Verkabelung in den Schrank hinein geführt wird und wie die Versorgungsleitungen die Server selbst erreichen. Alle Kabellängen sollten auf ein absolutes Minimum reduziert und die Leitungen mit Rücksicht auf die Luftführung verlegt werden.

Hohe Ansprüche an die Klimatisierung. Die starke Zunahme von HPC-Anwendungen wird an einigen Stellen bereits mit Sorge gesehen. In den USA hat eine Arbeitsgruppe des Energieministeriums ihre Besorgnis über den schnell wachsenden Anteil von HPC-Rechenzentren geäußert, weil deren Strombedarf so exorbitant hoch ist. Dazu passend vertreten Forscher des Lawrence Berkeley National Laboratory (LBL) in einer Untersuchung [2] die Auffassung, dass sich der Fokus von den Gesamtbetriebskosten bei HPC-Rechenzentren hin zu höherer Energieeffizienz verschoben hat. Die Stromversorgung stellt ihrer Ansicht nach zurzeit den größten limitierenden Faktor bei HPC-Rechenzentren dar. Zudem ist praktisch kein Aspekt enger mit der Leistungsaufnahme und Abwärme eines Serverschranks verknüpft ist als die Klimatisierung. Bei HPC-Systemen muss die Wärmeabfuhr so dimensioniert sein, dass sie über lange Zeit Volllast handhaben kann. Die Kühlungssysteme wirken dadurch massiv auf Verfügbarkeit, Kosten und CO₂-Produktion bei HPC ein. Die Klimatisierung und die Infrastruktur müssen sehr effizient und leistungsfähig sein.

Der Verfügbarkeit kommt bei HPC eine besondere Rolle zu. Sie ist im Gegensatz zur klassischen IT eher auf Clusterebene ausgelegt. Es ist wichtig, dass anstehende Jobs jederzeit abgearbeitet werden können, doch es kommt durch die Parallelisierung weniger auf einzelne Systeme an. Darum sind HPC-Rechenzentren meist in einer einfach redundanten Infrastruktur realisiert, bei der die Hauptverfügbarkeit eher auf den Applikationen lastet und mit einer Vielzahl von Servern realisiert wird. Durch die extrem hohen Energiedichten in den Serverschränken stoßen klassische Doppelbodenkonstrukte zum Transport der kalten Luft schnell an ihre Grenzen. Um die Schränke adäquat zu kühlen, müssten die Böden extrem hoch gebaut werden. Das verfügbare Volumen ist sonst schlichtweg nicht ausreichend für die benötigte Luftmenge. Zudem muss sich die Kaltluft den Platz gegebenenfalls mit Kabeltrassen und anderen Hindernissen teilen.

Kurze Reaktionszeit der Kühlung. Daher nutzen aktuelle HPC-Rechenzentren die Klimatisierung an den Racks, die sogenannte rackbasierte Kühlung, als wirtschaftlich und technisch sinnvolle Lösung. Entscheidend ist, die Kühlkapazität möglichst nah an den Ort der Wärmeerzeugung zu bringen. Dabei haben rackbasierte Kühlsysteme wie die LCP-Familie (Liquid Cooling Package) von Rittal die Nase vorn. So nutzt der Supercomputer »Mogon« der Johannes-Gutenberg-Universität Mainz LCP-Systeme, um 44 kW thermische Last pro Rack abzuführen. Das komplette System ist geschottet, die heiße Luft wird nicht in den normalen Luftkreislauf eingebracht, sondern direkt an der Rückseite der Server vom LCP angesaugt, über den Wärmetauscher gekühlt und an der Vorderseite wieder eingeblasen. Dabei kommt eine typische Besonderheit von HPC-Rechenzentren zum Tragen: Die LCPs müssen blitzschnell reagieren und ihre Leistung liefern können, bei Mogon fällt innerhalb von 40 Sekunden die volle Abwärme an, wenn ein Rechenjob startet.

Energieeffiziente Hochleistungsklimatisierung ohne Lüfter. Die Luftführung in den Serversystemen wird mittlerweile mit integrierten Hochleistungslüftern sehr effizient realisiert. Unter besonderen Umständen sind dadurch keine weiteren Lüfter für die Klimatisierung notwendig. Bis zu etwa 30 kW reichen passive Rücktüren in den Schränken aus, da die leistungsstarken Lüfter der Bladeserver genügend Luftvolumen in die Wärmetauscher drücken. Für höchste Leistungsanforderungen führt allerdings kein Weg an den rackbasierten Systemen vorbei. Verlangt die Anwendung noch mehr Leistung oder erhöhte Redundanz, können sich rackbasierte Kühlsysteme auch gegenseitig unterstützen. Wenn die Module im Wechsel mit den Serverschränken aufgebaut sind, blasen sie die Kaltluft an der Front in beide Richtungen aus und versorgen die Serverschränke so jeweils von zwei Seiten. Spielt Redundanz eine große Rolle, sollten die Kühlmodule im Wechsel an zwei verschiedenen Wasserkreisläufen angeschlossen sein.

Filtern und befeuchten. Das Wasser für die Wärmetauscher der rackbasierten Kühlsysteme wird meistens zentral aufbereitet und gekühlt. Immer häufiger kommt in mittel- und nordeuropäischen Breiten indirekte freie Kühlung zur Kaltwasseraufbereitung zum Einsatz. In heutigen Systemen kann die Freikühlgrenztemperatur durchaus bis auf 1,5 Kelvin an die gewünschte Wasservorlauftemperatur heranreichen. Erst wenn dieser Wert überschritten wird, ist der deutlich kostenintensivere Einsatz von Chiller-Systemen notwendig. Weil die zulässigen Serverzulufttemperaturen durch ASHRAE [3] auf bis zu 27 Grad Celsius angehoben wurden, sind Wasservorlauftemperaturen von 20 Grad Celsius keine Seltenheit mehr. Die kostengünstige Freikühlzeit hat sich im Gegensatz zu 6 Grad Vorlauftemperatur vor fünf Jahren deutlich verlängert. Damit lassen sich selbst HPC-Systeme energieeffizient betreiben.

Im Trend: Abwärme zum Heizen nutzen. Die große Menge an Abwärme, die hoch genutzte HPC-Rechenzentren produzieren, kann übrigens auch ein Segen sein. Vor allem bei Neubauten wird immer öfter darauf geachtet, das entstehende warme Wasser in die Gebäudetechnik zu integrieren. So heizen die Server indirekt die Büroräume der Mitarbeiter oder sogar angrenzende Gebäudekomplexe. In einem Universitätscampus in den USA hält Warmwasser aus dem Rechenzentrum die Wege auf dem Gelände schnee- und eisfrei. Solche, wenn auch sinnvollen, Zusatzfunktionen lassen sich jedoch kaum nachrüsten und sind bei bestehenden Anlagen in der Regel nicht machbar.

Wo es möglich ist, nutzen Betreiber von HPC-Rechenzentren lokale Gegebenheiten aus und versuchen gezielt, Standorte in klimatisch günstigen Regionen zu konzentrieren. So hat RZ-Provider Verne Global einen ehemaligen NATO-Stützpunkt auf Island zum HPC-Rechenzentrum ausgebaut. Die Klimatisierung profitiert von den niedrigen Außentemperaturen, die fast ganzjährig für die indirekte freie Kühlung ausreichen. In Neuseeland verwendet Weta Digital, eine Spezialfirma für digitale Effekte (Avatar, Herr der Ringe), für ihre Rendering-Farm indirekte freie Kühlung und 30 LCP rackbasierte Module von Rittal. Die 30 Racks beherbergen jeweils vier HP Blade-Chassis mit jeweils 16 Servern. Zurzeit wird eine Leistungsdichte von 25 kW erreicht, aber die LCP-Systeme besitzen noch ausreichend Leistungsreserven für kommende Servergenerationen. Selbst ohne indirekte freie Kühlung erreicht das Rechenzentrum ganzjährig einen Power Usage Effectiveness (PUE) von 1,5. Bei einer ausreichend niedrigen Außentemperatur sinkt dieser Wert sogar auf ausgezeichnete 1,15 Punkte ab. So belasten auch die nächsten Blockbuster Umwelt und Stromrechnung nicht mehr als unbedingt nötig.

---

[1] https://www.prace-project.eu/IMG/pdf/HPC-Centre-Redundancy-Reliability-WhitePaper.pdf

[2] https://crd.lbl.gov/assets/pubs_presos/CDS/ATG/powereffreportxt4.pdf

[3] ASHRAE: Die American Society of Heating, Refrigerating and Air-Conditioning Engineers ist ein Berufsverband aller in Heizungs-, Kühlungs-, Lüftungs- und Klimaanlagenbau Tätigen in den USA. Das Hauptaugenmerk liegt auf der Förderung von Gebäudeklimamanagementtechnologien in der Heizungs-, Lüftungs- und Klimatisierungs-Industrie. Der Verband spricht Empfehlungen mit internationaler Tragweite aus. Mittlerweile fühlen sich alle namhaften Serverhersteller an diese Angaben gebunden oder arbeiten sogar daran mit.

---

Bernd Hanstein,
Hauptabteilungsleiter Produktmanagement IT,
Rittal, Herborn

 

 

Michael Nicolai,
Abteilungsleiter Technischer Projektvertrieb,
Rittal, Herborn

 

 

Kerstin Ginsberg,
PR-Referentin IT,
Rittal, Herborn

 

Titelbild: © shutterstock.com/Kjetil Kolbjornsrud