Betrachtung der technischen Infrastruktur in Datacentern

Die IT-Infrastruktur ist in den Unternehmen auf eine Hochverfügbarkeit ausgerichtet, virtuelle Server und Speichersysteme sind redundant ausgelegt und in vielen Unternehmen heute Standard. Jedoch entspricht die technische Infrastruktur in den Datacentern oft nicht den heutigen Anforderungen um die Ausfallsicherheit der IT Systeme auch zu erreichen. Energie, USV, Netzersatz, Löschsysteme und Klimatisierung, die für die Betreibung eines sicheren Datacenters erforderlich sind, gehören also auf den Prüfstand. Fallen diese Systeme aus, steht auch die IT Infrastruktur und das Geschäft. In vielen Unternehmen ein Albtraum.

Die Tendenz geht hin zu den Hochverfügbarkeitsklassen:

Verfügbarkeitsklasse Beschreibung Kumulierte Ausfall-Wahrscheinlichkeit pro Jahr
VK 3,  99,99 % sehr hohe Verfügbarkeit < 1 h
VK4,   99,999 % höchste Verfügbarkeit ca. 5 Minuten
VK 5, 100 % disastertolerant 0 Min

Tabelle: Verfügbarkeitsklassen nach BSI.

Die Energieversorgung

Dass die Stromversorgung immer zur Verfügung steht ist nicht selbstverständlich. Stromausfälle, auch über mehrere Stunden, sind keine Seltenheit. Hier nur ein kleiner Auszug:

  • April 2015 Brühl bei Köln, mehrmaliger Stromausfall insgesamt > 1 Stunde
  • Mai 2015 Winsen/Luhe mehrstündiger Stromausfall
  • Juni 2015 Berlin, Region Alexanderplatz Stromausfall 1 Stunde
  • Juli 2015 Mannheim, mehrmaliger Stromausfall über mehrere Stunden

Die Ursachen können sein:

  • Stromausfall im Kraftwerk
  • Unterbrechung der Logistik vom Kraftwerk zum Datacenter
  • Probleme in der Stromverteilung im Datacenter
  • Ausfall eines Power Supply in den IT-Systemen

In vielen Datacentern gibt es keine redundante autarke Stromversorgung.

Oft fehlt eine Netzersatzanlage, kurz NEA oder Diesel genannt. Die Voraussetzung für das Betreiben eines Datacenters ist eine sichere Stromversorgung, die bei der Bereitstellung der Energieversorgungsunternehmen (EVU) anfängt. Innerhalb des Datacenters ist eine redundante Stromversorgung (A- und B-Versorgung) durchgängig bis zu den Stromabnehmern notwendig.

Dazu gehören:

  • Redundant ausgelegte Mittelspannungshauptverteiler (MSHV)
  • Redundant ausgelegte Transformatoren
  • Redundant ausgelegte modular aufgebaute Niederspannungshauptverteiler (NSHV),
  • je NSHV eine n+1 modular konzipierte Unterbrechungsfreie Stromversorgung (USV)mit Power Unterverteilung
  • redundante Kabelzuführungen von der USV Unterverteilung zu den Stromabnehmern
  • redundante Netzersatzanlage NEA beziehungsweise Diesel

Je NSHV wird nachgelagert eine n+1 USV mit Batteriespeicher für die hochverfügbaren Systeme installiert. Die USV hat die Aufgabe mögliche kurze Stromausfälle zu überbrücken. Die Energieanbieter investieren nicht mehr genug in ihre Anlagen, dadurch haben sich Kurzausfälle, die meistens im Sekundenbereich liegen, in den letzten Jahren erhöht. Die Ursache ist, dass mehr in die zukunftsträchtige Sonnen- und Windenergie investiert wird.

Für den Datacenter-Betrieb werden spezielle USV angeboten, die haben die Aufgabe auch Spannungsschwankungen, Überspannungen, Unterspannungen, Spannungseinbrüche und Spannungsverzerrungen auszugleichen. Diese Störungen können die IT-Infrastruktur empfindlich schädigen oder gar zerstören. Die Hochverfügbarkeit ist demnach gefährdet.

Längere Stromausfälle über Stunden oder Tage kann die USV nicht überbrücken. Bei Totalausfall übernimmt eine Netzersatzanlage (NEA) die Aufgabe der Stromerzeugung. Die NEA hält im Notfall den Betrieb eines Rechenzentrums mit der dazugehörenden technischen Infrastruktur wie Kühlung, Sicherheitseinrichtungen und weiteren aufrecht. Die Dieselbevorratung zum Betreiben der NEA sollte den Betrieb für mindestens 48 Stunden sicherstellen. Eine Betankung im laufenden Betrieb muss möglich sein, um SLAs einhalten zu können und interne sowie externe Kunden zufriedenzustellen.

Die redundante und modulare Ausprägung der technischen Infrastruktur ist Voraussetzung für die Ausfallsicherheit. Durch die Redundanz können die einzelnen Komponenten der IT-Infrastruktur im laufenden Betrieb gewartet und erweitert werden. Es gibt keine Unterbrechung. Diese Beschreibung ist lediglich eine Anregung. Es gibt keine vorgefertigte Stromversorgungslösung aus der Schublade. Nicht zuletzt ist es eine Herausforderung für die Konzeptfindung, die Wünsche und Bedürfnisse umzusetzen.

Das automatische Feuerlöschsystem

In IT-Zentren herrscht ein besonders hohes Brandrisiko durch die hohe Energiedichte der installierten elektrischen Anlagen wie Server, Storages, Netzwerkkomponenten sowie die damit verbundene große Abwärme-Menge. Hauptursache für Brände sind technische Defekte an elektrischen Geräten. Die IT-typische Brandgefahr liegt in den Schwelbränden durch Kurzschlüsse oder technische Defekte, die oft erst entdeckt werden, wenn ein Brandschaden bereits entstanden ist. Die Ursachen können zu gravierenden wirtschaftlichen Folgen führen.

Für die Sicherheit ist eine technisch hochwertige Brandfrühesterkennung in Verbindung mit einem zuverlässigen und schnellen Löschsystem erforderlich. Eine Alternative ist ein Brandvermeidungssystem.

Nicht selten sind in den Datacentern noch CO2-Löschanlagen installiert. Dabei handelt es sich um toxische Gase, die im Gefahrenfall die Gesundheit der Personen die sich im Datacenter aufhalten, gefährden. In Einzelfällen sind für die Feuerlöschung ausschließlich Handlöschsystemen vorgesehen. Damit kann keine Hochverfügbarkeit garantiert werden.

Für eine automatische Feuerlöschung eignen sich CO2-Gaslöschanlagen (Inertgas oder chemische Löschmittel Novec 1230, FM200) Bei Novec 1230, FM 200 entfalten die Löschgase ihre Wirkung durch Wärmeabsorption in der Flamme. Der Flamme wird Wärme entzogen bis zu einem Punkt, bei dem Verbrennungsreaktionen nicht mehr stattfinden können. Hier wirken eine physikalische und eine chemische Komponente. Die Flutung erfolgt bei Inertgasen nach 120 Sekunden, bei Novec 1230, FM200 innerhalb von 10 Sekunden. Der Nachteil dieser Löschsysteme ist, es muss erst ein Brandereignis entstehen, bevor es gelöscht werden kann.

Folgeschäden durch Rauch- und Löschmittel sind unvermeidbar. Damit keine Rückentzündung entsteht, ist es notwendig, die Stromversorgung im gesamten Rechenzentrum auszuschalten. Eine Hochverfügbarkeit nach den Verfügbarkeitsklassen 3 bis 5 kann in Folge dessen nicht mehr gewährleistet werden.

Eine Alternative bietet eine aktive präventive Brandvermeidung mit einem Brandvermeidungssystem. Es lässt einen Brand erst gar nicht entstehen. Der Sauerstoffgehalt wird durch Zuführung von Stickstoff abgesenkt. Dadurch wird die Sauerstoffkonzentration exakt auf einen zuvor eingestellten Wert vermindert. In diesem Fall ist die Entstehung eines Brandes ausgeschlossen. Personen können gefahrenlos die Räume betreten.

Der normale Luft-Sauerstoffgehalt in einem Raum liegt bei etwa 20,9 Vol %. Bis 17 Vol % Luft-Sauerstoffgehalt sind für Menschen unbedenklich. Bei 15,2 Vol % ist die Entstehung eines Schwelbrandes oder Feuer unmöglich. Der Wert entspricht einer Berghöhe von 2.200 m.

Bei einer konstanten Sauerstoffreduzierung unter 17 bis 15 % ist der Aufenthalt in einem geschützten Raum von bis zu 4 Stunden unbedenklich. Allerdings muss laut Arbeitsschutzverordnung eine gesundheitliche Untersuchung des Herz-Kreislaufsystems, vorgenommen werden, die alle 3 Jahre zu wiederholen ist. Die Dauer der Untersuchung dauert ca. 10 Minuten. Das Betreten der Schutzräume durch Personen sollte nur im Ausnahmefall und auf wenige berechtigte Personen beschränkt sein. Da die modernen Datacenter nur noch remote bedient werden, sollte das kein Problem sein. Werden Brände und deren Ausbreitung vermieden, muss das Datacenter nicht stromlos geschaltet werden und die Geschäftsprozesse sowie Daten bleiben störungsfrei. Die Hochverfügbarkeit ist sichergestellt.

Die Klimatisierung

In vielen Datacentern existieren noch Klimatisierungen aus den Zeiten, als der Mainframe dominierte. Die Kühlluft wird in den Doppelboden geführt, der Raum und die Racks werden entsprechend gekühlt. Diese Art der Klimatisierung entspricht nicht mehr den heutigen hohen Anforderungen. Die Zuluft kommt nicht immer dort an, wo sie gebraucht wird. Häufig entstehen Hot Spots (Wärmenester), wodurch Ausfälle der IT-Komponenten möglich werden. Noch vor etwa 10 Jahren lag die mittlere Wärmelast bei ca. 0,5 kW/m². Durch die zunehmende Integration und Packungsdichte der IT-Komponenten ist der Mittelwert inzwischen bei 1,5 kW/m² angekommen. Es sind jedoch noch Klimageräte im Betrieb, die bis zu 60 % des Energiebedarfs eines Datacenters ausmachen. Die ausreichende Klimatisierung der IT-Systeme ist entscheidend für die Verfügbarkeit und Sicherheit. Moderne Umluft-Präzisionsklimageräte sichern die Verfügbarkeit und reduzieren den Verbrauch bis zu 40 % durch eine max. Energieeffizienz gegenüber herkömmlichen Kompressor-Kühlsystemen. Je effizienter die Kühlung, desto weniger Energie wird verbraucht. Die Präzisionsklimageräte bieten optimale Bedingungen in Bezug auf das Halten der einmal eingestellten Temperatur. Die Luftfeuchte wird automatisch der Temperatur angepasst. Sie verteilen die gekühlte Luft intensiv und gleichmäßig in den Raum.

Bei Ausstattung der Kühlsysteme mit indirekter freier Kühlung reduzieren sich die Energiekosten um bis 60 Prozent (Green IT!).

Bei kalten Außentemperaturen übernimmt das eingebaute Freikühlregister 100 Prozent der Kälteerzeugung. Je nach Standort kann die Freie Kühlung bis zu 150 Tage im Jahr betrieben werden. Es wird ein umweltfreundliches Wasser-Glykol-Gemisch eingesetzt.

Dieses Gemisch wird im Freikühlbetrieb an der Außenluft ohne den Betrieb des Kältekreislaufs abgekühlt. Die sonst dafür zuständige Kältemaschine ist ausgeschaltet. Nur bei hohen Außentemperaturen wird dieses Aggregat zugeschaltet. Die höheren Mehrkosten von ca. 20 % für die freie Kühlung rechnen sich durch einen geringeren Energiebedarf.

Weitere Energieeinsparungen lassen sich durch die Anordnung der Racks in einer Kalt-Warmgang-Einhausung erzielen. Siehe Abbildung.

grafik bsi experton kaltgang einhausung

Abbildung: Kaltgang-Einhausung. Quelle BSI.

Bei Kaltgang-Einhausung (cold Aisle Containment) wird die abgekühlte Zuluft über den Doppelboden gezielt in den eingehausten Kaltgang geblasen und mit gleichmäßig verteilten Druck den IT-Komponenten zugeführt. Das Rack wird über die gesamte Höhe mit Kühlluft versorgt. Die erwärmte Abluft wird aus der Einhausung geblasen. Der Aufwand für die Kühlung wird reduziert und der Wirkungsgrad erhöht. Bei dieser Konstellation können Racks bis zu 20 kW gekühlt werden. Energieeinsparungen gegenüber einer Nicht-Einhausung können bis zu 70 Prozent betragen.

Bei der Planung neuer Klimatisierungslösungen sollten auch die Parameter Raumtemperatur und Luftfeuchte mit einbezogen werden. So führt eine niedrige relative Luftfeuchte in Verbindung mit einer höheren Raumtemperatur zu einer effizienteren Arbeitsweise der Klimageräte. Die Energiekosten verringern sich entsprechend.

Die ASHRAE (American Society of Heating, Refrigerating and Air Conditioning) empfiehlt bei Einsatz von modernen IT-Systemen eine Raumtemperatur von 80 Grad Fahrenheit = 27 Grad Celsius.

Bei Wärmelasten von mehr als 20 kW pro Rack ist eine direkte Kühlung zu empfehlen. Diese Lösung sollte jedoch sorgfältig überlegt werden. Wassergeführte Leitungen in hochsensiblen Räumen kann zu IT-Komponenten Ausfällen führen, wenn Wasser austritt.

Bei der Planung neuer Kühlsysteme ist ein geeignetes Konzept zu entwickeln. Diese Planung stellt eine besondere Herausforderung dar, zumal es sich um eine Investition handelt, die über mehrere IT-Generationen in Betrieb sein wird.

autor wolfgang heinhaus expertonWolfgang Heinhaus, Experton Group

Bei allen Datacenter Facilties beziehungsweise technische Infrastruktur Fragestellungen kann Ihnen Experton Group mit Experten in unterschiedlichsten Formaten hilfreich zur Seite stehen.

Bitte wenden Sie sich hierfür an mich per E-Mail an wolfgang.heinhaus@experton-group.com

Weitere Artikel zu