Liquid Cooling: Infrastruktur
Das Gebäude und die nötigen Anpassungen
Um ein zuvor luftgekühltes Rechenzentrum für den Einsatz von Flüssigkeitskühlung umzurüsten, müssen zur korrekten Installation von Komponenten wie CDUs, Cold Plates, Tanks und Leitungen einige Faktoren berücksichtigt werden. Racks und Server können selbst beim Einsatz von Direct-to-Chip-Kühlung nicht unverändert übernommen werden. Es muss eine Verteilung für die Leitungen zu den einzelnen Servern im Rack integriert werden, eventuell müssen auch zusätzliche Öffnungen im Rack zum Herausführen von Leitungen ergänzt werden. Ebenso verhält es sich bei den Servern, auch dort müssen Öffnungen zum Herausführen der Leitungen vorhanden sein, zudem kann generell der Platz durch die relativ dicken Leitungen und die Cold Plates im Gehäuse eng werden, was weitere Modifikationen erfordert.
Der nächste zentrale Aspekt liegt in den erhöhten Sicherheitsanforderungen bezüglich der Verlegung der Leitungen der einzelnen Flüssigkeitskreisläufe, sofern diese mit Wasser-Glykol-Gemisch betrieben werden. Die Rohre müssen so angeordnet sein, dass sie nicht über aktive Komponenten oder Server führen, damit diese im Falle von Leckagen nicht durch Wassereintritt beschädigt werden. Idealerweise verlaufen diese Leitungen im Doppelboden, der ja bei luftgekühlten Anlagen meist schon vorhanden ist. Zudem sind die Leitungen regelmäßig auf Korrosion und Undichtigkeiten zu überprüfen. Leitungen mit dielektrischen Flüssigkeiten hingegen sind hier unproblematisch, weil diese nichtleitend sind und bei einer Leckage keinen Schaden an Komponenten anrichten können.
Auch die Statik des Gebäudes muss bei der Umrüstung auf Flüssigkeitskühlung berücksichtigt werden. Bei Direct-to-Chip Kühlung besteht in der Regel kein Handlungsbedarf, weil sich das Gewicht pro Quadratmeter gegenüber Luftkühlung nicht signifikant ändert. Soll jedoch Tauchkühlung zum Einsatz kommen, besteht bei größeren Anlagen die Gefahr, dass sich die punktuelle Deckenlast durch eine höhere Serverdichte und die großen Mengen an Flüssigkeit deutlich erhöht. Dazu müssen die möglichen Deckenlasten vor der Umrüstung unbedingt von Statikern überprüft und gegebenenfalls durch bauliche Maßnahmen erhöht werden. Sollen zur Wartung der eingetauchten Server zudem Roboterarme eingesetzt werden, muss dies natürlich bei der Planung berücksichtigt werden, damit die Robotersysteme sicher montiert werden können und über ausreichend Bewegungsfreiheit verfügen.
Ist dieser Aufwand für einen Komplettumbau zu groß, kann natürlich auch nur ein Teil der Rechenzentrumsfläche für Flüssigkeitskühlung umgebaut werden. In manchen Fällen ist es vielleicht sogar sinnvoller, einen neuen Bauabschnitt zu errichten, der von Anfang an auf die Anforderungen von Flüssigkeitskühlung ausgerichtet ist.
Vorhandene Klimaschränke zur Raumkühlung können weitergenutzt werden, um die Restwärme zu kühlen, die durch nicht flüssigkeitsgekühlte Komponenten, wie beispielsweise Netzteile, noch in den Raum abgegeben wird. Bei Direct-to-Chip Kühlung beträgt die Restwärme rund 20 Prozent der gesamten Wärmelast, bei Tauchkühlung nur noch etwa 5 Prozent.
Coolant Distribution Unit (CDU) als zentrale Komponente
Der grundsätzliche Aufbau einer Flüssigkeitskühlung im Rechenzentrum sieht meist folgendermaßen aus: Bei Direct-to-Chip-Kühlung werden die Kühlkörper (Cold Plates) auf den Serverboards über flexible Leitungen mit einer Verteilung im Rack verbunden. Diese Rackverteilung ist wiederum über Rohre mit einer Coolant Distribution Unit (CDU) gekoppelt. Kommt keine Direct-to-Chip-Kühlung, sondern Tauchkühlung, zum Einsatz, wird anstatt des Racks der Tank mit der CDU verbunden. Die CDU trennt den Gebäudewasserkreislauf (FWS – Facility Water System) über einen Wärmeübertrager vom Kreislauf für die Flüssigkeitskühlung der Server (TCS – Technology Cooling System). Zudem übernimmt die CDU über Ventile und Pumpen die Regelung des Durchflusses und der Temperatur der Kühlflüssigkeit.
Die Trennung der Kreisläufe ist wichtig, weil für den Flüssigkeitskreislauf und das Gebäudewasser unterschiedliche Vorgaben bezüglich der Reinheit gelten. Außerdem werden im Flüssigkeitskreislauf nicht immer nur Wasser-Glykol-Gemische eingesetzt, sondern auch dielektrische Flüssigkeiten. Die erforderliche Flüssigkeitsqualität in so einem Kühlkreislauf hängt unter anderem davon ab, aus welchen Materialien die Wärmeübertrager und Cold Plates bestehen und wie groß die integrierten Microkanäle sind. Bei sehr kleinen Microkanälen ist die maximale Partikelgröße in der Flüssigkeit ein entscheidender Faktor für den zuverlässigen Betrieb einer Flüssigkeitskühlung.
Welche Normen und Vorgaben gibt es für Flüssigkeitskühlung?
In den meisten Rechenzentrumsnormen gibt es für Flüssigkeitskühlung aktuell noch keine Vorgaben oder Empfehlungen zum Aufbau entsprechender Anlagen. Die einzige Ausnahme bildet derzeit die ASHRAE-Richtlinie TC 9.9, die explizit auf Flüssigkeitskühlung eingeht. Es gibt dort zwei empfohlene Konzepte, die sich durch die Position und Anzahl der CDUs unterscheiden. Bei der ersten Variante gibt es eine zentrale CDU, an der mehrere Racks angeschlossen werden können. Das spart Platz im Rack, belegt allerdings zusätzliche Fläche im Serverraum. Verfolgt man das Konzept der zentralen CDU, sollte man idealerweise 2N-Redundanzen bilden, um Ausfälle jederzeit ausgleichen zu können. Zudem ist die Leistung der CDUs so auszulegen, dass sie zum einen Reserven zur Skalierung bieten, andererseits aber auch bei geringerer Auslastung schon energieeffizient arbeiten.
Die zweite Variante sieht vor, dass in jedem Rack eine eigene CDU integriert ist. Dadurch lassen sich zwar weniger Server in den Racks unterbringen, es wird aber kein zusätzlicher Platz außerhalb der Racks benötigt. Fällt eine CDU aus, wirkt sich das nur auf ein einzelnes Rack aus, alle anderen Server werden nicht in ihrer Funktionsweise beeinträchtigt. Auch eine Skalierung ist so einfacher möglich, weil beim Hinzufügen jedes weiteren Racks eine genau auf die benötigte Kühlleistung abgestimmte CDU ergänzt wird. Insgesamt enthält das System so aber mehr Wärmeübertrager, was die Kältemenge, die aus dem Gebäudewasser entnommen werden kann, durch zusätzliche Übertragungsverluste gegenüber einer Variante mit zentraler CDU etwas reduziert.
Wie lässt sich Flüssigkeitskühlung noch umsetzen?
Es gibt auch Anlagen, die vollständig auf eine CDU verzichten. Dies ist aber nur bei Tauchkühlung möglich, weil dort am Tank bereits ein Wärmeübertrager zur Trennung der Kreisläufe vorhanden ist. Eine Regulierung der Temperatur muss über das Gebäudewasser erfolgen und ist damit weniger flexibel als bei einem Aufbau mit CDU. Ein Aufbau ohne CDU hat aber auch Vorteile, beispielsweise die höhere Effizienz, weil kein Wärmeübertrager zur Ankopplung an das Gebäudewasser eingesetzt werden muss und somit an dieser Stelle keine Übertragungsverluste entstehen. Auch der zusätzliche Platz für die Unterbringung von CDUs entfällt.
Alle Varianten der Flüssigkeitskühlung sind darauf angewiesen, dass die Temperaturen des Gebäudewassers so eingestellt sind, dass sie den Kühlkreisläufen ausreichend Reserven bieten. Die Temperaturfenster dürfen sich aber auch nicht zu stark dem Taupunkt des Raumes nähern, um Kondensat zu vermeiden. Die Kühlung des Gebäudewassers funktioniert bei allen Varianten der Flüssigkeitskühlung ähnlich wie bei Luftkühlung, in der Regel allerdings mit höheren Temperaturen.
Wie wird das Gebäudewasser gekühlt?
Dazu können, je nach benötigtem Temperaturniveau, Rückkühler, Kühltürme und Chiller eingesetzt werden. Die ASHRAE TC 9.9 definiert zu diesem Zweck Temperaturklassen, die Empfehlungen abgeben, bei welchen Gebäudewassertemperaturen üblicherweise welche Art der Kühlung eingesetzt werden kann. War das Rechenzentrum seitens des Gebäudewassers bereits vor der Umrüstung mit freier oder indirekter freier Kühlung ausgerüstet, kann diese je nach benötigtem Temperaturniveau eventuell zur Versorgung der CDU übernommen werden.
Nachdem wir die nötige Infrastruktur für Flüssigkeitskühlung in einem Rechenzentrum in diesem Beitrag grundsätzlich betrachtet haben, werden wir uns im nächsten Teil anschauen, wie sich eine solche Lösung mit Produkten von Stulz konkret umsetzen lässt und welche Besonderheiten es dabei gibt.