real time web analytics

Líquido e inmersión es lo nuevo en Supercomputing ’22 • The Register

SC22 Es seguro decir que la refrigeración líquida fue un tema candente en la conferencia Supercomputing en Dallas esta semana.

Hasta donde alcanzaba la vista, la sala de exposiciones estaba repleta de servidores enfriados por líquido, tanques de enfriamiento de inmersión llenos de aceite y todos los accesorios, bombas y unidades de distribución de refrigerante (CDU) que podría necesitar para implementar la tecnología en un centro de datos. .

Dado que esta es una conferencia sobre computación de alto rendimiento, el énfasis en la gestión térmica no debería ser una sorpresa. Pero con las CPU de 400 W y las GPU de 700 W ahora disponibles, no es un problema exclusivo de HPC o AI. A medida que más empresas buscan agregar sistemas compatibles con AI/ML a sus centros de datos, los sistemas de 3kW, 5kW o incluso 10kW ya no son tan locos.

Así que aquí hay un desglose del kit de refrigeración líquida que nos llamó la atención en la feria de este año.

Refrigeración líquida directa

La gran mayoría de los sistemas de refrigeración líquida que se muestran en SC22 son de la variedad de líquido directo. Estos intercambian disipadores de calor y ventiladores de cobre o aluminio por placas frías, tubos de goma y accesorios.

Si somos honestos, estos platos fríos se ven más o menos iguales. Básicamente, son solo un bloque de metal ahuecado con una entrada y una salida para que pase el fluido. Tenga en cuenta que estamos usando la palabra “líquido” aquí porque los sistemas enfriados por líquido pueden usar cualquier cantidad de refrigerantes que no son necesariamente agua.

Un servidor refrigerado por líquido de Supermicro equipado con placas frías CoolIT.

Un servidor refrigerado por líquido de Supermicro equipado con placas frías CoolIT. – Click para agrandar

En muchos casos, los OEM obtienen sus placas frías de los mismos proveedores. Por ejemplo, CoolIT proporciona hardware de refrigeración líquida para varios OEM, incluidos HPE y Supermicro.

Sin embargo, eso no quiere decir que no haya una oportunidad para la diferenciación. El interior de estas placas frías está lleno de matrices de microaletas que se pueden ajustar para optimizar el flujo de fluido a través de ellas. Dependiendo del tamaño o de la cantidad de troqueles que haya que enfriar, el interior de estas placas frías puede variar bastante.

La mayoría de los sistemas enfriados por líquido que vimos en el piso de exhibición usaban algún tipo de tubería de goma para conectar las placas frías. Esto significa que el líquido solo enfría componentes específicos como la CPU y la GPU. Entonces, si bien la mayor parte de los ventiladores se pueden quitar, aún se requiere algo de flujo de aire.

HPE demuestra sus últimos blades Cray EX refrigerados por líquido utilizando las CPU Epyc 4 de 96 núcleos de AMD.

HPE demuestra sus últimos blades Cray EX refrigerados por líquido utilizando las CPU Epyc 4 de 96 núcleos de AMD. – Click para agrandar

Los blades EX de Lenovo Neptune y HPE Cray fueron la excepción a esta regla. Sus sistemas están diseñados específicamente para refrigeración líquida y están repletos de tubos de cobre, bloques de distribución y placas frías para todo, incluidos CPU, GPU, memoria y NIC.

Con este enfoque, HPE ha logrado incluir ocho CPU Epyc 4 Genoa de 400 W de AMD en un chasis de 19 pulgadas.

Un servidor Lenovo Neptune refrigerado por líquido configurado con dos CPU AMD Genoa y cuatro GPU Nvidia H100.

Un servidor Lenovo Neptune refrigerado por líquido configurado con dos CPU AMD Genoa y cuatro GPU Nvidia H100. – Click para agrandar

Mientras tanto, Lenovo mostró un sistema Neptune de 1U diseñado para enfriar un par de Epycs de 96 núcleos y cuatro de las GPU H100 SXM de Nvidia. Según la implementación, los fabricantes afirman que sus sistemas de refrigeración líquida directa pueden eliminar entre el 80 y el 97 por ciento del calor generado por el servidor.

refrigeración por inmersión

Una de las tecnologías de refrigeración líquida más exóticas que se exhibieron en SC22 fue la refrigeración por inmersión, que ha vuelto a ponerse de moda en los últimos años. Estos sistemas pueden capturar el 100 por ciento del calor generado por el sistema.

En lugar de adaptar el servidor con placas frías, los tanques de enfriamiento de inmersión, como este de Submer, los sumergen en un líquido no conductor.

En lugar de adaptar el servidor con placas frías, los tanques de enfriamiento de inmersión, como este de Submer, sumérjalos en un líquido no conductor. Haga clic para ampliar

Por loco que parezca, hemos estado sumergiendo los componentes de la computadora en fluidos no conductores para mantenerlos frescos durante décadas. Uno de los sistemas más famosos para usar enfriamiento por inmersión fue la supercomputadora Cray 2.

Si bien los fluidos utilizados en estos sistemas varían de un proveedor a otro, los aceites sintéticos de Exxon o Castrol o los refrigerantes especializados de 3M no son infrecuentes.

Submer fue una de varias empresas de enfriamiento por inmersión que mostró su tecnología en SC22 esta semana. Los SmartPods de la compañía se ven un poco como si llenaras un arcón congelador lleno de aceite y comenzaras a colocar servidores verticalmente desde la parte superior.

Submer ofrece tanques en varios tamaños que son aproximadamente equivalentes a los estantes tradicionales de tamaño medio y completo. Estos tanques están clasificados para 50-100kW de disipación térmica, lo que los pone a la par con la infraestructura de refrigeración líquida y por aire montada en rack en términos de densidad de potencia.

El tanque de Submer admite factores de forma OCP OpenRack como estos sistemas Intel Xeon de tres hojas

El tanque de Submer admite factores de forma OCP OpenRack como estos sistemas Intel Xeon de tres hojas – Haga clic para ampliar

El tanque de demostración tenía tres servidores de 21 pulgadas, cada uno con tres blades Intel Sapphire Rapids de doble socket, así como un sistema AMD estándar de 2U que se había convertido para usar en sus tanques.

Sin embargo, se nos dice que la cantidad de modificaciones requeridas, especialmente en el chasis OCP, es bastante insignificante, y los únicos cambios reales son cambiar las piezas móviles de cosas como las fuentes de alimentación.

Como era de esperar, el enfriamiento por inmersión complica el mantenimiento y es un poco más complicado que el aire o el enfriamiento directo por líquido.

Chasis de servidor refrigerado por inmersión Iceotope

El giro de Iceotope en el enfriamiento por inmersión utiliza el chasis del servidor como depósito. – Click para agrandar

No todas las configuraciones de enfriamiento por inmersión en el piso de exhibición requieren galones de fluidos especializados. El sistema de enfriamiento por inmersión en el chasis de Iceotope fue un ejemplo. El chasis del servidor sellado de la empresa funciona como un depósito con la placa base sumergida en unos pocos milímetros de líquido.

Una bomba redundante en la parte posterior del servidor recircula el aceite a puntos de acceso como la CPU, las GPU y la memoria antes de pasar los fluidos calientes a través de un intercambiador de calor. Allí, el calor se transfiere a un sistema de agua de la instalación o unidades de distribución de refrigerante (CDU) a escala de rack.

Infraestructura de apoyo

Independientemente de si utiliza enfriamiento directo al chip o por inmersión, ambos sistemas requieren una infraestructura adicional para extraer y disipar el calor. Para configuraciones de enfriamiento directo por líquido, esto puede incluir colectores de distribución, plomería a nivel de rack y, lo que es más importante, una o más CDU.

Las CDU de gran tamaño para rack se pueden usar para enfriar una fila completa de gabinetes de servidores. Por ejemplo, Cooltera mostró varias CDU grandes capaces de proporcionar hasta 600 kW de refrigeración a un centro de datos. O, para implementaciones más pequeñas, se puede usar una CDU montada en bastidor. Examinamos dos ejemplos de Supermicro y Cooltera, que proporcionaron entre 80 y 100 kW de capacidad de enfriamiento.

Una unidad de distribución de refrigerante montada en bastidor de Cooltera

Una unidad de distribución de refrigerante montada en bastidor de Cooltera – Haga clic para ampliar

Estas CDU se componen de tres componentes principales: un intercambiador de calor, bombas redundantes para hacer circular el refrigerante por los bastidores y un sistema de filtración para evitar que las partículas obstruyan componentes críticos como las microaletas de placas frías.

La forma en que se extrae realmente el calor del sistema de refrigeración depende en gran medida del tipo de intercambiador de calor que se utilice. Los intercambiadores de calor de líquido a aire se encuentran entre los más simples porque requieren la menor cantidad de modificaciones en la instalación misma. La Cooltera CDU que se muestra aquí utiliza grandes radiadores para descargar el calor capturado por el fluido en el pasillo caliente del centro de datos.

Una Cooltera CDU con un intercambiador de calor líquido-aire integrado.

Además de las bombas y la filtración, esta Cooltera CDU cuenta con un intercambiador de calor de líquido a aire integrado. – Click para agrandar

Sin embargo, la mayoría de las CDU que vimos en SC22 usaban intercambiadores de calor de líquido a líquido. La idea aquí es usar un sistema de agua separado para toda la instalación para mover el calor recolectado por múltiples CDU a enfriadores secos en el exterior del edificio donde se disipa al aire. O, en lugar de arrojar el calor a la atmósfera, algunos centros de datos, como la última instalación de Microsoft en Helsinki, han conectado los sistemas de agua de sus instalaciones a los sistemas de calefacción de distrito.

La situación es prácticamente la misma para el enfriamiento por inmersión, aunque muchos de los componentes de la CDU, como las bombas, los intercambiadores de calor de líquido a líquido y los sistemas de filtración, están integrados en los tanques. Todo lo que realmente se requiere es que estén conectados al sistema de agua de la instalación.

Adopción de refrigeración líquida en aumento

Si bien la refrigeración líquida representa solo una fracción del gasto en administración térmica del centro de datos en la actualidad, los componentes más calientes y las densidades de potencia de rack más altas están comenzando a impulsar la adopción de la tecnología.

Según un informe reciente de Dell’Oro Group, se espera que el gasto en equipos de refrigeración líquida y por inmersión alcance los 1100 millones de dólares o el 19 % del gasto en gestión térmica para 2026.

Mientras tanto, el aumento de los precios de la energía y un mayor énfasis en la sostenibilidad hacen que la refrigeración líquida sea atractiva en otros niveles. Dejando a un lado la practicidad de enfriar un servidor de 3kW con aire, el 30-40 por ciento del consumo de energía de un centro de datos se puede atribuir al equipo de aire acondicionado y manejo de aire requerido para mantener los sistemas a temperatura operativa.

Entonces, si bien los proveedores de servidores han encontrado formas de enfriar servidores con aire de hasta 10kW, en el caso del DGX H100 de Nvidia, en estas densidades térmicas y de energía, existen incentivos externos para reducir el consumo de energía que ahora se usa para la informática. ®

Leave a Comment