Auditoría de esquemas de enfriamiento para identificar posibles problemas de enfriamiento en centros de datos Kevin Dunlap Informe interno Nº 40 Revisión 2 Resumen ejecutivo La compactación de los equipos informáticos y el incremento simultáneo de la potencia que consumen los procesadores plantean a los administradores de centros de datos el desafío de garantizar la distribución adecuada de aire frío, la extracción del aire caliente y el suministro de una capacidad de enfriamiento suficiente. Este informe ofrece una lista de pautas para evaluar posibles problemas que pueden afectar de manera adversa el entorno de enfriamiento de un centro de datos. ©2006 American Power Conversion. Todos los derechos reservados. Queda prohibida la utilización, reproducción, fotocopiado, transmisión o almacenamiento en cualquier sistema de recuperación de cualquier tipo de esta publicación, en todo o en parte, sin el consentimiento escrito del titular del derecho de autor. www.apc.com Rev 2006-2 2 Introducción Si bien la compactación de los equipos de computación y los avances simultáneos en materia de potencia de los procesadores implican importantes beneficios, también han generado posibles retos para los responsables de ofrecer y mantener entornos de misión crítica adecuados. A pesar de que la capacidad total de potencia y enfriamiento general proyectada para un centro de datos pueda ser apropiada, también puede ocurrir que la distribución de aire frío hacia las zonas que lo requieren no lo sea. Cuando se concentran equipos informáticos más compactos en un único gabinete o cuando los administradores de un centro de datos proyectan implementaciones de gran escala con racks múltiples atestados de servidores Blade ultracompactos, es imprescindible solucionar el problema del aumento de la potencia requerida y el calor disipado. Los servidores Blade, como se observa en la Figura 1, ocupan mucho menos espacio que los servidores tradicionales montados en racks y ofrecen mayor capacidad de procesamiento, al tiempo que consumen menos potencia por servidor. Sin embargo, incrementan de manera drástica la densidad de calor. Figura 1 – Ejemplos de compactación Al diseñar el sistema de enfriamiento de un centro de datos, el objetivo es crear una ruta sin obstrucciones desde la fuente del aire enfriado hasta las entradas de los servidores. Asimismo, debe crearse una ruta despejada desde la salida posterior de aire caliente de los servidores hasta el ducto de retorno de aire de la unidad de aire acondicionado. Sin embargo, existen algunos factores que pueden tener un efecto adverso respecto de ese objetivo. Para determinar si existe un problema o un posible problema en relación con la infraestructura de enfriamiento de un centro de datos, es necesario efectuar ciertos controles y mediciones. Esta auditoría determinará la integridad del centro de datos a fin de evitar fallas de los equipos electrónicos relacionadas con la temperatura. También puede utilizarse para evaluar la disponibilidad de una capacidad de enfriamiento adecuada para el futuro. Las mediciones correspondientes a las pruebas señaladas deben registrarse y analizarse utilizando la plantilla suministrada en el Apéndice. Debe evaluarse el estado actual de las instalaciones y establecerse la situación de partida para garantizar que las acciones correctivas posteriores tengan resultados positivos. En este informe se señala la manera de identificar posibles problemas de ©2006 American Power Conversion. Todos los derechos reservados. Queda prohibida la utilización, reproducción, fotocopiado, transmisión o almacenamiento en cualquier sistema de recuperación de cualquier tipo de esta publicación, en todo o en parte, sin el consentimiento escrito del titular del derecho de autor. www.apc.com Rev 2006-2 3 enfriamiento en centros de datos ya construidos; se trata de problemas que pueden afectar la capacidad total de enfriamiento, la capacidad de densidad de enfriamiento y la eficiencia operativa de un centro de datos. Las soluciones para estos problemas se describen en el Informe interno N° 42 de APC, “Diez soluciones de enfriamiento para ofrecer respaldo a implementaciones con servidores de alta densidad". 1. Verificación de la capacidad Teniendo presente que cada vatio de potencia para equipos informáticos requiere 1 vatio para enfriamiento, el primer paso para suministrar un nivel adecuado de enfriamiento consiste en verificar que la capacidad del sistema de enfriamiento cubra la carga de potencia actual y futura. El sistema de enfriamiento típico está compuesto de una unidad CRAC (unidad de aire acondicionado para salas de cómputo), que suministra el aire enfriado a la sala, y una unidad instalada en el exterior conocida como condensadora, que elimina el calor y lo descarga en la atmósfera. Para obtener más información sobre la manera en que funcionan las unidades de aire acondicionado y los diferentes tipos de equipos, consulte el Informe interno N° 57 de APC, “Principios fundamentales de las unidades de aire acondicionado para aplicaciones informáticas” y el Informe interno N° 59 de APC, "Diferentes tipos de equipos de aire acondicionado para entornos informáticos”. Están apareciendo en el mercado versiones más nuevas de unidades CRAC que pueden colocarse más cerca (o incluso, dentro) de los racks de datos en situaciones de muy alta densidad. En algunos casos, puede ocurrir que el sistema de enfriamiento se haya sobredimensionado en función de la carga térmica proyectada para el futuro. Si el sistema de enfriamiento se encuentra sobredimensionado, se produce un consumo energético no deseado que puede evitarse. Si desea obtener más detalles sobre problemas provocados por el dimensionamiento de los sistemas de enfriamiento, consulte el Informe interno Nº 25 de APC, “Cálculo de los requisitos totales de enfriamiento para centros de datos”. Verifique la capacidad del sistema de enfriamiento consultando la nomenclatura del modelo que se encuentra en el exterior o el interior de cada unidad CRAC. Para conocer los valores correspondientes a la capacidad, consulte los datos técnicos provistos por el fabricante. Los fabricantes de unidades CRAC determinan la capacidad nominal del sistema en base al nivel de control de la humedad y la EAT (temperatura del aire entrante). El controlador de cada unidad muestra la EAT y la humedad relativa. Al consultar los datos técnicos, tome nota de la capacidad de enfriamiento sensible de cada unidad CRAC. Asimismo, la capacidad del equipo externo o condensadora debe ser igual o mayor que la capacidad de todas las unidades CRAC de la sala. Cuando se trata de sistemas integrales más pequeños, los componentes internos y externos suelen comprarse juntos al mismo fabricante. En el caso de sistemas más grandes, es posible que los equipos de eliminación de calor o condensadora se hayan adquirido en forma independiente a otro fabricante. En cualquiera de los casos, lo más probable es que estén bien dimensionados, aunque es conveniente que un contratista externo lo verifique. Si la capacidad de la unidad CRAC y la capacidad del equipo de eliminación de calor son diferentes, tome el componente con menor capacidad nominal para este ejercicio. (Si tuviera dudas al efectuar las mediciones, póngase en contacto con el fabricante o el proveedor.) ©2006 American Power Conversion. Todos los derechos reservados. Queda prohibida la utilización, reproducción, fotocopiado, transmisión o almacenamiento en cualquier sistema de recuperación de cualquier tipo de esta publicación, en todo o en parte, sin el consentimiento escrito del titular del derecho de autor. www.apc.com Rev 2006-2 4 De este modo, obtendrá la capacidad máxima teórica de enfriamiento del centro de datos. Más adelante, se verá que existen muchos factores que pueden reducir ese máximo de manera considerable. A continuación, debe compararse la capacidad máxima calculada con el requisito de carga térmica del centro de datos. En la Tabla 1 se suministra una hoja de trabajo que permite el cálculo rápido de la carga térmica. A partir de la hoja de trabajo, es posible determinar la energía térmica total producida de un centro de datos en forma rápida y confiable. En el procedimiento detallado debajo de la Tabla 1 se describe el uso de la hoja de trabajo. Para obtener más información, consulte el Informe interno N° 25 de APC, “Cálculo de los requisitos totales de enfriamiento para centros de datos”. Los requisitos de carga térmica que se determinen a partir del cálculo que se incluye a continuación siempre deberían ser inferiores a la capacidad máxima teórica de enfriamiento. El Informe interno N° 42 de APC, “Diez soluciones de enfriamiento para ofrecer respaldo a implementaciones con servidores de alta densidad" brinda algunas soluciones para los casos en que no se cumpla esa condición. Tabla 1 – Hoja de trabajo para el cálculo de la energía térmica producida en un centro de datos o sala de gestión de redes Ítem Datos requeridos Cálculo de la energía térmica producida Equipos informáticos UPS con batería Potencia total de la carga informática en vatios Potencia nominal del sistema de energía en vatios Distribución de energía Potencia nominal del sistema de energía en vatios Iluminación Espacio ocupado en pies cuadrados, o espacio ocupado en metros cuadrados Cantidad máxima de personal en el centro de datos Igual a la potencia total de la carga informática en vatios (0,04 x potencia nominal del sistema) + (0,06 x energía total de la carga informática) (0,02 x potencia nominal del sistema) + (0,02 x energía total de la carga informática) 2,0 x espacio ocupado (pies cuadrados), o 21,53 x espacio ocupado (metros cuadrados) 100 x cantidad máxima de personal Personas Total Subtotales anteriores Suma de los subtotales de energía térmica producida Subtotal de energía térmica producida _____________ vatios _____________ vatios _____________ vatios _____________ vatios _____________ vatios _____________ vatios ©2006 American Power Conversion. Todos los derechos reservados. Queda prohibida la utilización, reproducción, fotocopiado, transmisión o almacenamiento en cualquier sistema de recuperación de cualquier tipo de esta publicación, en todo o en parte, sin el consentimiento escrito del titular del derecho de autor. www.apc.com Rev 2006-2 5 Procedimiento Obtenga la información solicitada en la columna “Datos requeridos”. Consulte las definiciones de datos que se incluyen a continuación en caso de dudas. Realice los cálculos de energía térmica producida y coloque los resultados en la columna de subtotal. Sume los subtotales para obtener la energía térmica producida total. Definiciones de datos Potencia total de la carga informática en vatios: Suma de las entradas de potencia de todos los equipos informáticos. Potencia nominal del sistema de energía: Potencia nominal del sistema UPS. Si se utiliza un sistema redundante, no incluir la capacidad de la UPS redundante. 2. Verificación de las unidades CRAC Si las unidades CRAC instaladas en un centro de datos no funcionan de manera coordinada, es probable que trabajen por debajo de su capacidad de enfriamiento y ocasionen un costo operativo mayor. En general, las unidades CRAC operan en cuatro modos: enfriamiento, calefacción, humidificación y deshumidificación. Si bien dos de las condiciones mencionadas pueden darse en forma simultánea (enfriamiento y deshumidificación), todos los sistemas que se encuentran en una zona definida (de 4 a 5 unidades adyacentes) deben operar siempre en el mismo modo. La operación en modos opuestos (p. ej., deshumidificación y humidificación) de unidades CRAC no coordinadas, denominada “demand fighting” (conflictos entre equipos), ocasiona derroches en materia de costos operativos y la reducción de la capacidad de enfriamiento. Es necesario evaluar las unidades CRAC para garantizar que las lecturas de las temperaturas (de suministro y retorno) y de los niveles de humedad se correspondan con los valores proyectados. El conflicto entre equipos puede afectar de manera drástica la eficiencia del sistema CRAC. Si no se soluciona, este problema puede significar una reducción de la eficiencia de entre el 20% y el 30% que, en el mejor de los casos, tiene como resultado costos operativos innecesarios y, en el peor, tiempos de inactividad ocasionados por una capacidad de enfriamiento insuficiente. A fin de que el sistema trabaje con eficiencia y sin derroche, debe estudiarse la posibilidad de operarlo dentro de los límites inferiores de los parámetros proyectados en cuanto a humedad relativa. Modificar levemente el punto de referencia aproximándolo al extremo inferior del rango posible puede influir de manera notoria en la capacidad de eliminación de calor y reducir el tiempo de funcionamiento del humidificador. Como se muestra en la Tabla 2, modificar el punto de referencia de la humedad relativa del 50% al 45% tiene como resultado ahorros significativos en cuanto a costos operativos. ©2006 American Power Conversion. Todos los derechos reservados. Queda prohibida la utilización, reproducción, fotocopiado, transmisión o almacenamiento en cualquier sistema de recuperación de cualquier tipo de esta publicación, en todo o en parte, sin el consentimiento escrito del titular del derecho de autor. www.apc.com Rev 2006-2 6 Tabla 2 – Ejemplo de ahorro en costos de humidificación con punto de referencia inferior Temperatura 72°F (22,2°C) Punto de referencia de la humedad relativa 50% 45% 48,6 (166.000) 45,3 (155.000) 49,9 (170.000) 49,9 (170.000) Humedad eliminada (capacidad latente total) (Btu/h) Humidificación requerida libras/h (kg/h) – (Btu/1074 o kW/0,3148) Tiempo de funcionamiento del humidificador kW necesarios para la humidificación 3,3 (11.000) 10,24 (4,6] 100,0% 3,2 0,0 (0000) 0 0,0% 0 Costo anual de humidificación (costo por kW x 8760 x kW requerido) US$2242,56 $0,00 Capacidades de enfriamiento – kW (Btu/h) Capacidad total de enfriamiento Cambio de temperatura (capacidad sensible total) Requisito de humidificación Nota: Los supuestos y especificaciones correspondientes al presente ejemplo pueden consultarse en el Apéndice. Verificación de los puntos de referencia Los puntos de referencia de la temperatura y la humedad deben ser los mismos para todas las unidades CRAC de un centro de datos. Si los puntos de referencia no son iguales, se producen casos de conflicto entre equipos y hay fluctuaciones en la sala. Las cargas térmicas y el contenido de humedad son relativamente constantes en cada zona; es necesario definir la operación de las unidades CRAC en grupos e impedir que los equipos funcionen en modos opuestos mediante un sistema de administración de edificios (BMS) o un cable de comunicación tendido entre las unidades que integran el grupo. En un intervalo dado, no debe haber dos unidades que operen en modos opuestos, a menos que formen parte de grupos diferentes. Cuando se encuentran agrupadas, todas las unidades de un grupo específico operan juntas para una zona determinada. Los parámetros para los puntos de referencia deben estar comprendidos en los siguientes rangos: • Temperatura – 68-77°F (20-25°C) • Humedad – Humedad relativa del 40-55% Para evaluar el rendimiento del sistema, se debe medir tanto la temperatura de retorno como la de suministro. Se deben utilizar tres puntos de monitoreo situados en el centro geométrico del suministro y el retorno, como se muestra en la Figura 2. ©2006 American Power Conversion. Todos los derechos reservados. Queda prohibida la utilización, reproducción, fotocopiado, transmisión o almacenamiento en cualquier sistema de recuperación de cualquier tipo de esta publicación, en todo o en parte, sin el consentimiento escrito del titular del derecho de autor. www.apc.com Rev 2006-2 7 Figura 2 – Puntos de monitoreo de temperatura del suministro y el retorno reo onito de m ) s o t Pun (retorno itor mon os de istro) t n u P in (sum eo reo onito de m ro) s o t Pun uminist (s o itore mon e d os Punt retorno) ( En condiciones ideales, la temperatura del aire suministrado debe coincidir con la temperatura de entrada requerida por los servidores, lo cual se verificará en un paso posterior, midiendo la temperatura en las entradas de los servidores. La lectura de la temperatura del aire de retorno debe ser igual o mayor que las lecturas de temperatura tomadas en el paso 4: una temperatura de aire de retorno más baja que la lectura obtenida en el paso 4 indica falta de eficiencia del sistema debida a ciclos cortos. Los ciclos cortos se producen cuando el aire frío suministrado por la unidad CRAC se desvía de los equipos informáticos y fluye directamente hacia el ducto de retorno de aire de las unidades CRAC. Para obtener información sobre la manera de prevenir los ciclos cortos, consulte el Informe interno Nº 49 de APC, "Cómo evitar errores que ponen en riesgo el rendimiento del sistema de enfriamiento en centros de datos y salas de gestión de redes". El desvío de aire frío es la mayor causa de sobrecalentamiento y puede obedecer a muchos factores. Las secciones 6 a 10 de este informe describen esos factores. Asimismo, se debe comprobar que los filtros estén limpios. Si la circulación de aire en la unidad CRAC se ve impedida, el sistema se apagará como reacción a la alarma de pérdida de circulación de aire. Los filtros deben cambiarse en forma trimestral como procedimiento de mantenimiento preventivo. ©2006 American Power Conversion. Todos los derechos reservados. Queda prohibida la utilización, reproducción, fotocopiado, transmisión o almacenamiento en cualquier sistema de recuperación de cualquier tipo de esta publicación, en todo o en parte, sin el consentimiento escrito del titular del derecho de autor. www.apc.com Rev 2006-2 8 3. Verificación y evaluación de los principales circuitos de enfriamiento Para comprender esta sección, es necesario contar con conocimientos básicos de equipos de aire acondicionado. Para obtener más información sobre este tema, consulte el Informe interno Nº 59 de APC, “Diferentes tipos de equipos de aire acondicionado para entornos informáticos”. Solicite a la empresa encargada del mantenimiento o a un consultor en HVAC que revise el estado de las unidades CRAC, los sistemas de bombeo y los demás equipos de enfriamiento principales. Asegúrese de que todas las válvulas funcionen correctamente. Circuito de enfriamiento por agua helada Las condiciones del suministro del ciclo de agua helada a la unidad CRAC afectan en forma directa la capacidad de la unidad para proporcionar aire acondicionado adecuado a la sala o a la cámara del piso elevado. Para verificar la temperatura del suministro, póngase en contacto con la empresa encargada del mantenimiento del sistema o con un consultor en HVAC. A modo de revisión rápida, puede medirse la temperatura de las tuberías de suministro a la unidad CRAC. Mida la temperatura de la superficie de la tubería de suministro utilizando un termómetro láser. En algunos casos, es posible que se hayan instalado medidores en la tubería que muestran la temperatura del agua suministrada. Las tuberías de agua helada deben aislarse de la corriente de aire para prevenir la condensación en la superficie de la tubería. Para tomar una medición más precisa, retire una porción del aislante y mida directamente la temperatura en la superficie de la tubería. Si no fuera posible, es probable que dentro de la unidad CRAC haya una sección pequeña de tubería expuesta en la entrada al serpentín, a la izquierda o la derecha del serpentín. Circuito de agua del condensador (enfriado por agua y glicol) Los sistemas enfriados por agua y glicol utilizan un condensador en la unidad CRAC para transferir calor de la unidad al circuito de agua. Es probable que las tuberías de agua del condensador no se encuentren aisladas debido a las temperaturas más templadas del agua suministrada. Mida la temperatura de la superficie de la tubería de suministro en el punto de ingreso a la unidad CRAC. Es necesario verificar los sistemas de expansión directa (DX) para garantizar que estén completamente cargados con la cantidad adecuada de refrigerante. Tubería de refrigerante con enfriamiento por aire Al igual que en el caso de las unidades CRAC enfriadas por agua y glicol, es necesario comprobar que la carga de refrigerante tenga el nivel adecuado. Póngase en contacto con la empresa encargada del mantenimiento de los equipos o con un consultor en HVAC independiente para verificar las condiciones de la tubería de refrigerante, los intercambiadores de calor externos y la carga de refrigerante. Compare las temperaturas con las que se especifican en la Tabla 3. Las temperaturas que no se ajusten a estas guías puede indicar algún problema en el ciclo de suministro. ©2006 American Power Conversion. Todos los derechos reservados. Queda prohibida la utilización, reproducción, fotocopiado, transmisión o almacenamiento en cualquier sistema de recuperación de cualquier tipo de esta publicación, en todo o en parte, sin el consentimiento escrito del titular del derecho de autor. www.apc.com Rev 2006-2 9 Tabla 3 – Tolerancias térmicas en el ciclo de suministro Agua helada Agua del condensador (enfriado por agua) Agua del condensador (enfriado por glicol) 45°F (+/- 3°F) 7,2°C (+/- 1,7°C) Máx. 90°F Máx. 32,2°C Máx. 110°F Máx. 43,3°C 4. Registro de las temperaturas de los pasillos Al registrar la temperatura en varios sitios entre las hileras de racks, se crea un perfil de temperatura que ayuda a diagnosticar posibles problemas de enfriamiento y a asegurarse de que se suministre aire frío a las zonas críticas. Si los pasillos de racks no están situados de manera adecuada, es posible que se generen concentraciones de calor en diversos lugares, lo cual puede provocar fallas múltiples en los equipos. En la sección 9, se describe e ilustra la práctica recomendada en cuanto a disposiciones de racks. Tome la 1 temperatura en puntos estratégicos de los pasillos del centro de datos. . En general, estos puntos deben estar centrados entre hileras de equipos y separados por una distancia aproximada equivalente a cuatro racks, tal como se muestra en la Figura 3. Figura 3 – Puntos de medición en pasillos calientes / pasillos fríos según ASHRAE TC9.9 Reimpreso con permiso de ASHRAE 2004. (c) Asociación de Ingenieros en Calefacción, Refrigeración y Aire Acondicionado de los Estados Unidos, www.ashrae.org. Además, los puntos de medición de temperaturas deben estar a una altura de 5 pies (1,5 metros) desde el piso. Cuando no se dispone de medios más sofisticados para medir las temperaturas en los pasillos, debe considerarse este procedimiento como un requisito mínimo de medición. Las temperaturas obtenidas deben registrarse y compararse con las temperaturas de entrada recomendadas por el fabricante de los equipos 1 El estándar TC9.9 de la organización ASHRAE proporciona más detalles sobre el posicionamiento de sensores para realizar una evaluación óptima y lograr las temperaturas de entrada recomendadas. ASHRAE (Asociación de Ingenieros en Calefacción, Refrigeración y Aire Acondicionado de los Estados Unidos www.ashrae.org) ©2006 American Power Conversion. Todos los derechos reservados. Queda prohibida la utilización, reproducción, fotocopiado, transmisión o almacenamiento en cualquier sistema de recuperación de cualquier tipo de esta publicación, en todo o en parte, sin el consentimiento escrito del titular del derecho de autor. www.apc.com Rev 2006-2 10 informáticos. Cuando no se cuenta con información sobre temperaturas recomendadas, debe tomarse 68-75°F (20-25°C) como guía, según el estándar de la ASHRAE. Las temperaturas que excedan esta tolerancia pueden reducir el rendimiento del sistema y la vida útil de los equipos, y ocasionar tiempos de inactividad no previstos. Nota: Las verificaciones y pruebas mencionadas deben llevarse a cabo en forma trimestral. Las verificaciones de temperatura deben efectuarse durante un período de 48 horas cada vez para registrar los niveles máximo y mínimo. 5. Registro de las temperaturas en los racks Si el suministro de aire al frente de un rack es deficiente, puede ocasionarse la recirculación del aire caliente extraído del equipo y el reingreso por las entradas de aire. Como resultado, algunos equipos –por lo general, los que están montados en la parte superior del rack— se sobrecalientan y se apagan o fallan. El objetivo de este paso es verificar que las temperaturas globales de entrada al rack sean adecuadas para los equipos instalados. Tome y registre las temperaturas en la parte superior, media e inferior del eje geométrico que divide el frente del rack, como se muestra en la Figura 4. Cuando el rack no se encuentra completamente ocupado con equipos, mida las temperaturas de entrada en el centro geométrico de cada equipo. Consulte las pautas especificadas en el paso 2 para informarse sobre valores aceptables de temperaturas de entrada. Las temperaturas que no se ajustan a esas pautas implican la presencia de un problema de enfriamiento en ese punto de monitoreo. Los puntos deben estar a 2 pulgadas (50 mm) del frente de los equipos montados en rack. El monitoreo puede efectuarse con termoacopladores conectados a un dispositivo de recolección de datos. También es posible medir la temperatura en los puntos de monitoreo empleando un termómetro láser, para efectuar una verificación rápida como método básico. ©2006 American Power Conversion. Todos los derechos reservados. Queda prohibida la utilización, reproducción, fotocopiado, transmisión o almacenamiento en cualquier sistema de recuperación de cualquier tipo de esta publicación, en todo o en parte, sin el consentimiento escrito del titular del derecho de autor. www.apc.com Rev 2006-2 11 Figura 4 – Puntos de monitoreo para temperaturas de entrada a equipos según la ASHRAE Puntos de monitoreo Reimpreso con permiso de ASHRAE 2004. (c) Asociación de Ingenieros en Calefacción, Refrigeración y Aire Acondicionado de los Estados Unidos, www.ashrae.org. 6. Verificación de la velocidad del aire proveniente de las rejillas del piso Es importante comprender que la capacidad de enfriamiento del gabinete se encuentra en relación directa con el suministro de caudal de aire expresado en cfm (pies cúbicos por minuto). Por diseño, los equipos informáticos elevan la temperatura del aire suministrado en 20-30°F (11-17°C). Utilizando la ecuación de la eliminación de calor, se puede calcular rápidamente el volumen de circulación de aire requerido con un aumento dado de la temperatura. 3 CFM o m por segundo = volumen de circulación de aire requerido para eliminar el calor generado por equipos informáticos Q = cantidad de calor a eliminar expresada en kilovatios (kW) ∆°F o ∆°C = temperatura del aire extraído del equipo menos temperatura de entrada CFM = 3412 × Q 1,085 × ∆°F m3 / s = Q 1,21 × ∆°C Por ejemplo, para calcular la circulación de aire necesaria para enfriar un servidor de 1 kW con un aumento de la temperatura de 20°F: ©2006 American Power Conversion. Todos los derechos reservados. Queda prohibida la utilización, reproducción, fotocopiado, transmisión o almacenamiento en cualquier sistema de recuperación de cualquier tipo de esta publicación, en todo o en parte, sin el consentimiento escrito del titular del derecho de autor. www.apc.com Rev 2006-2 12 CFM = 3412 ×1kW =157,23 1,085 × 20°F m3 / s = 1kW = 0,0742 1,21 ×11°C Por lo tanto, por cada kW de calor que es necesario eliminar con un Delta T (aumento de la temperatura en el equipo informático) de diseño de 20°F (11°C), se deben suministrar en forma aproximada 160 pies cúbicos por 3 minuto (0,076 m por segundo o 75,5 litros por segundo) de aire acondicionado al equipo. Cuando se calculan los requisitos de circulación de aire por rack, puede emplearse este valor como un parámetro de diseño aproximado. Sin embargo, se deben respetar los requisitos de servicio especificados por el fabricante. CFM / kW =157,23 (m 3 / s ) / kW = 0,074 ( L / s ) / kW = 74,2 Con el valor de diseño y la capacidad de circulación de aire de la losa típica (abertura aproximada del 25%) como se observa en la Figura 5, la densidad máxima de potencia por gabinete debería ser de entre 1,25 y 2,5 kW. Esta estimación es válida para instalaciones que utilizan una losa por gabinete. En casos en que la relación gabinete/losa sea superior a 1, la capacidad de enfriamiento disponible debe dividirse entre los gabinetes que componen la hilera. Evaluación de la circulación de aire en una losa perforada Para medir la capacidad de enfriamiento disponible en una losa dada basta con colocar un trozo pequeño de papel sobre la losa. Si el papel es aspirado por los orificios de la losa, significa que el aire está retrocediendo hacia el interior del piso elevado, lo cual indica que existe un problema vinculado con la ubicación del rack y la unidad CRAC. Si el papel no resulta afectado, podría ocurrir que no esté llegando aire a esa losa. Si el papel se despega del piso, entonces se está distribuyendo aire a través de esa losa. Sin embargo, según cuál sea la densidad de potencia de los equipos que se están enfriando, puede suceder que el volumen de aire suministrado por la losa no sea suficiente. En ese caso, puede ser necesario utilizar una rejilla especial o un dispositivo de distribución de aire para permitir que circule más aire hacia el frente de los racks. ©2006 American Power Conversion. Todos los derechos reservados. Queda prohibida la utilización, reproducción, fotocopiado, transmisión o almacenamiento en cualquier sistema de recuperación de cualquier tipo de esta publicación, en todo o en parte, sin el consentimiento escrito del titular del derecho de autor. www.apc.com Rev 2006-2 13 Figura 5 – Capacidad disponible para enfriamiento de racks de una losa en función de la circulación Capacidad de enfriamiento por losa Capacidad de enfriamiento por los (kW) de aire por losa 7 Capacidad típica 6 Con esfuerzo Extrema No práctica 5 4 3 2 1 0 0 100 [47,2] 200 [94,4] 300 400 500 600 700 800 900 1000 [141,6] [188,8] [236,0] [283,2] [330,4] [377,6] [424,8] [471,9] Circulacion de aire por losa (CFM) [litros por seg.] 7. Inspección visual de racks El espacio que queda sin utilizar en el interior de los racks hace que el aire caliente producido por los equipos tome un “atajo” de regreso a la entrada de los equipos. Estos ciclos de aire caliente no restringidos provocan el calentamiento innecesario de los equipos, lo cual puede ocasionar daños en los equipos o períodos de inactividad. En el Informe interno N° 44 de APC, “Cómo mejorar el rendimiento del sistema de enfriamiento de los racks con paneles de obturación”, se describe con más detalle el uso de paneles de obturación para combatir este efecto. Examine en forma visual cada rack. ¿Se observan huecos en los espacios en U? ¿Se utilizan monitores TRC? ¿Se instalaron paneles de obturación en estos racks? ¿Hay un exceso de cables que obstruya la circulación de aire? Si se observan huecos en los espacios en U, no se instalaron paneles de obturación o hay un exceso de cables en la parte posterior del rack, la circulación de aire dentro del rack no será óptima, como se muestra en la Figura 6 a continuación. ©2006 American Power Conversion. Todos los derechos reservados. Queda prohibida la utilización, reproducción, fotocopiado, transmisión o almacenamiento en cualquier sistema de recuperación de cualquier tipo de esta publicación, en todo o en parte, sin el consentimiento escrito del titular del derecho de autor. www.apc.com Rev 2006-2 14 Figura 6 – Diagramas de la circulación de aire en el rack – Efecto de los paneles de obturación 6A: Sin paneles de obturación 6B: Con paneles de obturación Lateral Lateral Panel de obturación 8. Verificación de las rutas de circulación del aire debajo del piso Controle los espacios bajo el piso elevado para verificar que estén limpios y libres de obstrucciones. Las partículas de suciedad y polvo por debajo del piso elevado se dirigirán a través de las rejillas hacia el interior de los equipos informáticos. Las obstrucciones que puede haber debajo del piso, como los cables de red y de alimentación, impiden la circulación de aire y tienen un efecto adverso en el suministro de aire frío a los racks. A medida que se agreguen racks y servidores, se instalarán más cables de red y de alimentación. A menudo, cuando se trasladan o reemplazan los servidores y los racks, el cableado que deja de usarse queda debajo del piso elevado. Debe realizarse una inspección visual de la superficie del piso cuando se utiliza un piso elevado para distribuir aire. Los vacíos, huecos y losas faltantes ejercen un efecto negativo en la presión estática de la cámara. La capacidad de mantener el caudal de aire suministrado a través de las losas perforadas se verá disminuida por la presencia de zonas del piso elevado que no han sido selladas. Deben reponerse las losas faltantes. Todas las secciones de la cuadrícula deben estar cubiertas por losas perforadas o sin perforar. Los orificios efectuados en las losas del piso elevado para el acceso de cables deben sellarse utilizando escobillas u otros productos destinados a ese fin. Las mediciones efectuadas muestran que del 50 al 80% del aire frío disponible se pierde en forma prematura a través de aberturas para acceso de cables que no se encuentran selladas. ©2006 American Power Conversion. Todos los derechos reservados. Queda prohibida la utilización, reproducción, fotocopiado, transmisión o almacenamiento en cualquier sistema de recuperación de cualquier tipo de esta publicación, en todo o en parte, sin el consentimiento escrito del titular del derecho de autor. www.apc.com Rev 2006-2 15 9. Verificación de la disposición de pasillos y losas A excepción de algunos casos, la mayoría de los servidores montados en rack están diseñados para tomar aire por la parte frontal y expulsarlo por la parte posterior. Cuando todos los racks están colocados en hileras con la misma orientación, el aire caliente de la hilera 1 se expulsa al pasillo, donde se mezcla con el aire suministrado o con el aire de la sala, para ingresar luego por el frente de los racks de la hilera 2. En la Figura 7, se ilustra esta disposición. A medida que el aire atraviesa cada hilera consecutiva de racks, los equipos informáticos reciben aire más caliente en la entrada. Si en todas las hileras los gabinetes están dispuestos de modo que las entradas de los servidores queden orientadas en la misma dirección, es inevitable que los equipos terminen funcionando en forma inadecuada. Figura 7 – Configuración de racks sin separación entre pasillos fríos y calientes Al disponer los racks en una disposición de pasillo caliente / pasillo frío, el aire extraído queda alejado de las entradas de los servidores. Así se permite que el aire frío suministrado por las losas ingrese a los gabinetes sin mezclarse con aire caliente, tal como se muestra en la Figura 8. Para más información sobre arquitecturas de distribución de aire en centros de datos, consulte el Informe interno Nº 55 de APC, “Opciones en arquitectura de distribución de aire para instalaciones de misión crítica”. Figura 8 – Configuración de racks con pasillo caliente/pasillo frío La ubicación inadecuada de las rejillas puede llevar a que el aire suministrado por las unidades CRAC se mezcle con el aire caliente extraído antes de llegar a los equipos, con los subsiguientes problemas de rendimiento y costos que se describieron anteriormente. La ubicación incorrecta de las rejillas de suministro o retorno de aire es un problema frecuente que puede eliminar prácticamente todas las ventajas de un diseño de pasillo caliente/pasillo frío. ©2006 American Power Conversion. Todos los derechos reservados. Queda prohibida la utilización, reproducción, fotocopiado, transmisión o almacenamiento en cualquier sistema de recuperación de cualquier tipo de esta publicación, en todo o en parte, sin el consentimiento escrito del titular del derecho de autor. www.apc.com Rev 2006-2 16 10. Verificación de la ubicación de las unidades CRAC La ubicación de las unidades CRAC respecto del pasillo es importante para la distribución del aire. Según cuál sea la arquitectura de distribución del aire, las unidades CRAC deben colocarse en forma perpendicular al pasillo, en un pasillo frío o caliente, como se observa en la Figura 9. Cuando se emplea un piso elevado para distribuir el aire, las unidades CRAC deben situarse en el extremo de los pasillos calientes. La ruta de retorno del aire caliente a la unidad CRAC sigue la dirección del pasillo sin que el aire circule pasando por encima de los pasillos, donde se incrementa la probabilidad de recirculación del aire. Al disminuir la mezcla del aire caliente cuando circula por la sala, la capacidad de las unidades CRAC se verá incrementada puesto que las temperaturas a las que retorna el aire son más templadas. Adoptando esta disposición, es posible que se requiera menor cantidad de unidades en la sala. Figura 9 – Ubicación de unidades CRAC en pasillos calientes CRAC PASILLO FRIO PASILLO CALIENTE CRAC PASILLO FRIO PASILLO CALIENTE PASILLO FRIO CRAC CRAC Cuando se utiliza piso de losas de concreto, la unidad CRAC debe colocarse en el extremo del pasillo frío. De este modo, el aire suministrado se distribuye hacia el frente de los gabinetes. En esta disposición, el aire se mezcla en algún grado, por lo que sólo debe implementarse cuando las densidades de potencia por rack son bajas. ©2006 American Power Conversion. Todos los derechos reservados. Queda prohibida la utilización, reproducción, fotocopiado, transmisión o almacenamiento en cualquier sistema de recuperación de cualquier tipo de esta publicación, en todo o en parte, sin el consentimiento escrito del titular del derecho de autor. www.apc.com Rev 2006-2 17 Conclusión Las verificaciones de rutina del sistema de enfriamiento de un centro de datos permiten identificar posibles problemas de enfriamiento en una etapa temprana y ayudar a evitar períodos de inactividad. Tanto los cambios en el consumo de potencia, como las actualizaciones y la ampliación de los equipos informáticos pueden modificar la cantidad de calor generado en un centro de datos. Es muy probable que si se realizan controles de integridad regulares, se identifique el impacto de esos cambios antes de que se convierta en un problema de proporciones. Es posible lograr el entorno adecuado para una densidad de potencia dada solucionando los problemas identificados a través de los controles de integridad que se especifican en este informe interno. Para más información sobre soluciones de enfriamiento para densidades de potencia más elevadas, consulte el Informe interno N° 42 de APC, “Diez soluciones de enfriamiento para ofrecer respaldo a implementaciones con servidores de alta densidad". Acerca del autor Kevin Dunlap es Gerente de Marketing de Productos para la línea de Soluciones de Enfriamiento en American Power Conversion (APC). Kevin se desempeña en el sector desde 1994, primero con un proveedor de hardware y software para administración de energía y más tarde en APC, como Gerente de Productos. Kevin ha participado en numerosos paneles del sector, además de agrupaciones y comisiones de la ASHRAE dedicadas al tema de la administración térmica y economizadores eficientes de energía. ©2006 American Power Conversion. Todos los derechos reservados. Queda prohibida la utilización, reproducción, fotocopiado, transmisión o almacenamiento en cualquier sistema de recuperación de cualquier tipo de esta publicación, en todo o en parte, sin el consentimiento escrito del titular del derecho de autor. www.apc.com Rev 2006-2 18 Apéndice Supuestos y especificaciones correspondientes a la Tabla 2 Los dos escenarios del ejemplo relativo al ahorro en costos de humidificación presentado en la Tabla 2 se basan en los siguientes supuestos: • 50 kW de cargas informáticas eléctricas que dan como resultado 50 kW de disipación de calor, aproximadamente. • La temperatura del aire que retorna a la entrada de las unidades CRAC es de 72°F (22,2°C). • Un año de operación (en modalidad 7x24), lo cual es igual a 8760 horas. • Flujo volumétrico por unidad CRAC de 9000 cfm (4245 m por segundo). • Se requiere ventilación, pero a fin de simplificar el ejemplo se partió del supuesto de que el centro de 3 datos se encuentra completamente sellado: no hay infiltración ni ventilación. • El costo por kW/hora se supuso igual a US$ 0,08. • Las especificaciones de la unidad CRAC corresponden a la unidad FM50 de APC: - Descarga inferior estándar - Unidad enfriada con glicol (sin multicool ni economizador) - Humidificador generador de vapor por electrodos (del tipo con contenedor plástico con ajuste automático de nivel de agua a partir de la conductividad del agua) - Capacidad del humidificador: 10 libras por hora (4,5 kg por hora) - Consumo eléctrico del humidificador: 3,2 kW - Tensión: 208 VCA. ©2006 American Power Conversion. Todos los derechos reservados. Queda prohibida la utilización, reproducción, fotocopiado, transmisión o almacenamiento en cualquier sistema de recuperación de cualquier tipo de esta publicación, en todo o en parte, sin el consentimiento escrito del titular del derecho de autor. www.apc.com Rev 2006-2 19 Lista de verificación para auditoría de esquemas de enfriamiento Verificación de capacidad Unidades CRAC Modelo Capacidad total Cap. sensible Cantidad Unidad 1 Unidad 2 Unidad 3 Unidad 4 Unidad 5 Unidad 6 Unidad 7 Unidad 8 Unidad 9 Unidad 10 Capacidad utilizable total = SUM (Cap. Sensible x Cantidad) Demanda de la carga térmica Equipos informáticos Potencia total de carga inf. en vatios Potencia nominal del sist. de energía en vatios UPS con batería Potencia nominal del sist. de energía en vatios Distr. de energía Espacio ocupado en pies cuadrados o espacio ocupado en metros cuadrados Iluminación Nº máx. de personal en el centro de datos Personas Subtotales anteriores Total Igual a potencia total de carga inf. en vatios (0,04 x Potencia nominal del sist.) + (0,06 x Potencia total de carga inf.) (0,02 x Potencia nominal del sist.) + (0,02 x Potencia total de carga inf.) 2,0 x espacio ocupado (pies2), o 21,53 x espacio ocupado (m2) 100 x Nº máx. de personal Suma de los subtotales de energía térmica producida ¿La capacidad es igual o mayor que la energía térmica producida? Sí No Puntos de monitoreo de unidades CRAC Suministro (promedio de tres puntos de monitoreo para cada una) CRAC 1 ________ CRAC 2 ________ CRAC 3 ________ CRAC 4 ________ CRAC 5 ________ CRAC 6 ________ CRAC 7 ________ CRAC 8 ________ CRAC 9 ________ CRAC 10________ Promedios aceptables: Temp. 68-75ºF (2025ºC), Humedad 40-55% R.H. Dentro/fuera de márgenes de tolerancia (marcar lo que corresponda) Todas dentro del rango 1-2 fuera del rango >2 fuera del rango Retorno (promedio de tres puntos de monitoreo para cada una) CRAC 1 ________ CRAC 2 ________ CRAC 3 ________ CRAC 4 ________ CRAC 5 ________ CRAC 6 ________ CRAC 7 ________ CRAC 8 ________ CRAC 9 ________ CRAC 10________ Promedios aceptables: Temp. 58-65ºF (14-18ºC) Dentro/fuera de márgenes de tolerancia (marcar lo que corresponda) Todas dentro del rango 1-2 fuera del rango >2 fuera del rango Circuitos de enfriamiento Agua helada Agua del condensador - Enfriamiento por agua Agua del condensador - Enfriamiento por glicol Enfriamiento por aire 45ºF (+/- 3ºF), 7,2ºC (+/- 1,7ºC) Máx. 90ºF (32,2ºC) Máx. 110ºF (43,3ºC) Dentro/fuera de márgenes de tolerancia (marcar lo que corresponda) Si Si Si Se recomienda la verificación por contratista calificado en HVAC ©2006 American Power Conversion. Todos los derechos reservados. Queda prohibida la utilización, reproducción, fotocopiado, transmisión o almacenamiento en cualquier sistema de recuperación de cualquier tipo de esta publicación, en todo o en parte, sin el consentimiento escrito del titular del derecho de autor. www.apc.com Rev 2006-2 20 No No No Temperaturas en pasillos Puntos de medición a 5 pies (1,5 m) del piso cada 4 racks (promedio por pasillo) Pasillo 1 ________ Pasillo 2 ________ Pasillo 3 ________ Pasillo 4 ________ Pasillo 5 ________ Pasillo 6 ________ Pasillo 7 ________ Pasillo 8 ________ Pasillo 9 ________ Pasillo 10________ Promedios aceptables: Temp. 68-75°F (20-25°C) Dentro/fuera de márgenes de tolerancia (marcar lo que corresponda) Todas dentro del rango 1-2 fuera del rango >2 fuera del rango Temperaturas en pasillos Puntos de medición a 5 pies (1,5 m) del piso cada 4 racks (promedio por pasillo) R1 ____ R2 ____ R3 ____ R4 ____ R5 ____ R6 ____ R7 ____ R8 ____ R9 ____ R10 ____ R11____ R12 ____ R13 ____ R14____ R15 ____ R16 ____ R17____ R18 ____ R19 ____ R20____ R21 ____ R22 ____ R23____ R24 ____ R25 ____ R26____ R27 ____ R28 ____ R29____ R30 ____ R31 ____ R32____ R33 ____ R34 ____ R35____ R36 ____ R37 ____ R38____ R39 ____ R40 ____ R41____ R42 ____ R43 ____ R44____ R45 ____ R46 ____ R47____ R48 ____ R49 ____ R50____ R51 ____ R52 ____ R53____ R54 ____ R55 ____ R56____ R57 ____ R58 ____ R59____ R60 ____ R61 ____ R62____ R63 ____ R64 ____ R65____ R66 ____ R67 ____ R68____ R69 ____ R70 ____ R71____ R72 ____ R73 ____ R74____ R75 ____ R76 ____ R77____ R78 ____ R79 ____ R80____ R81 ____ R82 ____ R83____ R84 ____ R85 ____ R86____ R87 ____ R88 ____ R89____ R90 ____ Promedios aceptables: Temp. 68-75°F (2025°C); las temperaturas desde la parte sup. a la inf. de cada rack no deberían diferir en más de 5ºF (2,8ºC) Dentro/fuera de márgenes de tolerancia (marcar lo que corresponda) Todas dentro del rango 1-2 fuera del rango >2 fuera del rango Circulación de aire Verificar todas las losas perforadas (de corresponder), comparar con tolerancias Medición de circ. de aire (verif. de circ. positiva); un contratista calificado en HVAC debería evaluar los volúmenes Losas perforadas Promedios aceptables: => 160 cfm/kW (75,5 l/s) /kW Dentro/fuera de márgenes de tolerancia (marcar lo que corresponda) Todas dentro del rango 1-2 fuera del rango >2 fuera del rango Inspección de racks Paneles de obturación ¿Hay instalados paneles de obturación en los espacios del rack donde no hay equipos informáticos? Dentro/fuera de márgenes de tolerancia (marcar lo que corresponda) Si No Si No Si No Si No Si No Si No Ruta de aire bajo el piso (de corresponder) Obstrucciones visibles ¿Hay instalados paneles de obturación en los espacios del rack donde no hay equipos informáticos? Losas faltantes, huecos y vacíos ¿Todas las losas se encuentran en su lugar? ¿Las aberturas para cables se encuentran selladas adecuadamente? Dentro/fuera de márgenes de tolerancia (marcar lo que corresponda) Disposición de pasillos y losas Posiciones de losas perforadas Losas faltantes, huecos y vacíos Disposición de pasillos calientes y fríos ¿Hay instalados paneles de obturación en los espacios del rack donde no hay equipos informáticos? ¿Las unidades CRAC están alineadas con los pasillos calientes? ¿Existe separación entre los pasillos calientes y fríos (los racks no están orientados en la misma dirección)? Dentro/fuera de márgenes de tolerancia (marcar lo que corresponda) ©2006 American Power Conversion. Todos los derechos reservados. Queda prohibida la utilización, reproducción, fotocopiado, transmisión o almacenamiento en cualquier sistema de recuperación de cualquier tipo de esta publicación, en todo o en parte, sin el consentimiento escrito del titular del derecho de autor. www.apc.com Rev 2006-2 21