Diseño y dimensionamiento de data centers Diseño y dimensionamiento de data centers Raúl Ramos Pollán Universidad Nacional de Colombia Universidad Nacional, Enero 2013 (1) Diseño y dimensionamiento de data centers Outline 1 Caracterización de un datacenter 2 Consideraciones de diseño 3 Best practices 4 Caso real y consideraciones de estrategia 5 Práctica de dimensionamiento Universidad Nacional, Enero 2013 (2) Diseño y dimensionamiento de data centers «pizza» servers storage servers 1 Caracterización communications rack sets blades chasis Universidad Nacional, Enero 2013 (3) Diseño y dimensionamiento de data centers Universidad Nacional, Enero 2013 1 Caracterización (4) Diseño y dimensionamiento de data centers 1 Caracterización CRACs Enfriadoras Grupo Electrógeno PDUs Baterías Universidad Nacional, Enero 2013 UPS Mangueras eléctricas Cuadros eléctricos (5) Diseño y dimensionamiento de data centers 1 Caracterización Tipologías de datacenters http://www.energystar.gov/ia/partners/prod_development/downloads/EPA_Datacenter_Report_Congress_Final1.pdf Tipos de máquinas: volume servers as those costing less than $25,000 per unit, mid-range servers as those costing between $25,000 and $500,000 per unit high-end servers as those costing more than $500,000 per unit. Tipos de datacenters: Server closet. 1-2 servidores Server room. <15 servidores Localized data center. <100 servidores Mid-tier data center. 100s servidores Enterprise class data center. 100-1000 servidores Universidad Nacional, Enero 2013 15m2 <50m2 <100m2 <500m2 >500m2 (6) Diseño y dimensionamiento de data centers 1 Caracterización Distribución datacenters en US Universidad Nacional, Enero 2013 (7) Diseño y dimensionamiento de data centers 1 Caracterización Top500, distribución histórica (www.top500.org) Universidad Nacional, Enero 2013 (8) Diseño y dimensionamiento de data centers 1 Caracterización Top500, distribución histórica (www.top500.org) Universidad Nacional, Enero 2013 (9) Diseño y dimensionamiento de data centers 2 Diseño Consideraciones de diseño Distribución física Capacidad eléctrica Refrigeración Resiliencia (backup components, fireproofing, etc.) Seguridad física, seguridad informática, control de acceso, etc. Patrones de uso (CPU intensive, storage intensive, etc.) Capacidad de crecimiento Operativa y costes (TCO) Equipos de apoyo Universidad Nacional, Enero 2013 (10) Diseño y dimensionamiento de data centers 2 Diseño Key issue: electrical consumption + heat load Universidad Nacional, Enero 2013 (11) Diseño y dimensionamiento de data centers 2 Diseño. Potencia eléctrica Potencia eléctrica: Elementos Universidad Nacional, Enero 2013 (12) Diseño y dimensionamiento de data centers 2 Diseño. Potencia eléctrica Otro esquema eléctrico Universidad Nacional, Enero 2013 (13) Diseño y dimensionamiento de data centers 2 Diseño. Potencia eléctrica Métricas de eficiencia Universidad Nacional, Enero 2013 (14) Diseño y dimensionamiento de data centers 2 Diseño. Potencia eléctrica Distribución del consumo Universidad Nacional, Enero 2013 (15) Diseño y dimensionamiento de data centers 2 Diseño. Potencia eléctrica Densidad de potencia eléctrica Universidad Nacional, Enero 2013 (16) Diseño y dimensionamiento de data centers 2 Diseño. Potencia eléctrica Densidad de potencia eléctrica Avances tecnológicos Más densidad de potencia eléctrics (kw/m2) Data centers más compactos Pero: Se necesitan más equipos de soporte (refrigeración, UPS, etc.) Ahorro de espacio indoors Necesidad de espacio outdoors Equilibrar inversión Necesidad de aumentar la capacidad de un datacenter Obra civil indoors vs. obra civil outdoors Más capacidad por m2 más exigencia en la instalación Demasiado suelo equipos de soporte costes operacionales y de inversion Universidad Nacional, Enero 2013 (17) Diseño y dimensionamiento de data centers 2 Diseño. Potencia eléctrica UPS configurations Parallel redundant (N+1) Needs synch UPSs to output 300 kW load together Both units must be the same System bus, point of failure Configuration N UPS breakdown and maintainance on bypass Multiple points of failure Universidad Nacional, Enero 2013 Isolated redundant (N+1) Catcher as backup Needs proper operation of switches Needs 2nd from 0% to full load fast Less points of failure (18) Diseño y dimensionamiento de data centers 2 Diseño. Potencia eléctrica Distributed redundant Redundant utility sources Delivered load is 300 kW UPS still need some phase sync mechanism Universidad Nacional, Enero 2013 (19) Diseño y dimensionamiento de data centers Universidad Nacional, Enero 2013 2 Diseño. Potencia eléctrica (20) Diseño y dimensionamiento de data centers 2 Diseño. Refrigeración Refrigeración Elementos de refrigeración - Chiller (Enfriadora) indoor-outdoor - CRAC / Aire Acondicionado - Elementos de conducción/circulación de aire Métricas - Velocidad de descarga (ft3/min) - Presión bajo suelo Universidad Nacional, Enero 2013 (21) Diseño y dimensionamiento de data centers 2 Diseño. Refrigeración Disposición general de un datacenter Universidad Nacional, Enero 2013 (22) Diseño y dimensionamiento de data centers 2 Diseño. Refrigeración Consideraciones - Separación de flujos de aire frío y caliente si completa, mejor - Distribución adecuada presión bajo suelo - Velocidad de descarga demasiada velocidad de carga menos presión cerca del CRAC menos aire frío a través de las losetas perforadas cerca del CRAC menos capacidad de refrigeración demasiado poca velocidad de descarga menos alcance - Gestionar pérdidas de flujo de aire Universidad Nacional, Enero 2013 (23) Diseño y dimensionamiento de data centers Universidad Nacional, Enero 2013 2 Diseño. Refrigeración (24) Diseño y dimensionamiento de data centers Universidad Nacional, Enero 2013 2 Diseño. Refrigeración (25) Diseño y dimensionamiento de data centers Universidad Nacional, Enero 2013 2 Diseño. Refrigeración (26) Diseño y dimensionamiento de data centers Universidad Nacional, Enero 2013 2 Diseño. Refrigeración (27) Diseño y dimensionamiento de data centers 2 Diseño. Refrigeración Optimizaciones Universidad Nacional, Enero 2013 (28) Diseño y dimensionamiento de data centers 2 Diseño. Refrigeración Optimizaciones Universidad Nacional, Enero 2013 (29) Diseño y dimensionamiento de data centers 2 Diseño. Refrigeración Optimizaciones Universidad Nacional, Enero 2013 (30) Diseño y dimensionamiento de data centers 2 Diseño. Contingencias Resiliencia Need redundant CRACs or … Universidad Nacional, Enero 2013 (31) Diseño y dimensionamiento de data centers 2 Diseño. Contingencias Resiliencia redistribuir la carga computacional (si posible…) Universidad Nacional, Enero 2013 (32) Diseño y dimensionamiento de data centers 2 Diseño. Contingencias Otras contingencias Sistemas de extinción de incendios Redundancia de sistemas (generador, UPS, equipos de comunicaciones) Redundancia de suministros (acometida eléctrica, red) Seguridad física Seguridad contra intrusiones informáticas Sistemas de backup (datos, configuraciones, etc.) Protocolos de mantenimiento y operación Universidad Nacional, Enero 2013 (33) Diseño y dimensionamiento de data centers 2 Diseño. Crecimiento Crecimiento Universidad Nacional, Enero 2013 (34) Diseño y dimensionamiento de data centers Universidad Nacional, Enero 2013 2 Diseño. Crecimiento (35) Diseño y dimensionamiento de data centers Universidad Nacional, Enero 2013 2 Diseño. Crecimiento (36) Diseño y dimensionamiento de data centers 2 Diseño. Virtualización Virtualización FLEXIBILIDAD ADAPTABILIDAD AGILIDAD DE DESPLIEGUE AJUSTE DE LA CARGA A LA NECESIDAD DE SERVICIO Migración dinámica de cargas de alta densidad La capacidad se ajusta a la demanda a niveles de row, rack, server Predictabilidad de la distribución de carga y requerimientos de enfriamiento REQUIERE: Red interna de alta capacidad Infraestructura de virtualización muy optimizada Procedimientos y herramientas de gestión avanzadas NIVELES: 1 Servicios básicos 2 Servicios públicos 3 Automatic deployment (based on metrics, topology) 4 Strategic deployment (based on policies, ) Universidad Nacional, Enero 2013 (37) Diseño y dimensionamiento de data centers 4 Caso real Caso real diseño y optimización data center CETA-CIEMAT www.ceta-ciemat.es Centro de Cálculo Público Tecnologías GRID + GPU 1700 cores, 90 Tflops GPU cluster, 1PB almacenamiento Universidad Nacional, Enero 2013 (38) Diseño y dimensionamiento de data centers Universidad Nacional, Enero 2013 4 Caso real (39) Diseño y dimensionamiento de data centers 4 Caso real Caso real diseño y optimización data center Universidad Nacional, Enero 2013 (40) Diseño y dimensionamiento de data centers Universidad Nacional, Enero 2013 4 Caso real (41) Diseño y dimensionamiento de data centers 4 Caso real Caso real diseño y optimización data center Universidad Nacional, Enero 2013 (42) Diseño y dimensionamiento de data centers 4 Caso real Caso real diseño y optimización data center Universidad Nacional, Enero 2013 (43) Diseño y dimensionamiento de data centers 4 Caso real Caso real diseño y optimización data center OPTIMIZACIONES, AÑO 1 Procedimiento de apagado general del CPD Procedimiento de apagado de emergencia del CPD Procedimiento de encendido periódico del grupo electrógeno Procedimiento para la actualización sistema de monitoreo en tiempo real OPTIMIZACIONES, AÑO 2 Redistribución de cargas bajo el grupo electrógeno (priorización de servicios) Redistribución tendido cuadros eléctricos Reorganización de las losetas perforadas Reacondicionamiento sala de baterías UPS Universidad Nacional, Enero 2013 (44) Diseño y dimensionamiento de data centers Universidad Nacional, Enero 2013 4 Caso real (45) Diseño y dimensionamiento de data centers 4 Caso real Caso real diseño y optimización data center OPTIMIZACIONES Optimización configuración CRACS Universidad Nacional, Enero 2013 (46) Diseño y dimensionamiento de data centers Best practices 5 Best practices WATCH http://www.google.com/about/datacenters/best-practices.html Prácticas básicas: 1. Medir, Medir, Medir, Medir, Medir, Medir el PUE … tan frecuentemente como posible 2. Gestionar el flujo de aire (sheet metals, láminas plásticas) 3. Ajustar termostatos (aire frio, menos frío, según especificaciones) 4. Optimizar distribución de potencia Prácticas avanzadas: 1. Gestión inteligente de capacidad variable (distribución carga computacional – horas noche -, vs. encendido/apagado CRACs, …) 2. Virtualización 3. Medidas detalladas (per rack, server, …) Impacto ahorro energía: Suposición: 1 kWh = $200 … 1 rack de 10 kW … encendido 24/7 Consumo anual (PUE = 1.8): Consumo anual (PUE = 1.6): Universidad Nacional, Enero 2013 (47) Diseño y dimensionamiento de data centers 5 Best practices Best practices Prácticas básicas: 1. Medir, Medir, Medir, Medir, Medir, Medir el PUE … tan frecuentemente como posible 2. Gestionar el flujo de aire (sheet metals, láminas plásticas) 3. Ajustar termostatos (aire frio, menos frío, según especificaciones) 4. Optimizar distribución de potencia Prácticas avanzadas: 1. Gestión inteligente de capacidad variable (distribución carga computacional – horas noche -, vs. encendido/apagado CRACs, …) 2. Virtualización 3. Medidas detalladas (per rack, server, …) Impacto ahorro energía: Suposición: 1 kWh = $200 … 1 rack de 10 kW … encendido 24/7 Consumo anual (PUE = 1.8): 10 kW x 24 hrs/día x 365 días/año = 87000 kWh/año … x 1.8 PUE = 157.680 kWh/año x $200/kWh = $31.536.000 /año Consumo anual (PUE = 1.6): 10 kW x 24 hrs/día x 365 días/año = 87000 kWh/año … x 1.6 PUE = 140.160 kWh/año x $200/kWh = $28.032.000/año AHORRO = 3.5M (11%) Universidad Nacional, Enero 2013 (48) Diseño y dimensionamiento de data centers 5 Práctica Práctica modelado datacenters 1 DELL DATACENTER CAPACITY PLANNER http://www.dell.com/html/us/products/rack_advisor_new/index.html RACK 1 Computing on PowerEdge M600 blades http://www.dell.com/us/dfb/p/poweredge-m600/pd 64 blades x 2 Xeon E5440 x 4 cores = 512 cores Max memory per blade: 64GB (16GB / core) Power/Heat: 14.9 kW Universidad Nacional, Enero 2013 RACK 2 Storage on PowerEdge 6950 + AX150 http://www.dell.com/downloads/global/products/pvaul/en/ax150_specs.pdf http://www.dell.com/downloads/emea/products/pedge/en/PE6950_Spec _Sheet_Quad.pdf 2 redundant PowerEdge 6950 as storage servers with 10 AX150 w/ 12 SATA disks @750GB = 10*9 = 90TB Power/Heat: 4.5 kW (49) Diseño y dimensionamiento de data centers 5 Práctica Práctica modelado datacenters 1 DELL DATACENTER CAPACITY PLANNER http://www.dell.com/html/us/products/rack_advisor_new/index.html RACK 1 Computing on PowerEdge M600 blades http://www.dell.com/us/dfb/p/poweredge-m600/pd 64 blades x 2 Xeon E5440 x 4 cores = 512 cores Max memory per blade: 64GB (16GB / core) Power/Heat: 14.9 kW Universidad Nacional, Enero 2013 RACK 2 Storage on PowerEdge 6950 + AX150 http://www.dell.com/downloads/global/products/pvaul/en/ax150_specs.pdf http://www.dell.com/downloads/emea/products/pedge/en/PE6950_Spec _Sheet_Quad.pdf 2 redundant PowerEdge 6950 as storage servers with 10 AX150 w/ 12 SATA disks @750GB = 10*9 = 90TB Power/Heat: 4.5 kW (50) Diseño y dimensionamiento de data centers 5 Práctica Práctica modelado datacenters 1 DELL DATACENTER CAPACITY PLANNER http://www.dell.com/html/us/products/rack_advisor_new/index.html RACK 2 Storage on PowerEdge 6950 + AX150 RACK 1 Computing on PowerEdge M600 blades http://www.dell.com/downloads/global/products/pvaul/en/ax150_specs.pdf http://www.dell.com/us/dfb/p/poweredge-m600/pd http://www.dell.com/downloads/emea/products/pedge/en/PE6950_Spec _Sheet_Quad.pdf 64 blades x 2 Xeon E5440 x 4 cores = 512 cores Max memory per blade: 64GB (16GB / core) Power/Heat: 14.89 kW 2 redundant PowerEdge 6950 as storage servers with 10 AX150 w/ 12 SATA disks @750GB = 10*9 = 90TB Power/Heat: 4.47 kW AT $200/kWh, 24x7 PUE kw rack 1 kw rack 2 total IT equipment kwh/año support equipment kwh/año total kwh/año $/año 1,1 1,2 1,3 1,4 1,5 1,6 1,7 1,8 1,9 2,0 Universidad Nacional, Enero 2013 (51) Diseño y dimensionamiento de data centers 5 Práctica Práctica modelado datacenters 1 DELL DATACENTER CAPACITY PLANNER http://www.dell.com/html/us/products/rack_advisor_new/index.html RACK 2 Storage on PowerEdge 6950 + AX150 RACK 1 Computing on PowerEdge M600 blades http://www.dell.com/downloads/global/products/pvaul/en/ax150_specs.pdf http://www.dell.com/us/dfb/p/poweredge-m600/pd http://www.dell.com/downloads/emea/products/pedge/en/PE6950_Spec _Sheet_Quad.pdf 64 blades x 2 Xeon E5440 x 4 cores = 512 cores Max memory per blade: 64GB (16GB / core) Power/Heat: 14.89 kW 2 redundant PowerEdge 6950 as storage servers with 10 AX150 w/ 12 SATA disks @750GB = 10*9 = 90TB Power/Heat: 4.47 kW AT $200/kWh, 24x7 PUE kw rack 1 kw rack 2 total IT equipment kwh/año 1,1 1,2 1,3 1,4 1,5 1,6 1,7 1,8 1,9 2,0 14,89 14,89 14,89 14,89 14,89 14,89 14,89 14,89 14,89 14,89 4,47 4,47 4,47 4,47 4,47 4,47 4,47 4,47 4,47 4,47 19,36 19,36 19,36 19,36 19,36 19,36 19,36 19,36 19,36 19,36 169.629 169.629 169.629 169.629 169.629 169.629 169.629 169.629 169.629 169.629 Universidad Nacional, Enero 2013 support equipment kwh/año total kwh/año 16.963 33.926 50.889 67.851 84.814 101.777 118.740 135.703 152.666 169.629 186.592 203.554 220.517 237.480 254.443 271.406 288.369 305.332 322.294 339.257 $/año $ 37.318.301 $ 40.710.874 $ 44.103.446 $ 47.496.019 $ 50.888.592 $ 54.281.165 $ 57.673.738 $ 61.066.310 $ 64.458.883 $ 67.851.456 (52) Diseño y dimensionamiento de data centers 5 Práctica Práctica modelado datacenters 2 APC DATA CENTER MODELLING WEB TOOLS http://tools.apc.com TT6: Calculadora de rendimiento del centro de datos set datacenter capacity to 194kw and 100% IT load … cost should be aprox 10 times our two racks at 1.7 PUE set IT load back to 70% and add/remove features to datacenter and see effect on PUE and cost TT8: Data Center Design Planning Calculator look at growth plan tab, see $$ savings in scale-up vs. up-front why PUE starts so high when up-front? (hint: in TT6 lower/raise IT load and see effect on PUE) change «deployment rate» … explain change in PUE charts TT1: Calculadora de energía de un datacenter try to get our setup with only RACK 1 (server quantity=60, 2 sockets = 100%, 0 mainframes, external no storage, safety margin 0%) change parameters and explain TT9: Calculadora de costes de energía de virtualización set «percentage of servers virtualized» to 100% and consolidation rate 1:1. explain turn «row based coolin» on/off. explain Universidad Nacional, Enero 2013 (53) Diseño y dimensionamiento de data centers Consideraciones finales Consideraciones finales 1 ENTIENDE TU INSTALACIÓN 2 MIDE MIDE MIDE MIDE MIDE MIDE MIDE 3 «LO MÁS» NO SIEMPRE ES LO MÁS ADECUADO A UN CASO CONCRETO 4 ENTIENDE LOS PATRONES DE CARGAS COMPUTACIONALES 5 DECIDE ACORDE A TU TAMAÑO / FINANCIACIÓN / EQUIPO 6 PLANEA A MEDIO TIEMPO CON UN ESPÍRITU PRÁCTICO 7 DATACENTERS CIENTÍFICOS: APOYA A TUS USUARIOS LA MEJOR GUÍA: EL SENTIDO COMÚN Universidad Nacional, Enero 2013 (54) Diseño y dimensionamiento de data centers Enlaces http://www1.eere.energy.gov/femp/pdfs/eedatacenterbestpractices.pdf http://www.intel.com/technology/eep/datacenter.pdf http://h20000.www2.hp.com/bc/docs/support/SupportManual/c00064724/c00064724.pdf http://www.energystar.gov/ia/partners/prod_development/downloads/EPA_Datacenter_Report_Congress_F inal1.pdf http://www.google.com/about/datacenters/best-practices.html http://www.cisco.com/web/partners/downloads/765/other/Energy_Logic_Reducing_Data_Center_Energy_C onsumption.pdf http://static.googleusercontent.com/external_content/untrusted_dlcp/www.google.com/es//corporate/data center/dc-best-practices-google.pdf http://www.thegreengrid.org/~/media/WhitePapers/White_Paper_27_Impact_of_Virtualization_Data_On_C enter_Physical_Infrastructure_020210.pdf?lang=en Universidad Nacional, Enero 2013 (55)
