CLUSTER HÍBRIDO DE SUPERCÓMPUTO “XIUHCOATL“

CLUSTER HÍBRIDO DE
SUPERCÓMPUTO
“XIUHCOATL“
XIUHCOATL
AGENDA
• INTRODUCCIÓN
• SUPERCÓMPUTO
– Top500
• SUPERCÓMPUTO EN MÉXICO
• XIUHCOATL
• LANCAD
INTRODUCCIÓN
Supercómputo
Definición
El supercómputo (HPC) es la herramienta de cálculo mas avanzada grande y
rápida hasta este momento, permite estudiar problemas de gran magnitud
utilizando modelos computacionales.
–
–
Cuando se tiene la necesidad de realizar cálculos numéricos e iterativos de manera intensiva,
utilizado una PC esto podría tardar meses, años o mas tiempo en obtener algún resultado.
En un principio las supercomputadoras eran monolíticas y de alto coste La tendencia actual en
las supercomputadoras apuesta por el cómputo distribuido y tecnologías emergentes
usando cientos/miles de servidores para obtener grandes desempeños a un costo mas asequible
de adquisición, operación y mantenimiento.
Supercómputo
Un poco de Historia
NOMBRE
AÑO Y
LUGAR
Colossus
ó
Mark I
1944,
Bletchley Park,
Londres.
Descifrar mensajes, interceptados en
comunicaciones de la Alemania Nazi.
• 1500 tubos de vacío
• Uso de cinta de papel para el ingreso de datos.
• Procesaba 5000 caracteres por segundo
• Utilizaba valores booleanos
• Contraparte de la máquina de Lorenz
ENIAC
1946,
Universidad
de
Pennsylvania
Calculo de trayectoria de nuevos
cañones y misiles.
• 18,000 tubos de vacío
• Reconexión de cables para realizar nuevos cálculos.
• Resolvía 5000 operaciones aritméticas
básicas/segundo.
•Sistema de numeración decimal.
EDVAC
1951
Universidad
de
Pennsylvania
Resolución de problemas navales en
laboratorio militar.
•6,000 tubos de vacio
• 12,000 diodos
• Lector-grabador de cinta magnética.
•Unidad de control y memoria
• Basada en sistema de numeración base 2
• El primer programa almacenado en memoria
UNIVAC
1951, Oficina
de Censos de
los EUA
• Censo de los EUA, en 1951
•Predicción (elección presidencial 1952)
•Diseñada (administración /negocios)
•5000 tubos de vacío
•Sin interfaz para leer y escribir en tarjetas perforadas
•Lector de cinta magnética
•1000 cálculos por segundo
•100,000 sumas por segundo
CRAY-I
1976,
Laboratorio
Nacional de
Los Álamos,
Nuevo México
Industria, ciencia y tecnología
•Arquitectura de 64 bits
•Utilizó circuitos integrados
•Procesadores vectoriales a 80 MHz
•Sistema de refrigeración por freón
•100 Mflops (80 X 106)
Industria, ciencia y tecnología
•64 nodos RX
•Transferencia de datos entre nodos de 2.8 MB
•12 GB de Disco duro local
•Conexiones Ethernet a estación de trabajo SUN-670 MP
•40 Mflops (80 X 10 a la 6 flops), por nodo
•Más de 2.5 Gflops en conjunto
•Programación con C y Fortran
Industria, ciencia y tecnología
•24 nodos (120 MHz C/U)
•128 MB de Memoria RAM
•40 GB de disco duro
•Conexión a una estación de trabajo PowerPC RS/6000
•480 Mflops (80 X 10 a la 6 flops), por nodo
•12 Gflops en conjunto
•Programación con C, C++ y Fortran 77/90
Intel
IPSC/860
IBM
SP2
1990
1990
USO
CARACTERÍSTICAS FÍSICAS
CARACTERÍSTICAS LÓGICAS
Supercómputo
¿Para qué sirve?
Resolver problemas complejos del mundo real, de la ciencia y de la ingeniería en todas sus
ramas, usando modelos computacionales (experimentación numérica), a lo cual se le
considera otra rama para aprender y obtener información nueva, sumándose a las metodologías
tradicionales de la teoría y la experimentación.
•
El uso de supercómputo ha creado nuevas líneas de investigación científica en áreas ya establecidas
como son la Astronomía, Ciencias de la atmósfera, Ciencias nucleares, Física, Geofísica,
Geografía, Ingeniería, Medicina, Química, entre otras .
–
–
–
–
–
–
–
–
–
Cálculos numéricos de enormes cantidades de datos.
Reconocimiento de imágenes.
Gráficas computacionales, rendering, texturización.
Modelación de redes.
Análisis de datos (medicina, farmacología, genómica, bio-informática, etc… )
Desarrollo de nuevas medicinas y vacunas.
Modelación de comportamientos biológicos de poblaciones.
Simulación de reacciones atómicas y explosiones.
Simulaciones de modelos mecánicos, físicos, químicos por ejemplo:
Huracanes
Tormentas.
Flujos hidráulicos.
Fenómenos de transporte.
Comportamiento molecular.
Diseño aeroespacial.
Industria automotriz.
Diseño de nuevos materiales.
Pronóstico del clima y predicción de los cambios climáticos globales.
Supercómputo
Arquitecturas mas usadas
ARQUITECTURA
DESCRIPCIÓN
Massive Paralell Processor es un solo equipo con muchos procesadores conectados .
MPP
•
•
•
•
•
Características similares a las arquitecturas clúster
Se han especializado en la interconexión de redes de CPUs.
Tienden a ser más GRANDES que los clúster
Cada CPU contiene su propia memoria y copia del sistema operativo y de las aplicaciones
Cada subsistema se comunica con los demás con una conexión de alta velocidad.
Conjuntos o cúmulo de computadoras.
Clúster
•
•
•
Pueden ser construidos mediante la utilización de hardware común.
Se comportan como si fuesen una única computadora.
Debe utilizarse redes de alta velocidad y baja latencia.
Multiprocesamiento simétrico (Dos o más procesadores idénticos están conectados).
SMP
•
•
•
Comparten el acceso a la memoria principal y están controladas por una única instancia de S.O. .
Los sistemas multiprocesador más común hoy en día utilizan una arquitectura SMP.
En los procesadores multi-core, la arquitectura SMP aplica a los núcleos/cores (procesadores separados).
Es un clúster de SMPs (También llamados CLUMP o máquinas jerárquicas).
Constellations
• Cada nodo de este clúster está compuesto por un SMP.
• Tiene microprocesadores independientes y usan un bus compartido para comunicase con la memoria.
• Dicho bus debe ser arbitrado para que solamente un microprocesador lo use en cada instante de tiempo.
• En esta arquitectura se tiende a gastar un tiempo considerable esperando a obtener los datos desde la
memoria ya que no es el único en espera.
Supercómputo
Arquitectura tipo Clúster (BEOWULF)
Los investigadores de la NASA Thomas Sterling y Don Becker, son quienes
utilizando computadoras caseras, desarrollaron una clase de
supercómputadora (Cluster).
• Beowulf, es el nombre de un héroe de
un poema épico anglosajón, de gran
fuerza y valor quien derrotó a un
poderoso monstruo llamado Grendel
Supercómputo
Elementos básicos de un clúster
1.
2.
3.
4.
5.
6.
Nodo maestro.
Cientos/Miles de Nodos esclavos/cómputo.
Conexión de red alta velocidad.
Sistema de archivos paralelo.
Sistema operativo, multitarea y multiusuario.
Ambientes de Programación Paralela: Soporte
para el desarrollo de software que trabaje con
recursos paralelos y/o distribuidos.
7. Software administrador de los recursos del
clúster,
8. Usuarios.
9. Administrador del Cluster.
Top500
Introducción y Definiciones
¿Qué es la Lista Top500?
Origen
Objetivo
Actualización
• Desde Junio de 1993 se publica una lista
semestral de las 500 supercomputadoras con el
índice de rendimiento más alto obtenido
utilizando un benchmark de solución de
ecuaciones lineales llamado LINPACK.
• El
principal
objetivo
es
proporcionar un ranking de
sistemas de propósito general que
estén en uso común para
aplicaciones high end.
• Las listas son publicadas en eventos de
supercómputo en los meses de Junio y
Noviembre de cada año.
• Sitio Web: http://www.top500.org
Megaflops
106
Gigaflops
109
Teraflops
1012
Petaflops
1015
Exaflops
1018
Flops=Operaciones de
punto flotante por segundo
High Performance Computing Linpack Benchmark.
Software que resuelve un denso sistema lineal aleatorio, en una aritmética de doble precisión
64bits, en computadoras de memoria distribuida.
Rendimiento máximo alcanzado bajo prueba de Linpack.
Rendimiento teórico.
PROCESADOR
#C
VR (GHz)
#OpPf=[Número de Operaciones de Punto Flotante DP]
Westmere
6
3.06
4
Interlagos
16
2,2
4
SandyBridge
8
2,6
8
RT=(#C)*(VR)*(#OpPF)
Top500
Introducción y Definiciones
¿Qué es la Lista Top500?
Origen
Objetivo
Actualización
• Desde Junio de 1993 se publica una lista
semestral de las 500 supercomputadoras con el
índice de rendimiento más alto obtenido
utilizando un benchmark de solución de
ecuaciones lineales llamado LINPACK.
• El
principal
objetivo
es
proporcionar un ranking de
sistemas de propósito general que
estén en uso común para
aplicaciones high end.
• Las listas son publicadas en eventos de
supercómputo en los meses de Junio y
Noviembre de cada año.
• Sitio Web: http://www.top500.org
Megaflops
106
Gigaflops
109
Teraflops
1012
Petaflops
1015
Exaflops
1018
Flops=Operaciones de
punto flotante por segundo
High Performance Computing Linpack Benchmark.
Software que resuelve un denso sistema lineal aleatorio, en una aritmética de doble precisión
64bits, en computadoras de memoria distribuida.
Rendimiento máximo alcanzado bajo prueba de Linpack.
Rendimiento teórico.
PROCESADOR
#C
VR (GHz)
#OpPf=[Número de Operaciones de Punto Flotante DP]
RT=(#C)*(VR)*(#OpPF)
Westmere
6
3.06
4
73.44 GF
Interlagos
16
2,2
4
140 GF
SandyBridge
8
2,6
8
166,4 GF
Top500
Tendencias: Arquitectura/Fabricantes
LAS
ARQUITECTURAS
DOMINANTES SON
CLÚSTER Y MPP.
IBM Y HP DOMINAN
EL MERCADO DE LAS
SUPERCOMPUTADORAS
Top500
Sistemas Operativos
Desde 2003 las supercomputadoras han incrementado el uso de Linux como S.O.
Top500
Las primeras 10 del mundo
TOP500 LIST – NOVIEMBRE 2012
Top500
Performance #1 vs #500 (TF)
TOP500 NOV-2011 (1 & 500)
15000
10510
10000
LA ENTRADA AL TOP 500 CERRÓ EN
50.94 EN NOVIEMBRE DEL 2011
5000
50.94
0
1
500
TOP500 – JUNE-2012 (1 & 500)
20000
LA ENTRADA AL TOP 500 CERRÓ EN
60.82 PARA JUNIO DEL 2011
15720
10000
60.82
0
(20% DE AUMENTO DEL ANTERIOR)
1
500
TOP500 NOV-2012 (1 & 500)
20000
17590
10000
LA ENTRADA AL TOP 500 CERRÓ EN
76.4 PARA NOVIEMBRE DEL 2012
76.4
0
(25% DE AUMENTO DEL ANTERIOR)
1
500
Supercómputo en México
¿Quién lo usa?
Supercómputo en México
Historico de México en el top500
México en el Top500
500
Telcel Radiomovil Dipsa
450
Gedas N.A. (VW)
Banco Internacional
UAM
IMP
400
UNAM
IMP
350
Pemex Gas
Geoscience (D)
Telcel Radiomovil Dipsa
UNAM
UNAM
300
UNAM
UNAM
250
Telcel Radiomovil Dipsa
Telcel Radiomovil Dipsa
UNAM
200
Pemex Gas
UAM
Geoscience (D)
UNAM
SAT/ISOSA
Telcel Radiomovil Dipsa
UNAM
150
Telcel Radiomovil Dipsa
UNAM
Geoscience (D)
100
Geoscience (D)
Geoscience (D)
50
México había figurado en el top500 cada año desde 1993 hasta el año 2009
"01/06/2009"
01/11/2008
01/06/2007
01/11/2006
01/11/2005
01/06/2005
01/11/2004
01/06/2004
01/11/2003
01/06/2003
01/11/2002
01/06/2002
01/11/2001
01/06/2001
01/11/2000
01/06/2000
01/11/1999
01/06/1999
01/11/1998
01/06/1998
01/11/1997
01/06/1997
01/06/1996
01/11/1995
01/06/1995
01/11/1994
01/06/1994
01/11/1993
01/06/1993
0
Supercomputo en México
México reaparece en el top500 NOV-2012
XIUHCOATL
CLUSTER HIBRIDO DE
SUPERCÓMPUTO “XIUHCOATL”
(Serpiente de Fuego)
Xiuhcoatl
Distribución
LFS
(OSS)
LFS
(OSS)
LFS
(MDS/OSS)
STORAGE
ABREVIATURA
SIGNIFICADO
N.C.G
GPU
N.M. N.L.
SW
InfiniBand
NET
N.C.A.
N.C.A.
N.C.I.
N.C.I.
N.C.I.
PROCESAMIENTO
ABREVIATURA
SIGNIFICADO
N.C.I.
NODO DE COMPUTO INTEL
N.C.A
NODO DE COMPUTO AMD
N.C.G
NODO DE COMPUTO GPGPU
LSF
LUSTRE FILE SYSTEM (INTEL)
N.M.
NODO MAESTRO (INTEL)
OSS
OBJECT STORAGE SERVER (INTEL)
N.L.
NODO DE LOGIN (INTEL)
MDS
META DATA SERVER (INTEL)
XIUHCOAT
Tecnologías
GNU (gcc, fortran)
COMPILADORES
Intel Clúster Studio XE 2012
Open64 ACML (AMD)
CUDA SDK 4.1.
SISTEMA OPERATIVO
Linux x86_64 CentOS ver. 6.2.
HARDWARE
SISTEMA DE
ALMACENAMIENTO
Sistemas de 40 TB y
20TB (Usables)
Basado en Lustre File System
Discos duros de 600GB, SAS
2.0 de 15000 RPM en RAID 6.
GPGPU
10 WS INTEL
• 120 Cores.
• 20 Tarjetas NVIDIA
(Fermi 2070/2075)
Capacidad de crecimiento
de 20 Tarjetas más.
COMUNICACIONES
Red Gigabit Ethernet
3480 Cores
(Administración shell).
Red Gigabit Ethernet
*AMD
(Administración de
Escritorio remoto).
(Interlagos 6274)
Red InfiniBand 40Gb/s
Capacidad de crecimiento de
hasta ~120TB.
CPU
(Full-non-Blocking)
(2304)
*INTEL
(Xeon® Processor X5675)
(1056)
XIUHCOATL
Laboratorio de visualización
FUNCIONES
El servicio se presta a los
investigadores que tengan la necesidad
de visualizar modelos, con la capacidad
de poder visualizar los con una
resolución de hasta 98.3Mpixeles.
XIUHCOATL
Capacidad de cómputo
XIUHCOATL
Oferta de Servicios
ACADEMICO
•
•
•
•
•
Cómputo en Paralelo
Administración
Seguridad
Soporte
Capacitación en
Supercómputo
GUBERNAMENTAL
• Hospedaje de
Aplicaciones.
• Almacenamiento de
Datos.
• Desarrollo de
Aplicaciones
• Capacitación Virtual.
• Cloud.
EMPRESARIAL
• Renta de Servidores
• Desarrollo de
Aplicaciones
• Capacitación Virtual.
• Cloud.
XIUHCOATL
”NO TODO SON COMPUTADORAS”
PROBLEMAS
USUARIOS
• Factibles de solución utilizando
supercómputo.
• Creación y/o utilización de Modelos
• Investigadores/usuarios con necesidad de
usar poder de computo intensivo.
APLICACIONES
•Compiladores.
•Librerías/Bibliotecas.
Aplicaciones escritas en para su uso en clúster
que resuelven ciertos problemas.
INFRAESTRUCTURA
DE SOPORTE
•
•
•
•
Suministro de Energía
Energía de Respaldo UPS
Disipación de calor
Redundancias
GRUPO DE TRABAJO
• Administradores de Clúster, Administradores
del Sistema
almacenamiento, Administradores de
seguridad, Desarrolladores de aplicaciones
paralelas… etc.
XIUHCOATL
Infraestructura del SITE en la CGSTIC
CONCEPTO
ÁREA DEL CENTRO DE DATOS (SITE, CUARTO DE UPS Y CENTRO DE OPERACIONES).
PLANTA DE EMERGENCIA ELÉCTRICA.
CAPACIDAD DE ENFRIAMIENTO Y HUMIDIFICACIÓN.
CAPACIDAD DE SUMINISTRO DE ENERGÍA REGULADA (UPS).
EQUIPOS DE AIRE ACONDICIONADO DE CONFORT (MINISPLIT) PARA CUARTOS DE UPS.
SISTEMA DE DETECCIÓN Y DE EXTINCIÓN DE INCENDIOS.
SISTEMA DE TIERRA FÍSICA.
PROTECCIÓN CONTRA DESCARGAS AMBIENTALES.
CGSTIC
140 m2
(250 + 200) KW
50 TR
(4 SISTEMAS)
286 KVA
(8 EQUIPOS)
3 TON
GAS FM-200
(10 SENSORES)
100 AMP
DIPOLO (50 M RADIO)
CIRCUITOS ELÉCTRICOS 120 VAC.
60
CIRCUITOS ELÉCTRICOS 220 VAC.
24
CUARTO DE CONTROL.
DISPLAY DE 4 PANTALLAS DE 24” PARA MONITOREO.
SWITCH ADMINISTRATIVO GIGA BIT ETHERNET EN CUARTO DE CONTROL.
22m2
1
48 PUERTOS
LANCAD
Objetivo General
El Laboratorio Nacional de cómputo de alto desempeño permite resolver
en primera instancia los problemas científicos más demandantes
mediante una GRID de capacidades excepcionales en la zona
metropolitana de la Ciudad de México conformada por las tres
instituciones académicas de mayor importancia en el cómputo científico
de alto desempeño.
LANCAD
Tendido de Red de FO dentro del Metro
DISTANCIAS Y EMPALMES
• DISTANCIAS SIN INTEGRAR LA ULTIMA MILLA
»
DISTANCIA
• UNAM – UAM-I
34,325m
• UNAM – CINVESTAV 27,544m
• CINVESTAV – UAM-I 31,588m
FUSION
MECANICO
21
20
20
2
1
2
• DISTANCIAS INTEGRANDO LA ULTIMA MILLA
»
DISTANCIA
• UNAM – UAM-I
39,325m
• UNAM – CINVESTAV 32,544m
• CINVESTAV – UAM-I 36,588m
Rack con empalme por fusión
Rack con empalme mecánico
FUSION
21
20
20
•
Fusión
Empalme por fusión
•
Mecánico
Empalme mecánico en patch panel
MECANICO
2
1
2
Longitud total de la red de fibra óptica 108.4 km
LANCAD
Equipo Activo (Red de FO)
LANCAD
Clúster académicos
NODO
ROBUSTO
CLÚSTER
TECNOLOGÍA
CORES CPU
CUDA CORES
•3480 (CPU)
[2304 (AMD)]
[1176 (INTEL) ]
•8960 (GPGPU-FERMI)
[20 Tarjetas]
PERFORMANCE
REAL (CPU)
PERFORMANCE TEÓRICO
24.97 TF
AMD (20.28 TF)
INTEL (13.08 TF)
GPU (10.3 TF)
Total 43.65TF
CINVESTAV
Xiuhcóatl
HIBRIDA
UAM
Aitzaloa
INTEL
2160 CPU
18.49 TF
25.44 TF
UNAM
Miztli
INTEL
5616CPU
92.3 TF
116.8TF
1 TERAFLOP = 1012 operaciones de punto flotante por segundo
LAS 3 INSTITUCIONES INTEGRANTES DEL PROYECTO LANCAD, CONFORMAN UNA GRID DE CÓMPUTO DE ALTO DESEMPEÑO, COMPARTIENDO
EN PRINCIPIO CADA INSTITUCIÓN 1000 CORES DE PROCESAMIENTO SOBRE UNA RED DE FIBRA ÓPTICA DE 10GB/S .
LANCAD
Nodo Cinvestav: Misión
“Ofrecer y desarrollar servicios de cómputo de alto
desempeño a las comunidades de usuarios de
Supercómputo del CINVESTAV, UNAM, UAM y en
general al sector empresarial y gobierno; con el fin
de impulsar el desarrollo científico, la formación de
recursos humanos especializados en cómputo de
alto desempeño, así como el desarrollo tecnológico
en la realización de proyectos de alto impacto
social y económico”.
XIUHCOATL
Contactos
Héctor Oliver
Administrador de la infraestructura de
Supercómputo en la CGSTIC.
[email protected]
Cluster Híbrido de Supercómputo
“XIUHCOATL”
http://clusterhibrido.cinvestav.mx/
CLUSTER HÍBRIDO DE
SUPERCÓMPUTO
“XIUHCOATL“