Clusters de Alto Rendimiento - Coordinación General de
Anuncio
Clusters de Alto Rendimiento Contenido: M. en A. Iliana Gómez Zúñiga Diseño: Lic. Genaro Ramirez [email protected] [email protected] Expositor: L.S.I. Virgilio Cervantes Pérez [email protected] Porque Linux • • • • • • • • • 1991 Nace Linux 1993 Samba 1993 Nace Tux 1997 Surgió el Proyecto KDE y el Proyecto Gnome Linux en otras plataformas como la Power PC de Macintosh, la Amiga, los IBM S/390, IBM RS-6000, los MIPS de Silicon Graphis, los Motorola 6800. Soportar cada vez más dispositivos, sobre todo aquellos que suele tener la PC hogareña, como tarjetas de sonido, tarjetas de captura de video, Se le agregaron capacidades para redes que le permitían ponerse a la par de routers, switches, y servicios que habitualmente se asociaban a máquinas Unix muy costosas. Embebido en un microprocesador, como el de un Palm Pilot. IBM ya lo puso en un reloj. 2001 Escritorios completamente viables. Como han evolucionado las plataformas 2100 2100 2100 2100 2100 2100 2100 2100 ? 2100 R E N D I M I E N T O Clusters interplanetarios ?? Desktop SuperCom -putadoras Cluster Local Cluster/Grid Cluster/Grid Globales ¿Qué es un cluster? • Los Cluster en computación son un colección de computadoras interconectadas de alguna manera, que trabajan en conjunto, distribuyéndose las tareas entre ellas, logrando que el usuario lo vea como una sola. Otras definiciones de cluster • Un cluster consiste en un conjunto de máquinas y un servidor de cluster dedicado, para realizar los relativamente infrecuentes accesos a los recursos de otros procesos, se accede al servidor de cluster de cada grupo del libro Operating System Concepts de Silberschatz Galvin. ¿Cómo funciona un cluster? Requerimientos Básicos • Un cluster consta de por lo menos 2 o más nodos • Los nodos de un cluster están conectados entre sí por al menos un canal de comunicación • Los clusters necesitan software de control especializado Homogeneidad de un cluster • Homogéneos: formados por equipos de la misma arquitectura. Todos los nodos tienen una arquitectura y recursos similares, de manera que no existen muchas diferencias entre cada nodo. • Heterogéneos: formados por nodos con distinciones que pueden estar en los siguientes puntos. Tiempos de acceso distintos • Arquitectura distinta • Sistema operativo distinto • Rendimiento de los procesadores o recursos sobre una misma arquitectura distintos ¿Por qué construir un cluster? Cuando necesitamos que una aplicación o servicio disponga de : • Alta Disponibilidad (High Availability ) • Alta Confiabilidad (High Reliability ) • Alto Rendimiento (High Performance) Alta Disponibilidad (High Availability ) • • • • Sistemas de información redundante Sistemas tolerantes a fallos Balanceo de carga entre varios servidores Balanceo de conexiones entre varios servidores Alta Confiabilidad (High Reliability ) • Generalmente este tipo de clusters suele ser utilizado para entornos de tipo empresarial y esta funcionalidad solamente puede ser efectuada por hardware especializado. Alto Rendimiento (High Performance) • • • • • Cálculos matemáticos Renderizaciones de gráficos Compilación de programas Compresión de datos Descifrado de códigos ¿Con que construyo mi cluster? • Opción I: son construidos en su totalidad usando hardware y software común y utilizando tecnología estándar como SCSI, tarjetas de red Ethernet etc.(más económicos). • Opción II: construidos con hardware especial para lograr un mejor desempeño. (más caros). Requiere Software como.. • MPI • PVM • PBS Top500 • En la página de www.top500.org se publica dos veces por año la lista de las supercomputadoras más rápidas del mundo. Top500 Rank Site Computer / Processors Manufacturer Rmax BlueGene/L eServer Blue Gene Solution / 65536 IBM 136800 MareNostrum JS20 Cluster, PPC 970, 2.2 GHz, Myrinet / 4800 IBM 27910 US Army Research Laboratory (ARL) United States/2004 John Von Neumann LNX Cluster, Xeon 3.4 GHz, Myrinet / 2048 Linux Networx 8770 29 Institute of Physical and Chemical Res. (RIKEN) Japan/2004 RIKEN Super Combined Cluster / 2048 Fujitsu 8728 30 Pacific Northwest National Laboratory United States/2003 Mpp2 8633 Country/Year DOE/NNSA/LLNL United States/2005 Barcelona Supercomputer Center Spain/2005 1 5 28 Cluster Platform 6000 rx2600 Itanium2 1.5 GHz, Quadrics / 1936 Hewlett-Packard 34 Lawrence Livermore National Laboratory United States/2002 MCR Linux Cluster Xeon 2.4 GHz Quadrics / 2304 Linux Networx/Quadrics 7634 42 Lawrence Livermore National Laboratory United States/2003 xSeries Cluster Xeon 2.4 GHz Quadrics / 1920 IBM/Quadrics 6586 46 Grid Technology Research Center, AIST Japan/2004 AIST Super Cluster P-32 AIST Super Cluster P-32, Opteron 2.0 GHz, Myrinet / 2200 IBM 6155 75 DOE/Bettis Atomic Power Laboratory United States/2005 Atipa Cluster, Opteron, Myrinet / 1090 Atipa Technology 4035 Rpeak 183500 42144 13926 12534 11616 11060 9216 8800 5232 Estadisticas del 2002 • Un total de 55 clusters de PCs basados en Intel y ocho en AMD estaban presentes en el TOP500. • El número de clusters en el TOP500 creció a un total de 93 sistemas. Catorce de estos clusters se etiquetan como 'Auto construidos' al haber sido diseñados y ensamblados por los propios usuarios finales. Aplicaciones corriendo en clusters • • • • • • Simulaciones de biotecnología, Petroleras, Modelación de mercados financieros, Grandes cálculos matemáticos, Predicción del clima, Servidores de Internet. Ejemplos • Un negocio en Internet que recibe millones de peticiones por día, y tiene que asegurarse de que los servidores respondan rápidamente a las peticiones de los clientes (Rendimiento) • Asegurarnos de que nuestros servidores estén disponibles todo el tiempo aun cuando exista algún problema en alguno de ellos. (Disponibilidad) ¿Porque cluster con linux? • Costo – beneficio • Escalabilidad • Estabilidad Ejemplos de cluster con linux • ** La película Titanic hizo todas sus animaciones y efectos especiales con cluster basados en Linux. • ** El proyecto Genoma Humano fue realizado con cluster basados en Linux, y con software de código abierto. • ** En Japón donde hay un gran interés por predecir las tormentas acaban de construir uno de los supercomputadores más grandes del mundo utilizando clusters de Linux para cálculo numérico. Grid Vs. Cluster Distribución de Software: • • • • • • OpenMosix Scyld Oscar Rocks Atipa N1 Instalación de la distribución Rocks: VENTAJAS DE ROCKS • • • • Facil de Instalar Facil para construir Facil de administrar Facil de usar Características de ROCKS • RedHat Linux • Soporta las siguientes Procesadores: – AMD – Itanium Requerimientos minimos de Hardware Nodo Maestro: • Disk Capacity: 16 GB • Memory Capacity: 512 MB • Ethernet: 2 physical ports (e.g., "eth0" and "eth1") Nodo Esclavo: • Disk Capacity: 16 GB • Memory Capacity: 512 MB • Ethernet: 1 physical port (e.g., "eth0") Referencias • http://www.straddle3.net/context/ 02/02112 .es.html • http://www.top500.org • http://www.rockclusters.org • http://www.linuxvirtualserver.org
