Integración de herramientas
Anuncio
Tecnologías Grid Integración de herramientas grid Master en Sistemas y Servicios Informáticos para Internet Área de Arquitectura y Tecnología de Computadores Universidad de Oviedo Integración de herramientas Introducción Integración de herramientas Petición de recurso Grid Resultado Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo 3 Integración de herramientas Petición de recurso Resultado Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo 4 Integración de herramientas Grid computacional Integración de herramientas Ejemplo de grid computacional Trabajo Batch system (LRMS): PBS, LSF, Condor, … Trabajo Globus Globus Batch system Batch system Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo 6 Integración de herramientas Ventajas de usar Globus: Estándar ampliamente usado Seguro Puede comunicarse con sistemas batch Otras muchas… Desventajas: No proporciona una capa de nivel de aplicación No planifica trabajos (si con el GridWay) No hace matchmaking (trabajo – máquina) Hace una gestión de los trabajos limitada Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo 7 Integración de herramientas Condor-G Trabajo Condor-G Globus Globus Batch system Batch system Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo 8 Integración de herramientas Condor-G: Universo Grid (antiguamente era sólo universo Globus) Permite Interoperar con Globus y con otros sistemas Proporciona soporte para workflow (DAG) Se siguen utilizando condor_submit, condor_q, etc El trabajo se comporta como un trabajo Condor normal Executable = programa Universe = grid grid_resource = gt2 servidor.uniovi.es/jobmanager Input = entrada.txt Output = salida.txt Error = errores.txt Log = log.txt Queue trabajo.sub Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo 9 Integración de herramientas Matchmaking en el universo grid: En el caso más sencillo: El fichero de descripción del trabajo indica donde se quiere ejecutar el trabajo ... Universe = grid grid_resource = gt2 servidor.uniovi.es/jobmanager ... trabajo.sub ¿Donde? Terminología Condor: Grid site Terminología EGEE: Computing Element (CE) Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo 10 Integración de herramientas Matchmaking en el universo grid: Cuando hay varios grid sites disponibles: Condor hace matchmaking del trabajo con los grid sites ... Universe = grid grid_resource = $$(resource_name) requirements = TARGET.resource_name =!= UNDEFINED ... grid_resource trabajo.sub se define como una macro de sustitución $$(resource_name) se sustituirá por la url del grid site una vez que se haga el matchmaking Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo 11 Integración de herramientas Matchmaking en el universo grid: Cuando Los hay varios grid sites disponibles: grid sites se tienen que anunciar MyType = "Machine" TargetType = "Job" Name = "servidor" Machine = "servidor" resource_name = "gt2 servidor.uniovi.es/jobmanager-pbs" UpdateSequenceNumber = 4 Requirements = (TARGET.JobUniverse == 9) Rank = 0.000000 CurrentRank = 0.000000 ad-file Los grid sites se tienen que anunciar de forma periódica $ condor_advertise UPDATE_STARTD_AD ad-file Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo 12 Integración de herramientas Un posible escenario Trabajo Condor a varios niveles Condor-G Globus Globus Condor Condor Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo 13 Integración de herramientas Máquina central gestora Trabajo Schedd Negotiator ClassAd del trabajo Collector ClassAd de las máquinas GridManager Globus GRAM/RFT Globus GRAM/RFT GT4_GAHP Condor Condor Máquina de envío Cluster Cluster Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo 14 Integración de herramientas Otro escenario Trabajo A esto se lo denomina Condor-C Condor-G Globus Gilda PBS Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo Condor 15 Integración de herramientas Otro más Trabajo Otras posibilidades: UNICORE, ARC, gLite CREAM Condor-G Globus CERN LSF Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo Amazon EC2 16 Integración de herramientas ATCGrid Trabajo Condor-G Globus Globus tecgrid04 Condor ClassAd m3n1 ClassAd Condor m3n2 tecgrid03 m3n2 Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo tecgrid01 m1n2 m1n3 17 Integración de herramientas ATCGrid Switch mesa 1 m1n0: 192.168.1.100 tecgrid01.epv.uniovi.es: 156.35.171.90 m1n2: 192.168.1.102 Pentium® 4 2.40 GHz 768 MB de RAM m1n3: 192.168.1.103 Internet Switch mesa 3 m3n0: 192.168.3.100 tecgrid03.epv.uniovi.es: 156.35.171.92 m3n1: 192.168.3.101 m3n2: 192.168.3.102 Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo Pentium® 4 2.40 GHz 512 MB de RAM m3n3: 192.168.3.103 18 Integración de herramientas Grid de datos Integración de herramientas Globus RLS: Proporciona Globus GridFTP: Proporciona la gestión de réplicas la transferencia SRM (Bestman): Proporcional un interfaz a los recursos de almacenamiento Hadoop (HDFS): Proporciona almacenamiento distribuido tolerante a fallos Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo 20 Integración de herramientas ATCGrid RLS RLS Bestman GridFTP Hadoop m3n1 Bestman Hadoop m3n2 tecgrid03 m3n2 Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo tecgrid01 m1n2 m1n3 21 Integración de herramientas Integración de RLS y SRM EL SURL se puede utilizar como PFN 1. 2. 3. 4. 5. Se pregunta al servidor RLS por un fichero utilizando el LFN Responde con el SURL Se pregunta al servidor SRM por el fichero utilizando el SURL Responde con el TURL Se realiza la transferencia Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo RLS ¿LFN? SURL ¿SURL? Bestman TURL GridFTP Hadoop 22 Integración de herramientas ATCGrid: configuración atcgrid/conf/atc-pfn srm://tecgrid01.epv.uniovi.es/hdfs srm://tecgrid03.epv.uniovi.es/hdfs atcgrid/conf/atc-lrc rls://tecgrid01.epv.uniovi.es rls://tecgrid03.epv.uniovi.es atcgrid/conf/atc-rli rls://tecgrid01.epv.uniovi.es rls://tecgrid03.epv.uniovi.es Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo 23 Integración de herramientas ATCGrid: relaciones entre nombres de ficheros: SURL1 TURL1 SURL2 TURL2 SURL3 TURL3 SURL4 TURL4 LFN1 LFN2 Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo 24 Integración de herramientas ATCGrid: relaciones entre nombres de ficheros: Mesa1 SURL1 TURL1 SURL2 TURL2 SURL3 TURL3 SURL4 TURL4 LFN1 LFN2 Mesa3 Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo 25 Integración de herramientas ATCGrid: relaciones entre RLI y LRC: rls://tecgrid01 rls://tecgrid03 RLI RLI file → rls://tecgrid01.epv.uniovi.es file → rls://tecgrid01.epv.uniovi.es file → rls://tecgrid03.epv.uniovi.es file → rls://tecgrid03.epv.uniovi.es LRC LRC file → srm://tecgrid01.epv.uniovi.es//hdfs/file file → srm://tecgrid01.epv.uniovi.es//hdfs/file file → srm://tecgrid03.epv.uniovi.es//hdfs/file file→ srm://tecgrid03.epv.uniovi.es//hdfs/file Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo 26 Integración de herramientas ATCGridTools: Transferir un fichero local al grid y registrarlo $ atc_cr nombre_de_fichero Transferir un fichero desde el grid $ atc_cp nombre_de_fichero Enviar un trabajo al grid: $ atc_submit trabajo.sub Área de Arquitectura y Tecnología de Computadores Departamento de Informática de la Universidad de Oviedo 27
