GuiaInstalacionCondor-G

Condor-G
Versión 1.0
26/5/2006
www.hexacta.com
Una Empresa CMM – Nivel 4
Historia de revisiones
Versión
1.0
Fecha
10/05/2006
Principales Cambios
Versión Inicial. Inés Frías
Página 1 de 10
Una Empresa CMM – Nivel 4
Indice
1
Introducción ......................................................................................................... 3
1.1
Propósito y alcance de este documento .............................................................. 3
1.2
Definiciones de términos y abreviaturas ............................................................. 3
1.3
Referencias ..................................................................................................... 3
2
Descripción de Condor-G ........................................................................................ 4
3
Instalación de Condor-G ........................................................................................ 4
3.1
Preparación .................................................................................................... 4
3.2
Configuración previa ........................................................................................ 6
3.3
Instalacion ...................................................................................................... 6
3.4
Configuración posterior .................................................................................... 6
3.4.1
Configuración de condor_config ................................................................... 6
3.4.2
Archivo utmp ............................................................................................. 7
3.5
Iniciando procesos de Condor............................................................................ 7
3.5.1
Para iniciar los demonios de Condor, ejecutar ................................................ 7
Página 2 de 10
Una Empresa CMM – Nivel 4
1
Introducción
1.1 Propósito y alcance de este documento
Este documento describe conceptos básicos del sistema Cóndor-G, cómo se relaciona con
Globus y cómo lo podemos incorporar como herramienta en nuestro proyecto Grid
Computing con el Laboratorio de Sistemas Complejos de la UBA.
1.2 Definiciones de términos y abreviaturas
Los siguientes términos y abreviaturas son utilizados en el presente documento:
Término o Abreviatura
Definición
1.3 Referencias
A continuación se detallan los documentos relacionados:
Documento
Descripción
Página 3 de 10
Una Empresa CMM – Nivel 4
2
Descripción de Condor-G
La habilidad de las comunidades de compartir recursos a través de grids se convirtió en una
importante faceta de la computación. Condor-G es la conjunción de tecnologías del proyecto Condor y
el proyecto Globus.
El sistema Condor-G se concentró en dos áreas diferentes:
1) seguridad y acceso a recursos en un ambiente multi-dominio, de la misma forma que Globus
Toolkit
2) administración de cómputos y recursos dentro de un único dominio administrativo, incorporado
dentro del sistema Cóndor.
Cóndor-G combina los protocolos de administración de recursos inter-dominio de Globus y los métodos
de administración de jobs intra-dominio de Cóndor para permitir al usuario manejar recursos multidominio como si pertenecieran a uno único.
Cóndor-G provee al grid de un poderoso administrador de tareas. Usado como front-end de un grid,
Cóndor-G puede administrar miles de jobs destinados a ejecutarse en sitios distribuídos. Provee de
monitoreo de jobs, logueo, notificación, refuerzo de políticas, tolerancia a fallas, administración de
credenciales y puede manejar interdependiencias de jobs complejas. Los comandos intuitivos y
flexibles de Condor-G son apropiados para ser usados directamente por usuarios finales, o para
interfaces de portales web.
3
Instalación de Condor-G
3.1 Preparación
i.
Condor-G viene incluído dentro de la instalación de Condor. El paquete puede
instalarse logueado como cualquier usuario, pero conviene hacerlo desde root por
cuestiones de seguridad y performance.
ii.
Asegurarse de que la máquina donde se instala Condor tenga una dirección IP local.
Para esto revisar que la variable NETWORK_INTERFACE=<dirección IP> esté bien
configurada.
iii.
Configuraremos a root como administrador de Condor, si bien se puede delegar esta
tarea a otro usuario configurando el archivo condor_config.root.
iv.
Crear un usuario Unix “condor” en la máquina administradora. Tenemos que asegurar
que tenga suficiente espacio, ya que archivos como ser logs se generan en el home
de este usuarios. Esta configuración facilita la administración de Condor.
v.
Existen tres subdirectorios únicos en cada máquina del pool. Estos son spool, log y
execute. Generalmente son subdirectorios de un directorio específico llamado
directorio local (especificado como LOCAL_DIR en el archivo de configuración). Los
tres deben pertenecer al usuario que ejecuta Condor. Como en nuestra configuración
el home del usuario condor es compartido por todas las máquinas del pool, vamos a
crear un directorio para cada host (con nombre del host) para el directorio local
(LOCAL_DIR=$(TILDE)/hosts/$(HOSTNAME))
Página 4 de 10
Una Empresa CMM – Nivel 4
execute. Este es el directorio de trabajo para cualquier job que corra en una
máquina. El binario para el job remoto es copiado a este directorio, Condor no
enviará un job a una máquina que no tenga suficiente espacio.
Si ocurre un dump core, primero lo tira en este directorio y luego lo devuelve a la
máquina origen.
spool. Este directorio mantiene la cola de jobs y archivos de historial, junto con los
archivos checkpoint (ejecutables para todos los clusters que se envían a ejecutar)
para todos los jobs enviados desde una máquina.
log. Este directorio es usado por los demonios de Condor para escribir sus propios
logs. Se puede especificar el tamaño hasta el cual pueden crecer antes de ser
rotados. Si existe un network filesystem, este directorio puede configurarse en un
directorio compartido. Si se quisiera tener esta configuración, debe especificarse
además una partición para el directorio lock.
vi.
Existen una serie de archivos de configuración que permiten distinto control sobre
Condor.
El archivo de configuración global es compartido por todas las máquinas del pool.
Este archivo debe ser colocado en un file system compartido de ser posible.
Además existe un archivo de configuración para cada máquina donde pueden
sobreescribirse configuraciones del archivo global.
Condor primero busca el archivo global en el siguiente orden:
1.- archivo especificado en la variable CONDOR_CONFIG (nota: si hay un error
leyendo esta variable, dará error y no se continuará buscando en los siguientes)
2.- /etc/condor/condor_config
3.- ~condor/condor_config
4.- $(GLOBUS_LOCATION)/etc/condor_config
Luego Condor busca el archivo de configuración local, que es especificado con la
macro LOCAL_CONFIG_FILE del archivo de configuración local.
Por último se buscan los archivos de configuración raíz en:
1.- /etc/condor/condor_config.root
2.- ~condor/condor_config.root
Los archivos de configuración raíz local son buscados según la macro
LOCAL_ROOT_CONFIG_FILE. Si no se encuentra, no se utiliza ningún archivo de
configuración raíz local.
vii.
Cada distribución binaria contiene un archivo release.tar con subdirectorios bin, etc,
lib y sbin. Estos archivos binarios son dependientes de la plataforma, asi que se debe
instalar release.tar separado para cada tipo de máquina en el pool.
viii.
Como Condor requiere mucho espacio de disco, es recomendable instalarlo en un file
system compartido.
Página 5 de 10
Una Empresa CMM – Nivel 4
3.2 Configuración previa
3.3 Instalacion
Descargar los binarios de Condor de http://www.cs.wisc.edu/condor/downloads/ .
Descomprimir el archivo a un directorio
tar –xzf archivoCondorBinario.tar.gz
Ir al directorio generado y ejecutar el comando condor_configure con los siguientes
parámetros:
condor_configure --install --install-dir=/path/to/install --local-dir=/home/condor --owner=condor
--type=submit,execute,manager [--central-manager=<host>]
Los parámetros que se especifican son los siguientes:
--install
Instalación que asume que el archivo release.tar está en el directorio.
--instal-dir
Especifica el directorio donde se va a instalar Condor
--local-dir
Especifica la dirección del directorio local, que generalmente contiene el archivo de
configuración local así como los demonios de Condor escriben información de la ejecución.
--owner
Es el usuario bajo el cual van a correr los demonios de Condor.
--type
Determina los roles que tenga la máquina en un pool. En general cualquier máquina puede
hacer submit y/o execute, y existe un administrador central por pool.
--central-manager
Para nodos no administradores, especifica cuál es el host administrador central.
Cuando finaliza la ejecución se debe configurar la variable
CONDOR_CONFIG=[/path/to/install]/etc/condor_config
antes de ejecutar cualquier comando/demonio Condor.
3.4 Configuración posterior
3.4.1 Configuración de condor_config
Se deben controlar las primeras dos secciones del archivo condor_config. En particular se
puede querer configurar la seguridad de Condor.
Página 6 de 10
Una Empresa CMM – Nivel 4
Se puede además configurar el monitoreo de la actividad del mouse y teclado, si se indica
dónde buscar. Esto se hace con la entrada CONSOLE_DEVICES en la sección condor_startd
del archivo de configuración. Por ejemplo, el dispositivo default para el mouse es ‘mouse’ en
Linux.
Configurar al menos la parte 1 de archivo condor_config (se adjunta la impresión del
archivo)
3.4.2 Archivo utmp
Condor necesita encontrar el archivo utmp, este archivo debería estar en /var/run/utmp, o
en /var/adm/utmp.
3.5 Iniciando procesos de Condor
3.5.1 Para iniciar los demonios de Condor, ejecutar
<directorio instalación>/sbin/condor_master
Este demonio tiene como única tarea asegurarse de que los otros demonios Condor estén
corriendo.
Si se está configurando un pool propio, se debe iniciar Condor en el host administrador
primero. Para asegurar que Condor se esté ejecutando, se puede correr
ps –ef | egrep condor_
En el administrador se debe ver

condor_ master

condor_ collector

condor_ negotiator

condor_ startd

condor_ schedd
en las otras máquinas del pool se debe ver

condor_ master

condor_ startd

condor_ schedd
Para ver el estado de cada máquina en el pool se puede ejecutar condor_status.
Página 7 de 10
Una Empresa CMM – Nivel 4
Cuando Condor esté ejecutándose correctamente se debe agregar condor_master en los
scripts de arranque (Ej /etc/rc)
Página 8 de 10
Una Empresa CMM – Nivel 4
Andrés Arguibel 2860
Capital Federal
(C1426DKB)
tel: 54+11+4779 6400
ARGENTINA
Av. Dr. Cardoso de Melo 1470 - 8
Vila Olimpia | São Paulo
CEP (04548-004)
tel: 55+11+3045 2193
BRASIL
Página 9 de 10
Una Empresa CMM – Nivel 4