General Parallel File System

General Parallel File System
General Parallel File System (GPFS)
Ing. Luis Márquez. Centro Nacional de Calculo Científico de La Universidad de Los Andes, Mérida - Venezuela
Introducción
GPFS fue desarrollado por IBM, es un sistema
que permite a los usuarios compartir el acceso
a datos que están dispersos en múltiples nodos;
permite interacción a través de las interfaces
estándar de UNIX.
General Parallel File System (GPFS)
Ing. Luis Márquez. Centro Nacional de Calculo Científico de La Universidad de Los Andes, Mérida - Venezuela
La fortaleza de GPFS
• Mejora el Rendimiento del Sistema.
•Asegura la consistencia de los datos.
•Alta recuperabilidad y disponibilidad de los datos.
•Alta flexibilidad del sistema.
•Administración simplificada
General Parallel File System (GPFS)
Ing. Luis Márquez. Centro Nacional de Calculo Científico de La Universidad de Los Andes, Mérida - Venezuela
Mejora el Rendimiento del Sistema
•Permitiendo que múltiple procesos o aplicaciones accedan
simultáneamente a los datos desde todos los nodos utilizando
llamadas estándar del sistema.
•Incrementado el ancho de banda de cada uno de los nodos
que interviene en el sistema GPFS.
•Balanceando la carga uniformemente en todos los nodos del
sistema GPFS. Un disco no puede tener mas actividad que
otro.
•Soportando datos de gran tamaño.
•Permitiendo lecturas y escrituras concurrentes desde
cualquier nodo del sistema GPFS
General Parallel File System (GPFS)
Ing. Luis Márquez. Centro Nacional de Calculo Científico de La Universidad de Los Andes, Mérida - Venezuela
Asegura la consistencia de los datos
•GPFS utiliza un sofisticado sistema de administración que
provee la consistencia de los datos mientras permite múltiple e
independientes rutas para archivos con el mismo nombre,
desde cualquier lugar del cluster. Cuando los nodos están
inalcanzables o la carga del mismo es muy alta el GPFS puede
encontrar una ruta alternativa para el sistema de archivos de
datos.
General Parallel File System (GPFS)
Ing. Luis Márquez. Centro Nacional de Calculo Científico de La Universidad de Los Andes, Mérida - Venezuela
Alta recuperabilidad y disponibilidad de
los datos.
•El GPFS crea registros “logs” separados para cada uno de los
nodos que interviene en el sistema.
•GPFS permite que se organice el “hardware” dentro de un numero
de grupo de falla.
•La característica de replicación de GPFS permite que tu determines
cuantas copias de los archivos mantener.
•Una vez que el sistema de archivo es creado tu puedes tener este
automáticamente montado siempre que el demonio de GPFS se este
ejecutando, las características del automount aseguran esto, siempre
y cuando el sistema y los discos estén arriba.
General Parallel File System (GPFS)
Ing. Luis Márquez. Centro Nacional de Calculo Científico de La Universidad de Los Andes, Mérida - Venezuela
Alta flexibilidad del sistema
•Con el sistema GPFS tus recursos no se encuentran congelados, tu
podrás añadir o quitar discos al sistema mientras este esté montado.
Cuando la demanda es muy baja tu puedes reconfigurar la cargar del
sistema a través de todos los discos configurados. También se puede
agregar nuevos nodos sin que el sistema sea detenido y puesta en
marcha nuevamente.
General Parallel File System (GPFS)
Ing. Luis Márquez. Centro Nacional de Calculo Científico de La Universidad de Los Andes, Mérida - Venezuela
Administración simplificada
Los comandos de GPFS guardan la configuración en mas
de un archivo, conocido colectivamente como “cluster de datos”.
Los comandos de GPFS están diseñados para sincronizar los datos
en cada uno de los nodos del sistema. De tal modo se asegura una
exacta configuración de los datos.
Los comando de administración de GPFS son similar en
nombre en nombre y función a los comandos de sistemas de
archivos de UNIX con una importante diferencia. Los comandos
GPFS operan en múltiples nodos. La ejecución de un comando se
puede hacer desde cualquier nodo que este corriendo GPFS.
General Parallel File System (GPFS)
Ing. Luis Márquez. Centro Nacional de Calculo Científico de La Universidad de Los Andes, Mérida - Venezuela
Estructura básica del GPFS
General Parallel File System (GPFS)
Ing. Luis Márquez. Centro Nacional de Calculo Científico de La Universidad de Los Andes, Mérida - Venezuela
GPFS es un cluster definido sobre un número de nodos. Se
define dependiendo del entorno del sistema operativo. GPFS
implemente distintos tipos de Cluster.
•Cluster SP: Se basa en la tecnología IBM Parallel System Suport
Programs y el concepto de compartir discos de IBM Virtual
Shared Disk Program.
•Cluster RPD ó HACMP: Se basa en los cluster con la tecnología
“Reliable Scalable Cluster Tecnology” (RPD). Un cluster GPFS
HACMPN se basa en la tecnología “High Availability Cluster
Multi-Processing”
•Cluster LC: se basan sobre los cluster con sistema operativo
Linux
General Parallel File System (GPFS)
Ing. Luis Márquez. Centro Nacional de Calculo Científico de La Universidad de Los Andes, Mérida - Venezuela
Cada nodo del Cluster GPFS consta de:
•Comandos de Administración.
•Extensiones del Kernell.
•Un demonio Multi Hilo.
•Capa portable de código abierto.
General Parallel File System (GPFS)
Ing. Luis Márquez. Centro Nacional de Calculo Científico de La Universidad de Los Andes, Mérida - Venezuela
Extensiones del Kernel
La extensión del kernell provee una interfaz entre el sistema
operativo y el Sistema GPFS, lo que facilita la manipulación de los
datos en un entorno GPFS, ya que, con los comandos del sistema
operativos se puede realizar cualquier operación sobre el sistema
GPFS. Como por ejemplo: para copiar un archivo solo se necesita
ejecutar la sintaxis
cp archivo.txt prueba.txt
General Parallel File System (GPFS)
Ing. Luis Márquez. Centro Nacional de Calculo Científico de La Universidad de Los Andes, Mérida - Venezuela
Demonios del GPFS
Los demonios del GPFS se ejecutan en todos los nodos I/O y un
administrador de “Buffer” para GPFS.
Todos los I/O están protegidos por un administrador de “Token”,
donde asegura que el sistema de archivos en múltiples nodos
cumpla con la atomicidad y provee la consistencia de datos de
los sistemas de archivos.
Los demonios son procesos multi-hilos con algunos hilos
dedicados a procesos específicos. Esto asegura que el servicio no
se vea interrumpido por que otro hilo este ocupado con una
rutina de red
General Parallel File System (GPFS)
Ing. Luis Márquez. Centro Nacional de Calculo Científico de La Universidad de Los Andes, Mérida - Venezuela
Las funciones especificas que ejecuta un
demonio son:
Asignación de espacio en disco para nuevos archivos.
Administración de directorios.
Asignación de bloqueo para la protección de la integridad
los datos y los meta datos.
Los servidores de discos son iniciados con un hilo del
demonio.
La seguridad y las cotas son también manejados por el
demonio en conjunto con el administrador de los sistemas de
archivos.
General Parallel File System (GPFS)
Ing. Luis Márquez. Centro Nacional de Calculo Científico de La Universidad de Los Andes, Mérida - Venezuela
Planificación del un cluster GPFS
1. Consideración de Hardware.
Se debe considerar todo el hardware que compone el cluster
GPFS,como es el caso tecnología de almacenamiento,
tecnología de red.
2. Especificaciones de programación.
Se refiere a los tipos de programas que interactúan con el
sistema.
General Parallel File System (GPFS)
Ing. Luis Márquez. Centro Nacional de Calculo Científico de La Universidad de Los Andes, Mérida - Venezuela
3. Consideración de la Recuperabilidad.
Se refiere al número de grupos de fallas, además de los
parámetros
de replicación de los datos y de los meta datos. Adicionalmente
GPFS provee varias capas de protección como son:
.Fallas de los nodos
-Previsto por la creación de los grupos de fallas
.Fallas en el servidor y discos
-Previsto por la replicación de los datos
.Tomando una decisión.
-Todo tiene un costo.
General Parallel File System (GPFS)
Ing. Luis Márquez. Centro Nacional de Calculo Científico de La Universidad de Los Andes, Mérida - Venezuela
4. Consideración de la red compartida de discos.
GPFS soporta dos tipos de configuración de disco como son:
-Los discos están físicamente en cada nodo integrante del
sistema GPFS.
-Los discos estan físicamente integrados a un solo nodo.
5. Consideración de la creación del cluster GPFS.
Se refiere al tipo de cluster que será instalado
General Parallel File System (GPFS)
Ing. Luis Márquez. Centro Nacional de Calculo Científico de La Universidad de Los Andes, Mérida - Venezuela
6. Consideración de la configuración de los nodos.
Se refiere al papel que desempeñara dentro del cluster
GPFS.
7. Consideración de la creación del sistema de archivos.
Se refiere a las características del sistema de archivos,
como por ejemplo montaje automático, tamaño del bloque,
máximo número de archivos, cota, etc.
General Parallel File System (GPFS)
Ing. Luis Márquez. Centro Nacional de Calculo Científico de La Universidad de Los Andes, Mérida - Venezuela
General Parallel File System (GPFS)
Ing. Luis Márquez. Centro Nacional de Calculo Científico de La Universidad de Los Andes, Mérida - Venezuela