Administración UNIX: Almacenamiento de datos
Anuncio
Administración UNIX: Almacenamiento de datos Juan Hernando [email protected] Septiembre 2013 [email protected] Administración UNIX: Almacenamiento de datos 1/1 Almacenamiento de datos • En UNIX la información puede estar almacenada en uno o más dispositivos. • Estos dispositivos se montan de manera ordenada para formar un árbol de directorios único. • En el árbol de directorios se pueden combinar dispositivos de distinto tipo (discos duros, DVDs, discos virtuales...) y con distinta organización interna (sistema de ficheros). • Algunos dispositivos se pueden además dividir en particiones para gestionar mejor su espacio. • Los dispositivos se pueden combinar mediante mecanismos hardware o software para crear entidades mas sofisticadas (RAID, volúmenes lógicos...). [email protected] Administración UNIX: Almacenamiento de datos 2/1 Tipos de dispositivos En UNIX se definen dos tipos de dispositivos: • Dispositivos de tipo bloque (discos). • Dispositivos de tipo carácter (cintas). En ciertos UNIX el mismo dispositivo puede ser gestionado en modo bloque y modo carácter. • En modo bloque: montaje y uso. • En modo carácter: Acceso en crudo (raw mode) para operaciones de recuperación. [email protected] Administración UNIX: Almacenamiento de datos 3/1 Gestión de dispositivos 1 Dar formato al soporte • Separación fı́sica entre sectores, pistas, etc • Operación de muy bajo nivel • Casi nunca necesario (en discos viene de fábrica) 2 Particionado • División del disco en zonas asignables a diferentes sistemas de ficheros • Operación de alto nivel de reparto del disco • Solo para discos o similares (no CDs o DVDs) 3 Creación del sistema de ficheros • Creación de las estructuras lógicas de un formato especifico de organización de datos (SF) • Realizado sobre particiones (discos duros) o sobre dispositivos enteros (CDs/DVDs) 4 Montaje y uso del soporte [email protected] Administración UNIX: Almacenamiento de datos 4/1 Dispositivos y particiones En el directorio /dev se encuentra los ficheros especiales para manejar los diferentes dispositivos de almacenamiento • Discos duros: hda, hdb, sda, sdb... • Disco ópticos: sr0, sr1... • Otros dispositivos: fd0... Las particiones permiten organizar el espacio de los discos, dividiéndolo en zonas separadas. UNIX presenta un fichero distinto en /dev para cada partición. • Para el disco /dev/sda las particiones serı́an sda1, sda2... En Linux, los discos también pueden identificarse por su UUID a través de /dev/disk/by-uuid. [email protected] Administración UNIX: Almacenamiento de datos 5/1 Dispositivos y particiones • Una partición es una subdivisión fı́sica de la superficie de un disco duro • Dentro de una partición se puede crear un sistema de ficheros • Normalmente para poder almacenar información ordenada (sistema de ficheros), un disco duro debe tener al menos una partición • El espacio no particionado solo podrá ser accedido “en crudo” (raw mode) [email protected] Administración UNIX: Almacenamiento de datos 6/1 Dispositivos y particiones La información relativa a las particiones se guarda en una tabla (tabla de particiones) al comienzo del disco (hay un espacio reservado para ello) • Indica donde comienza y termina cada partición • Incluye información adicional como el sistema de ficheros o el punto de montaje Herramienta de gestión de la tabla de particiones Depende del SO en concreto (no está en el estándar SUS) • Linux: fdisk, cfdisk, gparted para particiones MBR gdisk, sgdisk, cgdisk para particiones GPT. • Solaris: format • AIX: smit [email protected] Administración UNIX: Almacenamiento de datos 7/1 Sistemas de ficheros El sistema de ficheros organiza la información almacenada en un dispositivo en ficheros y directorios, almacenando permisos y otras propiedades • Sistemas tradicionales (la mayorı́a obsoletos): • Almacenan datos y metadatos • Gestionan el espacio libre de la manera mas eficiente posible • ext2, ufs, hfs, FAT32... • Sistemas transaccionales: • Extienden los SF tradicionales añadiendo logs de operaciones y/o semántica transaccional • Mayor tolerancia a errores y menor tiempo de recuperación • ext3, ext4, ntfs, hfs+... [email protected] Administración UNIX: Almacenamiento de datos 8/1 Sistemas de ficheros Creación del SF El proceso depende del SF escogido, pero en general UNIX incluye herramientas para llevarlo a cabo. • Linux: mkfs.* (mkfs.ext4, mkfs.vfat...) • Solaris: newfs Mantenimiento del SF • El uso puede general errores en el sistema de ficheros, que hay que detectar y corregir • UNIX incluye herramientas que ayudan en esta taréa (fsck en Linux) • Es importante realizar comprobaciones periódicas para evitar errores catastróficos [email protected] Administración UNIX: Almacenamiento de datos 9/1 Montaje • Para poder acceder a los datos dentro del SF de una partición es necesario montarla • El SF se muestra al SO residente con su contenido dentro de un directorio concreto: punto de montaje • En la mayorı́a de UNIX se usa el mandato mount mount [-fnrsvw] [-t vfstype] [-o options] device dir Ejemplo: mount -t ext3 /dev/sdb1 /mnt Para desmontar se emplea umount • El proceso de montaje permite construir el árbol de directorios del sistema • FUSE (el Linux) permite montar sistemas de ficheros en espacio de usuario. Ejemplo: fuseiso imagen.iso /mnt fusermount -u /mnt [email protected] Administración UNIX: Almacenamiento de datos 10/1 Montaje automático • El sistema de ficheros raı́z se monta al arranque • Dependiendo del UNIX, existen determinados ficheros de configuración que contienen tablas de montaje: • Linux: /etc/fstab • Solaris: /etc/ufstab • AIX: /etc/filesystems Estos ficheros indican el dispositivo o partición, punto de montaje, SF, opciones, etc. [email protected] Administración UNIX: Almacenamiento de datos 11/1 Estrategias de organización Es recomendable repartir el árbol de directorios en diferentes SSFF para evitar que los posibles fallos afecten al sistema entero • / (SF raiz): De tamaño justo. Que sirva como base para los demás (“perchero”) • /usr: Tamaño justo, ya que se puede conocer de antemano (aplicaciones del fabricante/distro) • /home: Lo mas grande posible • /usr/local - /opt: Depende de las necesidades adicionales del sistema. En general de gran tamaño • /var: Depende de las polı́ticas de administración y la configuración de las aplicaciones • swap y /tmp: Depende de la carga [email protected] Administración UNIX: Almacenamiento de datos 12/1 Estrategias de organización Es recomendable: • Mantener las cuentas de usuario en un disco diferente al de sistema • Separar los SSFF de mayor acceso en diferentes discos (swap y sistema) • Ubicar las particiones de manera que sea posible redistribuir los discos • Colocar prescindibles (swap, /tmp) entre las que pueden necesitar crecimiento (/home, /usr/local) • Vigilar el porcentaje de disco libre [email protected] Administración UNIX: Almacenamiento de datos 13/1 Cuotas de disco Asocian a cada usuario/grupo un lı́mite de espacio en disco. Las cuotas limitan: • Número máximo de archivos (i-nodos) • Numero máximo de bloques Dos lı́mites: • Soft: informativo • Hard: restrictivo Los lı́mites se aplican a cada sistema de ficheros y se comprueban al arranque y cuando se hace login En Linux: herramienta quota [email protected] Administración UNIX: Almacenamiento de datos 14/1 Backup • Backup: Copia de seguridad de determinados datos de un sistema • Esquemas de backup: • Backups completos: Se copia toda la información • Backups incrementales: Solo los ficheros modificados son copiados • Habitualmente se combinan los dos esquemas Ejemplo: • Cada dı́a se realiza un backup incremental • Una vez a la semana se almacena un backup completo • Normalmente se almacena más de un backup simultáneamente, permitiendo hacer rollback a diferentes momentos del pasado [email protected] Administración UNIX: Almacenamiento de datos 15/1 Decisiones de backup Una estrategia de backup debe incluir: • Estimación del volumen de datos: • Tamaño original de los datos que copiar • Estimación del ratio de compresión • Selección de los ciclos de backup: • Cuándo se realizan y de qué tipo son (completo/incremental) • Automatización (cliente/servidor): • Programación de los backups • Verificación del sistema. Herramientas de backup: rsync, Amanda, KDat, Tivoli.... [email protected] Administración UNIX: Almacenamiento de datos 16/1 Backup sencillo con rsync rsync Herramienta para la copia de datos local y remota • No es una solución de backup en si misma, pero se puede utilizar para crear un backup sencillo • Copia solo diferencias entre los datos de origen y destino, lo que agiliza el proceso • Detecta y propaga cambios en propietario, grupo, permisos y otras propiedades de los archivos • Respeta enlaces simbólicos • Permite definir patrones complejos de inclusión y exclusión de ficheros man rsync para lista completa de opciones [email protected] Administración UNIX: Almacenamiento de datos 17/1 Backup sencillo con rsync Ejemplo Realizar un backup a un servidor remoto • Directorio origen: /home • Servidor destino: server.org • Directorio destino: /backups Mandato para realizar la copia: rsync --recursive /home server.org:/backups/ ¿Como hacer que se ejecute todos los dı́as a las 4 de la madrugada? Regla en /etc/crontab: 0 4 * * * rsync --recursive /home ... [email protected] Administración UNIX: Almacenamiento de datos 18/1 Dispositivos redundantes Dispositivos RAID: • Dispositivo virtual compuesto por varios dispositivos fı́sicos reales agrupados • Proporciona redundancia y mejores prestaciones • Invisible para el SF por encima / /bin /etc / /usr /usr /var /var RAID sd01 /bin /etc sd02 sd03 [email protected] ≈ md1 Administración UNIX: Almacenamiento de datos 19/1 Tecnologı́a RAID Redundant Array of Independent Disks • • • • • 0 4 ... 0 1 ... 0 3 ... 0 1 5 ... 0 1 ... 1 4 ... 1 3 ... 2 6 ... 0 1 ... 2 5 ... 2 4 ... 3 7 ... 0 1 ... ... 5 ... 3-5 Tipos: ... Lineal: Concatenación RAID 0: Modo alternado RAID 1: Discos espejos RAID 4: Disco de paridad RAID 5: Bloques de paridad 0-2 [email protected] RAID 0 (Stripe) 3-5 0-2 Puede haber discos de sobra (spare disks), que sirven de reserva RAID 1 RAID 4 RAID 5 (Mirroring) (Parity disk)(Parity blocks) Administración UNIX: Almacenamiento de datos 20/1 Tecnologı́a RAID RAID hardware • Proporcionado por la controladora de disco u otro dispositivo especı́fico (controladora RAID) • Transparente al SO: Lo ve como si fuese un disco normal • Máxima eficiencia, pero requiere hardware adicional RAID software • Proporcionado por un servicio del SO • El SO puede acceder de forma separada a los diferentes componentes del RAID • Menor eficiencia, pero no requiere hardware adicional • En Linux: herramienta mdadm [email protected] Administración UNIX: Almacenamiento de datos 21/1 mdadm (Linux Software RAID) Herrmienta común en GNU/Linux para la creación de RAID software. Permite: • Crear RAIDs (0, 1, 5 etc...) • Reconstruir RAIDs a partir de sus discos • Monitorizar RAIDs creados • Gestionar errores en RAIDs (reemplazar discos, etc.) La página del manual de mdadm muestra todas sus opciones Los RAIDs de mdadm se manejan con ficheros especiales que comienzan por md (/dev/md0, /dev/md1, etc) El estado de los RAIDs existentes se muestra en /proc/mdstat La configuración se guarda en /etc/mdadm/mdadm.conf [email protected] Administración UNIX: Almacenamiento de datos 22/1 mdadm - Ejemplos Crear un RAID 5 mdadm --create --level=5 --raid-devices=4 /dev/md0 /dev/sdb /dev/sdc /dev/sdd /dev/sde Obtener información del RAID /dev/md0 mdadm --detail /dev/md0 Salvar la configuración del RAID /dev/md0 mdadm --detail /dev/md0 --brief >> /etc/mdadm/mdadm.conf Extraer un disco defectuoso del RAID /dev/md0 mdadm --manage --remove /dev/md0 /dev/sdd Agregar un nuevo disco al RAID /dev/md0 mdadm --manage --add /dev/md0 /dev/sdd [email protected] Administración UNIX: Almacenamiento de datos 23/1 mdadm - Ejemplos Redimensionar un RAID Sólo posible si las particiones fı́sicas pueden redimensionarse o si se reemplazan los dispositivos fı́sicos 1 Redimensionar cada partición que forma parte del RAID: • Desconectar la partición del RAID: mdadm /dev/md0 --fail /dev/sdaX --remove /dev/sdaX • Redimensionar la partición o reemplazar el dispositivo. • Añadir de nuevo al RAID y esperar a que la sincronización termine. mdadm --add /dev/md0 /dev/sdaX 2 Redimensionar el dispositivo virtual: mdadm --grow /dev/md0 -z max 3 Finalizada la sincronización, redimensionar el sistema de ficheros. Ej: resize2fs /dev/md0 [email protected] Administración UNIX: Almacenamiento de datos 24/1 Volúmenes lógicos Mecanismo para gestionar el espacio de forma dinámica / /bin /etc /usr • Redimiensionar particiones /var • Utilizar varios dispositivos como soporte LV1 LVM Proporcionado por: • LVM (Linux, AIX) • Veritas VM (HP-UX) LV2 sd01 sd02 sd03 • Sun Volume Manager [email protected] Administración UNIX: Almacenamiento de datos 25/1 lvm (LVM TOOLS 2.0) Es el gestor de volúmenes lógicos mas común en GNU/Linux. Sus tres eleméntos básicos son: / /etc /usr /var • Volúmenes fı́sicos (discos o particiones) • Grupos de volúmenes LV1 [email protected] LV2 LVM • Volúmenes lógicos lvm incluye un conjunto de herramientas para gestionar todos éstos /bin sd01 sd02 sd03 Administración UNIX: Almacenamiento de datos 26/1 lvm (LVM TOOLS 2.0) ¿Como crear volúmenes lógicos con lvm? 1 Inicializar los volúmenes fı́sicos que se vayan a usar 2 Crear un grupo de volúmenes 3 Crear Uno o mas volúmenes lógicos dentro del grupo 4 Crear el sistema de ficheros dentro de cada volumen lógico Al finalizar, cada volúmen lógico se puede montar como una partición Posteriormente se podrán agregar nuevos volúmenes fisicos al grupo, cambiar el tamaño de los volúmenes lógicos, etc. [email protected] Administración UNIX: Almacenamiento de datos 27/1 lvm (LVM TOOLS 2.0) Gestión de volúmenes fı́sicos Gestión de volúmenes lógicos • pvcreate • lvcreate • pvremove • lvremove • pvdisplay • lvdisplay Gestión de grupos volúmenes fı́sicos • lvextend • lvreduce • vgremove man lvm para ver el listado completo • vgdisplay Otras herramientas útiles • vgcreate • vgscan • resize2fs [email protected] Administración UNIX: Almacenamiento de datos 28/1 lvm - Ejemplo Tenemos tres particiones de 50GB (sdb1, sdc1 y sdd1) y queremos crear dos volúmnes lógicos de 60GB y uno de 10GB Inicializamos los volúmnes fı́sicos pvcreate /dev/sdb1 /dev/sdc1 /dev/sdd1 Creamos un grupo (llamado dataserver) vgcreate dataserver /dev/sdb1 /dev/sdc1 /dev/sdd1 Creamos los tres volúmenes lógicos lvcreate --name data1 --size 60G dataserver lvcreate --name data2 --size 60G dataserver lvcreate --name data3 --size 10G dataserver [email protected] Administración UNIX: Almacenamiento de datos 29/1 lvm - Ejemplo (continuación) Ahora podemos acceder a los volúmnes lógicos como si fuesen particiones de disco. Sus ficheros especiales son /dev/dataserver/data1, /dev/dataserver/data2, etc. Ampliar su tamaño lvextend -L15G /dev/dataserver/data3 Reducir su tamaño lvreduce -L40G /dev/dataserver/data1 Crear un sistema de ficheros mkfs.ext4 /dev/dataserver/data2 Montar el volúmen en el árbol de directorios mount /dev/dataserver/data2 /mnt [email protected] Administración UNIX: Almacenamiento de datos 30/1 RAIDs y volúmenes lógicos ¿Tiene sentido construir uno o mas volúmenes lógicos sobre un dispositivo RAID? Depende del contexto • Pros: Ventajas de tolerancia a fallos del RAID • Contras: Posible pérdida de rendimiento (sobre todo si RAID software) ¿Tiene sentido construir un RAID a partir de volúmenes lógicos? NO ¿Por qué? La abstracción del espacio de disco en volúmenes lógicos anula las ventajas de tolerancia a fallos del RAID. Además se limita enormemente la flexibilidad de los volúmenes lógicos [email protected] Administración UNIX: Almacenamiento de datos 31/1
