Tema 6: Sistemas de Apoyo a la Toma de Decisiones 1. Revisión de los Sistemas de Información en la empresa 2. Sistemas de Datawarehousing 3. Análisis Multidimensional (OLAP) 4. Herramientas de Datamining 5. Beneficios obtenidos 6. Tecnología necesaria 16/10/2015 1 6.1. Revisión de los Sistemas de Información en la empresa • Sistema Transaccional – Da soporte y automatiza los procesos de negocio. – Orientación a captura rápida y eficaz de datos (transacciones). – Escaso soporte al proceso de toma de decisiones. Acumular datos y analizar 16/10/2015 2 6.1. Revisión de los Sistemas de Información en la empresa • Proceso de toma de decisiones – Ambiente de incertidumbre – Se asume riesgo – Requiere información exacta y completa en la fase de análisis del problema y de las alternativas posibles, para minimizar riesgo Decisión : Información + Riesgo 16/10/2015 3 6.1. Revisión de los Sistemas de Información en la empresa • Sistema Informacional – Utiliza datos del sistema transaccional para generar información útil para el proceso de toma de decisiones – Pueden incorporar datos de fuentes externas – Orientados al registro de eventos del negocio, con todo nivel de detalle 16/10/2015 4 6.1 Revisión de los sistemas de información en la empresa Insertar Archivo datos históricos Modificar Captura de datos Consultar 16/10/2015 Eliminar Generación de listados y documentos 5 6.1 Revisión de los sistemas de información en la empresa • Sistemas transaccionales – Procesamiento de datos – Orientados al registro de los eventos de negocio, con todo el nivel de detalle – Poca atención a los datos acumulados – Proporcionan información básica de gestión – Énfasis en la consistencia, la seguridad y los tiempos de respuesta – Usuarios con perfil mediobajo de responsabilidad 16/10/2015 • Sistemas informacionales – Ayuda a la toma de decisiones – Orientados al análisis de los datos y a la simulación de alternativas • Trabaja con grandes volúmenes de datos • Especializados en la consulta no en la actualización – Enfoque hacia el presente y el futuro – Énfasis en la flexibilidad y la utilización ad hoc. – Usuarios con perfil alto de 6 responsabilidad 6.2. Sistemas de Datawarehousing. Introducción • Núcleo de las aplicaciones Business Intelligence (3 elementos): 1. Recogida y gestión de grandes volúmenes de datos 2. Análisis de los datos: OLAP y datamining 3. Sofware de consulta para el usuario final: Amigable e intuitivo 16/10/2015 7 6.2. Sistemas de Datawarehousing. Introducción • Evolución Sistemas de Información: – 70’s Informes: Información predefinida y estática – 80’s Queries flexibles: Informes dinámicos y ad-hoc – 90’s DDS, EIS, OLAP – Datawarehouses, Datamining Análisis multidimensional, identificación de tendencias, detectar oportunidades de negocio 16/10/2015 8 6.2. Sistemas de Datawarehousing. Definición • Datawarehouse: Gran almacén de datos, en el que se integran datos provenientes de varias fuentes: – Del sistema transaccional – De fuentes externas • Datos de solo lectura (no volátiles) • Gran capacidad de almacenamiento (TeraBytes). Varios ejercicios 16/10/2015 9 6.2. Sistemas de Datawarehousing. Definición • Metadato: Información que se guarda sobre los propios datos (catálogo, descripción y procedencia; transformaciones realizadas, periodicidad de actualización, etc.). • Premisa: Separar entorno transaccional del decisional para no interferir en el procesamiento y registro de nuevas transacciones. • Información almacenada con formato unificado, homogéneo y accesible, con diferentes grados de agrupamiento. 16/10/2015 10 6.2. Sistemas de Datawarehousing. Definición • Los datos se organizan por temas (clientes, vendedores, etc.) no por funciones • DataMart: Almacén de datos de menor tamaño restringido a un área o departamento. 16/10/2015 11 6.2. Sistemas de Datawarehousing. Etapas en la construcción de un DW 1. Extracción: Captura de datos de las fuentes seleccionadas ( distintos formatos de Base de Datos, Excel, tablas de texto, etc.) 2. Detectar y corregir errores: • • Eliminar duplicados Anular valores sin sentido 3. Analizar la consistencia en el uso de valores • • • Codificación de campos. P.e. Seco (H/M, H/D, 1/0, …) Unificación de unidades de medida (euros, miles de euros, etc.) Formato de las fechas 4. Tratamiento de la ausencia de valores • 16/10/2015 Asignación de valores por defecto 12 6.2. Sistemas de Datawarehousing. Etapas en la construcción de un DW 5. Eliminar campos no significativos • 6. Los que no aportan nada al análisis, por ejemplo los de estado de transacción Reestructurar y añadir nuevos campos • 7. Enriquecer datos, recabando más información sobre las entidades objeto de análisis. Codificar datos para facilitar tratamiento estadístico • • 8. Codificar direcciones a zonas geográficas Agrupar valores, p.e. Grupos de edad Cálculo de campos derivados • 16/10/2015 Cálculo de subtotales y datos consolidados que producen un nuevo nivel de detalle: venta por región, por producto, … 13 MOLAP Procesos de sumarización ROLAP Metadatos Información fuente (BD relacional) Programas de extracción, transformación y carga ROLAP Archivos (planos, delimitados, dbf, etc.) Sistemas Operacionales 16/10/2015 14 6.2. Sistemas de Datawarehousing. Sistema gestor de datos en un DW • 3 tipos de sistemas: 1. Base de Datos Relacional tradicional 2. Base de Datos Relacional, con un diseño en estrella y desnormalización de tablas 3. Base de Datos Multidimensional 16/10/2015 15 6.2. Sistemas de Datawarehousing. Bases de Datos Relacionales • Access, SQL Server, Oracle, Sybase, dB2… • No son válidos los principios del modelo relacional • Especial atención a la consistencia e integración de las estructuras de datos (normalización). • Tiempo de respuesta elevado si se accede a múltiples tablas • En DWH pierde sentido la normalización. 16/10/2015 16 6.2. Sistemas de Datawarehousing. Bases de Datos Relacionales con diseño en estrella • Ralph Kimball lo propuso en su libro “The Datawarehouse Toolkit” • Estructuras no normalizadas que incorporan redundancias para agilizar las consultas y operaciones del análisis de datos. 16/10/2015 17 6.2. Sistemas de Datawarehousing. Bases de Datos Multidimensionales • Los datos se almacenan en cubos diseñados para agilizar consultas y el análisis multidimensional • Proceso de cálculo de subtotales durante la carga de datos con varios niveles de agrupamiento • Problemas de escalabilidad, para agregar nuevos datos recalcular todos los subtotales. • Ocupan mucho espacio, crece exponencialmente con el número de dimensiones. 16/10/2015 18 6.2. Sistemas de Datawarehousing. Explotación del DataWarehouse • Las herramientas de explotación del DWH facilitan el análisis de datos acumulados para generar gráficos e informes útiles para la toma de decisiones. 3 grupos de herramientas: – Query & Reporting: Herramientas para hacer consultas e informes – Análisis Multidimensional (OLAP): Análisis de datos a través de dimensiones y jerarquías (agrupamiento de las dimensiones). Consultas predefinidas y subtotales calculados – Herramientas de Datamining: Para detectar y modelizar relaciones entre los datos (patrones de consumo, predecir comportamiento, asociaciones de 16/10/2015productos, etc.) 19 6.3. Análisis Multidimensional (OLAP) • 3 componentes en el modelo multidimensional: – Dimensiones: Grupos conceptuales para analizar o consolidar datos (productos, clientes, etc.) – Medidas o indicadores: Valores numéricos – Jerarquías de dimensiones: Niveles de agregación 16/10/2015 20 6.3. Análisis Multidimensional (OLAP) Producto: • Id_Prod •Nombre •Gama •Coste •Precio Tabla de hechos Zona geog.: Ventas: •Id_zona •Id_Prod •Ciudad •Id_zona •Provincia •Fecha •Región •Id_cliente •País •Cantidad Perído: •Precio venta Cliente: •Día semana •Descuento •Id_cliente •Semana •Nombre •Mes •… •Trimestre 16/10/2015 Dimensiones de análisis 21 6.3. Análisis Multidimensional (OLAP) 16/10/2015 22 6.3. Análisis Multidimensional (OLAP) • Operaciones básicas del análisis multidimensional: – – – – Drill across: Cambiar la dimensión del análisis Swap: Permutar 2 dimensiones del análisis Up & Down: Subir o bajar en el nivel de agregación Drill down: Profundizar para alcanzar datos de un nivel inferior – Expand: Expandir un determinado nivel de información – Collapse: Anular la expansión de un nivel de información 16/10/2015 23 6.3. Análisis Multidimensional (OLAP) • Hyperion, lider del mercado de herramientas OLAP • La plataforma es Business Intelligence ESSBASE. 16/10/2015 24 6.4. Herramientas de Datamining • Minería de datos: Métodos avanzados para explorar y modelizar relaciones en grandes volúmenes de datos y obtener información implícita (patrones de compra, asociaciones de productos, etc.) 16/10/2015 25 6.4. Herramientas de Datamining. 3 grupos – Estadísticas • Cálculo de parámetros estadísticos (medias, varianzas, correlaciones, etc.) • Técnicas bayesanas • Tests de hipótesis • Regresión lineal • Análisis multivariante • Análisis clúster (agrupar datos para segmentar) – Simbólicas • Arboles de decisión • Reglas – De inteligencia artificial • Redes neuronales • Algoritmos genéticos 16/10/2015 26 6.4. Herramientas de Datamining • • Herramientas comerciales: SPSS, S-Plus de MathSoft, Cognos Scenario Metodología de datamining: 1. Muestreo: Selección de una muestra para reducir coste de análisis e incrementar velocidad. 2. Exploración: Determinar tendencias, rango de las variables clave, frecuencia de valores, correlación… 3. Modificación: transformado y filtrado de variables para adecuarse al problema 4. Modelizar el comportamiento mediante redes neuronales, árboles de decisión, regresión, etc. 5. Evaluación: Comprobar la validez del modelo 6. Presentación gráfica de resultados 16/10/2015 27 6.4. Herramientas de Datamining. Aplicaciones 1. Asociación de productos • • Análisis de la cesta de la compra. Utilizar información para definir catálogo de productos, organizar almacén, definir políticas de promoción etc. 2. Clasificación de clientes • Identificar a que grupo pertenece, por ejemplo para análisis de riesgo de clientes. 3. Segmentación y agrupación de clientes (clustering) • 16/10/2015 Identificar patrones de comportamiento semejantes. Predecir comportamiento de clientes: Evolución previsible, respuesta a promociones, etc. 28 6.5. Beneficios obtenidos • Sistemas datawarehousing/datamining permiten disponer de la información necesaria en poco tiempo • Los directivos pueden dedicar más tiempo al análisis • Aplicado al marketing se profundiza en el comportamiento del cliente • Detectar tendencias y hacer previsiones gracias a la acumulación de datos y experiencia 16/10/2015 29 6.5. Beneficios obtenidos • Facilitan, pues, la toma de decisiones estratégicas: – Configurar canales de distribución a partir de análisis de ventas – Política de precios: análisis y simulación de tarifas, descuentos, comisiones, etc. – Planes de promoción: simulación de campañas comerciales, control de resultados, análisis de respuesta de clientes – Lanzamiento de nuevos productos – Análisis y prevención del fraude 16/10/2015 30 6.6. Tecnología necesaria • Equipos de altas prestaciones (Servidores multiprocesador): – SMP: Simétrico. Varios procesadores comparten bus de datos y memoria – MPP: Paralelo: Cada procesador tiene su bus de datos y su memoria • Gran capacidad RAM y de disco • Herramientas ETL: Extracción y Transformación de datos • Software gestor del DWH y aplicaciones de análisis de datos • Mercado: SAS, Cognos, Business Objects, Oracle, etc. 16/10/2015 31 6.7. Ejemplos • Banca: Segmentación de clientes para optimizar envío de mailings y campañas comerciales • Unión Fenosa: Sistema para predecir el potencial de compra de “calor económico” • Telefónica Móviles: Informació de destino de llamadas y duración para lanzar nuevos servicios • Wall Mart: Banderitas 16/10/2015 32