UNIVERSIDAD NACIONAL DE CAÑETE F-M01.01VPA-008 APLICACIONES OLAP VS OLTP Business Intelligence – Sesión 03 Universidad Nacional de Cañete – UNDC 2022. Todos los derechos reservados Logro de la Sesión 1, 2 y 3 -------------------------------------------Comprende los fundamentos y metodologías para implementar una solución de inteligencia de negocios en la empresa.. Agenda 01 OLTP – OLAP 02 Data Warehouse.- ¿Cómo encaja? 03 Tipos de Almacenamiento OLAP 04 Esquema Datawarehousing 05 Roadmap para implementar un Base de Datos Estratégica 2 ¿CUANDO UNA BASE DE DATOS ES ESTRATEGICA? SISTEMAS OLTP Procesamiento de Transacciones En Línea • OLTP (OnLine Transaction Processing) Tipo de sistemas que facilitan y administran aplicaciones transaccionales, usualmente para entrada de datos y recuperación y procesamiento de transacciones (gestor transaccional). • Los paquetes de software para OLTP se basan en la arquitectura cliente-servidor ya que suelen ser utilizados por empresas con una red informática distribuida. Niveles en el uso de los Datos Analítico Planificación a largo plazo Planificación administrativa Planificación empresarial Mira el futuro Análisis, seguimiento y control Toma de decisiones Consulta datos históricos operaciones repetitivas captura datos básicos tareas predefinidas BD actividades y transacciones elementales de BD Transaccional Sistemas de Información Sistemas Operacionales • Una BD operacional tiene características como: – – – – Está orientada a la aplicación. Tiene estructuras normalizadas. Contiene los datos de las operaciones. Los datos se almacenan con el máximo número de detalle. – Se actualiza en línea. – Está en constante cambio. • Cada tablas está normalizada para asegurar la integridad de los datos, minimizar el espacio ocupado y maximizar el rendimiento de los datos. Sistemas Operacionales • Las estructuras de datos son complejas. • Los sistemas son diseñados para una alto rendimiento de funcionamiento y procesamiento. • La data está dispersa. • Pueden no complejas. ajustarse a consultas OLTP (OnLine Transaction Processing) es el Procesamiento de Transacciones En Línea es un tipo de software que administran aplicaciones transaccionales, usualmente para entrada de datos y recuperación y procesamiento de transacciones. La tecnología OLTP se utiliza en aplicaciones, como banca electrónica, procesamiento de pedidos, comercio electrónico, supermercados, industria, etc. SISTEMAS OLAP OLAP (On-Line Analytical Processing). • Solución utilizada en el campo de la llamada Inteligencia empresarial (o Business Intelligence) cuyo objetivo es agilizar la consulta de grandes cantidades de datos. • Utiliza estructuras multidimensionales (o Cubos OLAP) que contienen datos resumidos de grandes Bases de datos o Sistemas Transaccionales (OLTP). Se usa en informes de negocios de ventas, marketing, informes de dirección, minería de datos y áreas similares. Sistemas Analíticos • OLAP (On-Line Analytical Processing) es Procesamiento Analítico en Línea. • Es rápido para entregar consultas complejas. • Utiliza estructuras multidimensionales (o Cubos OLAP) que contienen datos resumidos de Sistemas OLTP. • Una BD relacional almacena entidades en tablas discretas han sido normalizadas. • Un BD dimensional almacena los datos en cubos olap donde se encuentran calculados y agregados para ser consultados Sistema OLAP • Tiene un esquema que está optimizado para que las consultas se ejecuten rápidamente. • Almacena varios niveles de datos conformados por estructuras altamente optimizadas para consultas. • Permite el uso interactivo con los usuarios. • Preparado para realizar informes complejos. • Proporciona una vista de datos multidimensional (las tablas son bidimensionales) • Permite cambiar fácilmente las filas, las columnas y las páginas en informes de OLAP. Usos Sistemas de información ejecutivos. • Los gerentes necesitan información sobre los indicadores (lo normal y las excepciones o las variaciones) Aplicaciones financieras. • Para para comunicar, planear, y analizar escenarios de mercado. (pronóstico). Ventas y aplicaciones de Marketing. • Análisis de la facturación, análisis de producto, análisis del cliente, y análisis de ventas regional. Otros Usos. • Análisis de la Producción, análisis de servicios al cliente, evolución del costo del producto, etc OLTP vs OLAP • OLTP (On-Line Transaction Processing): Se diseña para el ingreso y mantenimiento de datos en tiempo real (transacciones cotidianas). Características: – – – – – – Altas/Bajas/Modificaciones/Consul tas Consultas rápidas y escuetas Poco volumen de información Transacciones rápidas Gran nivel de concurrencia Alimentan a las soluciones analíticas • OLAP (On-Line Analytical Process): proceso en el que se emplean herramientas que permiten facilitar el análisis de información de negocios, organizada dimensionalmente. (capacidad para el análisis complejo de datos) Características: – – – – – – Ejemplos: – – – – Cuentas corrientes, Control de stock, Control de producción, Contabilidad, etc. – Sólo Consulta Consultas pesadas y no predecibles Gran volumen de información histórica Operaciones lentas Información consolidada (almacenada en un lugar central) No es atómica. La data OLAP es resumida, no requiere máximo nivel de detalle. Orientada al objetivo (información clave para toma de decisiones) En un modelo OLAP, la información es vista como cubos, los cuales consisten de categorías descriptivas (dimensiones) y valores cuantitativos (medidas). 14 1 Sistemas Operacionales Vs Analíticos Sistemas Operacionales Vs Analíticos OLPT OLAP Objetivos Operacionales Informaciónparala tomadedecisiones Orientación Alaaplicación Alsujeto Vigenciadelosdatos Actual Actual+histórico Granularidaddelos datos Detallada Detallada+resumida Organización Organización normalizada Organización estructuradaenfunción delanálisisarealizar Cambiosenlosdatos Continuos Estable Diferencias entre OLTP y OLAP Característica OLTP OLAP TamañoBBDD GigaBytes Gigaa TeraBytes OrigenDatos Interno Internoy Externo Actualización On-Line Batch Periodos Actual Histórico Consultas Predecibles AdHoc Actividad Operacional Analítica ¿Pueden Convivir los entornos OLTP y OLAP juntos ? • Todas estas divergencias hacen que no sea posible la convivencia en una única BBDD de los entornos OLAP y OLTP: – Pérdida de rendimiento del entorno OLTP – Falta de integración entre distintos aplicaciones OLTP – Tecnologías de BBDD sin capacidad para soportar aplicaciones OLTP – Incorporación de datos externos difícilmente aplicable a la BBDD OLTP – Distribución de los datos no adecuada para análisis OLTP Construyendo un Sistema OLAP Datamarts = OLAP Datamarts = Datawarehouse (DW) Data Warehouse y Data Marts Un Data Warehouse (DW) es un almacén de información integrada, proveniente de sistemas de información transaccionales, con el objetivo de proveer datos para el análisis y la toma de decisiones. Un DataMart es un repositorio parcial de datos orientado a un área del negocio Data-Mining: Técnicas de análisis de datos encaminadas a obtener información oculta en un Datawarehouse Un Data Warehouse puede proveer los datos para los Data Marts Ejemplo de una Solución Fuertemente Integrada Entrega de Información Entrega de Información Sistemas Fuentes Patrones y Predicciones No se puede mostrar la imagen. Data Marts Reportes Empresariale s ERP Cliente Herramientas Familiares, Poderosas Aplicaciones de Terceros CRM Indicadores de Desempeño SSD Herramientas Analíticas LOB Base Datos Transaccional SIE Portal ETL Empresarial Data Warehouse Análisis de Datos (OLAP, Minería de Datos) Dispositivos OLTP Reportes Producción Integrar Data Automatizada Poder de los usuarios para generar sus propios reportes Altamente intuitivo, herramientas visuales Modos de almacenamiento OLAP MOLAP ROLAP (OLAPMultidimensional) (OLAPRelacional) toda la Una copia de los datos de origen del cubo, junto con sus agregaciones, es almacenada en una estructura multidimensional. •Provee excelent erendimiento y compresión de datos. •Tiene mejor tiempo de respuesta, dependiendo solo del porcentaje de las agregaciones del cubo. •La estructura está muy optimizada para maximizar el rendimiento de las consultas. •En general este método, es muy apropiado para cubos con uso frecuente por su rápida respuesta. Información del cubo, sus datos, su agregación, sumas, etc.,son almacenados en una base de datos relacional. •ROLAP no almacena copia de la base de datos, accedealas tablas originales cuando necesita responder a las consultas, generalmente es mucho más lenta que las otras estrategias de almacenamiento (MOLAPoHOLAP). •ROLAP se utiliza para ahorrar espacio de almacenamiento cuando se trabaja con grandes conjuntos de datos que se consultan con poca frecuencia; por ejemplo, datos exclusivamente históricos. HOLAP (OLAPhíbrido)combina Atributos de MOLAPy ROLAP. HOLAP hace que las agregaciones se almacenen en una estructura multidimensional, y Los datos a nivel de detalle, en Una base de datos relacional como lo hace el almacenamiento ROLAP. •Cubos que requieren rápida respuesta •Cuando existen sumarizaciones basadas en una gran cantidad de datos de origen. •Solución de compromiso para bajar el espacio ocupado sin perjudicar totalmente el rendimiento de las consultas. Products MOLAP Geography Multidimensional OLAP (MOLAP) Almacenamiento en la BD Multidimensional de: o Agregaciones o Información de detalle Arquitectura optimizada para consultas, cálculos complejos y compresión Modo de almacenamiento por defecto Ventajas No necesita de una conexión continua con el Data Warehouse Permite comprobar la integridad de la información en el momento del procesado Consultas más rápidas Inconvenientes: Duplicidad de la información ( en Relacional y en Multidimensional) Incremento del espacio necesario para el almacenamiento Latencia muy alta ROLAP Relational OLAP (ROLAP) Almacenamiento en la BD Relacional de : Geograph y Products o Agregaciones o Información de detalle Arquitectura orientada a las transacciones. Escrituras y modificaciones Las agregaciones se forman mediante vistas indexadas Ventajas Latencia muy baja Información no duplicada Inconvenientes: Identificación manual de la propiedad «Slice» Complejidad a la hora de crear agregaciones (vistas indexadas) e incremento de espacio No aprovecha agregaciones existentes sobre atributos relacionados de forma natural No se puede comprobar la integridad de la información Conexión continua al sistema transaccional Rendimiento bajo (necesidad de un performance tuning) Time HOLAP Relacional de: o Información de detalle Products Time Products Hybrid OLAP (HOLAP) Almacenamiento en la BD Multidimensional de: o Agregaciones Almacenamiento en la BD Geography Geography Ventajas Rendimiento de consultas sobre agregaciones Decremento del espacio necesitado Inconvenientes: Rendimiento de consultas sobre información detallada Necesaria una conexión continua al sistema relacional Información errónea si no se actualizan las agregaciones con respecto a la información detallada. MOLAP vs. ROLAP MOLAP Revenuefor Laptop Computers In 2008 At All Stores ROLAP Revenuefor Laptop Computers In 2008 At All Stores Profit No se puede mostrar la imagen. Products No se puede mostrar la imagen. Revenuefor All Electronics In 2003 and Q1 2004 At Stores in the NE Region Geography Revenuefor All Electronics In 2003 and Q1 2004 At Stores in the NE Region Category No se puede mostrar la imagen. TotalRevenue. Cost In Jan 2008 and Jan 2009 At Top 10 Revenue Stores MOLAP: permite una rápida rebanada predefinida como un subconjunto datos y poder verla desde diferentes perspectivas TotalRevenue, Cost, Profit In Jan 2004 and Jan 2003 At Top 10 Revenue Stores Drill to Category ROLAP: permite "analizar todo" y escarbar en cualquier lugar usando la base de datos relacional en todas las dimensiones a nivel resumen y nivel detalle. Comparativa Aplicaciones OLAP Modo Detalle MOLAP BDMultiDim. HOLAP ROLAP Agregaciones Espacio requerido Procesamiento delas consultas Tiempode procesamiento Latenci a BDMultiDim. Medio Rápido Medio Alta BD Relacional BDMultiDim. Pequeño Medio Rápido Media BD Relacional BDRelacional Grande Lento Medio Baja Escenario de ejemplo Año Actual Año Anterior Histórico 10 años MOLAP HOLAP ROLAP INTELIGENCIA DE NEGOCIOS Esquema Data Warehousing Minería de Datos Procesamiento Analítico en Línea OLAP Consultas y Reportes Acceso WEB Necesidades del Negocio Data Warehouse (Data Mart) Acceso Almacenar Transformar Definir DB2 ORACLE INFORMIX SQL Server Distribuir SYBASE Necesidades de Desarrollo Manejar Automatizar VSAM IMS Files Conclusiones Finales Fin de Clase!