Banco de los Alpes (MEPROC) Plan de Pruebas Plan de pruebas MEPROC Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Fecha: 2010/10/11 Versión 1.1 Andrés González. 201018063 Julián Morales. 200213074 Carlos Criales. 200925612 José Daniel García. 200818257 Robinson De La Hoz. 201018033 Haiver Páez. 201018119 Especialización en construcción de software Universidad de los andes Bogotá 2010 Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 Versión Modificado por Descripción Fecha 1.0 .JARC Creación del documento Marzo 04 de 2010 1.1 .JARC Ajustes según compromisos para ciclo 2 ciclo3 Octubre 11 de 2010 Plan de pruebas MEPROC Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Fecha: 2010/10/11 CONTENIDO Introduccion ....................................................................................................................................................... 6 Propósito ........................................................................................................................................................ 6 Alcance ........................................................................................................................................................... 6 Audiencia del documento .............................................................................................................................. 7 Terminología y acrónimos .............................................................................................................................. 7 Referencias..................................................................................................................................................... 8 Misión de las pruebas ......................................................................................................................................... 8 Antecedentes ................................................................................................................................................. 8 Misión de evaluación ..................................................................................................................................... 9 Motivadores de pruebas ................................................................................................................................ 9 Elementos a ser probados .................................................................................................................................. 9 Elementos que no serán probados ..................................................................................................................... 9 Perspectiva de las pruebas planeadas .............................................................................................................. 10 Perspectiva de las pruebas incluidas............................................................................................................ 10 Perspectiva de otros candidatos a ser incluidos .......................................................................................... 11 Estrategia de Pruebas ....................................................................................................................................... 11 Catálogo de ideas iniciales y otras referencias ............................................................................................ 11 Técnicas y tipos de pruebas ......................................................................................................................... 11 Pruebas de integridad de Datos y Base de Datos .................................................................................... 11 Pruebas de Función ................................................................................................................................. 12 Pruebas de Ciclo de Negocio ................................................................................................................... 14 Pruebas de Interfaz de Usuario ............................................................................................................... 15 Plan de pruebas MEPROC Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Fecha: 2010/10/11 Pruebas de Desempeño ........................................................................................................................... 16 Pruebas de Carga ..................................................................................................................................... 17 Pruebas de Stress..................................................................................................................................... 18 Pruebas de Volumen ................................................................................................................................ 19 Pruebas de Seguridad y Control de Acceso ............................................................................................. 20 Pruebas de Tolerancia a Fallas ................................................................................................................. 21 Pruebas de Configuración ........................................................................................................................ 22 Pruebas de Instalación ............................................................................................................................. 23 Criterio de Entrada y Salida .............................................................................................................................. 25 Plan de Pruebas............................................................................................................................................ 25 Criterio de Entrada al Plan de Pruebas ................................................................................................... 25 Criterio de Salida al Plan de Pruebas ....................................................................................................... 25 Criterio de Suspensión del Plan de Pruebas ............................................................................................ 25 Ciclo de Pruebas ........................................................................................................................................... 25 Criterio de Entrada al ciclo ....................................................................................................................... 25 Criterio de Salida del ciclo........................................................................................................................ 26 Terminación del ciclo anormal................................................................................................................. 26 Entregables ....................................................................................................................................................... 26 Resumen de evaluación de pruebas ............................................................................................................ 26 Reporte de cubrimiento de pruebas ............................................................................................................ 26 Reportes de Calidad Percibida ..................................................................................................................... 27 Logs de Incidentes y Control de Cambios .................................................................................................... 27 Densidad de defectos .............................................................................................................................. 27 Tendencia de defectos ............................................................................................................................. 30 Plan de pruebas MEPROC Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Fecha: 2010/10/11 Tiempo de corrección de defectos .......................................................................................................... 31 Pruebas automatizadas y soporte de script de pruebas .............................................................................. 32 Productos adicionales de Trabajo ................................................................................................................ 32 Matrices de Trazabilidad ......................................................................................................................... 32 Necesidades de ambiente ................................................................................................................................ 33 Hardware de base del sistema ..................................................................................................................... 33 Elementos de software base en el ambiente de pruebas ............................................................................ 34 Herramientas de Productividad y Soporte ................................................................................................... 35 Configuraciones de ambiente de pruebas ................................................................................................... 35 Responsabilidades y Necesidades de Entrenamiento ...................................................................................... 35 Personas y roles ........................................................................................................................................... 36 Necesidades de Staff y Entrenamiento ........................................................................................................ 36 Hitos de Iteración ............................................................................................................................................. 37 Riesgos, Dependencias, Suposiciones y restricciones ...................................................................................... 38 Procedimiento de administración .................................................................................................................... 40 Métricas y evaluación de las pruebas .......................................................................................................... 40 Valoración de los entregables de este plan de pruebas .............................................................................. 41 Reporte de problemas, escala y solución de puntos ................................................................................... 41 Administración de ciclos de pruebas ........................................................................................................... 41 Estrategia de Trazabilidad ............................................................................................................................ 42 Aprobación y Terminación ........................................................................................................................... 42 Plan de pruebas MEPROC Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Fecha: 2010/10/11 INTRODUCCION Este es un documento fundamental para que la fase de pruebas sean lo más exitosa posible, además de generar un producto de alta calidad. Este documento esta preparado para ser incluido en el proyecto propuesto por la especialización de Construcción de Software en la Universidad de los Andes. PROPÓSITO Este documento tiene como finalidad mostrar la estrategia de pruebas que se llevará a cabo para el proceso de certificación del plan de pruebas para el proyecto MEPROC. Este define los siguientes objetivos específicos: Identificar las funcionalidades que serán objeto de nuestras pruebas. • Definir el alcance del plan de pruebas. • Definir las técnicas de pruebas a utilizar durante el desarrollo del proyecto MEPROC. • Identificar los recursos tecnológicos y/o humanos que serán parte de las pruebas. • Determinar el esfuerzo requerido para la realización de las pruebas. • Lista los entregables de las pruebas del proyecto MEPROC ALCANCE En el presente plan se describirán algunas de las pruebas que serán contempladas y aplicadas al proyecto MEPROC. Validar el proceso de recepción de los archivos entregados por los proveedores. Validar que el proceso de estudio de crédito se soporte en las regulaciones del sector financiero BASILEA II y SOX. Validar que el cumplimiento de las reglas en el proceso del estudio de crédito. Validar la consistencia de los datos del cliente en los diferentes sistemas del banco. Plan de pruebas MEPROC Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Fecha: 2010/10/11 AUDIENCIA DEL DOCUMENTO Este documento técnico esta dirigido a las personas que desempeñan los roles de Gerente de proyecto y Administrador de pruebas. TERMINOLOGÍA Y ACRÓNIMOS Se describen los términos y acrónimos utilizados en el proyecto MEPROC, con el objeto de aclarar y quitar ambigüedades que pueden generar ciertos términos. MEPROC: Siglas para identificar el proyecto “Mejoras del Proceso de originación de crédito en el Banco de los Alpes”. CIFIN: Es una unidad estratégica de la Asociación Bancaria, creada en 1981, dedicada a la recolección, obtención, compilación, modificación, administración, procesamiento, intercambio, envío, divulgación y transferencia a cualquier título, de datos personales, financieros, crediticios, de servicios y, en general, cualquiera relacionado con el cumplimiento de obligaciones, así como los provenientes de terceros países y cualquier otro que no sea contrario a la Constitución y la Ley. CRM (Customer Relationship Management): La administración de la relación con los clientes, CRM, es parte de una estrategia de negocio centrada en el cliente. Una parte fundamental de su idea es, precisamente, la de recopilar la mayor cantidad de información posible sobre los clientes, para poder dar valor a la oferta. La empresa emprende la misión del conocimiento de las necesidades de los mismos, con el fin de proveerle ofertas asertivas y mejoras en la calidad en la atención. DATACREDITO: Es la Central de Información Crediticia líder en el mercado andino con presencia en Colombia, Venezuela y Ecuador. Provee Soluciones Integrales a los principales sectores de la economía para la toma de mejores decisiones en el ciclo de otorgamiento de crédito. Plan de pruebas MEPROC Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Fecha: 2010/10/11 Lista Clinton: La Lista Clinton fue expedida el 21 de octubre de 1995 con el objetivo de bloquear las empresas donde tuvieran intereses los narcotraficantes. Es elaborada por la Oficina de Control de Bienes Extranjeros (Ofac) y hace parte de las medidas tomadas por Estados Unidos en la guerra contra los carteles de la droga y el lavado de activos Prospecto: Cliente potencial para el banco REFERENCIAS Este plan de pruebas está soportado por los siguientes documentos: Especificación de Requisitos Documentos de casos de uso Modelo de diseño e implementación Documento de pruebas MISIÓN DE LAS PRUEBAS ANTECEDENTES Como resultado de la planificación y análisis desarrollado para los problemas de estudio de crédito y riesgo del Banco de los Alpes, se obtuvo una arquitectura de solución para el negocio y un plan de tareas a desarrollar para solucionar la problemática planteada. Estos entregables condujeron a la planificación de pruebas con el fin de validar que la solución y sus funcionalidades son consistentes y acordes a las expectativas del banco. Plan de pruebas MEPROC Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Fecha: 2010/10/11 MISIÓN DE EVALUACIÓN Las pruebas tienen como finalidad verificar que la solución planteada satisface los requerimientos encontrados en nuestro WBS. Estas pruebas también tienen como finalidad verificar la calidad de la solución en su primera versión MOTIVADORES DE PRUEBAS Obtener un grado de calidad en los entregables del proyecto Validar el cumplimiento de los requerimientos funcionales y no funcionales Asegurar la aplicación de métricas y estándares ELEMENTOS A SER PROBADOS En el presenta plan, los elementos objetivo de las pruebas, son: Cargue de Archivos Segmentación Validación de Riesgo Estudio de Crédito Activación de Tarjetas Generación de Reportes Elementos que no serán probados Los siguientes módulos/elementos no son parte del plan de pruebas: Plan de pruebas MEPROC Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Fecha: 2010/10/11 Otros procesos/funcionalidades que no hacen parte del Proceso de Originación de crédito del Banco de Los Alpes. Seguridad en la red y otros medios de interconexión. Funcionalidades del IBM Process Server, que no hacen parte del Proceso de Originación de crédito del Banco de Los Alpes. Funcionalidades del IBM Portal Server, que no hacen parte del Proceso de Originación de crédito del Banco de Los Alpes. PERSPECTIVA DE LAS PRUEBAS PLANEADAS PERSPECTIVA DE LAS PRUEBAS INCLUIDAS Pruebas Manuales: Asegurar que la funcionalidad de la solución cumple con las expectativas funcionales y la interacción del usuario con el sistema. Estas pruebas serán realizadas por el encargado de pruebas. Pruebas de Aceptación con usuarios: Revisión la funcionalidad que se implementará de acuerdo a cada rol de usuario, así como la aceptación de la interfaz de usuario en la medida en que le permita al usuario acceder y navegar a través de todas la funcionalidades y que las interfases cumplan con estándares de presentación. Estas pruebas serán realizadas por el encargado de pruebas, quien asumirá el rol de cada perfil para la revisión. Pruebas de Regresión: Al hacer cambios en una de las partes de un módulo en una versión determinada, se deberán realizar nuevamente pruebas a todo el módulo con el fin de validar completamente su funcionalidad. Estas pruebas serán realizadas por el encargado de pruebas. Pruebas de Carga y Stress: Estarán enfocadas en la capacidad de respuesta que tendrá la solución al enfrentarse a situaciones en las que se presente alta concurrencia de usuarios. Estas pruebas serán realizadas por el encargado de pruebas. Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 PERSPECTIVA DE OTROS CANDIDATOS A SER INCLUIDOS Otras pruebas que podrían ser incluidas son: Pruebas de manejo de requerimientos que tendrían como objetivo validar el cumplimiento de los requerimientos planteados en la WBS, durante un ciclo determinado. Pruebas de manejo de errores, que tendrían el objetivo de validar la forma en cómo se están controlando las excepciones arrojadas por los algoritmos del sistema ESTRATEGIA DE PRUEBAS CATÁLOGO DE IDEAS INICIALES Y OTRAS REFERENCIAS Como principal objetivo se usan técnicas reconocidas para mitigar el impacto de los defectos del software en la operación de la organización. En el sector financiero esta clase de errores o impactos son aún más críticos que en cualquier otro sistema, como referencia se va a usar la circular 052 en el manejo de información. TÉCNICAS Y TIPOS DE PRUEBAS PRUEBAS DE INTEGRIDAD DE DATOS Y BASE DE DATOS Objetivo de la técnica: Verificar la calidad de los datos, mediante inspección en cada una de las bases de datos de todos los sistemas, para evitar incongruencia en los datos Plan de pruebas MEPROC Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Fecha: 2010/10/11 Técnica Comandos específicos del motor de bases de datos y consultas SQL que permitan constatar la integridad de los datos Oráculo: Los datos de un cliente son los mismos en todos los sistemas? Herramientas requeridas: Motores de BD, Hojas de Calculo Criterio de éxito Los datos son persistentes y congruentes en todos los sistemas y se maneja completa trazabilidad de los datos del cliente Consideraciones Especiales: Tener en cuenta la circular 052 en cuanto a manejo de información. PRUEBAS DE FUNCIÓN Objetivo de la técnica: Verificar la funcionalidad del sistema usando una serie de procesos o casos de uso que lleven a un resultado esperado Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 Tècnica Desarrollar casos de uso Oràculo: Los casos de uso se pueden llevar a cabo en el sistema? Herramientas requeridas: Casos de uso Criterio de éxito El sistema desarrolla los casos de uso con los resultados esperados por el cliente. Consideraciones Especiales: Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 PRUEBAS DE CICLO DE NEGOCIO Objetivo de la técnica: Verificar el resultado obtenido desde el inicio hasta el final del ciclo del negocio mediante pruebas y simulación de todo el ciclo para asegurar la entrega de productos financieros a la persona correcta. Tècnica Simulación de todo el proceso en el sistema Oràculo: El sistema simula todo el proceso del negocio con los datos preparados y se obtiene el producto esperado? Herramientas requeridas: Conjunto de datos completos preparados por expertos del área. Sistema a simular proceso completo Criterio de éxito Simulación llevada desde el inicio en que llegan los archivos hasta que se le entrega un producto al cliente dentro de los parámetros definidos Consideraciones Especiales: Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 PRUEBAS DE INTERFAZ DE USUARIO Objetivo de la técnica: Asegurar la facilidad de manejo de la interfaz navegando según los casos de uso y que estos sean compresibles para el usuario. Tècnica Preguntar al usuario si los casos de uso son comprensibles dentro de los límites de la aplicación. Oràculo: La navegación en la aplicación según los casos de uso es comprensible por el usuario? Herramientas requeridas: El Usuario Casos de Uso Sistema con Interfaz Grafica Criterio de éxito El usuario comprende el caso de uso plasmado en el sistema. Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 Consideraciones Especiales: PRUEBAS DE DESEMPEÑO Objetivo de la técnica: Asegurar el uso adecuado de recursos mediante indicadores para que no se presenten demoras excesivas en los procesos. Tècnica Ejecución de script de prueba en horas pico Oràculo: La aplicación puede procesar X numero de clientes en un rango de tiempo Y permitible ? Herramientas requeridas: Scripts de Prueba Datos completos Plan de pruebas MEPROC Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Fecha: 2010/10/11 Criterio de éxito Clientes procesados dentro de un rango de tiempo aceptable Consideraciones Especiales: Realizar este tipo de prueba en horas pico para el sistema. PRUEBAS DE CARGA Objetivo de la técnica: Asegurar la disponibilidad del sistema usando cantidades esperadas de usuarios para que el sistema esté en línea y no se presenten represamientos. Tècnica Se realiza una prueba experimental con un número de peticiones esperadas y se monitorea el uso de recursos. Oràculo: Existen un cuellos de botella en el procesamiento de los clientes? Plan de pruebas MEPROC Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Fecha: 2010/10/11 Herramientas requeridas: Indicadores de desempeño por cada recurso usado. Datos de clientes esperados Criterio de éxito El sistema procesa los clientes sin cuellos de botella Consideraciones Especiales: PRUEBAS DE STRESS Objetivo de la técnica: Determinar el limite máximo de clientes que se pueden procesar doblando la cantidad cada vez para tener un procedimiento que permite al sistema reaccionar adecuadamente. Tècnica Prueba iterativa realizando cada vez el doble de información a procesar por el sistema. Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 Oràculo: El sistema responde adecuadamente cuando la carga real supera a la esperada? Herramientas requeridas: Datos de clientes Indicadores de desempeño de los recursos Criterio de éxito El sistema puede manejar una carga mayor a la esperada y se tiene un plan de acción para este caso. Consideraciones Especiales: PRUEBAS DE VOLUMEN Objetivo de la técnica: Verificar que la aplicación funciona adecuadamente determinando la cantidad máxima de datos y la carga máxima Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 Tècnica Usar un máximo de base de datos y clientes usando los mismos procesos en un periodo de tiempo extenso Oràculo: Cuando el sistema llega al limite de almacenamiento se procede con un plan alterno? Herramientas requeridas: Base de datos limitada Múltiples Usuarios Criterio de éxito Se ha alcanzado el límite del sistema sin que el sistema falle. Consideraciones Especiales: PRUEBAS DE SEGURIDAD Y CONTROL DE ACCESO Objetivo de la técnica: Asegurar que la información no sea accedida por personal no autorizado usando perfiles y encriptaciones de datos para no llegar al fraude Tècnica Ingresar con diferentes roles e intentar acceder a información no autorizada Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 Oràculo: La información puede ser accedida por alguien que no está autorizado? Herramientas requeridas: SQL-Injection Cross Scripting Otras herramientas para acceder a la información Criterio de éxito El sistema no ha tenido accesos no autorizados, ni acceso a información crítica por personal no autorizado Consideraciones Especiales: PRUEBAS DE TOLERANCIA A FALLAS Objetivo de la técnica: Aceptar los fallos dentro de los parámetros fijados para cada proceso dentro del sistema Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 Tècnica Inducir un fallo en los distintos procesos y evaluar la criticidad y tipo de tolerancia del mismo Oràculo: El sistema ante un fallo tiene una tolerancia dentro de los parámetros ? Herramientas requeridas: Sistemas de control y recuperación de errores Hardware Excepciones Criterio de éxito El sistema llego a una tolerancia total en los procesos críticos y degradación aceptable en los no tan críticos Consideraciones Especiales: PRUEBAS DE CONFIGURACIÓN Plan de pruebas MEPROC Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Fecha: 2010/10/11 Objetivo de la técnica: Evaluar variaciones de la aplicación cambiando valores de configuración para descubrir nuevos errores. Tècnica Cambiar la configuración del sistema en software y hardware Oràculo: El sistema con otros parámetros a los de desarrollo se comporta adecuadamente? Herramientas requeridas: Cambios de resolución, navegador, sistema operativo Criterio de éxito El sistema en diferentes configuraciones se comporta adecuadamente Consideraciones Especiales: PRUEBAS DE INSTALACIÓN Plan de pruebas MEPROC Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Fecha: 2010/10/11 Objetivo de la técnica: Determinar requisitos mínimos de software y hardware para la correcta ejecución de la aplicación Tècnica Realizar ejecución en sistemas con software y hardware de mínimas prestaciones Oràculo: Se sabe cuáles son los requisitos mínimos para ejecutar la aplicación? Herramientas requeridas: Hardware de mínimas prestaciones Software de versiones antiguas Criterio de éxito El sistema corre adecuadamente con los recursos mínimos de hardware y software Consideraciones Especiales: Plan de pruebas MEPROC Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Fecha: 2010/10/11 CRITERIO DE ENTRADA Y SALIDA PLAN DE PRUEBAS CRITERIO DE ENTRADA AL PLAN DE PRUEBAS Basado en los casos de prueba, se identifican las entradas y prerrequisitos especificados. CRITERIO DE SALIDA AL PLAN DE PRUEBAS Basado en los casos de prueba, se identifican las salidas, eventos y resultados esperados. CRITERIO DE SUSPENSIÓN DEL PLAN DE PRUEBAS Las pruebas serán suspendidas en caso de presentarse alguna de las siguientes situaciones: Los prerrequisitos no se encuentran disponibles. NO se cuenta con datos significativos. Si alguno de los sistemas involucrados, NO se encuentra disponible(Pruebas de Integridad) NO disponibilidad de los recursos responsables de la ejecución de la prueba. Si en alguno de los casos de prueba se detecta un defecto crítico, que afecta el desempeño de la funcionalidad y/o del módulo/sistema, y que influya en el resultado NO exitoso de la ejecución de los demás casos de prueba. Esta eventualidad será documentada y presentada ante el respectivo comité de pruebas. CICLO DE PRUEBAS CRITERIO DE ENTRADA AL CICLO Se identifican los casos objeto de las pruebas, para los cuales el insumo principal será un lote de pruebas que previamente debe haber sido preparado por los responsables de ejecutar las pruebas. Plan de pruebas MEPROC Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Fecha: 2010/10/11 CRITERIO DE SALIDA DEL CICLO En el lote de pruebas, para cada escenario se especifica el resultado esperado teniendo en cuenta las entradas ingresadas en el caso de prueba. TERMINACIÓN DEL CICLO ANORMAL Cada resultado NO esperado en la ejecución del lote de pruebas, deberá ser documentado y reportado como un defecto, con su respectiva clasificación. Si en alguno de los casos de prueba se detecta un defecto crítico, que afecta el desempeño de la funcionalidad y/o del módulo/sistema, y que influya en el resultado NO exitoso de la ejecución de los demás casos de prueba. ENTREGABLES Se describirán los resultados del proceso de prueba en términos de cobertura de los requerimientos, código y del análisis de defectos RESUMEN DE EVALUACIÓN DE PRUEBAS El proceso de prueba se debe haber aplicado según lo definido en el Plan de Pruebas. Mediante el informe de pruebas se: Evalúa que el comportamiento del sistema que se ha desarrollado es correcto. Evalúa la aceptabilidad del proceso de pruebas llevado a cabo. Identifica qué mejoras se pueden realizar en el proceso de prueba para incrementar la cobertura y/o calidad de las pruebas. REPORTE DE CUBRIMIENTO DE PRUEBAS Visualizará la cantidad de pruebas planeadas por caso de uso. Plan de pruebas MEPROC Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Fecha: 2010/10/11 Se muestran los casos de prueba definidos que se han llevado a cabo. De todos los casos de prueba ejecutados cuántos se han completado debido a errores de software, cuántos han fallado. Se realizará un gráfico que refleje lo siguiente: Porcentaje de casos de prueba desarrollados REPORTES DE CALIDAD PERCIBIDA Avance de Efectividad, muestra el porcentaje de casos ejecutados sin error. LOGS DE INCIDENTES Y CONTROL DE CAMBIOS Se detallan el número de defectos detectados en la ejecución de los casos de pruebas. Cada uno de los defectos es clasificado y priorizado para realizar la corrección. Los controles de cambios son documentados y priorizados según el impacto en las funcionalidades requeridas. También se resumen los resultados obtenidos en el proceso de análisis de defectos DENSIDAD DE DEFECTOS Se considerarán los siguientes conceptos: Tipos de defectos según su gravedad (crítico, alto, medio y bajo). Fuente del defecto (el componente donde reside el fallo o problema). Estado del defecto (registrado, asignado, arreglado, probado y terminado). Se generan los siguientes reportes: Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 Gráfico de Tipos de defectos, muestra la cantidad de defectos encontrados. Tipos de defectos 1 10 5 Crítico Alto Medio Bajo 20 Gráfico de Fuentes de defectos Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 Fuentes de defectos 12 10 8 6 4 2 0 c-abx c-xxx c-eww c-ppl Componente Gráfico de Estado de los defectos. c-koi Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 ad o Te rm in ad o Pr ob rr eg l A na sig A st ra eg i R ad o do 14 12 10 8 6 4 2 0 do Número de defectos Estado de los defectos Estado TENDENCIA DE DEFECTOS Muestra la tendencia de aparición de defectos según el tiempo de desarrollo. Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 Defectos encontrados Tendencia de defectos 20 15 10 5 0 1 2 3 4 Tiempo (Semanas de prueba) TIEMPO DE CORRECCIÓN DE DEFECTOS Grafico de Tiempo de corrección de defectos 5 Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 Número de defectos Tiempo de corrección de defectos 25 20 15 10 5 0 >30 días 20-30 días 10-20 días 5-10 días < 5 días Tiempo de corrección PRUEBAS AUTOMATIZADAS Y SOPORTE DE SCRIPT DE PRUEBAS Se documentarán las pruebas realizadas con las herramientas de automatización de testing, el insumo serán los scripts desarrollados/configurado para la ejecución de la prueba. PRODUCTOS ADICIONALES DE TRABAJO MATRICES DE TRAZABILIDAD ID Caso de prueba Nombre del Caso de prueba Aplicación Modulo Versión Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 Prioridad Tipo de Prueba Descripción Caso de prueba Criterios de Aceptación ID requerimiento asociado al Caso de prueba Descripción requerimiento asociado al Caso de prueba Objetivo del Caso de prueba Nº Paso Descripción del Paso Resultados Esperado Condiciones de entrada Medio de Validación Estado Fecha Final Documentación relacionado Ejecutor NECESIDADES DE AMBIENTE HARDWARE DE BASE DEL SISTEMA La siguiente tabla define los requerimientos de sistema para el esfuerzo presentado en este plan de pruebas. Recursos de Sistema Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 Recurso Cantidad Nombre y Tipo Computadores portátiles para todo el equipo del proyecto 6 Notebooks con mínimo las siguientes características: Disco duro 320 Gb, 2Gb memoria, procesador core 2 Duo o superior y tarjeta wireless y Ethernet. Servidor para repositorio de documentación y manejo de versiones. 1 Servidor con por lo menos 300 Gb de almacenamiento Máquina1: IBM Process Server Màquina2: IBM Portal Server Máquinas virtuales de ambientes 2 RAM 4GB, disco duro 200 Gb, procesador core 2 Duo o superior y tarjeta wireless y Ethernet ELEMENTOS DE SOFTWARE BASE EN EL AMBIENTE DE PRUEBAS El siguiente software base es requerido en el ambiente de prueba de este Plan de Pruebas. Nombre de Elemento de Software Suite JavaCAPS de sun JDK JMeter Versión 6.2 Tipo Servidor de aplicaciones, permite desarrollo de soluciones SOAP, ESB, BPEL 1.5 o superior 2.4.1 Pruebas de Carga Load Runner 8.1 Pruebas funcionales Processdash 1.11 PSP IBM Process Server 7.1 IBM Portal Server 6.1 Oracle GlassFish 2.1 Oracle MySQL 5.1 Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 HERRAMIENTAS DE PRODUCTIVIDAD Y SOPORTE Las siguientes herramientas son utilizadas para soportar el proceso de pruebas de este plan. Categoría Nombre de Herramienta Fabricante Versión Excel Microsoft 2007 Bugzilla Bugzilla.org 3.4.5 Herramienta de automatización de pruebas funcionales Load runner / soapui HP - Mercuty 8.1 Herramienta de automatización de pruebas de carga Jmeter Apache 2.4.1 Monitor de cubrimiento de pruebas Excel Microsoft 2007 Administración de proyecto dotproject Dotproject.org 2.1.2 Administración de pruebas Seguimiento de defectos Herramientas DBMS Toad y/o QueryBrowser for mysql y/o MsManager CONFIGURACIONES DE AMBIENTE DE PRUEBAS Las siguientes configuraciones necesitan ser proveídas y soportadas para el proyecto. Nombre de Configuración Descripción Implementado en configuración física Ambiente para el desarrollo de las soluciones Virtualizado Ambiente de pruebas funcionales Ambiente para el desarrollo de las pruebas funcionales de las aplicaciones Virtualizado Ambiente de pruebas Integrales Ambiente para probar las interacciones con los sistemas ya existentes Virtualizado Ambiente de pruebas de homologación El propósito de este ambiente es realizar pruebas con maquinas muy similares a las maquinas productivas y entrenar los procedimientos de paso a producción Ambiente de Desarrollo Ambiente productivo RESPONSABILIDADES Y NECESIDADES DE ENTRENAMIENTO Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 PERSONAS Y ROLES Esta tabla muestra las suposiciones de roles y personas para el esfuerzo de pruebas. Recursos Humanos Rol Mínimo recursos Responsabilidades específicas Proporcionar una Responsabilidades: Gestor de prueba 1 gestión adecuada. Proporcionar una dirección técnica. Adquirir los recursos apropiados. Informar de la gestión. Evaluar y probar las herramientas necesarias para cada caso de prueba definido. Implementador 1 Responsabilidades: Instalar herramientas a usar. Si es necesario, capacitar a los ejecutores de las pruebas en las herramientas a usar. Identificar, priorizar e implementar los casos de prueba. Diseñador de prueba 3 Responsabilidades: Generar el Plan de pruebas. Diseñar los Casos de prueba. Evaluar el esfuerzo de prueba. Ejecutar las pruebas. Probador (Tester) 3 Responsabilidades: NECESIDADES DE STAFF Y ENTRENAMIENTO Ejecutar pruebas. Recuperar los errores. Documentar los defectos. Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 Se requiere capacitación tecnológica y funcional de las herramientas: IBM Portal Server, IBM Process Server, Sistemas Actuales del Banco los Alpes, load runner. Se realizarán capacitaciones internas de las herramientas de control (Bugzilla, dotproject, loadrunner) a las personas que no estén familiarizados con las mismas. HITOS DE ITERACIÓN Hito Fecha de Inicio planeada Fecha de inicio real Fecha final planeada Plan de iteración acordado Agosto 07 Septiembre 15 Inicio iteración Agosto 07 Septiembre 15 Línea de base requerimientos Agosto 07 Septiembre 15 Línea de base arquitectura Agosto 07 Septiembre 15 Línea de base interfaz de usuario Agosto 07 Septiembre 15 Segundo build para pruebas Septiembre 16 Octubre 20 Segundo build aceptado para pruebas Octubre 21 Octubre 22 Ciclo de segundo build finalizado Octubre 23 Octubre 23 Revisión de evaluación de iteración Octubre 23 Octubre 23 Final de iteración Octubre 24 Octubre 24 Primer build para pruebas Primer build aceptado para pruebas Ciclo del primer build finalizado Fecha final real Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 Hito Fecha de Inicio planeada Fecha de inicio real Fecha final planeada Tercer build para pruebas Octubre 25 Noviembre 12 Tercer build aceptado para pruebas Noviembre 7 Noviembre 19 Tercer ciclo del build finalizado Noviembre 19 Noviembre 26 Revisión de evaluación de iteración Noviembre 22 Noviembre 26 Final de iteración Noviembre 26 Diciembre 05 Fecha final real RIESGOS, DEPENDENCIAS, SUPOSICIONES Y RESTRICCIONES Riesgo Estrategia de mitigación Contingencia Falta de tiempo Aplicar al cronograma planteado inicialmente una adición de tiempo equivalente al 10% sobre el tiempo inicialmente pactado Asignar más recursos Atrasos en corrección de errores Dar prioridad a errores funcionales y bloqueantes que impidan la continuación de las pruebas Asignar más personal de pruebas Plan de Pruebas deficiente Para el caso en que algún probador ejecute mal un plan de pruebas, se debe contar con un segundo probador que valide la correcta aplicación de las estrategias de pruebas, en puntos aleatorios. Suposición a ser probada Negociar previamente una adición de un 10% mas de tiempo a la fase de pruebas inicialmente planeada Impacto de suposición incorrecta Dueños Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Plan de pruebas MEPROC Fecha: 2010/10/11 Suposición a ser probada El ambiente de pruebas debe contar con las especificaciones mínimas de hardware y software Requerimientos funcionales depurados y consistentes Impacto de suposición incorrecta - Pruebas deficientes Caídas frecuentes Atrasos en el cronograma - Pruebas inconsistentes Atrasos en el cronograma Redefinición de requerimientos Cambios en otros módulos del sistema Inversión de tiempo en la generación de datos de prueba Atraso en el cronograma Inconsistencia en las pruebas - Datos de pruebas suficientes Restricciones - Impacto de la restricción - La fecha limite para la finalización del plan de pruebas es la cuarta semana del mes de Noviembre de 2010 - Iniciar a tiempo el paso a producción de la solución Incumplimiento en la entrega del proyecto El máximo número de recursos disponibles para pruebas es de 6 Utilización de herramientas libres y/o licenciadas Dueños Área de tecnología Grupo .JARC Grupo .JARC Dueños Grupo .JARC Grupo .JARC - Atrasos en el cronograma - Incurrir en sanciones por efectos de utilización de software pirata Herramientas con funcionalidades limitadas o nulas Herramientas con fecha de caducidad - Grupo .JARC Plan de pruebas MEPROC Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Fecha: 2010/10/11 PROCEDIMIENTO DE ADMINISTRACIÓN MÉTRICAS Y EVALUACIÓN DE LAS PRUEBAS Las métricas a tener en cuenta para el proyecto MEPROC, contendrán los siguientes atributos: Nombre Propósito Método de aplicación Medida, formula y computo de datos Interpretación del valor medido Tipo de escala Tipo de medida Fuente de medición Audiencia A su vez cada métrica será clasificado u organizada bajo los grupos de: Métricas de Funcionalidad o Adecuidad o Exactitud o Interoperabilidad o Seguridad o Conformidad de la funcionalidad Métricas de Fiabilidad o Madurez o Tolerancia a fallos o Recuperabilidad o Conformidad de la fiabilidad Métricas de Eficiencia o Comportamiento en el tiempo o Utilización de recursos o Conformidad de la eficiencia Métricas de Mantenibilidad o Analizabilidad Plan de pruebas MEPROC Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Fecha: 2010/10/11 o o o o Cambiabilidad Estabilidad Examinabilidad Conformidad de la mantenibilidad VALORACIÓN DE LOS ENTREGABLES DE ESTE PLAN DE PRUEBAS Código y resultados de pruebas en la fase de codificación Producto y resultado de pruebas en la fase de integración de software Sistema integrado y resultado de pruebas en la fase integración del sistema Sistema instalado en la fase de instalación Producto entregado en la fase de aceptación REPORTE DE PROBLEMAS, ESCALA Y SOLUCIÓN DE PUNTOS El equipo de pruebas debe monitorear y controlar el cumplimiento de los procedimientos definidos para las pruebas, verificando los resultados semanalmente. Además, el equipo de pruebas debe examinar tendencias en las ocurrencias de los problemas. Los problemas que se encuentren en el proceso serán documentados y al igual que los problemas se documentaran las soluciones de estos, el proceso que se seguirá para alcanzar la resolución de dichos problemas será el ir identificando cada uno de los problemas y aplicar las medidas necesarias para la solución de estos. ADMINISTRACIÓN DE CICLOS DE PRUEBAS El grupo de pruebas esta orientado a determinar si el producto en desarrollo cumple con los procedimientos detallados por las gerencias del proyecto, y si se acopla al estándar utilizado. En el proyecto MEPROC, el proceso de pruebas estará a cargo de la persona asignada para el rol de Administrador de pruebas. El administrador de pruebas será supervisado por los encargados de la gerencia del proyecto. Las principales tareas del grupo de pruebas para la fase de diseño arquitectónico son: revisar los documentos en Plan de pruebas MEPROC Especialización en Construcción de Software Grupo de trabajo: .JARC Versión: 1.1 Fecha: 2010/10/11 conformidad al estándar, revisar los procedimientos desarrollados y revisar los procesos de las gerencias en conformidad al estándar y a los planes de procedimientos definidos por ellos. Estas tareas de aseguramiento de la calidad serán desarrolladas por el administrador de pruebas del proyecto, con la ayuda de los integrantes de las demás áreas involucradas en el proyecto. Finalmente, toda la organización del proyecto MEPROC, se encuentra definida en el WBS. En este documento, también se definen los roles, responsabilidades y tareas de todos los integrantes del proyecto. ESTRATEGIA DE TRAZAB ILIDAD Para la realización de la estrategia de la trazabilidad se tendrá en cuenta la matriz de trazabilidad, el cual permite asociar los casos de pruebas con los requisitos propios para las pruebas, y controlar así en todo momento la cobertura de los requisitos de negocio a medida que se va avanzando en la ejecución de las pruebas, esta matriz se define en el numeral 7.6 con mas detalle. APROBACIÓN Y TERMINACIÓN La fase de aprobación será aprobada por el gerente de proyecto con el administrador de pruebas (líder de pruebas). Al finalizar esta fase se entregará un informe resumido de las pruebas. Gerente de proyecto: Líder de pruebas: