DPR Documento de pruebas <Nombre de Proyecto> Versión 1.0 Empresa: Fecha: Jefe Proyecto: Teléfono: Email: Unidad Gobierno: Contacto: Teléfono: Email: Área de Informática Jefe de proyecto: Teléfono: Email: Fecha: Versión: Autor: Documento: DPR Documento de pruebas. Proyecto: HOJA DE CONTROL DOCUMENTAL Realizado por Fecha Revisado por Fecha Aprobado por Fecha CONTROL DE VERSIONES Versión Fecha Descripción LISTA DE DISTRIBUCIÓN Nombre Rol Página 2 de 13 Organización Fecha: Versión: Autor: Documento: DPR Documento de pruebas. Proyecto: Índice 1. OBJETIVOS DEL DOCUMENTO .................................................................................................................... 4 2. DOCUMENTOS RELACIONADOS ................................................................................................................. 4 3. REQUISITOS HARDWARE Y SOFTWARE PARA LA REALIZACIÓNDE PRUEBAS ................................. 6 3.1. DESCRIPCION DEL ENTORNO DE PRUEBAS ........................................................................................................... 6 3.2. RESPONSABILIDADES ................................................................................................................................................ 6 4. PLAN DE PRUEBAS UNITARIAS .................................................................................................................. 6 4.1. ALCANCE DE LAS PRUEBAS UNITARIAS .................................................................................................................. 6 4.2. HERRAMIENTAS PARA LA REALIZACIÓN DE PRUEBAS UNITARIAS ..................................................................... 6 5. PLAN DE PRUEBAS FUNCIONALES ............................................................................................................ 6 5.1. ALCANCE DE LAS PRUEBAS FUNCIONALES ........................................................................................................... 7 5.2. HERRAMIENTAS .......................................................................................................................................................... 7 6. PLAN DE PRUEBAS DE INTEGRACIÓN E INPLANTACIÓN ....................................................................... 7 6.1. ALCANCE DE LAS PRUEBAS ...................................................................................................................................... 8 6.2. PRUEBAS DE INTEGRACION ESTRUCTURAL .......................................................................................................... 8 6.3. PRUEBAS DE INTEGRACION FUNCIONAL ................................................................................................................ 8 6.4. HERRAMIENTAS .......................................................................................................................................................... 8 7. PLAN DE PRUEBAS DE RENDIMIENTO ...................................................................................................... 8 7.1. PRUEBAS DE CARGA .................................................................................................................................................. 8 7.2. PRUEBAS DE STRESS ................................................................................................................................................ 8 7.3. PRUEBAS DE RESISTENCIA (SOAK) ......................................................................................................................... 9 7.4. PRUEBAS DE PICOS ................................................................................................................................................... 9 7.5. HERRAMIENTAS .......................................................................................................................................................... 9 8. PLAN DE PRUEBAS DE SEGURIDAD .......................................................................................................... 9 8.1. ALCANCE DE LAS PRUEBAS ...................................................................................................................................... 9 8.2. HERRAMIENTAS .......................................................................................................................................................... 9 9. PLAN DE PRUEBAS DE USABILLIDAD ....................................................................................................... 9 9.1. ALCANCE DE LAS PRUEBAS ...................................................................................................................................... 9 9.2. HERRAMIENTAS ........................................................................................................................................................ 10 10. PLAN DE PRUEBAS DE ACCESIBILIDAD ................................................................................................. 10 10.1. ALCANCE DE LAS PRUEBAS .................................................................................................................................... 10 10.2. HERRAMIENTAS ........................................................................................................................................................ 10 11. INFORME DE RESULTADOS DE LAS PRUEBAS UNITARIAS ................................................................. 12 12. INVENTARIO DE CASOS DE PRUEBA ....................................................................................................... 12 13. INFORME DE RESULTADOS DE LAS PRUEBAS DE INTEGRACIÓN E IMPLANTACIÓN ..................... 12 14. INFORME DE RESULTADOS DE LAS PRUEBAS DE RENDIMIENTO ..................................................... 12 15. INFORME DE RESULTADOS DE LAS PRUEBAS DE SEGURIDAD ......................................................... 12 16. INFORME DE RESULTADOS DE LAS PRUEBAS USABILIDAD .............................................................. 12 17. INFORME DE RESULTADOS DE LAS PRUEBAS ACCESIBILIDAD ........................................................ 13 Página 3 de 13 Fecha: Versión: Autor: Documento: DPR Documento de pruebas. Proyecto: 1. OBJETIVOS DEL DOCUMENTO Este documento tiene un doble objetivo en la primera parte del mismo se elaborará el Plan de Pruebas para el proyecto <Nombre del Proyecto>. A través de este Plan se especificarán: Los tipos de pruebas que se van a realizar. El Alcance de las pruebas que se realizarán según su tipo. Los grupos que van a participar en el Diseño y Ejecución de las Pruebas. Los Criterios de Paso / Fallo durante la Ejecución de las Pruebas. Las herramientas que se utilizarán en la ejecución de los diferentes tipos de pruebas. Los Criterios de Aceptación para las Pruebas de Aceptación del Sistema, definidos en el Acuerdo de Ejecución. La segunda parte del documento contiene los resultados obtenidos de la realización de las pruebas 2. DOCUMENTOS RELACIONADOS < En esta sección se enumeran los documentos relacionados con la implantación del sistema. Siempre se hará referencia como mínimo al Análisis Funcional, peticiones de cambio (que impliquen ampliaciones funcionales) y al Procedimiento de Planificación, diseño y ejecución de pruebas que aplique. >. Nombre Descripción Página 4 de 13 Fecha: Versión: Autor: Documento: DPR Documento de pruebas. Proyecto: Sección I PLAN DE PRUEBAS Página 5 de 13 Fecha: Versión: Autor: Documento: DPR Documento de pruebas. Proyecto: 3. REQUISITOS HARDWARE Y SOFTWARE PARA LA REALIZACIÓNDE PRUEBAS <En este apartado se detallan todos los requisitos, herramientas, configuraciones y otras consideraciones de tanto software como hardware para la elaboración de las pruebas> 3.1. DESCRIPCION DEL ENTORNO DE PRUEBAS <En este apartado se definen las dependencias y otras consideraciones de entorno relacionadas con las prueba> 3.2. RESPONSABILIDADES <La siguiente tabla resume cada una de las pruebas que se detallarán posteriormente así como su tipo y quien debe realizar las pruebas > Acción 4. Tipo de prueba responsable Empresa PLAN DE PRUEBAS UNITARIAS 4.1. ALCANCE DE LAS PRUEBAS UNITARIAS <En este apartado se define el alcance de las pruebas unitarias que va a realizar el equipo de desarrollo, así como las herramientas que, en su caso, se utilicen para el diseño y/o ejecución de las mismas. Estas pruebas pueden ser de caja negra o de caja blanca y se suelen enfocar en comprobar el funcionamiento correcto de pantallas y métodos Las pruebas unitarias se ejecutarán durante la codificación del sistema para verificar, principalmente: Mantenimientos de entidades de negocio. Generación de informes. Pantallas. Autenticación. Autorización. > 4.2. HERRAMIENTAS PARA LA REALIZACIÓN DE PRUEBAS UNITARIAS <En este apartado se describen las herramientas que se usarán en el proyecto para las pruebas unitarias: hojas excel, etc.> 5. PLAN DE PRUEBAS FUNCIONALES < En este apartado se describe el Plan de Pruebas Funcionales que se va a seguir en el proyecto <Nombre del Proyecto>. En este Plan se describe: El Alcance de las Pruebas Funcionales que se van a realizar (en casos de uso). Página 6 de 13 Fecha: Versión: Autor: Documento: DPR Documento de pruebas. Proyecto: Planificación de las iteraciones en las que se diseñan y ejecutan las pruebas, así como el grado de criticidad para dimensionar el esfuerzo de diseño y ejecución de pruebas. Las tareas que realizará el Grupo de Pruebas. Las condiciones que se deben cumplir para el comienzo y finalización de las pruebas. Las herramientas de gestión y técnicas utilizadas para diseño y ejecución de las pruebas. > 5.1. ALCANCE DE LAS PRUEBAS FUNCIONALES <En este apartado se identifica el alcance de las Pruebas Funcionales a partir del esfuerzo de pruebas inicialmente previsto. A partir de este alcance, el Equipo de Desarrollo o el Grupo de Pruebas diseñará los casos de pruebas que guiarán la ejecución de las pruebas. El alcance de las pruebas hará referencia a los casos de uso especificados en el Análisis Funcional. Para equilibrar el esfuerzo de las pruebas, se indicará una criticidad para cada caso de uso: Alta, Media, Baja, en función de la cual, se diseñarán más o menos casos de prueba. Las criticidades por defecto serán Medias>. <Este apartado podrá modificarse cada vez que se comience una iteración y se planifiquen pruebas funcionales en la misma>. Iteración Nº 1 Caso de Uso Descripción Criticidad Descripción Criticidad Descripción Criticidad Iteración Nº 2 Caso de Uso Iteración Nº n Caso de Uso 5.2. HERRAMIENTAS <En este apartado se identifican las herramientas de gestión y técnicas que se utilizarán en las pruebas funcionales (p.e. TestLink, Bugzilla, etc.)> 6. PLAN DE PRUEBAS DE INTEGRACIÓN E INPLANTACIÓN <Las pruebas de integración verifican si los componentes o subsistemas interactúan correctamente a través de sus interfaces (tanto internos como externos), cubren la funcionalidad establecida, y se ajustan a los requisitos especificados en las verificaciones correspondientes. Estas pruebas se pueden plantear desde un punto de vista estructural o funcional: Página 7 de 13 Fecha: Versión: Autor: Documento: DPR Documento de pruebas. Proyecto: Pruebas de integración estructural Las pruebas estructurales de integración son similares a las pruebas de caja blanca; pero trabajan a un nivel conceptual superior. En lugar de referirnos a sentencias del lenguaje, nos referiremos a llamadas entre módulos. Se trata pues de identificar todos los posibles esquemas de llamadas y ejercitarlos para lograr una buena cobertura de segmentos o de ramas. Pruebas de integración funcional Las pruebas funcionales de integración son similares a las pruebas de caja negra. Aquí trataremos de encontrar fallos en la respuesta de un módulo cuando su operación depende de los servicios prestados por otro(s) módulo(s). Según nos vamos acercando al sistema total, estas pruebas se van basando cada vez más en la especificación de requisitos del usuario > 6.1. ALCANCE DE LAS PRUEBAS <En este apartado se identifica el alcance de las pruebas de integración. Deberán definirse sobre todos los modulos que componen el sistema teniendo en consideración el entorno en el que finalmente serán desplegados >. 6.2. PRUEBAS DE INTEGRACION ESTRUCTURAL <En este apartado se especifica el plan de pruebas estructural > 6.3. PRUEBAS DE INTEGRACION FUNCIONAL <En este apartado se especifica el plan de pruebas funcional > 6.4. HERRAMIENTAS <En este apartado se identifican las herramientas de gestión y técnicas que se utilizarán en las pruebas de rendimiento, carga y stress (p.e. JMeter,)> 7. PLAN DE PRUEBAS DE RENDIMIENTO <Las Pruebas de Rendimiento se ejecutan tanto para determinar como responde un sistema ante una cierta carga, como para validar otros atributos relacionados con la calidad, como pueden ser la escalabilidad, la fiabilidad o el uso de recursos entre otros. Existen distintos tipos de pruebas de rendimiento que enumeramos en los apartados siguientes> 7.1. PRUEBAS DE CARGA <un test de carga se ejecuta para comprender el comportamiento deun sistema ante una carga determinada. Esta carga puede ser el número de usuarios esperado en producción o un número de transacciones durante un tiempo determinado. El resultado de esta prueba nos dará el tiempo de respuesta de todas las transacciones críticas. Se debén identificar los cuellos de botella que pudieran existir >. 7.2. PRUEBAS DE STRESS <Estas pruebas son utilizadas normalmente para someter a la aplicación al límite de su funcionamiento mediante la ejecución de un número de usuarios muy superior al esperado, o bien median la substracción de recursos (también conocidas como pruebas negativas donde se simula por ejemplo el fallo de un servidor en cluster). Este "test de stress" tiene como finalidad el determinar la robustez de una aplicación cuando la carga es extrema y ayuda a administradores a determinar los humerales de configuración de las alarmas de sistema Página 8 de 13 Fecha: Versión: Autor: Documento: DPR Documento de pruebas. Proyecto: entre otras cosas. En este tipo de pruebas los tiempos de respuesta de la aplicación no son importantes y tienden a ser ignorados. Otro posible objetivo de este tipo de pruebas es determinar el límite real de la aplicación en cuanto a número de usuarios concurrentes, numero de transacciones por segundo, etc...>. 7.3. PRUEBAS DE RESISTENCIA (SOAK) <Este test se realiza con el fin de determinar si la aplicación puede mantener la carga esperada de manera contínua y durante un largo tiempo. El objetivo principal de este tipo de pruebas es verificar que no existen fugas de memoria o procesos que pierdan rendimiento tras un cierto periodo de tiempo.>. 7.4. PRUEBAS DE PICOS < Este tipo de pruebas se realizan insertando la carga en el sistema en forma de “picos” que se irán lanzando en distintos momentos de la prueba y que permitirán comprender el comportamiento de la aplicación ante cambios bruscos de carga>. 7.5. HERRAMIENTAS <En este apartado se identifican las herramientas que se utilizarán en los diferentes tipos de prueba de rendimiento (p.e. JMeter,)> 8. PLAN DE PRUEBAS DE SEGURIDAD < Las Pruebas de Seguridad pretenden medir la Confidencialidad, Integridad y Disponibilidad de los datos tratando de identificar amenazas y riesgos desde el uso o interface de usuario final..> 8.1. ALCANCE DE LAS PRUEBAS <En este apartado se identifica el alcance de las pruebas de seguridad. Se tendrá en cuenta el entorno en el que finalmente serán desplegados y los estandares de seguridad del gobierno. Consultese el aapartado de diagrama de arquitectura amap.cantabria.es>. 8.2. HERRAMIENTAS <En este apartado se identifican las herramientas que se utilizarán para la gestión y realización de las pruebas de seguridad> 9. PLAN DE PRUEBAS DE USABILLIDAD < Las pruebas de usabilidad son una forma de medir cómo de bien puede una persona usar un objeto hecho por el hombre, como puede ser una página web, una interfaz de usuario, un documento o un dispositivo. Las pruebas de usabilidad consisten en seleccionar a un grupo de usuarios de una aplicación y solicitarles que lleven a cabo las tareas para las cuales fue diseñada, en tanto el equipo de diseño, desarrollo y otros involucrados toman nota de la interacción, particularmente de los errores y dificultades con las que se encuentren los usuarios. No es necesario que se trate de una aplicación completamente terminada, pudiendo tratarse de un prototipo> 9.1. ALCANCE DE LAS PRUEBAS <En este apartado se identifica el alcance de las pruebas de usabilidad el plan incluirá como mínimo: Exactitud: Número de errores cometidos por los sujetos de prueba y si estos fueron recuperables o no al usar los datos o procedimientos adecuados. Tiempo requerido para concluir la actividad. Página 9 de 13 Fecha: Versión: Autor: Documento: DPR Documento de pruebas. Proyecto: Respuesta emocional: Cómo se siente el usuario al terminar la tarea (bajo tensión, satisfecho, molesto, etcétera).> 9.2. HERRAMIENTAS <En este apartado se identifican las herramientas que se utilizarán para la gestión y realización de las pruebas de usabilidad> 10. PLAN DE PRUEBAS DE ACCESIBILIDAD <Las pruebas de accesibilidad intentan descubrir la facilidad con la que se puede utilizar un sitio web y utilizar esta información para mejorar futuros diseños e implementaciones. El plan deberá tener en cuenta la normativa del estandar UNE-139803 y deberá garantizar que la aplicación cumple como mínimo con el nivel de analisis AA > 10.1. ALCANCE DE LAS PRUEBAS 10.2. HERRAMIENTAS <En este apartado se identifican las herramientas que se utilizarán para la gestión y realización de las pruebas de usabilidad Se deberán utilizar las herramientas proporcionadas por la WAI del W3C para la detección de problemas de accesiblidad para poder detectar y corregir las deficiencias de accesibilidad detectadas: http://www.w3.org/WAI/ER/tools/ El informe del resultado será adjuntado al apartado de resultados de las pruebas de la sección II/> Página 10 de 13 Fecha: Versión: Autor: Documento: DPR Documento de pruebas. Proyecto: Sección II RESULTADOS DEL PLAN DE PRUEBAS Página 11 de 13 Fecha: Versión: Autor: Documento: DPR Documento de pruebas. Proyecto: 11. INFORME DE RESULTADOS DE LAS PRUEBAS UNITARIAS <Adjuntar aquí el informe proporcionado por las herramientas de test unitario> 12. INVENTARIO DE CASOS DE PRUEBA Caso de prueba: CP-<Número Secuencia> Nombre Nombre <Nombre de la prueba.> Descripción <Objetivo y alcance de la prueba.> Tipo <Tipo de la prueba.> Precondiciones <Estado del sistema antes de comenzar la prueba.> Postcondiciones <Estado del sistema al finalizar la prueba.> Entradas Versión Alta <Lista de estímulos y datos específicos a introducir.> <Nombre del requisito, caso de uso o componente (en caso de tratarse de pruebas no asociadas a requisitos, como las unitarias) que ejercita.> Fecha Alta Versión Modif. Fecha Modif. Elementos relacionados Descripción PROCEDIMIENTO DE PRUEBA Actor <Describir paso a paso las instrucciones para ejecutar el caso de prueba.> Sistema <Respuesta esperada del sistema> RESULTADO OBTENIDO Cumple Si No Comentario <Se describe el resultado esperado, adjuntando pantallazos si es necesario> 13. INFORME DE RESULTADOS DE LAS PRUEBAS DE INTEGRACIÓN E IMPLANTACIÓN <Adjuntar aquí el informe resultante de la realización de las pruebas de integración > 14. INFORME DE RESULTADOS DE LAS PRUEBAS DE RENDIMIENTO <Adjuntar aquí el informe proporcionado por las herramientas pruebas de rendimiento> 15. INFORME DE RESULTADOS DE LAS PRUEBAS DE SEGURIDAD <Adjuntar aquí el informe resultante de la realización de las pruebas de seguridad > 16. INFORME DE RESULTADOS DE LAS PRUEBAS USABILIDAD <Adjuntar aquí el informe resultante de la realización de las pruebas de usabilidad > Página 12 de 13 Fecha: Versión: Autor: Documento: DPR Documento de pruebas. Proyecto: 17. INFORME DE RESULTADOS DE LAS PRUEBAS ACCESIBILIDAD <Adjuntar aquí el informe resultante de la realización de las pruebas de accesibilidad > Página 13 de 13