Protocolo de Pruebas VERSIÓN 0.3 Dirigido a: Ingeniera luisa Fernanda barrera león Autor: Katherine Espíndola Buitrago PONTIFICIA UNIVERSIDAD JAVERIANA Departamento de ingeniería de sistemas Bogotá, Colombia Noviembre, 2015 Protocolo de Pruebas 1 Historial de cambios VERSIÓN FECHA Protocolo de Pruebas versión 0.1 Protocolo de Pruebas versión 0.2 Protocolo de Pruebas versión 0.3 2 de Noviembre de 2015 20 de Noviembre de 2015 18 de Diciembre de 2015 Protocolo de Pruebas SECCIÓN DEL DOCUMENTO DESCRIPCIÓN DE CAMBIOS RESPONSABLE Creación estructura del Katherine Espíndola documento. 1, 2 Adición Sección 1 Adición Sección 2 Katherine Espíndola 1, 2 Modificación Sección 1 Modificación Sección 2 Katherine Espíndola 2 Tabla de contenido Historial de cambios ............................................................................................................................ 2 Introducción ........................................................................................................................................ 5 1. 2. 3. Pruebas Funcionales .................................................................................................................... 5 1.1. Caso de Prueba: Profesor .................................................................................................... 5 1.2. Caso de Prueba: Estudiante ................................................................................................. 8 Validación con TAM2 ............................................................................................................... 11 2.1. Protocolo ........................................................................................................................... 12 2.2. Desarrollo .......................................................................................................................... 12 2.3. Resultados ......................................................................................................................... 12 Prueba de Usabilidad................................................................................................................. 14 Anexos............................................................................................................................................... 17 Anexo I. Grafo Profesor ........................................................................................................... 17 Anexo II. Grafo Estudiante........................................................................................................ 17 Anexo III. Presentación Validación ............................................................................................ 17 Anexo IV. Protocolo Validación ................................................................................................. 17 Anexo V. Encuesta de Validación ............................................................................................. 17 Anexo VI. Comentarios de Validación ....................................................................................... 17 Anexo VII. Encuestas Diligenciadas Validación ..................................................................... 18 Anexo VIII. Consolidado Encuesta de Validación .................................................................... 18 Anexo IX. Prueba de Usabilidad ................................................................................................. 18 Anexo X. Datos recolectados Prueba de Usabilidad ................................................................. 18 Anexo XI. Consolidado Prueba de Usabilidad............................................................................ 18 Trabajos citados ................................................................................................................................ 19 Protocolo de Pruebas 3 Figuras Figura 1: Caso de prueba de profesor – perfil ..................................................................................... 5 Figura 2: Caso de prueba de profesor – recomendaciones .................................................................. 6 Figura 3: Caso de prueba de profesor – Grafo de recomendaciones ................................................... 7 Figura 4: Caso real de estudiante – perfil. Los aspectos de personalización están enmarcados en verde ............................................................................................................................................................. 8 Figura 5: Caso real de estudiante – recomendaciones. Los aspectos de personalización están enmarcados en verde ........................................................................................................................... 9 Figura 6: Caso real de estudiante – Grafo de recomendaciones. Representación de recomendación: línea punteada. Representación de red de conocimiento personal: línea continua. ........................... 10 Figura 7: TAM2 (Adaptado de [3]) ................................................................................................... 11 Figura 8: Resultados generales: Validación de Know&Share con TAM2 ........................................ 13 Figura 9: Utilidad percibida de la recomendación especial .............................................................. 13 Figura 10: Priorización de Atributos de Calidad ............................................................................... 14 Figura 11: Resultado QUIS ............................................................................................................... 16 Tablas Tabla 1: Preguntas prueba de usabilidad ........................................................................................... 15 Protocolo de Pruebas 4 Introducción En las siguientes secciones se detallan cada una de las validaciones realizadas teniendo en cuenta el prototipo. A continuación se presentan las pruebas funcionales (ver sección 1), la validación de la arquitectura (ver sección 2) y la prueba de usabilidad (ver sección 3). 1. Pruebas Funcionales El propósito de las pruebas funcionales fue validar las reglas de recomendación de conexiones, las cuales le permiten a Know&Share entregarle contenido relevante al usuario para que este pueda iniciar y/o expandir su red de conocimiento personal. Para esto se crearon 33 casos de pruebas. A continuación, se presenta un caso de prueba de un profesor y un caso real de un estudiante, donde se pueden ver las diferencias en las recomendaciones de usuarios realizada por Know&Share, así como el contenido personalizado. 1.1. Caso de Prueba: Profesor Como se puede ver en la Figura 1, el caso de prueba se llama Laura Coral, su personalidad es ISFJ y pertenece a la carrera de Ingeniería de Sistemas. En la figura también se pueden ver sus énfasis, áreas de conocimiento y cualidades como profesor y como profesional. Figura 1: Caso de prueba de profesor – perfil Protocolo de Pruebas 5 Por otro lado, en la Figura 2 se puede ver que Know&Share le recomienda conexiones de relevancia (“Seguir”) y conexiones de confianza (“Enviar solicitud de amistad”). Adicionalmente, en la figuras se pueden ver aspectos de personalización (enmarcados en verde) como el nombre, la personalidad, el perfil y el leaderboard de la carrera a la que pertenece. Figura 2: Caso de prueba de profesor – recomendaciones Teniendo lo anterior en cuenta, la Figura 3 presenta el grafo de recomendaciones en el cual se puede ver las recomendaciones con línea punteada de nodos de confianza, en morado, y nodos relevantes en azul; los nodos en naranja representan otros usuarios de Know&Share que no se van a recomendar. Protocolo de Pruebas 6 Figura 3: Caso de prueba de profesor – Grafo de recomendaciones A continuación se explican dos de las recomendaciones que Know&Share le hace: Natalia Flórez es una estudiante que pertenece a la carrera de Ingeniería de Sistemas, su personalidad es ENFJ (diferencias intrigantes) y sus habilidades profesionales son iguales a las cualidades profesionales de Laura (comunicaciones, redes y dispositivos móviles); en Protocolo de Pruebas 7 consecuencia Know&Share recomienda a Natalia como un nodo de confianza (encerrado en rojo en el grafo y en la figura de recomendaciones). Rodrigo Ortega es un profesor que pertenece a la carrera de Estudios Literarios, su personalidad es ISTP (complementos potenciales) y sus áreas de conocimiento (escrituras creativas e investigación) no son iguales a las de Laura (principios y diseño de sistemas operativos, sistemas distribuidos, etc.); en consecuencia Know&Share no le recomienda a Rodrigo (encerrado en azul en el grafo y en la figura de recomendaciones). En contraste con lo anterior, tanto en la figura de recomendaciones como en el grafo, se puede ver que Know&Share le hace una recomendación especial (con la pregunta ‘¿por qué no lo miras?’) de Rodrigo, esto le permite a Laura visitar su perfil y crear una conexión si así lo quiere. Esta recomendación especial se debe a que Know&Share ofrece un espacio de cooperación interdisciplinario en el cual los usuarios están expuestos a intereses distintos dado que “el conocimiento requiere diversidad de opiniones para representar el todo y permitir el mejor enfoque” [1]. En la siguiente sección se presenta un usuario real inscrito durante la prueba de validación (ver sección 2) con el cual se pueden ver las diferencias entre el caso de la profesora Laura presentado en esta sección y un estudiante real con la misma personalidad. 1.2. Caso de Prueba: Estudiante Como se puede ver en la Figura 4, la estudiante real se llama Melissa Espíndola, su personalidad es ISFJ como la de Laura Coral y pertenece a la carrera de Estudios Literarios. Figura 4: Caso real de estudiante – perfil. Los aspectos de personalización están enmarcados en verde En la figura también se puede ver parte de su perfil el cual, en contraste con el del profesor, incluye sus gustos y sus habilidades personales. Por otro lado, en la Figura 5 se puede ver que Know&Share le recomienda conexiones de relevancia y de confianza como a Laura, pero las recomendaciones Protocolo de Pruebas 8 cambian. Por ejemplo, Natalia Flórez (encerrada en naranja en la Figura 2 y Figura 5) es recomendada tanto a Laura como a Melissa, pero a Laura se le recomienda una relación de confianza, mientras que a Melissa se le recomienda una relación de relevancia debido a que, aunque no pertenecen a la misma carrera, tienen gustos similares y sus personalidades son cercanas. Figura 5: Caso real de estudiante – recomendaciones. Los aspectos de personalización están enmarcados en verde Teniendo en cuenta el grafo de recomendaciones de Melissa (ver Figura 6), a continuación se explican dos de las recomendaciones que Know&Share hace, en contraste con las de Laura Coral: Rodrigo Ortega es un profesor que pertenece a la carrera de Estudios Literarios, su personalidad es ISTP (complementos potenciales) y sus cualidades como profesional (campo creativo y de investigación) son las mismas de Melissa; en consecuencia Know&Share le recomienda a Rodrigo como un nodo de confianza (encerrado en rojo en el grafo y en la figura de recomendaciones de Melissa). Paola Castro es profesora de Ingeniería de Sistemas, su personalidad es ENFP (complementos potenciales) y sus cualidades como profesional (Sistemas de información y Computación gráfica) no son iguales a las de Melissa (campo creativo y de investigación); en consecuencia Know&Share no le recomienda a Paola (encerrado en azul en el grafo y en la figura de recomendaciones). De la misma manera que a Laura, Know&Share le hace una recomendación especial de Paola, de tal manera que este expuesta a intereses distintos como es Ingeniería de Sistemas para Melissa. Protocolo de Pruebas 9 Figura 6: Caso real de estudiante – Grafo de recomendaciones. Representación de recomendación: línea punteada. Representación de red de conocimiento personal: línea continua. Por otro lado, comparando los dos grafos de recomendación (Figura 3 y Figura 6) se puede ver la diferencia entre el número de nodos de conexiones de confianza y de relevancia recomendados, esto Protocolo de Pruebas 10 se debe a que la mayoría de los casos de prueba son de la Facultad de Ingeniería, a la cual pertenece Laura. Además, se puede ver que los casos de prueba de carreras no afines, como arquitectura o diseño industrial, a las carreras de Melissa y Laura no son recomendados en ningún caso por Know&Share. De todo lo anterior se puede concluir, que Know&Share es una red de conocimiento personalizada la cual recomienda que conexiones entre sus usuarios en un espacio de cooperación interdisciplinario validando así parte del objetivo general del proyecto. 2. Validación con TAM2 Esta sección presenta la validación de la arquitectura de Know&Share. Debido a la naturaleza de este proyecto para validar la utilidad potencial de la arquitectura se utilizó el Modelo de Aceptación Tecnológica 2 (TAM2) [2], el cual según Willis [3] es un medio para entender el comportamiento de los usuarios de redes sociales, esto se debe a que los usuarios deciden adoptar una red social (Intención de Uso) basados en el resultado de su evaluación de la dificultad de utilizarla (Facilidad de Uso Percibida), su creencia de que su uso aumentará su rendimiento (Utilidad Percibida), y la influencia de las personas que son importantes para ellos (Norma Subjetiva) [2]; como se muestra en la Figura 7. Figura 7: TAM2 (Adaptado de [3]) Teniendo en cuenta lo anterior, se prepararon varias sesiones de validación del prototipo con algunos stakeholders cuyo propósito fue “evaluar la utilidad potencial de Know&Share” por medio de un cuestionario (ver Anexo V) el cual fue contestado por: 3 profesores, 2 egresados y un estudiante desarrollando TG de Ingeniería de Sistemas y un estudiante de Estudios Literarios. Protocolo de Pruebas 11 2.1. Protocolo Para llevar a cabo la sesión de validación se diseñó una presentación (ver Anexo III) así como un protocolo (ver Anexo IV) el cual llevó el orden de la sesión planteado para 60 minutos. Adicionalmente, se adaptaron varias de las preguntas de [2] y [3] con una adaptación de la escala de Likert [4]. 2.2. Desarrollo Durante la sesión de validación los asistentes contestaron un cuestionario (ver Anexo V) y adicionalmente, los asistentes dieron sus comentarios (ver Anexo VI) sobre su impresión del prototipo. Los cuestionarios diligenciados pueden ser visualizados en el Anexo VII. 2.3. Resultados Según los resultados obtenidos (ver Figura 8 y Anexo VIII), se puede ver que la utilidad percibida fue calificada positivamente (el 58% manifestaron estar totalmente de acuerdo y el 38% estar de acuerdo), sin embargo la facilidad de uso, a comparación con las demás, no fue percibida como se esperaba (el 14% manifestó estar en desacuerdo, el 57% de acuerdo y solo el 29% totalmente de acuerdo) por lo tanto debe refinarse el diseño de interfaz y buscar e implementar técnicas de diseño de experiencias de usuario (UXD [5] por siglas en inglés). Con respecto a la intención de uso, aunque el 14% manifestó estar en desacuerdo, el 57% manifestaron estar totalmente de acuerdo. De este aspecto, vale la pena recalcar que a la afirmación “Know&Share es útil para los estudiantes que no han elegido su tema de trabajo de grado” el 78% de los encuestados manifestaron estar totalmente de acuerdo. En cuanto a la norma subjetiva, se puede afirmar que es posible que se sientan influenciados por otras personas para utilizar Know&Share. Protocolo de Pruebas 12 Resultados TAM2 100% 100% 90% 80% 70% 58% 57% 60% 57% 50% 40% 34% 29% 29% 30% 14% 20% 10% 14% 8% 0% 0% 0% 0% 0% 0% 0% Facilidad de Uso Percibida Utilidad Percibida Totalmente en desacuerdo En desacuerdo Norma Subjetiva De acuerdo Intención de Uso Totalmente de acuerdo Figura 8: Resultados generales: Validación de Know&Share con TAM2 Adicionalmente, con respecto a la afirmación: “Es útil la recomendación especial” (ver Figura 9) el 45% de los encuestados manifestaron estar en desacuerdo. Teniendo en cuenta que la recomendación especial permite la creación de redes de conocimiento valiosas e interdisciplinares, es necesario revisar mecanismos que motiven a los usuarios a tomar en cuenta las recomendaciones especiales que se le muestran. Es útil la recomendación especial Totalmente en desacuerdo En desacuerdo De acuerdo Totalmente de acuerdo 0% 11% 45% 44% Figura 9: Utilidad percibida de la recomendación especial Protocolo de Pruebas 13 Teniendo en cuenta lo anterior, se puede concluir que, aunque el diseño de la interfaz diseñada en el prototipo necesita ser mejorada, la arquitectura de Know&Share es potencialmente útil para buscar y divulgar ideas de temas de trabajo de grado. 3. Prueba de Usabilidad Como se puede ver en la Figura 10, el atributo de calidad más importante para Know&Share es la usabilidad. Teniendo en cuenta esto se tomaron algunas preguntas de QUIS (Questionnaire for User Interface Satisfaction) [6] para evaluar el diseño de la interfaz de diferentes partes del prototipo. Priorización de Atributos de Calidad Must Have Should Have Could Have Won’t Have this time Usabilidad Portabilidad Seguridad Figura 10: Priorización de Atributos de Calidad Protocolo de Pruebas 14 A continuación en la Tabla 1 se presentan algunas de las preguntas (ver Anexo IX) diseñadas para cada parte donde en la columna escala se puede ver el valor que asignado a cada respuesta. Parte Registro Información del Sistema Red Social Recomendación Especial Leaderboard Perfil Pregunta Proporciona un distintivo visual los campos de datos en: Organización de la información de la interfaz es: ¿Se puede distinguir la sección de ideas de la sección de recomendación de usuarios? El uso de la terminología es: Escala 1 Muy bajo grado 3. Alto grado 2. Bajo grado 4. Muy alto grado 1. Muy confusa 3. Clara 2. Confusa 4. Muy clara 4. Si 1. No 1. Muy inconsistente 2. Inconsistente 3. Consistente 4. Muy consistente ¿Se puede distinguir la carrera que 4. Si obtuvo el último puesto? ¿Los menús se diferencian de otra 1. Muy confusos información que aparece? 2. Confusos 1. No 3. Claros 4. Muy claros Tabla 1: Preguntas prueba de usabilidad Teniendo en cuenta lo anterior, en la Figura 11 se pueden ver los resultados de la prueba descrita. De acuerdo a la figura, se puede afirmar que el registro de usuarios en el sistema no fue evaluado satisfactoriamente en comparación con las publicaciones, el perfil o el leaderboard. En consecuencia, por un lado es necesario implementar la navegación entre las páginas de tal forma que los usuarios puedan avanzar y retroceder entre ellas para corregir posibles equivocaciones, por otro lado se debe revisar la densidad de las pantallas. Adicionalmente, teniendo en cuenta la diferencia mostrada en la figura, es evidente que la red social fue evaluada no fue calificada positivamente comparada con las otras partes de la interfaz. Una de las preguntas más importantes de esta parte era: “¿Se puede distinguir la sección de ideas de la sección de recomendación de usuarios?”, a la cual que el 75% de los encuestados respondió Si, sin embargo el 25% que respondió No, por lo tanto es necesario demarcar las dos secciones de tal forma que el 100% de los usuarios puedan distinguirlas entre sí. Protocolo de Pruebas 15 Resultados QUIS 250 200 150 100 50 0 Registro Información del Sistema Red Social Obtenido Recomendación Esperado Figura 11: Resultado QUIS Protocolo de Pruebas 16 Leaderboard Diferencia Perfil Anexos Esta sección presenta los documentos que hicieron parte de las pruebas. Anexo I. Grafo Profesor Este anexo presenta el grafo de la prueba funcional del profesor. Para visualizarlo siga el vínculo en la imagen a la izquierda. Anexo II. Grafo Estudiante Este anexo presenta el grafo de la prueba funcional del estudiante. Para visualizarlo siga el vínculo en la imagen a la derecha. Anexo III. Presentación Validación Este anexo presenta la agenda utilizada para el desarrollo del workshop. Para visualizarla siga el vínculo en la imagen a la izquierda. Anexo IV. Protocolo Validación Este anexo presenta el protocolo diseñado que llevó el orden de la sesión de validación Para visualizarlo siga el vínculo en la imagen a la derecha Anexo V. Encuesta de Validación Este anexo presenta el cuestionario de validación. Para visualizarlo siga el vínculo en la imagen a la izquierda. Anexo VI. Comentarios de Validación Este anexo presenta el audio del desarrollo de la validación. Para escucharlo siga el vínculo en la imagen a la derecha. Protocolo de Pruebas 17 Anexo VII. Encuestas Diligenciadas Validación Este anexo presenta los cuestionarios de la validación diligenciados por los asistentes. Para visualizarlo siga el vínculo en la imagen a la izquierda. Anexo VIII. Validación Consolidado Encuesta de Este anexo presenta los resultados del cuestionario de validación. Para visualizarlo siga el vínculo en la imagen a la derecha. Anexo IX. Prueba de Usabilidad Este anexo presenta la prueba de usabilidad preparada para evaluar el prototipo desarrollado. Para visualizarlo siga el vínculo en la imagen a la izquierda. Anexo X. Datos recolectados Prueba de Usabilidad Este anexo presenta los datos recolectados en la prueba de usabilidad. Para visualizarlo siga el vínculo en la imagen a la derecha. Anexo XI. Consolidado Prueba de Usabilidad Este anexo presenta los resultados de la prueba de usabilidad. Para visualizarlo siga el vínculo en la imagen a la izquierda. Protocolo de Pruebas 18 Trabajos citados [1] G. Siemens, Knowing Knowledge, 2006. [2] V. Venkatesh and F. Davis, "A Theoretical Extension of the Technology Acceptance Model: Four Longitudinal Field Studies," Management Science, vol. 46, pp. 186-204, 2000. [3] T. J. Willis, "An evaluation of the Technology Acceptance Model as a means of understanding online social networking behavior," Graduate Theses and Dissertations, 2008. [4] Antz, "Escala de Likert," [Online]. Available: http://www.ict.edu.mx/acervo_bibliotecologia_escalas_Escala%20de%20Likert.pdf. [Accessed 17 12 2015]. [5] The Skool Network, "What is UX Design?," 12 08 2015. [Online]. Available: https://www.youtube.com/watch?v=CJnfAXlBRTE. [Accessed 21 10 2015]. [6] H. X. Lin, Y.-Y. Choong and G. Salvendy, "A proposed index of usability: a method for comparing the relative usability of different software systems," Behaviour & Information Technology, vol. 16, no. 4-5, pp. 267-277, 1997. [7] The PHP Group, "PHP," 2001 - 2015. [Online]. Available: https://secure.php.net/. [Accessed 21 11 2015]. Protocolo de Pruebas 19