Propuesta de proceso de evaluación de la calidad del software

Propuesta de proceso de evaluación de la calidad del software educativo
Osiris Perez Moya1, Rislaidy Pérez Ramos2
Universidad de las Ciencias Informáticas, Ciudad de la Habana (C.P. 10800) Cuba
1,2
{operez, rpramos}@uci.cu
Resumen
Résument
La evaluación de la calidad del software educativo desde el
L'évaluation de la qualité du logiciel éducatif depuis le
proceso de producción constituye el tema de esta
processus de production est le sujet de cette recherche. Une
investigación. Se fundamenta una propuesta de un proceso
proposition d'un processus repose pour évaluer la qualité du
para evaluar la calidad del software educativo desde el
logiciel éducatif depuis le commencement de sa production,
inicio de su producción, identificando artefactos necesarios,
en identifiant des machines nécessaires, des machines
artefactos resultantes y las personas que participan en cada
résultantes et les personnes qui participent à chaque étape
etapa identificada. Además, se describe una propuesta de
identifiée. De plus une proposition se fait de métriques qui
métricas que ayudan al control y buen desempeño de las
aident au contrôle et la bonne performance de étape
etapas de Análisis & Diseño.
d'Analyse et de Dessin.
Palabras claves
Des mots cloue
Software educativo, proceso de evaluación.
Logiciel éducatif, processus d'évaluation.
Abstract
Introducción
The evaluation of the quality of the educational software
from the defined production process is the topic of this
investigation. A proposal a process based to evaluate the
quality of the educational software from the beginning of its
production, necessary artifacts, resulting artifacts and
En la actualidad los mayores esfuerzos para mejorar la
calidad del software se realizan fuera de la línea de
producción, lo que trae como consecuencia que no se
definan los parámetros de calidad del producto que se deben
seguir durante su producción.
people that participate in each stage identifying. In addition
an offer does to itself of metric that help to the control and
La gestión de la calidad ha
sido una necesidad de las
good performance of the stages of Analysis & Design.
empresas de dicadas a la producción de software, tanto en el
proceso de desarrollo como en el producto final. El auge de
este tema en los últimos años ha estado motivado por el
fracaso de algunos productos de software a los que no se le
Key words
Educational software, evaluation of educational software,
evaluation process.
han efectuados pruebas durante su etapa de producción o a
los cuales no se les han planificado pruebas, en el contrato
inicial, para su ciclo de desarrollo. Otra de las causas que
influye en esta problemática
es que los documentos de
gestión y aseguramiento de la calidad de un proyecto de
software no tienen seguimiento durante todo el proceso y al
final del ciclo no se cumplen, lo que conlleva a la
Etapa 1: Evaluación de la definición del proyecto
En esta etapa se revisan los resultados de la definición del
proyecto.
insatisfacción del cliente. Diversas investigaciones abordan
la temática de la calidad del software, pero pocas lo hacen
Los artefactos que se generan en la definición del proyecto
son: (Piñero Perez & Perez, 2007)
enfocadas desde el propio proceso productivo.
De la revisión a la literatura especializada se aprecian dos
Solicitud del proyecto.
limitaciones: a) los modelos y estándares internacionales
Guión de contenidos.
plantean qué se debe hacer pero no cómo; b) la mayoría de
Definición de estrategia de trabajo.
estos modelos están en inglés y son muy genéricos, lo que
dificulta su adaptación a proyectos específicos. El objetivo
Definición del líder de proyecto (identificar las
de esta investigación es desarrollar una propuesta de un
competencias que debe tener).
instrumento para la evaluación de la calidad del software
Definición
educativo.
del
equipo
de
trabajo
(definir
conocimientos básicos o cursos para capacitar).
Proceso de producción de software educativo
Control de los contactos de los integrantes del
El proceso de producción de software educativo inicia
equipo.
cuando un cliente realiza la solicitud de desarrollo de un
Establecimiento de las políticas de Gestión de
producto y se procede a ejecutar la contratación o definición
configuración y salvas.
del proyecto, etapa en la que se llega a un acuerdo entre las
Registro de eventos en el documento bitácora.
partes sobre las necesidades del cliente, y se acuerdan los
(fechas de entregas, acuerdos e incumplimientos).
precios. La etapa siguiente en este proceso es la gestión de
Cronograma general e inicial del proyecto.
requisitos y análisis, en la que se define el contenido del
software y el conjunto de actividades que conducen al logro
Documento Visión.
de los objetivos de aprendizaje propuestos para la
construcción del conocimiento. Para ello se hace una
evaluación técnica del proyecto, se gestionan las medias que
se utilizarán en el producto y se confecciona el diseño que
En cada una de las etapas de revisión que se proponen, se
incluye una actividad encargada de corregir los errores
encontrados.
debe ser aprobado por especialistas en el tema. La etapa de
A continuación se muestran los roles que estarían
gestión de medias es la que permite seleccionar los recursos
involucrados en la revisión.
mediáticos que se utilizarán en la confección del producto.
Participan:
Las etapas de análisis y diseño son idénticas a las que
propone el Rational Unified Process (RUP) para la
aproximación a la solución del problema. El diseño gráfico
es la etapa que permite crear los componentes visuales y que
nos proporciona la estética del producto final.
A
Revisor técnico: Encargado de revisar todos los documentos
generados en la definición del proyecto, centra su atención
en el cumplimiento de las plantillas destinadas para los
artefactos resultantes en la definición del proyecto, y en la
redacción de estos. (Rational, 2003)
continuación se procede a la construcción del producto y al
concluir se realizan las pruebas de aceptación por parte del
Experto en pedagogía: Se encarga de revisar el guión de
cliente. La gestión de configuración es una etapa horizontal
contenidos, así como su estructura. Asegura que el
que tiene participación en todo el proceso de producción.
contenido es el adecuado para la audición seleccionada, y
(Piñero Perez & Perez, 2007)
que
se
cumplen
con
los
parámetros
pedagógicos
establecidos como formas de evaluación, objetivos del
Propuesta del proceso de evaluación del
software educativo
contenido, etcétera.
Experto en aspectos técnicos: Analiza los temas referentes a
la gestión de configuración. Asegura el cumplimiento de las
pautas definidas para aplicar la gestión de configuración y
salvas del proyecto, así como la definición de los elementos
de configuración, el comité de control de cambios y el
proceso de cambios en el proyecto.
Experto en aspectos de producción: Encargado de revisar el
cronograma general e inicial del proyecto, la definición de
estrategia de trabajo, identifica además las competencias que
debe tener el líder de proyecto, así como los conocimientos
básicos o cursos que se deben impartir para capacitar al
equipo de desarrollo; revisa el control de los contactos que
tienen intereses en el proyecto y asegura que el proyecto sea
viable para la organización, o sea, revisa el contrato.
Experto en software educativo: Encargado de garantizar que
exista concordancia entre el contenido del producto y el
mapa de navegación.
Ilustración 1 Etapa de evaluación para la
Definición del Proyecto
Resultados:
Solicitud del proyecto [revisado y aprobado].
Guión de contenidos [revisado y aprobado].
En esta etapa se revisan los resultados de la Gestión de
Definición de estrategia de trabajo chequeada
[revisado y aprobado].
competencias que debe tener).
del
equipo
requisitos y análisis.
Los artefactos que se generan en la Gestión de requisitos y
Definición del líder de proyecto (identificar las
Definición
Etapa 2: Evaluación de la gestión de requisitos y análisis
de
análisis son: (Piñero Perez & Perez, 2007)
Guión técnico.
trabajo
(definir
Planillas de medias.
conocimientos básicos o cursos para capacitar).
Documento técnico.
Control de los contactos de los integrantes del
equipo.
Documento bitácora [actualizado].
Establecimiento de las políticas de gestión de
A continuación se muestran los roles que estarían
configuración y salvas [revisado y aprobado].
involucrados en la revisión.
Registro de cada evento en el documento bitácora.
Participan:
(fechas de entregas, acuerdos e incumplimientos)
Revisor técnico: Encargado de revisar todos los documentos
[revisado y aprobado].
generados en la Gestión de requisitos y análisis, centra su
Cronograma general del proyecto [revisado y
aprobado].
atención en el cumplimiento de las plantillas destinadas para
los artefactos resultantes y en la redacción de estos.
(Rational, 2003)
Documento Visión [revisado y aprobado].
Experto en pedagogía: Se encarga de revisar el guión de
Documento de no conformidades.
Diagrama:
contenidos y su estructura. Asegura que el contenido es el
adecuado para la audición seleccionada y que se cumplen
con los parámetros pedagógicos establecidos como formas
de evaluación, etcétera.
Experto en software educativo: Se encarga de revisar, en
conjunto con el revisor técnico y la persona designada por la
entidad que solicita el producto, el guión técnico.
Donde
: Consistencia de la interpretación de los
revisores para cada requisito.
Cliente: Se encarga de revisar el guión técnico.
: Número de requisitos en una especificación.
Resultados:
Guión técnico chequeado [revisado y aprobado].
: Número de requisitos funcionales.
Planillas de medias [revisadas y aprobadas].
: Número de requisitos no funcionales.
Documento técnico [revisado y aprobado].
Actualización del documento bitácora [revisado y
aprobado].
: es el número de requisitos para los que todos
los revisores tuvieron interpretaciones idénticas.
Documento de no conformidades.
Cuanto más cerca de uno este el valor de
Diagrama:
menor será la ambigüedad de la especificación.
Compleción de los requisitos funcionales
La compleción de los requisitos funcionales puede
determinarse calculando la relación: (Acosta Zamora,
Betancourt, & Perez Moya, 2008)
Donde
: Número de funciones necesarias que se han
especificado para un sistema
: Número de requisitos de función únicos,
: Número de entradas (estímulos) definidos o
implicados por la especificación
Ilustración 2 Etapa de evaluación para la Gestión de
Requisitos y Análisis
: Número de estados especificados.
En esta etapa se proponen las siguientes métricas que
facilitarán la retroalimentación estadística:
Especificidad de los requisitos
Mientras más próximo este de 1 mayor va a ser el
Para evaluar la especificidad de los requisitos existe una
número de funciones que se han especificado para un
métrica basada en la consistencia de la interpretación de los
sistema, sin embargo, no trata los requisitos no funcionales.
revisores para cada requisito, tal como: (Acosta Zamora,
(Acosta Zamora, Betancourt, & Perez Moya, 2008)
Betancourt, & Perez Moya, 2008)
Etapa 3: Revisión de la evaluación técnica
Durante esta etapa se revisa la especificación de los
productos a elaborar, se revisa la recomendación de la
arquitectura a utilizar para la producción del software así
como la arquitectura organizativa para acometer la
producción, para la cual se necesitan los siguientes
Etapa 4: Evaluación de la gestión de medias
En esta etapa se revisan las medias gestionadas para la
producción del software educativo, para la cual se necesitan
los siguientes artefactos generados en la etapa de Gestión de
medias: (Piñero Perez & Perez, 2007)
artefactos generados en la etapa de evaluación técnica:
Documento de Solicitud de Media.
(Piñero Perez & Perez, 2007)
Documento de diagnóstico de producción.
Definición de una prioridad a la solicitud.
Documento de la arquitectura.
Planilla de medias entregadas.
A continuación se muestran los roles que estarían
Medias copiadas en el servidor de medias.
involucrados en la revisión.
Listado de las medias no aceptadas.
Participan:
Carta de Aceptación de Medias.
Experto en aspectos técnicos: Encargado de revisar la
A continuación se muestran los roles que estarían
arquitectura propuesta por el equipo de desarrollo.
involucrados en la revisión.
Revisor técnico: Encargado de revisar todos los documentos
Participan:
generados en la evaluación técnica, centra su atención en la
Jefe de líneas: Se encarga
redacción de estos. (Rational, 2003)
de chequear que las medias
cumplan con las pautas definidas en la organización para
Resultados:
gestionar las medias; además, revisa el listado de las medias
Documento de diagnóstico de producción [revisado
que no fueron aceptadas y verifica que las medias se ajusten
y aprobado].
a los parámetros definidos, pautas y que exista concordancia
entre los nombres de las medias con los de la plantilla de
Documento
de
la
arquitectura
[revisado
y
solicitud.
aprobado].
Líder del proyecto y Guionista: Encargado de revisar las
Documento de no conformidades.
Diagrama:
decisiones tomadas ante las medias que no fueron posible
encontrar y que no se pueden producir.
Experto en aspectos de producción: se encarga de chequear
el avance del proyecto: el cumplimiento del cronograma
definido, así como la gestión de los recursos necesarios para
que el proyecto se desarrolle con calidad.
Revisor técnico: Encargado de revisar todos los documentos
generados en la Gestión de medias, además revisa la carta de
aceptación de medias, centra su atención en el cumplimiento
de las plantillas destinadas para los artefactos resultantes, y
en la redacción de estos. (Rational, 2003)
Resultados:
Documento de Solicitud de Media [revisado y
aprobado].
Ilustración 3 Etapa de evaluación para la Evaluación
Técnica
Definición de una prioridad a la solicitud [revisado
y aprobado].
Planilla
de
medias
entregadas
[revisadas
y
Experto en aspectos de producción: se encarga de chequear
el avance del proyecto: el cumplimiento del cronograma
aprobadas].
Medias copiadas en el servidor de medias.
definido, así como la gestión de los recursos necesarios para
que el proyecto se desarrolle con calidad.
Listado de las medias no aceptadas [revisado y
Diseñador: Encargado de verificar que el diseño visual
aprobado].
cumple con las pautas exigidas por el cliente.
Carta de Aceptación de Medias [revisado y
aprobado].
Guionista: Analiza la concordancia entre el guión de
contenidos y las medias gestionadas.
Documento de no conformidades.
Asesor: Es la persona designada por el/los clientes que
Diagrama:
aprueban las medias gestionadas.
Resultados:
Documento bitácora [revisado y aprobado].
Pautas de Diseño Gráfico [revisado y aprobado].
Propuesta inicial, Carta de Aceptación de Propuesta
de diseño [revisado y aprobado].
Propuesta de diseño [revisado y aprobado].
Cronograma de realización [revisado y aprobado].
Documento de no conformidades.
Diagrama:
Ilustración 4 Etapa de evaluación para la Gestión de
Medias
Etapa 5: Evaluación de la gestión de diseño gráfico
El objetivo de esta etapa es revisar los resultados de la etapa
de Gestión de diseño gráfico. Se debe definir un tiempo de
respuesta de entrega de cronograma,
las pautas y la
propuesta inicial de diseño, para ello se necesitan los
siguientes artefactos: (Piñero Perez & Perez, 2007)
Documento bitácora.
Pautas de Diseño Gráfico.
Propuesta inicial, Carta de Aceptación de Propuesta
Ilustración 5 Etapa de evaluación para la Gestión de
Diseño Grafico
de diseño.
Etapa 6: Evaluación de la construcción
Propuesta de diseño.
En esta etapa se revisan los resultados de la etapa de
Cronograma de realización [actualizado].
Participan:
construcción,
para ello se necesitan los siguientes
artefactos:
(Piñero
Pérez,
Martínez
Pérez,
Lorente
Rodríguez, & Báez Deniz, 2007)
Cronograma de trabajo.
Documento bitácora [actualizado].
Entregables parciales.
Plan de corrección de errores.
Carta de aceptación.
Participan:
Asegurador de calidad del proyecto: es el responsable de
velar por la calidad dentro del proyecto y de los entregables
que se generen, define un grupo de documentos con el
Ilustración 6 Etapa de evaluación para la Construcción
objetivo de asegurar y controlar la calidad del proyecto y del
Etapa 7: Evaluación de la aceptación final del producto
producto, además de contribuir a la organización interna.
Cliente o Asesor: Se encarga de validar los entregables una
En esta etapa se revisan todos los artefactos definidos en la
aceptación del producto, estos son: (Piñero Pérez, Martínez
vez que han sido probados y están listos para ser liberados.
Pérez, Lorente Rodríguez, & Báez Deniz, 2007)
Revisor técnico: Encargado de revisar todos los documentos
generados en esta etapa, centra su atención en el
cumplimiento de los documentos destinados para los
artefactos resultantes, y en la redacción de estos. (Rational,
Carta de aceptación del producto.
Aplicación (producto).
Especificación del producto.
2003)
Participan:
Experto en aspectos de producción: Se encarga de chequear
el avance del proyecto y asesorar en los temas relacionados
Revisor técnico: Encargado de revisar todos los documentos
con la producción.
generados en la aceptación final del producto, además revisa
la Carta de Aceptación del producto, centra su atención en el
Probador: Es el encargado de probar el entregable y asegura
cumplimiento y en la redacción de esta. (Rational, 2003)
si este cumple con las especificaciones pactadas.
Experto en software educativo: Encargado de revisar la carta
Resultados:
de aceptación del producto.
Cronograma de trabajo [revisado y actualizado].
Cliente: Encargado de revisar que el software cumpla con
Documento bitácora [revisado y actualizado].
las necesidades solicitadas por él.
Entregables parciales [revisado y actualizado].
Líder de proyecto: Trabaja en conjunto con el revisor
Plan de
corrección de errores [revisado
actualizado].
y
técnico y el experto en software educativo.
Resultados:
Carta de aceptación [revisado y actualizado].
Carta de aceptación del producto [revisado].
Documento de no conformidades.
Versión inicial del producto.
Diagrama:
Documento de no conformidades.
Diagrama:
Líder de proyecto: Verifica el cumplimiento de las políticas
definidas.
Arquitecto: Es la persona encargada de velar, junto con el
líder del proyecto, por el cumplimiento de las políticas de
gestión de configuración.
Resultados:
Informe sobre la aplicación de las políticas
[revisado y actualizado].
Diagrama:
Ilustración 7 Etapa de evaluación para la Aceptación
Final del Producto
Etapa 8: Evaluación de la gestión de configuración
En esta etapa se verifica que se estén aplicando las políticas
para el desarrollo de los proyectos, las herramientas para la
gestión del control de versiones, las herramientas de trabajo
colaborativo Web, los servidores en los cuales podrán
encontrar dichas herramientas, la documentación básica para
el uso de estas herramientas, etcétera. Se revisa también que
Ilustración 8 Etapa de evaluación para la Gestión de
Configuración
todas las definiciones de políticas y procedimientos están en
total concordancia con las definiciones establecidas por la
Infraestructura
productivos.
Productiva
para
todos
los
proyectos
(Piñero Pérez, Martínez Pérez, Lorente
Rodríguez, & Báez Deniz, 2007)
Para esto es necesario que se tengan los siguientes
En esta etapa se propone la siguiente métrica que facilitará
la retroalimentación estadística:
Probabilidad de cambios en el modelo (Acosta Zamora,
Betancourt, & Perez Moya, 2008)
documentos ya definidos:
Políticas de gestión de configuración y salvas.
Configuración de las estaciones de trabajo.
Donde
Políticas de organización de la información de los
proyectos.
X= registrabilidad de cambios en el diseño.
A=
número de cambios a funciones que tienen
comentarios confirmados.
Políticas de salvas.
B = total de funciones modificados.
Participan:
(
Experto en aspectos técnicos: Analiza y verifica la
aplicación de las políticas de gestión de configuración
), Entre más cercano a 1 más registrable, 0
indica un control de cambios deficiente o pocos cambios y
alta estabilidad en el modelo.
definidas por la entidad.
Validación de la propuesta
Para validar técnicamente la propuesta se utilizó el método
alta, lo que implica desde el punto de vista teórico, que si se
de experto, que permite tomar decisiones para aceptar o no
aplica el proceso que se propone, se espera aumente la
la propuesta de acuerdo con los criterios definidos. Luego de
calidad del software educativo que se produce y se detecten
haber calculado el índice de aceptación se procede a
los errores en etapas tempranas de la producción para
determinar el éxito de la propuesta, para ellos se tuvieron en
obtener productos más eficientes, disminuyendo así el
cuenta los rangos definidos por el método.
tiempo que actualmente se le dedica a las etapas de pruebas.
Rangos predefinidos de Índice de Aceptación.
Referencias bibliográficas
IA > 0,7 Existe alta probabilidad de éxito.
Acosta Zamora, A., Betancourt, D., & Perez Moya, O.
0,7 > IA > 0,5 Existe probabilidad media de éxito.
(2008). Propuesta de métricas para evaluar el flujo de
0,5 > IA > 0,3 Probabilidad de éxito baja.
0,3 > IA Fracaso seguro.
trabajo Análisis y Diseño.
Ciudad de la Habana:
Universidad de las Ciencias Informáticas.
Martínez, Y. R., & Goliath, K. D. (2007). Documentación
Por lo que la probabilidad de éxito es: alta.
imprescindible para los flujos de trabajo de diseño e
Concluyendo la evaluación técnica de la propuesta
implementación de software de gestión. Ciudad de La
Habana: UCI.
Se consultaron 7 expertos para que dieran su opinión y
valoraran la propuesta. Primeramente los expertos emitieron
Piñero Perez, Y., & Perez, Y. (2007). Sistema metodológico
su juicio para darle peso a cada criterio con la cual se
para el desarrollo de Software Educativo. Ciudad de la
elaboró la tabla de los valores de peso relativo de cada
Habana, Cuba: Universidad de las Ciencias Informáticas.
criterio.
Piñero Pérez, Y., Martínez Pérez, Y., Lorente Rodríguez, A.
Después de tener todos los datos en la tabla se calcula el
E., & Báez Deniz, D. C. (2007). Sistema Metodológico para
valor del Índice de Aceptación (IA) que sería:
el desarrollo de Software Educativo. Ciudad de la Habana:
Universidad de las Ciencias Informáticas.
0.7547, se compara el valor con los valores que aparecen a
continuación para saber la valoración de la propuesta.
IA > 0,7 Existe alta probabilidad de éxito.
Conclusiones
El estudio teórico realizado permitió determinar las
características del software educativo y los servicios que
este puede cubrir en el proceso de Enseñanza-Aprendizaje.
El análisis de los modelos y estándares de calidad permitió
concluir que un proceso que evalúe la calidad del producto
desde el proceso de producción es más eficiente en la
eliminación de errores y defectos y en la complacencia de
las necesidades del cliente.
Mediante la profundización en el desarrollo de la propuesta,
se identificaron un grupo de trabajadores que ayudan a la
obtención de un producto con calidad, que fueron
representados en un Diagrama junto con las actividades en
las que participan y los artefactos que en estas se generan.
Para la validación de esta investigación se aplicó el criterio
de expertos el cual arrojó que la probabilidad de éxito es
Rational. (2003). Rational Unified Process.