Evaluación y Selección de Aplicaciones de

Evaluación y Selección de Aplicaciones de Actividades
de Aprendizaje y Juegos en E-learning
Johan Serrato-Romero1, Martín Fallas-Hidalgo1, César Garita-Rodríguez1, Mario
Chacón-Rivas1
1
TEC Digital, Instituto Tecnológico de Costa Rica
{jserrato, mafallas, cesar, machacon}@itcr.ac.cr
1
Resumen. En los procesos de implementación de sistemas de software, cuando
es necesario hacer una búsqueda entre las herramientas disponibles para
seleccionar o descartar cualquiera de éstas, es difícil hacer esta evaluación sin
un método bien fundamentado que determine cuáles son las características de
las herramientas que las convierten o no en posibles candidatos a la
implementación. Para éste proceso, existen métodos que facilitan de alguna
forma la investigación y permiten documentar adecuadamente los resultados.
Sin embargo, no siempre es posible encontrar un método que se adapte
exactamente a necesidades particulares de un caso dado, puesto que
aplicaciones de software para audiencias y procesos diferentes tienen
requerimientos de implementación diferentes. El presente artículo describe
cómo realizar una evaluación y selección de herramientas de generación de
actividades de aprendizaje en ambientes de e-learning, mediante una adaptación
del método QSOS (Method for Qualification and Selection of Open Source
Software). Dicha evaluación fue realizada para el proyecto Gestor de
Actividades de Aprendizaje (GAAP) del TEC Digital (plataforma de e-learning
del Instituto Tecnológico de Costa Rica). Entre las características novedosas de
este trabajo, se puede mencionar la agilización del proceso de investigación,
añadiendo un paso previo a la ponderación detallada de QSOS para evaluar y
descartar rápidamente, mediante criterios generales, aquellas herramientas que
no cumplan los requerimientos más importantes. Además, se añadieron criterios
específicos para las aplicaciones de actividades de aprendizaje y juegos en elearning, que permiten su ponderación de manera más precisa.
Palabras Clave: Comparación de Software, Herramientas E-learning,
Evaluación de Aplicaciones, QSOS.
1
Introducción
En el proceso inicial de desarrollo o implementación de un proyecto de software, es
importante establecer el ámbito de la revisión de trabajos relacionados mediante un
método objetivo que permita conocer fortalezas y debilidades de cada herramienta
existente que esté a disposición. A partir de esto, se puede descartar que exista una
aplicación ya desarrollada que realice lo que el proyecto en cuestión intenta
implementar, o de otro modo, fundamentar la puesta en marcha de un nuevo proyecto.
Existen diferentes métodos que pueden ser utilizados para estos fines, cada uno con
una orientación y procedimiento diferente, los cuales serán mencionados
posteriormente en este documento.
En este contexto, este artículo describe un método para realizar una evaluación y
selección de herramientas de generación de actividades de aprendizaje en ambientes
de e-learning, mediante una adaptación del método QSOS (Method for Qualification
and Selection of Open Source Software) [1]. Para esta evaluación, se realizó una
adaptación de QSOS, añadiendo un paso previo que permite descartar todas aquellas
herramientas que no cumplen alguno de los requerimientos generales que tienen
mayor relevancia para el proyecto. Adicionalmente, se añadió un conjunto de criterios
de evaluación específicos para las herramientas de actividades de aprendizaje y juegos
en e-learning, advirtiendo que el enfoque pedagógico de estos criterios no es objeto de
estudio en el presente artículo y que sirven como modelo para generar otros criterios
más específicos, dado que la herramienta de evaluación lo permite.
A lo largo de este documento se ilustra la adaptación y aplicación real del
instrumento de evaluación desarrollado para el caso del proyecto Gestor de
Actividades de Aprendizaje (GAAP) del TEC Digital en el Instituto Tecnológico de
Costa Rica (TEC). Este proyecto permite que por medio del LMS dotLRN que utiliza
la institución, el profesor pueda crear una gran variedad de actividades de aprendizaje
para los estudiantes de sus cursos. Dada la gran cantidad de herramientas de autoría
disponibles, debía ser evaluada exhaustivamente la posibilidad de que existiera alguna
de ellas que pudiera ser implementa para el proyecto, documentando para cada una de
ellas sus fortalezas y debilidades con respecto a los requerimientos. L
Este documento se divide en las siguientes secciones: Trabajos Relacionados: hace
un resumen de otras herramientas de evaluación y selección de software que fueron
tomadas en cuenta para los propósitos de esta investigación; Descripción de la
Metodología: incluye un recuento de los pasos que se llevaron a cabo para realizar
esta evaluación; Matriz de Comparación: muestra la ponderación final que se logra
mediante el método QSOS con la adaptación para las herramientas de actividades de
aprendizaje; Resultados de la Investigación: resume los logros del proceso de
investigación y evaluación; consecuentemente las Conclusiones describen los logros
obtenidos después de la investigación.
2.1 Trabajos relacionados
Múltiples metodologías de evaluación de software han sido creadas por diferentes
organizaciones en el mundo. Cada metodología es concebida con fines diferentes o
enfocadas en aspectos diferentes del software como la madurez, la durabilidad o la
funcionalidad en sí misma. A continuación se hace un recuento de algunas de las
metodologías que fueron evaluadas para esta investigación.
2.1.1
OpenBRR
El modelo OpenBRR (Open Business Readiness Rating) [4] es un modelo creado bajo
licencia “Creative Commons” y catalogado como un modelo de valoración científico.
Los criterios de evaluación reciben valores de 1 a 5 en un proceso iterativo. Está
basado en los modelos OSMM, y cuenta con 12 categorías y 29 métricas. Estas son
definidas en una jerarquía y define además los procedimientos para asignar pesos a las
características o métricas [2].
2.1.2
QualOSS
El modelo QualOSS (Quality of Open Source Software) [8] surge de un proyecto en
el que participan organizaciones de cinco países europeos (Alemania, Bélgica,
España, Francia y Holanda). Es un modelo bajo licencia pública y está catalogado
como un modelo práctico, basado en la metodología GQM (Goal-Question-Metric).
El objetivo es permitir comparaciones de productos de software libre en forma
objetiva, semi-automatizada, simple y rápida, para medir el grado de evolución y de
implantación [2].
También fueron analizadas otras metodologías entre las que se pueden mencionar
OpenBQR [16], sin embargo cabe destacar que QSOS se consideró más apta para el
tipo de herramienta que se necesitaba evaluar por poseer buenas herramientas de
análisis cuantitativo (tablas, gráficos), por ser aplicable a diferentes ámbitos de
desarrollo del software y por pertenecer a una organización que en la actualidad le
sigue dando soporte y mejoras al producto.
En este artículo se ha adaptado la metodología de QSOS para optimizar la
inversión de tiempo y esfuerzo en la investigación sobre herramientas para
actividades de aprendizaje y juegos en e-learning. A continuación se encontrará la
descripción de dicha adaptación junto con el caso práctico de GAAP que permitirá
comprender la implementación de la metodología.
3
Descripción de la metodología utilizada
La metodología fue diseñada considerando cuatro fases principales de investigación,
cada una buscando cumplir con un grado de reducción de la cantidad de candidatos
posibles. A continuación se presenta la lista de pasos que el investigador debe llevar
acabo para conseguir la evaluación precisa de las herramientas encontradas:
1. Identificar requerimientos generales: en esta etapa se definen a detalle los
requerimientos del proyecto de software a desarrollar o implementar.
2. Definición de filtros de primer nivel: a partir de los requerimientos generales, se
consideran como filtros aquellas características que son estrictamente necesarias
para la solución de software que se busca.
3. Seleccionar herramientas por evaluar y filtrado: se crea una lista de herramientas
candidatas y se filtra mediante los requerimientos definidos en el paso dos.
4. Definir criterios específicos para hoja de evaluación: se definen un conjunto de
criterios que son específicos para el tipo de herramienta que se desea investigar,
en este caso, herramientas de actividades de aprendizaje y juegos en e-learning.
Las siguientes cuatro subsecciones describen en detalle cada una de estas fases.
3.1 Identificar requerimientos generales
Primeramente, se deben identificar los requerimientos del proyecto que se desea
implementar. En este punto es importante enfocarse en aquellos requerimientos que
son esenciales para el proyecto, por ejemplo: “aplicación de escritorio”, “código
abierto”, etc. A partir de éstos requerimientos se definirán los filtros específicos
(criterios de exclusión/inclusión) que serán mostrados en el siguiente punto.
Para el caso específico del proyecto GAAP, se definieron los siguientes
requerimientos principales:
La aplicación debe ser de código abierto para poder realizar las modificaciones
necesarias para la integración con la plataforma del TEC Digital.
Debe permitirse la creación de actividades y juegos educativos.
Debe ser un sistema web y estar desarrollado en tecnologías altamente
compatibles con diferentes navegadores.
Soporte a SCORM o IMS.
Ser mantenido por alguna comunidad u organización identificada y localizable.
3.2 Definición de filtros de primer nivel
Como segundo paso, con base en los requerimientos mencionados en la sección
anterior, se definen los filtros de primer nivel. Estos criterios permiten descartar
herramientas con base en los requerimientos esenciales para el proyecto definidos en
el punto anterior, de modo que se descartan, por ejemplo, aplicaciones que no
soporten SCORM ni IMS o que sean de código cerrado. A continuación, se presenta
una lista ilustrativa de filtros basados en los requerimientos iniciales de GAAP.
Tabla 1. Tabla de definición de filtros de primer nivel.
Código
F01
F02
F03
F04
F05
F06
Filtro
No permitir creación de actividades y/o juegos
Ser aplicaciones de escritorio no migrables o sin soporte web.
No soportar SCORM o IMS.
Software sin soporte o descontinuado.
Ejecutarse en Flash, Shockwave, Java Applet, Silvertlight
Ser de código cerrado.
3.3 Seleccionar herramientas por evaluar y filtrado
Como tercer paso, por medio de una investigación profunda, se debe definir la lista de
herramientas para considerarlas como candidatos para el proyecto. Con estas
herramientas se puede iniciar la ponderación utilizando los criterios definidos en la
tabla de filtros. Para el caso de GAAP, las herramientas destacadas que fueron
tomadas en cuenta fueron: Xerte [5], eXeLearning [13], Microsoft LCDS [17],
Ardora [15], Educaplay [9], LIM [10], LAMS [11], Hot Potatoes [12] y Jclic [3].
Dicha lista fue seleccionada mediante una recopilación de herramientas de actividades
de aprendizaje y para cada una de ellas se investigaron sus especificaciones generales
para determinar su nivel de compatibilidad respecto a los requerimientos del proyecto.
Seguidamente se define la tabla de filtros de primer nivel, en donde se agrega una
lista con las herramientas encontradas. La tabla incluye una ponderación de escala
numérica, utilizada para describir el nivel de cumplimiento del filtro que se indica por
columna: Muy aceptable = 2, Aceptable = 1 o No Aceptable = 0. Además, se agrega
una columna de comentarios para incluir características relevantes por herramienta.
Tabla 2. Tabla de filtros de primer nivel
Herramienta
Código de filtro
Comentarios
F01
F02
F03
F04
F05
F06
Total
Xerte
2
1
2
2
0
2
9
eXeLearning
0
2
2
2
2
2
10
Microsoft
LCDS
1
1
2
2
1
0
7
Gran cantidad de actividades
Las actividades se ejecutan en
Flash Player
Es una aplicación de escritorio
Permite exportar a HMTL,
SCORM e IMS CP
Es código abierto
Verificado por SCORM 1.2
Código cerrado
A partir de la tabla anterior, se selecciona el conjunto de aplicaciones más apto
según la ponderación total de los filtros evaluados y así se logra reducir el número de
posibles candidatos y optimizar el uso de QSOS para las aplicaciones que se adaptan
mejor a los requerimientos del proyecto. Para el caso de GAAP, las tres principales
herramientas resultaron ser Xerte con 9 puntos, eXeLearning con 10 puntos y
Microsoft LCDS con 7 puntos. Estas tres herramientas fueron escogidas para la matriz
de comparación QSOS que ofrece los puntajes definitivos para cada herramienta (ver
sección 4: Matriz de comparación).
3.4 Definir criterios específicos para hoja de evaluación
QSOS [1] define cuatro pasos para la evaluación de herramientas Open Source:
Definición: se establecen los elementos de la tipología del software libre (familias
de software, tipos de licencia y tipos de comunidad).
Evaluación: se realiza la recolección de información y métricas que servirán para
construir dos herramientas: la tarjeta de identidad del software y la hoja de
evaluación (cubre los criterios de evaluación específicos en términos de
funcionalidad requerida, riesgos para el usuario y riesgos para el proveedor),
Calificación: se utiliza la hoja de la evaluación para ponderar cada herramienta.
Selección: se identifica el software más apropiado para el contexto del usuario.
QSOS define en una hoja de evaluación con una gran cantidad de criterios específicos
para evaluar OSS (Open Source Software). Para este cuarto paso, la hoja se modificó
con el propósito de evaluar las herramientas para actividades de aprendizaje en elearning mediante los criterios expuestos en la tabla 3: criterios específicos para las
herramientas de actividades de aprendizaje y juegos en e-learning. Estos criterios se
definieron mediante una combinación de requerimientos esperados y características
esenciales para proyectos de software implementados en ambientes educativos,
además del criterio experto en temas de diseño y usabilidad.
Tabla 3. Tabla de criterios específicos para herramientas de actividades de
aprendizaje y juegos en e-learning.
Significado para una
Criterios
calificación de 0
Despliegue de Actividades
Despliegue correcto en No se despliega
navegadores
correctamente
Independencia de
Requiere un
tecnologías de terceros complemento
específico
Tiempo de carga
Más de 6 segundos
promedio de gráfico
Tecnologías específicas
Implementación de
No utiliza
Jquery o HTML5
Código Open Source
Cerrado
.LRN: integración y/o
No es posible su
compatibilidad
integración
Diseño
Consistencia visual,
No utiliza ningún
cromática y estándares estándar
Distribución de la
Información mal
información
distribuida
Significado para
Significado para una
una calificación de 1 calificación de 2
Claridad de las
instrucciones a seguir
Lógica de navegación
Las instrucciones son
fácilmente
comprensibles
Lógica de navegación La navegación es
aceptable
muy intuitiva
Permite personalizar Es altamente
ciertas características personalizable
Permite la
personalización
Previene errores
Visibilidad de
instrucciones de uso
4
Optimizado para un
navegador específico
Utiliza un
complemento pero no
depende de éste
Entre 2 y 6 segundos
Despliegue correcto
multinavegador
No necesita ningún
complemento
Utiliza pero
pobremente
Parcialmente cerrado
Integración posible
pero compleja
Utiliza fuertemente
Utiliza buenos
estándares
Información muy
bien distribuida
Las instrucciones son
muy complejas
Pocos estándares
utilizados
Información
distribuida de manera
aceptable
Las instrucciones son
aceptables
No existe lógica de
navegación
No permite
personalización en
ningún nivel
No previene ningún
tipo de error
No es visible ni
localizable
Previene algunos
errores
Localizable pero no
visible
Previene todo tipo de
errores
Muy visible
Menos de 2 segundos
Totalmente abierto
Integración fácil y
rápida
Matriz de comparación
La utilidad de QSOS es permitir que por medio de una hoja de evaluación se cree
una ponderación acertada de las herramientas. La hoja de evaluación está dividida en
categorías como: Estrategia, Durabilidad Intrínseca, Adaptabilidad Técnica y
Solución Industrializada. Cada uno de estos aspectos está dividido en secciones, que a
su vez se componen de un conjunto de criterios que finalmente serán evaluados en
una escala de 0 a 2. El conjunto de criterios de una sección se promediará para dar un
valor entre 0 y 2, y a su vez el conjunto de secciones se promediará para dar un valor
entre 0 y 2 a una herramienta evaluada por completo. La herramienta que más puntaje
obtenga será la más apta para los requerimientos definidos para el proyecto. Para esta
investigación, se ha añadido una sección adicional a la hoja de evaluación llamada
“criterios específicos para herramientas de actividades de aprendizaje y juegos en elearning”, la cual de igual manera tiene subsecciones y criterios (ver Tabla 3).
Dado que la matriz de comparación es un documento extenso, esta se ha resumido
mediante un gráfico radial también provisto por QSOS (ver Figura 1). Dicho gráfico
muestra, para cada categoría de evaluación, el puntaje ponderado de cada
herramienta, de modo que se contraste fácilmente las categorías fuertes y débiles de
cada herramienta. Idealmente, la herramienta que presente el polígono más expandido
y con la forma más regular, será la que haya obtenido mayor puntaje.
Fig. 1. Gráfico radial de puntajes por secciones evaluadas para cada herramienta
En la figura 1 se visualiza que el software eXeLearning presentó las mejores
características: tiene un soporte que ha sido debidamente documentado, permitiendo
tener una calificación perfecta (2 puntos) en la sección estratégica y adaptabilidad
técnica, dos aspectos fundamentales para poder implementarlo dentro del sistema de
la organización. También contempla el mayor número de características específicas
para el proyecto, obteniendo más de 1,8 puntos en esta categoría.
Ocurre una disparidad importante del software Microsoft LCDS respecto a los
otros dos, ya que pierde muchos puntos en la categoría de estrategia al ser una
aplicación de código cerrado, mientras que Xerte se consolida en el segundo lugar,
manteniéndose a una distancia proporcional respecto a eXeLearning.
5
Conclusiones
Con base en los resultados mostrados en la comparación mediante el método QSOS,
se concluye lo siguiente:
La herramienta QSOS es de gran ayuda en los procesos de evaluación de
software en general.
La adaptación hecha a QSOS permitió reducir el tiempo de investigación de
herramientas en gran medida.
Los resultados generados por la metodología permiten documentar de manera
muy sólida las decisiones tomadas en el proyecto.
Como trabajo futuro, se aplicará la herramienta de comparación en varios
proyectos con diferentes requerimientos, de modo que se vayan identificando y
documentando grupos comunes de filtros de primer nivel dentro del TEC Digital y
reutilizarlos para futuros proyectos, conduciendo a una retroalimentación para la
misma herramienta y su adecuación a la tecnología y necesidades de los clientes de la
época.
Referencias
1. QSOS core team: QSOS: Method for Qualification and Selection of Open Source software
(QSOS) version 1.6. Atos Origin. (2006).
2. Chacón Rivas, M.: LMS-QM un modelo de calidad para la evaluación de aplicaciones
LMS en entornos universitarios. (2010).
3. DURSI, Generalitat de Cataluña: Jclic. zonaClic. http://clic.xtec.cat/es/jclic/index.htm.
Accedido el 26 de marzo de 2013.
4. OpenBRR.org: Business Readiness Rating for Open Source; A Proposed Open Standard to
Facilitate Assessment and Adoption of Open Source Software. (2005).
5. Learning Technology: The Xerte Project. The University of Nottingham.
http://www.nottingham.ac.uk/xerte/index.aspx. Accedido el 26 de marzo de 2013.
6. Junta de Comunidades de Castilla-La Mancha: Territorio Cuadernia. Portal de Educación
de la Junta de Comunidades de Castilla - La Mancha. http://www.educa.jccm.es/educajccm/cm/temas/cuadernia. Accedido el 20 de marzo de 2013.
7. The Squeak Community: Squeak Smalltalk. Squeak. http://squeak.org. Accedido el 20 de
marzo de 2013.
8. European Commission: Quality in Open Source Software. QualOSS.eu.
http://www.qualoss.eu. Accedido el 6 de febrero de 2013.
9. ADRFormacion: Portal de Actividades Educativas multimedia. Educaplay.
http://www.educaplay.com. Accedido el 20 de marzo de 2013.
10. Educalim: Bienvenido Bienvenida a LIM. Libros Interactivos Multimedia.
http://www.educalim.org/cinicio.htm. Accedido el 26 de marzo de 2013.
11. LAMS Foundation: Home. LAMS Foundation. http://www.lamsfoundation.org. Accedido
el 10 de marzo de 2013.
12. Half-Baked Software: Hot Potatoes Home Page. Hot Potatoes. http://hotpot.uvic.ca.
Accedido el 26 de marzo de 2013.
13. eXeLearning.net: Inicio. eXeLearning.net El nuevo eXeLearning…. http://exelearning.net.
Accedido el 4 de abril de 2013.
14. Centro Virtual Cervantes: Pasatiempos de Rayuela. Centro Virtual Cervantes Pasatiempos. http://cvc.cervantes.es/aula/pasatiempos. Accedido el 13 de marzo de 2013.
15. Bouzán Matanza, J.M.: Ardora 6 creación de contenidos escolares para la web.
webArdora.net. http://webardora.net/index_cas.htm. Accedido el 10 de marzo de 2013.
16. Taibi, D.; Lavazza, L.; Morasca, S.: OpenBQR: a framework for the assessment of OSS.
IFIP International Federation for Information Processing, pp. 234. (2007).
17. Microsoft: Create online courses and Silverlight Learning Snacks with LCDS. Learning.
http://www.microsoft.com/learning/en/us/lcds-tool.aspx. Accedido el 26 de marzo de 2013.