Comparación de Tres Estrategias para la Gestión de la Calidad en

Comparación de Tres Estrategias para la Gestión de la
Calidad en Objetos de Aprendizaje.
César Velázquez A.a, Francisco Álvarez R.a, Laura Garza G.a, Jaime Muñoz A.a,
Pedro Cardona S.a, Yosly Hernández B.b, Antonio Silva S.b
a
Centro de Ciencias Básicas, Universidad Autónoma de Aguascalientes
Av. Universidad No. 940, Col. Universidad, Aguascalientes (Aguascalientes), México
[email protected], {fjalvar,lg,jmunozar,jpcardon}@correo.uaa.mx
b
Universidad Central de Venezuela, Facultad de Ciencias, Unidad de Educación a Distancia,
Av. Los Ilustres, Los Chaguaramos, Caracas, 1043, Venezuela.
{yosly.hernandez, antonio.silva}@ciens.ucv.ve
Abstract. This article presents three strategies for managing the quality of learning objects. First we present a strategy
that uses an instrument out of context, in the second strategy uses a contextualized instrument and the third strategy,
which can adapt or not adapt to the above strategies, it makes a determination of user satisfaction, using for this the use of
the theory of services.This paper presents the description of each of the strategies and their advantages, disadvantages and
suggested situations for use; Also the paper presents the instruments used in determining the quality and finally performs
a comparison of these. This article aims to provide alternatives that can be used when deciding on the management of
quality learning objects, depending on the particular nature of the research.
Keywords: Management Strategy, Quality Management, Learning Object
INTRODUCCIÓN
Los Objetos de Aprendizaje (OAs) son elementos que debido a su naturaleza presentan dificultades especiales al
momento de su evaluación, ya que poseen tanto características de una aplicación de software como de un elemento
instruccional [1]. Razón por la cual es necesario adaptar las teorías de la ingeniería de software para que la gestión
de la calidad se pueda adaptar a estos elementos instrucionales.
La gestión de la calidad en OAs es un conjunto de tareas encaminadas a la producción de objetos de aprendizaje
con los más altos estándares de calidad posibles. El anterior se torna en un problema aún más complejo que el
desarrollo de software común, ya que en este caso se requiere considerar el elemento instruccional, el cual cuenta
con sus propias complicaciones relacionadas con el tópico de la calidad [2].
En el presente trabajo inicialmente se van a presentar dos estrategias para la gestión de la calidad en las cuales,
primeramente se emplea un instrumento descontextualizado del estudiante y en la segunda propuesta se presenta un
instrumento contextualizado. Esta contextualización y descontextualización va a depender en gran medida del estilo
de aprendizaje del estudiante.
El término „estilo de aprendizaje‟ se refiere al hecho de que cada persona utiliza su propio método o estrategias a
la hora de aprender. Aunque las estrategias varían según lo que se quiera aprender, cada uno tiende a desarrollar
ciertas preferencias o tendencias globales, tendencias que definen un estilo de aprendizaje. Se habla de una
tendencia general, puesto que, por ejemplo, alguien que casi siempre es auditivo puede en ciertos casos utilizar
estrategias visuales [3]. “Los estilos de aprendizaje son los rasgos cognitivos, afectivos y fisiológicos que sirven
como indicadores relativamente estables, de cómo los alumnos perciben interacciones y responden a sus ambientes
de aprendizaje” [4]. Los rasgos cognitivos tienen que ver con la forma en que los estudiantes estructuran los
contenidos, forman y utilizan conceptos, interpretan la información, resuelven los problemas, seleccionan medios de
representación (visual, auditivo, kinestésico), etc. Los rasgos afectivos se vinculan con las motivaciones y
expectativas que influyen en el aprendizaje, mientras que los rasgos fisiológicos están relacionados con el biotipo y
el biorritmo del estudiante [3].
Existen múltiples modelos de clasificación de estilos de aprendizaje, a saber: modelo de David Kolb [5], modelo
de los Cuadrantes Cerebrales de Ned Herrmann [6], [7], modelo de la Programación Neurolingüística de Bandler y
Grinder [8], modelo de las Inteligencias Múltiples de Howard Gardner [9], modelo de los Hemisferios Cerebrales de
Bernice McCarthy [10], el modelo de estilos de aprendizaje de Felder y Silverman [11], y el modelo de
Programación Neurolinguistica de Cazau [3], entre otros.
La última estrategia presentada va a consistir en la determinación de la satisfacción del usuario (estudiante). El
estudio de satisfacción pertenece al dominio de la Teoría de Servicios. La Teoría de Servicios se refiere a todo
aquello que es permanente y normal en la producción de un servicio [12]. Un servicio se define como la aplicación
de competencias para el beneficio de otro, significando que un servicio es un tipo de acción, desempeño, o promesa
que es intercambiada por valor entre el proveedor y el cliente [12].
La satisfacción del usuario depende de la percepción de la calidad del servicio, esta se puede definir como la
diferencia entre las expectativas del cliente sobre el servicio y el servicio percibido. Si las expectativas son mayores
que el rendimiento, entonces la calidad percibida es menos que satisfactoria y por lo tanto se produce la
insatisfacción del cliente [13], [14].
Íntimamente vinculado a la calidad del servicio y como elemento reconocido en la teoría de servicios, tenemos el
uso del SERVQUAL; el cual es un instrumento para medir la calidad del servicio, y es usado en el dominio de los
sistemas de información [15]. Es una escala multi-item desarrollada para evaluar la percepción del cliente sobre la
calidad del servicio en negocios de venta de mercancías y proveedores de servicios [13].
En el contexto del e-learning, se puede considerar a los estudiantes como el cliente final, ya que la satisfacción
con un producto/servicio educativo es una de las consecuencias del intercambio entre los sistemas de e-learning y
los estudiantes [16].
PROPUESTA
Es importante señalar que las siguientes propuestas están diseñadas para la gestión de la calidad de OAs
agregados (Objetos de Aprendizaje conformados por otros OAs) o de OAs con una granularidad gruesa (Objetos de
Aprendizaje que se desarrollan por ejemplo a nivel de tema, en los cuales encontramos integradas actividades de
aprendizaje, evaluaciones, ejemplos, etc.)
Para aplicarse a OAs atómicos o de granularidad muy fina, debe hacerse una adaptación de los instrumentos
presentados.
Gestión de la Calidad empleando instrumentos descontextualizados
Inicialmente se debe señalar que la palabra descontextualizado se va a referir a un instrumento de evaluación que
no se ha adaptado al estilo de aprendizaje, las necesidades o deseos de un usuario específico, aunque pudo haber
tenido cierto nivel de adaptación a toda la población a la que se encuentra dirigido el recurso instruccional.
Esta es la estrategia más común que se emplea al momento de determinar la calidad de un Objeto de
Aprendizaje, consiste en la aplicación de un mismo instrumento de evaluación de la calidad para todos los OAs. Un
ejemplo muy conocido de un instrumento para determinar la calidad es el LORI, el cual es uno de los instrumentos
para evaluar OAs más usados actualmente; LORI cuenta con nueve categorías sobre las cuales se realiza la
evaluación [17]. El problema que presenta este instrumento es el no considerar los estilos de aprendizaje, haciendo
una evaluación muy general del objeto y en ocasiones perdiendo el contexto del usuario.
En el instrumento mostrado en la Figura 1, se muestran los factores de evaluación divididos por la categoría a la
que pertenecen (elementos tecnológicos, de contenido, pedagógicos y estéticos y ergonómicos). En este caso, la
única contextualización que se puede hacer es cambiar el valor en la columna “Estándar para el contexto”, indicando
“Requerido” para los casos en que sea forzoso el elemento o “Recomendado” para los casos en que sea deseable
manejarlo, pero opcional. En este instrumento al hacer la evaluación de cada factor simplemente se indica si se está
cumpliendo o no.
Esta estrategia se puede emplear para el desarrollo de OAs que sirvan para cualquier estilo de aprendizaje, para
hacer esto se deben indicar en los elementos de contenido preguntas como las siguientes:
El OA Integra elementos visuales (imágenes, gráficas, videos)
El OA Integra elementos auditivos (sonidos, música, texto hablado)
El OA Integra actividades de aprendizaje (Para cumplir con el aprendizaje Kinestésico)
Para estos casos se puede emplear un estándar de requerido, para obligar que todos los OAs integren elementos
para todos los estilos de aprendizaje
La estrategia de gestión de la calidad comienza con el aprendizaje por parte del desarrollador de la guía de
mejores prácticas definida por la organización, una vez desarrollado el OA se aplica el instrumento de evaluación
por parte del gestor de calidad y se determina en caso de encontrar que el OA cumple con los estándares de calidad
liberarlo para su uso o regresarlo al desarrollador para atender las observaciones. El proceso anterior se presenta en
la Figura 2.
Elemento a evaluar
CLASIFICACIÓN: ELEMENTOS TECNOLÓGICOS
Metadato completo/Minimamente manejable
Funcionalidad (Sin errores)
CLASIFICACIÓN: ELEMENTOS DE CONTENIDO
Nivel de detalle de la información (de suficiente a muy detallada )
Contiene la fecha de creación
La información está completa
Incluye bibliografía
Incluye resumen temático
Incluye ligas relacionadas con la temática
Incluye lecturas recomendadas
CLASIFICACIÓN: ELEMENTOS PEDAGÓGICOS
Tiene definido el objetivo pedagógico
Indicación del tiempo típico de aprendizaje
Manejo de elementos visuales y/o auditivos
Manejo de ejemplos (También pueden ser visuales o auditivos)
Ejercicios de afirmación suficientes en número y frecuencia
Ejercicios expresados con instrucciones sencillas y precisas
Ejercicios breves y concretos sobre el tema a evaluar
Cada ejercicio cumple con un objetivo específico de desempeño
Manejo de evaluación
Proporciona retroalimentación al participante
Evaluación parcial con preguntas aleatorias
CLASIFICACIÓN: ELEMENTOS ESTÉTICOS Y ERGONÓMICOS
Facilidad para navegar
Presenta simetría el acomodo de los elementos
Uso adecuado de fuentes
Uso adecuado de colores
Proporcionalidad adecuada de los elementos (Punto de vista estético)
Proporcionalidad adecuada de los elementos (Punto de vista funcional)
Disposición adecuada de los elementos (Punto de vista estético)
Disposición adecuada de los elementos (Punto de vista funcional)
Consistencia en el acomodo de los elementos
Estándar para el
contexto
Cumple con el estándar
(SI / NO)
Requerido
Requerido
SI
SI
NO
NO
Requerido
Requerido
Requerido
Requerido
Requerido
Recomendado
Recomendado
SI
SI
SI
SI
SI
SI
SI
NO
NO
NO
NO
NO
NO
NO
Requerido
Requerido
Requerido
Requerido
Requerido
Requerido
Requerido
Requerido
Requerido
Requerido
Requerido
SI
SI
SI
SI
SI
SI
SI
SI
SI
SI
SI
NO
NO
NO
NO
NO
NO
NO
NO
NO
NO
NO
Requerido
Requerido
Requerido
Requerido
Requerido
Requerido
Requerido
Requerido
Requerido
SI
SI
SI
SI
SI
SI
SI
SI
SI
NO
NO
NO
NO
NO
NO
NO
NO
NO
FIGURA 1. Instrumento descontextualizado para evaluar un OA (Fuente: Propuesta de los autores)
Ventajas:
• Es más fácil de aplicar, debido a que no se modifica el Instrumento de Evaluación.
• Esta puede ser la mejor estrategia al evaluar una gran cantidad de OAs.
Desventajas
• No considera el estilo de aprendizaje, las necesidades o deseos de un usuario específico.
• No puede usarse en la construcción automatizada de OAs hechos considerando las necesidades o deseos de
un usuario específico.
• Únicamente considera la evaluación y opinión del gestor de la calidad.
Gestión de la Calidad empleando instrumentos contextualizados
La contextualización del instrumento usado en esta estrategia (Figura 3) consiste en asignar distintos pesos a los
factores que se están evaluando, de tal forma que si se considera que un elemento no es importante se le puede
asignar un peso de 0% y al momento de realizar la evaluación no se tomará en cuenta.
La asignación de los pesos y la definición de los estándares dependerán de la institución que aplique el
instrumento. Este instrumento de evaluación de OAs se aplica en el contexto de una estrategia de gestión de la
calidad que considerará los siguientes pasos: se comienza con el aprendizaje de la guía de mejores prácticas por
parte del desarrollador, a nivel institucional se definen los estándares y pesos que se van a considerar en el
instrumento de evaluación, se procede a desarrollar el OA, el gestor de la calidad evalúa el OA empleando el
instrumento calibrado; en caso de encontrar que el OA cumple con los estándares de calidad se libera para su uso. El
proceso anterior se presenta en la Figura 4.
Aprendizaje
de la guía de
mejores
prácticas por
parte del
desarrollador
Desarrollo
del OA
Aplicación del
Instrumento
de evaluación
por parte del
Gestor de la
Calidad
[El OA cumple
con el estándar
definido]
Evaluación del
OA en base a
los resultados
del
Instrumento
aplicado
Liberar
el OA
para su
uso
[El OA no cumple con el estándar definido]
FIGURA 2. Proceso de Gestión de la Calidad de OAs para un instrumento descontextualizado.
(Fuente: Propuesta de los autores)
Clasificación: Elementos tecnológicos
Elemento a evaluar
Estándar para
el contexto
Medición en el
OA
Peso
Reutilización
Adaptabilidad
Calificación de los elementos tecnológicos __ (Peso __%)
Clasificación: Elementos pedagógicos
Suma del número de fotografías, diagramas y tablas
(Elementos visuales)
Personajes interactivos (Elementos visuales)
Número de animaciones sobre conceptos físicos, biológicos,
químicos (Elementos visuales)
Suma del número de animaciones de procedimientos técnicos y
videos (Elementos visuales)
Elementos auditivos
Ejemplos
Experimentación
Preevaluación
Evaluación
Colaboración
Relación
Calificación de los elementos pedagógicos __ (Peso __%)
Clasificación: Elementos de contenido
Caducidad de información
Caducidad de conceptos
Complejidad
Nivel de detalle de la información
Calificación de los elementos de contenido __ (Peso __%)
Clasificación: Elementos estéticos
Simetría en el acomodo de los elementos
Proporcionalidad de los elementos
Consistencia en la colocación de los elementos
Número de fuentes que emplea
Número de colores que emplea
Calificación de los elementos estéticos __ (Peso __%)
Calificación general del objeto de aprendizaje __
FIGURA 3. Instrumento contextualizado para evaluar un OA
(Fuente: Propuesta de los autores).
Calificación
Aprendizaje
de la guía de
mejores
prácticas por
parte del
desarrollador
Definir los
estándares
y pesos
que
manejará el
Instrumento
de
evaluación
Desarrollo
del OA
Aplicación
del
Instrumento
de
evaluación
por parte
del Gestor
de la
Calidad
[El OA no cumple con
el estándar definido]
Evaluación
del OA en
base a los
resultados
del
Instrumento
aplicado
[El OA
cumple con
el estándar
definido]
Liberar
el OA
para su
uso
FIGURA 4. Proceso de Gestión de la Calidad de OAs para un instrumento descontextualizado
(Fuente: Propuesta de los autores).
Ventajas
• La evaluación del OA se puede adaptar al estilo de aprendizaje.
• Se puede hacer una lista de los OAs que cumplan en mejor medida con las necesidades y deseos del
usuario.
Desventajas
• Mayor complejidad en su implementación, ya que debe definirse estándares y pesos para cada uno de los
elementos que se evalúan.
• Es poco probable que la institución educativa tenga conocimiento (o posea) uno de estos instrumentos.
Determinación de la Satisfacción del Usuario
La tercer estrategia puede o no aplicarse en conjunto con las dos estrategias anteriores y consiste en la
determinación de la satisfacción del estudiante al usar el objeto de aprendizaje.
En la propuesta se determina la satisfacción esperada antes de usar el OA y la satisfacción obtenida después de
usar el OA [18]. De la diferencia entre la satisfacción esperada y la satisfacción obtenida se obtiene una brecha, de la
cual, si la satisfacción obtenida es igual o superior a la satisfacción esperada se considera una calificación positiva
para el OA.
El proceso de gestión se presenta en la Figura 5 y como se mencionó anteriormente, puede adaptarse a cualquiera
de las estrategias anteriormente presentadas, realizándose al final de las estrategias anteriores una vez que se ha
liberado el OA para su uso. El instrumento que se puede usar para determinar la satisfacción del usuario puede
basarse en el SERVQUAL [15].
Determinación de
la satisfacción
esperada por el
estudiante
Uso del
objeto de
aprendizaje
Determinación
de la satisfacción
obtenida por el
estudiante
Cálculo de la
diferencia entre
la satisfacción
esperada y la
satisfacción
obtenida
FIGURA 5. Determinación de la satisfacción del usuario (Fuente: Propuesta de los autores).
En la Tabla 1, se muestra un resumen de las situaciones en que pueden aplicarse las primeras dos estrategias
presentadas.
TABLA (1). Situaciones de uso para cada estrategia (Fuente: Propuesta de los autores).
Situaciones de uso
Desarrollo masivo de OAs
El OA se debe adaptar a todos los
estilos de aprendizaje
Desarrollo de OAs que consideran el
estilo de aprendizaje
Gestión de la Calidad
empleando instrumentos
descontextualizados
X
X
Gestión de la Calidad
empleando instrumentos
contextualizados
X
CONCLUSIONES
En el presente trabajo se expusieron tres estrategias para la gestión de la calidad en OAs. La primera estrategia,
en la cual se emplea un instrumento de evaluación descontextualizado es en realidad la más usada, esto debido a la
facilidad que tiene en su implementación, un ejemplo de aplicación de esta estrategia y del instrumento de
evaluación presentado se puede consultar en el artículo “Una Experiencia en el Desarrollo Masivo de Objetos de
Aprendizaje Empleando Parámetros de Calidad y un Proceso de Gestión Bien Definido” [19]. La segunda estrategia,
la cual emplea un instrumento contextualizado, el cual considera principalmente el estilo de aprendizaje del
educando, realmente permite adaptar en mejor forma el OA a las necesidades del estudiante, pero debe de ser
calibrado y en muchos casos las instituciones desconocen este tipo de instrumentos, por lo que aún cuando tiene
ciertas ventajas, no es muy usado. La tercera estrategia presentada puede emplearse en conjunto con las dos primeras
y permite determinar la satisfacción del estudiante; sobre esta estrategia actualmente se está haciendo la validación
de los instrumentos para determinar la satisfacción esperada y satisfacción obtenida, por lo que se espera poderse
presentar en un siguiente trabajo. Las dos primeras estrategias dependen en su evaluación del gestor de la calidad y
no poseen una evaluación por parte del estudiante, esta carencia se remedia considerando la tercera estrategia.
REFERENCIAS
1.
Velázquez C. E., Muñoz J., Álvarez F. & Garza L. (2006). La determinación de la Calidad del Contenido de un
Objeto de Aprendizaje, VII Encuentro Internacional de Computación ENC‟06, San Luis Potosí, México, ISBN:
968- 5733-06-6, pp 346-351.
2. Velázquez C. E., Muñoz J., Alvarez F., Pinales F. & Garza L. (2008). Estrategias de Gestión de la Calidad en el
Desarrollo de Objetos de Aprendizaje, Tercera Conferencia Latinoamericana de Tecnologías de Objetos de
Aprendizaje LACLO 2008, Aguascalientes, Aguascalientes, México, ISBN 978-970-728-067-0, pp. 185-190.
3. Cazau
P.
(2001).
Estilos
de
Aprendizaje:
Generalidades
,CIIDET,
http://www.itnl.edu.mx/docs/material21/EstilosAprendizaje/Lecturas/Estilos%20de%20aprendizaje%20General
idades.pdf.
4. Alonso Catalina et al (1994). Los estilos de aprendizaje: procedimientos de diagnóstico y mejora, Ediciones
Mensajero, Bilbao. España.
5. Kolb, D. (1976). The Learning Style Inventory: Technical Manual, Boston, Ma.: McBer.
6. Herrmann, N. (1982). The Creative brain. NASSP Bulletin, 31-45.
7. Herrmann, N. (1990). The Creative Brain. Brain Books, Lake Lure, North Carolina.
8. Bandler, R. y Grinder, J. (1982). De sapos a príncipes. Editorial Cuatro Vientos.
9. Gardner, H. (1983). Frames of Mind: The Theory of Multiple Intelligences. New York: Basic Books, Division
of Harper Collins Publishers.
10. McCarthy, B. (1987). The 4MAT system: Teaching to learning styles with right/left mode techniques.
Barrington, IL: Excel, Inc.
11. Felder, R., y Silverman, L. (1988). Learning and Teaching Styles in Engineering Education," Engr. Education,
78(7),
674-681.
Consultado
el
18
de
septiembre
de
2011,
de:
http://www4.ncsu.edu/unity/lockers/users/f/felder/public/Papers/LS-1988.pdf
12. Spohrer, J., Maglio, P.P., Bayley J., & Gruhl D. (2007). Steps Toward a Science of Service Systems. IEEE
Computer Society, 71-77.
13. Parasuraman, A., Zeithaml, V.A. & Berry, L.L. (1985). A conceptual model of service quality and its
implication. Journal of Marketing. 49 Fall, 41-50.
14. Lewis, B. R., & Mitchell, V. W. (1990). Defining and measuring the quality of customer service. Marketing
Intelligence & Planning. 8(6), 11-17.
15. Pitt, L.F., Walson, R.T., & Kavan, C.B. (1997). Measuring Information Systems Service Quality: Concerns for
a Complete Canvas. MIS Quarterly. Junio 2007, 209-221.
16. Chen, L. H., & Lin, C. (2007). Integrating Kano‟s model into E-learning satisfaction. Industrial Engineering and
Engineering Management, 2007 IEEE International Conference, 297-301.
17. Nesbit J., Belfer K., Leacock T. (2003): Learning Object Review Instrument (LORI). User Manual. E-Learning
Research and Assessment Network.
18. Babiarz, P., Piotrowski, M., Wawrzynkiewicz, M., (2003). The Application of Service Quality GAP Model to
Evaluate the Quality of Blended Learning. Proceedings Of The Iadis International E-Society Conference,
Lisbon.
19. Velázquez C. E., Álvarez F., Garza L., Sicilia M., Mora M. & Muñoz J. (2011). Una Experiencia en el
Desarrollo Masivo de Objetos de Aprendizaje Empleando Parámetros de Calidad y un Proceso de Gestión Bien
Definido, REVISTA IBEROAMERICANA DE TECNOLOGÍAS DEL APRENDIZAJE, IEEE-RITA (LatinAmerican Learning Technologies Journal), noviembre de 2011, ISSN 1932-8540, Número 4, Volumen 6,
http://rita.det.uvigo.es/index.php?content=Num_Pub&idiom=Es&visualiza=4&volumen=6&numero=4