Instrumento de Evaluación para Determinar la Calidad de

Instrumento de Evaluación para Determinar la Calidad de
los Objetos de Aprendizaje Combinados Abiertos de tipo
Práctica
Yosly Hernández Bieliukas a,b,, Antonio Silva Sprock b and César Velásquez
Amador c
a
Universidad Central de Venezuela, Facultad de Ciencias, Unidad de Educación a Distancia
Av. Los Ilustres, Los Chaguaramos, Caracas, 1043, Venezuela
[email protected]
b
Universidad Central de Venezuela, Facultad de Ciencias, Escuela de Computación
Av. Los Ilustres, Los Chaguaramos, Caracas, 1043, Venezuela
[email protected],
c
Universidad Autónoma de Aguascalientes, Centro de Ciencias Básicas,
Av. Universidad N°940, Cdad.Universitaria, C.P.20131, Aguascalientes, Ags., México.
[email protected]
Resumen: Actualmente los Objetos de Aprendizaje (OA) se han difundido como un concepto de creación de recursos
educativos reutilizables que apoyen el Proceso de Enseñanza y Aprendizaje, Sin embargo, la solo incorporación de los
mismos no es garantía de calidad en la formación educativa, ni en el resultado del mismo, generándose en consecuencia,
la imperiosa necesidad de evaluar y poder establecer niveles óptimos de calidad. Con base a ello, en este trabajo se
presenta la construcción de un Instrumento de Evaluación para un tipo en particular de OA, los Combinados Abiertos de
tipo Práctica, a partir de un modelo de calidad integral, con base en las características de pedagógicas, tecnológicas y de
interacción humano computador bases en la concepción del recurso, además de los aspectos que se consideran en el
estándar para evaluar la calidad del software ISO 9126. Con el objetivo de definir y establecer los aspectos mínimos que
son necesarios desde las tres disciplinas bases en su concepción, para que el recurso sea considerado de calidad.
Palabras Claves: Objetos de Aprendizaje, Combinados Abiertos de Práctica, Calidad, Estándar ISO/IEC 9126,
Instrumento de Evaluación, Modelo de Calidad.
Abstract. Currently Learning Objects (LO) have been spread a concept of creation of reusable educational resources to
support the Process of Teaching and Learning, however, the only addition of the same is no guarantee of quality in
educational training, or the result of it, generating therefore an urgent need to assess and to establish optimal levels of
quality. Based on this, this paper presents the construction of an Assessment Instrument for a particular type of LO, the
Open Combined Type Practice, from a comprehensive quality model, based on the characteristics of pedagogical,
technological human interaction and computer databases in the design of the resource, in addition to the aspects that are
considered the standard for assessing software quality ISO 9126. In order to define and establish the minimum features
that are needed from all three disciplines in design basis for the appeal to be considered quality.
Keywords:Learning Objets, Open Learning Object combined Type Practice, Quality, Standard ISO / IEC 9126,
assessment instrument, Quality Model,
INTRODUCCIÓN
La incorporación de las Tecnologías de la Información y Comunicación (TIC) en la Educación ha permitido
extender los ambientes de enseñanza y aprendizaje, para así poder desarrollar ambientes virtuales colaborativos e
interactivos, con el uso de diferentes recursos didácticos multimedia, que permitan el logro de la intencionalidad de
los mismos. Es por ello, que en el ámbito educativo se ha desarrollado un concepto que busca la reutilización,
permanencia, interoperabilidad, accesibilidad y compatibilidad de los recursos digitales para el desarrollo de cursos
y programas de formación en línea a través de la Web, los llamados Objetos de Aprendizaje (OA).
Los OA son recursos didácticos e interactivos en formato digital con un objetivo específico, creados con el
propósito de ser reutilizados, adaptados, editados y/o combinados para los diversos entornos virtuales de enseñanza
y aprendizaje, caracterizándose por la introducción de información auto descriptiva expresada como los metadatos.
Como apoyo al proceso educativo muchas personas se han enfocado en desarrollar y emplear los OA, lo que
permite que en un determinado momento se puedan reutilizar en distintos contextos según la pertinencia y
disposición, además de responder a la misma necesidad educativa. Motivado a ello, es importante tener mecanismos,
criterios e instrumentos que permitan evaluarlos y así determinar la calidad de los mismos, considerando todos los
elementos fundamentales en su concepción, así como también, el contexto y modo de uso.
Actualmente, existen diferentes tipos de instrumentos, pero sólo consideran algunos aspectos pedagógicos,
tecnológicos o de interacción humano computador del recurso, no de forma integral, aunado a ello no identifican qué
tipo de OA se evalúa; en vista de ello, aplicar diversas formas de evaluación por separado no resulta tan provechoso
en vista de que engloba diferentes enfoques y perspectivas de los autores, porque lo que no hay un consenso en
cuáles son los aspectos que se deben considerar para que un OA sea de Calidad.
Por lo antes expuesto se requiere de un proceso de evaluación completo e integral, donde se abarquen los
aspectos fundamentales que deben estar presentes en un recurso y determinan su calidad. Con base a ello, a
continuación, en este trabajo se presenta el diseño y la construcción de un instrumento de evaluación integral de la
calidad para los OA combinado abierto de tipo práctica, partiendo de un modelo de calidad, desde las tres
dimensiones importantes en la concepción del mismo: pedagógica, tecnológica y de interacción humano
computador. Todo esto de forma más completa que los modelos e instrumentos de evaluación de calidad existentes,
basado en el estándar internacional para evaluar la calidad de software ISO/IEC 9126 [1], las características
fundamentales que deben estar presentes y el tipo de OA.
LOS OBJETOS DE APRENDIZAJE COMBINADOS ABIERTOS DE TIPO PRÁCTICA
Los OA de tipo Combinado Abierto según [2] consisten en un largo número de recursos digitales combinados
entre sí, de cualquier tipo, mezclados en una computadora en tiempo real, donde sus componentes pueden ser
directamente empleados para su reutilización. Además, combinan la instrucción con la práctica, creando así una
unidad instruccional completa. Por ejemplo, un recurso que sea una página Web y esté compuesta por diversos
componentes (imágenes, videos, texto, entre otros) que se encuentran en un formato reutilizable, además de estar
combinados y disponibles. Es importante destacar, que son los que tienen un mayor potencial de reutilización en los
diversos contextos educativos y los más utilizados, además de estar inmersos en el manejo de la información tipo
Web.
Ahora bien, estos recursos son productos informáticos y educativos al mismo tiempo, porque se encuentran en
formato digital y apoyan el proceso educativo, por lo que es importante en su conceptualización considerar las
características pedagógicas, tecnológicas y de interacción humano computador presentes, es por ello que se ha
definido y se proponen tres dimensiones para agrupar estos aspectos desde la respectiva perspectiva, teniendo así la
dimensión pedagógica, tecnológica e interacción humano computador.
LA DETERMINACIÓN DE LA CALIDAD DE LOS OBJETOS DE APRENDIZAJE
COMBINADOS ABIERTOS DE TIPO PRÁCTICA
La calidad para cualquier entidad digital (software), la define [3] como el cumplimiento de los requisitos de
funcionalidad y desempeño, explícitamente establecidos, de los estándares de desarrollo documentados y de las
características implícitas que se esperan de todo software desarrollado profesionalmente.
Por otro lado, otros autores [4] definen la calidad de los OA como el grado de utilidad que tienen para el logro de
las metas pedagógicas planteadas, conllevando el trabajo del estudiante y por ende propiciar del aprendizaje.
Con base a lo anterior, se puede definir como calidad de los OA el grado de cumplimiento de un conjunto de
requisitos y/o elementos asociados a: (a) desempeño y (b) funcionalidad del OA desde el punto de vista tecnológico,
(c) usabilidad del OA desde el punto de interacción humano computador, y (c) el grado utilidad que presentan para
el logro de los objetivos pedagógicos planteados, desde el punto de vista pedagógico
La calidad de un OA es un aspecto muy particular dentro del proceso de selección de un OA para su uso en
determinados contextos, porque como recurso educativo digital pueden ser desarrollado por diferentes fuentes
(docentes, estudiantes, diseñadores instruccionales) y los requerimientos, intencionalidad, estrategias, actividades y
demás aspectos claves planteados pueden variar, según las necesidades, lo que conlleva a que sean revisados y
evaluados en función del ámbito en el cual van a emplearse para promover así su pertinencia y disposición.
El OA debe estar acorde al contexto en el cual se empleará, así como también la audiencia a la cual está destinado,
para su adecuada integración a los procesos de Enseñanza y Aprendizaje, buscando obtener los mejores resultados y
que los objetivos planteados se cumplan de la mejor forma.
Para determinar la Calidad de los OA se puede centrar en la evaluación del proceso de desarrollo del mismo o en
el producto como tal, es decir el OA resultante; por otro lado, [5] plantean de una manera formal cómo abordar el
problema de la calidad desde distintas perspectivas, las cuales corresponden a evaluar el proceso de desarrollo del
OA, propiamente del OA, el conocimiento obtenido con el uso del OA y la operación del OA. Aunado a ello en [6]
plantean que también puede hablarse de calidad en los metadatos del OA, es decir, medir la completitud, la claridad
y coherencia de los metadatos, la información que describe al OA. En vista de ello, para este trabajo de
investigación se realizó el estudio del proceso para la evaluación de la calidad de los OA desde la perspectiva del
producto resultante, es decir el OA.
MODELO DE CALIDAD PARA LOS OBJETOS DE APRENDIZAJE COMBINADOS
ABIERTOS DE TIPO PRÁCTICA
Para construir un Instrumento de evaluación integral primero se deben definir los elementos que caracterizan a
los OA Combinados Abiertos de tipo Práctica que se deben valorar, así como también, indicadores de evaluación
sobre cada uno de ellos, lo que permitirá determinar la Calidad de los mismos, por ello se procedió a definir un
Modelo de Calidad, siguiendo el proceso definido en [7].
Un modelo de calidad estándar e integral para los OA define cuáles son las características deseables que debe
cumplir, desde las dimensiones bases en su concepción: pedagógica, tecnológica y de interacción humano
computador, en función a los aspectos y estándares asociados, teniendo como resultado un conjunto de indicadores
de evaluación. A partir de este modelo se procederá a la construcción del Instrumento de Evaluación.
Para la construcción del modelo de calidad de los OA Combinados Abiertos tipo Práctica se siguió el proceso
sistemático propuesto por [7], el cual está compuesto por 6 pasos ( ver FIGURA 1) y parte de la caracterización del
dominio de los OA, identificando el tipo correspondiente, en función de ello se definieron y establecieron las
características pedagógicas, tecnológicas y de interacción humano computador asociadas. Una vez determinados
estos aspectos se procedió a realizar una instanciación del estándar internacional ISO/IEC 9126 [1], con base a los
rasgos de evaluación de calidad que plantea, aplicables a los OA y que están en relación con las características
definidas del recurso, estableciendo así los indicadores de evaluación, para finalmente validar el modelo por juicio
de expertos.
A continuación se describe la aplicación de cada uno de los pasos del Proceso, destacando que el modelo de
calidad para los OA Combinados Abiertos de Tipo Práctica, es muy similar al presentado en [7] para los OA
Combinados Abiertos de Tipo Instrucción, debido a que ambos tienen muchos aspectos en común; lo fundamental
de este trabajo es presentar el instrumento de evaluación que se creó partiendo del modelo obtenido.
FIGURA 1. Proceso Sistemático para la Producción de un Modelo de Calidad Integral [7].
1.- Caracterizar el Dominio de Objetos de Aprendizaje
Con base a la clasificación planteada por [8], para esta investigación se trabajó con los OA Combinado Abierto
de tipo Práctica, porque están destinados principalmente al autoaprendizaje y permiten una alta interacción con el
aprendiz, en el cual se incentiva a la realización de un conjunto de actividades, que facilitan el proceso de
asimilación de los contenidos desarrollados dentro del OA, para poder lograr los objetivos de aprendizajes
planteados que conduzcan a la construcción del conocimiento.
2.- Definir las Características Pedagógicas de los Objetos de Aprendizaje
Es importante definir y caracterizar a los OA desde una dimensión pedagógica, porque tienen una intención
educativa, que permite establecer secuencias lógicas para la efectividad del proceso de enseñanza y aprendizaje,
además de promover la construcción y difusión del conocimiento. Dentro de las características más resaltantes se
pueden mencionar: diversidad de estilos de aprendizaje, objetivos de aprendizaje, contenidos de aprendizaje,
actividades de aprendizaje, recursos, interactividad y evaluación.
3.- Definir las Características Tecnológicas de los Objetos de Aprendizaje
Los OA abarcan aspectos tecnológicos y pueden tratarse desde el área de la Ingeniería de Software, debido a que
se pueden ver como un producto de software, además de estar basados en estándares para facilitar el intercambio
entre diversos sistemas y plataformas, así como también, la reutilización y escalabilidad en entornos educativos.
Dentro de las características más resaltantes se pueden mencionar: Accesibilidad (basado en metadatos),
flexibilidad, adaptabilidad, portabilidad e interoperabilidad, además de la disponibilidad y licenciamiento.
4.- Definir las Características de Interacción Humano Computador de los Objetos de
Aprendizaje
Los OA deben poder motivar e interesar a los aprendices, para propiciar el trabajo con el mismo y así impulsar el
aprendizaje. Se debe tener presente que como un recurso digital debe cumplir con ciertos atributos que lo hagan
atractivo al aprendiz y éste no los rechace, como lo es el uso apropiado de los colores, las fuentes, presentación y
disposición de la información, navegabilidad, entre otros, esto refiere a que sea usable. Dentro de las características
más resaltantes se pueden mencionar: diseño visual (texto, imágenes, audio, video), ayudar a la memorización y la
recuperación ante fallas.
5.- Instanciación del Estándar ISO/IEC 9126 al dominio de Objetos de Aprendizaje
definido
Para realizar el proceso de instanciación del Estándar ISO/IEC 9126 [1] en el dominio de los OA Combinados
Abiertos de Tipo Práctica se utilizó el proceso definido por [7], el cual se compone del análisis para cada una de las
características y subcaracterísticas del estándar y las características del OA desde las tres dimensiones, previamente
definidas, para así determinar si se podía establecer una relación, todo esto con base a los aspectos definidos y la
pertinencia de esas características en el contexto (ver FIGURA 2).
FIGURA 2.- Proceso de Instanciación del Estándar ISO/9126 [7]
A continuación, se presenta las relaciones entre las características del estándar y de los OA Combinado Abierto
de tipo Práctica, las cuales se definen por grupos que son las respectivas dimensiones del modelo de calidad:
En la Dimensión 1 se tiene la Característica Funcionalidad, permite verificar si el OA cuenta con las
funciones adecuadas que permitan satisfacer las necesidades planteadas, por ello las subcaracterísticas que están
relacionadas son:
● Idoneidad: evaluar si el OA puede cumplir las tareas apropiadas, refiere si tiene definido claramente los
Objetivos de aprendizaje, Contenidos, Actividades de Aprendizaje y los Estilos de Aprendizaje.
● Exactitud: determinar si el OA es acorde para lo que fue creado, por lo que está relacionado con que tenga
Objetivos de aprendizaje, Contenidos y un conjunto de Actividades de Aprendizaje.
● Interoperabilidad: si el OA puede interactuar con otros sistemas, lo que refiere a la accesibilidad del
mismo.
En la Dimensión 2 se tiene la Característica Eficiencia, la capacidad que tiene el OA para proporcionar una
ejecución apropiada, relativa a la cantidad de recursos empleados, por ello la subcaracterística que está relacionada
es:
● Uso y comportamiento de los recursos: los tiempos de respuesta del OA, la cantidad de recursos
empleados y la duración de uso, las cuales están relacionadas a la Adaptabilidad y Flexibilidad del mismo.
En la Dimensión 3 se tiene la Característica Usabilidad, la capacidad que posee el OA para ser entendido,
aprendido, utilizado y atractivo, por ello las subcaracterísticas que están relacionadas son:
● Comprensibilidad: el esfuerzo que debe hacer el aprendiz para reconocer la estructura lógica, por lo que
está relacionado con los contenidos abordados, las actividades de aprendizaje, la accesibilidad,
disponibilidad, la ayuda a la memorización y el diseño visual que presente el recurso.
● Facilidad de Aprendizaje: el esfuerzo que debe hacer el aprendiz en aprender a usar el recurso, por lo que
está relacionado a la presentación de los contenidos en el OA, las actividades de aprendizaje, la
interactividad y el diseño visual del mismo.
● Atracción: la capacidad del OA para atraer y captar al usuario, lo que está directamente relacionado con el
diseño visual y la interactividad dentro del OA.
En la Dimensión 4 se tiene la Característica Confiabilidad, la capacidad que tiene el OA para mantener un
nivel de funcionamiento especifico al ser utilizado en determinadas condiciones, por ello la subcaracterística que
está relacionada es:
● Tolerancia a Fallas: es la habilidad de mantener un nivel de funcionamiento en caso de fallas del OA o
errores de interfaz, está relacionada a la forma en que se presenta recuperación ante diversas fallas que
puedan ocurrir por parte del aprendiz en su manejo.
En la Dimensión 5 se tiene la Característica Mantenibilidad, la capacidad que tiene el OA para ser
modificado, por ello la subcaracterística que está relacionada es:
● Facilidad de Cambio: mide el esfuerzo necesario para modificar aspectos del OA, está relacionada a la
Flexibilidad , Disponibilidad y Adaptabilidad del mismo.
Y finalmente en la Dimensión 6 se tiene la Característica Portabilidad, la posibilidad del OA para ser
transferido de un ambiente a otro, por ello la subcaracterística que está relacionada con los OA se describe de la
siguiente forma:
● Facilidad de Ajuste: lo que permite evaluar si el OA se adhiere a estándares que permitan la portabilidad e
interoperabilidad del mismo.
6.- Definir los Indicadores de Evaluación
Con base a las seis dimensiones definidas que conforman el modelo de calidad, se procedió a establecer los
indicadores de evaluación para los OA combinados abiertos de tipo práctica en función de los aspectos y
características deseables en ellos, se presentan a continuación:
● Funcionalidad: Presencia del Objetivo (s) de Aprendizaje (s) , Pertinencia y vigencia de los contenidos,
Presencia de la fuente bibliográfica, Lenguaje acorde al contexto del OA, Presencia de Ejemplos, Soporte a
diversos estilos de aprendizaje, Pertinencia de las actividades de aprendizaje, Correspondencia de los
contenidos abordados con el objetivo de aprendizaje planteado, Estandarización del OA, Correspondencia de
las actividades de aprendizaje con los objetivos y contenidos planteados.
● Eficiencia: Optimización del uso de los recursos de hardware y software para descargar y desplegar el
recurso, Tamaño del OA y Tiempo Típico de Aprendizaje.
● Confiabilidad: Restablecer el estado en el que se encontraba el aprendiz antes de ocurrir un error, Uso de
mensajes de aviso ante acciones que no se pueden cancelar y ocasionen errores.
● Usabilidad: Relación con otros OA o recursos Web, Granularidad del contenido, Claridad del contenido,
Respeto de las reglas de ortografía y gramática, Secuencia lógica de los contenidos ,Divulgación progresiva
de los contenidos, Claridad en la definición de las actividades de aprendizaje, Uso de metáforas, Consistencia
en la presentación del contenido, Uso de las fuentes, Uso de los Colores, Visibilidad del texto, Manejo de
Formatos Uniformes, Navegabilidad dentro del objeto, Uso de los recursos audiovisuales con respecto al
contenido textual, Utilización de un sistema de ayuda pertinente, fácil y descriptivo, Tipo de Interactividad,
Motivación al uso del recurso, Distribución de los elementos dentro del OA, Incorporación de mecanismos o
funcionalidades que promuevan interacción con el aprendiz.
● Mantenibilidad: Adaptación a diversos contextos educativos, Facilidad de cambio y actualización del OA,
Presencia de los metadatos, Presencia del OA en Repositorios públicos y /o lugares especializados donde se
puedan encontrar.
● Portabilidad: Dependencia de Software, Dependencia de Hardware, Compatibilidad con distintos
navegadores Web, Especificación de requerimientos técnicos.
CONSTRUCCIÓN DEL INSTRUMENTO DE EVALUACIÓN
Un Instrumento es utilizado para recolectar datos, el cual consiste de un conjunto de preguntas respecto de una o
más variables a medir. En función del desarrollo del objetivo de este trabajo, se diseñó y construyó un instrumento a
partir del modelo de calidad propuesto, el cual permite realizar una recolección de información útil para evaluar y
determinar la calidad de los OA Combinados Abiertos tipo Práctica, que permita establecer así su pertinencia a los
contextos educativos donde se pueda emplear.
Una vez definido el modelo de calidad, presentado anteriormente, donde están descritos los indicadores de
evaluación, se procedió a construir un Instrumento de Evaluación siguiendo un proceso sistemático que se describe a
continuación (ver FIGURA 3).
FIGURA 3. Proceso Sistemático para la Construcción del Instrumento de Evaluación
1.- Identificar el Tipo de Instrumento
Existen diversos tipos de cuestionarios o instrumentos de medición, cada uno con características diferentes,
varios autores, tal como lo sostiene [9] definen tres (3) tipos básicos: a) Restringidos o Cerrados: solicitan respuestas
breves, específicas y delimitadas; b) No Restringidos o Abiertos: solicitan una respuesta libre y c) Mixtos:
consideran en su construcción tanto preguntas cerradas como abiertas.
Ahora bien, para el diseño y construcción del instrumento de evaluación, se identificó con qué tipo se trabajaría,
determinando así que sería con los de tipo restringido o cerrado, en vista de que permiten limitar las respuestas, son
fáciles de llenar, mantienen al sujeto en el tema, además de fáciles de clasificar y analizar, siendo estas sus
principales ventajas, tal como lo señalan [9].
2.- Identificar el Tipo de Preguntas
Una vez identificado el tipo de instrumento, se determinó el tipo de preguntas que conformarían el mismo,
siendo éstas de tipo cerrado, con el objetivo de presentar a los sujetos opciones de respuestas previamente
delimitadas.
3.- Definir las Dimensiones y Preguntas
Se definieron sesenta y tres (63) ítems, a partir de los indicadores de evaluación correspondientes a las seis (6)
dimensiones y sus respectivas subdimensiones definidos en el modelo de calidad descrito anteriormente:
Funcionabilidad (idoneidad, exactitud e interoperabilidad); Eficiencia (uso y comportamiento de los recursos);
Usabilidad (comprensibilidad, facilidad de aprendizaje, atracción); Confiabilidad (tolerancia a fallas);
Mantenibilidad (facilidad de cambio) y Portabilidad (facilidad de ajuste).
4.- Definir la Escala de Evaluación
El instrumento contempló el diseño de una escala de evaluación, en donde el evaluador al emplearlo tiene
diferentes alternativas de respuestas que muestran la actitud favorable o no hacia las afirmaciones de cada ítem. Se
utilizó una escala de likert del 1 a 5, con los valores: Totalmente en Descuerdo, En Desacuerdo, Indiferente, De
Acuerdo y Totalmente de Acuerdo, respectivamente. Aunado a ello, con base a la suma de los valores de cada
dimensión del Instrumento se definió una valoración final de la Calidad en: Excelente, Muy Buena, Buena, Regular
y Mala.
5.- Definir el Porcentaje de Evaluación
Finalmente, como el instrumento está compuesto de seis (6) dimensiones, los cuales refieren a los aspectos que
plantea el estándar ISO/IEC 9126 detallado en el respectivo modelo de calidad descrito anteriormente, y no pueden
ser evaluadas de la misma forma, porque los aspectos que las conforman tienen mayor valor de relevancia e
impacto, además son los mínimos necesarios para determinar la Calidad del OA, se les estableció un porcentaje a
cada una, teniendo así: Funcionabilidad y Usabilidad veinte y cinco por ciento (25%), Eficiencia y Confiabilidad,
diez por ciento (10%), Mantenibilidad y Portabilidad quince por ciento (15%) respectivamente.
Las dimensiones que tienen mayor valoración son: Funcionalidad y Usabilidad (25%), debido a que representan
el funcionamiento adecuado del OA para cumplir con los objetivos propuestos, y la capacidad para que éste pueda
ser entendido, aprendido, utilizado y atractivo a los aprendices, respectivamente, seguido de la Mantenibilidad y
Portabilidad (15%), que están basadas en la posibilidad de ser modificado y/o adaptado a los diversos contextos
educativos, además de ser transferido de un ambiente a otro, respectivamente, para finalmente tener la Confiabilidad
y Eficiencia (10%), que permiten mantener un nivel de funcionamiento específico en determinadas condiciones y
proporcionar una ejecución apropiada en relación a la cantidad de recursos empleados, respectivamente.
Validación del Instrumento de Evaluación para Determinar la Calidad
Una vez construido el instrumento de evaluación de la calidad para los OA Combinados Abiertos de tipo
Práctica, para obtener la versión final se realizó la validación a través de juicio de expertos de las diferentes áreas
involucradas: Ingeniería de Software, Objetos de Aprendizaje, Tecnología e Informática Educativa y Tecnología
Instruccional, destacando la evaluación de tres expertos nacionales y dos internacionales, teniendo un total de cinco
evaluadores, lo que permitió corregir aspectos en cuanto a la claridad de los ítems y la presentación del instrumento.
Para realizar la validación se construyó un instrumento, a través del cual se valoró la claridad y congruencia de
cada uno de los ítems de las respectivas dimensiones, además de las observaciones planteadas por los expertos. En
base a los resultados de la valoración se obtuvo:
● Inicialmente se contaba con sesenta y tres (63) ítems, se eliminó uno, y el instrumento final quedo con
sesenta y dos (62) ítems, debido a que este ítem eliminado repetía información a evaluar.
●
Se modificó el veinticuatro por ciento (24%) de los ítems, lo que corresponde a trece (13) de los
cincuenta y uno (51) planteados, en vista de que no estaban definidos claramente y/o congruentemente
según el caso.
● Se reubicó el veinte por ciento (20%) de los ítems, lo que corresponde a diez (10) de los cincuenta y
uno (51) planteados, con base a su establecimiento en las dimensiones más acordes para el aspecto que
se evaluaba.
Finalmente, es importante señalar que el sesenta por ciento (60%) de los expertos, lo que refiere a tres de los
cinco evaluadores, resaltó que fue un trabajo excelente, un instrumento muy completo, organizado y bien llevado a
la generalidad, el cual considera diversas situaciones en las que se puede evaluar un OA, con las respectivas
observaciones que fueron tomadas en cuenta y reflejadas en el instrumento final.
RESULTADOS
A continuación se presenta el instrumento de evaluación final, que permite determinar la Calidad de los OA
Combinados Abiertos de tipo Práctica.
1
F U N C I O N A L I D A D (25 %)
Idoneidad
Los Objetivos de Aprendizaje aparecen definidos de forma clara y precisa
Se muestra información sobre la vigencia y/o actualidad de los Contenidos
Los Contenidos están definidos acordes a los aprendices
Se presenta las referencias bibliográficas de los contenidos abordados
El lenguaje escrito e imágenes transmite las ideas de forma organizada, estando
acorde a los aprendices
Se Incorporan ejemplos relevantes para ilustrar los contenidos
Se emplean imágenes, acordes a los aprendices, con el propósito de reforzar y/o
complementar el contenido
Se emplean animaciones y videos, acordes a los aprendices, con el propósito de
reforzar y/o complementar el contenido
Se emplea audio, acorde a los aprendices, con el propósito de reforzar y/o
complementar el contenido
El uso de diversos recursos audiovisuales, acorde a los aprendices, aporta un
valor agregado al contenido presentado
Las actividades están definidas acordes a los aprendices
Exactitud
El contenido abordado es coherente con los objetivos que se plantean en el
Objeto de Aprendizaje
El contenido abordado facilita el logro de los objetivos planteados
Las actividades planteadas son coherentes con los objetivos que se establecen
en el Objeto de Aprendizaje
Las actividades planteadas facilitan la comprensión de los contenidos
abordados
2
3
Totalmente
acuerdo
De acuerdo
Indiferente
En desacuerdo
Totalmente
desacuerdo
ASPECTOS
de
PUNTUACIÓN
en
ESCALA DE EVALUACIÓN
4
5
1
Interoperabilidad
El Objeto de Aprendizaje cumple con los estándares y/o lineamientos
internacionales
Totales
Puntuación mínima para catalogarlo de Calidad Buena: 12
E F I C I E N C I A (10%)
Uso y Comportamiento de los Recursos
El tiempo de respuesta a las acciones de los aprendices es idóneo de acuerdo a
los requerimientos de software y hardware
La velocidad de ejecución de los procesos del Objeto de Aprendizaje
(animaciones, videos presentación de textos, imágenes, entre otros aspectos
relevantes) es rápida y se comporta de igual forma en distintos computadores
El tiempo de uso del Objeto de Aprendizaje es aceptable y/o se puede ajustar.
No excede la capacidad de atención de los aprendices
Totales
Puntuación mínima para catalogarlo de Calidad Buena: 0,9
U S A B I L I D A D (25%)
Comprensibilidad
El Objeto de Aprendizaje tiene relación con otros objetos o recursos Web que
permiten profundizar y/o completar la información presentada
Existe una congruencia semántica entre el Objeto de Aprendizaje y los otros
objetos o recursos Web con los que guarda relación
El contenido se presenta en un nivel de detalle acorde a los aprendices
Se presentan los contenidos de una forma estructurada y organizada
Los contenidos se presentan de una forma gradual y sucesiva acorde a los
aprendices
El contenido no tiene fallas ortográficas y la construcción de las ideas y frases
es correcta
Se emplean metáforas intuitivas y adecuadas a los aprendices
Las actividades se presentan de forma estructurada y organizada
Las actividades están definidas en un nivel de detalle acorde a los aprendices
Las actividades presentan situaciones que le permiten al aprendiz experimentar
y descubrir nuevos conocimientos
Facilidad de Aprendizaje
Se exhibe una lista de los contenidos que serán abordados
La estructura de presentación de los contenidos es consistente y coherente en
todo el Objeto de Aprendizaje
La estructura de las actividades es consistente y coherente en todo el Objeto de
Aprendizaje
El mapa de navegación del Objeto de Aprendizaje está estructurado
lógicamente y se accede fácilmente (iconos, menús entre otros) a la información
presentada
2
3
Totalmente
acuerdo
De acuerdo
Indiferente
En desacuerdo
Totalmente
desacuerdo
ASPECTOS
de
PUNTUACIÓN
en
ESCALA DE EVALUACIÓN
4
5
Puntuación
(puntaje * 0,25):
Total
Puntuación
(puntaje * 0,1):
Total
1
2
3
Totalmente
acuerdo
De acuerdo
Indiferente
En desacuerdo
Totalmente
desacuerdo
ASPECTOS
de
PUNTUACIÓN
en
ESCALA DE EVALUACIÓN
4
5
El Objeto de Aprendizaje le permite al aprendiz explorar el Objeto de
Aprendizaje de manera flexible y libre
El Objeto de Aprendizaje le permite al aprendiz saber donde se encuentra en un
determinado momento
El funcionamiento de los enlaces y/o botones no presenta inconvenientes
No presenta recursos audiovisuales que distraigan la atención del aprendiz
No es necesario conocimiento o entrenamiento previo para utilizar el Objeto de
Aprendizaje
El Objeto de Aprendizaje dispone de un sistema de ayuda descriptivo y
pertinente
Las fuentes utilizadas dentro del Objeto de Aprendizaje facilitan la legibilidad y
visibilidad de los textos
El uso de los colores dentro del Objeto de Aprendizaje es adecuado para la
presentación de los contenidos
Se manejan formatos uniformes dentro del Objeto de Aprendizaje
El diseño de la interfaz es claro y atractivo
El diseño de la Interfaz es intuitivo
En el Objeto de Aprendizaje se observa una interactividad de tipo mixta en la
que el aprendiz interactúa enviando datos al recurso, y a su vez el recurso envía
información al aprendiz
En el Objeto de aprendizaje se puede observar sólo una interactividad de tipo
activa donde el aprendiz interactúa enviando datos al recurso
En el Objeto de aprendizaje se puede observar sólo una interactividad de tipo
expositiva donde el recurso envía información al aprendiz
Atracción
El Objeto de Aprendizaje motiva y atrae al aprendiz para que se incorpore a una
situación de aprendizaje activo
Existe una simetría en la distribución de los contenidos y/o los recursos
empleados
Se incorporan mecanismos o funcionalidades que promueven la interacción con
el aprendiz
Totales
Puntuación mínima para catalogarlo de Calidad Buena: 23,25
C O N F I A B I L I D A D (10 %)
Tolerancia a fallas
En caso de presentarse un error o una falla el Objeto de Aprendizaje conduce al
aprendiz para que pueda continuar desde el punto en el que se encontraba antes de
ocurrir el mismo
El aprendiz se siente apoyado, orientado y sin temor de cometer errores porque
el Objeto de Aprendizaje le ofrece la asesoría necesaria
Puntuación
(puntaje * 0,25):
Total
1
2
3
Totalmente
acuerdo
De acuerdo
Indiferente
En desacuerdo
Totalmente
desacuerdo
ASPECTOS
de
PUNTUACIÓN
en
ESCALA DE EVALUACIÓN
4
5
Totales
Puntuación mínima para catalogarlo de Calidad Buena: 0,6
Puntuación
(puntaje * 0,1):
Total
Puntuación
(puntaje * 0,1):
Total
M A N T E N I B I L I D A D (15%)
Facilidad de Cambio
El Objeto de Aprendizaje está orientado a ser empleado en diversos contextos
educativos
El Objeto de Aprendizaje provee una documentación completa que explica los
objetivos y las características del mismo para que pueda usarse y/o modificarse sin
dificultad
El Objeto de Aprendizaje fue desarrollado utilizando herramientas de amplia
distribución, el cual puede ser adaptado y/o modificado
El Objeto de Aprendizaje presenta su registro de metadatos descritos siguiendo
un formato estándar
El Objeto de aprendizaje se encuentra en un repositorio público y/o lugar
especializado donde se puede ubicar fácilmente para ser utilizado
Totales
Puntuación mínima para catalogarlo de Calidad Buena: 2,25
P O R T A B I L I D A D (15%)
Facilidad de Ajuste
El Objeto de Aprendizaje no requiere de algún sistema operativo en particular
para poder ser visualizado
El Objeto de Aprendizaje no requiere de algún software en particular para poder
ser visualizado
No Existe una dependencia de hardware para poder visualizar el Objeto de
Aprendizaje
El Objeto de Aprendizaje puede ser visualizado en distintos navegadores Web
Se especifican requerimientos técnicos particulares para poder visualizar el
Objeto de Aprendizaje
Totales
Puntuación mínima para catalogarlo de Calidad Buena: : 2,25
Puntuación
Total
(puntaje * 0,1):
Valoración General de la Calidad de los Objetos de Aprendizaje
Puntuación
General:
Combinados Abiertos de tipo Instrucción
sumando las seis dimensiones
56-69
Excelente
Rangos para evaluar la
42-55
Muy Buena
Calidad del Objeto de
29-41
Buena
Aprendizaje
15-28
Regular
Menor que 14
Mala
CONCLUSIONES
En este trabajo se presentó un instrumento de evaluación de la calidad, validado por juicio de expertos, para un
determinado tipo de OA, el cual partió del modelo de calidad planteado, donde los ítems o preguntas se definieron a
partir de cada uno de los indicadores de evaluación presentados en el mismo. Es importante señalar que el modelo y
el instrumento están basados en ISO/IEC 9126, por lo que las seis dimensiones que lo conforman corresponden a los
aspectos de evaluación que propone el estándar (Funcionalidad, Eficiencia, Usabibilidad, Confiabilidad,
Mantenibilidad y Portabilidad), teniendo así inmersas las tres dimensiones bases en la concepción de un OA
(pedagógica, tecnológica y de interacción humano computador), todo esto con la finalidad de minimizar el sesgo que
puede estar asociado a un evaluador dependiendo su grado experticia, logrando así una evaluación integral con una
visión interdisciplinaria, a diferencia de las propuestas de evaluación de calidad existentes estudiadas y presentadas,
donde se aprecian las diferentes visiones por separado que consideran pertinentes.
Se utilizó el estándar ISO/IEC 9126 debido a los OA son un producto de software, lo que permite aprovechar las
ventajas que proporciona el uso de estándares reconocidos a nivel internacional. Todo esto con la finalidad de
adaptar al dominio de los OA aquellos aspectos que fueron pensados para el software y aplican al contexto, debido a
que de esta manera se puede valorar la calidad de los aspectos tecnológicos y de interacción humano computador en
correspondencia a lo educativo.Lo importante de esta propuesta de un proceso de evaluación de calidad integral es
que logró definir indicadores de evaluación y lineamientos comunes con base a estándares reconocidos
internacionalmente y utilizados, buscando así generalizar los rasgos o aspectos mínimos necesarios que deben estar
presentes en un OA para que sea considerado de Calidad. Siendo éste un elemento fundamental y determinante en el
uso y la reutilización adecuada de estos recursos, para poder valorar la disposición pertinente en los diversos
contextos educativos que respondan a la misma necesidad de aprendizaje.
REFERENCIAS
1.
2.
3.
4.
5.
6.
7.
8.
9.
International Organization for Standardisation (ISO) (1991). ISO/IEC: 9126 Information technology-Software Product
Evaluation-Quality characteristics and guidelines for their use –1991.
Wiley, D. A. (2000). Connecting learning objects to instructional design theory: A definition, a metaphor, and a
taxonomy. In D. A. Wiley (Ed.), The Instructional Use of Learning Objects: Online Version. Descargado
11/Marzo/2008, de: http://reusability.org/read/chapters/wiley.doc
Pressman, R. (1998). Ingeniería del software. Un enfoque práctico. 4ª. Edición. McGrawHill.
González R., Arteaga J. y Rodríguez F. (2006). Formato para la Determinación de la Calidad en los Objetos de
Aprendizaje. Universidad Autónoma de Aguascalientes. Aguascalientes, México.
Velázquez Amador, C., Muñoz Arteaga, J. y Garza González, L.. (2007). Tecnología de Objetos de Aprendizaje,
Capítulo VI La Calidad de los Objetos de Aprendizaje. Primera Edición 2007. D.R. Universidad Autónoma de
Aguascalientes y Universidad de Guadalajara. Editorial de la UAA. ISBN: 978 970 728 101 4. Aguascalientes, Ags.,
México. pp 129-170.
Vidal, C. L., Segura, A. A., y Prieto, M. E. (2008). Calidad en objetos de aprendizaje. Actas de SPDECE08,
Salamanca.
Descargado
el
30
de
marzo
de
2011,
de:
http://www.web.upsa.es/spdece08/contribuciones/139_CalidadEnObjetosDeAprendizajeTypeInstSpringerFinalVidalSe
guraPrietov99.pdf.
Hernández,Y., Montaño, N., Miguel, V., y Velázquez, C. (2010). Una Propuesta para el Desarrollo Sistemático de un
Modelo de Calidad Integral para los Objetos de Aprendizaje Combinados Abierto de Tipo Instrucción. Actas del V
Congreso Latinoamericano de Objetos de Aprendizaje LACLO 2010. Universidad Prebisteriana Mackenzie, Sao Paulo,
Brasil. Septiembre 2010. ISSN: 1982-1610.
Hernández,Y., Montaño, N., Miguel,V. y Velazquez, C. (2009). Una Experiencia en la Construcción de un Modelo de
Calidad Pedagógica para Objetos de Aprendizaje. Actas de la 1ra La Conferencia Conjunta Iberoamericana sobre
Tecnologías de Aprendizaje, CcITA 2009. Mérida, México. ISBN: 978-607-7573-17-3
Jiménez, J; García, J & Aguilar, F. (2006). Guía técnica para la construcción de cuestionarios. Centro Interdisciplinario
de Investigación y Docencia en Educación Técnica (CIIDET). Año 3, núm. 6. Enero-Junio México. ISSN 1870-1477.