Análisis De Criterios De Evaluación Para Medir Los

Análisis de criterios de evaluación para medir los posibles
efectos del b-learning en estudiantes de escuelas
secundaria y media vocacional: Una revisión de literatura
Analysis of evaluation criteria to measure the potential effects of b-learning in
secondary school students and middle vocational: A literature review
Mendoza-Ustariz EdwardFabian
Profesor Catedrático – Universidad Popular del Cesar
Estudiante de Maestría
Universidad Nacional de Colombia Bogotá
Sanchez-Torres Jenny Marcela
Profesora Asociada
Universidad Nacional de Colombia Bogotá
[email protected]
[email protected]
Resumen
Este artículo tiene como finalidad presentar los resultados de una investigación que permitió
caracterizar sistemas evaluación propuestos en el periodo de 2003 a 2012; con el fin de
evaluar los efectos del b-learning en el aprendizaje de los estudiantes, a través del análisis
de criterios aplicando el uso de variables e indicadores.
Los resultados principales se presentan en la distribución de criterios, encontrando que un
(57%) de variables e indicadores está enfocado en medir aspectos de pedagogía y
habilidades con relación a los efectos del b-learning, mientras que un (8%) se concentra en
medir dimensiones de contexto. Del mismo modo se identificó que la dimensión con mayor
número de indicadores fue la de pedagogía y habilidades con un (54%) contra un (46%) de
variables, y la dimensión con menor número de indicadores corresponde a la de acceso y
participación con un (32%) en contraste con un (68%) de variables, donde el mayor número
de indicadores se enfocan a los aspectos de uso de las TIC y acceso a la información.
Abstract
This article is to present the results of an investigation that had the objective of characterizing
the proposed evaluation systems in the period 2003-2012, in order to assess the effects of blearning on student learning, through analyzing known criteria as variables and indicators.
The main results are presented in the distribution of criteria, finding that one (57%) of
variables and indicators are focused on measuring aspects of education and skills in relation
to the effects of b-learning, while one (8%) is concentrated to measure dimensions of
context. Similarly it was found that the dimension with the largest number of indicators was
the pedagogy and skills with a (54%) against a (46%) of variables, and the dimension with
the lowest number of indicators corresponding to the access and participation one (32%) in
contrast to a (68%) of variables, where the greatest number of indicators focus on aspects of
ICT use and access to information.
Palabras Clave:
Criterios, variables, Indicadores, sistemas de medición, b-learning
1.
INTRODUCCION
Las Tecnologías de la información y comunicación TIC, ha jugado un papel muy importante
durante el siglo XXI, trayendo consigo nuevas oportunidades y nuevos retos en todas las
esferas de la vida. En el sector educativo, se han experimentado grandes cambios, debido a
la revolución tecnológica que se viene implementando a diario. De esta forma los modelos
de aprendizaje tradicionales están siendo objetos de cambio por la integración y el uso de
las TIC para la enseñanza de los estudiantes y para la generación de un nuevo el currículo
en la planta docente.[1]
Es por ello que uno de los modelos que se apoya en el uso de TIC en todos sus ámbitos, se
conoce como Sociedad de la Información (SI). la cual es definida por Castell [2], como “una
forma específica de organización social en la que la generación, el procesamiento y la
transformación de información se convierten en las fuentes fundamentales de la
productividad y el poder, debido a las nuevas condiciones tecnológicas que surgen en este
período histórico".
Así mismo, otro de los modelo de aprendizaje relativamente nuevo apoyado en el uso de
TIC, pero que su concepto ha existido durante décadas en áreas como la educación a
distancia, se conoce como blended learning (b-learning). El cual se define como el modo de
aprender combinando la modalidad de enseñanza y aprendizaje presencial con la modalidad
de enseñanza y aprendizaje virtual [3, 4].
El propósito de este artículo, es presentar los resultados de un estudio que permitió
caracterizar los diversos modelos de sistemas referentes propuestos en el periodo de 2003
a 2012; con el fin de evaluar los efectos del b-learning en el aprendizaje de los estudiantes,
a través del análisis de variables e indicadores. Para obtener los resultados se aplicó la
metodología propuesta por [5], la cual consiste en cuatro etapas:
i) Identificación de sistemas referentes que estudian los modelos del b-learning; ii) Selección
de sistemas referentes que evalúan los efectos del b-learning; iii) Identificación y clasificación
de criterios (Variables/Indicadores); y iv) Desarrollo de Informes y análisis de los resultados
obtenidos.
La composición del artículo está dada por la sección 2 que define la metodología que se
siguió y la descripción detallada en cada una de las etapas de esta, la sección 3 describe los
resultados por cada etapa descrita en la metodología y presenta el análisis de variables e
indicadores por dimensiones y aspectos. Finalmente se presentan las conclusiones del
trabajo realizado.
2. METODOLOGIA
Se llevó a cabo con base en el análisis practicado al número de variables e indicadores
encontrados en los sistemas de estudio referentes, para ello se definieron cuatro etapas de la
siguiente manera:
Etapa 1: Identificación de sistemas referentes que estudian los modelos del b-learning.
Etapa 2: Selección de sistemas referentes que evalúan los efectos del b-learning.
Etapa 3: Identificación y clasificación de criterios (Variables/Indicadores).
Etapa 4: Desarrollo de Informes y análisis de los resultados obtenidos.
2.1 Identificación de sistemas referentes que estudian los modelos del b-learning.
Esta fase dio lugar a la identificación de los sistemas referentes que estudian los modelos
del b-learning, propuestos por autores y entidades nacionales e internacionales en periodos
comprendidos entre el año 2003 y 2012. De igual forma se realizó la revisión de los trabajos
de [5][6][7], los cuales sirvieron de apoyo para tener claridad de la metodología y en el
manejo de identificación de variables e indicadores dentro de las propuestas de
investigación analizadas.
Para obtener los sistemas referentes con los diversos modelos, se realizaron búsquedas con
los siguientes criterios:



b-learning models
models that evaluate the b-learning
models that evaluate the effects of b-learning
Dichos criterios fueron consultados en las bases de datos de la Universidad Nacional,
Science Direct IEEE y Springer Journal, así como el motor de búsqueda Google Book y
Google Schoolar.
2.2 Selección de sistemas referentes que evalúan los efectos del b-learning.
En esta sección se llevó a cabo la selección respectiva de los sistemas referentes a ser
analizados. Para dicha selección se tuvo en cuenta dos aspectos de selección que debían
reunir las propuestas de evaluación:
El primero de ellos hacía referencia a la disponibilidad del referente, identificando las fuentes
primarias y secundarias de cada uno de ellos y descartando aquellos sistemas referentes
imposibles de localizar y de accesar a su contenido.
El segundo aspecto se aplicó con base al contenido de la documentación, seleccionando
aquellos sistemas de medición que evaluaran en forma general los efectos del b-learning
dentro de cada modelo analizado y descartando aquellos que centraban su contenido a
evaluar aspectos específicos del b-learning.
2.3 Identificación y clasificación de criterios (Variables/Indicadores).
Para esta etapa se realizó la identificación de variables e indicadores contenidos dentro de
los sistemas de evaluación seleccionados. Seguidamente se procedió a clasificar cada una
de estas variables e indicadores, dentro de las dimensiones de análisis presentadas y los
aspectos relacionados a cada dimensión.
Se hace importante aclarar que las dimensiones de análisis y los aspectos citados dentro del
presente artículo, no fueron propuestos si no adaptados del trabajo de investigación de
Cardona [7]. Los cuales se describen a continuación:
 Acceso y Participación: Hace referencia a las posibilidades de acceso a la educación, a
la información y al uso de la infraestructura. Los aspectos que componen esta
dimensión son: acceso a la educación, acceso a la información, acceso a las TIC,
brecha digital y uso de las TIC.
 Contexto: Condiciones externas o generales que se requieren para cuantificar la
participación en educación, como condiciones financieras o políticas. Esta dimensión la
conforman los aspectos de: marco regulatorio, matriculas, graduandos y recursos
financieros.
 Infraestructura: Se refiere a los servicios y elementos tecnológicos necesarios para el
funcionamiento de la educación. Sus aspectos son: elementos físicos (TIC) y servicios
digitales.
Pedagogía y Habilidades: Se relaciona con aspectos propios de la formación y adquisición
de habilidades, alfabetización en educación por géneros, edades y niveles académicos. Los
aspectos definidos para esta dimensión son: auto aprendizaje, aprendizaje guiado, efectos
b-learning, competencias o habilidades, formación para el empleo y lengua extranjera.
2.4 Desarrollo de Informes y análisis de los resultados obtenidos.
En esta última sección, se generaron varios informes representados a través de gráficos; con
el fin de analizar el comportamiento de los criterios (variables e indicadores) en cada una de
las dimensiones y aspectos definidos. De igual manera para administrar los datos y facilitar
el análisis de las variables e indicadores, se contó con una herramienta de software que
finalmente permitió la organización y el apoyo en el análisis de los datos. Dicho análisis
estuvo enfocado a:
 Distribución de criterios por dimensiones.
 Relación de variables vs indicadores encontrados.
 Distribución de criterios en cada dimensión.
 Variables e indicadores por dimensiones y aspectos.
3. RESULTADOS
Dentro de los resultados más relevantes obtenidos en cada una de las etapas del proceso
investigativo, se presentan:
Etapa 1: Identificación de sistemas referentes que estudian los modelos del b-learning.
En esta etapa se logro identificar 22 sistemas referentes con los modelos que evalúan el blearning, inicialmente se identificaron 10 con los cuales se elaboró una tabla comparativa
que permitió medir los efectos del b-learning y posteriormente se identificaron otros 12, a
través de búsquedas especializadas a bases de datos de orden nacional e internacional.
Etapa 2: Selección de sistemas referentes que evalúan los efectos del b-learning.
Una vez aplicados los aspectos de selección definidos en la segunda fase de la metodología,
se descartaron 16 propuestas de evaluación, 6 de ellas por no tener acceso a la contenido de
estos y 10 por contener modelos que estudiaban de manera específica los efectos del blearning.
El total de sistemas referentes seleccionados para el respectivo análisis de estos fue de 6,
como se evidencia en la Tabla 1.
Tabla 1. Sistemas de evaluación Seleccionados
Nombre del Sistema Referente
EL blended learning: Evaluación
experiencia de aprendizaje en el
postgrado [8]
de una
nivel de
Efecto del blended learning sobre el rendimiento y
la motivación de los estudiantes [9]
Uso de las TIC y especialmente el blended
learning en la enseñanza universitaria [10]
Students' perceptions on effective dimensions of
interactive learning in a blended learning
environment [11]
Reflections on the use of blended learning [12]
Blended learning models [13]
Elaboración propia con base en [8-13]
Etapa 3: Identificación y clasificación de criterios (Variables/Indicadores).
Esta etapa permitió identificar en cada uno de los modelos de los sistemas referentes
seleccionados, el número variable e indicadores que evalúan los efectos del b-learnig,
encontrando un total de 184 criterios asociados a los 6 sistemas de referentes analizados y
propuestos por otros autores.
Etapa 4: Desarrollo de Informes y análisis de los resultados obtenidos.
En esta sección se describen los resultados obtenidos en los análisis realizados, conforme
se hizo énfasis en la segunda etapa de la metodología.
La Tabla 2 presenta la distribución de variables e indicadores de los sistemas referentes
seleccionados.
Tabla 2. Criterios, Variables e Indicadores de los sistemas referentes por dimensiones
Total Referentes
Total Criterios
Pedagogía y
Habilidades
Infraestructura
Contexto
Autores
Acceso y
Participación
Dimensiones
I1
V2
I
V
I
V
Ruiz-Bolivar (2007) [8]
1
4
1
2
0
4 12 7 14 17 31
Monguet et al. (2006) [9]
2
7
1
2
2
4 12 10 17 23 40
Contreras et al. (2011) [10]
3
4
1
2
6
4 15 6 25 16 41
Delialioglu et al.(2007) [11]
2
2
2
1
2
2
7 10 13 15 28
Heinze et al. (2004) [12]
2
4
2
0
2
2
6
6 12 12 24
Valiathan (2002) [13]
1
2
0
1
1
2
4
9
11 23
7
8
13 18 56 48 87 97 184
Total General
I
V
I
V
6 14 20
Fuente: Elaboración propia con base en [8-13]
En la Tabla 2 se puede evidenciar que los referentes [8-10] son los que poseen mayor
número de variables e indicadores en la dimensión pedagogía y habilidades, de igual forma
se puede apreciar que tres de los 6 sistemas referentes [9-11], poseen variables e
indicadores en todas las dimensiones (50%), dos referentes [8],[13] solo poseen variables
en la totalidad de dimensiones (33%) y el referente restante [12], solo posee indicadores en
el número total de dimensiones (17%). La Figura 1 esquematiza la distribución de criterios
de los sistemas referentes analizados caracterizados por dimensiones, se puede observar
que una parte importante (57%) de variables e indicadores (104 de 184) se orientan a medir
aspectos como los efectos causados por el b-learning y competencias o habilidades, el 18%
(34 de 184) se enfoca en aspectos de acceso y participación, mientras que el 17% (31 de
184) mide aspectos relacionados con la infraestructura y el 8% restante (15 de 184)
1
2
I- Indicador: Es una característica observable y de fácil identificación de una variable
V- Variable: : Se define como el concepto de un objeto de estudio que puede tomar diferentes valores
aspectos que tienen que ver con la dimensión de contexto, en lo que respecta a procesos
académicos y regulatorios de la educación.
Figura 1. Distribución de criterios de los sistemas referentes por dimensiones
Con base en la relación porcentual existente entre el la cantidad de variables e indicadores,
se puede apreciar que la Figura 2 presenta el (53%) de variables contra el (47%) de
indicadores. Lo que supone que hay mucho por medir pero no se sabe cómo hacerlo.
Figura 2. Relación de Variables vs Indicadores de los sistemas referentes
La Figura 3 devela las cifras porcentuales del total de variables e indicadores clasificados en
cada una de las dimensiones propuestas, encontrando que la dimensión con mayor número
de indicadores fue la de pedagogía y habilidades con un (54%) contra un (46%) de
variables, seguida por la dimensión contexto con un (47%) de indicadores contra un (53%)
de variables, del mismo modo se encuentra la dimensión infraestructura con un (42%) de
indicadores contra un (58%) de variables, finalmente la dimensión con menor número de
indicadores corresponde a la de acceso y participación con un (32%) en contraste con un
(68%) de variables, donde el mayor número de indicadores se enfocan en aspectos de uso
de las TIC y acceso a la información.
Figura 3. Distribución de Variables e Indicadores con relación a cada una de las
dimensiones
1) Análisis de la dimensión acceso y participación
Como ya se había mencionado anteriormente, la dimensión de acceso y participación aporta
un (18%) al total de criterios identificados en los sistemas referentes. ahora bien, analizando
la distribución de los aspectos propuestos, se puede observar en la Figura 4 que el aspecto
con mayor grado de criterios dentro de la dimensión acceso y participación corresponde al
de uso de las TIC con un (41%), seguido del aspecto acceso a la información con un (29%),
luego acceso a la educación con un (15%), acceso a las TIC con un (12%) y por último el de
brecha digital con un (1%). Con relación al aporte de estos aspectos al total de criterios, se
puede inferir que el aspecto de uso de las TIC aporta un (8%) del total de variables e
indicadores, seguidamente de un (5%), (3%), (2%) y (1%) en su orden, para los aspectos
restantes.
Figura 4. Variables e Indicadores en los aspectos que componen la dimensión acceso
y participación
En cuanto a la relación porcentual equivalente al número de variables e indicadores que
conforman los aspectos de la dimensión acceso y participación, se puede decir que el
aspecto con mayor proporción de indicadores es el de brecha digital con un (100%),
continuando con uso de las TIC, acceso a la información con un (30%) y acceso a la
educación con un (20%), en contraste con el aspecto de acceso a las TIC que registra solo
variables (100%). (Ver Figura 5)
Figura 5. Relación de Variables e Indicadores en los aspectos de la dimensión acceso
y participación
2) Análisis de la dimensión contexto
En esta dimensión se puede analizar que el aspecto mayor medido es el de marco
regulatorio con un (67%), seguido del aspecto matriculas con un (33%) en lo que tiene que
ver a la dimensión. Con respecto al total de criterios del estudio, también se encontró que
los aspectos mayor medidos son los de marco regulatorio y matriculas con un 5% y 3%
respectivamente. Llama la atención que los aspectos graduandos y recursos financieros no
poseen medición alguna, en lo que concierne a la dimensión y al total de criterios de los
sistemas referentes. (Ver Figura 6)
Figura 6. Variables e Indicadores en los aspectos que componen la dimensión
contexto
Con relación a la distribución de variables e indicadores de los aspectos que agrupan la
dimensión contexto, se puede observar que el aspecto que proporciona mayor número de
indicadores es el de matricula con un (100%), seguido del aspecto marco regulatorio con un
(20%), contra un 80% de variables. Así mismo se puede observar que los aspectos
graduandos y recursos financieros no presentan ningún tipo de medición. (Ver Figura 7)
Figura 7. Relación de Variables e Indicadores en los aspectos de la dimensión
contexto
3) Análisis de la dimensión infraestructura
En esta categoría, se puede evidenciar que los aspectos con mayor cantidad de variables e
indicadores a nivel dimensional, es el de servicios digitales con un (74%) y elementos físicos
con el (26%) restante, de igual manera estos mismos aspectos aportan el 13% y 4% del total
de criterios de los sistemas referentes. (Ver Figura 8)
Figura 8. Variables e Indicadores en los aspectos que componen la dimensión
Infraestructura
Por su parte, en cuanto al análisis de variables e indicadores en lo que tiene que ver con la
dimensión infraestructura, la Figura 9 devela que el aspecto elementos físicos TIC aporta
más variables (87%) contra un (13%) de indicadores, mientras que el aspecto servicios
digitales aporta más indicadores (52%) contra un (48%) de variables.
Figura 9. Relación de Variables e Indicadores en los aspectos de la dimensión
infraestructura
4) Análisis de la dimensión Pedagogía y Habilidades
Con base al análisis realizado a la dimensión pedagogía y habilidades, se puede inferir que
el aspecto con mayor proporción de criterios medidos es el de efectos b-learning con un
(48%), seguido de los aspectos competencias o habilidades, aprendizaje guiado y formación
para el empleo, con un (27%), (24%) y (1%) con respecto a la dimensión. Así mismo se
puede observar, que el aporte realizado al total de criterios del estudio, esta dado por los
aspectos efectos b-learning, competencias o habilidades, aprendizaje guiado y formación
para el empleo, con un (27%), (15%), (14%) y (1%) respectivamente. Llama la atención que
los aspectos auto aprendizaje y lengua extranjera, no registran medición alguna. (Ver Figura
10)
Figura 10. Variables e Indicadores en los aspectos que componen la dimensión
pedagogía y habilidades
Respecto a la relación de variables e indicadores en los aspectos que conforman la
dimensión pedagogía y habilidades, la Figura 11 presenta que el aspecto con mayor
cantidad de indicadores es el de aprendizaje guiado con un (100%) y ningún tipo de variable
(0%), continuando con el aspecto efectos b-learning con un (64%) de indicadores contra un
(36%) de variables, competencias o habilidades con un (50%) de indicadores y (50%) de
variables. Por otro lado, se puede observar que el aspecto formación para el empleo no
posee indicadores (0%), si no mayor concentración de variables (100%), mientras que
lengua extrajera y auto aprendizaje no poseen ningún criterio de medición.
Figura 11. Relación de Variables e Indicadores en los aspectos de la dimensión
pedagogía y habilidades
CONCLUSIONES
Los resultados de esta investigación permitieron poner de manifiesto que el mayor número
de criterios se enfoca a la dimensión de análisis pedagogía y habilidades, lo cual evidencia
que es la más medida, dado que los aspectos que evalúan los efectos del b-learning hacen
parte de esta dimensión.
Así mismo se encontró que el aspecto con mayor proporción de indicadores y variables
medidas con respecto a la dimensión de análisis pedagogía y habilidades, fue el de efectos
b-learning, realizando también un aporte de mayor representación al total de criterios del
estudio.
Llama la atención aspectos como el de graduando, recursos financieros, auto aprendizaje y
lengua extrajera, debido a que no registran medición alguna, lo que indica que son aspectos
sin explorar dentro de los modelos estudiados.
Por otra parte, se detecto que aspectos como uso de las TIC, acceso a la información y
acceso a la educación, resaltan de manera importante dentro de la dimensión de análisis
acceso y participación, lo que señala el grado de avance en cuanto a la incorporación de las
TIC, cada vez se hace mayor en el ámbito educativo, reduciendo la brecha digital entre lo
que se conoce hoy en día como sociedad de la información.
Finalmente, los resultados arrojados sirven como punto de referencia para profundizar más
acerca del comportamiento de las variables e indicadores propuestos por otros autores a lo
largo de estos años; con el fin de enfocar mejor investigaciones futuras e identificar aquellos
aspectos con mayor y menor registros de mediciones dentro de los efectos que miden el blearning, en pro de mejorar los procesos educativos y proponer el usos de herramientas
digitales, a nivel de Instituciones de secundaria y media vocacional.
REFERENCIAS
[1]
F. Vera, "La Modalidad Blended-Learning en la Educacion Superior," pp. 1-16, 2008.
[2]
M. Castells, "La era de la información: economía, sociedad y cultura," Alianza
Editorial, vol. Volumen I, pp. 31-92, 1998.
[3]
G. E. Marsh, A. C. McFadden, and B. Price, "Blended Instruction: Adapting
Conventional Instruction for Large Classes," Online Journal of Distance Learning
Administration, vol. Volume VI, 2003.
[4]
J. Salinas, "Qué se entiende por una institución de educación superior flexible,"
Comunicación presentada en "Congreso Edutec 99. NNTT en la formación flexible y
a distancia", 14 a 17 de septiembre 1999, Sevilla, pp. 1-16, 1999.
[5]
M. Gonzalez-Zabala and J. Sanchez-Torres, "Análisis de variables e indicadores
empleados para medir la sociedad de la información," Ingeniare. Revista chilena de
ingeniería, vol. vol. 20, pp. 433-446, 2012.
[6]
A. Bustamante-Garcia and J. Sanchez-Torres, "Indicadores de la Sociedad de la
Información para la medición en e-banking y e-learning."
[7]
[8]
D. Cardona, "Propuesta de diseño de metodología para evaluar el impacto del
elearning en el proceso de aprendizaje de estudiantes de ducación a distancia,"
2011.
C. Ruiz Bolivar, "El Belnded Learning_Evaluacion de una experiencia de aprendizaje
en el nivel de postgrado," Revista Electrónica de la Educación: Educación y Cultura
en la Sociedad de la Información., vol. 8, pp. 188-199, 2007.
[9]
J. Monguet, J. Fábregas, D. Delgado, F. Grimon, and M. Herrera, "El Efecto del
Blended Learning sobre el rendimiento y la motivación de los estudiantes," Revista
de Ciencia y Tecnología de América, vol. 31, pp. 190-196, 2006.
[10]
L. E. Contreras, C. González, and H. J. Fuentes, "Uso de las Tic y especialmente del
Blended Learning en la enseñanza universitaria," Revista Educación y Desarrollo
Social, vol. 5, pp. 151-160, 2011.
[11]
O. Delialioglu and Y. Zahide, "Students’ Perceptions on Effective Dimensions of
Interactive Learning in a Blended Learning Environment," International Forum of
Educational Technology & Society (IFETS), vol. 10, 2007.
[12]
A. Heinze and C. Procter, " Reflections On The Use Of Blended Learning," Education
in a Changing Environment, pp. 1-11, 2004.
[13]
P.
Valiathan,
"Blended
Learning
Models,"
Learning
Circuits.
http://dimadele.org/platform10/blended_learning/Blended%20Learning%20Models.pd
f, 2002.