Características de los estudiantes asociadas a la

Características de los estudiantes
asociadas a la evaluación del desempeño
docente en bachillerato
13 de marzo de 2015
Características de los estudiantes
asociadas a la evaluación del desempeño
docente en bachillerato
Julio Herminio Pimienta Prieto
Esteban Flores Díaz
Isabel Rodríguez Rebolledo
PALABRAS CLAVE: N
ivel medio superior, evaluación de la docencia, percepción de los estudiantes,
características de los estudiantes.
EJE TEMÁTICO: Innovaciones en evaluación y medición del desempeño docente y directivo.
Resumen
En esta ponencia se presenta un avance resultante de un piloteo para una investigación que entre otras cuestiones,
pretende asociar algunas características de los estudiantes a los niveles de desempeño de profesores de bachillerato, producto de la aplicación de un cuestionario a los alumnos. Para ello se ha utilizado un modelo de regresión
logística multinomial que aunque pertinente, denota la necesidad de encontrar mejores estimadores para optimizar la clasificación. En el estudio han participado un total de 418 estudiantes de un bachillerato particular (de nivel
socioeconómico medio bajo) de la Ciudad de México, que han evaluado la actuación de su profesor de matemáticas
utilizando un cuestionario tipo escala de Likert con rango entre uno y cinco. Los resultados apuntan a una clara
preferencia a evaluar en niveles bajo y medio el desempeño de los profesores, a estudiantes que viven con ambos
padres y poseen computadora en casa, lo que nos habla de un cierto nivel socioeconómico, poseen una escasa
biblioteca y su rendimiento académico es medio o bajo. Por otro lado, se asocian a la evaluación de altos niveles
de desempeño, a estudiantes que viven con ambos padres, proceden de escuelas privadas, el nivel escolar de los
padres llega a licenciatura o más y sus promedios del nivel escolar anterior son medios altos o altos (8 puntos o
más en una escala de 10). Lo anterior nos lleva a confirmar la necesidad de utilizar este tipo de cuestionarios como
parte de una evaluación integral de la docencia y fundamentalmente con un fin formativo.
2
INTRODUCCIÓN
El impacto de la actuación docente en el rendimiento académico de los estudiantes ha sido muy estudiado en el último
tiempo, es bien conocido y lógico, el que los profesores con alto nivel de competencia generan altos niveles de logro en sus
estudiantes. Estudios actuales constatan la relación de las encuestas de evaluación docente con el rendimiento académico
de los alumnos (La Serna, et al., 2014), cuestión que nos habla de la actualidad y relevancia del tema; sin embargo, una
cuestión asociada que llama nuestra atención y que consideramos escasamente estudiada, hasta lo que hemos revisado
en este momento, es la referida a cuáles son las características de los estudiantes que evalúan a los docentes en niveles
altos de competencia. Ello, por el llamado que nos hace un grupo importante de serios investigadores que advierten de
esta situación (Páramo, 2008; La Serna, et al., 2014), y que denotan la carencia de objetividad en estos instrumentos como
medio para la obtención de información que permita la toma de decisiones trascendentes con los docentes.
El presente trabajo en el marco de un estudio piloto, pretende por un lado, obtener una clasificación del desempeño
de los docentes desde la percepción de los estudiantes: en alto, medio y bajo y, por otro, determinar las características
de los alumnos que se asocian con esta clasificación; entendiendo que en este momento las características medidas a los
estudiantes constituyen una exploración dentro de un grupo de deseables y que por la limitación del muestreo, pudieran
no ser las relevantes a tomar en cuenta en el estudio definitivo.
Para evaluar el desempeño docente, Perrenoud (2007, 2012), Mateo (2006) , Zabalza y Zabalza (2010, 2012) mencionando algunos autores, han planteado que es posible valorar la actuación del profesor considerando una serie de rasgos
dentro de una gran gama de posibilidades; pero, que de forma general, dan una buena idea de cómo se desempeña este
importante actor y qué considerar para proceder a su evaluación.
Muñoz, Ríos y Abalde (2002) en su estudio sobre la revisión de instrumentos que se han utilizado en diversas universidades españolas, han propuesto uno para evaluar la docencia desde la perspectiva de los estudiantes, mismo que si lo
comparamos con lo que pretende la reforma educativa emprendida en México para el nivel medio superior, no dista tanto
de lo que se propone como competencias deseables en el docente en este nivel.
A propósito, el Acuerdo 447 de la Secretaría de Educación Pública de México, marca que “las competencias docentes
son las que formulan las cualidades individuales, de carácter ético, académico, profesional y social que debe reunir el
docente de la EMS (Educación Media Superior), y consecuentemente definen su perfil”. (SEP, 2008, 2), estableciendo con
ello, una gama de actuaciones que debe poseer este profesional de la educación, que mencionamos a continuación:
1. Organiza su formación continua a lo largo de su trayectoria profesional.
2. Domina y estructura los saberes para facilitar experiencias de aprendizaje significativo,.
3. Planifica los procesos de enseñanza y de aprendizaje atendiendo al enfoque por competencias, y los ubica en contextos disciplinares, curriculares y sociales amplios.
4. Lleva a la práctica procesos de enseñanza y de aprendizaje de manera efectiva, creativa e innovadora en su contexto
institucional.
5. Evalúa los procesos de enseñanza y de aprendizaje con un enfoque formativo.
6. Construye ambientes para el aprendizaje autónomo y colaborativo.
7. Contribuye a la generación de un ambiente que facilite el desarrollo sano e integral de los estudiantes.
8. Participa en los proyectos de mejora continua de su escuela y apoya la gestión institucional.
Como es posible advertir, no es factible evaluar todas las actuaciones anteriores considerando la perspectiva de los
estudiantes; pero, la inmensa mayoría (seis de los ocho), si se pueden poner a consideración de los alumnos. Hemos considerado no enfrentar las actuaciones deseadas “1” y “8” al juicio de los estudiantes.
Tomando en cuenta lo anterior, hemos utilizado un instrumento basado en uno validado con anterioridad por Pimienta (2014) y que está conformado por 26 afirmaciones que los estudiantes deben valorar sobre las actuaciones que
aprecian en sus profesores, en un continuo entre 1 y 5, considerando que el 1 significa estar “muy en desacuerdo” y el 5,
“muy de acuerdo”.
3
Presentamos a continuación las dos dimensiones que conforman el instrumento y sus respectivos indicadores.
Tabla 1 Especificaciones del Cuestionario de Alumnos para Evaluar la Docencia (CAED)
Dimensiones
Indicadores
%
Pretensiones del programa.
Relación clases – programa.
• Lógica de las sesiones.
• Percepción del dominio de las competencias pretendidas.
• Cumplimiento del programa.
• Reactivación de saberes previos.
• Mediación necesaria para el logro de las competencias.
• Organización de los saberes.
• Aplicación de los saberes.
• Situaciones de aprendizaje.
• Participación de los estudiantes en las evaluaciones.
• Retroalimentación sobre las evaluaciones.
• Evaluación oportuna.
• Relación evaluación – programa – sesiones.
• Interdisciplinariedad.
• Trabajo individual y colaborativo.
• Recursos pertinentes.
• Utilización de la tecnología.
• Estrategias propiciadoras de aprendizaje.
73
Equidad en el trato.
Claridad de la comunicación.
• Ambiente propicio para el aprendizaje.
• Práctica de valores éticos.
• Involucramiento de los estudiantes en las tareas.
• Empatía.
• Respeto a la diversidad.
27
•
•
Didáctica
•
•
Ambiente modificante
DESARROLLO
4
A continuación describimos la muestra de estudiantes participantes en el estudio.
Casi la mitad de estudiantes son hombres, 49.8% (208) y la otra, el 50.2% (210) mujeres. La mayoría proviene de
escuelas secundarias particulares, el 75.1% (314); mientras que el 24.9% (104) proviene de escuelas gubernamentales.
Atendiendo al nivel escolar del padre: el 1.7% (7) no ha terminado la primaria, el 3.8% (16) posee primaria, el 13.6%
(57) secundaria, el 32.1% (134) secundaria, el 34.9% (146) posee licenciatura, el 8.4% (35) posee maestría y el 5.5%
(23) posee doctorado. Con respecto a las mamás, la distribución del nivel escolar se diferencia en que en estas últimas,
encontramos mayor cantidad en los niveles de secundaria y preparatoria: el 1.9% (8) no ha concluido la primaria, el 5%
(21) primaria, 21.1% (88) secundaria, 36.4% (152) preparatoria, 26.1% (109) licenciatura, el 6.7% (28) maestría y solo
el 2.9% (12) doctorado.
La mayoría de los estudiantes vive con ambos padres 74.6% (312), el 19.9% (83) vive con la madre y el 3.8% (16) con
el padre, el 1.7% (7) vive con algún otro familiar. En casa la inmensa mayoría posee computadora 92.3% (386), contra un
7.7 (32) que no la poseen. El 42.6% (178) reporta tener hasta 50 libros en casa, el 28.7% (120) posee entre 51 y 100, el
12.4% (52) reporta que posee hasta 150 libros en casa, mientras que el 10% (42) manifiesta que posee hasta 200 ejemplares y el 6.2% (26) plantea tener hasta 300 libros.
Con la intención de realizar la clasificación del desempeño docente, hemos aplicado un modelo de regresión logística
multinomial (Hosmer & Lameshow, 2000; Kleinbaum y Klein, 2010).
Para cada reactivo se determinaron las frecuencias de cada una de las opciones y se pudo apreciar que son similares
en cuanto a su distribución. La Fig. 1, muestra las gráficas de violín en las que se puede distinguir lo anterior. La única
diferencia la encontramos en el R3 (reactivo 3), en el que la mayoría ha seleccionado las opciones 3 y 4.
Figura 1 Gráficas de violín para cada uno de los reactivos
Posteriormente se procedió a realizar un análisis de correlación entre los ítems. Se calcularon las matrices de correlación de Pearson, Spearman y Kendall, con lo cual determinamos que las variables no se encuentran significativamente
relacionadas. A continuación mostramos un ejemplo de gráficas de correlación spider, que muestran lo planteado.
5
Figura 2 Gráficas de correlación
Para la construcción de la variable respuesta se ha tomado en cuenta la distribución de frecuencias de cada reactivo
de la escala.
Tabla 2 Distribución de frecuencias para los valores de la escala
Valor
1
Frecuencia absoluta
Frecuencia relativa
Frecuencia acumulada
352
Frecuencia acumulada relativa
352
0.032
0.032
2
703
0.065
1 055
0.097
3
2 074
0.191
3 129
0.288
4
4 461
0.410
7 590
0.697
5
3 293
0.303
10 883
Total
10 883
1
1
Tabla 4 Distribución de frecuencias para los niveles de desempeño
Valor
Frecuencia absoluta
Frecuencia relativa
Frecuencia acumulada
Frecuencia acumulada relativa
Bajo (1y 2)
1 055
0.097
1 055
0.097
Medio (3 y 4)
6 535
0.600
7 590
0.697
0.303
10 883
Alto (5)
Total
3 293
10 883
1
1.0
La variable respuesta (YD) varía entonces entre 26 y 130, de ello se establece que la proporción acumulada se encontrará entre 0 y 1, con un 9.7% de evaluaciones de bajo desempeño, 60% medio y 30,3% alto.
6
Finalmente, las proporciones finales para la variable respuesta son:
Tabla 5 Variable de respuesta YD
Puntaje Final
Clasificación
Variable respuesta
Límite Inferior
Límite Superior
Frecuencia
YD
26
79
39
0.093
80
110
250
0.692
111
130
129
1
Total
418
Bajo
Medio
Alto
Encontrándonos ante una medida ordinal, hemos formado un conjunto de variables de diseño, como plantean Homer
y Lameshow (2000), con lo que solventamos la anterior situación.
Tabla 6 Variables de diseño
Categoría
MPi,1
MPi,2
MPi,3
MPi,4
Muy en desacuerdo (1)
0
0
0
0
En desacuerdo(2)
1
0
0
0
Ni en acuerdo, ni en desacuerdo(3)
0
1
0
0
De acuerdo (4)
0
0
1
0
Muy de acuerdo (5)
0
0
0
1
Hemos utilizado un modelo de regresión logística multinomial, puesto que tenemos en nuestro caso, tres categorías
que expresan los niveles de desempeño docente.
En la regresión logística la variable dependiente, ha sido la función de distribución acumulada logística, definida como:
F(x) = P (X ≤ x) =
donde F(x) denota una probabilidad en el rango en [0,1], y
e g(x)
1 + e g(x)
g(x) = �0 + �1 x 1 + �2 x 2 + … + �p x p
El modelo de regresión logística multinomial queda definido como
donde:
F(MP) =
e g(MP)
1 + e g(MP)
MP = MP1 + … + MP26 , y cada MPi = MPi, 1 + MPi, 2 + MPi, 3 + MPi, 4 , por lo que cada una de las variables ordinales se reemplaza
por sus variables de diseño definidas anteriormente, finalmente:
g(MP) = �0 + �1, 1 MP1, 1 + �1, 2 MP1, 2 + �1, 3 MP1, 3 + �1, 4 MP1, 4 + …
+ �26, 1 MP26, 1 + �26, 2 MP26, 2 + �26, 3 MP26, 3 + �26, 4 MP26, 4
7
Se han encontrado los estimadores de los coeficientes Bi, j , en esta regresión se determinó que solo 48 coeficientes son
significativos, mismos que corresponden a los reactivos: 2, 5, 6, 8, 11, 13, 15, 17, 22, 23, 24 y 26.
Una vez obtenido el modelo de regresión logística se procede a pronosticar la evaluación después de la intervención
educativa, es decir con las evaluaciones en las que participaron los alumnos al finalizar el ciclo escolar.
Los cambios en las evaluaciones se muestran en la Tabla 7, ahora la frecuencia más alta la tiene la categoría Alto con
un 57.7%, después le sigue Medio con un 36.8% y al final la clasificación Bajo con tan solo el 5.5%.
Tabla 7 Frecuencias y porcentajes atendiendo a los niveles de desempeño
Clasificación Posterior
Clasificación Previa
Bajo
Medio
Alto
Total
Total
Bajo
Medio
Alto
3
14
22
39
13.0%
9.1%
9.1%
9.3%
13
101
136
250
56.5%
65.6%
56.4%
59.8%
7
39
83
129
30.4%
25.3%
34.4%
30.9%
23
154
241
5.5%
36.8%
57.7%
418
Los estudiantes que evaluaron en un nivel bajo el desempeño de los profesores y que no cambiaron su percepción,
13% (puesto que se aplicó el cuestionario tres semanas después de comenzar el curso y al finalizar) acerca de la evaluación, viven con ambos padres, cuentan con computadora en casa y presentan una cantidad reducida de libros en el hogar
(entre 1 y 50). Los que evaluaron como de nivel medio a su profesor (65.6%) y se mantuvieron en esa clasificación, son
principalmente mujeres que viven con ambos padres, la escuela de procedencia es privada, el nivel escolar de la madre
es por debajo de preparatoria, en el caso de los padres la mayoría tiene licenciatura o más y el promedio obtenido en
secundaria está por debajo de 7.8 puntos.
Ahora se verán las características en los casos extremos, primero los alumnos que inicialmente evaluaron bajo y al
final alto, en su gran mayoría viven con ambos padres, la escuela de procedencia con más peso en este grupo es la oficial,
el nivel escolar de la madre está en promedio por debajo de la preparatoria y el del padre a lo sumo, llega a la licenciatura,
en ambos casos hay presencia de niveles escolares bajo hasta Preprimaria y Primaria en la escolaridad de los padres.
El otro caso extremo sería cuando antes evaluaron alto y posteriormente, bajo, las características encontradas son:
proceden de escuelas particulares, el nivel escolar de la madre está entre secundaria y preparatoria, y del padre entre
preparatoria y universidad.
CONCLUSIONES
8
Por el momento consideramos que es viable la clasificación de los estudiantes mediante un modelo de regresión logística multinomial; sin embargo, es pertinente tomar la decisión de trabajar en un modelo con mayor robustez, lo que
redundará en que se optimice la clasificación en los niveles de desempeño de los profesores por parte de los estudiantes.
Ello, debido a que el modelo que mida la percepción de los alumnos debe ser tal que capture y sea capaz de resistir a
respuestas atípicas de los estudiantes, como por ejemplo, el que seleccionen solamente la opción más baja, la más alta o
combinaciones no aleatorias de las posibilidades de la escala.
Se denota una clara preferencia a evaluar en niveles bajo y medio el desempeño de los profesores, a estudiantes que
aunque viven con ambos padres y poseen computadora en casa, lo que nos habla de cierto nivel socioeconómico, poseen
una escasa biblioteca y su rendimiento académico es medio o bajo. Por otro lado, se asocian a la evaluación de altos niveles de desempeño, a estudiantes que viven con ambos padres, proceden de escuelas privadas, el nivel escolar de los
padres llega a ser de licenciatura o más y sus promedios del nivel anterior son medios altos o altos (8 y más puntos).
Consideramos que deben considerarse con mesura los resultados que arrojan este tipo de cuestionarios para tomar
decisiones, sobre todo ahora con la reforma constitucional en México que considera la permanencia en el Servicio Profesional Docente y para lo cual, este tipo de herramientas podría ser utilizado (Cordero y Luna, 2014). Estudios clásicos han
documentado que grupos de estudiantes que obtuvieron puntajes altos en los exámenes evalúan mejor a sus profesores
(García Garduño, 2008), cuestión que se va registrando, también, en nuestro estudio. Una implicación de esta incipiente
investigación para la mejora de la práctica docente, pudiera vislumbrarse en el sentido de considerar que la evaluación de
la docencia por parte de los estudiantes se relaciona íntimamente con la percepción de logro de los mismos. Finalmente,
es muy limitado el aporte que presentamos, considerando que es un piloteo en el que además, no han sido significativas
variables relevantes como características de los estudiantes que pudiéramos relacionar, por ejemplo, procedencia de una
escuela privada. (La Serna, et al., 2014)
REFERENCIAS
9
Bravo, D., Falck, D. González, R., Manzi, J. y Peirano, C. (2008). La relación entre la evaluación docente y el rendimiento de los alumnos: Evidencia para el caso de Chile. En: http://www.ceppe.cl/images/stories/recursos/publicaciones/
Jorge%20Manzi/La-relacin-entre-la-evaluacion-docente-y-el-rendimiento-de-los-alumnos.pdf
Cordero, G. y Luna, E. (2014). El Servicio Profesional Docente en la perspectiva de los sistemas nacionales de formación de
profesores y de evaluación. El caso de México. Revista Iberoamericana de Evaluación Educativa, 7(2), 75-84.
García Garduño, J. (2008). La investigación sobre efectividad docente en Estados Unidos y el uso de los cuestionarios de
evaluación. En: Rueda, M. (Coord.). (2008). La evaluación de los profesores como recurso para mejorar su práctica.
México: ISUE. Universidad Nacional Autónoma de México.
Hosmer, D. y Lameshow, S. (2000). Applied Logistic Regression. New York, USA: Wiley.
Kleinbaum, D. y Klein, M. (2010). Logistic Regression. A Self-Learning Text. New York, USA: Springer.
La Serna, K., Becerra, A., Beltrán, A. y Zhang, H. (2014). La relación de las encuestas de evaluación con el rendimiento
académico: La evidencia empírica en la Universidad del Pacífico. Revista Iberoamericana de Evaluación Educativa.
7, (2), 105-116.
Luna, E. y Rueda, M. (2008). Estado del conocimiento sobre la evaluación de la docencia universitaria 1990-2004. En:
Rueda, M. (Coord.). (2008). La evaluación de los profesores como recurso para mejorar su práctica. México: ISUE.
Universidad Nacional Autónoma de México.
Mateo, J. (2006). La evaluación educativa, su práctica y otras metáforas. Lima, Perú: Alfaomega.
Muñoz, J., Ríos, M y Abalde, E. (2002). Evaluación docente vs. evaluación de la calidad. Revista Electrónica de Investigación
y Evaluación Educativa (Relieve), 8(2), 103-134.
Páramo, P. (2008). Factores psicosociales asociados a la evaluación del docente. Educación y Educadores, 11(1), 11-30.
Perrenoud, P. (2012). Cuando la escuela pretende preparar para la vida. ¿Desarrollar competencias o enseñar otros saberes?
Distrito Federal, México: Graó.
Perrenoud, P. (2007). Diez nuevas competencias para enseñar. Distrito Federal, México: Graó.
Pimienta, J. (2014). Elaboración y validación de un instrumento para la medición del desempeño docente basado en competencias. Revista de docencia universitaria, 12(2), 231-250.
S.E.P. (2008). Acuerdo número 447 por el que se establecen las competencias docentes para quienes impartan educación
media superior en la modalidad escolarizada. México: Diario Oficial.
Zabalza, M. y Zabalza, Ma. A. (2012). Profesoras, profesores y profesión docente. Entre el ser y el estar. Madrid, España:
Narcea.
Zabalza, M. y Zabalza, Ma. A. (2010). Planificación de la docencia en la universidad. Elaboración de guías docentes de las
materias. Madrid, España: Narcea.