See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/274834546 Examinar la evaluacion de la docencia Book · January 2015 CITATIONS READS 0 1,459 1 author: Wietse de Vries Benemérita Universidad Autónoma de Puebla 110 PUBLICATIONS 629 CITATIONS SEE PROFILE Some of the authors of this publication are also working on these related projects: Políticas Públicas para el Desarrollo Sostenible/ Public Policies for Sustainable Development View project Alumni and the labor market View project All content following this page was uploaded by Wietse de Vries on 12 April 2015. The user has requested enhancement of the downloaded file. Examina_evaluacion 19 NOV.indd 1 12/19/14 1:25 PM Examina_evaluacion 19 NOV.indd 2 12/19/14 1:25 PM EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Un ejercicio imprescindible de investigación institucional María Patricia Moreno Rosano Wietse de Vries Meijer (coordinadores) Examina_evaluacion 19 NOV.indd 3 12/19/14 1:25 PM ASOCIACIÓN NACIONAL DE UNIVERSIDADES E INSTITUCIONES DE EDUCACIÓN SUPERIOR José Aguirre Vázquez Secretario General Ejecutivo Director General Académico Guillermo Hernández Duque Delgadillo Director General de Vinculación Estratégica COMITÉ EDITORIAL DE LA BES Adrián Acosta Silva Germán Álvarez Mendiola Angélica Buendía Espinosa Miguel Ángel Casillas Alvarado Gloria del Castillo Alemán Imanol Ordorika Sacristán Laura Elena Padilla-González Roberto Rodríguez Gómez Mario Saavedra García Director General de Planeación y Desarrollo David Cuevas García Director General de Asuntos Jurídicos Germán Álvarez Mendiola Coordinador de la BES Russ Eduardo Galván Vera Director General de Administración Mario Saavedra García Director de Producción Editorial Examina_evaluacion 19 NOV.indd 4 12/19/14 1:25 PM EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Un ejercicio imprescindible de investigación institucional María Patricia Moreno Rosano Wietse de Vries Meijer (coordinadores) Examina_evaluacion 19 NOV.indd 5 12/19/14 1:25 PM LA428 E82 378.72 E82 Examinar la evaluación de la docencia: un ejercicio imprescindible de investigación institucional / María Patricia Moreno Rosano, Wietse De Vries Meijer, coordinadores. -- México, D.F.: anuies, Dirección de Producción Editorial, 2014. 194 páginas. – (Colección Biblioteca de la Educación Superior) isbn: 978-607-451-106-2 1. Calidad de la educación superior-México. 2. Benemérita Universidad Autónoma de Puebla-Evaluación. 3. Maestros universitarios-Valoración. 4. Enseñanza universitaria-Evaluación. I. Moreno Rosado, María Patricia, editor. II. De Vries, Wietse, editor. III. Serie. Coordinación editorial Mario Saavedra García Portada María de Lourdes Hidalgo López Imagen de portada © Lemonpink | Dreamstime.com - Architectural Arches Photo Corrección Cristina Mera Manzo Formación María de Lourdes Hidalgo López Cuidado de edición María Antonia Rodríguez Rodríguez Primera edición, 2015 ©2015, anuies, Tenayuca 200 Col. Santa Cruz Atoyac C.P. 03310 México, D.F. isbn: 978-607-451-106-2 Impreso en México Examina_evaluacion 19 NOV.indd 6 12/19/14 1:25 PM CONTENIDO Introducción María Patricia Moreno Rosano y Wietse de Vries Meijer 13 PRIMERA PARTE La sistematización de las experiencias institucionales de la evaluación de la docencia universitaria en la buap Capítulo 1. El Programa Institucional de Evaluación Académica de la Benemérita Universidad Autónoma de Puebla Jorge Guillermo González Pomposo (†) y Martha Patricia León Arenas Introducción Antecedentes Los objetivos iniciales Los acuerdos generales Consideraciones del entorno El diseño del instrumento El diseño y características de los instrumentos de evaluación El instrumento para evaluar el desempeño del docente frente a grupo desde la perspectiva del estudiante El instrumento de autoevaluación del docente La autoevaluación del docente sobre el grupo en general Evaluación del docente sobre sus condiciones de trabajo Segmento de evaluación formativa, respondido por el docente Algunas fortalezas detectadas con el instrumento empleado La implementación del proceso Examina_evaluacion 19 NOV.indd 7 29 29 30 31 32 33 33 34 35 38 40 40 41 46 46 12/19/14 1:25 PM La entrega de resultados El isp o índice de satisfacción ponderado Algunos usos dados a los resultados de las evaluaciones Área responsable de la evaluación El proceso de rediseño del Programa Institucional de Evaluación Académica (pieva) Etapas de trabajo y estrategias La implementación del nuevo programa Algunas conclusiones derivadas del pieva 47 48 49 49 51 56 60 64 Capítulo 2. La meta-evaluación docente en la buap Yadira Navarro Rangel, Ana Elena Posada Sánchez, Martha Patricia León Arenas, Ignacio Alfredo Hernández Saldaña, Javier Juan Santiago y Wietse de Vries Meijer Introducción Descripción general de la muestra Análisis de validez y confiabilidad del instrumento Análisis por conglomerados Análisis discriminante Matrices de cruce de información Los criterios de procesamiento Análisis de Base de Datos por promedio de los docentes Análisis por materias impartidas Análisis por características de profesores Otros factores Conclusiones Algunas recomendaciones para el rediseño del nuevo instrumento 67 67 70 70 73 77 78 78 82 91 95 99 99 90 SEGUNDA PARTE Alcances de la evaluacion de la docencia universitaria bajo el referente del Modelo Universitario Minerva (mum) Capítulo 3. Expectativas sobre la docencia y su evaluación en el Modelo Universitario Minerva Ernesto Cortés López, Margarita Campos Méndez, María Patricia Moreno Rosano, Etelvina Archundia Sierra, Ana Elena Posada Sánchez y Wietse de Vries Meijer Introducción Modelo Educativo y Académico Examina_evaluacion 19 NOV.indd 8 107 107 109 12/19/14 1:25 PM Los referentes externos e internos que sustentaron las propuestas del mum Misión y visión La fundamentación pedagógica del mum: docencia y evaluación Conclusiones 111 114 116 127 Capítulo 4. Los referentes en el estado del arte de la evaluación de la docencia universitaria María Patricia Moreno Rosano, Ixchel Reyes Espejel y Raymundo Ávila Benítez Introducción La situación de la docencia universitaria desde su perspectiva teórica Evaluación de la docencia Algunas experiencias universitarias de la evaluación de la docencia La evaluación de la docencia universitaria desde su perspectiva metodológica La evaluación de la docencia universitaria en cuanto a su regulación Conclusiones 131 131 132 134 138 141 151 153 Capítulo 5. Un nuevo cuestionario para evaluar la docencia en la buap: los resultados de un proceso colegiado María Patricia Moreno Rosano y María de la Soledad García Venero Introducción Las dimensiones del instrumento: los ejercicios previos para su construcción Una larga marcha: la construcción y revisión de ítems A observaciones profesionales, correcciones y acciones pertinentes Conclusión Conclusiones generales Wietse de Vries Meijer y María Patricia Moreno Rosano Acerca de los autores Examina_evaluacion 19 NOV.indd 9 159 159 160 168 169 178 181 189 12/19/14 1:25 PM Examina_evaluacion 19 NOV.indd 10 12/19/14 1:25 PM A la memoria del Dr. Guillermo Jorge González Pomposo † Físico “de deformación”, geofísico de formación, sismólogo de vocación, ingeniero por adopción y evaluador por convicción. Reconocemos su paciencia, entusiasmo y esfuerzo para iniciar una tarea compleja como fue integrar y dar sentido humano a las actividades del Programa Institucional de Evaluación Académica (pieva). Examina_evaluacion 19 NOV.indd 11 12/19/14 1:25 PM Examina_evaluacion 19 NOV.indd 12 12/19/14 1:25 PM INTRODUCCIÓN María Patricia Moreno Rosano y Wietse de Vries Meijer Este libro ofrece un análisis acerca de la experiencia de la evaluación de docentes por parte de estudiantes en la Benemérita Universidad Autónoma de Puebla (buap). No se trata de una descripción simple de los procesos adoptados, sino de una revisión crítica de cómo ha funcionado este proceso de evaluación y cuáles han sido los efectos positivos y negativos. Para hacer el análisis, la buap inició desde 2007 una dinámica colegiada de estudios y debates acerca de los logros y las insuficiencias de una forma de evaluación docente puesta en marcha cinco años atrás. Se estableció una comisión institucional de análisis, con diferentes grupos de trabajo, formada por representantes de distintas unidades académicas, personal de la Vicerrectoría de Docencia y expertos externos. Así, el presente texto es el resultado de un proceso que involucró a muchos participantes, quienes trabajaron arduamente e hicieron destacables aportaciones. El inicio de la evaluación del docente por parte de estudiantes (bajo el nombre del Programa Institucional de Evaluación Académica, o pieva) en la buap se ubica en el 2002. Es importante señalar que en ese entonces, la evaluación de los docentes se había convertido en un tema ineludible y omnipresente: desde los años ochenta del siglo pasado, el gobierno federal había introducido múltiples procesos para evaluar diferentes aspectos de la educación superior. Desde 1984, el Consejo Nacional de Ciencia y Tecnología (Conacyt) estableció el Sistema Nacional de Investigadores (sni), un programa nacional que califica y cuantifica la producción científica en cuanto a artículos, libros y tesis dirigidas, y Examina_evaluacion 19 NOV.indd 13 12/19/14 1:25 PM 14 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA otorga estímulos financieros a los investigadores aprobados. Después, al inicio de los años noventa, se introdujo, también desde el gobierno federal y como alternativa al sni, el Programa de Estímulos al Desempeño del Personal Docente (Esdeped), una forma de evaluación que, siguiendo los lineamientos tanto de la Secretaría de la Educación Pública (sep) como de la Secretaría de Hacienda y Crédito Público (shcp); además de la producción de artículos, toma en cuenta otras actividades como la docencia frente a grupo, la elaboración de materiales didácticos, y la asistencia a congresos. Finalmente, a partir de 1996, la sep lanzó el Programa de Mejoramiento del Profesorado (Promep), dentro del cual se estableció el Perfil Promep deseable, es decir, una tipología del profesor ideal que considera no sólo la necesidad de que el docente tenga un doctorado (en su área de conocimiento) y que sea de tiempo completo, sino que se dedique, de manera equilibrada, a cuatro funciones: 1) la docencia; 2) la investigación; 3) la tutoría, y 4) la gestión. De forma adicional, según los lineamientos del Promep, estos profesores tendrían que estar agrupados en Cuerpos Académicos Consolidados (cac) con Líneas de Generación y Aplicación del Conocimiento (lgac) compartidos (Urbano-Vidales et al., 2006). De manera simultánea, desde inicios de los años noventa, al interior de las universidades públicas se empezaron a establecer reglamentos para la contratación, la permanencia y la promoción del personal académico. Hasta finales de los años ochenta, en la mayoría de las universidades públicas existía una notable ausencia de estos temas; más allá del contrato colectivo, que establecía algunos aspectos básicos como las categorías laborales y su respectiva remuneración, no existían reglas claras ni específicas acerca de la carrera académica. De esta manera, la obtención de una plaza laboral de tiempo completo con una categoría de titular, dependía más de las relaciones políticas o de la antigüedad laboral, que de la obtención del doctorado o de un buen desempeño. La contratación y la posterior permanencia y promoción del profesor más bien parecía ser de un proceso azaroso (Kent, 1986). Con la introducción de los reglamentos al respecto, empezó a operar cierta normatividad, en la que se pueden observar coincidencias entre los reglamentos locales y las políticas federales; para acceder a una plaza de tiempo completo con la máxima categoría laboral, un profesor debe tener en la actualidad un doctorado y debe mostrar su producción científica. Con la puesta en marcha de estos programas federales y las reformas institucionales, las universidades públicas mexicanas entraron en una dinámica de evaluación de su personal académico, lo que demuestra semejanzas con eva- Examina_evaluacion 19 NOV.indd 14 12/19/14 1:25 PM INTRODUCCIÓN 15 luaciones de este tipo en otros países, pero también señala diferencias. Desde los años ochenta, se puede observar como incluso a nivel internacional los académicos son crecientemente objeto de evaluación por parte de instancias administrativas, en un contexto donde las universidades son percibidas como empresas (Ginsberg, 2011). Como describen Slaughter y Leslie (1999), se introdujo en las universidades un tipo de “capitalismo académico” donde los profesores deben vender su mano de obra y donde éstos son constantemente evaluados en cuanto a su productividad, y reciben pagos adicionales por méritos. De forma paralela, hay una creciente “proletarización” de los académicos, al ser contratados de tiempo parcial, sin posibilidades de tenure o definitividad (Boyer et al., 1994). Sin embargo, si bien hay coincidencias entre las políticas internacionales y las mexicanas, también existen marcadas diferencias entre ambas: una de ellas consiste en que las evaluaciones del desempeño académico en México son auspiciadas por instancias federales, no por las universidades mismas. Así, los académicos tienen que comprobar su productividad ante instancias externas como el Conacyt –para el sni– o ante la Secretaría de Educación Pública, para el Promep. La evaluación se efectúa por comisiones de pares ad hoc en el ámbito nacional, con criterios definidos por instancias gubernamentales. En el caso de los estímulos a la docencia (Esdeped), la evaluación se efectúa en la universidad, pero bajo lineamientos y supervisión de la sep. Una segunda diferencia radica en que todas las políticas federales de evaluación están ligadas a recompensas financieras y que estos estímulos pueden representar mucho más de la mitad de los ingresos de los académicos en las universidades públicas mexicanas, mientras que en otros países constituyen ingresos adicionales marginales (Acosta, 2004). A primera vista, estas políticas parecen haber generado importantes mejoras a lo largo del tiempo. Si comparamos la situación de la planta laboral académica de la buap al final de los años noventa con la de 2013, destaca el incremento en el número de académicos de tiempo completo, el número de miembros del sni, el número de profesores con perfil Promep, y el número de académicos en los altos rangos del Esdeped. En 1999 la planta laboral académica (sin incluir a los docentes que laboran en la Educación Media Superior), consistía de 2 843 profesores, de los cuales 1 806 eran de tiempo completo. Había 173 miembros del sni, de los cuales cuatro habían alcanzado el nivel más alto (iii). En el Esdeped participaban 1 216 académicos, de los cuales cinco alcanzaron el nivel ix, que representa el máximo nivel (buap, 1999). En cambio, en Examina_evaluacion 19 NOV.indd 15 12/19/14 1:25 PM 16 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA 2013, la buap contaba con 3 930 académicos (nuevamente sin incluir media superior), de los cuales 2 294 eran de tiempo completo. Participaron en el Esdeped 1 172 académicos (menos que en 1999), pero 110 alcanzaron el nivel más alto). Había ya 439 miembros del sni, de los cuales 33 alcanzaron el nivel iii. Al mismo tiempo, 1 042 profesores habían recibido el reconocimiento del perfil Promep (Promep, 2013). Este desarrollo institucional concuerda con los cambios nacionales: el sni, que había arrancado con 1 369 miembros en 1984 alcanzó 19 659 integrantes en 2013 (Atlas de la Ciencia en México, 2013). En el caso del Promep, el número de perfiles reconocidos cambió de 6 660 en 2002, a 16 054 en 2011. Asimismo en 2011, se registraron 2 789 Cuerpos Académicos, de los cuales 19% se consideró como consolidado (sep, 2011). Sin embargo, los incrementos numéricos ameritan ser considerados con cierta cautela. Como señala Porter (2005), las universidades mexicanas –y las instancias gubernamentales– introdujeron políticas de evaluación que se basan casi exclusivamente en el conteo de constancias, creando así una “universidad de papel”. Otros investigadores observaron, desde el inicio, que los académicos mostraron una gran capacidad de adaptarse a las nuevas reglas, y que en varias universidades públicas los profesores lograron avanzar muy rápido hacia las categorías y los niveles de estímulos más altos, sin modificar significativamente su comportamiento (Ibarra, 1994; Comas, 2003). La evaluación ligada a estímulos parece haber provocado estrategias de simulación por parte de distintos actores (Díaz-Barriga, 2000), amén de haber introducido una creciente burocracia dedicada a reproducir y revisar los comprobantes (De Vries y Álvarez, 2005). Estos ejercicios de evaluación también parecen inducir a los académicos a no dedicarse a la docencia, ya que la investigación o la gestión generan más puntos (Acosta, 2004). En efecto, los académicos con trayectorias más destacadas (o mejor remuneradas), se orientan desde el inicio de su carrera más hacia la investigación y el posgrado, dando menos importancia a la docencia en la licenciatura (Grediaga, et al., 2004; Galaz-Fontes, 2010). Como resultado de estas políticas, se produjo una gran diversificación de las plantas laborales académicas. Hasta finales de los años ochenta, la planta de profesores de cada universidad pública era bastante homogénea. Aunque estaba compuesta por académicos de tiempo completo y de tiempo parcial, así como de profesores titulares y asociados, las diferencias salariales entre categorías eran mínimas (Kent, 1986). Desde 1990 se introdujo una “deshomologación” según Examina_evaluacion 19 NOV.indd 16 12/19/14 1:25 PM INTRODUCCIÓN 17 desempeño, con la abierta intención de remunerar mejor a aquellos profesores que cumplían con los criterios establecidos por instancias gubernamentales, pero principalmente por la vía de estímulos no ligados al salario base (De Vries y Álvarez, 1998; Galaz-Fontes y Gil-Antón, 2013). Sin embargo, en la práctica, estas políticas también introdujeron varias contradicciones, ya que en la actualidad existen profesores titulares de tiempo completo que reciben altos ingresos. A modo de ejemplo, un profesor con categoría de titular C en la buap recibe como salario poco más de 20 000 pesos al mes, pero puede percibir de forma adicional 25 000 pesos por el Esdeped y otros 25 000 por el sni. En el otro extremo, existen profesores con contrato por horas, que reciben poco más de cien pesos por cada hora de docencia frente a grupo. En medio de los dos extremos hay muchas variantes: existen profesores titulares que no participan en el Esdeped ni en el sni, y profesores asociados que sí reciben ingresos adicionales por esta vía. Asimismo, hay profesores que reciben ingresos del sni, pero no del Esdeped y viceversa. También sigue vigente la situación de profesores que “laboran en distintas instituciones de tiempo completo o parcial”. Cabe destacar que estas políticas no brindan información acerca de la calidad o la eficiencia del trabajo docente universitario. El programa de estímulos suele incluir una cláusula acerca del número mínimo de horas-clase que debe impartir un profesor para participar en el programa. El Promep también indica que un académico debe dar clases para calificar como perfil deseable, y en el caso de los Cuerpos Académicos hay que mostrar que los integrantes impacten en un programa de licenciatura. Del mismo modo, el sni señala que es deseable que el investigador dé clases; en consecuencia, en los distintos programas de evaluación sólo se hace una contabilidad de las horas impartidas, pero no se evalúan la calidad ni los resultados de la docencia. La introducción del pieva Debido a la falta de información acerca de lo que sucede en el aula, en 2002, la buap empezó a buscar una forma de valorar el desempeño docente. Para ello, se optó por un proceso que ya estaba en marcha en varias universidades: la evaluación por parte de estudiantes, quienes al final de cada curso responden una encuesta sobre el desempeño del profesor, ya que ésta parecía ser la forma más confiable para evaluar el desempeño docente (Crumbley et al., 2001). Examina_evaluacion 19 NOV.indd 17 12/19/14 1:25 PM 18 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA La introducción de este tipo de evaluación, sin embargo, estaba rodeada por varias dificultades. Una primera consiste en elaborar sistemáticamente un cuestionario confiable, donde se debe, según los cánones metodológicos, traducir constructos abstractos en dimensiones medibles (Lazarsfeld, 1979). Pero detrás de este trabajo metodológico se encuentra presente la fundamentación teórica acerca de lo que se quiere medir. En este terreno ha habido, –y aún persiste–, un debate permanente acerca de cómo se puede, o cómo se debe, evaluar la docencia (Díaz-Barriga, 2000). Tal como describe el primer capítulo de este libro, después de revisar la literatura al respecto y luego de estudiar algunos casos de universidades que ya contaban con una experiencia en dicha actividad, se diseñó un primer cuestionario, mismo que fue aplicado a partir de 2002. El diseño de éste se basó en sugerencias de unos pocos autores, como García-Garduño (2000). Cabe señalar que el desarrollo del primer cuestionario fue un proceso presionado y pragmático: había poco tiempo para revisar la literatura y discutir las opciones. Así, en medio de varios procesos de evaluación ya en marcha, se introdujo uno más, sin reparar demasiado en los fundamentos teóricos. Además de diseñar el cuestionario, fue necesario plantear el proceso de aplicación y análisis, ya que en una universidad con más de 50 000 estudiantes se requiere aplicar más de 100 000 cuestionarios por cuatrimestre. A pesar del número de encuestas aplicadas, el proceso ha sido mucho más sencillo y ágil que la evaluación para el Esdeped: no se requieren copias de constancias que tienen que ser evaluadas cualitativa y cuantitativamente por comisiones, ni existe un complejo tabulador de actividades que generan puntos. Aunque el pieva operó con éxito y sin resistencias, pronto se evidenció que el proceso ameritaba algunas consideraciones. Éstas se presentaron primordialmente en dos terrenos: 1) las consecuencias de la evaluación, y 2) las implicaciones de la introducción de un nuevo modelo educativo. Las consecuencias de la evaluación Tal como se hace en otras universidades, los resultados del pieva son entregados cada cuatrimestre tanto al profesor como a las autoridades de las facultades, con el fin de que el académico conozca la opinión de sus estudiantes, y el director de Examina_evaluacion 19 NOV.indd 18 12/19/14 1:25 PM INTRODUCCIÓN 19 la Facultad sepa cómo se desempeña la planta laboral académica en conjunto, para así inducir mejoras. Sin embargo, el objetivo antes señalado se vio obstaculizado por las condiciones laborales peculiares de la universidad pública mexicana: desde la perspectiva de los profesores, el pieva es una evaluación que no acarrea consecuencias y ni siquiera se traduce en estímulos (lo cual puede explicar la falta de resistencia al nuevo proceso de evaluación). La decisión institucional, a partir de 2010, de establecer cierta relación entre el pieva y el Esdeped causó una mayor preocupación en una parte del profesorado, pero como menos del 50% de los docentes de tiempo completo participa en el Esdeped ha habido un efecto limitado. Al mismo tiempo, más de la mitad de los cursos de licenciatura es impartida por profesores de tiempo parcial, quienes no participan en los programas de estímulos (De Vries, et al., 2008). Por otra parte, las autoridades universitarias tienen muy restringidas sus posibilidades de acción frente a los resultados del pieva; se puede decidir no renovar la contratación de un profesor de reciente ingreso, o de los profesores que trabajan por hora; pero en el caso de los académicos de tiempo completo con definitividad, esto sólo puede ser posible por ausencias injustificadas o por comportamiento indebido, pero no por mostrar una docencia insuficiente a los ojos de los estudiantes. En la práctica, el problema está presente en todas las políticas de evaluación de los académicos que se introdujeron desde el inicio de los años noventa; se puede excluir a un profesor de un programa de estímulos si no cumple los requisitos o si los resultados de su evaluación son deficientes, pero no se le puede despedir. Así, la decisión tomada al inicio de los años noventa de que los estímulos adicionales a partir de la evaluación no formaran parte del salario y que no generan derechos laborales para los trabajadores, resultó ser un “arma de doble filo”, debido a que no aprobar la evaluación o no participar en ésta, no genera consecuencias laborales o salariales. Para los estudiantes, el pieva también mostró limitaciones. El programa abrió la puerta para que éstos pudieran expresar su opinión sobre los docentes, pero la falta de consecuencias reales y visibles de la evaluación, ha generado quejas sobre la inutilidad de llenar el formato. Aunque el pieva enfatizó desde el inicio que no habría consecuencias negativas para el estudiante, ya que todas las respuestas son anónimas, no quedó claro cuáles eran los efectos positivos. El énfasis en que la evaluación del pieva debiera tener consecuencias también derivó en crecientes cuestionamientos del proceso. En términos llanos, mien- Examina_evaluacion 19 NOV.indd 19 12/19/14 1:25 PM 20 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA tras no existieran consecuencias, el proceso no estaría en duda. Pero a raíz de observaciones realizadas acerca de las consecuencias, surgieron también otras relacionadas a la confiabilidad y a la validez del método usado. Estas observaciones varían desde la validez de la opinión de los estudiantes y la influencia de otros factores ajenos al profesor que podrían influir en el proceso de enseñanzaaprendizaje, hasta el énfasis que se hace en algunos aspectos sobre otros. Con ello, la discusión sobre la idoneidad del pieva se empezó a acercar cada vez más a los debates que rodean procesos evaluativos como el Esdeped o el sni: ¿Cuáles criterios se deben incluir? ¿Cuál debería ser su peso en importancia e influencia dentro del total? Estas observaciones llevaron a que, hacia 2008, se realizara una revisión de la coherencia del pieva mismo y de su relación con otros procesos de evaluación. Los resultados del análisis se reflejan en el capítulo 2 de este libro. Así, el estudio reveló que el proceso de evaluación por parte de estudiantes en sí es confiable (en el sentido que las calificaciones asignadas a los profesores son consistentes a lo largo del tiempo). Pero el análisis también reveló una serie de contradicciones con otros procesos: los académicos de tiempo completo, con doctorado y con estímulos, con perfil Promep o con sni, no siempre salen mejor evaluados que los profesores por hora (De Vries et al., 2008). Este dato no sólo se ha encontrado en la buap, sino en varias otras universidades públicas mexicanas (Estévez, 2009; Luna y Arámburo, 2013). Así, hacia 2008, resultaba evidente revisar el instrumento de la evaluación, y analizar los resultados, partiendo de una pregunta central: ¿cómo evaluar a la docencia? Al mismo tiempo, estaba presente la pregunta de cómo compaginar la evaluación de ésta con los demás procesos de evaluación, ya que la cantidad iba creciendo (Moreno, 2010). La introducción de un nuevo modelo académico Una complicación adicional en la revisión del proceso de evaluación se refiere a los cambios previstos en la formación de los estudiantes a partir de la introducción de un nuevo modelo académico. En la buap, a partir de 2007, se introdujo el Modelo Universitario Minerva (mum). Aunque el pieva estableció desde su inicio como objetivo contribuir a la mejora de la docencia a partir de la retroalimentación de los resultados de evaluar a docentes y autoridades, no había un modelo en el trasfondo que brindara pautas para guiar la mejora. Examina_evaluacion 19 NOV.indd 20 12/19/14 1:25 PM INTRODUCCIÓN 21 Con la introducción del mum comenzaron a aparecer estas pautas, ya que dicho Modelo declara que la formación universitaria será humanista y se basa en el constructivismo social. Ahora bien, la elaboración del Modelo tomó varios años, y contó con una amplia participación de académicos, tal como se describe en el capítulo 3 de este libro. El mum retoma propuestas e ideas de autores tradicionales como Vigotsky y Piaget, a la par de autores más recientes como Morin (1999). Sin embargo, aunque dichos autores proponen ideas filosóficas acerca del nuevo papel de la educación superior, no queda del todo explícito cómo se deben traducir tales conceptos en la práctica docente. En términos generales, postulan que la docencia futura debe ser diferente en comparación con el modelo tradicional, pero sin ser claros acerca de los cambios requeridos. En consecuencia, la introducción del mum instituyó la necesidad de evaluar de manera distinta a la docencia. En primera instancia, ello implicó que se debe traducir un constructo complejo como “educación humanista” en actividades o actitudes del profesor que miden el constructo, y que pueden ser calificadas por los estudiantes; en una segunda instancia, los profesores mejor calificados en estos nuevos aspectos tendrían que recibir también una evaluación general más positiva que sus compañeros. El proceso de revisión Los dos conjuntos de cuestionamientos dieron origen a un proceso de revisión profunda del pieva, mismo que se refleja en los distintos capítulos de este libro. En el capítulo 1 se relata el origen del proceso, así como los distintos ajustes que se realizaron sobre la marcha. Destaca que la evaluación no sólo implica elegir un instrumento, sino diseñar una estrategia para la aplicación, el análisis y la comunicación. En el capítulo 2 se presenta un análisis pormenorizado de los resultados del pieva durante su primera fase (de 2002 a 2007). Se trata, hasta donde sabemos, de un proceso de revisión único, por lo menos en México. Es posible que otras universidades hayan realizado un proceso semejante, pero sin publicar los resultados. La revisión realizada contempla dos aspectos: como primer lugar, se revisa la confiabilidad y la validez del instrumento que se usó en este periodo. Sirviéndose de métodos estadísticos, se encontró que el instrumento básicamente mide dos dimensiones: Examina_evaluacion 19 NOV.indd 21 12/19/14 1:25 PM 22 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA 1. El cumplimiento con criterios administrativos (asistencia a clases, puntualidad, entrega del plan de estudios al inicio del curso). 2. La interacción entre el profesor y el grupo de estudiantes (claridad en la exposición, dominio de la materia). Cabe señalar que durante el diseño original del instrumento estaban consideradas siete dimensiones. Aun así, el instrumento original resultó altamente confiable y permitía distinguir diferentes niveles de desempeño del profesorado. La segunda parte del análisis compara la relación entre el puntaje obtenido en el pieva y otros factores. Un primer aspecto que destaca es que existen factores de influencia más allá del desempeño individual docente: entre más grande sea el grupo, menor suele ser la calificación por parte del estudiante; de igual forma, algunas materias reciben menores calificaciones que otras, sin importar quién sea el docente. El segundo aspecto llamativo resulta de la comparación entre el puntaje del pieva y la calificación recibida por el profesor en otros procesos de evaluación. Según este comparativo, los profesores con un alto nivel de reconocimiento en programas como el sni, el Promep o el Esdeped no tienden a recibir calificaciones más altas por parte de sus estudiantes en el pieva. Con ello, el capítulo abrió el debate sobre qué es lo que se califica no sólo en éste, sino en otros procesos de evaluación. El capítulo 3 de este libro constituye el primer paso hacia una nueva forma de evaluar al docente; hace una revisión de las propuestas contempladas en el mum y busca traducirlas en comportamientos deseables del académico. Para ello, el capítulo se centra sobre todo en los aspectos pedagógicos que encierra el Modelo y se pregunta: ¿Cómo debería actuar el docente “ideal” en el salón de clase, para alcanzar las metas trazadas por el mum? La pregunta no es sencilla, pues entre lo dicho en el Modelo y los hechos en la práctica docente hay todo un trecho. El capítulo 4 se enlaza con el 3, en el sentido que revisa cómo otras universidades han tratado de desarrollar nuevas formas de evaluación, más acordes a sus objetivos. Revela que en la práctica existe una amplia diversidad de propuestas de evaluación, cada una con sus propios matices. Así, el proceso de evaluación de la docencia de cada universidad responde a un contexto y a una historia particular. A partir de estas diferencias, en este capítulo se busca visualizar los distintos aspectos que se han discutido alrededor de la docencia universitaria Examina_evaluacion 19 NOV.indd 22 12/19/14 1:25 PM INTRODUCCIÓN 23 y su evaluación; destaca, entre las conclusiones, que la tarea de la evaluación académica debe ser el resultado de un proceso donde los profesores participen. En el capítulo 5 se detalla el resultado del proceso de revisión. En él, se presenta el nuevo instrumento que fue diseñado y puesto en práctica a partir de 2009. Se señala que la nueva forma de evaluar parte de tres circunstancias: 1) las experiencias registradas con el anterior instrumento; 2) la revisión del mum y sus alcances, y 3) la participación colegiada de los miembros del pieva. Se destaca además, en las conclusiones del capítulo, que los participantes en este proceso de revisión tienen claro que el nuevo instrumento no es la panacea; constituye un paso hacia adelante, pero requiere ser revisado críticamente en el futuro, al igual que se hizo con el instrumento anterior. Por último, en las conclusiones resumimos los hallazgos encontrados y las lecciones aprendidas por parte de la comisión revisora. Queremos señalar también en este apartado que, aunque aprendimos, nos quedan muchas dudas acerca de la evaluación docente. Coincidimos con Rueda-Beltrán y Díaz-Barriga (2007) en que la evaluación de la docencia es un proceso que va mucho más allá de diseñar un instrumento de medición. Más bien, se trata de un proceso donde se analiza la conformidad del desempeño docente en relación con los objetivos proclamados en un modelo académico o un programa educativo. Como tal, la evaluación de la docencia sigue siendo un proceso mucho más complejo que la evaluación de la productividad de investigación, ya que la definición del buen desempeño depende del contexto institucional. Esperemos, con el planteamiento de nuestros hallazgos y dudas, hacer una contribución al debate sobre la evaluación docente. Al final de cuentas, cabe reparar en que la enseñanza y el aprendizaje constituyen la razón de ser de la Universidad, lo cual convierte a la evaluación de este proceso en un asunto medular. Referencias Acosta, Adrián (2004). “El soborno de los incentivos”. En Ordorika, Imanol (coord.), La Academia en Jaque. Perspectivas políticas sobre la evaluación de la educación superior en México. México: Porrúa/crim-unam, pp. 75-89. Atlas de la Ciencia Mexicana (2013) (en línea),http://www.atlasdelacienciamexicana. org/es/sni.html [consultado: 22 de septiembre de 2013]. Examina_evaluacion 19 NOV.indd 23 12/19/14 1:25 PM 24 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Boyer, Ernest L., Altbach, Philip G. y Whitelaw, Marie Jean (1994). The Academic Profession: An International Perspective, Princeton, N. J., Carnegie Foundation for the Advancement of Teaching, 71 pp. buap (1999). Anuario estadístico 1998-1999. Puebla: Benemérita Universidad Autónoma de Puebla, 250 pp. buap (2013). Anuario estadístico 2012-2013, Puebla: Benemérita Universidad Autónoma de Puebla, 401 pp. Comas, Oscar Jorge (2003). Movilidad académica y efectos no previstos de los estímulos económicos. El caso de la uam. México: anuies, 276 pp. Crumbley, Larry, Henry, Byron K., Kratchman, Stanley H. (2001). “Students’ perceptions of the evaluation of college teaching”. En Quality Assurance in Education, núm. 4, vol. 9, pp. 197-207. De Vries, Wietse y Álvarez, Germán (1998). “El Promep, ¿posible, razonable y deseable?”. En Sociológica, núm. 10. México: uam-Azcapotzalco, pp. 165-185. De Vries, Wietse y Álvarez, Germán (2005). “Acerca de las políticas, la política y otras implicaciones en la educación superior”, Revista de la Educación Superior, núm. 134, vol. 2, pp. 81-105. De Vries, Wietse, González, Guillermo, León Patricia y Hernández, Ignacio (2008). “Políticas públicas y desempeño académico, o como el tamaño sí importa”. En CPU-e Revista de Investigación Educativa, núm. 7, pp. 1-32. Díaz-Barriga, Ángel (2000). “Evaluar lo académico. Organismos internacionales, nuevas reglas y desafíos”. En Pacheco, Teresa y Díaz Barriga, Ángel (coords.), Evaluación Académica. México: cesu-unam-fce, pp. 11- 31. Estévez-Nenninger, Etty (2009). El doctorado no quita lo tarado. Pensamiento de académicos y cultura institucional en la Universidad de Sonora: Significados de una Política Pública para mejorar la Educación Superior en México. México: anuies, 318 pp. Galaz-Fontes, Jesús (2010). “El Académico Miembro del Sistema Nacional de Investigadores: Una Exploración Inicial de su Trayectoria Profesional”, Ponencia presentada al I Congreso de los Miembros del Sistema Nacional de Investigadores. Querétaro: Querétaro, mayo 5-8. Galaz-Fontes, Jesús y Gil-Antón, Manuel (2013). “The impact of merit-pay systems on the work and attitudes of Mexican academics”. En Higher Education, núm. 66, pp. 357-374. García-Garduño, José (2000). “Las dimensiones de la efectividad docente, validez y confiabilidad de los cuestionarios de evaluación de la docencia: una síntesis de la in- Examina_evaluacion 19 NOV.indd 24 12/19/14 1:25 PM INTRODUCCIÓN 25 vestigación internacional”. En Rueda-Beltrán, Mario y Díaz-Barriga, Frida (eds.), Evaluación de la docencia. Perspectivas actuales. México: Paidós Educador, pp. 41-62. Ginsberg, Benjamin (2011). The Fall of the Faculty: The Rise of the All-Administrative University and Why It Matters, Oxford, Oxford University Press, 272 pp. Grediaga, Rocío, Rodríguez, José Raúl y Padilla, Laura Elena (2004). Políticas públicas y cambios en la profesión académica en México en la última década. México: anuies, 445 pp. Ibarra-Colado, Eduardo (1994). “La casa de los espejos. Destellos, reflejos, luces y sombras sobre los académicos mexicanos”. En Universidad Futura, núm. 15, vol. 5 pp. 3-11. Kent, Rollin (1986). “¿Quiénes son los profesores universitarios? Las vicisitudes de una azarosa profesionalización”. En Crítica, núm. 28, pp. 5-19. Lazarsfeld, Paul (1979). De los conceptos a los índices empíricos. En Boudon, Raymond y Lazarsfeld, Paul, Metodología de las ciencias sociales, I. Conceptos e índices, Barcelona: Laía, pp. 35-46. Luna-Serrano, Edna y Arámburo-Vizcarra, Víctor (2013). “Variables asociadas a la competencia docente universitaria en la opinión de los estudiantes”. En Archivos Analíticos de Políticas Educativas (en línea), núm. 1, vol. 21, pp. 1-26, http://epaa. asu.edu/ojs/article/view/1098, [consultado: 15 de octubre de 2013] Moreno-Olivos, Tiburcio (2010). “Lo bueno, lo malo y lo feo: las muchas caras de la evaluación”. En Revista Iberoamericana de Educación Superior (ries) (en línea), núm 2, vol. 1 (2010). pp. 84-97, http://ries.universia.net/index.php/ries/article/ view/55/evaluacion [consultado: enero 2012]. Morin, Edgar (1999). Los siete saberes necesarios para la educación del futuro. París: unesco, 60 pp. Ordorika, Imanol (coord.) (2004). La Academia en Jaque. Perspectivas políticas sobre la evaluación de la educación superior en México. México: Porrúa/crim-unam, 274 págs. Porter-Galetar, Luis (2005). La universidad de papel: ensayos sobre la educación superior en México (en línea). México: ceiich–unam, 261 pp. , http://www.udual.udg.mx/ observatorio/libros/PORTER.pdf [consultado: 15 de octubre de 2013] Rueda-Beltrán, Mario y Díaz-Barriga-Arceo, Frida (2007). Evaluación de la docencia. Perspectivas actuales. México: Paidós Educador, 364 pp. sep (Subsecretaría de Educación Pública) (2011). Programa Integral de Fortalecimiento Institucional (pifi). Universidades Públicas Estatales (upe), con Apoyo Solidario (upeas), Tecnológicas y Politécnicas. Impacto del programa. Evaluación Interna Examina_evaluacion 19 NOV.indd 25 12/19/14 1:25 PM 26 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA 2011 (en línea). México: sep, 50 pp. http://pifi.sep.gob.mx/resultados/docs/Impacto_PIFI_2002_2011.pdf], [consultado: enero, 2013] Slaughter, Sheila, Leslie, Larry (1999). Academic Capitalism: Politics, Policies and the Entrepreneurial University. Baltimore: Johns Hopkins University Press, 296 pp. Urbano-Vidales, Guillermina, Aguilar-Sahagún, Guillermo y Rubio-Oca, Julio (2006). Programa de Mejoramiento del Profesorado: Un primer análisis de su operación e impactos en el proceso de fortalecimiento académico de las universidades públicas. México. Secretaría de Educación Pública, 154 pp. Examina_evaluacion 19 NOV.indd 26 12/19/14 1:25 PM Primera parte La sistematización de las experiencias institucionales de la evaluación de la docencia universitaria en la buap Examina_evaluacion 19 NOV.indd 27 12/19/14 1:25 PM Examina_evaluacion 19 NOV.indd 28 12/19/14 1:25 PM CAPÍTULO 1 El Programa Institucional de Evaluación Académica de la Benemérita Universidad Autónoma de Puebla Jorge Guillermo González Pomposo† y Martha Patricia León Arenas Introducción La Benemérita Universidad Autónoma de Puebla implementó en el año 2002 el Programa Institucional de Evaluación Académica (conocido como pieva). Este programa puso en marcha el primer proceso mediante el cual se valora, desde la perspectiva del estudiante, el desempeño de la actividad docente frente a grupo, esto es, su ámbito de valoración se restringe sólo al espacio áulico. Surgió de la necesidad de contar a nivel institucional con procesos permanentes de aseguramiento de la calidad, así como de la urgencia por generar información que permitiera conocer mejor el desempeño en una actividad tan compleja y multivariante como lo es la docencia, con la finalidad de brindar herramientas de mejora a los sujetos participantes, así como crear y contar con un elemento para la toma de decisiones de las autoridades académicas de la institución. Su propósito fundamental es fortalecer una cultura de evaluación en el personal docente de la buap, entendiendo como tal la disposición, la apertura y la madurez a nivel personal de los sujetos participantes, para someter el desempeño profesional de la docencia a la valoración y a la crítica de aquéllos con quienes interactúa, esto es: los estudiantes, favoreciendo en consecuencia, Examina_evaluacion 19 NOV.indd 29 12/19/14 1:25 PM 30 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA la reflexión, la autorregulación y la mejora del desempeño profesional como docentes. Durante los 10 años que han transcurrido desde su puesta en marcha, se han experimentado diversas circunstancias –tanto internas como externas– mismas que han influido y modificado su desarrollo, propósitos y mecanismos de trabajo. En la actualidad, este programa de evaluación de la docencia constituye no sólo una valiosa fuente de información para la toma de decisiones, sino que además se considera una herramienta fundamental que coadyuvará en la implementación del nuevo modelo académico educativo de la buap, denominado Modelo Universitario Minerva. Antecedentes Por indicaciones del entonces rector Enrique Doger Guerrero, el 24 de julio del 2002 se conformó un equipo de trabajo con las unidades administrativas y académicas que tenían antecedentes en evaluación. Este grupo acordó realizar la evaluación institucional en otoño de ese mismo año, utilizando un instrumento que debía ser consensuado con la comunidad académica, y una metodología que pudiera aplicarse en toda la institución, recabando en un sólo esfuerzo institucional, información relativa a la actividad docente de todos los cursos programados en la Universidad, tanto de nivel superior, como medio superior. El programa surge por la necesidad de investigar lo que ocurre y la forma en que se desarrolla el proceso de enseñanza-aprendizaje dentro del aula, que son referentes necesarios para implementar medidas de aseguramiento de la calidad y para dar respuesta a instancias y programas que requieren contar con este tipo de información. Además busca, en general, que todos los alumnos emitan su opinión respecto al desempeño de todos sus maestros frente a grupo. La buap había tenido experiencias importantes en evaluación: en 1995, por ejemplo, la Academia para el Avance de la Educación realizó una evaluación a nivel institucional, y desde 1998 la Dirección General de Educación Superior (dges) evaluaba al Tronco Común Universitario (tcu) y desde 1999 calificaba a los tutores. La dges había evaluado a algunas Unidades Académicas como son: Ingeniería Química, Enfermería, Comunicación y Ciencias Químicas. Examina_evaluacion 19 NOV.indd 30 12/19/14 1:25 PM EL PROGRAMA INSTITUCIONAL DE EVALUACIÓN ACADÉMICA DE LA BUAP 31 En el año 2000, el Centro de Investigaciones sobre Opinión Pública (ciso), realizó una evaluación del desempeño de los docentes, con una metodología basada en el levantamiento de encuestas. Los integrantes de este comité o equipo de trabajo, eran representantes de las Unidades Académicas y de varias dependencias convocadas, y contaban con una amplia diversidad de perfiles profesionales. El entonces Director General de Educación Superior, líder del proyecto, contaba con formación en Ciencias Químicas y un posgrado en Educación. Para ese momento, en el equipo había varios investigadores, y los colaboradores principales que darían soporte al programa, eran administradores de formación, con algunos estudios adicionales en Educación. Se recabaron pues las experiencias y expectativas de todas las unidades académicas y dependencias mencionadas, y se procedió a diseñar la metodología y las estrategias; asimismo, se inició la toma de los acuerdos generales para la primera aplicación a nivel institucional del Programa Institucional de Evaluación Académica. Los objetivos iniciales Como objetivos iniciales del pieva, se propusieron los siguientes: Objetivos Generales • Fomentar la cultura de evaluación a nivel institucional. • Apoyar la acreditación de programas. • Contribuir al incremento de la calidad en la educación en beneficio tanto de nuestros docentes como de los estudiantes. • Dar paso a la creación de un programa integral de evaluación institucional, que abarque a los diferentes actores y agentes académicos que intervienen en la formación universitaria, con la finalidad de entender sus interrelaciones y de intervenir en los factores que las potencian. Objetivos particulares • Conformar un grupo de trabajo institucional representado por integrantes de todas las Unidades Académicas. • Diagnosticar el desarrollo del proceso enseñanza-aprendizaje dentro del aula, fundamentándose en el desempeño de sus actores. Examina_evaluacion 19 NOV.indd 31 12/19/14 1:25 PM 32 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA • Proporcionar información esencial a las instancias encargadas del diseño de cursos de formación docente y a las autoridades universitarias para la toma de decisiones. • Impactar en la mejora del desempeño y corresponsabilidad de estudiantes y docentes. • Generar y analizar indicadores de calidad a nivel institucional y por unidad académica. Los acuerdos generales De manera adicional, y con el propósito de favorecer la aceptación general del proceso evaluativo, se fijaron acuerdos generales de trabajo, así como los principios que se consideraron básicos para proteger a los sujetos evaluados, esto es, los docentes. Entre los principales acuerdos, destacan los siguientes: • El desempeño del docente se evaluaría desde la perspectiva del estudiante, estableciéndose que se realizaría por cada curso y por cada maestro que lo imparte. • Se evaluaría mediante cuestionarios estandarizados, impresos y de lectura óptica. • Se aplicaría la evaluación cerca del final del cuatrimestre y antes de las evaluaciones finales. • Sería un proceso censal. • Las evaluaciones se enfocarían al desarrollo de procesos. • De manera adicional al cuestionario que responderían los estudiantes, se acordó que se aplicarían tres encuestas al docente, consistentes en: - Autoevaluación. - Evaluación de sus condiciones de trabajo. - Evaluación general de su grupo. • A ambos instrumentos, tanto el respondido por el docente, como el qie contestaron los estudiantes, deberían incluírseles reactivos de control, que permitieran contextualizar algunas condiciones de desempeño de los sujetos participantes, así como otros indicadores. Examina_evaluacion 19 NOV.indd 32 12/19/14 1:25 PM EL PROGRAMA INSTITUCIONAL DE EVALUACIÓN ACADÉMICA DE LA BUAP 33 • Difusión masiva de las actividades del Programa Institucional de Evaluación Académica. • Difundir el instrumento oportunamente. • Delegar gradualmente la aplicación en las unidades académicas. • Manejo confidencial de los datos. • No hacer pública la información de los resultados. • No utilizar la información coercitiva ni punitivamente. • Elaborar un reporte personalizado para entregar a cada docente en sobres cerrados. • Canalizar la información a las instancias institucionales correspondientes para efectos de programas de reconocimiento y estímulos. • Diseño de portal electrónico de consulta ubicado en la siguiente dirección: www.evaluacion.buap.mx Consideraciones del entorno La comisión de trabajo estaba consciente del número significativo de limitaciones que planteaba la realidad institucional. Es importante destacar que para entonces, la buap no contaba con un constructo definido y propio de docencia efectiva, por lo que se consideró importante convocar a algunos asesores que orientaran de manera muy general, el diseño del programa de evaluación de la docencia. También se consideró el hecho de que los profesores no habían sido contratados bajo la premisa de haber recibido formación para la enseñanza y la mayoría no había recibido cursos sobre estrategias didácticas. Asimismo, en aquel momento, la buap no contaba con un referente pedagógico educativo definido, por tanto, era necesario contextualizar el proceso de evaluación que se desarrollaría para adecuarlo a la realidad institucional. El diseño del instrumento Como era de esperarse, el primer problema al que se enfrentó la institución, fue al desarrollo del instrumento de evaluación que se emplearía para valorar la efectividad del trabajo de los docentes, esto sin contar, que eran necesarias actividades como el sólo hecho de definir la docencia efectiva. Examina_evaluacion 19 NOV.indd 33 12/19/14 1:25 PM 34 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA ¿Qué variables estaban asociadas –considerando el marco contextual de interacción entre estudiantes y profesores– al desempeño del docente frente a grupo? ¿Qué variables nos interesaba medir más? ¿Cuál era el peso de cada una de ellas? ¿Cómo construir una escala adecuada? ¿Cómo caracterizar en el marco del ambiente institucional, el trabajo del “buen docente”, de tal suerte que se reflejara lo mejor posible en un proceso de evaluación que favoreciera la mejora? Éstas y otras preguntas debían responderse en el marco del desarrollo de tal actividad. Fue entonces que el criterio de decisión se orientó a recurrir a la asesoría externa, convocándose a la Asociación Nacional de Universidades e Instituciones de Educación Superior (anuies), que sugirió partir del empleo de un referente validado, proponiendo el trabajo titulado Una aproximación empírica al estudio del constructo: Competencia Docente del profesor universitario, realizado por García (1996), derivado de la investigación llevada a cabo en la Universidad Complutense de Madrid en el periodo 1993-1994. García (1996) planteaba un ejercicio de evaluación en el que había inferido, a partir de la metodología de análisis factorial exploratorio, siete dimensiones que de acuerdo con su estudio, caracterizaban adecuadamente la docencia efectiva. A la comisión le pareció apropiado el referente, por lo que se dio a la tarea de seleccionar los indicadores propuestos por el autor (respetando el peso y estructura de las dimensiones propuestas) y llevarlos a consideración de las unidades académicas de la institución, para su valoración, adecuación y consenso, y proceder así, al diseño del cuestionario que habría de aplicarse por primera vez en otoño de 2002. El diseño y características de los instrumentos de evaluación A partir de la propuesta mencionada, el comité revisó y eligió los indicadores sugeridos por el autor, respetando siempre la conformación y el peso de las dimensiones planteadas. Los indicadores elegidos fueron sometidos a la consideración de todas las unidades académicas de la institución, permitiendo que cada una de ellas decidiera el proceso de consulta de los indicadores propuestos, con sus respectivas comunidades académicas y estudiantiles. Examina_evaluacion 19 NOV.indd 34 12/19/14 1:25 PM EL PROGRAMA INSTITUCIONAL DE EVALUACIÓN ACADÉMICA DE LA BUAP 35 Se celebraron tres sesiones plenarias de trabajo a las que asistieron representantes de todas las unidades académicas. Ahí, se expusieron las inquietudes, dudas y sugerencias que realizaban sus comunidades –o sus directivos– respecto a los instrumentos de evaluación planteados. Como resultado de las discusiones, algunos de los indicadores se tuvieron que reconsiderar atendiendo al contexto institucional y debieron ser sustituidos por otros (por ejemplo: en la dimensión atención y dedicación al alumno, se había propuesto el indicador de si el docente proporciona asesorías o apoyo fuera del horario de clase y aunque algunas unidades académicas estuvieron de acuerdo en incluirlo, otras cuestionaron fuertemente las excesivas cargas laborales de sus docentes, que les impedía en definitiva, considerar esta actividad como parte cotidiana del ejercicio de la docencia, por lo que el indicador tuvo que ser sustituido por el de “si el docente incentiva a estudiar y hacer tareas fuera de clase”. De manera adicional se modificó la sintaxis de algunos reactivos. Al final, tras muchas reuniones de trabajo, se generaron los cuatro instrumentos, divididos en dos cuestionarios: el que responde el estudiante y el que responde el docente. El instrumento para evaluar el desempeño del docente frente a grupo desde la perspectiva del estudiante El instrumento que se implementó en otoño de 2002 no sufrió modificaciones sustanciales sino hasta después de 2009, debido a que el programa nació con el propósito de concentrar de forma histórica la información, que permitiera en un momento dado, la interpretación y el análisis longitudinal en el tiempo, para cada uno de los sujetos evaluados. Está conformado como se detalla a continuación: • 15 reactivos, integrados en siete dimensiones, como se señala en la tabla 1. • 1 reactivo de validación. • Preguntas de control que nos permiten cada periodo, investigar sobre diversas variables presentes en el aula, como el nivel de exigencia del maestro, la percepción del estudiante sobre la efectividad de las estrategias didácticas empleadas por el docente, etcétera. Examina_evaluacion 19 NOV.indd 35 12/19/14 1:25 PM 36 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA • Preguntas de control dirigidas específicamente a variables relacionadas con el estudiante, como si trabaja o no, si cuenta con equipo de cómputo, cuál es su promedio general, etcétera. • Un segmento de reactivos relativos a las estrategias didácticas específicas, de acuerdo a las tres principales teorías de enseñanza-aprendizaje (con miras a establecer alguno en la universidad: el conductismo, el humanismo y el cognoscitivismo). • Un segmento acerca de la dimensión valoral-actitudinal promovido por el docente frente a grupo. • Comentarios abiertos. Estas preguntas han ido variando con el tiempo, lo que nos permite contar con una amplia gama de datos para desarrollar líneas de investigación educativa y acordes con los intereses de cada una de las unidades académicas que conforman la institución. Lo que no ha variado es el segmento de las preguntas que califican el desempeño del docente. Como ya se mencionó, esto se planeó desde un inicio con la finalidad de realizar análisis longitudinales por individuo (véase tabla 1). TABLA 1. Dimensiones e indicadores de desempeño Dimensión Preguntas Indicación/Pregunta Peso 1. Dominio o preparación de contenidos de la materia. Competencia docente 1, 2, 3, y 7 2. Orden en las exposiciones de los temas. 3. Claridad en las exposiciones. 26.67% 7. Enriquecer los temas con comentarios y ejemplos. 4. Cumplimiento con el horario. Atención y dedicación 6. Trato que recibe el profesor. 4, 6, y 8 20.00% al alumno 8. Incentiva a estudiar y hacer tareas fuera de clase. Fomento a la participación del alumno en clase Examina_evaluacion 19 NOV.indd 36 5. Incentiva a resolver dudas. 5y9 9. Fomenta la reflexión y la participación activa. 13.33% 12/19/14 1:25 PM 37 EL PROGRAMA INSTITUCIONAL DE EVALUACIÓN ACADÉMICA DE LA BUAP Dimensión Preguntas Calidad de la evaluación realizada por el profesor Indicación/Pregunta Peso 10. Dio a conocer criterios de evaluación. 10 y 11 11. Informó de problemas detectados en la primera evaluación. 13.33% Planificaciónprogramación del profesor 12 12. Entregó oportunamente el programa de materia. 6.67% Asiduidad y puntualidad 13 13. Asiste y permanece en las sesiones. 6.67% Percepción global del docente Reactivo de validación 14. Sí se han logrado los objetivos del curso. 14 y 16 16. Sí recomendaría a profesor con otros compañeros. 15 13.33% 15. Informó de problemas detectados en la Sin peso primera evaluación. Nota: el peso de las dimensiones obedece a la propuesta de García (1998: 39-64). Fuente: Elaboración propia con datos institucionales. La escala para las respuestas es de frecuencia, cualitativa o dicotómica. En los casos en los que se consideró necesario, se establecieron las opciones de respuesta adecuadas al tipo de pregunta formulada. Los valores numéricos que se otorgan a la escala, se aprecian en la tabla 2: TABLA 2. Escala Pregunta 1 2 3 4 5 6 Opciones de respuesta y su valor Excelente Bueno Regular Malo Pésimo 100 75 55 35 0 Excelente Bueno Regular Malo Pésimo 100 75 55 35 0 Excelente Bueno Regular Malo Pésimo 100 75 55 35 0 Excelente Bueno Regular Malo Pésimo 100 75 55 35 0 Siempre Casi siempre A veces Rara vez Nunca 100 75 55 35 0 Excelente Bueno Regular Malo Pésimo 100 75 55 35 0 Continúa... Examina_evaluacion 19 NOV.indd 37 12/19/14 1:25 PM 38 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Pregunta 7 8 9 10 11 12 13 14 15 16 Opciones de respuesta y su valor Siempre Casi siempre A veces Rara vez Nunca 100 75 55 35 0 Excelente Bueno Regular Malo Pésimo 100 75 55 35 0 Siempre Casi siempre A veces Rara vez Nunca 100 75 55 35 0 Sí No Parcial 100 0 50 Sí No Parcial 100 0 50 Sí No 100 0 Siempre Casi siempre A veces Rara vez Nunca 100 75 55 35 0 Sí No Parcial 100 0 50 Excelente Bueno Regular Malo Pésimo 35 0 100 75 55 Sí No Probablemente 100 0 50 No ha habido Fuente: Elaboración propia con datos institucionales. Como se ha mencionado, de forma adicional se incluyeron los denominados reactivos de control (propuestos por el ciso) para contextualizar a los estudiantes, y a partir de 2004 se incluyeron ítems para valorar el uso y la utilidad del material didáctico empleado por el docente, esto para dar respuesta al programa de Estímulos al Desempeño del Personal Docente (Esdeped), mismo que requería validar desde la perspectiva del estudiante, estos rubros de trabajo del académico. El instrumento de autoevaluación del docente De la misma forma en que el estudiante responde un cuestionario de evaluación por cada uno de los cursos que toma, el docente contesta un cuestionario que Examina_evaluacion 19 NOV.indd 38 12/19/14 1:25 PM EL PROGRAMA INSTITUCIONAL DE EVALUACIÓN ACADÉMICA DE LA BUAP 39 como se mencionó anteriormente, está conformado por tres apartados, uno de ellos es la autoevaluación de su desempeño. Los reactivos que contempla este cuestionario fueron alineados con las preguntas que a su vez responde el estudiante, exceptuando aquéllos en los que el docente no podría tener una percepción de sus propios logros de manera objetiva (por ejemplo, “¿considera o no que se lograron los objetivos del curso?” Este reactivo debe ser respondido exclusivamente por el sector estudiantil). Esto es, si a los estudiantes se les consulta acerca de su percepción sobre la claridad de las exposiciones y el orden en que se hacen, al docente se le pregunta lo mismo, de esta manera se permite la posibilidad de contrastar opiniones de ambas partes y se facilita la inducción al proceso de reflexión y autorregulación interna que requiere todo proceso de mejora en el ámbito profesional, sobre todo, tratándose de tareas interiorizantes, como lo es la docencia. Los reactivos que conforman la autoevaluación del docente son los siguientes: • • • • • • • • • • • • Conocimiento y dominio que se tiene de la asignatura impartida. Dar a conocer oportunamente el programa de la materia. Dar a conocer los criterios de evaluación al principio del curso. El orden en la exposición. La claridad de las exposiciones. Cumplimiento con el horario establecido de clases. Incentivar a los alumnos para resolver dudas. Enriquecer con comentarios y ejemplos los temas tratados. Fomentar la reflexión y participación activa en clase. Informar sobre problemas detectados en la primera evaluación. Trato que se da a los alumnos. Desempeño y dedicación globales con el curso. Cabe mencionar que durante el proceso de construcción de los instrumentos, una vez que fue aceptado el cuestionario que responderían los estudiantes, el de autoevaluación del docente no sufrió ninguna observación. Hubo total acuerdo en el hecho de que los reactivos se alinearan con aquellos que estaban respondiendo a su vez los estudiantes. Como comentario adicional, destaca que en el análisis de la información se observa que la apreciación que hace el docente sobre su propio desempeño, suele ser ligeramente más alta que la que hacen los estudiantes. Examina_evaluacion 19 NOV.indd 39 12/19/14 1:25 PM 40 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA La autoevaluación del docente acerca del grupo en general El segundo apartado del instrumento de autoevaluación docente está conformado por cinco reactivos, mismos que se señalan a continuación: 1. Nivel de conocimientos previos requeridos para la materia que imparte. 2. Habilidad del grupo en general para comprender e interpretar las explicaciones expuestas. 3. Cumplimiento con tareas y trabajos asignados. 4. Participación activa en clase por parte de los estudiantes. 5. Asistencia y permanencia del grupo en general a las sesiones de clases programadas. Cabe destacar que el reactivo número 5 sobre asistencia y permanencia, también aporta información respecto a la efectividad de la propia planeación de la oferta académica que realizan las autoridades de la Unidad, puesto que una oferta académica basada sólo en la disposición de los horarios de los docentes y sin tomar en cuenta las necesidades del estudiantado, favorecerá el ausentismo por parte de estos últimos. También nos refiere al propio nivel de exigencia por parte del docente. Si el nivel de exigencia es muy bajo, la correlación con una baja asistencia y permanencia, es muy alta. Evaluación del docente acerca de sus condiciones de trabajo Es un segmento compuesto por cinco reactivos que miden las siguientes variables: a) Equipo técnico de soporte para la impartición de la materia, mismo que puede variar entre una asignatura y otra. b) Material bibliográfico disponible en bibliotecas para consulta de los estudiantes, enfocándose a la pertinencia más que a la suficiencia. c) Variables de contexto organizacional que permiten la valoración del clima o ambiente que predomina en determinado momento entre la comunidad docente y sus autoridades académicas y administrativas, expresadas mediante tres reactivos: Examina_evaluacion 19 NOV.indd 40 12/19/14 1:25 PM EL PROGRAMA INSTITUCIONAL DE EVALUACIÓN ACADÉMICA DE LA BUAP 41 1. Acercamiento con las autoridades de su unidad académica para expresar sus opiniones acerca de sus condiciones de trabajo. 2. Reconocimiento por parte de las autoridades de la unidad académica acerca del desempeño del propio docente 3. Condiciones generales que se le brindan al docente para la impartición de su materia. Este segmento fue particularmente bien recibido por la comunidad académica. Incluso hubo docentes que comentaron que la conformación de instrumentos “respondía a la necesidad de un proceso equitativo y justo”. Segmento de evaluación formativa, respondido por el docente A partir del año 2004 y hasta la fecha, se incluyeron en ambos cuestionarios (el respondido por el estudiante y el que responde el docente), una batería de reactivos que dan respuesta a la necesidad de contar con información respecto a las estrategias didácticas más utilizadas por el docente, mismas que contrastándolas con las respuestas de los estudiantes, permitieron detectar cuáles son las que éstos requieren o demandan más, según el tipo de materia o su propio estilo de aprendizaje. La consideración para incluirlos se basó fundamentalmente en la necesidad detectada de armonizar la evaluación con las teorías de enseñanza-aprendizaje, que si bien, no había una oficialmente aceptada en la buap, se determinó que las tres principales consideradas, eran las más utilizadas de manera intuitiva o predeterminada por los docentes. En el caso del instrumento que responde el docente, el reactivo consiste en una pregunta con 19 opciones de respuesta y pretende distinguir las principales estrategias de enseñanza empleadas por el docente (a su juicio), con el grupo al que le impartió clases. Estas 19 opciones refieren cada una de ellas a una estrategia distinta, y cada una también está asociada a una de las tres principales teorías de enseñanza aprendizaje: 1. Cognoscitivismo. 2. Conductismo. 3. Humanismo. Examina_evaluacion 19 NOV.indd 41 12/19/14 1:25 PM 42 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA La importancia de lo anterior parte del hecho de que el constructivismo (enfoque adoptado recientemente por la buap como parte de su Modelo Académico-Educativo), basa sus principales fundamentos en estas tres teorías cognitivas. Lo que nos permitirá detectar tanto las fortalezas desarrolladas por el docente en ejercicio de su actividad, como las áreas de oportunidad del mismo. Estas mismas estrategias son preguntadas a los estudiantes, pero a manera de sugerencias que en determinado momento podrían hacer a sus maestros para mejorar la impartición de su materia, esto es, en el caso de los estudiantes, refieren a las necesidades didácticas que como alumnos tienen al enfrentarse al aprendizaje de determinados contenidos. Los reactivos incluidos y su asociación con las teorías expuestas, 1 son los siguientes: TABLA 3. Del cognoscitivismo Del profesor Ítems 1. Tomar en cuenta los conocimientos previos del estudiante en el desarrollo de los contenidos educativos. c) Que antes de iniciar un tema, el maestro (a) considere los conocimientos previos y me apoye para ponerme al corriente. 2. Estructurar con secuencia lógica los contenidos educativos. g) Que estructure mejor las secuencias y contenidos del curso. 3. Motivar al estudiante a participar i) Que motive participar activamente con activamente en su proceso de preguntas u opiniones respecto al tema que aprendizaje significativo. se expone. 4. Buscar la funcionalidad (sentido) h) Que dé más ejemplos de aplicación de los conocimientos, destrezas, cotidiana. valores, etcétera. 1 Esta decisión de agregar las 19 opciones para los profesores y 19 sugerencias para los estudiantes fue orientado por el trabajo titulado “Aspectos implícitos sobre la enseñanza reflejados en los cuestionarios de evaluación de la docencia”, elaborado por Luna (2000: 63-83), en Evaluación de la docencia. Perspectivas actuales. La autora menciona que pocos instrumentos revelan que teoría pedagógica los sustenta, pero las preguntas permiten inferir tal intención. Examina_evaluacion 19 NOV.indd 42 12/19/14 1:25 PM 43 EL PROGRAMA INSTITUCIONAL DE EVALUACIÓN ACADÉMICA DE LA BUAP Del profesor 5. Fomentar estrategias cognoscitivas de exploración y descubrimiento, así como de regulación y planificación. Ítems k) Que promueva el aprendizaje y el trabajo en equipo. m) Que motive a explorar, a descubrir y a aprender por sí mismo. o) Que me haga sentir confianza en mis propias capacidades. p) Que evite descalificar las participaciones del grupo. Del estudiante Ítems 1. Participar activamente en el proceso de aprendizaje. i) Que motive participar activamente con preguntas u opiniones respecto al tema que se expone. 2. Aprender a aprender. m) Que motive a explorar, a descubrir y a aprender por sí mismo. o) Que me haga sentir confianza en mis propias capacidades. Fuente: Elaboración orientada por el trabajo de Luna (2007). Aspectos implícitos sobre la enseñanza, reflejados en los cuestionarios de evaluación de la docencia. En Evaluación de la docencia. Perspectivas actuales. TABLA 4. Del conductismo Del profesor 1. Definir operacionalmente los objetivos de aprendizaje. Ítems a) Que defina claramente lo que espera que yo aprenda. b) Que me explique claramente para qué me va a servir lo que voy a aprender. 2. Presentar de manera secuenciada e) Que vaya dosificando el conocimiento y lo la información (a partir de lo más gradúe de lo más simple a lo más complejo. simple a lo más complejo). 3. Diseñar situaciones de enseñanza d) Que se prepare mejor sobre los temas que que faciliten el aprendizaje imparte. (considerar los insumos). 4. Programar contingencias de reforzamiento. l) Que a través de diferentes medios refuerce los conocimientos más relevantes. 5. Permitir que los estudiantes avancen a su propio ritmo. n) Que esté más pendiente de los avances y dificultades de aprendizaje de cada uno de nosotros. Continúa... Examina_evaluacion 19 NOV.indd 43 12/19/14 1:25 PM 44 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Del profesor Ítems 6. Elabora instrumentos de r) Que su evaluación sea más justa y centrada evaluación que constaten el logro en lo que se estableció que debía yo aprender. de los objetivos. s) Que me informe oportunamente el resultado de mis evaluaciones. Del estudiante Ítems 1. Ser receptivo a la programación educativa. a) Que defina claramente qué espera que yo aprenda. 2. Responder a las actividades de enseñanza. b) Que me explique claramente en qué me va a servir lo que voy a aprender. Fuente: Elaboración orientada por el trabajo de Luna (2007). TABLA 5. Del humanismo Del profesor 1. Desarrollar un programa flexible para incorporar los intereses de los alumnos. Ítems f) Que oriente las aplicaciones o ejemplos según los intereses del grupo. 2. Proporcionar recursos de j) Que diseñe mejor su clase para facilitar el aprendizaje de su experiencia aprendizaje del grupo. personal, libros u otros materiales. 3. Fomentar el aprendizaje participativo. k) Que promueva el aprendizaje y el trabajo en equipo. 4. Fomentar la autoevaluación. s) Que me informe oportunamente el resultado de mis evaluaciones. 5. Inspirar confianza. o) Que me haga sentir confianza en mis capacidades. p) Que evite descalificar las participaciones del grupo. q) Que se comprometa más con el grupo. Del estudiante 1. Exponer sus iniciativas y necesidades. Examina_evaluacion 19 NOV.indd 44 Ítems f) Que oriente las aplicaciones o ejemplos según los intereses del grupo. 12/19/14 1:25 PM 45 EL PROGRAMA INSTITUCIONAL DE EVALUACIÓN ACADÉMICA DE LA BUAP Del estudiante 2. Participar activamente en el proceso de enseñanza para su realización personal. Ítems i) Que motive participar activamente con preguntas u opiniones respecto al tema que se expone. m) Que me motive a explorar, a descubrir y a aprender por mí mismo. Fuente: Elaboración orientada por el trabajo de Luna (2007). Una observación importante, es que al momento en que se incluyeron estos reactivos en el cuestionario, la resistencia que mostraban algunos grupos mayormente reacios en contra de la evaluación, “bajaron la guardia” de forma drástica, refiriendo comentarios como “esto es más cercano a las actividades que realizamos”; “esto sí es una evaluación, y no preguntar si asisto o cómo los trato”. Dicho segmento, a la fecha, no ha sido cuestionado ni rechazado. De manera adicional, el cuestionario que responden los docentes, incluye un segmento para realizar comentarios abiertos, sobre el tópico o asunto que consideren necesario o pertinente. Dan la oportunidad al docente de encontrar un espacio de opinión sobre sus inquietudes. Éstas se manejan de manera interna y confidencial, y acerca de los comentarios vertidos se hace un análisis de contenido para formular un resumen siguiendo el agrupamiento de temas principales, como son: comentarios sobre la infraestructura, la universidad, los planes y programas de estudio, las inquietudes personales y asuntos varios. Por último, se recaba información mediante las denominadas preguntas de control, que nos permiten la contextualización precisa y adecuada del trabajo docente, como son: ítems relativos al género, años de dar clases, años de impartir la misma materia, cursos recibidos sobre Pedagogía, utilidad que le encuentran a los mismos, etcétera. La metodología para aplicar la evaluación fue presencial y se dio en el momento de impartición de clases del docente en cada uno de los grupos que tiene asignados. La técnica permitió que su opinión vertida refiera –a su vez– la opinión que tiene por materia, y no sólo una valoración global de sus condiciones, lo que permitió también una interpretación segmentada o por área académica de trabajo. Las encuestas se aplicaban mediante el uso de papel de lectura óptica, lo que nos permitió trabajar con un margen de error de .2 por ciento. Examina_evaluacion 19 NOV.indd 45 12/19/14 1:25 PM 46 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Algunas fortalezas detectadas con el instrumento empleado Se inició desde el supuesto de que la evaluación siempre generará controversias. El proceso como tal, en términos generales, fue aceptado con ciertas reservas por parte de la comunidad académica. Algo que favoreció su aceptación, fue su vínculo al Programa de Estímulos, lo que propició el interés por parte de los académicos con más antigüedad y en general, líderes académicos en sus comunidades. Hasta la fecha, la mayoría de las preguntas del instrumento han sido cuestionadas por ciertas comunidades académicas, aunque de manera más marcada por algunas. En términos generales, observamos que el segmento de académicos que muestra mayor resistencia, es aquél que cuenta con plazas laborales definitivas y de tiempo completo. El segmento correspondiente a los hora clase y/o tiempo determinado, suelen estar al pendiente y preocuparse por los resultados de sus evaluaciones. Evidencian de manera más clara su interés acudiendo personalmente cuando no pueden acceder a consultar los resultados de sus evaluaciones. En el año 2004, en un ejercicio de metaevaluación, se determinó que el instrumento contaba con las siguientes fortalezas o ventajas: • • • • • • • • Maneja criterios universales. Da espacio a la libertad de cátedra. Excluye consideraciones de estilo y rasgos de personalidad. Hace énfasis en el esfuerzo individual. Excluye la calificación al dominio de estrategias didácticas. El proceso logró aceptación y confianza. Permite comentarios abiertos. Proceso con componentes esenciales: credibilidad, confianza, retroalimentación y usos no punitivos. La implementación del proceso La primera aplicación realizada en 2002 estuvo a cargo de la Vicerrectoría de Docencia. En la del año 2003, empezó a delegarse la aplicación a las Unidades Académicas, buscando involucrarlas y corresponsabilizarlas del proceso. Examina_evaluacion 19 NOV.indd 46 12/19/14 1:25 PM EL PROGRAMA INSTITUCIONAL DE EVALUACIÓN ACADÉMICA DE LA BUAP 47 Se requirieron más de 100 monitores de apoyo para la aplicación, resguardo y validación de cada uno de los más de 160 mil cuestionarios que se aplicaron por primera vez. La aplicación en papel implicaba un exhaustivo proceso de validación que minimizara el margen de error y favoreciera la confiabilidad. Las primeras aplicaciones requerían de hasta cinco meses para el procesamiento de una sola evaluación, desde su aplicación hasta su disponibilidad en plataformas electrónicas para su consulta. Cada cuatrimestre se aplicaban un promedio de 170 000 encuestas a los más de 50 000 estudiantes matriculados en la buap. Las reacciones observadas por parte de la comunidad docente, fueron muy diversas: desde temor o rechazo, hasta plena disposición para participar. Durante algunos meses se percibía en los comentarios de la comunidad universitaria una especie de “nerviosismo generalizado” por los posibles usos o repercusiones que podría generar este ejercicio de evaluación de la docencia. En algunos casos, se reportaron intentos de boicot o sabotaje al impedir a algunos docentes llegar hasta sus salones de clase para que no estuvieran presentes durante su evaluación, y aprovechando ese momento, alumnos que no estaban bajo la tutoría del docente en cuestión, entraban al aula y participaban en este ejercicio con la intención de perjudicarlo al responder con respuestas negativas a todas las preguntas. Esto llevó a la dges a establecer como acuerdo, que ningún grupo sería evaluado si el profesor no estaba presente para constatar que los alumnos que participaran en el ejercicio de evaluación, eran los matriculados en el curso, a reserva de que esta particularidad fuera validada por el secretario académico. La entrega de resultados Cada cuatrimestre, los cuestionarios son procesados y al generarse los resultados, son puestos a disposición para su consulta en el portal web ubicado en la siguiente dirección: www.dges.buap.mx/evaluacion. Los docentes entran al sitio mediante una clave de acceso personal y pueden consultar los resultados históricos de todas sus evaluaciones. A las autoridades de cada Unidad Académica se les ha gestionado una contraseña de acceso que les permite consultar, de manera pormenorizada, los resultados de todos los docentes de su escuela o facultad. Examina_evaluacion 19 NOV.indd 47 12/19/14 1:25 PM 48 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Sin embargo, a pesar de que se cuenta con una plataforma de fácil acceso y consulta, se detecta que muchos docentes aún no revisan los resultados de sus evaluaciones. En atención a esa actitud en 2009, se rediseñó el portal electrónico donde se ubicó la información al respecto y se buscó propiciar la consulta de los resultados de evaluación. Logísticamente, lo que complicó el adecuado funcionamiento del sistema electrónico de consulta, es la alta variabilidad en términos del número de trabajador del docente, dato que utilizamos como campo llave para la administración de nuestras bases de datos. El isp o índice de satisfacción ponderado El resultado de las evaluaciones aplicadas, se expresa en términos del denominado Índice de Satisfacción Ponderado (isp), que se obtiene al promediar aritméticamente los resultados de todas las respuestas vertidas por los estudiantes para cada una de las preguntas formuladas de acuerdo al valor que les corresponda, como se ilustra en la tabla 2. Las preguntas que se promedian son de la 1 a la 14 más la número 16. La pregunta número 15 (¿cómo evaluaría globalmente el desempeño de su profesor?), se emplea como reactivo de validación, esto es: permite validar la confiabilidad con que el estudiante respondió la encuesta. Si las respuestas son confiables, el resultado de un solo reactivo que agrupa una percepción global (el 15), debe ser muy parecido al promedio de todos los demás reactivos desagregados (las 15 preguntas restantes). Su notación va de 0 como valor mínimo y 100 como máximo. Se expresa hasta con dos decimales y, como se mencionó, surge de promediar aritméticamente los resultados de 15 preguntas. Para una interpretación más profunda, se le proporciona al docente un isp global, por cada uno de los grupos que haya impartido durante un cuatrimestre, pero también se proporciona un isp por cada una de las preguntas. Asimismo, manejamos un isp por dimensión evaluada, que se conforman con la agrupación de las preguntas correspondientes a cada una (tabla 1). Examina_evaluacion 19 NOV.indd 48 12/19/14 1:25 PM EL PROGRAMA INSTITUCIONAL DE EVALUACIÓN ACADÉMICA DE LA BUAP 49 Algunos usos dados a los resultados de las evaluaciones Desde su primera aplicación, han sido diversas las áreas en las que el pieva ha impactado. Una de ellas ha sido coadyuvar en la acreditación del 97% de los planes de estudio vigentes, así como lograr dar respuesta a los Comités Interinstitucionales de Evaluación de la Educación Superior (ciees) y a diversos organismos acreditadores. Asimismo, los resultados del pieva ahora son tomados en cuenta por el Programa de Estímulos al Desempeño del Personal Docente (Esdeped) y se ha logrado dar respuesta a requerimientos específicos para dicho programa. Sin embargo, otra de las medidas y quizá la de mayor impacto, es que en varias Unidades Académicas se han establecido comisiones que trabajan para dar seguimiento a los resultados arrojados por la investigación realizada por medio del pieva, con la única finalidad de mejorar el desempeño de los docentes de su área. Tal es el caso de las facultades de Ciencias Químicas, Computación, Ingeniería, Cultura Física, Administración, Arquitectura, Contaduría Pública, Derecho, Economía e Ingeniería Química. En varias de ellas, se han desarrollado cursos de formación específicos que pretenden la mejora de las habilidades de sus docentes y, en otras, han surgido algunas medidas de intervención. En otras facultades se han establecido canales de comunicación directa entre docentes y autoridades para detectar qué origina algunos resultados negativos y buscar juntos la manera de obtener resultados positivos. Es indudable que este programa evidencia fuertes necesidades de capacitación, apoyo y mejora de procesos académicos y administrativos en las que autoridades universitarias, ya se encuentran trabajando para diseñar las mejores estrategias de intervención posibles de acuerdo a recursos y posibilidades; mientras tanto, año con año, en el análisis de los resultados globales se aprecia, un incremento paulatino del isp, lo que refleja un interés constante en la mejora del desempeño de los docentes frente a grupo. Área responsable de la evaluación Desde el año 2002 y hasta agosto del 2006, la evaluación fue responsabilidad directa de la Dirección General de Educación Superior, después, se dio cabida Examina_evaluacion 19 NOV.indd 49 12/19/14 1:25 PM 50 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA a un área encargada de procesar, gestionar y difundir los resultados de las evaluaciones. Los responsables del área tienen formación administrativa, con perfiles de especialidad en evaluación de la docencia y temas diversos sobre educación. El personal de planta del departamento ha variado de 1 a 4 personas, manteniendo por lo menos a una de ellas que ha participado en el proceso desde sus inicios hasta la fecha. Por parte de la Vicerrectoría de Docencia, se ha priorizado capacitar y formar de manera constante en temas diversos sobre evaluación, calidad, diseño y construcción de indicadores, elaboración y administración de portafolios de evidencias, estadística, manejo de software especializado para análisis de información, constructivismo, formación docente, etcétera. A partir del año 2006, se creó la Coordinación de Evaluación Académica (cea), misma que se conformó con la incorporación de un docente que había participado en diversos procesos evaluativos del personal académico. Esta coordinación, se transfirió a la Vicerrectoría de Docencia, dependencia mayormente vinculada con el segmento académico de la institución. La comunicación oficial es por medio de la Vicerrectoría, sin embargo, la Coordinación de Evaluación ha tenido mucho apoyo para sostener diálogos directos con las comunidades docentes, ya sea de manera individual o colectiva, así como con otras dependencias de la institución con las que se necesita establecer alianzas estratégicas para el buen funcionamiento del programa. Una de ellas es la dependencia responsable del manejo de la plataforma electrónica de la institución, la Dirección de Tecnologías de la Información. Otro grupo estratégico de trabajo con el que se está gestando una colaboración importante, es el grupo responsable del Programa Institucional de Formación de los Académicos Universitarios (pifau), ahora denominada Escuela de Formación Docente (efd). Los principales retos enfrentados durante el desempeño de las funciones, han sido la subjetividad o ambigüedad en puntos específicos en el tema, aunado a la ya de por sí compleja y multivariante actividad académica. La falta de criterios definidos ha propiciado dificultades en términos de la definición de los constructos a evaluar, y por lo mismo, se generan con mayor facilidad controversias o rechazos por parte de la comunidad académica, lo que dificulta los diálogos para canalizar los diversos efectos que debieran derivar de la evaluación. Examina_evaluacion 19 NOV.indd 50 12/19/14 1:25 PM EL PROGRAMA INSTITUCIONAL DE EVALUACIÓN ACADÉMICA DE LA BUAP 51 Otro reto enfrentado, son los recursos disponibles para dar cobertura oportuna a todas las necesidades de información que se generan en una universidad de las dimensiones de la buap. El personal capacitado adecuadamente es escaso, y los niveles de saturación del trabajo son excesivos, esto genera, en ocasiones, retrasos involuntarios causados por las circunstancias. Otra dificultad que se enfrenta, es la actitud apática de los profesores con mayor antigüedad y con hábitos más arraigados en términos de su ejercicio docente, en lo que refiere a aceptar y participar en procesos de este tipo; una problemática más, es la asociación de los resultados con el programa de estímulos, lo que (intuimos) genera cada vez mayores ejercicios de simulación. Por último, aunque no por ello es menos importante, un problema al cual conviene referir, trata de la irregular implementación de mecanismos de intervención a partir de los resultados de las evaluaciones, ya se ha mencionado que son pocas las unidades académicas que trabajan en ese sentido. Se ha generado la impresión de que las evaluaciones no tienen utilidad alguna, lo cual, sin ser cierto, se convierte en argumento en contra del proceso evaluativo, desmotiva a los sujetos participantes y genera apatía e incredulidad. Para contrarrestar este inconveniente, en el año 2009 se implementó una serie de mecanismos dirigidos a la consulta de los resultados como requisito para algunos procedimientos administrativos, así como la vinculación de los resultados con la Escuela de Formación Docente. Pretendemos de igual forma, rediseñar la vinculación con el programa de estímulos y difundir de manera amplia los beneficios de contar con esquemas de retroalimentación que favorezcan la mejora de la docencia. El proceso de rediseño del Programa Institucional de Evaluación Académica (pieva) A partir del mes de agosto de 2006, se consideró que era necesario revitalizar el proceso de evaluación de la docencia. Se hizo un análisis foda y se establecieron los puntos principales para fortalecer la cultura de evaluación y consolidarla con aquellos principios con los que originalmente había surgido. Se convocó entonces a un representante por cada una de las unidades académicas de la institución, definiendo previamente el perfil idóneo que debían reunir para pertenecer al grupo de trabajo, el cual tenía bajo su responsabilidad Examina_evaluacion 19 NOV.indd 51 12/19/14 1:25 PM 52 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA varias tareas, entre otras, plantear el esquema y el plan de trabajo del nuevo programa, incluso diseñar otro instrumento de evaluación concordante con la nueva propuesta académico-educativa que se estaba gestando en la institución: el Modelo Universitario Minerva. Para iniciar dicho trabajo, se establecieron las siguientes estrategias: • Bajo la directiva y supervisión de la Coordinación de Evaluación de la Vicerrectoría de Docencia, lograr el cumplimiento cabal y oportuno de cada una de las etapas que conforman el proceso evaluativo descrito, mediante la conformación de una sólida comisión institucional que favorezca el diseño y la implementación colegiada y participativa del programa; buscando una identificación plena y objetiva de los propósitos de la evaluación y las medidas que se implementen a partir de sus resultados. • Con el apoyo de un especialista en educación y evaluación académica, desarrollar todas y cada una de las etapas del proceso, proponiendo la formación, la investigación, la metodología científica y la discusión como los métodos de trabajo que avalen los resultados obtenidos. • Impulsar la implementación de dos líneas de trabajo adicionales a la evaluación de los docentes: la evaluación de la formación integral de los estudiantes, incluyendo los ejes transversales y el desarrollo de las habilidades de pensamiento complejo, y la evaluación del currículo universitario, sus resultados, alcances e impactos en términos de lo establecido por el Modelo Universitario Minerva. • Desarrollar líneas de investigación evaluativa que favorezcan el análisis de las diferentes variables evaluadas, así como la derivación en un modelo que permita la identificación de nuestras áreas de oportunidad y nuestras fortalezas, así como el peso de las variables asociadas al proceso educativo en la buap. • Establecer un proceso de comunicación académica mediante plataformas electrónicas, el diseño de un portal institucional de consulta de indicadores y el trabajo colaborativo entre pares universitarios, que favorezca el empleo de los resultados de las evaluaciones y la mejora de los profesores de la institución, colaborando con los consejos de las Unidades Académicas y el Programa Institucional de Formación de Académicos Universitarios, en el marco de lo establecido en el Modelo Universitario Minerva. Examina_evaluacion 19 NOV.indd 52 12/19/14 1:25 PM EL PROGRAMA INSTITUCIONAL DE EVALUACIÓN ACADÉMICA DE LA BUAP 53 • Mantener un esquema de capacitación constante para el grupo de trabajo, que favorezca todas las etapas y procesos inherentes a la evaluación educativa. Es importante recordar que la Benemérita Universidad Autónoma de Puebla, asume en el año 2006 un modelo educativo conocido como: Modelo Universitario Minerva. Los fundamentos teórico-metodológicos de dicho Modelo, expresan de forma clara, la postura de estrechar la vinculación universidad-sociedad y la necesidad de que la educación proporcionada a los estudiantes, en ningún momento pierda de vista que el conocimiento está vinculado con la realidad. Para responder a tal preocupación, el modelo también impulsa una cultura de evaluación, por lo que establece y define el concepto de evaluación educativa, como: [...] la recolección de información sobre el proceso y resultado del aprendizaje, con el propósito de analizarlos y tomar decisiones sobre su orientación y desarrollo, para darle la posibilidad al académico del ajuste de las necesidades de los estudiantes y guiarles hacia la autonomía del aprendizaje en un contexto determinado (buap, 2007: 47). Para cumplir con esta evaluación, se ha seleccionado una serie de rasgos que deben ser cubiertos por las Instituciones de Educación Superior (ies) y que con la orientación del Modelo Universitario Minerva se cristalizan en acciones. A estos rasgos los llamaremos indicadores, y para su mejor compresión y aplicación los agruparemos de la siguiente manera: 1. Indicadores que evidencian la dimensión del vínculo universidadsociedad en la formación del egresado. 2. Indicadores que evidencian la capacidad de vincular a los actores de las unidades académicas con proyectos de los sectores público, privado y social. 3. Indicadores que evidencian la capacidad de movilizar recursos para el desarrollo. Comprobar que se está cumpliendo con los indicadores propuestos y que se logra el impacto deseado, requiere contar con los mecanismos necesarios para obtener, procesar, analizar y presentar información que se genere en su Examina_evaluacion 19 NOV.indd 53 12/19/14 1:25 PM 54 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA entorno y en su interior, y debe ser capaz de transformar dicha información en conocimiento que permita su autorregulación, adaptación y evolución en tiempo real, así como la toma de decisiones que orienten su perfeccionamiento. De ahí que se proponga un sistema de evaluación, que como proceso sistemático, valore el grado en el que los recursos y procedimientos previstos e implantados permitan el logro de las finalidades y resultados del currículo que implique una actividad deliberada, sistemática y permanente, que integre los indicadores y su impacto en los ámbitos mencionados como resultado del trabajo realizado en tres ejes de desarrollo: 1. La evaluación del currículo universitario implementado por cada una de las unidades académicas. Incluye el análisis de la vigencia del plan en relación con los avances científicos-tecnológicos y con base en las necesidades del entorno. 2. La evaluación del docente y su relación con el rendimiento de los estudiantes. 3. La evaluación de la formación integral de los estudiantes. Tanto en su proceso de formación como por la aceptación en el ámbito laboral. Al tomar en cuenta las anteriores premisas, el Programa Institucional de Evaluación Académica ha replanteado sus alcances de la siguiente forma: Misión Servir a la comunidad universitaria proporcionando información confiable, válida, oportuna y pertinente para que las decisiones y las intervenciones que de ella se ejecuten en las diversas unidades académicas, favorezcan la mejora continua de la docencia universitaria en su conjunto y de cada uno de los elementos que orientan la formación integral de los alumnos. Visión El Programa Institucional de Evaluación Académica será el recurso de información institucional de consulta obligada, para todos aquellos interesados Examina_evaluacion 19 NOV.indd 54 12/19/14 1:25 PM EL PROGRAMA INSTITUCIONAL DE EVALUACIÓN ACADÉMICA DE LA BUAP 55 en la calidad de la docencia universitaria de la buap, siendo evidencia de la implementación del modelo educativo universitario y de las funciones sustantivas que de él se derivan, así como de un esfuerzo sistemático y continuo que se caracteriza por su objetividad, precisión y utilidad, que está orientado al alumno como actor principal y que involucra la participación propositiva y de equipo de la comunidad académica. Objetivo general Propiciará la mejora en la calidad académica al favorecer la cultura institucional de evaluación, la autorregulación interna de los procesos académicos, la acreditación de nuestros programas, la certificación de nuestros egresados y el reconocimiento de la sociedad en su conjunto, proporcionando a las autoridades universitarias, a los responsables de la gestión académica, a los docentes y estudiantes información a corto, mediano y largo plazos que les permita tomar decisiones oportunas y acertadas, además de dirigir el sistema universitario hacia la mejora continua. Objetivos específicos • Fortalecer la cultura de evaluación de la comunidad académica, para que el esfuerzo de evaluación que la universidad realiza a través del pieva, se traduzca en un beneficio institucional que permita la mejora constante de las funciones que se realizan y del modelo educativo que sustenta la filosofía educativa que nos caracteriza. • Favorecer el crecimiento individual de las personas que conforman la comunidad académica quienes al interpretar la información proporcionada, y hacer un uso oportuno de ella, detectan áreas personales de oportunidad y se comprometen a su mejora, con la comunidad universitaria y consigo mismos. • Colaborar a la acreditación de los programas académicos, proporcionando evidencias que por responder a los estándares que norman la evaluación educativa, demuestren un proyecto académico, integral y organizado, que orienta las acciones del personal participante. Examina_evaluacion 19 NOV.indd 55 12/19/14 1:25 PM 56 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA • Contribuir al mantenimiento del alto prestigio institucional por medio de la retroalimentación que la evaluación permite acerca de la formación de sus egresados. Etapas de trabajo y estrategias Se propone un modelo de evaluación que represente la interrelación entre los tres ejes de desarrollo que abarca el pieva (evaluación del currículo universitario, del docente y de la formación integral de los estudiantes) y las nueve etapas metodológicas que deben realizarse, donde la secuencia entre la etapa 9 y la 1, caracterizan el proceso cíclico y sistemático que contempla el programa institucional. FIGURA 1. Modelo de Evaluación: Ejes de desarrollo y Etapas metodológicas EJES DE DESARROLLO Evaluación de la E Evaluación del T formación integral currículo A de los estudiantes P A S Etapa 9: Metaevaluación Etapa 8: Integración y resguardo institucional M E Etapa 7: Comunicación de los resultados T O Etapa 6: Calificación D O Etapa 5: Administración de (los) instrumentos L Ó Etapa 4: Preparación previa a la aplicación G Etapa 3: Diseño del (los) instrumento (s) de medida I C Etapa 2: Planeación de la evaluación A S Etapa 1: Diagnóstico y detección de necesidades Evaluación del docente universitario Fuente: Elaboración propia, con base en la encuesta aplicada a los estudiantes de la Licenciatura en Matemáticas. Examina_evaluacion 19 NOV.indd 56 12/19/14 1:25 PM EL PROGRAMA INSTITUCIONAL DE EVALUACIÓN ACADÉMICA DE LA BUAP 57 Etapa 1: Diagnóstico y detección de necesidades Propósitos: • Reconocer el estado del conocimiento en la literatura especializada sobre la evaluación del currículo universitario, la evaluación de los académicos y la evaluación de la formación integral del estudiante, principalmente aquélla vinculada con el Enfoque Constructivista. Diferenciar los supuestos definidos en el mum acerca de los tres componentes universitarios planteados. Etapa 2: Planeación de la evaluación Propósitos: • Identificar los principales rasgos o características que tiene la evaluación de cada eje de desarrollo desde el mum y su enfoque pedagógico: el constructivismo. • Redefinir el propósito de la evaluación, considerando que ésta debe desarrollarse de acuerdo a los lineamientos teórico-metodológicos resultantes de la etapa 1, y debe tener disponibles las evidencias requeridas para su demostración. • Conceptualizar las conductas (factores/variables) sujetas a evaluación, redefiniendo el constructo, es decir, delimitando la conducta que será objeto de evaluación, sobre la cual se harán inferencias y se tomarán decisiones. • Caracterizar los instrumentos y los recursos requeridos. • Caracterizar las etapas 3, 4, 5, 6, 7, 8 y 9, debido a que el modelo establece la necesidad de que la planeación de las siete etapas restantes se realice en la etapa 2. Examina_evaluacion 19 NOV.indd 57 12/19/14 1:25 PM 58 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Etapa 3: Diseño de (los) instrumento (s) de medida Propósitos: • Elaborar, de acuerdo a la Asociación Psicológica Americana (American Psychological Association, 1999), los instrumentos de medida que cumplan con los estándares psicométricos, considerando las recomendaciones de la Asociación Nacional de Universidades e Instituciones de Educación Superior (anuies), y con las especificaciones señaladas en la etapa anterior de planeación acordadas por los grupos colegiados. • Validar los instrumentos elaborados a través de los representantes de las unidades académicas e instancias institucionales. • Validar los instrumentos por los asesores externos. Etapa 4: Preparación previa a la aplicación Propósitos: • Promover el pieva con los usuarios, académicos y expertos. • Reproducción y/o desarrollo de materiales impresos o en línea. • Organización de la logística requerida de acuerdo a la caracterización descrita en la etapa 2. • Asegurar las condiciones requeridas para la administración estandarizada de acuerdo a los estándares exigidos. Etapa 5: Administración del instrumento(s) de medición Propósitos: • • • • Aplicación estandarizada de acuerdo a los estándares de calidad. Control de respuesta requerido. Resguardo de la información institucional resultante. Confidencialidad y seguridad. Examina_evaluacion 19 NOV.indd 58 12/19/14 1:25 PM EL PROGRAMA INSTITUCIONAL DE EVALUACIÓN ACADÉMICA DE LA BUAP 59 Etapa 6: Calificación Propósitos: • Precisión: Calificación con correspondencia exacta a la planeación establecida en la etapa 2. • Rigurosidad y transparencia. Etapa 7: Comunicación de resultados Propósitos: • • • • • • • • Proteger la privacidad de los evaluados y evaluadores. Favorecer la comunicación de resultados por medios múltiples y accesibles. Ofrecer claridad y precisión en la comunicación de resultados. Mostrar eficiencia y oportunidad en la comunicación de resultados, a través del portal electrónico. Proporcionar pruebas documentales a las diversas escuelas/facultades del proceso de evaluación institucional que refuercen su credibilidad y confianza. Evitar las interpretaciones erróneas sobre los resultados y las consecuencias posibles que esta situación pudiera tener. Difundir entre la comunidad universitaria las áreas de oportunidad identificadas a través del programa institucional de evaluación académica, de manera que los programas de mejora estén sustentados en datos confiables y útiles. Favorecer un clima institucional orientado a la mejora continua. Etapa 8: Integración y resguardo institucional Propósitos: • Resguardo de la memoria institucional de evaluación. • Fundamentación de las futuras acciones de intervención. Examina_evaluacion 19 NOV.indd 59 12/19/14 1:25 PM 60 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA • Impulso a la investigación institucional y el trabajo en redes interinstitucionales. Etapa 9: Metaevaluación Propósitos: • Promover el empleo de los resultados del pieva. • Fortalecer el trabajo de los académicos interesados en la investigación educativa, así como la generación de líneas de investigación: generales y específicas en cada unidad académica o programa. • Corroborar la correlación que debe existir entre los trabajos realizados por las diversas instancias universitarias. • Homogeneizar el lenguaje y el manejo de los valores de todas las instancias de la buap favoreciendo las condiciones para lograr superar los procesos de evaluación multilaterales. • Impulsar la creación de evidencias. • Crear las condiciones para el próximo modelo universitario. • Difundir el conocimiento resultante de la investigación evaluativa institucional. La implementación del nuevo programa Como estrategia principal, se adoptó la metodología de trabajo en equipo y trabajo colaborativo. Para abordar la primera etapa del proceso se nombraron a siete comisiones, responsables cada una de un segmento de las actividades planteadas. Al ser los integrantes de las comisiones docentes en ejercicio, se favoreció la legitimación de este proceso desde sus bases académicas. Las principales características de este grupo de trabajo, son las siguientes: • • • • Se conformó en agosto de 2006. Cuenta con representante(s) de cada Unidad Académica. Participan docentes en ejercicio. Es capaz de analizar, interpretar y/o recomendar. Examina_evaluacion 19 NOV.indd 60 12/19/14 1:25 PM EL PROGRAMA INSTITUCIONAL DE EVALUACIÓN ACADÉMICA DE LA BUAP 61 • Es un grupo académico sólido; cuenta con líderes académicos; sus grandes fortalezas son: experiencia, trayectoria, formación en educación y en diversos temas de evaluación y calidad. • Muestra habilidad para orientar de manera personal a cada docente. • Es un grupo capaz de contextualizar la interpretación de la información y no desprenderse del fin formativo que persigue. • Establece una dialéctica equilibrada docente-institución. • Identifica y pondera variables y dimensiones relacionadas con la eficacia docente. • Se rediseña el pieva, reforzando sus líneas de trabajo e investigación. Las siete comisiones propuestas y sus actividades específicas, son las siguientes: Comisión 1: Revisión de diferentes instrumentos de evaluación empleados por diversas instituciones Preguntas para responder: 1. 2. 3. 4. 5. ¿Qué categorías identifican a partir de los cuestionarios o dimensiones? ¿Cuáles son las variables con mayor frecuencia en los cuestionarios? ¿Cuál es la escala que se utiliza? ¿Cuál es el número de reactivos que los integran? ¿Qué diferencias se observan entre los cuestionarios revisados nacionales en relación con los internacionales? Comisión 2: Identificar el estado del arte de la evaluación de los profesores Preguntas para responder: 1. ¿Qué se está haciendo en la investigación de la docencia universitaria? a) Diferencias con fuentes de información. b) Sólo cuestionarios o se están aplicando otros instrumentos de evaluación, (por ejemplo: focus group, observación en clase, etc.). 2. ¿El constructo es unidimensional o multidimensional? Examina_evaluacion 19 NOV.indd 61 12/19/14 1:25 PM 62 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA 3. ¿Qué características manifiestan los instrumentos cortos frente a instrumentos largos? 4. Si en el contexto de una institución se encuentran trabajando con un enfoque constructivista; ¿qué es lo que caracteriza la evaluación del docente? 5. ¿Cuáles son las posturas por región o por tipo de institución? (pública vs particular por ejemplo). Tendencias a revisar: Estados Unidos y Australia 6. ¿Cuáles son las principales tendencias? ¿Qué se está evaluando? ¿Por medio de qué se está evaluando? 7. ¿Qué tipo de análisis estadísticos se están utilizando en la actualidad? Comisión 3: Identificar la realidad empírica de la buap; análisis a bases de datos de 2005 a 2008 Preguntas para responder: 1. ¿Qué dice el análisis estadístico respecto a las revisiones de confiabilidad y validez? a) A la base de datos completa. b) Por niveles o Unidades Académicas. c) Por periodos, revisar la consistencia entre periodos. 2. ¿Cuál es la confiabilidad de acuerdo al tamaño del grupo? 3. Pruebas de validez mediante el análisis factorial exploratorio o confirmatorio. 4. En términos de las variables, ¿qué está distinguiendo a los docentes con puntuaciones altas de los de puntuaciones bajas? 5. ¿Qué variables correlacionan con el docente que obtuvo buenos resultados en su evaluación? (experiencia profesional, experiencia docente, edad, género, categoría laboral, grado, etc.). 6. ¿Hay variación en el desempeño debido a la antigüedad? 7. ¿La carga académica (número de horas frente a grupo) hace variar el desempeño docente? 8. ¿Cuáles son las materias en las que los docentes obtienen buenos resultados cuando son evaluados? (identificar si son variables del maestro o de la materia). Examina_evaluacion 19 NOV.indd 62 12/19/14 1:25 PM EL PROGRAMA INSTITUCIONAL DE EVALUACIÓN ACADÉMICA DE LA BUAP 63 a) ¿Cómo está caracterizado en la buap el buen docente? b) ¿Esa caracterización es confiable y válida? c) ¿Qué diferencias encontramos por Unidad Académica y por variables de contexto? d) ¿Qué variables son las que discriminan al buen desempeño docente? Comisión 4: Identificar la concepción de la evaluación académica desde el punto de vista constructivista Preguntas para responder: 1. En el enfoque constructivista; ¿cómo se aborda la evaluación del docente a nivel macroinstitucional, centralizado? 2. ¿Qué caracteriza a la evaluación formativa en el constructivismo? 3. ¿Cómo se abordan la reflexión y la autorregulación? 4. ¿Cómo se justifica agregar o conservar un cuestionario de autoevaluación del docente? 5. ¿Cómo se da pie a la creación de esquemas o programas que fortalecen la retroalimentación y propician la reflexión? Comisión 5: Identificar la concepción de la evaluación académica desde el punto de vista del mum Preguntas para responder: 1. ¿Cómo se le define al académico en este modelo? 2. ¿Qué funciones se le asignan y qué se espera de él? 3. ¿Qué tipo de definiciones marcarán los criterios institucionales para establecer la evaluación? 4. ¿Qué tipos de evaluación están plasmados en el mum y para qué se van a utilizar? 5. ¿Qué dice la reglamentación de la appa? 6. ¿Qué diferencias existen entre lo que se dice en el mum sobre la evaluación del personal, del aprendizaje, de la institución, del currículo, de la gestión, etcétera? Examina_evaluacion 19 NOV.indd 63 12/19/14 1:25 PM 64 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA 7. ¿Cuáles son los roles asignados al docente, a desarrollarse dentro del aula como parte del mum? Comisión 6: Identificar la concepción de la evaluación académica desde el punto de vista de cada disciplina Preguntas para responder: 1. ¿Qué dicen los colegios profesionales y los organismos acreditadores acerca de cómo se hace y qué evidencias están solicitando de la evaluación de los profesores para demostrar su calidad? Comisión 7: Desarrollar propuesta de normatividad para las evaluaciones del personal docente en la buap Preguntas para responder: 1. ¿Qué considera la normatividad institucional interna con respecto a la evaluación de la docencia? 2. ¿Qué tipo de categorías tiene el personal académico? 3. ¿Qué funciones tienen asignadas, qué penalizaciones existen y qué incentivos? (consecuencias en general) 4. ¿Qué dice la normatividad externa? ¿Qué tipo de indicadores debe tener la evaluación educativa según la appa? 5. ¿Qué se debe cubrir según la appa cuando se evalúa al personal docente? Algunas conclusiones derivadas del pieva Es muy importante señalar que el proceso de evaluación de la docencia nos ha permitido acercarnos a conocer cómo se desarrolla la docencia en la buap. La diversidad de escenarios, posturas, propósitos y expectativas, termina enriqueciendo las propuestas que derivan de un solo grupo de académicos, investigadores o administradores que buscan implementar un proceso de ase- Examina_evaluacion 19 NOV.indd 64 12/19/14 1:25 PM EL PROGRAMA INSTITUCIONAL DE EVALUACIÓN ACADÉMICA DE LA BUAP 65 guramiento de la calidad, basado fundamentalmente en el desempeño de seres profesionales, pero al final, seres humanos. La diversidad de escenarios y circunstancias en que se desarrolla la docencia es tal, que sería prácticamente imposible prestar atención a tanta variedad y a veces hasta contraposición de estrategias. Esto nos lleva a pensar, en primer lugar, que debemos impulsar el desarrollo de líneas de investigación educativa con los resultados obtenidos de las evaluaciones. A muchos docentes les ha permitido percatarse de hábitos de actuación que no habían visto. Cuando existen la madurez, apertura y disposición necesarias, escucha sugerencias y termina creciendo como profesional y como persona, al generarse a sí mismo la sensación de que está haciendo lo correcto. El pieva ha significado una oportunidad de mejora, una posibilidad de crecer en todos los sentidos; su importancia radica justamente en el conjunto de oportunidades que abre hacia quienes está dirigido. En esta nueva etapa de su desarrollo debe atender principalmente a los planteamientos postulados en el Modelo Universitario Minerva, y debe convertirse en una de las herramientas más poderosas que permita constatar la adecuada implementación del modelo, así como constituirse en un insumo de información a nivel personal, para monitorear y autorregular el propio avance en la formación y mejora. Referencias American Psychological Association, American Educational Research Association y National Council on Measurement in Education (1999). Standards for educational and psychological testing, 1a. ed., Washington: National Council on Measurements in Education, 194 pp. buap (2007). Modelo Educativo-Académico. Modelo Universitario Minerva: Libro 2, Puebla, México: Benemérita Universidad Autónoma de Puebla, 90 pp. García, José Manuel (1996). Una aproximación empírica al estudio del constructo ”competencia docente” del profesor universitario, Madrid: Universidad Complutense, 178 pp. Luna, Edna (2000). “Aspectos implícitos sobre la enseñanza reflejada en los cuestionarios de evaluación de la docencia”. En Mario Rueda y Frida Díaz-Barriga (comp.), Evaluación de la docencia. Perspectivas actuales, México: Paidós, pp. 63-84. Examina_evaluacion 19 NOV.indd 65 12/19/14 1:25 PM Examina_evaluacion 19 NOV.indd 66 12/19/14 1:25 PM CAPÍTULO 2 La meta-evaluación docente en la buap Yadira Navarro Rangel, Ana Elena Posada Sánchez, Martha Patricia León Arenas, Ignacio Alfredo Hernández Saldaña, Javier Juan Santiago y Wietse de Vries Meijer Introducción Desde 2002, la buap aplica de manera sistemática (al final de cada cuatrimestre y en todas las licenciaturas) un cuestionario mediante el cual los estudiantes evalúan a sus docentes. El proceso nació a partir de una necesidad imperante de evaluar la docencia y se basó en una revisión de experiencias. El resultado de su evaluación se entregaba a cada profesor, con la esperanza de que esta información sirviera para mejorar su desempeño; finalmente, se incorporaron los resultados al Programa de Estímulos al Desempeño del Personal Docente (Esdeped). A partir de esta incorporación y luego de la puesta en marcha del modelo académico mum, se abrió un nuevo campo de debate, con preguntas incómodas como las siguientes: ¿es idóneo el cuestionario? ¿Es confiable? ¿Qué nos dicen los resultados de la evaluación? (las universidades tienen hoy en día una cantidad significativa de procesos de evaluación en marcha, pero raras veces analizan o utilizan los resultados). Para responder a estas preguntas, y para contribuir a una mejora del instrumento (y de la docencia debido a que se inicia con un nuevo modelo educativo), Examina_evaluacion 19 NOV.indd 67 12/19/14 1:25 PM 68 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA se organizó una comisión de académicos, con dos objetivos básicos: 1) hacer las pruebas estadísticas necesarias de validez y confiabilidad al instrumento de evaluación docente, y 2) hacer un análisis general de los datos obtenidos mediante la encuesta para el periodo 2005-2008. Los dos objetivos van de la mano: además de la validez y la confiabilidad de un instrumento, es de suma importancia que éste revele datos cruciales acerca de los evaluados, es decir, información que pueda servir para mejorar la docencia en la buap. La comisión se ha acercado a estos objetivos por varias vías. En un inicio, se realizaron las pruebas de validez estadística, que reflejan la consistencia interna del instrumento. En una segunda fase, el comité de académicos analizó los componentes que influyen en una tarea tan compleja como la docencia universitaria. Al continuar con la idea anterior, es importante señalar que el objetivo de este capítulo es presentar un análisis de los registros en las bases de datos institucionales de 12 periodos de evaluación docente, por medio de un conjunto de pruebas estadísticas que permitirán a las comisiones del pieva conocer la información acerca del comportamiento docente, así como brindar a los interesados herramientas para hacer análisis más pormenorizados. A partir de nuestro análisis, se presentan dos conjuntos de conclusiones. El primero se refiere a que el instrumento, aunque mostró ser altamente confiable, podría mejorarse en varios aspectos. Nuestra propuesta en este sentido es que se incluyan ítems que se refieren no sólo a la actuación del docente en el aula, sino a otras condiciones que rodean a la enseñanza y al aprendizaje. Creemos que estos factores son de suma importancia para poder evaluar el tránsito hacia el Modelo Universitario Minerva. El segundo conjunto se refiere a la evaluación de la docencia en sí. De acuerdo a nuestros análisis, la docencia resulta ser un proceso complejo, donde interactúan múltiples factores. Desde esta perspectiva, resultaría erróneo convertir la evaluación en un proceso de burda asignación de calificaciones a profesores o, aún peor, ligar estas calificaciones a estímulos o castigos pecuniarios o contractuales. Lo anterior no implica que el proceso deba carecer de evaluaciones de tipo cuantitativo y de toma de decisiones o consecuencias. Más bien, esta clase de evaluación debería dar lugar a políticas institucionales muy concretas y ser diseñadas de manera muy cuidadosa, a nivel de las Unidades, que tomen en cuenta esta variedad de factores. Se piensa, por ejemplo, que es importante subrayar la variedad de elementos que resultó de los análisis realizados. En éstos se Examina_evaluacion 19 NOV.indd 68 12/19/14 1:25 PM LA META-EVALUACIÓN DOCENTE EN LA BUAP 69 menciona a profesores que no asisten a clases ni enseñan bien cuando aparecen, pero son pocos. También, existen profesores que no se destacan por su asistencia o puntualidad, pero que reciben una excelente calificación por parte del estudiantado. Asimismo hay quienes cumplen puntualmente con el horario laboral, pero demuestran debilidades didácticas y, por suerte, hay una buena cantidad de profesores que son excelentes para la enseñanza y que además asisten a clases. De igual forma, se manifiesta una serie de factores colaterales que median –o, sorprendentemente, no influyen– en el desempeño docente, según la opinión del estudiante. Entre los factores que sí impactan, se encuentran aspectos como: a) el tamaño del grupo; b) el tipo de materia, y c) la carrera. Por ejemplo, entre más grande el grupo, menor la calificación que los estudiantes otorgan a su profesor. También se detectaron materias en las que los alumnos tienden a obtener resultados negativos en sus evaluaciones, no importa quién las imparta, y en ese sentido, habría que revisar los contenidos y la ubicación de la materia en el mapa curricular. Además, es importante señalar que existen diferencias importantes entre las Dependencias de Educación Superior (des) por los estilos de enseñanza y aprendizaje. En cuanto a los aspectos que no parecen influir, se realizaron comparaciones entre profesores por factores como nivel de Esdeped, su pertenencia al Programa del Mejoramiento del Profesorado (Promep) como perfil, o bien ser parte del Sistema Nacional de Investigadores (sni) y categoría laboral, sólo para el caso de las evaluaciones de 2006. Los resultados fueron sorprendentes en varios sentidos, como muestra de esto, los beneficiados en el Esdeped no siempre resultaron mejor evaluados por los estudiantes. Contar con el perfil Promep tampoco garantiza un buen desempeño en la opinión de los alumnos. Este informe describe los resultados encontrados en nuestros análisis. Cabe destacar que dichos resultados están abiertos a la discusión y ameritan revisiones más detalladas, ya que lo que aquí se presenta es una perspectiva general de toda la institución durante 12 periodos o cuatrimestres. Aun así, creemos que son insumos importantes para decidir sobre los ajustes al instrumento de evaluación docente del pieva y el proceso de implementación del Minerva. La información que se presenta en este capítulo se organiza de la siguiente manera: 1. Descripción de la muestra; datos generales. 2. Análisis de validez y confiabilidad. Examina_evaluacion 19 NOV.indd 69 12/19/14 1:25 PM 70 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA 3. Conglomerados. a) Análisis general de toda la institución. b) Análisis por profesor. c) Análisis por materia. d) Análisis por características del profesor. 4. Conclusiones generales. 5. Recomendaciones para el cuestionario y las políticas institucionales. Descripción general de la muestra El cuestionario del pieva ha sido empleado sistemáticamente desde 2005 para toda la población docente de los niveles medio superior y superior, contemplando los periodos de primavera, verano y otoño. Nuestros análisis, correspondientes sólo al nivel superior, consideran los cursos evaluados desde 2005 hasta 2008, que consisten en un total de 61 090 registros. Estos cursos han sido impartidos por un total de 3 774 académicos distintos (lo cual implica que en promedio, cada académico impartió 16.08 cursos a lo largo de cuatro años, o alrededor de cuatro por año). Para el análisis usamos las preguntas de la 1 a la 16 del cuestionario pieva, preguntas que se han mantenido constantes a lo largo de los cuatro años (la conformación del cuestionario fue descrita en el capítulo 1). Análisis de validez y confiabilidad del instrumento Para analizar la validez del cuestionario se emplearon las herramientas de Análisis Factorial Exploratorio 1 y Análisis de Componentes Principales 2 (Grom y 1 El término Análisis Factorial Exploratorio (afe) puede hacer referencia tanto a un conjunto de técnicas estadísticas como a un método único de interdependencia que se emplea con el objeto de reducir un gran número de indicadores operativos en un número inferior de variables conceptuales. Este método multivariado permite agrupar las variables (ítems, por ejemplo) que se correlacionan fuertemente entre sí, y cuyas correlaciones con las variables de otros agrupamientos (factores) son menores. Aunque las variables utilizadas generalmente son continuas, también es posible utilizar este método en variables dicotómicas (Pérez y Medrano, 2010: 58). 2 El Análisis de Componentes Principales (acp) es una técnica estadística de síntesis de la información, Examina_evaluacion 19 NOV.indd 70 12/19/14 1:25 PM LA META-EVALUACIÓN DOCENTE EN LA BUAP 71 Yarnold, 1994; Hair et al., 1999). Los resultados obtenidos fueron los siguientes: se arrojan dos componentes o dimensiones del constructo 3 definido como competencia docente, mismos que están conformados por las siguientes variables: Componente 1 (de ocho variables): 1. 2. 3. 4. 5. 6. Dominio de la materia (pregunta 1). Orden en la exposición (pregunta 2). Claridad de la exposición (pregunta 3). Incentivar a resolver dudas (pregunta 5). Trato a los alumnos (pregunta 6). Enriquecer con comentarios y ejemplos los temas abordados en clase (pregunta 7). 7. Incentivar a estudiar (pregunta 8). 8. Promover la reflexión y participación activa en clase (pregunta 9). El componente 1 está constituido por variables asociadas a estrategias didácticas exclusivas del dominio del profesor, y por actividades que se circunscriben sólo al espacio áulico, esto es, circunstancias menos afectadas por variables externas. Por tal motivo, optamos por denominar a dicho componente como dimensión formativa y está estructurado por ocho variables. Componente 2 (de cinco variables): 1. Cumplimiento con el horario establecido de clase (pregunta 4). 2. Asistencia y permanencia (pregunta 13). o reducción de la dimensión (número de variables). Es decir, ante un banco de datos con muchas variables, el objetivo será reducirlas a un menor número perdiendo la menor cantidad de información posible. Los nuevos componentes principales o factores serán una combinación lineal de las variables originales, y además serán independientes entre sí. Un aspecto clave en acp es la interpretación de los factores, ya que ésta no viene dada a priori, sino que será deducida tras observar la relación de los factores con las variables iniciales (habrá, pues, que estudiar tanto el signo como la magnitud de las correlaciones). Esto no siempre es fácil, y será de vital importancia el conocimiento que el experto tenga sobre la materia de investigación (Terrádez, 2002a: 1; Martínez, 2000). 3 Un constructo es un fenómeno no tangible que a través de un determinado proceso de categorización se convierte en una variable que puede ser medida y estudiada. Examina_evaluacion 19 NOV.indd 71 12/19/14 1:25 PM 72 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA 3. Entrega oportuna del programa (pregunta 12). 4. Dar a conocer los criterios de evaluación del curso (pregunta 10). 5. Retroalimentar con los resultados obtenidos en la primera evaluación (pregunta 11). El componente 2 está conformado por cinco variables conceptualmente está asociado al cumplimiento de condiciones administrativas, como la asistencia, la observancia con el horario, o la entrega del programa. Sólo las variables asociadas a la evaluación (de resultados de aprendizaje) se pueden considerar como herramientas didácticas del aprendizaje mismo. Sin embargo, su inclusión en este componente permite inferir que los mecanismos de evaluación predominantes en la buap, son escasos, débiles y, en la mayoría de los casos, carecen de relevancia crítica en la metodología de impartición del curso. Esta situación coincide con los resultados de investigaciones realizadas en el país y otras universidades extranjeras, tanto públicas como privadas. Por la naturaleza del desempeño actual de los docentes, se decidió conservar estas variables como parte del bloque, aunque se hace la observación de poderlas tratar de manera especial e independiente, en el marco de la implementación de un nuevo modelo universitario con enfoque constructivista, mismo que pone particular énfasis en la importancia y fortaleza de mecanismos de evaluación, autoevaluación y coevaluación. Debido a las variables que conforman ese componente, se denominó dimensión formal-institucional. Como puede observarse, dos de las preguntas formuladas en el cuestionario (ver capítulo 1) quedan fuera de estos componentes. Esto se debe a que, originalmente, la variable logro de objetivos generales del curso (pregunta 14) aparecía incluida como parte del componente 1 debido a las semejanzas estadísticas que presenta con las variables determinadas para este componente. Sin embargo, a criterio de los analistas, debía excluirse por considerarse como un efecto, consecuencia de las ocho variables restantes, consideradas en términos más específicos, como estrategias didácticas que conducen al logro de los objetivos de los que se habla en la pregunta 14. La segunda pregunta excluida de estos dos componentes es la pregunta 16, asociada a la recomendación que haría el estudiante de su maestro(a) a otros compañeros. Se decidió suprimir también, puesto que por su naturaleza constituye más un indicador de validación, que arroja datos importantes sólo cuando se observan discrepancias entre las variables restantes y ésta. Para el análisis de Examina_evaluacion 19 NOV.indd 72 12/19/14 1:25 PM 73 LA META-EVALUACIÓN DOCENTE EN LA BUAP confiabilidad, la prueba arrojó un alfa de Cronbach de 0.912, el estadístico nos indica que nuestro instrumento es confiable al 91.2%, cuando se revisaron 13 elementos o preguntas del cuestionario (Cronbach y Meehl, 1995). Análisis por conglomerados Una vez que fueron identificados los principales componentes del instrumento analizado, se procedió a realizar pruebas de conglomerados 4 o clusters, mismos que, de acuerdo a la metodología de trabajo del sistema, agruparon o diseccionaron los eventos en los siguientes subgrupos: 1. Para la dimensión formativa se identificaron tres conglomerados o subgrupos (véase Tabla 1). Los casos atípicos 5 sólo representan 0.3% de la muestra. TABLA 1. Dimensión formativa Conglomerados Frecuencia Porcentaje Porcentaje acumulado 1 26 599 43.5 43.5 2 21 598 35.4 78.9 3 12 689 20.8 99.7 204 0.3 100 61 090 100 Conglomerado de valores atípicos Total Fuente: Elaboración propia con datos institucionales. 2. Para la dimensión formal se identificaron cuatro conglomerados o subgrupos (véase Tabla 2). 4 El análisis de conglomerados (cluster) es una técnica multivariante que busca agrupar elementos (o variables) tratando de lograr la máxima homogeneidad en cada grupo y la mayor diferencia entre los grupos. El análisis de conglomerados permite detectar el número óptimo de los grupos y su composición únicamente a partir de la similaridad de los casos (Terrádez, 2002b: 1). 5 Los casos atípicos son aquellos que presentan valores extremos en una variable o en un conjunto de variables, lo que los hace diferir del resto de la muestra (Pérez y Medrano, 2010: 60-61). Examina_evaluacion 19 NOV.indd 73 12/19/14 1:25 PM 74 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA TABLA 2. Dimensión formal-institucional Conglomerados Frecuencia Porcentaje 1 15 435 2 3 4 25.3 25.3 12 816 21 46.2 11 844 19.4 65.6 20 054 32.8 98.5 941 1.5 61 090 100 Conglomerado de valores atípicos Total Porcentaje acumulado 100 Fuente: Elaboración propia con datos institucionales. TABLA 3. Centroides, Media y Desviación Típica (D.T.) Conglomerado Dominio y preparación (preg. 1) Orden en la preposición (preg. 2) Claridad en la exposición (preg. 3) Incentiva a resolver dudas (preg. 5) Media D.T. Media D.T. Media D.T. Media D.T. 1 88.7 5.32 85.39 6.27 86.12 5.81 91.47 4.95 2 78.6 4.68 75.18 5.41 75.11 4.88 81.81 5.33 3 67.27 7.35 64.35 7.56 62.74 7.65 68.03 8.44 Conglomerado de valores atípicos 36.35 13.47 34.18 12.17 31.39 11.96 30.99 12.02 Conglomerado Trato hacia el alumno (preg. 6) Enriquece con comentarios y ejemplos (preg. 7) Incentiva para estudiar (preg. 8) Fomento a la reflexión y participación (preg. 9) Media D.T. Media D.T. Media D.T. Media D.T. 1 87.52 6.34 89.67 5.72 81.43 6.51 88.56 6.09 2 79.62 6.24 78.85 5.96 71.64 5.27 78.16 6.14 3 71.2 8.26 64.71 8.83 61.01 7.23 65.03 8.54 Conglomerado de valores atípicos 41.05 15.81 12.05 31.19 11.58 31.16 12.22 29 Fuente: Elaboración propia con datos institucionales. Examina_evaluacion 19 NOV.indd 74 12/19/14 1:25 PM 75 LA META-EVALUACIÓN DOCENTE EN LA BUAP Los centroides 6 de dichos conglomerados son los siguientes: 1. Para la dimensión formativa, véase la Tabla 3. 2. Para la dimensión formal-institucional, véase la Tabla 4. Esto permite interpretar que la muestra de 3 774 profesores en el primer componente (constituido por ocho variables), se agrupan en tres conglomerados cuyas medias presentan distancias de más de 20 puntos en algunos ítems, lo que aparentemente puede ser mínimo pero no es así (véase Tabla 4). En el caso del componente formal-institucional de los cuatro conglomerados, el último señala puntuaciones preocupantes en la pregunta 11, ya que se muestra que no existe un trabajo adecuado con respecto a la evaluación debido a que el alumno no es retroalimentado (véase Tabla 5). Asistencia y permanencia a clases (preg. 13) Entrega oportuna del programa (preg. 12) Infomar problemas detectados en la 1a. evaluación (preg. 11) Dar a conocer criterios de evaluación (preg. 10) Cumplimiento del horario (preg. 4) Centroides, Medias y Desviación Típica (D.T.) Conglomerado TABLA 4. Media D.T. Media D.T. Media D.T. Media D.T. Media D.T. 1 89.19 5.38 95.89 5 6.31 96.27 3.21 2 77.77 5.82 92 6.56 81.01 10.76 89.05 10.86 88.76 5.05 3 83.81 6.65 89.14 9.81 32.42 15.4 4.44 4 66.17 9.51 79.93 12.72 45.12 22.4 Conglomerado de valores atípicos 48.74 20.4 43.1 18.31 83.34 12.66 95.17 87.4 13.52 93.64 78.46 16.3 78.69 8.56 21.4 19.01 32.98 20.11 61.68 20.64 Fuente: Elaboración propia con datos institucionales. 6 Con el método de centroides, los grupos una vez formados se representan por sus valores medios para cada variable, es decir, un vector de medias y las distancias entre los grupos que se definen en los términos de una distancia entre vectores de medios. Examina_evaluacion 19 NOV.indd 75 12/19/14 1:25 PM 76 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Análisis discriminante Una vez agrupados los eventos de acuerdo a sus principales similitudes, se determinaron las variables que marcaban las diferencias principales entre los docentes con valoraciones altas en su desempeño, respecto de los que no las tienen. Se procedió a realizar el análisis discriminante, 7 el cual basa su metodología en la función denominada Lambda de Wilks, misma que arrojó lo siguiente: Para la dimensión formativa (G8), las variables que marcan las diferencias entre los subgrupos son: 1. Claridad en la exposición. 2. Incentivar a resolver dudas. 3. Incentivar al estudio. Para la dimensión formal-institucional (G5): 1. Informar de los problemas detectados en la primera evaluación. Matrices de cruce de información Después de realizar el análisis por conglomerados se procedió a la realización de una tabla de contingencia, en la que se pretendió clasificar cada uno de los eventos dentro del cuadrante que le correspondía, que se indica en la Tabla 5. 7 El análisis discriminante permite clasificar a los individuos o casos en alguno de los grupos establecidos por la variable dependiente. Desde esta perspectiva guarda cierta similitud con el análisis de conglomerados o clusters: mientras que éste tiene un carácter estrictamente exploratorio (no se conoce a priori a los grupos a formar), en el análisis discriminante sí se conoce el grupo de pertenencia. En el análisis de conglomerados, el objetivo es obtener grupos homogéneos entre sí y heterogéneos con respecto a los demás. Por su parte, en el análisis discriminante los grupos ya están constituidos debiendo identificar lo específico de cada uno de ellos para poder así asignar a los individuos o casos a cada uno de ellos. En esta finalidad clasificatoria va implícita, pues, una finalidad descriptiva (identificar las variables que más y mejor discriminan y caracterizan a los grupos) (Mora y Rodríguez, 2001: 159). Examina_evaluacion 19 NOV.indd 76 12/19/14 1:25 PM LA META-EVALUACIÓN DOCENTE EN LA BUAP 77 De tal forma que si observamos, obtenemos 12 cuadrantes (véase número de casos), con tres conglomerados del G8 y cuatro del G5. Cada uno de ellos muestra un nivel de desempeño más o menos satisfactorio, de acuerdo a aquellas variables a las que el estudiante les confiere mayor peso o importancia para su propio desempeño. Se observan dos cuadrantes que podríamos definir como “las principales áreas de preocupación para la institución”, que son aquellos casos que tienen un nivel bajo en la dimensión formativa y los dos niveles más bajos para la dimensión formal (véase 1 222 y 8 895; cuadrantes 11 y 12). Los criterios de procesamiento De acuerdo al criterio de los analistas, se debería poner particular atención en el área de preocupación ya mencionada, así como en el cuadrante en el que de manera aparente los docentes se muestran mejor evaluados en ambas dimensiones, esto con la finalidad de identificar los comportamientos específicos que tienen las variables discriminantes en ambos grupos que muestran entre sí, distintos niveles de desempeño. Para abordar el análisis del grupo con mayor índice de preocupación, se seleccionaron los casos referidos en el último cuadrante, esto es 8 895 registros de la base de datos total (véase Tabla 5). Al realizarse el análisis, se observaron al inicio 1 890 casos de docentes distintos en este cuadrante; esto es: si consideramos que en la universidad se cuenta con alrededor de 3 823 profesores de nivel superior, es decir, cercano a una tercera parte de la planta laboral docente de la institución, han tenido, al menos alguna vez durante los cuatro años analizados, un curso con valoraciones muy bajas en las variables de mayor relevancia para el estudiante. Esto remitió a realizar un análisis dirigido a identificar tendencias por profesor, y en la mayoría de los casos, se observó que se trataba de grupos o materias aisladas, sin que se apreciara una tendencia a una baja calificación otorgada al maestro por parte de los estudiantes, en los cuatro años revisados. Al observar estos 1 890 casos, se determinó calcular el número total de cursos impartidos por estos docentes y se seleccionaron sólo a aquellos maestros que obtuvieron 50% o más de sus cursos valorados en el cuadrante “crítico”, es decir, con resultados muy deficientes en ambas dimensiones. La consideración de un porcentaje de cursos que excediera la mitad de los mismos, nos indica que existe una marcada tendencia a impartir los cursos con niveles bajos de desempeño. Examina_evaluacion 19 NOV.indd 77 12/19/14 1:25 PM Conglomerado G8 De contingencia 1.50% 100.00% 1.50% % dentro de Conglomerado G8 % dentro de Conglomerado G5 % del total 1.00% % del total 941 66.30% % dentro de Conglomerado G5 Número de Casos 4.90% % dentro de Conglomerado G8 0.20% % del total 624 15.00% % dentro de Conglomerado G5 Número de Casos 0.70% % dentro de Conglomerado G8 0.10% % del total 141 5.70% Número de Casos 0.20% % dentro de Conglomerado G5 Fuente: Elaboración propia con datos institucionales. Total 3 2 0.00% 0.20% 25.30% 12 816 2.60% 12.30% 12.40% 1 579 9.80% 46.60% 27.70% 5 978 8.60% 41.00% 19.80% 5 259 0.00% 0.00% 0.00% 0 2 19.40% 11 844 2.00% 10.30% 9.60% 1 222 6.90% 35.80% 19.60% 4 238 10.40% 53.90% 24.00% 6 383 0.00% 0.00% 0.50% 1 3 32.80% 10 054 14.60% 44.40% 70.10% 8 895 13.60% 41.40% 38.50% 8 310 4.50% 13.80% 10.40% 2 768 0.10% 0.40% 39.70% 81 4 100.00% 61 090 20.80% 20.80% 100.00% 12 689 35.40% 35.40% 100.00% 21 598 43.50% 43.50% 100.00% 26 599 0.30% 95 100.00% 96.27 Total 25.30% 21.00% 19.40% 32.80% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 25.30% 15 435 0.60% 2.40% 2.90% 369 4.80% 19.00% 13.60% 2 931 19.90% 78.60% 45.60% 12 135 0.00% 13.00% 54 0 0.00% 122 1 Conglomerado G5 59.80% Conglomerado de valores atípicos % dentro de Conglomerado G8 Número de Casos Número de Casos Conglomerado % dentro de Conglomerado G8 de valores % dentro de Conglomerado G5 atípicos % del total TABLA 5. 1 Examina_evaluacion 19 NOV.indd 78 12/19/14 1:25 PM 79 LA META-EVALUACIÓN DOCENTE EN LA BUAP Para lograr lo anterior se identificó al docente por su número de trabajador (id) y su distribución de eventos en cada uno de las subdivisiones de los conglomerados G5 y G8. Después se filtró la base obtenida para identificar los id que tuvieran las siguientes características: • Primera: que más del 50% de los eventos presentados se encontraran en el conglomerado 3 del G8. • Segunda: que más del 50% de los eventos presentados se encontraran en el conglomerado 4 del G5. Lo anterior se interpreta como que el docente tuvo, en más del 50% de sus cursos, deficiencias tanto en el aspecto didáctico como en el formal. Al realizar el filtrado, éste arrojó un total de 536 maestros distribuidos de la siguiente manera: TABLA 6. Docencia deficiente Unidad Académica Número de maestros Administración 37 Agrohidráulica 1 Arquitectura 65 Artes 18 Biología 4 Campus Acatzingo 2 Campus Chignahuapan 1 Campus Libres 6 Campus Tehuacán 10 Campus Tetela 1 Computación 5 Comunicación 9 Contaduría 26 Ciencias Químicas 19 Cultura Física 3 Derecho y Ciencias Sociales 45 Economía 10 Electrónica 26 Continúa... Examina_evaluacion 19 NOV.indd 79 12/19/14 1:25 PM 80 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Unidad Académica Número de maestros Enfermería 5 Estomatología 5 Filosofía 37 Físico-Matemáticas 11 Ing. Agrohidráulica 2 Ing. Química 17 Ingeniería 20 Lenguas Modernas (Lemo) 7 Medicina 60 Psicología 18 Tronco Común Universitario (tcu) 38 tcu Computación 25 Veterinaria 3 Total 536 Fuente: Elaboración propia con datos institucionales. GRÁFICA 1. Maestros críticos por Unidad Académica 70 60 50 40 30 20 0 Administración Agrohidráulica Arquitectura Artes Biología Campus Acatzingo Campus Chignahuapan Campus Libres Campus Tehuacán Campus Tetela Computación Comunicación Contaduría Ciencias Químicas Cultura Física Derecho y C. Sociales Economía Electrónica Enfermería Estomatología Filosofía Físico-Matemáticas Ing. Agrohidráulica Ing. Química Ingeniería Lenguas Modernas Medicina Psicología Tronco Común tcu Computación Veterinaria 10 Fuente: Elaboración propia con datos institucionales. Examina_evaluacion 19 NOV.indd 80 12/19/14 1:25 PM 81 LA META-EVALUACIÓN DOCENTE EN LA BUAP Con el conocimiento del id de este grupo de docentes se filtró la base global, obteniendo el total de las asignaturas impartidas en el periodo 2005-2008 –esto es 9 921 registros– y después en esta base el conglomerado 3 de la Dimensión Formativa y el conglomerado 4 de la Dimensión Formal, se obtuvo un total de 3 619 registros correspondientes a las asignaturas que presentaron deficiencias en los resultados de la evaluación, esto es, en un nivel crítico de desempeño. Análisis de base de datos por promedio de los docentes Al análisis global de 61 090 registros se le realizó una nueva prueba considerando el promedio del total de los cursos impartidos en el periodo 2005-2008, pero calculado o agrupado por docente, arrojando una base de 3 774 registros que representan el número de maestros que impartieron por lo menos una asignatura en al menos una ocasión durante este lapso. A esta nueva base se le realizó el análisis de conglomerados, dando como resultado la siguiente distribución: TABLA 7. Dimensión Formativa: cinco conglomerados Conglomerados Frecuencia Porcentaje Porcentaje acumulado 1 247 6.5 6.5 2 757 20.1 26.6 3 922 24.4 51 4 961 25.5 76.5 5 870 23.1 99.5 Conglomerado de valores atípicos 17 0.5 100 3 774 100 Total Fuente: Elaboración propia con datos institucionales. TABLA 8. Dimensión Formal- Institucional: tres conglomerados Conglomerados Frecuencia Porcentaje Porcentaje acumulado 1 611 16.2 16.2 2 1 335 35.4 51.6 Continúa... Examina_evaluacion 19 NOV.indd 81 12/19/14 1:25 PM 82 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Conglomerados Frecuencia Porcentaje 3 Conglomerado de valores atípicos Total Porcentaje acumulado 1 773 47 98.5 55 1.5 100 3 774 100 Fuente: Elaboración propia con datos institucionales. Los centroides de dichos conglomerados son los siguientes: 1. Para la dimensión formativa. 2. Para la dimensión formal-institucional. Centroides, Media y Desviación Típica (D.T.) TABLA 9. Conglomerado Dominio y preparación (preg. 1) Orden en la preposición (preg. 2) Claridad en la Incentiva a exposición resolver dudas (preg. 3) (preg. 5) Media D.T. Media D.T. Media D.T. Media D.T. 1 93.49 3.16 90.31 3.39 91.37 3.01 94.67 2.65 2 88.19 3.03 84.63 3.08 85.37 3.03 90.86 2.59 3 83.39 2.94 79.89 3.22 80.15 2.7 86.56 2.67 4 78.05 3.13 74.95 3.43 74.77 3.02 81.41 2.97 5 70.25 5.35 67.62 5.1 66.18 5.55 72.22 5.48 Conglomerado de valores atípicos 50.15 8.56 48.64 8.07 44.93 5.13 45.26 9.48 Conglomerado Enriquece con Fomento a Trato hacia el Incentiva para comentarios y la reflexión y alumno estudiar ejemplos participación (preg. 6) (preg. 8) (preg. 7) (preg. 9) Media D.T. Media D.T. Media D.T. Media D.T. 1 91.12 3.85 94.23 2.75 86.54 3.65 92.63 3.36 2 87.04 3.74 89.2 3.14 80.75 2.97 87.87 3.48 3 83.12 4.15 83.86 3.5 76.05 2.69 83.1 3.42 4 80.13 4.02 78.42 3.93 71.56 2.78 77.83 3.91 5 73.99 5.43 68.76 6.08 64.65 4.64 68.8 5.85 Conglomerado de valores atípicos 53.96 10.61 43.96 7.06 45.33 6.36 45.29 5.77 Fuente: Elaboración propia con datos institucionales. Examina_evaluacion 19 NOV.indd 82 12/19/14 1:25 PM 83 LA META-EVALUACIÓN DOCENTE EN LA BUAP Asistencia y permanencia a clases (preg. 13) Entrega oportuna del programa (preg. 12) Infomar problemas detectados en la evaluación (preg. 11) Dar a conocer criterios de evaluación (preg. 10) Cumplimiento del horario (preg. 4) Centroides, Medias y Desviación Típica (D.T.) Conglomerado TABLA 10. Media D.T. Media D.T. Media D.T. Media D.T. Media D.T. 1 88.57 4.21 95.78 2 82.75 4.5 3 70.75 7.36 83.12 Conglomerado de valores atípicos 91.26 2.61 83.75 8.58 94.8 4.01 95.26 2.58 6.31 92.08 3.24 8.22 51.07 16.98 81.38 10.44 82.17 6.59 4.29 63.36 16.18 89.82 58.78 19.11 56.15 13.72 28 17.9 49.01 16.04 68.79 17.43 Fuente: Elaboración propia con datos institucionales. Al realizar el análisis discriminante de cada una de las dimensiones, encontramos los siguientes resultados: Dimensión Formativa: TABLA 11. Matriz de Estructura Función Variable 1 2 3 4 Claridad en la exposición (preg. 3) .720* 0.091 -0.074 -0.297 Inventiva a resolver dudas (preg. 5) .701* -0.598 0.023 -0.141 Inventiva para estudiar (preg. 8) .671* 0.36 -0.022 -0.237 Dominio y preparación (preg. 1) .670* 0.053 -0.553 0.327 Enriquecer con comentarios y ejemplos (preg. 7) .652* -0.242 0.224 0.156 Orden de la exposición (preg. 2) .631* 0.212 -0.308 -0.161 Fomento a la reflexión y participación (preg. 9) .614* -0.259 0.021 -0.075 Trato hacia el alumno (preg. 6) 0.411 0.078 .736* 0.277 * Significativos. Fuente: Elaboración propia con datos institucionales. Examina_evaluacion 19 NOV.indd 83 12/19/14 1:25 PM 84 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Como se puede observar, las variables discriminantes con mayor peso son claridad en la exposición e incentivar a resolver dudas, éstas coinciden con las variables halladas en el análisis realizado anteriormente. A continuación, comprobaremos cómo la variable logro de objetivos no fue considerada en ninguno de los dos procesos de análisis por ser una variable resultado de la presencia de todas las demás variables. Dimensión Formativa (agregando la pregunta 14 de Logro de Objetivos): TABLA 12. Matriz de Estructura Variable Función 1 2 3 4 Claridad en la exposición (preg. 3) .703* 0.16 -0.001 0.19 Inventiva a resolver dudas (preg. 5) .676* -0.425 0.144 0.014 Dominio y preparación (preg. 1) .652* 0.103 0.165 -0.458 Inventiva para estudiar (preg. 8) .639* 0.322 -0.403 -0.026 Orden de la exposición (preg. 2) .619* 0.255 0.595 -0.161 Enriquecer con comentarios y ejemplos (preg. 7) .618* -0.171 -0.439 -0.192 Fomento a la reflexión y participación (preg. 9) .570* -0.129 -0.217 -0.096 Logro de objetivos (preg. 14) .531* -0.401 0.075 0.166 Trato hacia el alumno (preg. 6) 0.38 0.116 0.083 -.663* * Significativos. Fuente: Elaboración propia con datos institucionales. Al agregar la variable logro de objetivos en el análisis se afecta el orden de las primeras variables, pero se demuestra que esta variable no discrimina preponderantemente en la conformación de los conglomerados. Dimensión Formal: TABLA 13. Matriz de Estructura Variable Función 1 2 Cumplimiento del horario (preg. 4) .760* -0.257 Asistencia y permanencia a clases (preg. 13) .692* -0.557 Examina_evaluacion 19 NOV.indd 84 12/19/14 1:25 PM 85 LA META-EVALUACIÓN DOCENTE EN LA BUAP Función Variable 1 2 .505* -0.08 Entrega oportuna del programa (preg. 12) .405* -0.026 Informar problemas detectados en la 1a. evaluación 0.452 .772* Dar a conocer criterios de evaluación (preg. 10) * Significativos. Fuente: Elaboración propia con datos institucionales. En la tabla anterior, se identifica que la variable que más discrimina es informar problemas detectados en la primera evaluación. Variable que en procedimientos anteriores presenta resultados críticos. Al realizar el cruce de los conglomerados de ambas dimensiones nuevamente se identifican 12 conglomerados que se muestran a continuación. TABLA 14. Cruce de dimensión formativa y formal-institucional Conglomerado de valores atípicos Conglomerado Dimensión Formativo Conglomerado G5 1 Frecuencia Conglomerado de valores atípicos 1 2 3 9 Total 17 8 0 0 % dentro de Conglomerado Dimensión Formativa 47.10% 0.00% 0.00% 52.90% 100.00% % dentro de Conglomerado Dimensión Formal 14.50% 0.00% 0.00% 0.50% 0.50% % del total 0.20% 0.00% 0.00% 0.20% 0.50% Frecuencia 0 152 84 11 247 % dentro de Conglomerado Dimensión Formativa 0.00% 61.50% 34.00% 4.50% 100.00% % dentro de Conglomerado Dimensión Formal 0.00% 24.90% 6.30% 0.60% 6.50% % del total 0.00% 4.00% 2.20% 0.30% 6.50% Continúa... Examina_evaluacion 19 NOV.indd 85 12/19/14 1:25 PM 86 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Conglomerado G5 Frecuencia Conglomerado Dimensión Formativo 2 3 4 5 Conglomerado de valores atípicos 1 2 3 135 Total 757 3 259 360 % dentro de Conglomerado Dimensión Formativa 0.40% 34.20% 47.60% 17.80% 100.00% % dentro de Conglomerado Dimensión Formal 5.50% 42.40% 27.00% 7.60% 20.10% % del total 0.10% 6.90% 9.50% 3.60% 20.10% Frecuencia 7 141 461 313 922 % dentro de Conglomerado Dimensión Formativa 0.80% 15.30% 50.00% 33.90% 100.00% % dentro de Conglomerado Dimensión Formal 12.70% 23.10% 34.50% 17.70% 24.40% % del total 0.20% 3.70% 12.20% 8.30% 24.40% Frecuencia 9 50 311 591 961 % dentro de Conglomerado Dimensión Formativa 0.90% 5.20% 32.40% 61.50% 100.00% % dentro de Conglomerado Dimensión Formal 16.40% 8.20% 23.30% 33.30% % del total 0.20% 1.30% 8.20% 15.70% 25.50% Frecuencia 28 9 119 % dentro de Conglomerado Dimensión Formativa 3.20% 1.00% 13.70% 82.10% 100.00% % dentro de Conglomerado Dimensión Formal 66.30% 1.50% 8.90% 40.30% % del total 1.00% 0.20% 3.20% 18.90% 23.10% Examina_evaluacion 19 NOV.indd 86 714 25.50% 870 23.10% 12/19/14 1:25 PM 87 LA META-EVALUACIÓN DOCENTE EN LA BUAP Conglomerado G5 Frecuencia Total Conglomerado de valores atípicos 1 2 3 1 773 Total 3 774 55 611 1 335 % dentro de Conglomerado G8 1.50% 16.20% 35.40% % dentro de Conglomerado G5 100.00% 100.00% 100.00% 100.00% 100.00% 1.50% 16.20% 35.40% 47.00% 100.00% % del total 47.00% 100.00% Fuente: Elaboración propia con datos institucionales. A continuación se muestra la tabla resumen por unidad académica de los 714 maestros con mayores deficiencias. TABLA 15. Docencia deficiente Unidad Académica Número de maestros Administración 58 Agrohidráulica 8 Arquitectura 65 Artes 7 Biología 9 Campus Acatzingo 6 Campus Chiautla 3 Campus Chignahuapan 4 Campus Libres 7 Campus Tehuacán 27 Campus Tetela 2 Campus Zacapoaxtla 2 Computación 51 Comunicación 17 Contaduría 28 Ciencias Químicas 29 Cultura Física 3 Derecho y Ciencias Sociales 46 Continúa... Examina_evaluacion 19 NOV.indd 87 12/19/14 1:25 PM 88 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Unidad Académica Número de maestros Economía 18 Electrónica 53 Enfermería 7 Estomatología 9 Filosofía 11 Físico-Matemáticas 14 Ing. Química 53 Ingeniería 54 Lenguas Modernas (Lemo) 16 Medicina 52 Psicología 6 Tronco Común Universitario (tcu) 33 tcu Computación 9 Veterinaria 7 Total 714 Fuente: Elaboración propia con datos institucionales. GRÁFICA 2. Maestros críticos por Unidad Académica 70 60 50 40 30 20 0 Administración Agrohidráulica Arquitectura Artes Biología Campus Acatzingo Campus Chignahuapan Campus Libres Campus Tehuacán Campus Tetela Computación Comunicación Contaduría Ciencias Químicas Cultura Física Derecho y C. Sociales Economía Electrónica Enfermería Estomatología Filosofía Físico-Matemáticas Ing. Agrohidráulica Ing. Química Ingeniería Lenguas Modernas Medicina Psicología Tronco Común tcu Computación Veterinaria 10 Fuente: Elaboración propia con datos institucionales. Examina_evaluacion 19 NOV.indd 88 12/19/14 1:25 PM 89 LA META-EVALUACIÓN DOCENTE EN LA BUAP Análisis por materias impartidas Con base en las reflexiones de los análisis realizados surgió la inquietud de realizar una caracterización más fina de las deficiencias encontradas, por lo que se analizó la base inicial de 61 090 registros tomando como criterio la asignatura. Apoyándose en la clave de materia, en el análisis por conglomerados y en las dimensiones ya descritas (Formativa y Formal), se realizó un proceso semejante al descrito inicialmente, identificando las asignaturas que tuvieran las siguientes características: • Primero: que más del 40% de los eventos presentados se encontraran en el conglomerado 3 del G8 (véase tabla 14). • Segundo: que más del 40% de los eventos presentados se encontraran en el conglomerado 4 del G5 (véase tabla 14). Como resultado de este filtro se obtuvieron las materias que pudiera a ser evaluadas con deficiencia. A continuación se presenta la tabla resumen por Unidad Académica. TABLA 16. Materias con deficiencias Unidad Académica Administración Agrohidráulica Arquitectura Artes Tipo de materia Frecuencia Básico 9 Formativo 11 Nuevo ingreso 6 Optativas 9 Básico 4 Formativo 8 Optativas 1 Básico 6 Formativo 18 Optativas 6 Básico 3 Formativo 6 Nuevo ingreso 6 Total 35 13 30 15 Continúa... Examina_evaluacion 19 NOV.indd 89 12/19/14 1:25 PM 90 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Unidad Académica Biología Campus Acatzingo Tipo de materia Básico 1 Formativo 1 Básico 5 Formativo 4 Nuevo ingreso 1 Básico 5 Campus Chignahuapan Formativo Campus Libres Campus Tehuacán Campus Zacapoaxtla Computación Comunicación Contaduría Ciencias Químicas Examina_evaluacion 19 NOV.indd 90 Frecuencia 13 Optativas 2 Básico 13 Formativo 2 Nuevo ingreso 2 Básico 19 Formativo 36 Nuevo ingreso 8 Optativas 6 Sin categoría 1 Básico 3 Formativo 2 Nuevo ingreso 1 Optativas 1 Básico 6 Formativo 13 Nuevo ingreso 2 Optativas 6 Sin categoría 17 Básico 1 Formativo 7 Optativas 1 Sin categoría 1 Formativo 2 Sin categoría 1 Básico 9 Formativo 14 Nuevo ingreso 1 Sin categoría 5 Total 2 10 20 17 70 7 44 10 3 29 12/19/14 1:25 PM 91 LA META-EVALUACIÓN DOCENTE EN LA BUAP Unidad Académica Tipo de materia Frecuencia Total Básico 5 Formativo 20 Nuevo ingreso 2 Sin categoría 1 Básico 3 Formativo 2 Nuevo ingreso 1 Optativas 1 Sin categoría 2 Básico 9 Formativo 16 Nuevo ingreso 1 Optativas 5 Sin categoría 7 Enfermería Formativo 3 3 Estomatología Nuevo ingreso 2 2 Básico 2 Formativo 2 Nuevo ingreso 2 Sin categoría 3 Básico 1 Formativo 2 Nuevo ingreso 2 Optativas 2 Sin categoría 1 Básico 10 Formativo 14 Nuevo ingreso 2 Sin categoría 1 Básico 9 Formativo 46 Nuevo ingreso 1 Optativas 3 Sin categoría 9 Derecho y Ciencias Sociales Economía Electrónica Filosofía Físico-Matemáticas Ingeniería Química Ingeniería 28 9 38 9 8 27 68 Continúa... Examina_evaluacion 19 NOV.indd 91 12/19/14 1:25 PM 92 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Unidad Académica Lenguas Modernas Medicina Psicología Veterinaria Total de materias Tipo de materia Frecuencia Básico 1 Formativo 6 Optativas 1 Básico 4 Formativo 13 Básico 1 Nuevo ingreso 1 Optativas 1 Básico 129 Formativo 261 Nuevo ingreso 41 Optativas 45 Sin categoría 49 Total 8 17 1 2 525 Fuente: Elaboración propia con datos institucionales. GRÁFICA 3. Distribución de materias críticas 80 70 60 50 40 30 20 0 Administración Agrohidráulica Arquitectura Artes Biología Campus Acatzingo Campus Chignahuapan Campus Libres Campus Tehuacán Campus Zacapoaxtla Computación Comunicación Contaduría Ciencias Químicas Derecho y Cs. Sociales Economía Electrónica Enfermería Estomatología Filosofía Físico-Matemáticas Ingeniería Química Ingeniería Lenguas Modernas Medicina Psicología Veterinaria 10 Fuente: Elaboración propia con datos institucionales. Examina_evaluacion 19 NOV.indd 92 12/19/14 1:25 PM 93 LA META-EVALUACIÓN DOCENTE EN LA BUAP Análisis por características de profesores Para analizar las características de los profesores se utilizaron sólo los datos de 2006, ya que para ese año se tenía la información completa acerca del Esdeped, categorías laborales, perfiles Promep y sni. En cuanto a la evaluación, el cuestionario del pieva contempla varias preguntas acerca de la conducta del profesor (que llevan al isp), pero cuenta con una pregunta expresa donde se solicita al estudiante calificar a su docente en una escala de 5 (reprobado) a 10. Usando anova, los resultados de esta calificación se reflejan en la siguiente gráfica: Media de calificación del docente (5-10) GRÁFICA 4. Calificación promedio por categorías laborales 8.75 8.70 8.65 8.60 8.55 8.50 8.45 ra atu n g i as 6 0- ig as 2 tu na 8 -1 -1 7 ra i as r atu n g 3 a1 C C AB AB o o d d cia MT cia TC o o As As tu Ti AB al r C or ct ario e ir D cion n fu Categoría Fuente: Elaboración propia con datos institucionales. La calificación general otorgada por los estudiantes revela aspectos interesantes. Destaca que los profesores titulares reciben una buena calificación –aunque menor que los ex directores y funcionarios– pero que su valoración no es de forma significativa mayor que la que recibieron los profesores de asignatura. Los profesores asociados, en cambio, tienen una calificación representativamente menor que los docentes de asignatura o los titulares. Cabe destacar que el grupo Examina_evaluacion 19 NOV.indd 93 12/19/14 1:25 PM 94 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA de Asociados (Medio Tiempo-MT y Tiempo Completo-TC) está a cargo de más de la mitad de los cursos (De Vries et al., 2008). Podemos preguntarnos si los perfiles Promep tienen un mejor desempeño al juicio de los estudiantes. El análisis revela que sí existe una diferencia significativa entre ambos grupos, aunque es pequeña: de 8.5 en promedio para los profesores sin perfil a poco más de 8.62 para los que sí lo tienen. Se pueden observar las diferencias por categorías, diferenciando entre perfiles Promep y aquellos que carecen de esta distinción: TABLA 17. Calificación promedio, según categorías y pertinencia al Promep Categoría Con Promep Sin Promep Asignatura 0-6 9.29 8.54 Asignatura 7-12 9.39 8.54 Asignatura 13-18 n/d 8.55 Asignatura mt n/d 8.47 Asignatura tc 8.52 8.46 Titular 8.67 8.54 Director/funcionario 9.12 8.61 Fuente: Elaboración propia con datos institucionales. Se pueden incluir aquí a los profesores de asignatura que cuentan con el perfil Promep, ya que son sólo tres. En el caso de profesores de asignatura de 13 a 18 horas y de asociados de medio tiempo no existen perfiles reconocidos. Una vez que excluimos estos casos, destaca que los profesores asociados de tiempo completo tienen menores calificaciones. Incluso en el caso de aquellos que tienen el perfil Promep, su calificación no es mayor que la de profesores de asignatura que no cuentan con este perfil En el caso del sni, se encontraron los siguientes resultados: los que no pertenecen al sistema obtienen una calificación promedio de 8.51; los candidatos 8.70; los del nivel I 8.79; los del nivel II 8.99, y los de nivel III 7.89. El nivel III de nueva cuenta, no es representativo, ya que sólo encontramos cuatro casos de cursos impartidos por ellos. Examina_evaluacion 19 NOV.indd 94 12/19/14 1:25 PM 95 LA META-EVALUACIÓN DOCENTE EN LA BUAP Media de calificación del docente (5-10) GRÁFICA 5. Calificación del docente según nivel Esdeped 8.90 8.80 8.70 8.60 8.50 8.40 8.30 8.20 o N an ip c i rt pa I X II II II II V V lI lI lI lI lV el el VI lV e e e e ive v v l e i i v v v v i i i i N iv N N N ive N N N N N Esdeped Fuente: Elaboración propia con datos institucionales. El panorama para el Esdeped 8 se presenta como errante: los profesores ubicados en los niveles de I a V no tienen un mejor desempeño que los que no participan en el programa. En efecto, los niveles I y II tienen menores calificaciones. Sólo los niveles del VI al IX demuestran mejores calificaciones que aquellos que no participan en el programa. Sin embargo, los profesores del nivel VI al IX, mejor calificados, imparten pocos cursos: sólo 6.6% del total. La mayoría (70%) de los cursos de la buap es impartida por docentes que no participan en el programa de estímulos a la docencia. 8 Los niveles de Esdeped hacen referencia al número de salarios que un profesor recibe atendiendo a los resultados de su evaluación académica. Examina_evaluacion 19 NOV.indd 95 12/19/14 1:25 PM 96 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Otros factores A la luz de los datos anteriores, cabe preguntarse si las diferencias entre profesores se deben a los distintos niveles de preparación, contratación y remuneración, o si hay otros factores que puedan explicar los contrastes. Como indica la literatura, el juicio del estudiante puede depender del tamaño del grupo. Si consideramos este factor, podemos observar diferencias importantes en la calificación general (escala del 5 al 10) y en el isp, según el tamaño del grupo: Media de calificación del docente (5-10) GRÁFICA 6. Calificación general por el número de estudiantes en el grupo 8.90 8.80 8.70 8.60 8.50 8.40 1a9 10 a 19 20 a 29 tamaño grupo 30 a 39 40 o más Fuente: Elaboración propia con datos institucionales. Conclusiones Durante el proceso de elaboración de todos estos análisis se ha ido creando una base de datos, con los 61 090 registros (materias impartidas), en la que se pueden identificar los casos de los maestros que recibieron una baja calificación, y docentes con evaluaciones críticas, así como cada una de las asignaturas a su cargo en el periodo de 2005 a 2008. También es posible identificar todos y cada uno de los casos en que una materia con tendencia a ser mal evaluada ha sido impartida por distintos maestros. En esta misma base de datos se encuentran incluidos los grupos a los que pertenece cada registro en los conglomerados realizados en el análisis de los 61 090 registros, así como en los conglomerados del análisis de la base de estilos de docencia (base por maestro 3 774 registros). Examina_evaluacion 19 NOV.indd 96 12/19/14 1:25 PM LA META-EVALUACIÓN DOCENTE EN LA BUAP 97 También se ha comparado el desempeño docente con datos sobre categorías laborales, niveles de Esdeped, perfiles Promep y el sni. El análisis expuesto a lo largo de este capítulo revela lo siguiente: 1. Hay profesores con una baja evaluación en el ámbito del G8, es decir, en la dimensión formativa. La mayor parte de ellos sí asiste a clases, así que se podría pensar que pueden aprovechar los cursos de pifau (hoy Escuela de Formación Docente) para mejorar su desempeño. 2. Hay profesores con baja evaluación en el ámbito de G5. Por lo tanto, debe mantenerse cierto nivel de vigilancia en los aspectos que la dimensión comprende: asistencia, asegurarse que cumplan con su horario, entrega de programa de asignatura, claridad en cuanto a las formas de evaluar el curso y que, además, proporcione de manera oportuna los resultados de las evaluaciones. 3. Existen profesores con bajas calificaciones en los dos ámbitos, tanto en el formativo como en el formal institucional. También se puede encontrar existe un grupo importante con buenas calificaciones en ambos. 4. La diversidad de estilos de trabajo y evaluaciones por parte del estudiante, plantea interrogantes importantes de análisis (y desafíos grandes para las políticas institucionales). Existen profesores de asignatura con poca antigüedad que obtienen excelentes evaluaciones. Pero también encontramos profesores de mucha antigüedad, de tiempo completo, definitivos, con perfil Promep, estímulos, etc., que reciben, a veces en todos sus cursos, una calificación baja. Sin embargo, en medio de estos extremos, hay muchas variantes. Así, habrá que pensar en las relaciones entre los múltiples procesos de evaluación del académico. A modo de ejemplo, el Esdeped no parece premiar la buena docencia. 5. No obstante, existen varios factores adicionales que influyen sobre el desempeño docente. El tipo de asignatura es uno: encontramos materias que tienden a resultados deficientes cuando son evaluadas, no importa el profesor. Habrá que revisar de forma seria estos datos dentro del actual proceso de reforma curricular del mum. Un segundo factor es el tamaño del grupo: entre más grande el grupo, más baja la calificación del maestro. Este factor debe ser tomado en cuenta para la programación académica. 6. El cuestionario puede mejorarse con preguntas acerca de las materias, sobre actividades que desarrollan los estudiantes (dentro y fuera del Examina_evaluacion 19 NOV.indd 97 12/19/14 1:25 PM 98 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA aula), y con datos de los estudiantes. Hay sugerencias en este sentido en la parte posterior del cuestionario, sólo hay que organizar mejor las preguntas. Algunas recomendaciones para el rediseño del nuevo instrumento Aunque el nuevo instrumento de evaluación debe derivar de la propuesta académico-educativa formulada en el Modelo Universitario Minerva, existen consideraciones importantes para su rediseño partiendo del análisis estadístico realizado. Algunas de esas recomendaciones son las siguientes: 1. Las escalas de respuesta deben homologarse entre todas las preguntas formuladas, ya que al incluir respuestas dicotómicas (de sí o no), y combinarlas con aquéllas de cinco opciones (de escala, de apreciación o de frecuencia), pueden arrojar diferencias estadísticas que impliquen el uso de metodologías más complejas para su normalización o interpretación. 2. El valor asignado a cada una de las opciones de respuesta, debe considerar intervalos homogéneos entre sí. 3. Deben considerarse aquellas variables que se han identificado como de mayor relevancia para el propio desempeño del estudiante, en este caso: claridad, resolución de dudas y las referentes a la evaluación de los aprendizajes. 4. Resultaría muy conveniente proporcionar a los docentes los resultados de sus evaluaciones por dimensión evaluada, y no sólo un promedio final que al leerse de manera aislada, puede ocultar la relevancia de factores o variables necesarios de interpretarse de manera independiente. 5. De acuerdo a los análisis realizados sería factible proporcionar al docente no sólo una calificación obtenida (expresada en un isp) sino un resultado expresado en términos de niveles de desempeño, que pudieran considerar un nivel específico para cada una de las dimensiones incluidas y los conglomerados que deriven de los análisis. Esto con la finalidad de promover una interpretación más específica de la o las variables en las que debieran mejorar para que su desempeño sea más eficiente. 6. El instrumento empleado hoy en día está enfocado al proceso de la docencia. Sin embargo, una de las limitantes observadas al momento de Examina_evaluacion 19 NOV.indd 98 12/19/14 1:25 PM LA META-EVALUACIÓN DOCENTE EN LA BUAP 99 analizar e interpretar los resultados, refiere justamente a la necesidad de contar con información relativa a los logros de aprendizaje obtenidos por los estudiantes (y que son resultado del trabajo del docente y pueden arrojar información valiosa respecto a la efectividad de las estrategias empleadas para su docencia). Sugerimos que en un futuro se incluyan en este instrumento o en otros, reactivos centrados en el aprendizaje, dirigidos a recabar información acerca de los logros de aprendizaje o en aquellos procesos mediante los cuales los estudiantes logran sus propios aprendizajes significativos. Referencias Cronbach, Lee y Meehl, Paul (1995). “Construct validity in psychological tests”. En Psychological Bulletin, núm. 52, Washington: American Psycological Association, pp. 281-302. De Vries, Wietse; González, Guillermo; León, Patricia.y Hernández, Ignacio (2008). “Políticas públicas y desempeño académico, o cómo el tamaño sí importa”. En CPU-e Revista de Investigación Educativa, núm. 7, Xalapa, Veracruz: Universidad Veracruzana, pp. 1-32. García, José Manuel (1996). Una aproximación empírica al estudio de la competencia docente, Madrid: Universidad Complutense, 178 pp. Grimm, Laurence y Yarnold, Paul (1995). Reading and understanding multivariate statistics. Washington: American Psychological Association, 373 pp. Hair, Joseph, Anderson, Ralph, Tatham, Ronald y Black, William (1999). Análisis Multivariante, 5ª edición. México: Prentice Hall, 768 pp. Martínez, Rosario (2000). El análisis multivariante en la investigación científica, Cuadernos de Estadística, Madrid: La Muralla, 144 pp. Mora, R. y Rodríguez M. (2001). Estadística informática. Casos y ejemplos con el SPSS. Alicante, España: Universidad de Alicante, 310 pp. Pérez, E. y Medrano, L. (2010) “Análisis factorial exploratorio. Bases conceptuales y metodológicas”. En Revista Argentina de Ciencias del Comportamiento (en línea), núm. 1, vol. 2, Córdoba, Argentina: Universidad Nacional de Córdoba, pp.58-66, www.psyche.unc.edu.ar/.../comportamiento/ [consulta: 10 de marzo de 2013]. Terrádez, M. (2002a). “Análisis de Componentes Principales”, Material para el Proyecto e-Math Financiado por la Secretaría de Estado de Educación y Universidades Examina_evaluacion 19 NOV.indd 99 12/19/14 1:25 PM 100 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA (mecd) (en línea), España: Universidad Oberta de Cataluña, disponible en: http:// www.uoc.edu/in3/emath/docs/Componentes_principales.pdf [consulta: 5 de marzo de 2013]. Terrádez, M. (2002b). “Análisis de Conglomerados”. Material para el Proyecto e-Math Financiado por la Secretaría de Estado de Educación y Universidades (mecd) (en línea). Cataluña: Universidad Oberta de Cataluña, disponible en: http://www.uoc. edu/in3/emath/docs/Cluster.pdf [consulta: 5 de marzo de 2013]. Examina_evaluacion 19 NOV.indd 100 12/19/14 1:25 PM Segunda parte alcances de la evaluación de la docencia universitaria bajo el referente del Modelo Universitario Minerva (mum) Examina_evaluacion 19 NOV.indd 101 12/19/14 1:25 PM Examina_evaluacion 19 NOV.indd 102 12/19/14 1:25 PM CAPÍTULO 3 Expectativas acerca de la docencia y su evaluación en el Modelo Universitario Minerva Ernesto Cortés López, Margarita Campos Méndez, María Patricia Moreno Rosano, Etelvina Archundia Sierra, Ana Elena Posada Sánchez y Wietse de Vries Meijer Introducción Los dos primeros capítulos de este libro nos han permitido conocer las reflexiones a partir de los procesos que hasta entonces la universidad había llevado a cabo sobre su docencia y la evaluación de la misma. Las consultas iniciadas para la construcción del Modelo Educativo Minerva (mum), en 2004 y 2005 implican considerar otras expectativas acerca de la enseñanza y el aprendizaje, así como del sujeto que aprende y toma en cuenta las formas en que el pensamiento ha revolucionado los contextos en los que nos vemos inmersos día a día, en especial, las maneras de comunicarnos y de generar nuevos conocimientos, así como las problemáticas a las que nos vemos enfrentados incluso a nivel internacional. El mum es posterior a otros modelos universitarios 1 que con antelación se habían generado en otras instituciones, pero vale la pena mencionar atendiendo 1 Nos referimos a los modelos de la Universidad Veracruzana (1999) y del Instituto Politécnico Nacional (2003). Examina_evaluacion 19 NOV.indd 103 12/19/14 1:25 PM 104 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA a lo planteado por Tünnermann (2008: 7), que los modelos, a diferencia de otras reformas en décadas pasadas (centradas más en los gobiernos universitarios y en su estructura académica), se han ocupado en el mejoramiento, la pertinencia y calidad de la enseñanza que se imparte y a la renovación profunda de los métodos pedagógicos, así como asegurar que el acento se traslade al sujeto que aprende. El mum fue el resultado de acciones colectivas, de una comunidad comprometida con la tarea de elaborar un documento que permitiera integrar reflexiones y dejar claro cuál es el sentido del quehacer de la Benemérita Universidad Autónoma de Puebla; de dónde partimos y hacia dónde pretendemos ir. La construcción pasó por varias etapas, mismas en las que participaron representantes de todas las escuelas, facultades e institutos, así como personal de la administración central. Los ejes temáticos desarrollados fueron: 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. Fundamentos del Modelo. Perfil general de egreso. Modelo Educativo. Estructura Curricular. Reforma del Tronco Común Universitario. Modelos para el desarrollo del estudiante (Tutores y Programa Universitario de Desarrollo Estudiantil). Modelo de Integración Social (vinculación). Actualización del Modelo de Regionalización. Investigación y su integración al Modelo Educativo. Gestión y administración del Modelo Académico. Dicho Modelo recibió incluso recomendaciones de académicos externos. La primera versión fue publicada en 2007. Durante los siguientes dos años, el Modelo fue difundido entre la comunidad universitaria para su comprensión, lo que no implica que fuera asumido de manera inmediata y tampoco que todos sus presupuestos fueran implementados. El grupo participante en el Programa Institucional de Evaluación Académica (pieva) tuvo claro que el mum sería un referente obligado (buap, 2009c: 4) para sustentar futuras formas de evaluar la docencia, pero no el único. En ese sentido, el propósito de este capítulo es analizar las expectativas sobre la docencia y su evaluación pensadas desde el Modelo. Para ello, fue necesario compren- Examina_evaluacion 19 NOV.indd 104 12/19/14 1:25 PM EXPECTATIVAS SOBRE LA DOCENCIA Y SU EVALUACIÓN EN EL MODELO EDUCATIVO 105 der otros aspectos que nos permitieran lograr el objetivo y de los que también daremos cuenta. Siguiendo tal idea, el capítulo se integra de varios apartados: el primero busca responder a las siguientes preguntas: ¿Qué es un modelo? ¿Qué es un modelo educativo? ¿Qué es un modelo académico? El segundo apartado identifica los referentes externos e internos que se postularon para sustentar los cambios que promovería la institución; el tercero aborda la misión y la visión de la Universidad; el cuarto analiza la fundamentación pedagógica del Modelo y su relación con la docencia, así como la evaluación de la misma. Modelo Educativo y Académico Tantas veces fue repetida la palabra modelo en nuestras reuniones de trabajo y en nuestras lecturas, que nos preguntamos cuál era su alcance en términos semánticos, tanto a nivel convencional como metodológico. La Real Academia Española lo define como un arquetipo 2 o punto de referencia para imitarlo o reproducirlo. En otro orden de ideas, también se explica como un esquema teórico de una realidad compleja que se elabora para facilitar su comprensión y el estudio de su comportamiento (rae, 2001). Ambas acepciones nos permitieron comprender, primero, el esfuerzo por explicar una parte de la realidad y hacerlo a través de formas sintéticas del pensamiento. Para Yurén (2008) un modelo puede considerarse como la representación de un proyecto futuro, un ideal o muestras de producción. En el mum, se afirma que un modelo puede expresarse física y/o gráficamente con el fin de analizar su naturaleza, desarrollar o comprobar hipótesis o supuestos, y permitir una mejor comprensión del fenómeno real al cual representa (buapa, 2009: 81). Para Tünnermann (2008: 15), un Modelo Educativo es la concreción, en términos pedagógicos, de los paradigmas educativos que una institución profesa y que sirve de referencia para todas las funciones que cumple (docencia, investigación y extensión, vinculación y servicios) a fin de hacer realidad su Proyecto Educativo. El Modelo Educativo debe estar sustentado en historia, valores profesados, la misión, visión, filosofía, objetivos y finalidades de la institución. 2 Arquetipo: Representación que se considera modelo de cualquier manifestación de la realidad (rae, 2001). Examina_evaluacion 19 NOV.indd 105 12/19/14 1:25 PM 106 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Para poner en marcha un modelo educativo no es suficiente el consenso de los universitarios, resulta fundamental hacer cambios en el modelo académico que traduce en organización académica y diseño curricular, el compromiso de la institución con su modelo educativo. La institución debe, entonces, prepararse para revisar su estructura académica, a fin de flexibilizarla, superando el esquema de separación rígida entre las facultades, escuelas y departamentos, y propiciando la apertura de una comunicación permanente entre estos elementos estructurales y comprometiéndolos a facilitar la movilidad intrainstitucional, la flexibilidad de los planes y programas de estudio, la adopción del sistema de créditos, el rediseño curricular de las carreras y especialidades, la estructuración de los currículos por ciclos o módulos, de suerte que exista la posibilidad de que los estudiantes tomen cursos en los distintos programas que ofrecen las diferentes facultades, escuelas y departamentos, el uso óptimo de los recursos disponibles, considerándolos como recursos puestos a disposición de toda la universidad y no sólo a la orden de un determinado departamento o facultad, etc. (Tünnermann, 2008: 25). Atendiendo a la recomendación anterior, se aconseja a las universidades preguntarse si es posible poner en práctica el modelo adoptado con las estructuras académicas tradicionales que hasta ahora predominan en casi todas las instituciones latinoamericanas y que resultan una herencia del modelo napoleónico de organización académica a la cual, por cierto, se le han agregado algunos elementos novedosos tomados de la experiencia norteamericana como son la departamentalización y el sistema de créditos (Tünnermann, 2008: 18). La falta de congruencia entre el Modelo Educativo y el Académico puede restar méritos a cualquier esfuerzo universitario aun cuando los documentos hayan planteado las ideas más innovadoras. La congruencia entre ambos Modelos representa el desafío de transformación y en ese camino se encuentra la Benemérita Universidad Autónoma de Puebla. Los referentes externos e internos que sustentaron las propuestas del mum La construcción del mum tuvo como referentes tres fenómenos que son particularmente distinguibles en el escenario mundial: la globalización, el Examina_evaluacion 19 NOV.indd 106 12/19/14 1:25 PM EXPECTATIVAS SOBRE LA DOCENCIA Y SU EVALUACIÓN EN EL MODELO EDUCATIVO 107 neoliberalismo y la sociedad del conocimiento, mismos que fueron analizados de manera crítica. Se reconoce también que han incidido en la organización de la educación superior mexicana por medio de diversas políticas instrumentadas por el Estado mexicano que han respondido a los lineamientos de organismos educativos y económicos mundiales (buap, 2007a: 19). Sin embargo, pese a que el mum reconoce que dichas políticas parten de la convicción que la educación superior es crucial para el desarrollo de los Estados, ello no ha impedido que los organismos internacionales pongan en duda la eficiencia y la eficacia de las universidades. Lo que sorprende es que, pese a tal afirmación, el Modelo no integra alguna idea que coloque en su justa dimensión tal argumento, dado que el Estado también resulta responsable de su benevolencia, ya que durante algunas décadas sólo asignó presupuestos a partir del número de matrícula universitaria dejando otros aspectos de lado. De las políticas de orden internacional para reformar la educación superior que fueron incorporados al mum, se tomaron en cuenta las expresadas por la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (unesco), el Banco Mundial (bm), la Organización para la Cooperación y el Desarrollo Económico, así como el Consejo Internacional para el Desarrollo de la Educación (cide). Cabe destacar algunas (buap, 2007): a) En el caso de la unesco, se señala el interés que el organismo muestra en la pertinencia, la calidad y la internacionalización de la educación superior. Se entiende por la primera, que la formación de los futuros profesionistas sea congruente con las demandas de la sociedad. La calidad exige que se cubran los objetivos académico-educativos, teniendo como su mejor herramienta a la evaluación. La internacionalización enfatiza el carácter internacional del aprendizaje y de la investigación. b) El Banco Mundial sugiere una serie de recomendaciones, que van desde impulsar la diversificación de las instituciones, incluyendo al sector particular, pasando por considerar la ampliación de las formas de financiamiento y que la asignación de este último para el sector público se vincule con el desempeño de las instituciones, además de redefinir el papel del gobierno en el sector terciario de la educación. c) La ocde comparte con la unesco criterios de calidad y pertinencia; con el Banco Mundial en cuanto a los recursos financieros destinados a la educación superior. Examina_evaluacion 19 NOV.indd 107 12/19/14 1:25 PM 108 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA d) En 1992 y 1995 tanto el cide como la ocde, realizaron respectivos diagnósticos acerca de la educación superior mexicana, mismos que pusieron en relieve algunas de las problemáticas, por ejemplo: la mayor parte de los egresados no se titula; los programas educativos no se actualizan en relación con las necesidades actuales del país, y la cuarta parte de la planta de profesores de tiempo completo sólo tiene estudios de licenciatura. En las universidades públicas existe una fuerte dependencia, casi total de los subsidios estatales y federales. Las propuestas para mejorar lo anterior fueron variadas, por ejemplo: implantar un sistema planificador de la educación superior desde el nivel institucional hasta el nacional; regular la matrícula en áreas saturadas; efectuar análisis del fenómeno de deserción para establecer programas de retención y estudios sobre las características socioeconómicas de los alumnos. También se recomienda que, en relación con el subsidio, el gobierno considere reformas importantes emprendidas por la institución. Se propone un sistema de colegiaturas que considere el nivel socioeconómico del estudiante, y la creación de un sistema de becas y préstamos a estudiantes distinguidos de escasos recursos (buap, 2007a: 20). Si bien los organismos internacionales señalaron las problemáticas de la educación terciaria mexicana, se ha pasado por alto que un buen número de académicos nacionales ya habían realizado observaciones al respecto desde años anteriores y que había coincidencia en los resultados de sus valoraciones, e incluso de propuestas. Sin demeritar las políticas y recomendaciones de organismos como la unesco, el bm, la ocde y el cide, Porter (2003: 51) sugiere que los gobiernos y las políticas educativas deben dejar de “fantasear” con metas y objetivos inverosímiles que delinean dichos organismos, es posible que sólo sirvan para transitar a un futuro que dependerá de la creatividad tanto individual como colectiva que se tenga y del conocimiento local como regional crítico. En el ámbito interno, el Modelo hace hincapié en la autoevaluación que se realizó entre 1991 y 1993, así como la evaluación externa que llevó a cabo el cide coordinado por Phillips Coombs. Las recomendaciones de dicha evaluación dieron origen al Proyecto Fénix, de ahí se derivaron dos medidas prácticas: 1) el establecimiento, a partir de 1993, del examen de admisión aplicado por el College Board, y 2) el Reglamento de Ingreso, Permanencia, y Egreso de los estudiantes en 1995. La puesta en marcha del Proyecto Fénix implicó la evaluación Examina_evaluacion 19 NOV.indd 108 12/19/14 1:25 PM EXPECTATIVAS SOBRE LA DOCENCIA Y SU EVALUACIÓN EN EL MODELO EDUCATIVO 109 de 22 planes de estudio, lo que permitió diseñar un currículo que contemplara programas académicos flexibles, más versátiles y actualizados. El cambio anterior dio paso al sistema de créditos, así como al Tronco Común Universitario (buapa, 2007: 23-24). Los procesos anteriores quedan ubicados justamente en los primeros indicios de reformas que el gobierno en turno demandaba a las universidades públicas mexicanas del que la buap no estuvo exenta. El financiamiento ya estaba vinculado a los resultados obtenidos de la puesta en marcha de las políticas federales. A 10 años del inicio del Proyecto Fénix, se planteó la necesidad de revisarlo debido a que las actividades universitarias ya no satisfacían las expectativas de la sociedad. Lo que llevó a un ejercicio de identificación de debilidades, amenazas, fortalezas y oportunidades. Dentro de las debilidades se menciona: • La revisión curricular permitió concluir que los programas de estudio no han logrado una formación integral de los estudiantes, así como tampoco se advierte flexibilidad alguna. • En cuanto a las amenazas, se cita la falta de un Modelo Educativo que oriente el quehacer cotidiano de los universitarios y la pérdida de viabilidad de sus funciones sustantivas, así como de pertinencia con sus planes de estudio. • Las fortalezas señalan la recuperación del reconocimiento social, así como el énfasis puesto en los intercambios y vínculos internacionales. La planta docente se caracteriza por estar capacitada y ser competente para enfrentarse a procesos de reforma curricular en los que se considera como elemental la evaluación y la acreditación. • Las oportunidades se vinculan a demandas del contexto, por ejemplo, la integración con la sociedad abriendo y compartiendo sus espacios para que, en un ambiente de libertad y respeto, se promuevan el aprendizaje, la creatividad, la reflexión, el debate de los grandes temas ecorregionales, nacionales e internacionales y el desarrollo individual y colectivo, así como la generación conjunta de modalidades alternas y currículos flexibles para ampliar y diversificar la oferta educativa en la región para priorizar los sectores que han sido castigados (buap, 2007a: 25-26). Aunque el ejercicio anterior es parte de una racionalidad de planeación estratégica que no debe descartarse, pues se piensa que uno debe detenerse, mirar hacia Examina_evaluacion 19 NOV.indd 109 12/19/14 1:25 PM 110 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA atrás, pensar y después actuar, Porter (2003: 100), discute que en la realidad no funciona así. Sustentado en argumentos de Weick y de autores como Piaget, Argyris y Schön, dice que uno no aprende hasta que actúa. Las organizaciones deben descubrir sus fortalezas y debilidades en la acción, ser capaces de pensar en la acción, de reflexionar y actuar como un proceso intermitente, dialéctico continuo. Misión y visión Los procesos de evaluación, sobre todo desde la perspectiva gubernamental han coadyuvado a que los modelos educativos de la mayoría de las Instituciones de Educación Superior incluyan o excluyan categorías según sus propósitos institucionales. La misión y la visión son categorías comunes que atienden a los parámetros señalados por la planificación estratégica. Para Ackoff (1987: 30) existen cinco características que deben ser referentes para la construcción de la misión: 1. Establecer objetivos que permitan derivar indicadores de progreso con la posibilidad de ser medidos; si el desempeño en relación con esos objetivos no puede ser evaluado no se tendrá credibilidad. Si la misión no lleva a algún cambio en la organización entonces no tendrá valor. 2. La misión de una organización, en este caso de las universidades, debe dejar claro lo que la hace diferente de las otras, es decir, su singularidad. 3. Debe definir en las actividades en las que quiere estar, no sólo en las que está. 4. La universidad debe ser relevante para todos los grupos que son parte de ella y es preciso dejar claro cómo va a satisfacer sus aspiraciones. 5. Generar entusiasmo y servir de inspiración a los que participan en sus propósitos. Para Tünnermann (2008: 27), la visión como utopía posible, también inspira y transforma las energías institucionales en acción pues señala un norte y un camino para llegar a él. La misión de la buap según los documentos del mum señala: Somos una institución educativa comprometida con el desarrollo de la sociedad. La educación es considerada como un bien público y promovemos Examina_evaluacion 19 NOV.indd 110 12/19/14 1:25 PM EXPECTATIVAS SOBRE LA DOCENCIA Y SU EVALUACIÓN EN EL MODELO EDUCATIVO 111 que ésta sea generalizada y para toda la vida. Estamos comprometidos con la formación de una comunidad universitaria integrada a la sociedad por lo que generamos espacios de aprendizaje que posibilitan la justicia, la equidad, un mayor equilibrio social y un desarrollo humano endógeno y sustentable. Promovemos el diálogo y el desarrollo de un pensamiento crítico y creativo en la comunidad universitaria. Formamos ciudadanos socialmente responsables, comprometidos con la democracia, capaces de gestionar su propio aprendizaje de manera crítica y libre. Mantenemos actualizados y competitivos los programas educativos creando, recreando, aplicando y difundiendo el conocimiento de las ciencias, las humanidades, la tecnología y los saberes cotidianos para beneficio de nuestro país y sus regiones (buap, 2009a: 60). Tres ideas resultan susceptibles de ser subrayadas: 1. El compromiso con el desarrollo de la sociedad. 2. La formación de ciudadanos responsables y capaces de gestionar su propio aprendizaje de manera crítica y libre. 3. Mantener actualizados los programas educativos con el propósito de difundir toda una gama de conocimientos que permita el beneficio del país. El punto no es discutir si las características señaladas por Ackoff se ven integradas a la misión de la buap sino, en nuestro caso, pensar que la docencia, aunque no señalada de manera explícita en la misión, desempeña un papel primordial en la formación de los estudiantes, que una vez egresados podrán adicionar al desarrollo del país de múltiples formas. Siguiendo tal idea, también el desempeño de los profesores logrará mantener o no de manera competitiva los programas educativos. Cabe agregar lo que Porter (2003) advierte sobre la misión: […] más que ser una cualidad comprendida a través del discurso leído en un cartel, se “siente” se percibe en la atmósfera de la institución, en su medio ambiente. Esta atmósfera no puede ser creada por una declaración, sino que se construye con una serie de factores, algunos muy concretos como el diseño físico, la presencia de luz y color, la dinámica de los estudiantes en sus diversas conductas en los patios y los pasillos, otros más inefables como las voces que surgen en el aula, la actividad en el biblioteca, la textura, el ethos de la institución. Es algo que cuando existe, todos lo pueden percibir, visualizar, sin temor a olvidar. Es el producto del pensar y el hacer colectivo (Porter, 2003: 84). Examina_evaluacion 19 NOV.indd 111 12/19/14 1:25 PM 112 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Además, no se descarta la idea que en la interpretación de la misión se manifiesten tensiones, conflictos y debates, sobre todo, a partir de su vinculación con el mundo real. Eso sería bastante sano en una organización donde la diversidad de pensamiento es inevitable. La visión declarada en el mum señala: Queremos vernos como una universidad pública comprometida e integrada con la sociedad a la que se debe, con una oferta académica diversificada en una institución educativa incluyente, promoviendo en los estudiantes la responsabilidad de su aprendizaje. Generamos conocimientos que impactan en el desarrollo social y contribuyen al avance de la cultura, la ciencia y la tecnología, formando un sistema y una comunidad con otros niveles educativos; y hacia la sociedad, egresamos ciudadanos integrales, con el espíritu de liderazgo y de responsabilidad. La calidad de nuestros programas –tomando como referentes los indicadores de los organismos externos–, se guiará por los indicadores fijados por la institución, acordes a su modelo educativo. Su pertinencia estará determinada por el contexto social ecorregional y nuestros currículos serán innovadores, actualizados y en permanente cambio. La administración y la gestión se caracterizarán por su horizontalidad, sus procedimientos y procesos transversales. Nos vemos como una comunidad educativa y académica donde el diálogo es el elemento central de la comunicación y la participación (buap, 2009a: 60-61). La participación de los profesores que se realice por medio de la docencia, tendrá un nivel de significativa importancia para que la imagen idealizada que se tiene en una visión, pueda concretarse. Porter (2003: 85) enfatiza que toda organización que se respete debe construir su visión, distinguiendo una visión realista de otra demagógica. La fundamentación pedagógica del mum: docencia y evaluación Desplazamiento del acento: de la enseñanza al aprendizaje La historia del pensamiento pedagógico permite hacer evidente que detrás de cada práctica educativa existe un paradigma que sustenta las actividades que Examina_evaluacion 19 NOV.indd 112 12/19/14 1:25 PM EXPECTATIVAS SOBRE LA DOCENCIA Y SU EVALUACIÓN EN EL MODELO EDUCATIVO 113 lleva a cabo el profesor. Sabemos que las preocupaciones se centraron en algún momento en qué enseñar, es decir, los contenidos resultaron el hilo conductor del quehacer educativo; más tarde el cómo enseñar daría pauta a considerar variados métodos, técnicas y estrategias. En ambos casos, qué y cómo enseñar llevaron al profesor a ser el centro del proceso enseñanza-aprendizaje. Tünnermann (2008: 35) considera que si la universidad se propone simplemente la transmisión del conocimiento, como ha sido lo usual, entonces, el profesor es el centro del proceso, siendo la fuente principal y casi única del conocimiento que se transmite a los estudiantes. Este modelo educativo devendrá en un sujeto pasivo, simple receptor de los conocimientos que el profesor proporciona, corriendo el riesgo de repetir de manera mecánica esos conocimientos. Los cuestionamientos acerca de cómo se aprende lo que se enseña, el porqué algunos aprenden con más rapidez que otros, o cuáles estrategias favorecen el aprendizaje, aparecieron desde otras disciplinas como la Psicología, la Biología, y la Medicina. Lo anterior originó que el acento sobre la enseñanza se desplazara al aprendizaje. Entonces el educando pasó a ser el centro del proceso. Cabe advertir, como ya lo hicieron algunos estudiosos, que ello no significa que la figura del profesor desaparezca, sino que se transforma en un guía, en un mediador capaz de lograr que sus estudiantes aprendan. Siguiendo tal idea, en el mum se desarrollaron aspectos que se esperan del profesor (buap, 2009a: 100) para lograr que ocurra un desplazamiento de la enseñanza al aprendizaje del estudiante como eje central: a) Se conceptualiza al académico o académica como un profesional que va actuar como promotor, organizador, y mediador potencial del desarrollo integral del estudiante. Se preparará para ser capaz de diseñar y propiciar escenarios de aprendizaje, y respetando (las características individuales del estudiantado) promoverá la construcción de conocimiento, integración social y capacidad de adaptación. b) Se pretende que el académico sea un agente cultural que promueva el conocimiento en un contexto de prácticas y medios socioculturalmente determinados, así como también se quiere que sea un mediador esencial entre el saber sociocultural y los procesos de apropiación de conocimientos en las actividades escolares, gracias a sus aportes estructurados, y Examina_evaluacion 19 NOV.indd 113 12/19/14 1:25 PM 114 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA siguiendo cierta dirección intencionalmente determinada. Se busca, además, que lo anterior se dé mediante actividades conjuntas e interactivas. c) Bajo este esquema, el académico trabajará en establecer una relación respetuosa con los y las estudiantes, por lo que su eje rector quedará definido por las necesidades y potencialidades de las personas del curso. Para ello pondrá a disposición de ellos y ellas sus experiencias y conocimientos. Es deseable que también se muestre autocrítico en los grupos colegiados a los que pertenece. Dentro del mum (buap, 2009a: 100-101) se concibe al estudiante (él o ella) como: a) El agente principal en el proceso de construcción del conocimiento como un ser humano con deseos de evolucionar, en posibilidad de identificar las estrategias que mejor le funcionen para lograr su propio y personal aprendizaje, atento a un docente que se desempeña como mediador dispuesto a cumplir su papel. b) El o la estudiante afianzará como constructor y reconstructor activo de los distintos contenidos escolares a los que se enfrenta, ya que se le considera un ser social, producto y protagonista de las múltiples interacciones en las que se involucra a lo largo de su vida extraescolar. Asimismo, debe ser entendido como una persona que consigue aculturarse y socializarse, y al mismo tiempo que se individualiza y desarrolla su propia personalidad, llega a ser capaz de hacer uso activo de los conocimientos de manera consciente y voluntaria, es decir, autónoma o autorregulada (Hernández, 2006a: 232). c) Las necesidades de los estudiantes son el punto de partida para desarrollar experiencias pedagógicas, en éstas existe una búsqueda constante por lograr un equilibrio entre los conocimientos personal y curricular; esto facilitará que el estudiante asuma la responsabilidad de su propio aprendizaje. Este tipo de aprendizaje promueve la originalidad, creatividad e imaginación: esto lo hace significativo. Los anteriores rasgos serían las primeras “prescripciones” cuyo cumplimiento tendría que recorrer un largo camino, sobre todo si atendemos que sólo alrededor de cuatrocientos profesores participaron en la elaboración del Modelo, de ahí que un buen número sería informado, y capacitado en este nuevo propósito. Examina_evaluacion 19 NOV.indd 114 12/19/14 1:25 PM EXPECTATIVAS SOBRE LA DOCENCIA Y SU EVALUACIÓN EN EL MODELO EDUCATIVO 115 Sin embargo, como señala Porter (2003: 59), la organización sigue funcionando mientras se formulan las directrices de cómo ejecutar lo escrito en el modelo. Es decir, la universidad sigue su marcha, no espera. Así, el Modelo Universitario Minerva dio paso en el año 2008 a la creación del Programa Institucional de Formación de Académicos Universitarios (pifau) que propuso en su documento de trabajo, de manera más específica, el perfil que se pretendía del profesor como parte de su formación académica, teniendo no sólo como referente el Modelo, sino un primer diagnóstico de la planta de profesores derivado de la evaluación docente (buap, 2008: 22-25), considerando los puntos que a continuación se detallan: a) Investigación • Realiza investigación tanto disciplinar como educativa generando conocimiento. • Incorpora actividades de investigación en su práctica docente con el fin de mejorar las experiencias de aprendizaje. b) Diseño de ambientes de aprendizaje • Desde las asignaturas que imparte, su práctica se orienta a la formación integral y centrada en el aprender a aprender. • Diseña y promueve ambientes de aprendizaje dentro y fuera del aula, en contextos académicos y sociales para que sus estudiantes desarrollen el perfil de egreso contemplado en la institución y en el programa educativo. • Propicia interacciones estimulantes y saludables en las aulas y fuera de ellas. • Participa en el diseño y evaluación de programa o programas educativos en los que participa, así como en las asignaturas que imparte, sea en la modalidad escolarizada y/o en modalidades alternativas (semiescolarizada, abierta o a distancia). c) Mediación del conocimiento • • • • Es mediador en el proceso de enseñanza-aprendizaje. Entre el estudiante y el contenido (para construir conocimiento). Entre estudiantes. Entre el saber cultural y los procesos de apropiación. Examina_evaluacion 19 NOV.indd 115 12/19/14 1:25 PM 116 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA • Es facilitador de estructuras mentales en el alumno, y facilita el andamiaje para el desarrollo de habilidades cognitivas, actitudinales, valorales y sociales que permiten a los estudiantes alcanzar los objetivos planteados para la formación integral. • Toma en cuenta los esquemas que el alumno ya posee y realiza una labor de mediación. d) Búsqueda de la integración social de la universidad • Promueve y orienta actividades de aprendizaje hacia la integración social, propiciando la gestión de proyectos encaminados a solucionar problemas sociales. • Promueve en el estudiante la capacidad de adaptación y transformación de la sociedad. • Es capaz de diseñar y evaluar programas y planes de estudio correspondientes con el ideario universitario, de estrechar los vínculos entre institución y sociedad, haciendo de la primera el medio de expresión para la búsqueda de soluciones a las necesidades de la segunda. • Colabora en redes de profesionales trans e interdisciplinarias e interinstitucionales del país. e) Uso de las Tecnologías de la Información y la Comunicación en beneficio del proceso educativo • Incorpora críticamente las Tecnologías de la Información y la Comunicación en su práctica docente cotidiana para enriquecer las oportunidades de aprendizaje de sus estudiantes. • Es capaz de implementar cursos, actividades, foros, proyectos y evaluaciones en línea. • Usa las tic como medio para facilitar el acceso a la información, la colaboración entre docentes, algunos investigadores, etcétera. f) Conocimientos • Conoce el contexto institucional y sociocultural en el que realiza sus actividades, así como de las sociedades de conocimiento. • Conoce profundamente la asignatura o asignaturas que imparte (disciplina del conocimiento referida). Examina_evaluacion 19 NOV.indd 116 12/19/14 1:25 PM EXPECTATIVAS SOBRE LA DOCENCIA Y SU EVALUACIÓN EN EL MODELO EDUCATIVO 117 • Conoce los principios de la corriente constructivista y, en general, posee una formación didáctica-pedagógica acorde al mum. • Conoce la estructura curricular propuesta por el mum y sabe insertar su práctica docente al interior de ésta. g) Habilidades • En su calidad de tutor académico está capacitado para realizar un acompañamiento en la trayectoria escolar del estudiante. • Puede evaluar en forma adecuada el alcance y objetivos de la asignatura o asignaturas que imparte, de acuerdo a las orientaciones psicopedagógicas del mum, así como los logros de sus estudiantes, según las pretensiones de los planes de estudio. • Promueve el aprendizaje cooperativo y recurre a él como estrategia de aprendizaje. • Coordina y promueve desde su práctica docente actividades del currículo correlacionado y transversal. • Maneja una segunda lengua aprovechando este conocimiento sobre todo, en su área disciplinaria. • Aplica diversos métodos y técnicas de enseñanza apropiadas a su disciplina, programa, asignatura, características de los estudiantes, etc., como son: aprendizaje por proyectos, habilidades de pensamiento complejo, aprendizaje basado en problemas. • Es reflexivo en su práctica docente. • Reconoce y atiende las necesidades y potencialidades de sus estudiantes. h) Actitudes • Establece una relación respetuosa con otros profesores, estudiantes, administrativos y diversos actores sociales, con base en el reconocimiento de la dignidad humana de cada persona con quien se relaciona, propiciando la equidad de género y la equidad social. • Está abierto a la multiculturalidad y a la interculturalidad, participando activamente en la interacción entre pares de su propia disciplina y otras, propiciando el trabajo en redes académicas de investigación y colaboración. • Favorece la educación para la vida sustentable. • Participa y promueve el trabajo en forma colegiada. Examina_evaluacion 19 NOV.indd 117 12/19/14 1:25 PM 118 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA • Asume su responsabilidad de orientar, coordinar y facilitar el proceso aprendizaje-enseñanza tanto en el aula como en los escenarios de desarrollo. • Está comprometido con su formación y actualización permanente, tanto en el ámbito disciplinar como docente. El mum y el pifau sirvieron de referentes institucionales para el diseño del instrumento que se planearía, sin embargo, no perdimos de vista que la transformación de la docencia no se suscitaría sólo a partir de prescripciones, sino de un trabajo arduo de formación del profesorado que tomará años. Tuvimos claro que, a partir de 2008, el pifau comenzó actividades de formación ofreciendo cursos de inducción impartidos con personal de la propia universidad y en relación con los ejes del Modelo, sin embargo, sólo una tercera parte de la planta docente participó; el resto fue “enterándose” y preguntando “lo necesario” para participar en las modificaciones o creaciones de planes de estudio, sobre todo cuando tuvieron que hacer uso del Manual para la creación, actualización, modificación y desarrollo de los Planes de Estudio en el Marco del mum; si bien el documento contenía los pasos a seguir de manera detallada, el metalenguaje propio de lo educativo y el llenado de formularios hicieron ver la necesidad de explicaciones mucho más detalladas que, en ocasiones, no lograban su propósito en relación con lo esperado por el modelo. Por otro lado, no todo lo prescrito podría ser incorporado a un proceso de evaluación docente, aun cuando el pifau incorporó ocho dimensiones, algunas de ellas contenían categorías no relevantes para evaluar docencia, por ejemplo, la capacidad del profesor para trabajar en redes con pares académicos en el ámbito de investigación; no podíamos, sin embargo, pasar por alto la mediación como la idea fundamental de la teoría psicopedagógica que sustenta el Modelo y de ahí saber cuál era la comprensión que se hacía. Si bien no todos los atributos podrían considerarse, sí se buscaría que los más significativos estuvieran presentes en el nuevo instrumento. Subrayar el énfasis en el aprendizaje debido a que parece concentrarse en las nuevas tendencias de los modelos educativos, puede llevarnos a equivocaciones. Advertidos por Torres: […] enseñanza-aprendizaje constituye una unidad dialéctica. La enseñanza se realiza en el aprendizaje (aunque no a la inversa). En el concepto de en- Examina_evaluacion 19 NOV.indd 118 12/19/14 1:25 PM EXPECTATIVAS SOBRE LA DOCENCIA Y SU EVALUACIÓN EN EL MODELO EDUCATIVO 119 señanza está incluido el de aprendizaje. Enseñanza sin aprendizaje, no es enseñanza, es un absurdo. Y éste es un absurdo básico en el que se sigue moviendo el sistema educativo: la enseñanza en algún momento pasó a cobrar autonomía, autonomía respecto del aprendizaje: creó sus propios métodos, sus criterios de evaluación y autoevaluación (se da por enseñado en la medida que se complementa el programa o se cumple con las horas de clase, no en la medida que se aprende efectivamente). Por lo tanto, de lo que se trataría es de restituir la unidad perdida entre enseñanza y aprendizaje, volver a juntar lo que nunca debió separarse, de restituir en fin el sentido de la enseñanza. Concentrar la atención en el aprendizaje puede llevarnos al mismo error que concentrar la atención en la enseñanza (Torres, 1994: 53-54). El constructivismo sociocultural y humanismo crítico, sustento teórico del mum Todo Modelo Educativo expresa de manera implícita o explícita cuál es el enfoque psicopedagógico que lo sustenta, en el caso de la buap, se señala que dos serán las vertientes: por un lado el enfoque constructivista que busca comprender los procesos humanos de creación, producción y reproducción del conocimiento; esto facilita desarrollar aplicaciones didácticas y conceptuales curriculares activas y transformadoras. Asimismo se señala que el enfoque constructivista será de orientación sociocultural, orientación que coloca en primer plano la influencia sociocultural sobre el aprendizaje para generar un desarrollo intelectual. En esta concepción, la dirección del aprendizaje se orienta desde el exterior hacia el interior del sujeto; es decir, de lo interpersonal a lo intrapersonal, y es precisamente a lo largo de este proceso de internalización que el ser humano reconstruye o construye significados en lugar de imitarlos. Esto permite reconsiderar que el salón de clases no es el único sitio donde se promueve el conocimiento, sino que se requiere de la utilidad de herramientas simbólicas de origen social para promover el desarrollo del individuo, mediante la incorporación de significados y experiencias sociales o de su entorno, creando una relación entre conocimientos previos y conocimientos nuevos (buap, 2009a: 95-96). Por otro lado, el humanismo crítico se plantea como una corriente filosófica que realiza una comprensión holística del ser humano, entiende que éste es un ser dinámico, en evolución constante y está interrelacionado con otros seres Examina_evaluacion 19 NOV.indd 119 12/19/14 1:25 PM 120 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA humanos. El paradigma humanista en el contexto educativo es más que un conjunto de estrategias, es una actitud de interés y respeto por los estudiantes, que pone de relieve tres dimensiones presentes en todo proceso educativo: la dimensión afectiva, la relacional y la de valores. La orientación humanista en la que descansa este modelo promueve la autorrealización del ser humano en todas sus dimensiones, capacidades y potencialidades, atendiendo a las condiciones socioeconómicas, políticas y ecológicas que la hacen posible (buap, 2009a: 96-97). El mum hace explícito su enfoque psicopedagógico, pero fue necesario para el grupo que conforma el Programa Institucional de Evaluación Académica realizar una serie de precisiones, sobre todo en relación con el enfoque constructivista de orientación sociocultural. De manera muy breve, el Modelo hace referencia a que el enfoque integra otras visiones constructivistas como las de Piaget, Ausubel, Bruner, etc., sin embargo, no precisa en qué sentido hace distancia de éstos el enfoque sociocultural. Hernández (2014b) analiza que no se puede hablar de un constructivismo a secas, es decir, en general, ya que –señala– existen varios tipos de constructivismo: Parte de la idea que aunque con diferencia de matices, los diferentes constructivismos asumen que cuando el sujeto cognoscente, en este caso el estudiante, realiza un acto de conocimiento o de aprendizaje no copia la realidad circundante, sino que construye una serie de interpretaciones sobre la misma. El hecho que señale como una construcción personal que ocurre de forma interna dentro del sujeto que conoce, no implica necesariamente que sea realizada en solitario porque puede hacer en conjunción con otros, aunque la construcción, al final tenga un matiz propio como consecuencia de sus características personales (Hernández, 2014b: 14-15). Bajo el paradigma constructivista el estudiante deja de ser un actor pasivo o receptáculo que sólo debe recibir información, y son fuertes críticos de aquellas ideas que hacen referencia al conocer como reflejo de la realidad; afirman que el sujeto es capaz de aportar en el proceso de conocer. Las diferencias entre constructivistas se generan justamente porque algunos subrayan más la dimensión intraindividual o del sujeto y otros lo hacen en la dimensión interindividual o del contexto sociocultural. De ahí que se puedan señalar cuatro tipos de constructivismos: Examina_evaluacion 19 NOV.indd 120 12/19/14 1:25 PM EXPECTATIVAS SOBRE LA DOCENCIA Y SU EVALUACIÓN EN EL MODELO EDUCATIVO 121 1. Psicogenético (piagetiano). 2. Cognitivo. 3. Estratégico. 4. Sociocultural. En relación con el primero, se menciona que tiene un acercamiento con lo educativo desde hace más de 60 años; coloca su interés de estudio en las relaciones entre el proceso de desarrollo y el aprendizaje escolar, y analiza de manera detallada las construcciones y la dinámica interna que el alumno elabora en relación con los contenidos escolares. En este sentido, se afirma que el constructivismo piagetiano ha apostado por el alumno, menos por el docente y la enseñanza, además de no poner el acento en el aprendizaje por medio de la dimensión interindividual (Hernández, 2014b: 18). El constructivismo cognitivo atraviesa por varias fases que finalmente concreta con dos vertientes: la primera centró su interés en el estudio de las estrategias cognitivas y la meta-cognición. Esto implica que las personas pudieran compensar sus limitaciones cognitivas con el uso reflexivo e inteligente de estrategias para construir representaciones más funcionales y útiles, asimismo, utilizar estrategias cognitivas de manera heurística, nunca como hábitos prefijados ante cualquier contexto o situación. El constructivismo estratégico postula que los alumnos tomen conciencia de qué han aprendido y cómo lo han aprendido, con ello pueden aproximarse a una construcción personal de aprender. La segunda vertiente del constructivismo cognitivo conocido como ausubeliano no mostró interés por estudiar el aprendizaje o la cognición por sí mismos, sino en contextos escolares genuinos donde el alumno pudiera mostrarse como constructor de significados (Hernández, 2014b:20). El constructivismo sociocultural es el resultado de las interpretaciones que desde Occidente se han elaborado alrededor de la propuesta de Vigotsky, 3 quien más que hablar de una construcción interna del sujeto reconoce que ocurre una construcción auténtica con los otros. La unidad de análisis ya no está en el su- 3 Su producción escrita no llega a constituir un sistema explicativo completo articulado, del que se pueda extraer una “teoría vigotskiana” bien estructurada. Asimismo, está producción no se constituye por relatos detallados de sus trabajos de investigación científica, en los cuales el lector pudiese tener informaciones precisas sobre sus procedimientos y resultados de sus investigaciones (Kohl de Oliveira, 2000: 46). Examina_evaluacion 19 NOV.indd 121 12/19/14 1:25 PM 122 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA jeto como entidad (ni las interacciones entre sujeto y objeto, como en el caso de Piaget) sino que ahora se sitúa en el plano de los intercambios e interacciones compartidas que toman lugar entre el sujeto y los otros (Hernández, 2014b: 22). Coll citado por Hernández menciona que los “otros” son agentes con intencionalidad que intervienen activamente en los procesos de construcción del conocimiento como auténticos coprotagónicos ejerciendo un papel mediador o de influencia. Este proceso de mediación se sirve del discurso educativo. Cabe señalar, porque no parece claro en el modelo, que el constructivismo sociocultural apuntala el aprendizaje como elemento que posibilita el desarrollo del ser humano, mismo que no ocurre de forma espontánea. Las diferencias que se pueden señalar son las siguientes: los constructivismos piagetiano, estratégico y ausubeliano se centran en lo endógeno, es decir, en la construcción interna de los sujetos y cuáles son las condiciones estratégicas educativas más apropiadas para que suceda dicho proceso. En contraste, el constructivismo sociocultural busca comprender los procesos de interacción social conjunta y cómo son reconstruidos por los sujetos participantes. Existe interés en comprender cómo el conocimiento se comparte y se negocia entre alumnos y profesores en el proceso educativo. Empatar los constructivismos nos remiten a pensar que el proceso es complejo debido a que tienen diferencias epistemológicas y todos pendientes por resolver. En el caso de la propuesta vigotskiana, falta por responder cómo ocurren los procesos endógenos del sujeto y la capacidad de agencia de éste. Recomendaciones pedagógicas En un esfuerzo que se reconoce, los profesores que participaron en la construcción del modelo integraron un glosario donde sugieren algunas estrategias entre ellas: el aprendizaje basado en problemas, habilidades del pensamiento complejo, aprendizaje cooperativo, etc., quizá pensando en orientar y cómo trabajar con los estudiantes; sin embargo, no encontramos una conexión explícita entre el constructivismo sociocultural y la intención de cada una de éstas. Sobre todo porque algunas de las estrategias se asocian más al constructivismo de tipo psicogenético piagetiano e incluso ausubeliano. Al atender a observaciones de quienes han estudiado e interpretado la producción de Vigotsky, se reconoce que no proporciona instrumentos me- Examina_evaluacion 19 NOV.indd 122 12/19/14 1:25 PM EXPECTATIVAS SOBRE LA DOCENCIA Y SU EVALUACIÓN EN EL MODELO EDUCATIVO 123 todológicos que se puedan aplicar de inmediato y que sería inadecuado buscar en sus escritos un fundamento explícito de cualquier tipo de práctica pedagógica (Kohl de Oliveira, 2000: 46). La mayor parte de estrategias didácticas que se han sugerido son el resultado de las interpretaciones adicionales en Europa y Estados Unidos sobre el pensamiento de Vigotsky. Evaluación de la docencia La evaluación se define desde la perspectiva del aprendizaje, esto es, el modelo hace referencia a la evaluación que permite recolectar información sobre el proceso y el resultado del aprendizaje de los estudiantes con el propósito de permitirle al académico realizar ajustes para orientar el sentido de su práctica y tomar en cuenta las necesidades de los alumnos. En relación con la evaluación docente sólo se menciona que deben contarse con mecanismos de evaluación y seguimiento que realmente permitan detectar las problemáticas que enfrentan los académicos en su tarea educativa, con el fin de diseñar y aplicar talleres de actualización pedagógica, de métodos de enseñanza, lo mismo que de planeación y evaluación además de establecer contactos con otras dependencias que se dedican a este trabajo (buap, 2009a: 103). Suponemos que en este punto hacen referencia al Programa Institucional de Evaluación Académica. Hemos de subrayar que tenemos claro que el modelo no es cerrado ni estático, visto así, se puede ir construyendo en ámbitos donde resulta necesario. Conclusiones La reflexión que hicimos sobre los presupuestos del Modelo Universitario Minerva nos permitió tener referentes, sin embargo, nos alentó a seguir investigando con el ánimo de construir un instrumento que se sustentara con las expectativas pensadas desde el modelo. En ese sentido, consideramos que fueron expresados de manera más clara los atributos esperados de los profesores en su ejercicio docente pero no de su evaluación. Cabe decir que poner en marcha las prescripciones de cualquier modelo es dar un paso a lo desconocido, no todo está dicho ni bajo control. Visto así, las Examina_evaluacion 19 NOV.indd 123 12/19/14 1:25 PM 124 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA interpretaciones diversas que se realizan del Modelo pueden dar paso a acciones inesperadas no consideradas en la prescripción, sin embargo, reportar resultados positivos. Pensamos que ese es nuestro caso al desarrollar investigación que permite conocer y proponer en cuanto a la evaluación de la docencia. Se afirma que las organizaciones se distinguen cuando son capaces de pensar sobre sí mismas. Bajo esa idea no convendría perder de vista que la buap transitó de un Plan Fénix a un Modelo Universitario Minerva cuya construcción permitió la integración de distintos actores y sectores, con todo lo que ello implica en términos de valores, creencias, tradiciones y percepciones, situación que no fue así en el primer caso. Lo anterior dio pie a que se derivaran las primeras estrategias para ponerse en el camino de lograr los objetivos planteados, tarea que no ha sido fácil debido a que en ocasiones uno debe adicionar el cómo y cuándo llevar a cabo acciones creativas en consonancia con las aspiraciones del Modelo. Referencias Ackoff, Russel (1987). “Mission Statements”. En Planning Review, núm. 4, vol. 15 pp. 30-31. buap (2007a). Documento de integración. Modelo Universitario Minerva. Puebla: México, Editorial buap, pp. 119. buap (2007b). Manual para la creación actualización, modificación y desarrollo de los Programas Educativas de la buap, en el marco del mum. Conceptualización del Modelo Universitario Minerva. Puebla: México, Vicerrectoría de Docencia-buap, pp.157. buap (2008). Programa Institucional de Formación de Académicos Universitarios (pifau), Documento de trabajo. Puebla: México, pp. 40. buap (2009 a). Fundamentos. Modelo Universitario Minerva. Primera Parte. Libro 1. Puebla, México, Editorial buap, pp.287 buap (2009 b). Fundamentos. Modelo Universitario Minerva. Segunda Parte. Libro 2, Puebla, México: Editorial buap, pp. 223. buap (2009 c). Presentación General del Programa Institucional de Evaluación Académica. Puebla: México, Facultad de Economía-buap, pp. 35. Hernández, Gerardo (2014a). Paradigmas en psicología de la educación. México: Paidós Educador, pp. 267. Examina_evaluacion 19 NOV.indd 124 12/19/14 1:25 PM EXPECTATIVAS SOBRE LA DOCENCIA Y SU EVALUACIÓN EN EL MODELO EDUCATIVO 125 Hernández, Gerardo (2014b). Miradas constructivistas en psicología de la educación. México: Paidós Educador, pp. 210. Kohl de Oliveira, Marta (2000). “Pensar la educación: las contribuciones de Vigotsky.”, En José Castorina et al., Piaget–Vigotsky: contribuciones para replantear el debate. México: Paidós Educador, pp. 45-68. Porter, Luis (2003). La universidad de papel. México: Universidad Nacional Autónoma de México, Centro de Investigaciones Interdisciplinarias, 243 pp. Navarro, Rubén (2006). “Los modelos educativos universitarios. Imaginarios de investigación y colaboración”. Ponencia presentada en el Congreso Internacional “La ciencia y el humanismo en el siglo xxi: Perspectivas”. México: Universidad Iberoamericana, 31 de marzo a 2 de abril, pp. 6. rae (2001). Diccionario de la Lengua Española. Real Academia Española, En línea: http://lema.rae.es/drae/?val=modelo [Consultado: 07/07/2014]. Torres, Rosa (1994). ¿Qué (y cómo) es necesario aprender? Necesidades básicas del aprendizaje y contenidos curriculares. Quito: Instituto Fronesis, pp. 5-123. Tünnermann, Carlos (2008). Los modelos educativos y académicos. Managua: Hispamer, pp.133. Yurén, María (2008). La Filosofía de la Educación en México: principios, fines y valores. 2da. edición. México: Trillas, pp. 95. Examina_evaluacion 19 NOV.indd 125 12/19/14 1:25 PM Examina_evaluacion 19 NOV.indd 126 12/19/14 1:25 PM CAPÍTULO 4 Los referentes en el estado del arte de la evaluación de la docencia universitaria María Patricia Moreno Rosano, Ixchel Reyes Espejel y Raymundo Ávila Benítez Introducción En el presente capítulo se muestra un estado del arte que nos permite conocer cuál es la situación de la evaluación de la docencia que reporta la investigación educativa, y cómo ha sido tratado el tema en la educación superior, teniendo como antecedente la década de los noventa, así como los avances y experiencias de la primera década del siglo xxi, a manera de un referente externo que oriente el diseño de un nuevo instrumento, congruente con el Modelo Universitario Minerva, que se puso en marcha a partir del periodo de otoño 2009 en la Benemérita Universidad Autónoma de Puebla. La construcción del estado del arte atiende a tres referentes: teórico; metodológico, y normativo que permitirán ir más de allá de lo desarrollado en el mum, debido a que la evaluación de la docencia es un proceso con relevantes complejidades. Examina_evaluacion 19 NOV.indd 127 12/19/14 1:25 PM 128 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA La situación de la docencia universitaria desde su perspectiva teórica Para comprender la situación de la docencia universitaria desde su fundamentación teórica, se requiere evocar algunas nociones o conceptos fundamentales, como son la docencia universitaria y la evaluación de la misma, con el propósito de identificar las principales discusiones de éstas. Díaz-Barriga e Inclán (2001: 18) conceptualizan a la docencia como la labor de enseñar que se encuentra estrechamente vinculada a la historia del hombre; vista de esa manera, la docencia ha sido objeto de estudio y reflexión. Siguiendo tal idea los autores mencionan que San Agustín y Tomás de Aquino expresaron diversas reflexiones sobre la cosmovisión de la docencia como apostolado, construyendo a partir de la docencia un modelo ideal de hombre. Fue a partir de los didactas de la Reforma y la Contrarreforma, principalmente con Comenio, que se establece un modelo de actuar apoyado en técnicas de trabajo en el aula. Para Rizo (2004), la docencia está conformada por las actividades necesarias para impartir una asignatura de pregrado o posgrado, en los periodos semestrales normales o en lapso intermedio, las cuales incluyen: la clase presencial, la preparación de clase, la evaluación de los estudiantes, así como la atención de los alumnos, por parte de los profesores, fuera del aula. Asimismo, se considera como la actividad de docencia, a la tutoría o consejería a un grupo de estudiantes (Rizo, 2004: 11). Cabeza (2004: 113) dice que en el contexto universitario, la función docente puede ser definida como “la actividad sistemática de planificación, desarrollo y evaluación de los procesos de enseñanza y aprendizaje y otras actividades relacionadas con la generación, construcción y difusión del conocimiento en un área o disciplina determinada”. Considera que junto con esta definición, los principales atributos son: 1. 2. 3. 4. 5. Dominio de la disciplina o disciplinas objeto de la docencia. Disposición manifiesta al desarrollo pedagógico. Actualización y desarrollo continuo. Disposición al cambio y la innovación. Habilidad para estimular la actividad cognitiva y metacognitiva de los estudiantes. 6. Habilidad comunicativa. 7. Capacidad evaluativa. Examina_evaluacion 19 NOV.indd 128 12/19/14 1:25 PM LOS REFERENTES EN EL ESTADO DEL ARTE DE LA EVALUACIÓN DE LA DOCENCIA UNIVERSITARIA 129 Para Zabalza (2006: 67-70) existen tres vías de aproximación al conocimiento de la enseñanza: 1. Una aproximación empírica y artesanal, esto significa que se conoce la enseñanza a partir del contacto con la realidad y de la experiencia diaria. En el mejor de los casos suele aparecer como una reflexión más o menos sistematizada acerca del análisis de las clases y de otras dimensiones de la enseñanza. 2. En un segundo término, hace mención de la aproximación profesional, esta vía se trata de una modalidad de conocimiento más sistemática y fundamentada. Requiere de una preparación específica para llevarla a cabo y unos recursos metodológicos apropiados para recoger analizar e interpretar datos. Es un conocimiento que hace posible iniciativas de mejora: se sabe qué hacer y por qué hacerlo. 3. La tercera vía es propia de especialistas e investigadores sobre la enseñanza, y sirve de dispositivo para identificar y describir de una forma sofisticada mediante procesos y medios bien controlados los diversos factores y condiciones implicados en la enseñanza y el aprendizaje. Se subraya que de las tres modalidades de enseñanza, interesa destacar la segunda, que puede ser llevada a cabo por los propios profesores, pero para ello se requiere un conocimiento profesional de la docencia. En atención a lo anterior, Zabalza (2006: 73-167) argumenta que la docencia requiere de una serie de competencias para desarrollarla de forma profesional, entre las que se mencionan: 1. Planificar el proceso de enseñanza-aprendizaje. 2. Seleccionar y preparar los contenidos disciplinares. 3. Ofrecer informaciones y explicaciones comprensibles y bien organizados (competencia comunicativa). 4. Manejo de nuevas tecnologías. 5. Diseñar la metodología y organizar las actividades. 6. Comunicarse-relacionarse con los alumnos. 7. Tutorizar. 8. Evaluar. Examina_evaluacion 19 NOV.indd 129 12/19/14 1:25 PM 130 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA 9. Reflexionar e investigar sobre la enseñanza. 10. Identificarse con la institución y trabajar en equipo. Las nociones anteriores nos permiten ver la evolución de los alcances que la docencia tiene en el terreno de la teoría; desde la consideración filosófica que la describe como un apostolado que se propone formar un cierto modelo de hombre, hasta lograr la identificación de una serie de atributos que el docente debe manifestar, subrayando que una docencia de calidad se relaciona con competencias que habría que desarrollar para lograr una profesionalidad en su ejecución. Evaluación de la docencia Definir la evaluación de la docencia también expresa ciertas dificultades en el ámbito teórico, sobre todo para subrayar el para qué hacerlo. Para Ardoino, citado por Rueda y Díaz-Barriga (2007: 13), la evaluación, más allá de ser un instrumento, supone una problemática, pues constituye una función crítica simple y temporal, que consiste en verificar la conformidad en relación con una norma, un modelo o programa educativo, o por lo menos, la medida en que se aleja de éste. La verificación se realiza a través de un conjunto de procedimientos, los cuales suponen una homogeneidad entre la norma, el modelo, el programa y los fenómenos que se reportan para compararlos. De Juan, Pérez, Gómez, Vizcaya y Mora (2007: 2) citan a autores como Scriven y Fermín, junto a los que emite su propia postura, coincidiendo en que la evaluación es un proceso sistemático, objetivo, continuo e integral. Este proceso inicia cuando se compara con los objetivos establecidos, por medio de la recabación de datos, utilizando diferentes instrumentos como son: las entrevistas, el uso de escalas y los cuestionarios, así como interpretar los datos emitiendo juicios de valor. Valdés (2000: 20) infiere que evaluar es proceder a conocer una realidad pasada, en su máxima extensión, destacando los conflictos en las condiciones y acciones realizadas, avanzando hipótesis de mejora y sobre todo, a partir del conjunto de datos e informes más fundamentados, con la máxima intervención de los participantes, emitir un juicio sobre la amplitud, evolución y complejidad de la tarea. Por tanto, la evaluación resulta ser un juicio de valor que necesita Examina_evaluacion 19 NOV.indd 130 12/19/14 1:25 PM LOS REFERENTES EN EL ESTADO DEL ARTE DE LA EVALUACIÓN DE LA DOCENCIA UNIVERSITARIA 131 referentes bien consolidados a los que atender y con los que contrastar la realidad evaluada, más esta constatación exigiría plena coincidencia en la identificación de tales referentes y en su aplicación. Valdés (2000: 20) afirma que no es fácil encontrar una definición clara y específica de este concepto. Para este autor, la evaluación del desempeño profesional del docente es un proceso sistemático de obtención de datos válidos y fiables, con el objetivo de comprobar y valorar el efecto educativo que produce en los alumnos el despliegue de sus capacidades pedagógicas, su emocionalidad, su responsabilidad laboral y la naturaleza de sus relaciones interpersonales con alumnos, padres, directivos, colegas y representantes de las instituciones de la comunidad. Para Murillo, González de Alba y Rizo (2007: 28), la evaluación del desempeño docente es un tema muy conflictivo, debido a que dentro de ésta se enfrentan intereses y opiniones del conjunto de actores educativos, como son, por ejemplo, los tomadores de decisiones políticas, los administradores, los docentes y sus sindicatos, así como estudiosos sobre la materia, sin demeritar el papel de las familias y de la sociedad en general. Estos mismos autores señalan que, al analizar la diversidad de propuestas y posturas en diferentes países de Europa y América, el criterio básico que define a los diferentes modelos de la evaluación y del desempeño docente es el propósito de la evaluación, el para qué de la misma. Con este criterio Murillo et al. (2007: 29) detectaron cinco modelos: 1. Evaluación del desempeño docente como parte de la evaluación del centro escolar, con énfasis en la autoevaluación. 2. Evaluación del desempeño docente para casos especiales, como es la concesión de licencias. 3. La evaluación del desempeño como insumo para el desarrollo profesional, pero sin ninguna repercusión para la vida profesional del docente. 4. La evaluación como base para un incremento salarial. 5. La evaluación para la promoción en el escalafón docente. Para Valdés (2000: 6), una buena evaluación del profesorado debe cumplir las funciones siguientes: Examina_evaluacion 19 NOV.indd 131 12/19/14 1:25 PM 132 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA • Función de diagnóstico: la evaluación profesoral debe caracterizar el desempeño del maestro en un periodo determinado, debe constituirse en síntesis de sus principales aciertos y desaciertos, de modo que, tanto al director, al jefe de área y a él mismo, le sirva de guía para la derivación de acciones de capacitación y superación que coadyuven a erradicar sus imperfecciones. • Función instructiva: el proceso de evaluación en sí mismo, debe producir una síntesis de los indicadores del desempeño del maestro. Por lo tanto, los actores involucrados en dicho proceso, se instruyen, aprenden del mismo, incorporan una nueva experiencia de aprendizaje laboral. • Función educativa: existe una importante relación entre los resultados de la evaluación profesoral y las motivaciones y actitudes de los docentes hacia el trabajo. A partir de que el maestro conoce con precisión cómo es percibido su trabajo por maestros, padres, alumnos y directivos del centro escolar, puede trazarse una estrategia para erradicar las insuficiencias a él señaladas. • Función desarrolladora: esta función se cumple principalmente cuando, como resultado del proceso evaluativo, se incrementa la madurez del evaluado y de forma consecuente, la relación interpsíquica pasa a ser intrapsíquica, es decir, el docente se torna capaz de autoevaluar crítica y de manera permanente su desempeño, no teme a sus errores, sino que aprende de ellos y conduce entonces de manera más consciente su trabajo, sabe y comprende mucho mejor todo lo que no sabe y necesita conocer; y se desata, a partir de sus insatisfacciones consigo mismo, una incontenible necesidad de autoperfeccionamiento. El carácter desarrollador de la evaluación del maestro se cumple también cuando la misma contiene juicios acerca de lo que debe lograr el docente para perfeccionar su trabajo futuro, sus características personales y para mejorar sus resultados. El carácter desarrollador de la evaluación, por sí solo, justifica su necesidad. Además, el autor opina que evaluar al profesorado va más allá de resaltar las deficiencias o razonables limitaciones del Sistema Educativo, sino “es asumir un nuevo estilo, clima y horizonte de reflexión compartida para optimizar y posibilitar espacios reales de desarrollo profesional de los docentes, de generación de culturas innovadoras en los centros”. Examina_evaluacion 19 NOV.indd 132 12/19/14 1:25 PM LOS REFERENTES EN EL ESTADO DEL ARTE DE LA EVALUACIÓN DE LA DOCENCIA UNIVERSITARIA 133 Para Rueda (1999: 203), el tema de la evaluación en educación superior siempre ha formado parte de la agenda de los diferentes actores de los sistemas educativos. La producción de conocimientos disponible sobre este tema ocupa una buena parte en los anaqueles de las bibliotecas especializadas. Sin embargo, la evaluación de la docencia universitaria en particular, cuenta con una presencia relativamente menor en nuestro contexto comparada con la producción de conocimiento del campo general de la evaluación en educación, y de forma específica de la practicada en las universidades. La relevancia de una discusión sobre la evaluación de la docencia y la búsqueda de medios para hacer frente a este reto, se manifiesta al considerar la magnitud e importancia de la actividad docente en las instituciones de educación superior. La mayor parte del personal académico dedica su energía a impartir clases frente a grupo, y por reglamento, los puestos de investigador también comparten, aunque en menor grado, esta responsabilidad. Cabe hacer la distinción, en el discurso educativo, a qué se hace referencia cuando se habla de la evaluación académica y la evaluación de la docencia. La evaluación académica es aquella que incluye todas las actividades en las que el profesor universitario de tiempo completo puede ser evaluado: investigación, extensión, docencia, gestión, vinculación. Esta forma de evaluar puede ser realizada por la universidad o bien alguna instancia externa, por ejemplo: el Programa de Mejoramiento del Profesorado (Promep) evalúa todas las funciones, el Consejo Nacional de Ciencia y Tecnología (por medio del sni) se enfoca a la investigación y a los programas educativos; los Comités Interinstitucionales de Evaluación de la Educación Superior (ciees) atiende los planes de estudios y los programas de asignatura. En cambio, la evaluación de la docencia, que es en la que se centra este documento, tiene como eje central las actividades que el profesor desempeña en el salón de clases y su relación con los estudiantes (Moreno, 1999: 40). García, Loredo, Luna, Pérez, Reyes, Rigo y Rueda (2004: 17), consideran que la evaluación de la docencia se restringe a las actividades relacionadas de forma directa con el proceso de enseñanza-aprendizaje, es decir, con lo que el docente hace antes, durante y después de que ocurre el episodio didáctico, tal como se planean y se imparten las clases, revisión de trabajos, tareas y evaluación de los aprendizajes, así como con su pensamiento implícito y explícito en relación con la labor magisterial y la actuación derivada de ese pensamiento; con la actividad profesional que desarrolla como enseñante y la reflexión que se despliega en Examina_evaluacion 19 NOV.indd 133 12/19/14 1:25 PM 134 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA torno a esta actividad. Opinan que, tanto la docencia como la evaluación de la misma, son prácticas sociales, las cuales se dan en momentos y circunstancias determinados y se encuentran sujetas a condicionantes políticos, económicos, sociales, epistemológicos y filosóficos que le dan estructura a la sociedad. Esto hace deducir que estos condicionantes conducen la intencionalidad de la evaluación, es decir, para qué evaluar. Existen dos tipos de evaluación docente: la primera se encuentra dirigida hacia propósitos de control y seguimiento administrativo, trata sobre procesos dirigidos a fundamentar juicios de valor acerca de la situación de la actividad docente; la segunda se relaciona con los procesos de formación o desarrollo de los docentes, donde la actividad de los profesores es objeto de reflexión sobre lo que ocurre en el aula, en un sentido de crítica positiva y propositiva, para retroalimentar y mejorar el proceso enseñanza-aprendizaje, buscando que el sujeto evaluado se involucre, participe y forme parte del proceso (García, et al., 2004: 19). La primera suele identificarse con la evaluación de producto, la cual se centra en los resultados obtenidos por la actividad docente, por ejemplo, el aprendizaje del alumno, los materiales generados, los instrumentos cumplimentados en el curso, etc. La segunda se identifica con la evaluación de proceso, lo cual ayuda a entender cuáles fueron los factores que determinaron o condicionaron los resultados de la actividad magisterial (García et al., 2004: 20). De Juan et al. (2007: 2), comentan que la evaluación de la actividad docente universitaria también debe responder a un qué se debe valorar, a un quién debe hacerlo y a un cómo hacerlo, debido a que esta evaluación puede realizarse para varios propósitos, como son: a) b) c) d) Analizar el funcionamiento de las unidades docentes. Seleccionar al profesorado. Obtener información sobre la labor docente en un periodo determinado. Evaluar la eficiencia docente. Algunas experiencias universitarias de la evaluación de la docencia Haciendo la revisión teórica y la búsqueda de diferentes experiencias sobre evaluación de la docencia universitaria en diferentes lugares del mundo, Examina_evaluacion 19 NOV.indd 134 12/19/14 1:25 PM LOS REFERENTES EN EL ESTADO DEL ARTE DE LA EVALUACIÓN DE LA DOCENCIA UNIVERSITARIA 135 encontramos trabajos de investigación realizados en universidades de España, Colombia, México, Chile, Canadá y Estados Unidos. En España, las experiencias de la Universidad de Alicante (De Juan et al., 2007: 2), la Universidad de Barcelona (Mauri, Coll & Onrubia, 2007: 2) y la Universidad del País Vasco (Gómez, 2008: 5), las cuales son instituciones públicas, nos llevan a inferir que la preocupación por evaluar la docencia es reciente, pues buscan armonizar sus programas de estudio desde el Espacio Europeo de Educación Superior y la docencia no puede ser soslayada. La experiencia que reporta la Universidad Autónoma de Occidente ubicada en Cali, Colombia, institución privada, indica que buscan profesionalizar a su planta docente (Vázquez & Gabalán, 2006: 2). Por otra parte, el propósito de la Universidad de Chile es un acercamiento evaluativo que prioriza la cultura docente de las unidades académicas en que se inserta el docente, reconociendo la dimensión colectiva-institucional de la docencia como fuente de legitimidad, desarrollo y orientación de la docencia (Baeza, 2003: 1). En el caso mexicano, se pueden encontrar documentos de universidades que pertenecen tanto al ámbito privado como al público. Martínez (2000: 130) subraya que la práctica de evaluar la docencia en México es una actividad que se inicia en el ámbito privado y donde se ha sistematizado y guarda tradición, tal como es el caso de universidades como la Iberoamericana (Santa Fe) y la Anáhuac. Mientras que en el ámbito público la evaluación de la docencia responde a la presión externa que las instituciones reciben del gobierno y de las políticas educativas que el gobierno estableció en los años noventa con el propósito, no sólo de evaluar sino de asociar esta actividad a retribuciones salariales. En Estados Unidos se pueden citar algunas experiencias, la primera fue una investigación a lo largo de siete años, en un proyecto que integró a 12 universidades con la coordinación de la American Association for Higher Education (Hutchings, 1994: 2). El trabajo presentado por Abrami, Levanthal y Perry (1982: 446-447) de la Universidad Concordia, en colaboración con la Universidad de Manitoba, tuvo como propósito realizar un meta análisis de las investigaciones que se fueron generando a partir del “experimento” que realizaron y al cual le asignaron un nombre “Dr. Fox” o “la seducción educativa”. 1 1 El efecto que el experimento deja es que los alumnos mantienen la ilusión de haber aprendido, aun cuando el contenido educacional de la clase estuvo ausente. Examina_evaluacion 19 NOV.indd 135 12/19/14 1:25 PM 136 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA El experimento llamado Dr. Fox consistió en invitar a un actor entusiasta y carismático a dar una clase; este profesor tuvo altas evaluaciones de los alumnos que, por cierto, eran educadores y profesionales de la salud. Las limitaciones con las que nos encontramos al realizar este análisis para recuperar la situación de la docencia universitaria y su evaluación desde una perspectiva teórica fueron las siguientes: • La mínima disponibilidad de fuentes relacionadas con el tema en diversos medios, así como del propósito por el que se publica la información adoptada como fuente, y en general, excluyendo la parte metodológica de las experiencias de evaluación docente publicadas o la ausencia del señalamiento del modelo pedagógico en el que se sustentan. • La única experiencia publicada que corresponde al constructivismo social, hasta el momento, es la que reporta el Dr. César Coll desde la Universidad de Barcelona y sólo para las asignaturas que corresponden al plan de Psicología de la Educación. La calidad de la propuesta docente del Dr. Coll se mide por la capacidad de prestar ayudas educativas ajustadas al alumno que repercuten en la construcción de conocimientos diversos por el alumno y el logro de los objetivos educativos. • Es conveniente subrayar que los trabajos de investigación no reportan la experiencia de las instituciones de manera global, sino que se deben en su mayoría, al interés de equipos de investigadores; es decir, son experiencias que se derivan de evaluar la docencia de algunos programas de estudio, departamentos, o bien, en ciertos casos, cursos o experimentos bajo diseño. Por ejemplo, dentro de las experiencias consideradas se puede citar, para el caso mexicano, la conformación del grupo secundado por el Dr. Rueda Beltrán de la unam y otras instituciones del país cuyo propósito fue desarrollar una línea de investigación que cubriera las variadas experiencias que existen sobre la evaluación de la docencia y que, incluso, les permitiera publicar los primeros textos al respecto, así como vincularse con otros grupos a nivel internacional. Una vez que se ha indicado el sustento teórico conceptual de la evaluación de la docencia universitaria, a continuación se realiza una revisión de la perspectiva metodológica de la misma. Examina_evaluacion 19 NOV.indd 136 12/19/14 1:25 PM LOS REFERENTES EN EL ESTADO DEL ARTE DE LA EVALUACIÓN DE LA DOCENCIA UNIVERSITARIA 137 La evaluación de la docencia universitaria desde su perspectiva metodológica La evaluación de la docencia requiere de propósitos, del reconocimiento de la naturaleza de lo que se somete a evaluación, de la definición de quién realizará la evaluación y de la elección de las fuentes de información que se utilizarán. Una de las fuentes más utilizadas para obtener información sobre la docencia es la opinión de los alumnos por medio de cuestionarios, aun cuando la literatura recomienda otros referentes que las instituciones deben aprovechar, entre los que se citan: la evaluación entre pares académicos, la observación, autoevaluación vertida en la elaboración de informes y portafolios. Debido al interés que se manifestó en el primer capítulo, nos abocaremos en una primera fase a la revisión de las distintas experiencias estudiadas en cuanto a la opinión de los estudiantes y el uso de cuestionarios. Hemos procurado no soslayar todas las recomendaciones y sugerencias de algunos investigadores al respecto. Arbesú (1999: 169) afirma que la evaluación de los docentes desde la perspectiva de los estudiantes es una forma valiosa pero limitada de evaluar al profesorado. En la mayoría de las universidades destaca la escasa participación de los docentes en la elaboración de los instrumentos de evaluación, ya que en general, los cuestionarios se diseñan sobre la consideración del “deber ser” de la profesión docente, pero muy poco tomando en cuenta la realidad en la que se desempeña. Incluso, sugiere que los profesores deberían participar en la construcción de un modelo para evaluar la docencia, por lo menos, sugerido para la universidad que analiza (Arbesú, 2004: 867). En la mayoría de las universidades destaca la escasa participación de los docentes en la elaboración de los instrumentos de evaluación (Rueda, Elizalde y Torquemada, 2003: 74). Rueda (1999) afirma que el uso de los cuestionarios de opinión dirigidos a los estudiantes, ha proliferado sin que medie una elaboración particular que responda al contexto específico o se realicen exámenes minuciosos en cuanto a la pertinencia del perfil del maestro que se alienta en este tipo de cuestionarios (Rueda, 1999: 210). Los cuestionarios de opinión analizados, nos permitieron identificar que un número significativo de ellos parten de dimensiones e indicadores que, en algunos casos coinciden, por ejemplo, la organización del curso o la interacción del profesor y estudiante, las habilidades comunicativas, dominio del contenido, evaluación y retroalimentación. Muy pocas experiencias reportan de manera Examina_evaluacion 19 NOV.indd 137 12/19/14 1:25 PM 138 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA explícita el tipo de constructo que tiene como referente el cuestionario, aunque de forma implícita generalmente se concibe. Se ha tomado como ejemplo la tabla de indicadores de desempeño de Valdés que está sustentada bajo el paradigma histórico-cultural e identifica a manera de ejercicio las variables, dimensiones e indicadores. Valdés (2000: 18-19) indica que se requiere de la determinación de las dimensiones que debe comprender la operacionalización de la variable “desempeño profesional del docente”, de acuerdo a la siguiente propuesta, misma que se apoya fundamentalmente en las ideas del paradigma histórico-cultural, tomando en cuenta las ideas que consideró más positivas de otros ejemplos. A su vez, plantea que el sistema de evaluación se debe basar en ítems específicos de conductas que la investigación ha descubierto, que correlacionen de manera positiva, con productos de la enseñanza. Su propuesta se encuentra en la tabla 1, la que operacionaliza en cinco dimensiones y los correspondientes indicadores a la evaluación del desempeño docente. TABLA 1. Propuesta de indicadores de desempeño profesional del docente Variable Dimensiones Indicadores 1.1 Grado de dominio de los contenidos que imparte, de la Teoría de la Educación, de la Didáctica General. 1.2. Capacidad para hacer su materia entretenida e interesante. Desempeño docente 1.3 Calidad de su comunicación verbal y no verbal. 1.4 Capacidad de planificar adecuadamente el proceso docente-educativo. 1. Capacidades pedagógicas. 1.5 Alcance de su contribución a un adecuado clima de trabajo en el aula. 1.6 Capacidad para identificar, comprender las situaciones áulicas y ajustar su intervención pedagógica. 1.7 Utilización de variedad de prácticas educativas. 1.8 Grado de conocimiento y tratamiento de las características psicológicas individuales de los alumnos. 1.9 Grado de información sobre la marcha del aprendizaje de sus alumnos. Examina_evaluacion 19 NOV.indd 138 12/19/14 1:25 PM 139 LOS REFERENTES EN EL ESTADO DEL ARTE DE LA EVALUACIÓN DE LA DOCENCIA UNIVERSITARIA Variable Dimensiones Indicadores 1.10 Calidad de su representación sobre el encargo social de la escuela. 1.11 Contribución a la formación de valores nacionales y universales así como al desarrollo de capacidades valorativas. 1.12 Efectividad de su capacitación y autopreparación. 1.13 Capacidad para crear un ambiente favorable para que el alumno conozca sus derechos y responsabilidades, y aprenda a ejercerlos. 1.14 Capacidad para desarrollar un proceso de reflexión autocrítica permanente sobre su práctica educativa. 2.1 Vocación pedagógica. Desempeño docente 2. Emocionalidad. 2.2 Autoestima. 2.3 Capacidad para actuar con justicia y realismo. 2.4 Nivel de satisfacción con la labor que realiza. 3.1 Asistencia y puntualidad a la escuela y a sus clases. 3. Responsabilidad en el desempeño de sus funciones laborales. 3.2 Grado de participación en las sesiones metodológicas o en jornadas de reflexión entre los docentes. 3.3 Cumplimiento de la normativa. 3.4 Nivel profesional alcanzado. 3.5 Implicación personal en la toma de decisiones de la institución. 3.6 Grado de autonomía profesional relativa alcanzada para desarrollar su tarea en la institución. 3.7 Nivel profesional alcanzado. 4. Relaciones interpersonales con sus alumnos, padres, directivos, docentes y comunidad escolar en general. 4.1 Nivel de preocupación y comprensión de los problemas de sus alumnos. 4.2 Nivel de expectativas respecto al desarrollo de sus alumnos. 4.3 Flexibilidad para aceptar la diversidad de opinión y sentimientos de los alumnos y respeto real por sus diferencias de género, raza y situación socioeconómicas. Continúa... Examina_evaluacion 19 NOV.indd 139 12/19/14 1:25 PM 140 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Desempeño docente Variable Dimensiones Indicadores 5.1 Rendimiento académico alcanzado por sus alumnos en la o las asignaturas que imparte. 5. Resultados de su labor educativa. 5.2 Grado de orientación valorativa positiva alcanzado hacia las cualidades de la personalidad deseables de acuerdo al modelo de hombre que se pretende formar. 5.3 Grado en que sus alumnos poseen sentimientos de amor a la patria, a la naturaleza, al estudio y al género humano. Fuente: Valdés (2000). Ante la existencia de un sinnúmero de cuestionarios de opinión para evaluar la docencia, Luna (2007: 64-65) menciona que Feldman desarrolló un sistema de clasificación de reactivos y factores de los cuestionarios formado por 21 dimensiones, al que Abrami y d’ Apollonia añadieron tres más. La lista se construyó con base en cuestionarios validados y proporciona una visión objetiva de la diversidad de constructos que hay en los cuestionarios de opinión. Para concluir, las evidencias demuestran una falta de uniformidad en los cuestionarios y su coincidencia tan sólo en algunas de las dimensiones. Lista de dimensiones: • • • • • • • • • • • • • • • Estimulación del interés. Entusiasmo. Conocimiento de la materia. Amplitud del conocimiento. Preparación y organización del curso. Claridad. Habilidades de comunicación. Nivel de la clase. Claridad en los objetivos del curso. Relevancia y valoración de los materiales. Relevancia y utilidad de los materiales complementarios. Carga de trabajo. Resultados percibidos. Justicia en la evaluación. Manejo del grupo dentro del salón de clases. Examina_evaluacion 19 NOV.indd 140 12/19/14 1:25 PM LOS REFERENTES EN EL ESTADO DEL ARTE DE LA EVALUACIÓN DE LA DOCENCIA UNIVERSITARIA • • • • • • • • • 141 Características de personalidad. Retroalimentación. Fomento de la discusión y la diversidad de opiniones. Fomento del pensamiento independiente y el reto intelectual. Preocupación y respeto por los estudiantes. Disponibilidad de ayuda. Evaluación general del curso. Evaluación general del instructor. Miscelánea. El análisis de los cuestionarios que se identificaron por medio de las publicaciones halladas, nos permite también afirmar que las dimensiones señalan y mucho, las funciones que debe cubrir un profesor, sin embargo, poco se ocupan de evaluarlo a partir de los resultados de su enseñanza. La mayor parte de los instrumentos observados son multidimensionales, construidos en un promedio de cinco a diez dimensiones donde cada una puede tener de uno hasta cinco indicadores. La escala más usada es Likert. En el diseño se observan tanto preguntas cerradas como abiertas. La escalas responden a distintos propósitos: se identifican de frecuencia (siempre, casi siempre, a veces, nunca) escala de calidad (excelente, regular, malo, pésimo) de opinión (totalmente de acuerdo, en desacuerdo) etc. Los instrumentos varían en cuanto al número de reactivos, encontrándose desde 20 ítems hasta 66 y existen de manera frecuente preguntas de control. Marsh aboga fuertemente a favor de la evaluación multidimensional, porque concibe la enseñanza como multifacética, por lo que no debe ser la respuesta de un único criterio de evaluación o del promedio de varios. Para él, la evaluación con fines sumativos o formativos se debe basar en puntajes de factores de instrumentos como su propuesta de Evaluaciones del Estudiante sobre la Calidad Educativa (Student´s Evaluations of Educational Quality-seeq) (García, 2007: 44-45). Abrami y Cashin, al igual que otros autores, están en desacuerdo con varios aspectos de esta sugerencia, en particular cuando las evaluaciones son usadas para tomar decisiones de promoción o permanencia laboral, incluso cuando se usa con fines de mejoramiento instruccional. Ellos creen que no hay suficiente evidencia para establecer cuáles son las dimensiones de la enseñanza efectiva o en qué o cómo están interrelacionadas. Existen muchos análisis de factores de Examina_evaluacion 19 NOV.indd 141 12/19/14 1:25 PM 142 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA formatos de evaluación para los estudiantes, pero opina que éstas no derivan en descripciones idénticas de la enseñanza efectiva. Están convencidos de que la docencia es multidimensional, pero no de que las nueve dimensiones que Marsh señala en el seeq sean invariablemente representativas de todos los instructores, cursos, alumnos y escenarios (García, 2007: 45). Abrami y d’ Apollonia intentaron categorizar criterios usando las dimensiones de Feldman, con lo que hallaron factores de algunos estudios, cuyos criterios ajustaban en muchas dimensiones y factores de otros investigaciones, cuyas categorías ajustaron en una única dimensión. También encontraron dimensiones fuertemente representadas en algunos formatos de evaluación y que se encontraron ausentes en otras (García, 2007: 46). García (2007: 44) afirma que Marsh prefiere un acercamiento multidimensional a las evaluaciones de los estudiantes, incluso para propósitos sumativos. Las evaluaciones de los estudiantes deben ser multidimensionales ya que la enseñanza es multidimensional. Si un formato de evaluación contiene una colección mal definida de criterios y las evaluaciones son concentradas por un promedio de estos criterios, no existe ninguna base para conocer qué es lo que se está midiendo, ni tampoco para valorar componentes en una ruta adecuada para el propósito particular al que sirve. García (2007: 46-47) cita a Marsh quien describe cinco razones por las que los puntajes de factores son preferidos al total de evaluación o una evaluación global o general: 1. Hay diferentes indicadores de la enseñanza eficaz; el componente que es más válido dependerá del criterio que se vaya a considerar. 2. Las revisiones de diferentes criterios de validación muestran que los componentes de las evaluaciones están más y mejor relacionadas que la evaluación global o total. 3. El poder de las características de tendencia es más difícil de interpretar con las evaluaciones totales que con los componentes específicos. 4. La utilidad de las evaluaciones para propósitos formativos es impulsada por la presentación de los puntajes de los factores. 5. Aunque está de acuerdo en que las evaluaciones pueden ser concentradas en un único puntaje, por un propósito particular, la valoración de los factores puede ser una función del análisis lógico y empírico. Examina_evaluacion 19 NOV.indd 142 12/19/14 1:25 PM LOS REFERENTES EN EL ESTADO DEL ARTE DE LA EVALUACIÓN DE LA DOCENCIA UNIVERSITARIA 143 Abrami no cree que la evaluación global sea útil para propósitos formativos, excepto quizá para advertir a la facultad de que el cambio es necesario y para motivar al profesor a que mejore su enseñanza. Está de acuerdo con Marsh en que las evaluaciones dimensionales necesitan ser validadas, incluso cuando el propósito de la evaluación sea sólo el mejoramiento instruccional (García, 2007: 46). La mayor parte de estos trabajos persiguen dos objetivos: 1) construir un cuestionario que fuera validado por el profesorado al permitir que ellos seleccionaran las dimensiones más importantes y, 2) aplicar el cuestionario, resultado del ejercicio mencionado, entre los estudiantes. Cabe subrayar que los trabajos de Abrami, Leventhal y Perry (1982: 446447) trataron de integrar de manera empírica las investigaciones relacionadas con el experimento llamado “Dr. Fox”, para considerar el sesgo que la expresividad, como el buen humor y el carisma, tienen sobre las evaluaciones que los estudiantes realizan sobre el profesorado. De las instituciones estudiadas ya mencionadas, pocas reportan pruebas estadísticas, pero citaremos el caso de quienes sí lo hicieron: en la Universidad Autónoma de Occidente, en Cali, Colombia, donde se realizó un análisis de correspondencia sobre un cuestionario de 15 preguntas, y donde el reactivo 15 sirve de control, permite identificar el nivel de correspondencia de los demás cuestionamientos. Para poder identificar el grado de relevancia de las 14 preguntas del cuestionario, con la calificación que indaga sobre el desempeño general de los profesores, se recurre a utilizar un método de estadística multivariada denominado análisis discriminante, el cual permite determinar el grado de relevancia de las variables del cuestionario, sobre la calificación general que se hace del docente, y cuáles de ellas tienen un mayor peso o ponderación en la percepción final (Vázquez y Gabalán 2006: 8-19). La pregunta número 15 se concibe como aquella que agrupa la opinión contenida en las anteriores, por lo tanto, debe existir una asociación entre las calificaciones asignadas en los 14 cuestionamientos iniciales y la opinión final, reflejada en la pregunta número 15. Según la clasificación de las correlaciones elaboradas por Colton, se puede decir que existe una asociación moderada –buena entre cada una de los reactivos anteriores con la pregunta imagen número 15–, lo que permite inferir su calidad de variable dependiente. Además del cuestionario también se precisa de una investigación cualitativa que permite entrevistas grupales (Vázquez y Gabalán 2006: 8). Examina_evaluacion 19 NOV.indd 143 12/19/14 1:25 PM 144 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Otra de las pruebas que se realizó con los resultados arrojados, fue con el estadístico Chi-cuadrada. Se intenta con esta prueba determinar si existe algún grado de dependencia entre la percepción de los estudiantes y el programa al que pertenecen, es decir, identificar si los programas imprimen algún sello distintivo en cuanto a las maneras de pensar y concebir el proceso evaluativo por parte de los estudiantes. La significancia del estadístico Chi-cuadrada fue alta, lo que quiere decir que existió dependencia entre la calificación general que los estudiantes asignan a sus profesores y el Programa de Formación Académica al que pertenecen; en otros términos, se evidencia que la apreciación o percepción de los estudiantes con respecto a sus docentes, está condicionada por el programa de origen. En el caso del Centro Universitario de Ciencias de la Salud (cucs) de la Universidad de Guadalajara, para obtener la consistencia interna del cuestionario se consideraron 60 reactivos y se obtuvo un alpha de Cronbach de 0.92. Después se procedió a realizar un análisis factorial connotación Varimax y se obtuvieron 11 factores: autoevaluación del alumno; cumplimiento del programa; dominio, calidad y pertinencia del profesor; utilización de materiales didácticos; evaluación de las instalaciones; apoyo bibliográfico; asistencia y permanencia del profesor; habilidades didácticas; calidad de los materiales; responsabilidad del alumno, y habilidades de comunicación del alumno (Zambrano, 2005: 63-69). La administración de los cuestionarios fue realizada en forma grupal en las aulas del Centro de Estudios sobre la Salud. La aplicación de dichos instrumentos fue realizada por prestadores de servicio social signados al departamento durante la última semana de clases en cada materia. El procesamiento de datos fue realizado con el software estadístico spss. Se utilizaron tres pruebas t de student, Fischer y Correlación de Pearson. Entre lo significativo de los resultados fue que los alumnos valoraron “de bueno a regular” a sus profesores, y los valoraron por debajo de cómo ellos se autoevalúan como estudiantes (Zambrano, 2005: 63-69). En la experiencia descrita dentro de la Universidad de Ontario, se refieren estudios de opinión de la Facultad, experimentos de campo y comparaciones longitudinales, dentro de los cuales se realizaron análisis de validez y confiabilidad mediante estudios de fiabilidad de multisección y correlaciones (Murray, 2005: 1-15). Gómez (2008: 115-126), de la Universidad del País Vasco, hace una reflexión teórica sobre el problema de la definición y la selección de posibles Examina_evaluacion 19 NOV.indd 144 12/19/14 1:25 PM LOS REFERENTES EN EL ESTADO DEL ARTE DE LA EVALUACIÓN DE LA DOCENCIA UNIVERSITARIA 145 indicadores de la calidad docente; el autor señala que la subjetividad de los actores y los objetivos propios de las instituciones determinan los indicadores pertinentes para obtener la información. Asimismo, realiza un recorrido a través de la evolución de la enseñanza en los últimos 40 años, encontrando una relación directa con la evaluación de la docencia. Sugiere tres paradigmas para llevar a cabo la evaluación: 1) positivista; 2) transaccional o naturalista, y 3) crítico o emancipador. La evaluación desde el paradigma positivista alude a la eficiencia medida con puntuaciones y con test estandarizados; con este paradigma se incluyen bastantes estudios relativos a la fiabilidad y validez interna de los instrumentos. El paradigma naturalista cuya base es el humanismo liberal reconoce la variedad de experiencias y subjetivismo que hay en las comunidades de aprendizaje, especialmente en cuanto a creencias y comportamientos. El tercer paradigma reconoce que las comunidades de aprendizaje son autosuficientes, capaces de reflexión crítica y, por lo tanto, de definir sus propios indicadores. Concluye que la elección puede ubicarse en uno de estos paradigmas o en la combinación de los mismos llevada a cabo con una fuerte fundamentación, siempre y cuando sea pertinente a la institución y concuerde con el evaluador. En la Universidad de Chile se realizó una revisión de las dimensiones y criterios de la evaluación docente, donde en un inicio se toman dimensiones de control: administrativa, personal y curricular, para centrarse en las dimensiones del proceso de enseñanza-aprendizaje de los contenidos y necesidades de los alumnos, por medio de comunicaciones de interacción entre el docente y el alumno. Se refiere a una experiencia constructivista, proponiendo un triángulo similar de relaciones para dar cuenta de los procesos constructivos en el aula. La concepción constructivista nos demuestra que el aprendizaje escolar es el resultado de un proceso complejo de intercambios funcionales que se establecen entre los siguientes elementos: el alumno que aprende, el contenido que es el objetivo del aprendizaje y el profesor que ayuda al alumno a construir significados y atribuir sentido a lo que aprende. Para Marchesi citado por Baeza (2003: 12), las interacciones funcionales van más allá de las acciones que conforman los vértices del triángulo. Lo que el alumno aporta al acto de aprender es su actividad mental constructiva; un elemento mediador entre la enseñanza del profesor y los resultados de aprendizaje que obtiene el estudiante (véase figura 1). Examina_evaluacion 19 NOV.indd 145 12/19/14 1:25 PM 146 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA FIGURA 1. Interacciones funcionales Propuesta docente Conocimiento Interacción educador-educando Satisfacción de necesidades Enseñanza Aprendizaje Reflexión sobre la acción Fuente: Baeza (2003). De los estudios realizados por Feldman (1997: 95), se deriva que los instrumentos de evaluación han aportado a favor de obtener información que sirve para retroalimentar a los profesores y no se duda que resultan de las formas de evaluación de personal más estudiadas. Las limitaciones con las que nos encontramos al realizar la revisión para enunciar la situación de la docencia universitaria desde su perspectiva metodológica fueron las siguientes: • No todos los trabajos reportan los instrumentos empleados, en ocasiones, sólo se describen las dimensiones que los integran. Los instrumentos atienden a una conformación general, no se percibe que haya especificidad atendiendo a las disciplinas que serán evaluadas. • En pocos casos se reportan las pruebas estadísticas que realizaron en sus trabajos. Examina_evaluacion 19 NOV.indd 146 12/19/14 1:25 PM LOS REFERENTES EN EL ESTADO DEL ARTE DE LA EVALUACIÓN DE LA DOCENCIA UNIVERSITARIA 147 La evaluación de la docencia universitaria en cuanto a su regulación En este último apartado se abordarán los aspectos de la evaluación de la docencia que han sido integrados a la regulación universitaria de las instituciones por medio de sus leyes y estatutos. Cabe aclarar que no siempre estos procesos están regulados de manera explícita en los documentos institucionales. Sin embargo, en aquellas instituciones que no han pasado por alto el proceso de regular la evaluación de la docencia, generalmente lo incluyen por indicaciones de instancias externas, 2 como es el caso de las universidades españolas, que lo hacen en razón de las demandas de la Agencia Nacional de Evaluación de la Calidad y Acreditación (aneca) donde se diseñó el “Modelo Docentia” que responde a los alcances que establece el acuerdo de Bolonia en el sentido “que favorezca los principios de calidad, movilidad, diversidad y competitividad entre universidades europeas creando un Espacio Europeo de Educación Superior” (aneca, 2006: 4). ¿Cuáles son los aspectos primordiales que se integran a la regulación en el caso de la evaluación de la docencia? En algunas instituciones de educación superior establecen en sus estatutos lo que definen como docencia y evaluación de la misma. Un elemento que se incluye a regular en estos procesos es la periodicidad con la que se efectuará la evaluación precisando si se llevará a cabo de forma semestral o anual. Además de subrayar la obligatoriedad para realizar tal actividad en relación con los actores que se ven involucrados. Los aspectos críticos a evaluar se muestran de forma más puntual, por ejemplo, en el caso de la Universidad de la Rioja (2002: 4); se evaluarán según sus reglamentos (artículo 2) los siguientes aspectos: 2 La ley orgánica 6/2001 de 21 de diciembre, de Universidades (lou) artículo 31, apartado 26, responsabilizó a la Agencia Nacional de Evaluación de la Calidad y Acreditación (aneca) y a los órganos de evaluación que la Ley de las Comunidades Autónomas determinase, para llevar a cabo estas evaluaciones. Por otra parte, la misma Ley, en su artículo 43.3, indica que los Estatutos de las universidades dispondrán de procedimientos para la evaluación periódica del rendimiento docente y científico del profesorado (aneca, 2006: 5-6). Habría que considerar que la aneca fundamenta también su trabajo siguiendo los Criterios y Directrices para la Garantía de Calidad en el Espacio de Educación Superior Europeo. Examina_evaluacion 19 NOV.indd 147 12/19/14 1:25 PM 148 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA 1. 2. 3. 4. 5. 6. Asistencia y puntualidad a clases. Programación docente y grado de cumplimiento. Preparación científico didáctica del profesor. Adecuación de los criterios de evaluación. Interacción con los alumnos. Tiene carácter obligatorio. En la legislación de algunas instituciones educativas superiores, se advierte que se incorporan órganos cuya composición, elección y permanencia quedan establecidos para llevar a cabo actividades concretas como son: […] velar por la calidad de la enseñanza que se imparta, a cuyo efecto podrá requerir de asesoramiento técnico de los institutos de ciencias de la educación o bien de los centros y departamentos; evaluar anualmente y proponer medidas para la optimización de la docencia además de informar cuantas acciones se estimen oportunas en orden a la promoción y perfeccionamiento didáctico y científico de los profesores y de los estudiantes. Además de presentar informes que le sean solicitados desde los centros y departamentos. Incluso tendrán que resolver conflictos relativos a la docencia atendiendo al reglamento de centros y departamentos (Universidad de Sevilla, 2008: 31). En el caso de algunas universidades españolas que han respondido a los lineamientos de la aneca, se advierte la figura de la inspección a la docencia que tiene como objetivo asegurar el cumplimiento de las actividades docentes y de planificación del profesorado. 3 Según los análisis efectuados a diferentes legislaciones universitarias a las que se pudo acceder, los resultados no escapan a los exámenes de la regulación. En términos jurídicos los resultados son utilizados para clasificar los desempeños como satisfactorios o no satisfactorios de acuerdo con los estándares previamente establecidos por la reglamentación que se apruebe para tal efecto, además se vinculan con el pago de retribuciones económicas. 3 La Inspecciones de Servicios Docentes de varias universidades en España han realizado, de 2005 a la fecha, seguimientos a la actividad docente, sobre todo en aquellos elementos que subrayan como tangibles y que los marcos jurídicos incluyen. El seguimiento se efectuó en la Universidad de Sevilla, Universidad del País Vasco, Universidad de Córdoba y Universidad Complutense de Madrid (Piedra, 2007: 2-5). Examina_evaluacion 19 NOV.indd 148 12/19/14 1:25 PM LOS REFERENTES EN EL ESTADO DEL ARTE DE LA EVALUACIÓN DE LA DOCENCIA UNIVERSITARIA 149 Si el rendimiento docente no es satisfactorio, las sanciones adquiridas van desde no efectuar retribuciones adicionales hasta no autorizar la enseñanza. Asimismo, los resultados se asocian a la necesidad de llevar a cabo acciones de formación docente dirigidas a corregir las deficiencias. Vale la pena agregar que en los marcos jurídicos universitarios revisados, no se incorpora la forma de difusión que deba darse al proceso. Respecto a la regulación jurídica de la evaluación de la docencia no se reportaron trabajos, de ahí que se decidió recuperar lo que algunas instituciones consideran relevante e integran a sus estatutos. Conclusiones Una de las ventajas de construir un estado del arte es que permite visualizar los distintos aspectos que se han discutido alrededor de la docencia universitaria y su evaluación; ahora se tiene más claridad acerca de las observaciones y recomendaciones que se deben tomar en cuenta para realizar tal actividad. De manera especial se subraya que la tarea de evaluación de la docencia debe ser el resultado de un esfuerzo donde el profesor participe. Asimismo será más redituable si para ello existe una formación en el área de evaluación. Se tiene claro que cada experiencia aquí reportada responde a un contexto, a una historia, a qué sentido tiene la docencia universitaria y para qué buscan la evaluación de la misma. En el siguiente capítulo se hará referencia al instrumento que fue dise-ñado durante los años 2008 y 2009 en razón de cuatro circunstancias: 1. 2. 3. 4. Los referentes reportados en este capítulo. Las experiencias registradas con el anterior instrumento. El Modelo Universitario Minerva y sus alcances. La participación colegiada de los miembros del Programa Institucional de Evaluación Académica (pieva). Examina_evaluacion 19 NOV.indd 149 12/19/14 1:25 PM 150 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Referencias Abrami Philip; Leventhal, Les y Perry, Reymond (1982). “Educational Seduction”, Review of Educational Research, núm. 3, vol. 52, Estados Unidos y Canadá: Concordia University y Universidad de Manitoba, pp. 446-464. Arbesú, María (1999). “Evaluación docente a través de la etnografía”, Revista Pensamiento Universitario, núm. 88, tercera época. México: Centro de Estudios sobre la Universidad (unam), pp. 165-183. Arbesú, María (2004). “Evaluación de la docencia universitaria: Una propuesta alternativa que considera la participación de los profesores”, Revista Mexicana de Investigación Educativa, núm. 23, vol. 9. México: comie, pp. 863-890. aneca (2006). “Docentia. Programa de apoyo para la evaluación de la actividad docente del profesorado universitario. Modelo de Evaluación” (en línea). Madrid, España: Agencia Nacional de Evaluación de la Calidad y Acreditación, Unidad de Proyectos, pp. 29. http://www.aneca.es/var/media/215769/docentia_modelo_070302. pdf, [consulta: 16 de septiembre de 2011]. Baeza, Adrián (2003). “Evaluación del docente en la universidad de Chile: La mirada desde los estudiantes”, Revista enfoques educacionales, núm. 1, vol. 5. Santiago, Chile: Universidad de Chile, pp. 29-49. Cabeza, María (2004). “Indicadores de gestión en la educación superior como herramienta de la planificación estratégica”, Revista Venezolana de Análisis de Coyuntura (en línea), núm. 2, vol. 10. Caracas: Universidad Central de Venezuela, pp. 105-116, http://redalyc.uaemex.mx/redalyc/pdf/364/36410206.pdf, consulta [consulta: 8 de septiembre de 2011]. De Juan, Joaquín; Pérez, Rosa; Gómez, María; Vizcaya, María y Mora, Jerónimo (2007). Buenas prácticas en la evaluación de la docencia y del profesorado universitario, Alicante, España: Universidad de Alicante, pp. 155-182. Díaz-Barriga, Ángel e Inclán, Catalina (2001). “El docente en las reformas educativas: Sujeto o ejecutor de proyectos ajenos”. Revista Iberoamericana de Educación (en línea), núm. 25. Madrid, España: Organización de los Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (oei), pp. 17-41, http://redalyc.uaemex. mx/redalyc/pdf/800/80002502.pdf [consulta: 16 de septiembre de 2011]. Feldman, Kenneth (1997). “Identifying exemplary teachers and teaching: evidence from student ratings”. En Perry, Raymond y Smart, John (Eds.). Effective teaching in higher education: Research and practice. New York: Agathon Press, pp. 368-395. Examina_evaluacion 19 NOV.indd 150 12/19/14 1:25 PM LOS REFERENTES EN EL ESTADO DEL ARTE DE LA EVALUACIÓN DE LA DOCENCIA UNIVERSITARIA 151 García, Benilde; Díaz-Barriga, Frida; Loredo, Javier; Luna, Edna; Pérez, Carmen; Reyes, Rafael; Rigo, Marco y Rueda, Mario (2004). “Algunas consideraciones sobre los aspectos teóricos involucrados en la evaluación de la docencia”. En Rueda, Mario y Díaz-Barriga, Frida (comps.). Evaluación de la docencia en la universidad. Perspectivas desde la investigación y la intervención profesional. México: Universidad Nacional Autónoma de México, pp. 13-86. García, J.M. (2007). “Las dimensiones de la efectividad docente, la validez y confiabilidad de los cuestionarios de evaluación de la docencia: síntesis de investigación internacional”. En Rueda, Mario y Díaz- Barriga, Frida (Coords.), La evaluación de la docencia. Perspectivas actuales, México: Paidós Educador, pp. 41-62. Benito, Manuel (2008). “El problema de la definición y selección de posibles indicadores de la calidad docente”. Revista de la Red Estatal de Docencia Universitaria, núm. 2, vol. 3. España: Universidad del País Vasco, pp. 41-62. Hutchings, Pat (1994). “The Peer Collaboration and Review of teaching”, en American Council of Learned Societies. Occasional Papers, núm. 33. Estados Unidos: American Association for Higher Education-Teaching Initiatives Group. Luna, Edna (2007). “Aspectos implícitos sobre la enseñanza, reflejados en los cuestionarios de evaluación de la docencia”. En Rueda, Mario y Díaz-Barriga, Frida (Coords.), Evaluación de la docencia. Perspectivas actuales. México: Paidós Educador, pp. 63-83. Martínez, Felipe (2000). “Consideraciones sobre la evaluación del personal académico por parte de los alumnos”. En anuies, Evaluación del desempeño del personal académico. Análisis y propuesta de metodología básica, Colección Biblioteca de Educación Superior. Serie de Investigaciones. México: anuies, pp. 63-83. Mauri, Teresa, Coll, César y Onrubia, Javier (2007). “La evaluación de la calidad de los procesos de innovación docente universitaria. Una perspectiva constructivista”. En Red U. Revista de Docencia Universitaria (en línea), núm. 1, vol. 1. Barcelona: Universidad de Murcia, pp.1-11, (en línea)http://revistas.um.es/redu/article/ view/3341/3241 [consulta: 9 de septiembre de 2011]. Moreno, Patricia (1999). “Hacia un modelo de evaluación del desempeño docente de la planta de profesores de la Universidad Iberoamericana Plantel Golfo Centro”, tesis de Maestría, Puebla, México, 192 pp. Murillo, Javier, González de Alba, Verónica y Rizo, Héctor (2007). Evaluación del desempeño y carrera profesional docente. Un estudio comparado entre 50 países de América y Europa. Santiago de Chile, orealc/unesco, 120 pp. Examina_evaluacion 19 NOV.indd 151 12/19/14 1:25 PM 152 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Murray, Harry (2005). “Student Evaluation of Teaching: Has It Made a Difference?”, Documento presentado en la Reunión Anual de la Society for Teaching and Learning in Higher Education, Canadá, University of Western Ontario, pp. 1-15 (en línea), http://www.stlhe.ca/wp-content/uploads/2011/07/Student-Evaluation-ofTeaching1.pdf, [consulta: 20 de septiembre de 2011]. Rizo, Héctor (2004). “Evaluación del docente universitario: una visión institucional”, en Revista Iberoamericana de Educación (en línea), núm. 34, vol. 4. Organización de Estados Iberoamericanos, pp. 1-15, http://www.rieoei.org/deloslectores/883Rizo. pdf [consulta: 20 de septiembre de 2011]. Rueda, Mario (1999). “Notas para una agenda de discusión sobre la evaluación de la docencia en las universidades”, en Revista Pensamiento Universitario, núm. 88. México: Universidad Nacional Autónoma de México, Centro de Estudios sobre la Universidad, pp. 203-215. Rueda, Mario y Díaz-Barriga, Frida (2007). Evaluación de la docencia. Perspectivas actuales. México: Paidós Educador, 364 pp. Rueda, Mario, Elizalde, Leticia y Torquemada, Alma (2003). “La evaluación de la docencia en las universidades mexicanas”, Revista de la Educación Superior (en línea), núm. 127. México, anuies, pp. 71-77. http://www.anuies.mx/servicios/p_ anuies/publicaciones/revsup/127/02e.html [consulta: 20 de octubre de 2011]. Universidad de la Rioja (2002). Normativa para la evaluación de la actividad docente del profesorado (en línea), http://www.unirioja.es/servicios/ose/pdf/ normativaevaldocente.pdf [consulta: 20 de octubre de 2011]. Universidad de Sevilla (2008). Acuerdo 5/CU 22-10-07- de aprobación del Proyecto de adaptación del Estatuto de la Universidad de Sevilla a la Ley Orgánica 4/2007. Universidad de Sevilla, Boletín Oficial de la Universidad de Sevilla (en línea) http://www.us.es/downloads/acerca/normativa/estatuto.pdf [consulta: 20 de octubre de 2011]. Valdés, Héctor (2000). “Encuentro Iberoamericano sobre Evaluación del Desempeño Docente”, Ponencia presentada en el evento “Evaluación del Desempeño Docente”, Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura. Desarrollo Escolar (en línea), http://www.oei.es/de/rifad01.htm [consulta: 15 de septiembre de 2011]. Vásquez, Fredy y Gabalán, Jesús (2006). “Percepciones estudiantiles y su influencia en la evaluación del profesorado. Un caso en la Universidad Autónoma de Occidente, Cali–Colombia”, Revista Electrónica de Investigación y Evaluación Educativa RELIEVE (en línea), núm. 2, vol. 12. España: Universidad de Valencia, pp. 219- Examina_evaluacion 19 NOV.indd 152 12/19/14 1:25 PM LOS REFERENTES EN EL ESTADO DEL ARTE DE LA EVALUACIÓN DE LA DOCENCIA UNIVERSITARIA 153 245, http://www.uv.es/RELIEVE/v12n2/RELIEVEv12n2_3.htm [consulta: 20 de noviembre de 2011]. Zabalza, Miguel (2006). Competencias del profesorado universitario. Calidad y desarrollo profesional. Madrid: Narcea, 241 pp. Zambrano, Rogelio; Meda, Rosa y Lara, Baudelio (2005). “Evaluación de profesores universitarios por parte de los alumnos mediante el cuestionario de evaluación de desempeño docente (ceded)”, Revista de Educación y Desarrollo, núm. 4. Guadalajara, México: Universidad de Guadalajara, Centro Universitario de Ciencias de la Salud, pp. 63-69. Examina_evaluacion 19 NOV.indd 153 12/19/14 1:25 PM Examina_evaluacion 19 NOV.indd 154 12/19/14 1:25 PM CAPÍTULO 5 Un nuevo cuestionario para evaluar la docencia en la buap: los resultados de un proceso colegiado María Patricia Moreno Rosano y María de la Soledad García Venero Introducción El propósito de este capítulo es presentar el resultado de un trabajo colegiado: un cuestionario para evaluar la docencia desde la perspectiva del estudiante, sustentado en un conjunto de actividades que el Programa Institucional de Evaluación Académica (pieva) de la Benemérita Universidad Autónoma de Puebla puso en marcha en julio de 2006. El recorrido implicó, primero, que el grupo responsable recuperara la historia institucional en relación con las experiencias que se tienen con respecto a la evaluación de la docencia; actividad que incluyó el tratamiento estadístico de las bases de datos institucionales de cuatro años, resultados que se derivaron de la aplicación del instrumento que hasta el verano de 2009 fue utilizado y que permitieron identificar las principales fortalezas y debilidades del desempeño de la docencia de 2005 a 2008. Los procesos anteriores prácticamente coincidieron con la construcción y puesta en marcha del Modelo Universitario Minerva, que tiene entre sus objetivos trazar nuevas formas de hacer docencia que permita logros diferentes en cuanto al aprendizaje de los estudiantes. Cabe subrayar que el Modelo sustenta la relación aprendizaje-enseñanza en el paradigma constructivista con un enfoque Examina_evaluacion 19 NOV.indd 155 12/19/14 1:25 PM 156 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA sociocultural. Lo anterior propició que para diseñar un nuevo instrumento que evaluara la docencia se llevarían a cabo dos actividades centrales, por un lado, estudiar de manera minuciosa la filosofía educativa que sustenta el Modelo Educativo para lograr comprender el grado de vinculación que tienen en el Modelo: el estudiante, el profesor y el aprendizaje. Por otro lado, realizar un estado del arte que orientara los esfuerzos colegiados sobre los avances que hay en cuanto a experiencias para evaluar la docencia en la educación superior, tanto en México como en otras partes del mundo. Este capítulo recupera los resultados de las actividades descritas, así como un número significativo de recomendaciones tanto metodológicas como técnicas, además, busca responder a un interés institucional por seguir explorando acerca de la evaluación de la docencia con el ánimo de aportar elementos que orienten a un interés primordial: la formación de los profesores. Las dimensiones del instrumento: los ejercicios previos para su construcción El propósito, por ahora, sólo considera la evaluación del desempeño docente desde la perspectiva del estudiante en un único instrumento. Para proyectos posteriores se ha pensado incluir tanto la autoevaluación del docente como del estudiante que sirvan como elementos comparativos, además de no descartar la evaluación de los pares, así como la evaluación del profesor por medio de portafolios. Atendiendo a las recomendaciones de la literatura al respecto, el instrumento propuesto está conformado por varias dimensiones sobre todo porque la docencia, como afirma Marsh, “es una actividad compleja y multidimensional” (García, 2007: 44). Fueron incluidos tres aspectos para su construcción: primero, no olvidar las dimensiones que habían sido valiosas por sus resultados del instrumento anterior; segundo, tomar en cuenta la opinión del profesorado participante, y tercero, comprender lo mejor posible el Modelo, en especial, la teoría constructivista, y que se pudieran elaborar algunas dimensiones desde esa perspectiva teórica. Examina_evaluacion 19 NOV.indd 156 12/19/14 1:25 PM UN NUEVO CUESTIONARIO PARA EVALUAR LA DOCENCIA EN LA BUAP 157 Las dimensiones fueron el resultado de un taller efectuado en marzo de 2009 cuya tarea central fue el diseño de un cuestionario de opinión para evaluar la docencia, subrayando la metodología y los aspectos técnicos que deben seguirse en su construcción. No se pueden pasar por alto las discusiones académicas que se generaron una vez que cada mesa de trabajo presentó sus aportaciones con su respectivo sustento académico. Las discusiones fueron propias de un grupo que comprendía distintas formaciones disciplinarias y miradas particulares de la actividad docente que, en algún momento, tuvieron que hacer convergencia. Lo anterior permitió identificar en cuáles dimensiones las mesas de trabajo coincidían y en cuáles no, y el porqué. Las dimensiones que presentaron mayor número de coincidencias y fueron apoyadas con argumentaciones que se derivaron de literatura especializada, análisis del anterior instrumento, y del mum fueron las siguientes: 1 1. 2. 3. 4. 5. 6. 7. General-Institucional. Resultados de aprendizaje. Mediación. Relación. Planeación del proceso enseñanza-aprendizaje. Estrategias y recursos. Evaluación al estudiante. Las dimensiones expresadas con anterioridad dieron paso a una serie de componentes que fueron los referentes para derivar en una tercera fase, los indicadores que se incluirían en el nuevo instrumento de evaluación. Cabe aclarar que el número de componentes que aparece en la tabla 1 es una selección y resumen de los presentados por cada mesa y que se acercaban en lo posible a la intención del alcance de la dimensión. 1 El taller se llevó a cabo los días 5, 6, y 7 de marzo de 2009 en las instalaciones del Complejo Cultural de la buap. Restamos méritos a la persona responsable de su conducción al no poder plasmar todas las discusiones y experiencias vividas. En el orden teórico nos llevó a distinguir y precisar los conceptos clave para la elaboración del instrumento, así como a comprender las herramientas metodológicas para su diseño. Examina_evaluacion 19 NOV.indd 157 12/19/14 1:25 PM 158 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA TABLA 1. Dimensiones y componentes Dimensión Componentes (derivan en indicadores) Asistencia. Puntualidad. Generales Institucionales Conocimiento (dominio) de la asignatura (en términos de la seguridad que percibe el estudiante). Entrega oportuna del programa. Responsabilidad y cumplimiento (identidad institucional). Son significativos (funcionales). Pertinentes con el entorno. Vinculados con la realidad. Que corresponden a los objetivos planteados. Resultados de aprendizaje Que responden a la formación integral: saber, hacer y ser Promueven el desarrollo de habilidades de pensamiento complejo (crítico, reflexivo y creativo). Promueven el desarrollo de habilidades de investigación. Promueven el desarrollo de habilidades de comunicación en otro idioma. Mejoran el manejo de recursos tecnológicos. Comunicación efectiva (eficiente y eficaz en términos de accesabilidad y diálogo). Interacción adecuada con los estudiantes. Generación de desequilibrio cognitivo (ajuste y desajuste del que construye). Contextualización (aprender de actividades con própositos reales... a partir de interrogantes significativas para el estudiante y sus intereses). Mediación Orientación del grupo. Participación colaborativa. Atención a diferencias individuales (en términos de avances cognitivos o diferentes estilos de aprendizaje). Fomento de discusión en la diversidad de opiniones. Desarrollo de habilidades del pensamiento: • Fomento del pensamiento independiente • Fomento de la autonomía • Fomento del reto intelectual (complejo) • Práctica reflexiva Examina_evaluacion 19 NOV.indd 158 12/19/14 1:25 PM UN NUEVO CUESTIONARIO PARA EVALUAR LA DOCENCIA EN LA BUAP Dimensión Mediación 159 Componentes (derivan en indicadores) Fomento de procesos de relación(inter y multidisciplinaria... con otras asignaturas del plan de estudios. Orientación hacia el estudiante. Relación profesorestudiante Compromiso con el estudiante: • Respeto • Tolerancia • Credibilidad (confianza en sus propias capacidades) • Solidaridad • Aceptación • Flexibilidad • Disposición (compromiso y ayuda) Empleo de problemas. Empleo de casos. Empleo de proyectos. Estrategias y recursos Utilización de tic´s (empleo de plataformas, software especializado). Utilización de recursos bibliográficos y hemerográficos que favorecen el segundo idioma. Investigación. Trabajo en equipo. Diagnóstica (utilizando diferentes recursos). Formativa (utilizando diferentes recursos). Evaluación al docente Sumativa (utilizando diferentes recursos). Retroalimentación constante. Evaluación que se ajuste al programa. Evaluación objetiva, oportuna y útil. Evaluación justa (equitativa). Preparación de ambientes de aprendizaje (de cada sesión adaptada al grupo, preparación de las tareas del aprendizaje, planeación de las tareas, estrategias de aprendizaje y recursos didácticos). Planeación Organización y secuencia. Cumplimiento del programa. Objetivos claros (referido a la claridad de las metas que tienen que lograr). Instrumentos de evaluación. Retroalimentación. Fuente: Elaboración propia derivado de las aportaciones en el Taller para integrantes del pieva, (buap, 2009). Examina_evaluacion 19 NOV.indd 159 12/19/14 1:25 PM 160 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Fue importante para el grupo tener claro qué estábamos entendiendo por cada dimensión y qué peso porcentual les asignaríamos. A cada una corresponde un peso cuyo criterio atendió a la importancia que los profesores observaron, podrían tener en relación con el nuevo modelo educativo, así como al desarrollo que plantean los teóricos del constructivismo y la práctica docente cotidiana (véase tabla 2). Vale la pena añadir que se argumentó que de concretarse un instrumento nuevo debía, entonces, seguir socializándose el Modelo y capacitando a los docentes en cuanto a los propósitos del mismo. En relación con la primera dimensión, llamada “generales institucionales”, está integrada por componentes que derivaron del trabajo estadístico con el instrumento anterior y que no se pueden soslayar en el nuevo instrumento, ya que guardan sintonía con los aspectos que debe cumplir el profesor al ser contratado, pero se le considerará sin peso en el Índice de Satisfacción Ponderado en el apartado didáctico. Se incluyeron aspectos como la asistencia, la entrega del programa, el dominio de la asignatura (véase tabla 2). Siguiendo la descripción de la lista, los estudiosos de la evaluación de la docencia mencionan que, en México, muy pocos cuestionarios evalúan a los profesores a partir de los resultados del aprendizaje. En el caso del pieva, se tiene claro que hay un sentido ontológico de las actividades de aprendizaje y enseñanza; el sentido que tenga la enseñanza depende del sentido que se dé al aprendizaje y que éste dependerá de las actividades ideadas por la enseñanza, admitiendo que no todo tipo de enseñanza facilita el aprendizaje. Asimismo, el dominio de la asignatura tampoco es suficiente para lograr aprendizajes de los estudiantes. Es necesario saber cómo enseñar la asignatura. Básicamente son tres las dimensiones que resultan de importancia mayúscula para el constructivismo tendencia dominante en el Modelo Universitario Minerva: los resultados de aprendizaje, la mediación y la relación. En cuanto al aprendizaje, Kohl de Oliveira (2008: 48) afirma que en el pensamiento vigotskiano, la noción de aprendizaje significa proceso de enseñanza-aprendizaje, justamente para incluir al que aprende, al que enseña y la relación social entre ellos, de modo coherente con la perspectiva sociohistórica. El aprendizaje consiste, así, en la internalización progresiva de los instrumentos mediadores, señalando que todo proceso psicológico superior va de lo externo a lo interno, de las interacciones sociales a las acciones internas, psicológicas. Castorina (2000: 17) cita a Álvarez y Del Río quienes mencionan que la atención prestada a los procesos de aprendizaje responde a que ellos obligan al proceso de Examina_evaluacion 19 NOV.indd 160 12/19/14 1:25 PM UN NUEVO CUESTIONARIO PARA EVALUAR LA DOCENCIA EN LA BUAP 161 mediación y lo potencian, de forma que el desarrollo cultural del sujeto equivale a su adquisición de los sistemas sociales de mediación y representación. El camino del desarrollo del ser humano está, en parte, definido por los procesos de maduración del organismo del individuo de la especie humana, pero es el aprendizaje lo que posibilita el despertar de procesos internos de desarrollo que no tendrían lugar si el individuo no estuviese en contacto con un determinado ambiente cultural (Kohl de Oliveira, 2000: 47). El planteamiento de Vigotsky, involucra tanto al que aprende como al que enseña, donde por cierto, la idea de alguien que enseña también puede concretarse en objetos, en sucesos, en situaciones o en formas de organización de la realidad y en la propia lengua. Lo anterior permite explicar que las personas no necesitan aprender todo en clases, pues en el ambiente cultural donde se encuentran inmersos tienen aprendizajes también. Sin embargo, los resultados de aprendizaje que aquí nos interesan son aquellos que se expresan en un proceso deliberado, explícito, intencional de la intervención pedagógica como un mecanismo privilegiado. Para Kohl de Oliveira (2000: 49) esto ocurre sólo en la escuela donde el profesor tiene una función explícita de intervención –y por lo tanto de desarrollo– originando avances que no ocurrirían de forma espontánea. En ese sentido, en el transcurso del taller, se decidió que cuando se asignara los pesos porcentuales que cada dimensión tendría, ésta debería ser de las más significativas (véase tabla 2). La mediación es un proceso muy complejo que recién se ha comenzado a comprender y a estudiar. Saint-Onge (1997: 162) afirma que el saber no es un producto prefabricado; cada uno tiene que construirlo. El alumno debe ser dirigido en la construcción de su propio saber. La mediación asegura la calidad de la marcha del estudiante en su búsqueda del saber. Castorina (2000: 18) afirma que la mediación es un “espacio” dinámico en el que no se trabaja sólo sino con la ayuda de otro, [aunque considera que] en el futuro podrá hacerlo de manera individual. Así señala que en el curso de la interacción que se produce entre el profesor y el estudiante, se encuentran las actividades que apuntan a los procesos intelectuales de pensamiento o de razo-namiento. Hyman divide las actividades de los que enseñan en dos categorías: 1. Las operaciones lógicas que tienen como objetivo la activación de los procesos mentales, por ejemplo, exponer, definir, explicar, comparar, asociar, deducir, concluir, justificar. Examina_evaluacion 19 NOV.indd 161 12/19/14 1:25 PM 162 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA 2. Las operaciones estratégicas destinadas a influir en la marcha del aprendizaje del estudiante y a conducir actividades intelectuales, por ejemplo, preguntar, verificar, evaluar, animar, atraer la atención, motivar, etc. (Saint-Onge 1997: 162). Al situar la relación entre aprendizaje y desarrollo en el contexto de la internalización de los sistemas de mediación, se comprende la afirmación de Vigotsky: “el aprendizaje organizado se convierte en el desarrollo mental y pone en marcha una serie de procesos evolutivos que no podrían darse nunca al margen del aprendizaje” (Castorina, 2000: 20). Desde el contexto institucional, la buap espera que la formación que adquieran gradualmente los profesores, les permita ubicar y realizar una serie de operaciones que forman parte de la mediación. No se duda que un buen número de profesores realicen estos procesos, pero didácticamente se desconoce la importancia de su alcance. En atención a ello se asigna un valor porcentual significativo a la mediación. En cuanto a dimensionar la relación se marca una diferencia en el sentido que ésta expresa las formas del interactuar humano del profesor y el estudiante desde el punto de vista de los valores que se hacen evidentes en el proceso de enseñanza-aprendizaje, valores que logran manifestarse a través de las actitudes que se expresan en el desempeño de la actividad del docente. Si bien es importante la mediación como proceso intelectual, ello se acompaña de relaciones humanas que se pueden caracterizar por el apoyo que el profesor manifiesta para lograr que el estudiante aprenda. Zabalza (2006: 119) opina que la sensibilidad es un aspecto clave de la identidad del profesor para responder a las demandas de los alumnos y comprender cómo éste aprende. El respeto se manifiesta en el clima de la clase, la tolerancia y la apertura son parte de los procesos pedagógicos, espacios donde los estudiantes pueden cuestionar y responder sin preocupación o temor a equivocarse. Además, la dimensión incluye la autonomía y la flexibilidad con la que los estudiantes pueden tomar decisiones en relación con su propio aprendizaje, situación que les permite ganar confianza en su crecimiento personal (buap, 2009). Las tres últimas dimensiones tienen pesos menores, sin embargo, ello no les resta importancia, pues resultan básicas para el desempeño del profesor (véase tabla 2). Tanto la planeación como la selección de estrategias y recursos son etapas que pertenecen a una fase preactiva. Examina_evaluacion 19 NOV.indd 162 12/19/14 1:25 PM UN NUEVO CUESTIONARIO PARA EVALUAR LA DOCENCIA EN LA BUAP 163 La planificación y la preparación de los cursos varían según la comprensión que los que enseñan tengan de su trabajo. Se pueden manifestar dos tipos de respuesta a esa comprensión; una intuitiva que le sirve al profesor para seleccionar actividades que le ayudarán a sortear el trabajo en el aula, o bien, otra que dará una respuesta sistemática donde las actividades se seleccionan en función de las mejores condiciones de enseñanza-aprendizaje. Afirma Saint-Onge (1997: 165-167) que la primera labor consiste en idear el método de enseñanza, es decir, elaborar las estrategias didácticas (la secuencia de los contenidos), de mediación (las actividades de clase) y de estudio (trabajos autónomos). Después habrá que distribuir en el tiempo programado las actividades previstas por el método. Para cada encuentro hay que seleccionar o elaborar los instrumentos pedagógicos necesarios. No se pasa por alto que la planificación no exista en el esquema de algunos docentes. Es posible encontrar profesores que esta dimensión la puedan llevar a la mínima expresión: ¿qué voy a enseñar hoy? En el transcurso de la fase postactiva, los que enseñan evalúan los resultados del proceso y los tienen en cuenta para rectificar su nueva preparación, así sacan provecho de su experiencia. Sin embargo, esto exige que desarrollen las habilidades necesarias para hacer una evaluación de calidad. Jackson ha llamado la atención de los investigadores sobre la importancia de describir los procesos de pensamiento y de planificación de los profesores con el fin de comprender los sucesos que se observan en clase. Ante todo, hay que elaborar instrumentos de medida, es decir, idear una estrategia para recoger la información y emitir un juicio lo más objetivo posible sobre los aprendizajes logrados y las correcciones a que se hacen acreedores los estudiantes (Saint-Onge, 1997: 171-172). Las escalas de estos instrumentos deben incluir elementos tanto cualitativos como cuantitativos. Cabe aclarar que la buap tiene especial interés en llevar a cabo seguimientos de esta dimensión en el nuevo instrumento, debido a los resultados nada alentadores en el anterior instrumento. 2 2 En el instrumento utilizado durante 2002-2009, el reactivo número 11 que alude a: “si el maestro informó sobre los problemas detectados en la primera evaluación”, los resultados obtenidos para tal ítem son negativos prácticamente en todas las unidades académicas. Lo anterior permite inferir que las evaluaciones al estudiante no están siendo utilizadas como elemento de retroalimentación. Entonces ¿cómo sabrá el estudiante qué está aprendiendo? De ahí la importancia de formar al profesor en aspectos que son propios e importantes del ejercicio docente. Examina_evaluacion 19 NOV.indd 163 12/19/14 1:25 PM 164 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA La construcción de las dimensiones y los componentes que las integran son parte de la primera fase con la que concluyó el taller. La segunda fase comprendió la construcción de ítems que estuvieran en sintonía con cada una de las dimensiones registradas. TABLA 2. Dimensiones del instrumento y su peso específico (original) Dimensión Peso Generales institucionales Sin peso específico Resultados de aprendizaje 25% Mediación 20% Relación 20% Estrategias y recursos 14% Evaluación al estudiante 11% Planeación 10% Total 100% Fuente: buap (2009). Una larga marcha: la construcción y la revisión de ítems Una vez que se habían logrado consensos en cuanto a las dimensiones y componentes de las mismas, la siguiente tarea implicaba desarrollar los ítems necesarios para construir un cuestionario que sería utilizado por más de 60 mil estudiantes. La tarea anterior implicó la programación de reuniones a lo largo de tres meses (abril, mayo y junio de 2009) para concretar la actividad. Estábamos convencidos como grupo, que de no tener un instrumento confiable y válido, haríamos uso del anterior, pues las presiones a causa del poco tiempo no debían demeritar el esfuerzo de tal tarea. Resulta conveniente advertir que aun cuando los diferentes avances del grupo son importantes como proceso, sólo incluiremos la versión final del instrumento utilizada a partir de la primavera de 2010, ya que esta versión es el resultado de todas las observaciones, pilotajes, sugerencias de ajustes y pruebas estadísticas que se manifestaron desde junio de 2009. Lo anterior no impide describir algunos de los procesos alrededor de la construcción de las primeras versiones de las que se fue elaborando un seguimiento. La primera versión del cuestionario puede considerarse una muestra del espíritu obsesivo del grupo por “pretender evaluar muchos aspectos”; no que- Examina_evaluacion 19 NOV.indd 164 12/19/14 1:25 PM UN NUEVO CUESTIONARIO PARA EVALUAR LA DOCENCIA EN LA BUAP 165 ríamos que nada escapara. Hubo manifestaciones obsesivas por la dimensión de mediación, otras por los resultados de aprendizaje y algunas más por la relación entre estudiantes y profesores. El cuestionario constó de 49 ítems. Esta versión recibió las observaciones de la asesora del grupo pieva quien, de manera especial, advirtió que el instrumento era demasiado extenso; además, nos enfrentamos al hecho de que algunos ítems no eran observables a nivel de comportamiento, o bien habíamos descuidado el uso de las escalas y lo que pretendíamos medir. Incluso, nuestra asesora señaló el desequilibrio entre las dimensiones al otorgar más valor a resultados de aprendizaje y construir mayor número de ítems a mediación cuyo valor porcentual es menor que resultados de aprendizaje (véase tabla 2). Además, algunos ítems preguntaban por varios desempeños al mismo tiempo. De igual manera, algunos parecían pertenecer a una dimensión cuando podían ser parte de alguna otra. Y que ciertos ítems podían dar paso a otra dimensión no incluida, en este caso, ejes transversales. Una revisión tan puntual resultó a nuestro favor, pues ello permitió corregir, pero al mismo tiempo, aprender a elaborar un ejercicio de tal magnitud. El cuestionario fue leído por más de 100 estudiantes quienes debían expresar qué tan claras eran las preguntas y sí eran lo suficientemente comprensibles. Lo anterior llevó a la tarea de corregir la redacción de algunos de los ítems. Al final, aun cuando fue claro que no se trataba de la versión definitiva, se decidió probar suerte y subirlo al Sistema Banner para utilizarlo en el periodo de otoño de 2009. Por cuestiones de capacidad, en dicho sistema sólo se pudieron integrar 43 ítems, lo que llevó a eliminar seis preguntas. El pilotaje serviría para saber el comportamiento de cada dimensión, y al mismo tiempo, comprender la redacción del mismo. Los resultados no fueron tomados en cuenta de manera institucional, pues sólo se trataba de un ejercicio. Fueron completadas 111 947 evaluaciones que permitieron ver que cada dimensión mantuvo una distribución de resultados muy cercana a la curva normal. A observaciones profesionales, correcciones y acciones pertinentes El instrumento (en su versión final) prácticamente conservó las mismas dimensiones que se asumieron desde el primer ejercicio, aunque se agregó una más, denominada “ejes transversales”. Lo anterior no aumentó ítems, sino que reorganizó mejor las preguntas que se habían elaborado y que daban Examina_evaluacion 19 NOV.indd 165 12/19/14 1:25 PM 166 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA pauta a tal dimensión que también pudo ser sustentada desde el mum. Los ejes transversales 3 se constituyen en un conjunto de conocimientos que van en el orden de lo cognitivo, axiológico, estético, comunicativo y de la tecnología, cuya aplicación en el estudio de las asignaturas de la disciplina (léase, Derecho, Medicina, Química, etc.) favorecerán el desarrollo integral establecido en el perfil de egreso institucional, conformándose así el currículo transversal y correlacionado (buap, 2007: 50-51). Siguiendo tal idea, habría ocho dimensiones y 34 preguntas (incluyendo las que corresponden a la dimensión general institucional). Es importante señalar que en razón del agregado se modificaron los pesos porcentuales a cada dimensión, manteniéndose como se muestra en la tabla 3. El cuestionario fue sometido a una prueba estadística denominada Alpha de Cronbach, cuyo resultado fue de 0.982. Asimismo, también se recurrió a la validación de expertos 4 para corroborar la consistencia interna del cuestionario, fue así, como respondieron a un ejercicio donde se les presentaron las 34 preguntas y ellos debían clasificarlas en alguna de las ocho dimensiones. En atención a lo que respondieron, ellos ubicaron sin problemas las preguntas que corresponden a las siguientes dimensiones: generales-institucionales, evaluación del aprendizaje, planeación, recursos y estrategias, y relación profesores-estudiantes. Sólo uno de ellos identificó todas las preguntas referidas a mediación. 5 En el caso de resultados de aprendizaje y ejes transversales, algu- 3 Los ejes transversales incluyen: a) formación humana y social donde se integran temas vinculados a cuestiones éticas, políticas, artísticas y educación para la salud; b) desarrollo de habilidades del pensamiento superior y complejo. En esta asignatura se utilizan modelos alternativos pedagógicos como aprendizaje basado en problemas, debatir asuntos que impliquen conflictos cognitivos, etc.; c) desarrollo de habilidades en el uso de las Tecnologías de la Información y la Comunicación. Se enfatiza el trabajo en entornos virtuales; d) lenguas extranjeras. El uso de una lengua extranjera resulta indispensable para desarrollarse en una profesión, además resulta necesaria su práctica sí las instituciones buscan internacionalizarse, y e) investigación: implica incorporar actividades en la práctica docente con el fin de dinamizar una cultura de la indagación, el descubrimiento y que ello dé comienzo desde los primeros años de la licenciatura, e incluso, el bachillerato (buap, 2007: 51-52). 4 Nuestro agradecimiento a los profesores Martín López Calva (Universidad Iberoamericana-Puebla); Miguel Ángel López Carrasco (Universidad Iberoamericana-Puebla) y Rollin Kent Serna (Benemérita Universidad Autónoma de Puebla), quienes gentilmente nos apoyaron en la validación del cuestionario. Sus opiniones fueron valiosas y orientadoras. 5 Las preguntas de mediación están sustentadas bajo la propuesta teórica constructivista incluida en el Modelo Universitario Minerva. Los principios tomados en cuenta del constructivismo son básicos. Examina_evaluacion 19 NOV.indd 166 12/19/14 1:25 PM 167 UN NUEVO CUESTIONARIO PARA EVALUAR LA DOCENCIA EN LA BUAP nos de estos últimos fueron asociados a los primeros, sin embargo, lo anterior se explica en razón que los profesores mismos argumentaron no conocer el mum ni el contexto desde donde se había diseñado el cuestionario. Dentro de las sugerencias hubo dos que se tomarán en cuenta para un futuro rediseño: considerar un reactivo relacionado con aspectos éticos, y otro que aludiera a la parte afectiva del aprendizaje. Además de las ocho dimensiones, se mantienen dos preguntas del instrumento que se utilizó en el periodo 2002-2009 que se relacionan con el tipo de material y técnicas/actividades que impactan el aprendizaje, y que son usadas por el profesor, dichas preguntas son referentes para el Programa de Estímulos al Desempeño Académico (Espeded). 6 TABLA 3. Modificación de los pesos porcentuales (a partir de otoño 2010) Dimensión Peso Generales institucionales Sin peso específico Resultados de aprendizaje 23% Mediación 18% Relación 18% Estrategias y recursos 12% Ejes transversales 10% Evaluación al estudiante 10% Planeación 9% Total 100% Fuente: Elaboración propia con datos institucionales. La primera dimensión denominada general institucional incluye cinco ítems muestra el interés por conocer el nivel de cumplimiento del profesorado. Cabe aclarar que esta dimensión no tiene peso porcentual, pues sirve como referente para las unidades académicas en términos contractuales. La dimensión expresa los requisitos básicos que los docentes deben cubrir según los estatutos universitarios (véase tabla 4). Las escalas son variadas atendiendo a un propósito. 6 Se conservan los reactivos porque los resultados son utilizados para la evaluación que el Programa de Estímulos al Desempeño Académico lleva a cabo. Examina_evaluacion 19 NOV.indd 167 12/19/14 1:25 PM 168 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA En algunos casos, el punto es medir la frecuencia, en otros la calidad, en algunos más la opinión y en otros el porcentaje de manera directa. TABLA 4. Cumplimiento institucional Pregunta Escala ¿A qué porcentaje de sesiones programadas ha asistido tu profesor (a)? 100%, 90%, 80%, 70%, 60% ó menos. Del total de sesiones programadas, ¿En qué porcentaje ha cumplido tu profesor (a) con el horario establecido? 100%, 90%, 80%, 70%, 60% ó menos. El dominio de los contenidos 5 Muy bueno, 4 Bueno, de la materia que el profesor (a) 3 Regular, 2 Deficiente, imparte es: 1 Muy deficiente. Dimensión sin peso Cumplimiento institucional La cobertura del profesor (a) de 100%, 90%, 80%, 70%, 60% ó los temas contemplados en el menos. programa es de un: Con lo abordado hasta hoy, ¿Consideras que se han logrado los objetivos de aprendizaje del curso? 5 Mucho, 4 Suficientemente, 3 Medianamente, 2 Insuficientemente, 1 Casi nada. Fuente: Elaboración propia con datos institucionales. La segunda dimensión nombrada resultados de aprendizaje consta de cinco preguntas y tiene un peso de 23% (véase tabla 3). Las discusiones vertidas en el grupo nos permiten tener claro que las preguntas todavía no pretenden llevarnos a visualizar las competencias profesionales/disciplinarias, pero sí que el estudiante pueda identificar logros por medio de la metacognición (véase tabla 5). Examina_evaluacion 19 NOV.indd 168 12/19/14 1:25 PM 169 UN NUEVO CUESTIONARIO PARA EVALUAR LA DOCENCIA EN LA BUAP TABLA 5. Resultados de aprendizaje Pregunta Escala Dimensión El trabajo realizado por tu profesor (a) facilita que: 5 Mucho, 4 Suficientemente, 1. Relaciones los contenidos del 3 Medianamente, curso con otras materias. 2 Insuficientemente, 1 Casi nada. 2. Identifiques la forma en que aprendes mejor. 5 Totalmente de acuerdo, 4 De acuerdo, 3 Ni de acuerdo ni en desacuerdo, 2 En desacuerdo, 1 Totalmente en desacuerdo. 3. Que mejores tu desempeño al plantearte diversos retos intelectuales. 5 Mucho, 4 Suficientemente, 3 Medianamente, 2 Insuficientemente, 1 Casi nada. 4. Tu expresión oral y escrita son mejores. 5 Mucho, 4 Suficientemente, 3 Medianamente, 2 Insuficientemente, 1 Casi nada. 5. Las actividades del curso te han permitido practicar lo aprendido en clase. 5 Mucho, 4 Suficientemente, 3 Medianamente, 2 Insuficientemente, 1 Casi nada. Resultados de aprendizaje Fuente: Elaboración propia con datos institucionales. La tercera dimensión denominada mediación, integra elementos propios del constructivismo, por ejemplo, recuperar los conocimientos previos al iniciar un proceso de aprendizaje y aprovechar los errores, y verlos como oportunidades para incidir en los ajustes que realizan los estudiantes en su aprendizaje (véase tabla 6). También resulta necesario saber qué tanto toma en cuenta el profesor la diversidad del alumnado para seleccionar sus estrategias y recursos. Se integra de cinco preguntas y tiene un peso de 18 por ciento. Examina_evaluacion 19 NOV.indd 169 12/19/14 1:25 PM 170 TABLA 6. EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Mediación Pregunta Escala 6. La claridad de las exposiciones en clase es: 5 Muy buena, 4 Buena, 3 Regular, 2 Deficiente, 1 Muy deficiente. 7. Las estrategias de enseñanza se adaptan a las necesidades e intereses del grupo. 5 Siempre, 4 Casi siempre, 3 A veces, 2 Ocasionalmente, 1 Casi nunca. 8. Al principio de un tema recupera lo que ya sabías. 5 Siempre, 4 Casi siempre, 3 A veces, 2 Ocasionalmente, 1 Casi nunca. 9. Plantea ideas diversas para generar en ti una postura más activa. 5 Totalmente de acuerdo, 4 De acuerdo, 3 Ni de acuerdo ni en desacuerdo, 2 En desacuerdo, 1 Totalmente en desacuerdo. 10. Aprovecha los errores para promover el aprendizaje. 5 Siempre, 4 Casi siempre, 3 A veces, 2 Ocasionalmente, 1 Casi nunca. Dimensión Resultados de aprendizaje Fuente: Elaboración propia con datos institucionales. La cuarta dimensión, denominada relación profesor-estudiante, alude a algunas características sobre cómo se manifiestan estas relaciones, sin pasar por alto, que es parte de lo que conforma el “clima de la clase”. Consta de seis preguntas y tiene un peso del 18% (véase tabla 7). TABLA 7. Relación profesor/estudiante Pregunta Escala Dimensión Durante el desarrollo del presente curso, tu profesor (a): 11. Propicia un ambiente de confianza en el aula. 5 Siempre, 4 Casi siempre, 3 A veces, 2 Ocasionalmente, 1 Casi nunca. 5 Mucho, 4 Suficientemente, 12. Favorece que ayudes a otros 3 Medianamente, compañeros a aprender. 2 Insuficientemente, 1 Casi nada. Examina_evaluacion 19 NOV.indd 170 Relación profesorestudiante 12/19/14 1:25 PM 171 UN NUEVO CUESTIONARIO PARA EVALUAR LA DOCENCIA EN LA BUAP Pregunta Escala Dimensión sin peso Durante el desarrollo del presente curso, tu profesor (a): 13. Contribuye a incrementar tu compromiso con el entorno (social, económico, ecológico). 5 Mucho, 4 Suficientemente, 3 Medianamente, 2 Insuficientemente, 1 Casi nada. 14. Te motiva a aprender por ti mismo. 5 Mucho, 4 Suficientemente, 3 Medianamente, 2 Insuficientemente, 1 Casi nada. 15. Muestra disposición para resolver dudas. 5 Siempre, 4 Casi siempre, 3 A veces, 2 Ocasionalmente, 1 Casi nunca. Relación profesorestudiante 16. Tu maestro (a) te trata como 5 Siempre, 4 Casi siempre, persona, independientemente 3 A veces, 2 Ocasionalmente, del resultado académico. 1 Casi nunca. Fuente: Elaboración propia con datos institucionales. La quinta dimensión, llamada estrategias de enseñanza, consta de tres preguntas y tiene un peso del 12%. Incluye preguntas que se abocan a indagar el tipo de estrategias que usa el profesor, y si éstas logran conjuntar las acciones de los estudiantes. TABLA 8. Estrategias de enseñanza Pregunta Escala Dimensión Durante este curso: 17. El trabajo en equipo coordinado 5 Siempre, 4 Casi siempre, por el (la) profesor (a) involucra la 3 A veces, 2 Ocasionalmente, participación de los integrantes. 1 Casi nunca. 18. Las estrategias utilizadas por el (la) profesor (a) facilitan tu aprendizaje: 5 Siempre, 4 Casi siempre, 3 A veces, 2 Ocasionalmente, 1 Casi nunca. 19. Las actividades planteadas utilizan plataformas web, software básico o software específico. 5 Totalmente de acuerdo, 4 De acuerdo, 3 Ni de acuerdo ni en desacuerdo, 2 En desacuerdo, 1 Totalmente en desacuerdo. Estrategias Fuente: Elaboración propia con datos institucionales. Examina_evaluacion 19 NOV.indd 171 12/19/14 1:25 PM 172 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA La sexta dimensión denominada planeación consta de dos ítems relacionados con la planeación del proceso de enseñanza (véase tabla 9). Como se ha mencionado generalmente ésta corresponde a una fase preactiva. Tiene un peso porcentual de 9 por ciento. TABLA 9. Planeación Pregunta Escala Dimensión 5 Mucho, 4 Suficientemente, 20. La organización de los temas 3 Medianamente, favorece mi aprendizaje. 2 Insuficientemente, 1 Casi nada. 21. El tiempo asignado a cada tema permite el logro de sus objetivos de aprendizaje. 5 Totalmente de acuerdo, 4 De acuerdo, 3 Ni de acuerdo ni en desacuerdo, 2 En desacuerdo, 1 Totalmente en desacuerdo. Planeación Fuente: Elaboración propia con datos institucionales. La séptima dimensión corresponde al rubro evaluación y está integrada por tres ítems que permiten al estudiante opinar sobre los alcances que guarda el proceso en relación con el aprendizaje y la coherencia con lo enseñado, así como la equidad que se manifiesta respecto a los integrantes del grupo cuando son evaluados. Mantiene un peso porcentual de 10 por ciento. TABLA 10. Evaluación Pregunta Escala 5 Totalmente de acuerdo, 4 De acuerdo, 22. Las evaluaciones constantes 3 Ni de acuerdo ni en me orientan sobre el avance desacuerdo, logrado en la materia. 2 En desacuerdo, 1 Totalmente en desacuerdo. Examina_evaluacion 19 NOV.indd 172 Dimensión Evaluación 12/19/14 1:25 PM 173 UN NUEVO CUESTIONARIO PARA EVALUAR LA DOCENCIA EN LA BUAP Pregunta Escala Dimensión 23. La evaluación corresponde a lo que se enseña. 5 Totalmente de acuerdo, 4 De acuerdo, 3 Ni de acuerdo ni en desacuerdo, 2 En desacuerdo, 1 Totalmente en desacuerdo. 24. Los criterios para evaluar se aplican de igual forma para todos. 5 Totalmente de acuerdo, 4 De acuerdo, 3 Ni de acuerdo ni en desacuerdo, 2 En desacuerdo, 1 Totalmente en desacuerdo. Evaluación Fuente: Elaboración propia con datos institucionales. La última dimensión, pero no por ello la menos importante, corresponde a los ejes transversales; se busca recuperar la opinión del estudiante en relación con los objetivos curriculares que plantea el Modelo Universitario Minerva en cada uno de los planes de estudio. Se integra por cinco ítems y tiene un peso porcentual de 10 por ciento. TABLA 11. Ejes transversales Pregunta Escala Dimensión Durante este curso: 25. Las actividades propuestas en esta materia favorecen la búsqueda y selección de información como una actividad de investigación. 5 Totalmente de acuerdo, 4 De acuerdo, 3 Ni de acuerdo ni en desacuerdo, 2 En desacuerdo, 1 Totalmente en desacuerdo. 26. Las actividades y tareas propuestas favorecen el empleo de una segunda lengua. 5 Mucho, 4 Suficientemente, 3 Medianamente, 2 Insuficientemente, 1 Casi nada. 27. En qué medida el profesor te ayuda a: A) Reflexionar sobre los temas abordados determinando lo que sabes y hasta dónde llegan tus conocimientos. 5 Mucho, 4 Suficientemente, 3 Medianamente, 2 Insuficientemente, 1 Casi nada. Ejes transversales Continúa... Examina_evaluacion 19 NOV.indd 173 12/19/14 1:25 PM 174 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Pregunta Escala Dimensión Durante este curso: B) Defender tus conocimientos en relación a otras posturas; argumentar sobre tus puntos de vista y los de otras personas. 5 Mucho, 4 Suficientemente, 3 Medianamente, 2 Insuficientemente, 1 Casi nada. C) Plantearte nuevas teorías. 5 Mucho, 4 Suficientemente, 3 Medianamente, 2 Insuficientemente, 1 Casi nada. Ejes transversales Fuente: Elaboración propia con datos institucionales. Conclusión Dar sistematización a un trabajo colegiado no es una tarea sencilla, pues se debe subrayar que las distintas cosmovisiones de los participantes, si bien resultan enriquecedoras, hacerlas converger puede tornarse en una actividad compleja y que toma muchos meses, y justamente ahí radica el desafío. El capítulo ha expresado de una manera sintética las tareas que se realizaron para elaborar un cuestionario de opinión que resultó de un ejercicio endógeno, que llevó al grupo a la necesidad de formarse de manera profesional debido a que se requería conocer aspectos teóricos, metodológicos y técnicos para sustentar un nuevo instrumento, además de sistematizar las experiencias institucionales; de no haberlo comprendido así, hubiésemos emprendido una aventura arriesgada. Resulta claro que el cuestionario presentado no es el único medio con el que se puede evaluar a los profesores. Existen otras formas, incluso, más creativas como la elaboración de portafolios. Sin embargo, baste recordar lo señalado en el primer capítulo de este libro, la buap no tenía un constructo propio para evaluar a sus docentes y era imprescindible realizar este ejercicio. Asimismo, esto nos permite visualizar las dimensiones poblacionales de la institución y tomar pro-videncias para otro tipo de ejercicios vinculados a diferentes instrumentos de evaluación. No soslayamos que al existir un nuevo instrumento, la buap tiene sendas tareas; por un lado, socializar más el Modelo Universitario Minerva, de manera sencilla y con los elementos que se consideren básicos. Baste recordar que Examina_evaluacion 19 NOV.indd 174 12/19/14 1:25 PM UN NUEVO CUESTIONARIO PARA EVALUAR LA DOCENCIA EN LA BUAP 175 sólo una tercera parte de la planta docente fue capacitada en los talleres de inducción, el resto ha aprendido sobre la marcha, por ejemplo, consultaron documentos del Modelo para elaborar los programas de asignatura de los programas educativos que se modificaron. Por otro lado, conviene que los profesores y estudiantes conozcan el cuestionario de opinión, sobre todo, cómo está conformado y cuáles son los propósitos de cada dimensión, si bien esto ha sucedido, al ser presentado a los Consejos de Unidad de cada escuela y facultad no es suficiente. Sabemos que el cuestionario será susceptible de mejoras en todos los sentidos posibles, sin embargo, también responderán a consideraciones metodológicas y técnicas. Las observaciones serán bienvenidas, sobre todo, porque precisamente se busca la participación continua del profesorado. Cabe señalar que el perfil del docente al que la buap aspira, ya se delinea en el cuestionario de opinión de estudiantes, y que por primera vez, corresponde a un conjunto de elementos que se tomaron en cuenta para su elaboración: la experiencia y los resultados que se tenían con el anterior instrumento, la participación del profesorado, la revisión teórica vinculada a la evaluación de la docencia y el Modelo Universitario Minerva. También como grupo tenemos claro que las dimensiones, componentes y reactivos son indicadores de la calidad que proporcionarán información relevante acerca de los procesos enseñanza-aprendizaje, justamente aprovechable para la formación del profesorado. Lo anterior será fundamental para planear cursos de capacitación docente apegados a las necesidades de los profesores universitarios de la buap. Las investigaciones a las que den pie este nuevo cuestionario serán motivo, quizá, de un segundo libro. Referencias buap (2007). Documento de Integración. Modelo Universitario Minerva. Puebla:México, Benemérita Universidad Autónoma de Puebla, 119 pp. buap (2009). Taller: Diseño de Instrumentos para evaluar la docencia. Vicerrectoría de Docencia. Coordinación pieva. Benemérita Universidad Autónoma de Puebla. Marzo, pp. 5-7. Castorina, José (2000). “El debate Piaget-Vigotsky: La búsqueda de un criterio para su evaluación”, en Castorina, José, Ferreiro, Emilia, Kohl de Oliveira, Marta y Lerner, Examina_evaluacion 19 NOV.indd 175 12/19/14 1:25 PM 176 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Delia, Piaget-Vigotsky: contribuciones para replantear el debate. México. Paidós Educador, pp. 9-4. García, J. (2007). “Las dimensiones de la efectividad docente, validez y confiabilidad de los cuestionarios de la evaluación de la docencia: Síntesis de investigación internacional”. En Rueda, Mario y Díaz-Barriga, Frida, Evaluación de la docencia. Perspectivas actuales, México: Paidós Educador, pp. 41-62. Kohl de Oliveira, Marta (2000). “Pensar la educación: las contribuciones de Vigotsky” En Castorina, José, Ferreiro, Emilia, Kohl de Oliveira, Marta y Lerner, Delia, PiagetVigotsky: contribuciones para replantear el debate. Castorina, México: Paidós Educador, pp. 45-68. Saint-Onge, Michel (1997). Yo explico pero ellos…. ¿aprenden?, Madrid: Ediciones Mensajero, 199 pp. Zabalza, Miguel (2006). Competencias docentes del profesorado universitario. Calidad y desarrollo profesional. Madrid: Narcea, 241 pp. Examina_evaluacion 19 NOV.indd 176 12/19/14 1:25 PM CONCLUSIONES GENERALES Wietse de Vries Meijer y María Patricia Moreno Rosano El proceso de revisión de la evaluación docente en la buap culminó con un nuevo cuestionario para los estudiantes. Consideramos que, en comparación con el anterior, este instrumento es mejor ya que contempla varias actitudes y actividades del profesor que la literatura y la comunidad académica de la buap señalan como idóneos. Sin embargo, también aprendimos, a lo largo del proceso de revisión que no existe un instrumento perfecto. El nuevo cuestionario tendrá que ser evaluado por su validez y confiabilidad en los próximos años. Esta observación puede parecer obvia, pero en la práctica no resulta serlo. Extrañamente, mientras se exige a cualquier investigador que las encuestas que utiliza en su proyecto sean analizadas por su validez y su confiabilidad, cuando se trata de la evaluación de la docencia las reglas metodológicas básicas no parecen aplicar; una notable ausencia es la evaluación del instrumento de medición mismo. En la literatura sobre la evaluación docente encontramos muchos ejemplos de universidades que circulan un cuestionario entre los estudiantes al final de un curso para conocer su opinión acerca del profesor, cuyos resultados son comunicados a los docentes y a las autoridades. Sin embargo, en la mayoría de los casos, la universidad o una instancia gubernamental, diseña un instrumento de medición ad hoc, generado por la existencia de recursos que buscan estimular a algunos pero no a otros. Estos instrumentos suelen basarse en distintas conjeturas Examina_evaluacion 19 NOV.indd 177 12/19/14 1:25 PM 178 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA acerca de la docencia y la pedagogía, proclaman medir diferentes dimensiones de la actividad académica, o son simples adaptaciones de instrumentos de una universidad conocida. Los ajustes al instrumento tienden a producirse después de reclamos de grupos de presión, o a partir de consultas con expertos en la materia, pero raras veces porque un análisis estadístico del instrumento haya revelado fallas (García-Garduño, 2004). Ello implica que, en el seno de instituciones dedicadas a la investigación científica, se realizan procesos de evaluación que carecen de cualquier fundamento científico y metodológico. Por suerte, en general los resultados llevan sólo a recomendaciones. No obstante en ocasiones, la valoración tiene implicaciones fuertes: puede ser que el profesor con resultados deficientes en su evaluación no sea recontratado o que éstos repercutan de manera negativa en sus ingresos. En el proceso de la revisión de la evaluación docente en la buap, si analizamos críticamente el primer instrumento, los hallazgos de este análisis son importantes. De los aspectos positivos, identificamos que esta forma de evaluar comprobó ser confiable y válida. Si se elabora un cuestionario claro y se maneja y organiza bien el proceso de aplicación, cuidando la anonimidad de las respuestas y el tamaño de la muestra por cada grupo, las respuestas de los estudiantes son muy confiables y consistentes. Es decir, diferentes grupos de estudiantes, de forma permanente, tienden a asignar igual calificación a un mismo profesor. Esa es la clave para la confiabilidad: los entrevistados contestan de manera semejante a lo largo del tiempo. También detectamos que el profesorado de la buap, en general, obtiene buenos resultados en sus evaluaciones. Los profesores reciben, en promedio, una calificación de 8, en una escala de 5 a 10. Asimismo demuestran un ligero incremento a lo largo del tiempo, aunque esto se puede deber a que los docentes “aprenden” a adecuar su comportamiento al instrumento. Hay variaciones dentro del proceso: del total del profesorado, alrededor de la mitad obtiene resultados deficientes en sus evaluaciones por lo menos una vez durante cinco años. Eso implica que se debe tener cierto cuidado con los resultados de la encuesta. Pero el proceso, tras un análisis riguroso de resultados durante cinco años, permite distinguir entre profesores consistentemente con resultados deficientes en sus evaluaciones y docentes con buenos resultados de forma consistente. Así, una primera conclusión es que la evaluación de la docencia a partir de cuestionarios contestados por estudiantes es un proceso confiable, sencillo, y valioso. Se distingue con esos atributos si la comparamos con otros procesos evaluativos, Examina_evaluacion 19 NOV.indd 178 12/19/14 1:25 PM CONCLUSIONES GENERALES 179 como el Promep, el Esdeped o el sni, que se caracterizan por procedimientos sumamente engorrosos, rodeados por tablas de puntajes y constancias, donde hay que presentar originales y copias. Además, en estos procesos participa sólo una parte de los académicos (alrededor de la mitad de los profesores de tiempo completo) y las evaluaciones no revelan nada acerca de lo que sucede en el aula. Ahora bien, también hay que observar que hay una diversidad de comportamientos de los académicos, o incluso diferentes trayectorias. En el intervalo entre los dos extremos –profesores consistentemente con resultados deficientes o buenos resultados en sus evaluaciones– existen docentes con buenos resultados en sus evaluaciones en algunas materias, pero con resultados deficientes en otras. Aquí vale la pena considerar factores como el tipo de asignatura, el tamaño del grupo, y la carga de docencia por profesor (hay profesores que imparten sólo un grupo de dos horas por semana, mientras otros dan cinco grupos y pasan 18 horas frente a grupo). También podemos distinguir, como se hace en el capítulo dos, que hay profesores que cumplen con algunas dimensiones, como la puntualidad y la entrega del programa, pero que reciben una mala calificación en el terreno de la enseñanza. También, ocurre lo contrario: docentes que no asisten a todas las clases, que son menos puntuales, pero que, según los estudiantes, son muy buenos. Esto lleva a la conclusión de que se debe mantener cuidado al momento de diseñar el instrumento, y preguntarse qué se quiere medir o evaluar. Cabe preguntarse aquí, como hace Rueda-Beltrán (2004), si en realidad se puede evaluar la docencia. En efecto, después de un análisis factorial encontramos que una sola interrogante: “¿Cuál calificación darías a tu profesor? (escala de 5 a 10)”, resume muy bien la opinión del estudiante y que resulta altamente coherente con las demás preguntas. De modo que se podría reducir de manera importante la cantidad de preguntas y hacer la aplicación más ágil. La reducción del cuestionario a una sola interrogante –la calificación numérica del profesor– no encontró aceptación en el grupo de trabajo y en la comunidad académica, pero no es tan radical como parece: al final de cada curso, los docentes asignan una calificación numérica (en una escala de 5 a 10) a sus estudiantes. Diferentes objetivos e intereses Una segunda conclusión del grupo de trabajo, es que el proceso de evaluación no se puede reducir al mínimo por la variedad de opiniones acerca de lo que Examina_evaluacion 19 NOV.indd 179 12/19/14 1:25 PM 180 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA constituye la buena docencia. En el terreno de este concepto (la docencia), hay mucho menos claridad que en el ámbito de la investigación; esta última se evalúa por artículos publicados y patentes otorgados, pero la primera es y seguirá siendo tema de debates y controversias donde además hay diferentes actores involucrados con distintas opiniones. Las instancias administrativas están sobre todo interesadas en verificar el cumplimiento con el trabajo, lo cual lleva a la inclusión de preguntas sobre asistencia, puntualidad, entrega de materiales, claridad en la forma de evaluar, o el acatamiento de las metas del curso. Desde una perspectiva más avanzada, mantienen interés en si cumple con la misión de la universidad o si se modifican los datos de la deserción y las tasas de titulación. Dependiendo de la perspectiva, los procesos de evaluación pueden adquirir diferentes dimensiones políticas (Ordorika, 2004). Por un lado, es tentador para los hacedores y operadores de políticas educativas observar que -según los datosexiste una creciente mejora, expresada en más miembros del sni o del Promep (Rubio y Urbano, 2004), por el otro, sin embargo, hay una necesidad de distinguir entre los “buenos” y “malos”, aunque fuera sólo porque los recursos reservados a los estímulos son limitados. Como describió Ibarra (1999), se crean situaciones encontradas cuando casi todo el personal académico logra avanzar a los máximos niveles y las mejores calificaciones, sin que de forma aparente se haya mejorado la investigación o la docencia. Eso fue claramente el caso en la buap hacia 2009, cuando se reportó una creciente presión (financiera) sobre el programa de estímulos, lo cual llevó a la necesidad de introducir prerrequisitos para el ascenso, como la calificación otorgada por los estudiantes. Ahora, usar estas calificaciones no carece de bemoles, ya que la literatura señala que pueden estar sujetas (como cualquier evaluación) a distorsiones. La opinión del estudiante se ve influida por el clima en el aula, el tamaño del grupo, la actitud del profesor, las estrategias de enseñanza, las características del estudiante mismo, la dificultad de la materia o el horario (Pounder, 2007). La literatura en el terreno de la Pedagogía, la Investigación Educativa y la Psicología, apunta que ciertas estrategias pueden ser más exitosas que otras. Sin embargo, también es un terreno de muchas contradicciones y modas pasajeras. La evidencia empírica acerca del éxito es limitada y se basa en estudio de casos. Examina_evaluacion 19 NOV.indd 180 12/19/14 1:25 PM CONCLUSIONES GENERALES 181 Un nuevo modelo académico Para complicar aún más la evaluación, la buap introdujo un nuevo modelo académico. Tras una revisión de la literatura y de experiencias en otras instituciones, se elaboró una propuesta para la mejora del proceso de enseñanza y aprendizaje con el Modelo Universitario Minerva (mum). Después, el grupo de trabajo del pieva tradujo este nuevo modelo en un instrumento con preguntas para medir hasta dónde los docentes acogen nuevas estrategias en el aula que concuerdan con los postulados del mum. Por esta razón, se incluyeron preguntas como: ¿el profesor alienta la participación de estudiantes en clases? ¿Da retroalimentación a partir de evaluaciones parciales? ¿Aclara dudas de manera personalizada? ¿Interactúa con estudiantes fuera del salón de clases? Se incorporó con ello un modelo prescriptivo del profesor ideal, en cierta manera parecido a los manuales para bajar de peso, que recomiendan una dieta balanceada, hacer ejercicios cada mañana, disminuir el colesterol, y aumentar el consumo de frutas y verduras. Comprendido así, se introdujeron nuevos elementos en el proceso de evaluación cuyo impacto es difícil de prever. En su mayoría, los docentes están interesados en salir bien calificados, lo cual abre la posibilidad de que adaptarán su comportamiento al nuevo instrumento, pero quizá sin cambiar mucho en la práctica cotidiana. También existe la posibilidad de que cambien sus estrategias, pero que obtengan deficientes resultados en sus evaluaciones. Al final de cuentas, el cuestionario que responden los estudiantes refleja su opinión más que una medición, y los jóvenes que acceden a la universidad pasaron por lo menos 12 años en escuelas donde predomina un modelo tradicional de docencia. En la revisión de las evaluaciones del pieva durante los últimos 10 años, hemos encontrado muchas observaciones de estudiantes en el sentido de “este profesor no enseña” en el caso de profesores que implementaron nuevas estrategias, a la par de muy buenas calificaciones para ellos que siguen el modelo tradicional de impartición de cátedra, a veces dictando apuntes. Las opiniones también apuntan hacia una tercera posibilidad: aquellos profesores “tradicionales”, pero con buenos resultados en sus evaluaciones durante años con el instrumento anterior, no tendrían incentivo para cambiar, pero podrían obtener deficientes resultados en sus evaluaciones en las preguntas que se refieren a las nuevas estrategias y recibir una calificación general inferior a la del pasado. Esta posibilidad ya estaba presente en el primer instrumento, donde encontramos profesores con muy buenos resultados Examina_evaluacion 19 NOV.indd 181 12/19/14 1:25 PM 182 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA en sus evaluaciones que no cumplían con algunas actividades, pero aumenta con el nuevo instrumento. Con la inclusión del mum se produce cierta tensión entre diferentes objetivos: mientras el pieva en su fase inicial recopilaba principalmente la opinión de estudiantes acerca del profesor, con el fin de informar a éste y a los directivos sobre el desempeño de los docentes, en su segunda fase incluye la revisión de hasta dónde los profesores asumieron el Modelo y las nuevas estrategias. Así, en la primera fase, el proceso era más diagnóstico para conocer cuáles profesores habían desarrollado estrategias exitosas por cuenta propia, y cuáles no, mientras que en la segunda fase el proceso se vuelve más prescriptivo. El problema clave, sin embargo, es que carecemos de evidencias de que las nuevas estrategias llevarán a mejores desempeños docentes. Al mismo tiempo, hemos detectado resultados que indican que el enfoque constructivista funciona mejor en grupos pequeños que en grupos grandes, y mejor en algunas carreras o materias que en otras. Pero, sobre todo, carecemos de datos que indiquen mejoras en el aprendizaje de los estudiantes. Los estudiantes evalúan a sus profesores desde un punto de vista más limitado, básicamente a partir de la interacción en el salón de clases. Lo primordial sería saber qué y cuánto aprenden los estudiantes dentro y fuera del aula. Varios de estos aspectos son difíciles de cuantificar. Entonces, el aprendizaje resulta difícil de medir, lo cual implica que la enseñanza presenta las mismas complejidades para su medición. Distintas evaluaciones simultáneas Una forma adicional de concluir acerca de la revisión es que coexisten varios procesos de evaluación del trabajo académico al mismo tiempo, pero con criterios disímiles y operados por distintas instancias, algunas externas a la universidad (Rueda-Beltrán et al., 2010). Nos sorprendió mucho encontrar que no existe una clara correlación entre la calificación que los estudiantes asignan a su profesor y los atributos del profesor. Es decir, los profesores con doctorado, de tiempo completo, miembros del Sistema Nacional de Investigadores, con Perfil Promep, etc., no resultan con mejores resultados en sus evaluaciones que los profesores de tiempo parcial con sólo licenciatura. La falta de correlación es, en particular, llamativa en el caso del Esdeped, ya que el programa fue creado con Examina_evaluacion 19 NOV.indd 182 12/19/14 1:25 PM CONCLUSIONES GENERALES 183 el objetivo expreso de estimular a la docencia. Resulta contradictorio que una parte del profesorado, sobre todo los de tiempo parcial, con buenas calificaciones por parte de los estudiantes, no tiene acceso a los estímulos, mientras que otra parte, con calificaciones inferiores, sí los recibe. En la práctica, ello implica que sólo los profesores de tiempo parcial y con un contrato por tiempo determinado requieren recibir un buen puntaje de sus estudiantes, puesto que corren el riesgo de ser despedidos. Para los demás, un bajo puntaje no surte efectos. Creemos que en este contexto, la evaluación del pieva pierde mucho de su potencial de mejora, porque los estímulos de diferentes tipos no se vinculan a un buen desempeño docente, más bien, alientan al académico a alejarse de la docencia en la licenciatura y a dedicarse a otras actividades. Como grupo de trabajo con la encomienda específica de mejorar el proceso del pieva nos limitamos sólo a señalar la contradicción. Quedó fuera de nuestro alcance proponer cambios en otros programas de evaluación académica, más si se trata de programas que han quedado bien incrustados en la vida académica. Concluimos con una nueva propuesta para la evaluación de la docencia por parte de estudiantes, pero con la observación de que no se trata simplemente de diseñar un nuevo instrumento, sino de revisar de forma permanente y crítica, los factores que promuevan la buena docencia. Para finalizar, la idea primordial es que la evaluación del docente por parte del estudiante es, hasta el momento, la única forma comprobada de evaluar de manera adecuada a la docencia. Esperemos que dentro de algunos años, una próxima comisión infiera que hicimos un buen trabajo. Referencias García, José María (2004). “Los cuestionarios de evaluación de la docencia, las dimensiones de la efectividad docente y los resultados de la investigación. ¿Qué tan aplicables son a diferentes culturas de educación superior?”. En Rueda-Beltrán, Mario (Comp.) ¿Es posible evaluar la docencia en la universidad? Experiencias en México, Canadá, Francia, España y Brasil. México: anuies. Colección: Biblioteca de la Educación Superior. Ibarra, Eduardo (1999). “Evaluación, productividad y conocimiento: barreras institucionales al desarrollo académico”, Sociológica, Vol. 14, núm. 41, pp. 41-59. Examina_evaluacion 19 NOV.indd 183 12/19/14 1:25 PM 184 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA Ordorika, Imanol (2004). La academia en jaque. Perspectivas políticas sobre la evaluación de la educación superior en México. México: crim-unam-Porrúa, 274 pp. Pounder, James S. (2007). “Is student evaluation of teaching worthwhile? An analytical framework for answering the question”, Quality Assurance in Education, Vol. 15, Issue 2, pp. 178 – 191. Rubio, Julio y Urbano, Guillermina (2004). El Promep: un medio eficaz en la mejora de la calidad de las universidades públicas, México: Subsecretaría de Educación Superior, 50 págs. http://sesic.sep.gob.mx/news/news26ago2004.pdf [Consulta: diciembre de 2004]. Rueda-Beltrán, Mario; Luna-Serrano, Edna; García-Cabrero, Benilde; y Loredo-Enríquez, Javier (2010). “La evaluación de la docencia en universidades públicas mexicanas: un diagnóstico para su comprensión y mejora”. En Revista Iberoamericana de Evaluación Educativa, Vol. 3, Núm. 1, pp. 78-92. Rueda-Beltrán, Mario (Comp.) (2004). ¿Es posible evaluar la docencia en la universidad? Experiencias en México, Canadá, Francia, España y Brasil. México: anuies, Colección: Biblioteca de la Educación Superior, 307 pp. Examina_evaluacion 19 NOV.indd 184 12/19/14 1:25 PM SIGLAS Y ACRÓNIMOS afe aneca bm buap cide cac cea ciies ciso Conacyt cucs des dges dt dti efd Esdeped ies isp lgac lou mt Examina_evaluacion 19 NOV.indd 185 Análisis Factorial Exploratorio Agencia Nacional de Evaluación de la Calidad y Acreditación (España) Banco Mundial Benemérita Universidad Autónoma de Puebla Consejo Internacional para el desarrollo de la Educación Cuerpos Académicos Consolidados Coordinación de Evaluación Académica Comités Interinstitucionales de Evaluación de la Educación Superior Centro de Investigaciones Sobre Opinión Pública Consejo Nacional de Ciencia y Tecnología Centro Universitario de Ciencias de la Salud (Universidad de Guadalajara) Dependencias de Educación Superior Dirección General de Educación Superior Desviación Típica Dirección de Tecnologías de la Información Escuela de Formación Docente Programa de Estímulos al desempeño Personal Docente Instituciones de Educación Superior Índice de Satisfacción Ponderado Líneas de Generación y Aplicación del Conocimiento Ley orgánica de Universidades (España) Medio Tiempo 12/19/14 1:25 PM mum pifau pieva Promep ripe sni sep shcp tc tcu tic unesco Examina_evaluacion 19 NOV.indd 186 Modelo Universitario Minerva Programa Institucional de Formación de los Académicos Universitarios Programa Institucional de Evaluación Académica Programa de Mejoramiento del Profesorado Reglamento de Ingreso, Permanencia y Egreso Sistema Nacional de Investigadores Secretaría de Educación Pública Secretaría de Hacienda y Crédito Público Tiempo Completo Tronco Común Universitario Tecnologías de la Información y la Comunicación Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (por sus siglas en inglés) 12/19/14 1:25 PM Acerca de los autores Archundia Sierra Etelvina Doctora en Tecnologías de la Información y Análisis de Decisiones por la Universidad Popular Autónoma del Estado de Puebla (upaep). Investigadora de tiempo completo de la Facultad de Ciencias de la Computación de la Benemérita Universidad Autónoma de Puebla. Entre sus actividades académicas en esa Facultad, destacan el responsable del Programa Educativo de Ingeniería, es coordinadora de Entorno Social, y es representante del Programa Institucional de Evaluación Académica (pieva). Cuenta con el nombramiento de Perfil Promep y es líder del Cuerpo Académico denominado Entornos Colaborativos Digitales para el Desarrollo de las Ciencias y la Tecnología. Ha publicado artículos y capítulos de libros a nivel nacional e internacional relacionados con la investigación de la Evaluación Educativa, Educación a través de los e-learning, y Desarrollo de Modelos y Plataformas Educativas en Aprendizajes Virtuales. Correo electrónico: [email protected]. Ávila Benítez Raymundo Maestro en Producción Animal por la Facultad de Medicina Veterinaria y Zootecnia de la Universidad Nacional Autónoma de México. Docente de la Licenciatura de Medicina Veterinaria y Zootecnia de la Benemérita Universidad Autónoma de Puebla. Integrante de la Comisión Institucional de Seguimiento de Egresados, buap. Sus líneas de investigación son: Evaluación Examina_evaluacion 19 NOV.indd 187 12/19/14 1:25 PM 188 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA del Docente de la Facultad de Medicina Veterinaria y Zootecnia; Seguimiento de Egresados de la Facultad de Medicina Veterinaria y Zootecnia y Tutorías en la Facultad de Medicina Veterinaria y Zootecnia. Correo Electrónico: [email protected]. Campos Méndez Margarita Médico Cirujano y Partero con especialidad en Ortopedia y Traumatología. Maestría de Educación en Ciencias. Es profesora investigadora de tiempo completo en la Facultad de Medicina de la Benemérita Universidad Autónoma de Puebla donde también es coordinadora de la materia de Quirúrgica de Tórax. Miembro del Programa Institucional de Evaluación Académica (pieva). Los proyectos en los que participa en conjunto con la Facultad de Estomatología e Ingeniería son: “La cicatrización bucal por medio de corteza de árbol” y “Construcción de una cámara hiperbárica” respectivamente. Además participa en el proyecto “¿Cómo aprenden los estudiantes de posgrado en el área de la salud?” (buap). Correo electrónico: [email protected] Cortés López Ernesto Médico Cirujano y Partero (uap). Médico con especialidad en Medicina del Deporte (ipn). Maestro en Ciencias y Juegos Deportivos (Universidad de Matanzas, Cuba). Secretario de Investigación y Posgrado de la Facultad de Cultura Física de la buap. Miembro del pieva. Docente y coordinador de la Maestría en Educación Física y Deporte Escolar, lgac: Control Médico –Biológico– Psicológico de la Educación Física y el Deporte Escolar. Didáctica de la Educación Física y del Deporte Escolar. Evaluación desde diferentes enfoques: del estudiante a la institución. Correo electrónico: [email protected] Examina_evaluacion 19 NOV.indd 188 12/19/14 1:25 PM ACERCA DE LOS AUTORES 189 García Venero María de la Soledad Doctora en Medición y Evaluación Educativa por la Universidad Anáhuac. Coordinadora de Investigación Facultad de Responsabilidad Social en esa casa de estudios, México Norte. Línea de Investigación actual: La formación en responsabilidad social y la evaluación de impacto. Docencia y consultoría en Educación Superior: diseño curricular; enseñanza y evaluación por competencias; evaluación de la competencia docente; evaluación del desempeño, curricular y organizacional en la educación superior, docencia y consultoría en responsabilidad social: conceptualización; diseño y evaluación de proyectos sociales mediante la metodología del marco lógico. Correo electrónico; [email protected] González Pomposo Guillermo Jorge † Doctor en Sismología y Física del Interior de la Tierra por el Instituto de Geofísica de la Universidad Nacional Autónoma de México. Fue profesor investigador de tiempo completo de la Facultad de Ingeniería de la Benemérita Universidad Autónoma de Puebla (1982-2008). Secretario de Investigación y Estudios de Posgrado en Facultad de Ingeniería (2004-2005). Coordinador de Evaluación, Vicerrectoría de Docencia, buap (2007-2008). Dentro de sus actividades vinculadas al ámbito profesional, se suscriben las siguientes: responsable del Proyecto de Monitoreo del Volcán Popocatépetl (1991-1994). Fue responsable de la Red Sísmica del Estado de Puebla (1987-1992), así como miembro del Comité Asesor de Cenapred para el Monitoreo del Volcán Popocatépetl (1994-2008). Publicó artículos tanto en revistas nacionales como internacionales así como reportes propios del campo de la sismología. De Vries Meijer Wietse (coordinador) Es profesor-investigador y Director de Gestión Académica en la Vicerrectoría de Docencia de la Benemérita Universidad Autónoma de Puebla. Doctor en Educación por la Universidad Autónoma de Aguascalientes. Realiza investigaciones sobre políticas y reformas educativas y sus impactos en estudiantes, Examina_evaluacion 19 NOV.indd 189 12/19/14 1:25 PM 190 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA egresados y académicos. Ha participado en varios proyectos internacionales de investigación y actualmente es integrante del Infoaces, un proyecto financiado por la Unión Europea, que busca elaborar indicadores de desempeño para cien universidades en América Latina y Europa. Es miembro del Sistema Nacional de Investigadores, nivel II. Correo electrónico: [email protected] Juan Santiago Javier Maestro en Ciencias de la Educación. Se desempeña en la Dirección General de Educación Media Superior. Integrante del Programa Institucional de Evaluación Académica (pieva). Ha colaborado en los diagnósticos socioeconómicos para la creación de los campus regionales de la buap, así como en la elaboración de los planes de desarrollo de algunos municipios: Libres (2002); Zaragoza (2002); San Pedro Cholula (2005); Cuetzalan del Progreso (2008) y Libres (2011). Correo electrónico: [email protected]. Hernández Saldaña Ignacio Alfredo Ingeniero industrial. Analista Estadístico de Bases de Datos de la Vicerrectoría de Docencia buap. Integrante del Programa Institucional de Evaluación Académica de 2008 a la fecha. Integrante del Nodo Institucional de Seguimiento de Egresados buap del 2008 a la fecha. Colaborador en investigaciones sobre Trayectorias Estudiantiles, Evaluación Docente, Seguimiento de Egresados, Estudios Psicométricos y Sistemas de Indicadores. Correo electrónico: [email protected] León Arenas Martha Patricia Maestra en Administración de Instituciones y con formación en medición y evaluación educativa. Coordinadora de Evaluación Académica en la Vicerrectoría de Docencia de la Benemérita Universidad Autónoma de Puebla. Líneas de investigación: evaluación de la docencia universitaria, seguimiento Examina_evaluacion 19 NOV.indd 190 12/19/14 1:25 PM ACERCA DE LOS AUTORES 191 de egresados y trayectorias laborales, y evaluación colegiada del aprendizaje por asignatura. Correo electrónico: [email protected] Moreno Rosano María Patricia (coordinadora) Doctora en Educación por la Universidad Autónoma del Estado de Morelos. Maestra en Investigación Educativa por la Universidad Iberoamericana-Puebla. En la actualidad es profesora de tiempo completo de la licenciatura en Relaciones Internacionales de la Facultad de Derecho y Ciencias Sociales en la Benemérita Universidad Autónoma de Puebla (buap). Consejera de Docencia en la misma institución. Miembro del Programa Institucional de Evaluación Académica de 2006 a 2011. Sus trabajos de investigación se suscriben a las siguientes líneas: Universidad y Gobierno, Internacionalización de la Educación Superior y Evaluación Educativa. Mantiene reconocimiento de perfil Promep. Correo electrónico: [email protected] Navarro Rangel Yadira Doctora en Educación por la Universidad Autónoma de Aguascalientes (uaa). Profesora-investigadora (con perfil Promep) en la Facultad de Ciencias de la Electrónica (fce) de la buap, en donde además de estar a cargo de la Coordinación de Tutores, participa en el Departamento de Gestión del Conocimiento (GesCon). Pertenece al Nodo del Programa Institucional de Evaluación Docente (pievabuap) y es integrante del Cuerpo Académico “Entornos colaborativos digitales para el desarrollo de la Ciencia y la Tecnología”. Correo electrónico: [email protected] Posada Sánchez Ana Elena Maestra en Ingeniería Geotécnica, por la Facultad de Ingeniería, Benemérita Universidad Autónoma de Puebla, 2004. Profesora de tiempo completo en la Facultad de Ingeniería de la buap de 1998 a la fecha. Participante en el Proyecto de Construcción Participativa del Modelo Académico Educativo de Examina_evaluacion 19 NOV.indd 191 12/19/14 1:25 PM 192 EXAMINAR LA EVALUACIÓN DE LA DOCENCIA la buap, 2007-2008. Miembro del Grupo de Trabajo del Programa Institucional de Evaluación Académica de 2007 a 2012. Hoy día, Secretaria Académica de la Facultad de Ingeniería de la buap. Miembro de la Sociedad Mexicana de Mecánica de Suelos de 2001 a la fecha; asimismo, de la Sociedad Mexicana de Ingeniería Sísmica de 2001 a 2003 y de 2008 a la fecha, así como de la Sociedad de Ingeniería Sísmica y Estructural del Estado de Puebla de 2008 a la fecha. Correo electrónico: [email protected] Reyes Espejel Ixchel Es licenciada en Nutrición y Ciencia de los Alimentos egresada de la Universidad Iberoamericana, Puebla, cuenta con Maestría en Calidad de la Educación por la Universidad de las Américas, Puebla. Como docente, laboró en la Facultad de Cultura Física de la Benemérita Universidad Autónoma de Puebla de 2006 a 2010, donde también fue integrante del Programa Institucional de Evaluación Académica 2006-2008 y 2009-2011. Examina_evaluacion 19 NOV.indd 192 12/19/14 1:25 PM Examina_evaluacion 19 NOV.indd 193 12/19/14 1:25 PM EXAMINAR LA EVALUACIÓN DE LA DOCENCIA: un ejercicio imprescindible de investigación institucional Se terminó de imprimir en Grupo H Impresores en el mes de enero del año 2015. El tiraje fue de 1,000 ejemplares. Impreso sobre papel cultural de 90 g y couché de 250 g. La composición tipográfica se realizó con tipografía Minion Pro diseñada por Robert Slimbach y Carol Twombly en 1992. Examina_evaluacion View publication stats19 NOV.indd 194 12/19/14 1:25 PM
