Los componentes implícitos de la enseñanza por competencias en un cuestionario de evaluación de la docencia por los alumnos Edna Luna Serrano y Nohemí Calderón González Universidad Autónoma de Baja California, México Resumen Este trabajo revisa los componentes implícitos de la enseñanza por competencias presentes en un cuestionario de evaluación de la docencia por los alumnos. Para ello, sintetiza la experiencia y resultados obtenidos en el proceso de desarrollo y aportación de evidencias de validez del instrumento, muestra los rigurosos procesos analíticos a que fue sometido y centra su atención en el análisis de las teorías implícitas de la estructura factorial final. El estudio se realizó en la Universidad Autónoma de Baja California, México, se contó con la participación de un grupo de expertos en áreas afines al tema y una muestra representativa de estudiantes. El procedimiento consistió en: operacionalización del constructo; validación por un grupo de expertos; integración de resultados; aportación de evidencias de validez y confiabilidad. La estructura final se conformó por los factores: planeación y gestión, interacción didáctica en el aula, evaluación y comunicación del proceso de enseñanza-aprendizaje y, el indicador tecnologías de la información y la comunicación. Los datos observados en relación con la naturaleza de sus reactivos, la estabilidad de su estructura factorial, su adecuación a los marcos conceptuales, el porcentaje de varianza explicada y los índices de confiabilidad proporcionan el soporte necesario para su utilización en el ámbito universitario. Palabras clave: competencias docentes, puntajes estudiantes, evaluación profesorado. Introducción Uno de los acuerdos generalizados en la universidad es el reconocimiento de la docencia como componente central del proceso educativo, y el papel determinante que tienen los docentes en la formación de los futuros profesionistas. En este contexto, se busca que la evaluación del 1 desempeño del profesorado contribuya a la mejora de la calidad de la enseñanza, lo que es factible si la evaluación representa una oportunidad de reflexionar sobre las características fundamentales de la docencia. La evaluación docente con base en los puntajes de opinión de los estudiantes es la estrategia de evaluación que se utiliza de manera generalizada en el ámbito universitario, en países de Norteamérica, Europa y Asia; al mismo tiempo, es la más estudiada y cuestionada (Theall y Franklin, 2000; Rueda, Luna, García-Cabrero y Loredo, 2010). Sin embargo, una constante que le acompaña es el cúmulo de evidencias sobre el mal uso de los puntajes de los estudiantes, lo que da cuenta del déficit en las buenas prácticas y la persistente disparidad entre los hallazgos de la investigación y los procedimientos implementados en las instituciones. En este contexto de utilización extendida de los cuestionarios se puntualizan dos situaciones que requieren ser atendidas: por lo general, su aplicación no atiende los aspectos básicos que la literatura señala como fundamentales para validar su empleo y no han incorporado los cambios propios de los nuevos modelos educativos. Desde esta perspectiva, no basta con atender la calidad técnica del diseño del cuestionario que asegure su confiabilidad y validez, se requiere también revisar su utilidad para retroalimentar y orientar la actividad docente. Este artículo examina los componentes implícitos de la enseñanza por competencias presentes en la estructura factorial de en un cuestionario de evaluación de la docencia por los alumnos desarrollado con base en el Modelo de Evaluación de Competencias Docentes para la Educación Media y Superior (MECD) desarrollado por García-Cabrero, Loredo, Luna y Rueda, (2008). Los cuestionarios de evaluación de la docencia por los alumnos El diseño de los cuestionarios de evaluación de la docencia por los alumnos asume el supuesto de que la enseñanza efectiva es multidimensional, por lo que la mayoría de los cuestionarios se proponen evaluar las diferentes dimensiones que la conforman (Marsh y Dunkin, 1997). Por ello, a pesar de que no existe consenso sobre las características de un docente de calidad, el estudio de las dimensiones relacionadas con la efectividad docente, las identifica y clasifica de acuerdo con su importancia para el aprendizaje. Así, se ubican como las más importantes: claridad y entendimiento; estimulación del interés por la materia; preparación y organización del curso; logro de los objetivos planteados; y motivación a los estudiantes para tener alto rendimiento 2 (Feldman, 1997). El supuesto comúnmente aceptado es que estas dimensiones y los reactivos que las incluyen, forman parte de las habilidades genéricas que todo docente debe presentar. Al mismo tiempo, quienes critican el tipo de enseña que la mayoría de los cuestionarios promueven de manera implícita, por lo general mencionan dos argumentos. Por un lado, que éstos fomentan una pedagogía conservadora sustentada en el modelo de transmisión del conocimiento, ya que en la época en la que fueron desarrollados, las clases tradicionales eran la norma. Por otro lado, la necesidad de incorporar los cambios contextuales propios de cada situación educativa, en particular, las nuevas prácticas instruccionales derivadas de los planes de estudio por competencias, aprendizaje colaborativo y la educación a distancia (Theall y Franklin, 2000; García-Cabrero, Loredo, Luna y Rueda, 2008 ). Además, aun cuando la teoría clásica sobre el desarrollo de los cuestionarios propone fundamentar los instrumentos de evaluación en una teoría de la enseñanza y aprendizaje, se reconoce que la mayoría de los cuestionarios desarrollados y publicados han ignorado elementos centrales de la teoría del aprendizaje que les subyace (Luna, 2000). Al introducir la aproximación de enseñanza por competencias en los curricula se plantea una concepción de aprendizaje que demanda de la práctica docente características propias del enfoque. Operacionalizar las particularidades de la enseñanza desde este enfoque no es una tarea fácil, dada la polisemia del concepto y las dificultades reales de llevar a la práctica una adecuada formación por competencias. El MECD se enmarca en una aproximación constructivista, sociocultural y situada de las competencias. Incorpora las aproximaciones a la competencia docente de autores como Denyer, Furnémont, Poulain y Vanloubbeeck, (2007); Perrenoud (2004); SEMS-México (2008); y Zabalza (2005); además de principios particulares de la evaluación de la docencia como promover una evaluación formativa, participativa y humanista (García-Cabrero, Loredo y Carranza, 2008). Un supuesto implícito en el MECD es que las competencias pueden ser evaluadas a través de la explicitación de criterios y la medición de sus indicadores de manera separada. Es congruente con los planteamientos de Denyer, Furnémont, Poulain y Vanloubbeeck (2007), quienes señalan que los criterios deben ser pertinentes (medir los componentes esenciales de la tarea o familia de tareas), independientes (el éxito o fracaso de un criterio no conlleva al éxito o fracaso de otro), poco numerosos, y jerarquizados (identificación de los mínimos cuyo cumplimiento equivale al mínimo de la competencia, y criterios de perfeccionamiento útiles para 3 determinar el nivel de excelencia). Cabe hacer notar que este acercamiento es diferente a la aproximación de competencia global, integradora, que sólo puede evaluarse en contextos auténticos y globalizados. El MECD propone tres momentos de la actividad docente a evaluar: previsión del proceso de enseñanza-aprendizaje, conducción del proceso de enseñanza-aprendizaje y valoración del proceso de enseñanza-aprendizaje. El primero, incluye la competencia “planear el curso de la asignatura”; el segundo las competencias, “gestionar la progresión de los aprendizajes (plan de clase), llevar a cabo la interacción didáctica en el aula, utilizar formas de comunicación adecuadas para apoyar el trabajo académico”; y el tercero “utilizar formas adecuadas para valorar los procesos de enseñanza-aprendizaje y su impacto”; además incluyen sus concernientes indicadores. El diseño del cuestionario del Cuestionario de Evaluación de la Competencia Docente se reportó de manera extensa en un trabajo previo1 y consistió fundamentalmente en seis fases: 1. Operacionalización del constructo 2. Fase piloto 3. Validación por un grupo de expertos 4. Integración de resultados 5. Aplicación a una muestra representativa de estudiantes 6. Aportación de evidencias de validez Fase 1. Operacionalización del constructo. En el proceso de operacionalizar el constructo competencia docente se buscó traducir el MECD en apego a dos consideraciones: la teoría, requerimientos metodológicos y técnicos de la tradición en investigación de los cuestionarios de evaluación de la docencia por los alumnos; y la teoría de la enseñanza por competencias. En una tabla de planeación o retícula se ubicaron los tres momentos que plantea el modelo como dimensiones, las competencias como subdimensiones, los indicadores pertenecientes a cada subdimensión, y los reactivos construidos. Al considerar los tres momentos del modelo como dimensiones se les identificó como los elementos de mayor nivel de 1 Luna, S. E. Calderón, G. N. Caso, N. J., y Cordero, A. G. (en prensa). Desarrollo y validación de un cuestionario de evaluación de la competencia docente con base en la opinión de los estudiantes. En E. Chacón, B. García-Cabrero, E. Luna y R. Marín (Coords.). Evaluación de competencias docentes en la educación superior. México: Juan Pablós Editores. 4 generalidad, seguidos de las competencias como subdimensiones, donde cabe destacar que el indicador dominio y estructuración de los saberes de la disciplina, se situó al nivel de subdimensión. Enseguida se seleccionaron del modelo los indicadores, que de acuerdo con los hallazgos de la literatura especializada, pueden ser evaluados por los estudiantes. Por último, los reactivos se plantearon a partir de cada indicador. Con base en este procedimiento se diseñó la primera versión del cuestionario. Fase 2. Estudio piloto. La primera versión se aplicó a un grupo de 30 estudiantes de licenciatura, seleccionados al azar. Con los datos obtenidos se calcularon estadísticos básicos y el índice de consistencia interna alpha de Cronbach. Fase 3. Validación por un grupo de expertos. Se contó con la participación de seis investigadores expertos, en entrevista personal a cada experto se le presentó y explicó la retícula de planeación para que, a partir de ella, emitieran su opinión sobre la estructura general del cuestionario y sobre cada uno de los reactivos, considerando la coherencia entre dimensión, subdimensión, indicador y reactivo. Las entrevistas se analizaron con base en estrategias de análisis de contenido. Fase 4. Integración de resultados En esta fase se integraron los resultados de las dos fases anteriores, lo que derivó en realizar las modificaciones pertinentes. Como resultado se diseñó la segunda versión del cuestionario. Fase 5. Aplicación a una muestra representativa. La población pertenece a los estudiantes de licenciatura en la modalidad de enseñanza presencial inscritos al segundo periodo escolar de 2008, de la Universidad Autónoma de Baja California. La selección de la muestra, obtenida mediante el tipo de muestreo probabilístico estratificado, fue de 396 estudiantes, redondeando a 400 el número final de estudiantes seleccionados, los que se distribuyeron de acuerdo con las áreas del conocimiento que contempla la universidad. La aplicación del cuestionario se realizó de manera presencial por grupo de estudiantes en su horario de clases. Fase 6. Aportación de evidencias de validez y confiabilidad. Se realizó el análisis de unidimensionalidad correspondiente a fin de conocer el comportamiento de cada uno de los reactivos (dificultad, discriminación e índices de ajuste) que conforman el cuestionario, seguido del análisis factorial exploratorio y de la obtención de los índices de consistencia interna, tanto para el cuestionario como para los factores observados. Para el análisis de los datos se utilizó el 5 programa estadístico para ciencias sociales SPSS versión 17 y el Winsteps Rasch Measurement (2002). Resultados Operacionalización del constructo Al seleccionar los indicadores susceptibles de ser evaluados por los estudiantes se encontró que: 1) algunos indicadores no son factibles de ser evaluados por los estudiantes; 2) existen indicadores que se repiten en los tres momentos (previsión, conducción, valoración), situación que si bien se justifica por la concepción teórica del modelo, genera confusión en un instrumento de evaluación, por lo que se determinó el espacio más adecuado para la ubicación del indicador, de acuerdo con la opinión de los expertos se ubicó el momento del proceso de enseñanza y aprendizaje más fácil de discriminar por los estudiantes; 3) unos indicadores refieren comportamientos complejos que ameritaron ser desglosados con el propósito de traducirlos en reactivos; y 4) ciertos indicadores fueron interpretados para partir de una redacción simple y concisa. Por último, se redactaron nuevos indicadores en los casos donde se consideró insuficiente la información descrita, como es en las subdimensiones dominio de los saberes disciplinares y evaluación del proceso enseñanza-aprendizaje. Validación por expertos Las observaciones de los expertos se agruparon en tres categorías: de forma, de fondo y de estructura. En relación con la estructura del cuestionario, los expertos recomendaron dar mayor peso a las dimensiones valoración del proceso de enseñanza-aprendizaje desde la perspectiva del enfoque por competencias, y se pidió incluir otra subdimensión, la de valores. En cuanto al tiempo promedio de respuesta del cuestionario se sugirió éste no fuera mayor a diez minutos. Integración de resultados La integración de la información obtenida en las dos fases anteriores produjo la segunda versión del cuestionario. Donde resultó un cuestionario con un total de 35 reactivos redactados como afirmaciones, con un formato de respuesta tipo Likert, de cinco puntos, que va de Nunca a Siempre. Aportación de evidencias de validez y confiabilidad Como procedimiento de rutina previo al análisis de dimensionalidad se obtuvieron los estadísticos básicos asociados al conjunto de reactivos que conforman la escala. El resultado de este análisis permitió observar que la totalidad de los reactivos del cuestionario presentan 6 coeficientes de correlación punto biserial superiores a .40, valores aceptables de acuerdo con diversos sistemas de referencia. Posteriormente, se obtuvieron los valores de los estadígrafos de ajuste (MNSQ) para los reactivos que conforman el cuestionario, observándose que treinta y tres reactivos satisfacen los criterios de bondad de ajuste interno (INFIT) y externo (OUTFIT) de entre .50 a 1.50 (Linacre, 2007), registrando niveles de dificultad (MEASURE) que oscilan entre .50 y -.52 lógitos, por lo tanto, se concluye que los ítems se comportaron en el análisis según las expectativas del modelo Rasch Masters. Sólo dos reactivos presentaron valores fuera de los umbrales críticos. Se realizó el análisis factorial exploratorio correspondiente mediante el método de componentes principales. La estructura factorial final explica el 59.3% del total de la varianza, el análisis de consistencia interna de los 35 reactivos que integran el cuestionario registró un alfa de Cronbach de 0.967, mientras que sus factores registraron índices entre 0.753 y 0.939. Finalmente, la estructura del cuestionario después de los análisis realizados y del contraste con el marco teórico quedó tal como se muestra en la Tabla 1, la cual revela los tres factores: planeación y gestión, interacción didáctica en el aula, evaluación y comunicación del proceso enseñanza-aprendizaje, y como indicador tecnologías de la información y la comunicación; y, las subdimensiones que les corresponden con sus respectivos indicadores y reactivos. Por su parte la Figura 1 presenta el mapa conceptual del cuestionario con la estructura de relaciones entre los conceptos que subyacen a cada reactivo. Estas agrupaciones se ajustan con la estructura teórica que sustenta al cuestionario, se consideraron adecuadas y explican una varianza aceptable. El Cuestionario de Evaluación de la Competencia Docente en su versión final se muestra en el Anexo 1. 7 Tabla 1. Estructura final del Cuestionario de Evaluación de la Competencia Docente. DIMENSIÓN 1. Planeación y gestión. SUBDIMENSION Dominio y estructuración de los saberes Planeación de la asignatura Gestión y motivación hacia el aprendizaje 2. Interacción didáctica en el aula. Interacción y organización de la clase INDICADOR Relaciona el contenido del curso con otras materias. Ubica los conocimientos disciplinares en contextos sociales. Muestra dominio de los conocimientos conceptos de cada tema. Muestra dominio de los procedimientos para resolver un problema de la disciplina. Presenta las secciones del programa de trabajo al inicio del curso. Planifica las clases de manera flexible, para ajustar a las necesidades de los estudiantes. Formula situaciones problema que facilitan el aprendizaje significativo. Realiza actividades para motivar a los estudiantes a aplicar lo aprendido. Proporciona asesorías individualizadas a los estudiantes. Motiva a los estudiantes a continuar aprendiendo sobre los temas vistos en el curso. Motiva a los estudiantes a continuar aprendiendo sobre los temas vistos en el curso. Los contenidos en clase son abordados con una secuencia lógica. El tiempo dedicado a cada contenido del curso es suficiente. Acepta sugerencias de los estudiantes sobre la manera de organizar las actividades. Otorga oportunidades equitativas de participación en el aula. Facilita el aprendizaje significativo de los conocimientos declarativos. Promueve el aprendizaje colaborativo en el grupo. Desarrolla la cooperación entre alumnos. Utiliza adecuadamente los métodos expositivos. Expresa sus ideas claramente. Estructura de manera lógica sus exposiciones. Valores 3. Evaluación y comunicación del proceso de enseñanzaaprendizaje. Comunicación Evaluación Ejerce su trabajo con sentido de responsabilidad. Favorece la elaboración de acuerdos de convivencia con la aportación de todos. Actúa con respeto hacia las personas. Presenta las secciones del programa de trabajo al inicio del curso. Presenta las secciones del programa de trabajo al inicio del curso. Comunicación Expresa sus ideas claramente. Estructura de manera lógica sus exposiciones. Evaluación Realiza evaluaciones con fines formativos durante el curso. Respeta los criterios de evaluación planteados al inicio del curso. Realiza evaluación sumativa al final del curso. Evaluación Evaluación REACTIVO # Menciona la relación de algunos contenidos del curso con temas de otras materias del plan de estudios. Explica la utilidad de los conocimientos en situaciones de la vida diaria. Ubica los contenidos del curso en el contexto profesional. Puntualiza los conceptos importantes de los temas vistos en el curso. Enseña procedimientos para usar el conocimiento en la solución de problemas reales. Propone fuentes de información que facilitan el aprendizaje de los temas. En las primeras clases identifica los conocimientos de los estudiantes sobre la materia. Modifica las actividades o fuentes de información para adecuarlas a las necesidades del grupo. Plantea situaciones con problemas reales que favorecen mi aprendizaje de los temas. Realiza actividades en clase que me motivan a aplicar lo aprendido fuera del aula. Estuvo disponible para dar asesorías individuales cuando lo necesité. Me motiva a continuar aprendiendo sobre los temas vistos en el curso. Pone en operación actividades en el aula que facilitan el aprendizaje de los contenidos. Aborda los temas con una secuencia razonada. 1 El tiempo dedicado para aprender cada tema es suficiente. 15 Acepta sugerencias de los estudiantes sobre la manera de organizar las actividades. Da oportunidades iguales a todos los estudiantes para participar en clase. Para facilitar la comprensión de conceptos, los define mediante ejemplos Estructura tareas de aprendizaje que propician la colaboración entre los estudiantes. Se asegura de que en las actividades en equipo, cada integrante contribuya a su realización. Realiza preguntas a los estudiantes cuando expone, para asegurar la comprensión del tema. Cuando habla, expresa claramente sus ideas. Fomenta la participación del grupo para realizar conclusiones en sus exposiciones. Demuestra ser responsable en su trabajo. 16 Promueve la elaboración de acuerdos de convivencia en el aula con base en las opiniones de todo el grupo. Es respetuoso con todos los estudiantes del grupo. Presenta la lista de temas y su secuencia en el programa de la materia. Explica los criterios de evaluación de la materia. 25 Manifiesta claramente sus ideas cuando escribe en el pintarrón. Sus exposiciones se caracterizan por tener un inicio, desarrollo y conclusión en sus exposiciones. Realiza evaluaciones para retroalimentar sobre las dificultades de aprendizaje. Respeta los criterios de evaluación planteados al inicio del curso. 29 30 La evaluación final fue congruente con los contenidos y actividades del curso. 33 8 2 3 4 5 6 7 8 9 10 11 12 13 14 17 18 19 20 21 22 23 24 26 27 28 31 32 *Tecnologías de la información y la comunicación. Uso de recursos tecnológicos Utiliza recursos didácticos diversos. Se mantiene actualizado en el uso de la tecnología de la información y comunicación. Utiliza diversos recursos didácticos en clase (por ejemplo presentaciones en computadora, videos, fotos, diagramas, etc.). Incorpora en sus clases el uso de la tecnología de la información y la comunicación (por ej. internet, uso de software, etc.). Consideraciones finales El principal reto en el diseño del cuestionario fue lograr la delimitación de los componentes de la docencia en congruencia con el enfoque de la enseñanza por competencias. Esto se logró al adoptar como estructura teórica, que es el MECD, del cual cabe resaltar dos particularidades que hicieron posible la tarea: 1) incluye indicadores asociados a cada competencia; y 2) asume el supuesto de que las competencias pueden ser desglosadas en indicadores para su evaluación. Una característica que define al cuestionario es que la teoría que le subyace es la del modelo de enseñanza por competencias desde una aproximación constructivista, sociocultural y situada de las competencias. Los 35 reactivos que lo integran se distribuyeron en tres factores: planeación y gestión, interacción didáctica en el aula, evaluación y comunicación del proceso enseñanza-aprendizaje, y en un indicador denominado tecnologías de la información y comunicación (por agrupar sólo dos reactivos). Estos agrupamientos dan cuenta de la visión de los estudiantes, y son congruentes con la estructura teórica original. De esta manera aunque algunos reactivos son similares con los cuestionarios tradicionales en uso, en conjunto el cuestionario promueve una pedagogía de la enseñanza por competencias. La naturaleza de los reactivos del cuestionario, la estabilidad de su estructura factorial, el porcentaje de la varianza explicada, su adecuación a los marcos conceptuales y los índices de confiabilidad observados, permiten hacer inferencias válidas y confiables, a partir de las puntuaciones que arroja su aplicación. Así, los datos observados después de la aplicación de este instrumento a una muestra representativa de la Universidad Autónoma de Baja California proporcionan el soporte necesario para su utilización en otras instituciones. La experiencia es relevante, en tanto que se integraron en el diseño del cuestionario los principios de la literatura sobre el desarrollo de cuestionarios evaluación de la docencia con las características particulares de un enfoque de enseñanza por competencias y dicho instrumento fue sometido a procedimientos rigurosos de análisis de manera cuantitativa y cualitativa. De ahí 9 34 35 que este trabajo se considere una aportación importante en el contexto de los discursos innovadores sobre la enseñanza basada en competencias y la evaluación de la docencia con base en la opinión de los estudiantes dentro de este enfoque educativo. Referencias Denyer, M., Furnémont, J., Poulain, R., y Vanloubbeeck, G. (2007). Las competencias en educación. Un balance. México: FCE. Feldman, A. (1997). Identifying exemplary teachers and teaching: evidence from student ratings. En R. Perry y J. Smart (Eds.), Effective teaching in higher education: Research and practice (pp. 368-395). Nueva York: Agathon Press. García, B., Loredo, J., Luna, E., y Rueda, M. (2008). Modelo de evaluación de competencias docentes para la educación media y superior. IV Coloquio iberoamericano sobre la evaluación de la docencia (pp. 225-246). México: IISUE-UNAM, RIED, CONACYT. García-Cabrero, B., Loredo, J. y Carranza, G. (2008). Análisis de la práctica educativa de los docentes: pensamiento, interacción y reflexión. Revista Electrónica de Investigación Educativa, Especial. Consultado el día 8 de febrero de 2010, en: http://redie.uabc.mx/NumEsp1/contenidogarcialoredocarranza.html Linacre, J. M. (2007). Winsteps (Version 3.62.3) [Computer Software]. Chicago: Winsteps.com Luna, E. (2000). Aspectos implícitos sobre la enseñanza reflejados en los cuestionarios de evaluación de la docencia. En M. Rueda y F. Díaz-Barriga (Comps.) Evaluación de la docencia. Perspectivas actuales (pp. 63-84). México: Paidós Educador. Marsh, W., y Dunkin, J. (1997). Students’ evaluations of university teaching: A multidimensional perspective. En R. Perry y J. Smart (Eds.), Effective teaching in higher education: Research and practice (pp. 241-320). Nueva York: Agathon Press. Perrenoud, P. (2004). Diez nuevas competencias para enseñar. Barcelona, España:Graó. Rueda, M., Luna, E., García-Cabrero, B., y Loredo, J. (2010). La evaluación de la docencia en las universidades públicas mexicanas: un diagnóstico para su comprensión y mejora. Revista Iberoamericana de Evaluación Educativa. Subsecretaría de Educación Media Superior. (2008). Competencias que expresan el perfil del docente de la Educación Media Superior (Documento interno). México: Secretaría de Educación Pública. Theall, M. y Franklin, J. (2000). Creating responsive student ratings systems to improve evaluation practice. New Directions for Teaching and Learning, 83, 95-107. 10 Zabalza, A. (2005). Competencias docentes. Documento presentado en la Pontificia Universidad Javeriana de Cali, Colombia. Consultado el 25 de mayo de 2008, en: http://portales.puj.edu.co/didactica/Archivos/Competencias%20docentes.pdf 11