MODULO II RENDICIÓN DE CUENTAS Y CALIDAD EDUCATIVA Unidad 3 La gestión de los procesos internos y externos de evaluación institucional. Herramientas para la evaluación de un centro docente Segmento 1. Justificación y sentido de la evaluación externa de los centros docentes Las evaluaciones externas que realizan las autoridades educativas u otras instancias nos permiten conocer qué se percibe sobre nuestro trabajo desde entidades ajenas a la escuela. Pueden proporcionarnos datos y orientaciones útiles y pertinentes para encaminar mejor nuestro rumbo. Deben ser bienvenidas siempre, si es que no se busca con ellas un mero ejercicio burocrático o establecer comparaciones injustas entre centros, o tratar de imitar modelos escolares utópicos. También otros agentes externos nos expresan los resultados de su evaluación mediante mensajes elocuentes. En algunos casos, que aumente mucho o disminuya drásticamente el número de estudiantes pueden ser los efectos de una evaluación externa, no de orden técnico pero sí de carácter social que habría que tener en consideración. Si nos referimos a la evaluación externa que efectúan las instancias de la Administración educativa, podemos identificar algunas razones principales que la justifican: • • • Ayuda a que las autoridades educativas puedan disponer de informaciones ciertas, recogidas y analizadas sistemáticamente, que les permita establecer un mapa de datos y situaciones de toda la red escolar. Permite que con esas informaciones se puedan orientar procesos de toma de decisiones conducentes a proporcionar una mejor cobertura y apoyos debidamente diferenciados a cada sector escolar y a cada centro en función de sus necesidades y situación particular. Ayuda a comprobar en qué medida los centros escolares ejercen su autonomía analizando procesos y resultados escolares en relación con los objetivos institucionales que cada uno se plantea en función de su contexto particular. Esta razón nos remite a considerar la dimensión de rendimiento de cuentas, debidamente individualizado y diferenciado. 1 • • • Favorece que las personas usuarias de nuestro trabajo conozcan los procesos y los resultados del servicio que les ofrecemos, si es que éstos se hacen públicos. Constituye un proceso complementario a la evaluación interna que permite triangular apreciaciones y ayuda a enriquecer el conocimiento de la organización desde ópticas diferentes. Puede ser una excelente herramienta de detección de necesidades de formación permanente de las personas del equipo de profesionales que trabajan en el centro. El sentido, la razón de ser principal de la evaluación externa, según la entendemos, debería estar orientado fundamentalmente hacia: • • • • • • Comprender qué acontece en los centros mediante el conocimiento próximo, in situ y a través de fuentes personales y documentales diversas. Obtener resultados y conclusiones que sirvan para proporcionar ayudas a los centros en términos de acompañamiento, asesoría y otros apoyos, enfatizando en el carácter formativo que debe estar siempre presente en cualquier proceso evaluador. Instalar una cultura de revisión y análisis regular de nuestras prácticas profesionales con la ayuda de instancias externas cualificadas. Crear, sostener y mejorar la cultura de colaboración con las instancias externas de apoyo a la escuela. En apoyo comprensión recíprocos son requisitos que sostienen esa razón y la favorecen. Obtener y proporcionar al centro una visión externa, holística y crítica que permita establecer contrastes con la autoevaluación institucional con el fin de disponer de un panorama más completo y plural. Promover procesos de regulación y retroalimentación orientados hacia la comparación del centro consigo mismo y no con los demás de manera directa y sin considerar tipologías contextos y condiciones particulares. Sin dejar de considerar la utilidad de modelos de evaluación externa muy formalizados y orientados hacia el “aseguramiento de la calidad” del tipo EFQM 1 (European Foundation for Quality Management) o de las normas ISO2 (International Standards Organization) proponemos, en primera instancia, implicarse en evaluaciones acordadas y llevadas a cabo con los Servicios de la Inspección Educativa. Los inspectores e inspectoras son personas que, aunque externas a los centros, tienen relación sostenida y frecuente con ellos. Conocen los contextos en que están insertos: 1 http://www.efqm.org 2 http://www.iso.org 2 condiciones, restricciones, etc., así como las trayectorias e historias institucionales. Todo ello ayuda a que la interpretación de los resultados y las conclusiones a las que se llegue sean más precisos y los planes de mejora más pertinentes y realistas. Creemos que el papel principal de los Equipos Directivos de los centros en la evaluación externa consiste en favorecerla y cooperar abiertamente para que se desarrolle de acuerdo con principios de rigor en el proceso y equidad en la interpretación de datos y resultados. Ambas tareas están directamente relacionadas con las principales funciones de la Dirección. Una manera de llevar a cabo el papel anterior tiene que ver con la retórica. Se trata de saber explicar muy bien el proceso de evaluación al equipo docente, de manera que se genere un escenario de confianza y una actitud positiva a la hora de compartir el objetivo que se pretende y la metodología de trabajo. Explicar y acordar adecuadamente cuáles son las motivaciones que guían el proceso –la mejora, evidentemente- y los efectos de la evaluación que va a emprenderse constituyen el primer paso para disminuir las resistencias, los temores y las suspicacias. Y para dinamizar, en suma, todo el proceso. 3 Segmento 2. El diagnóstico como elemento clave en los procesos de evaluación interna Los procesos de evaluación externa, como se ha visto, constituyen dispositivos que pueden ser de gran utilidad para el apoyo a la gestión de los centros escolares. Sin embargo, para tratar de comprender y mejorar nuestra tarea es necesario que quienes estamos día a día trabajando en ellos tomemos parte activa también en los procesos de revisión y análisis de lo que hacemos. Los centros escolares más eficientes suelen dedicar energías y esfuerzos a analizar, a auto-diagnosticarse. Y nos muestran que la autoevaluación institucional constituye un recurso de alto valor y eficacia para la mejora. Usted, con toda seguridad, en un momento u otro de su carrera profesional, ha participado en procesos de autoevaluación. Habrán sido más o menos intuitivos, sistemáticos, frecuentes o bien desarrollados, pero en todos ellos habrá podido percibir las potencialidades que pueden tener, si se desarrollan de manera adecuada. Ahora, como director o directora, le corresponde la tarea de promover esos procesos y, sobre todo, de llevarlos a cabo provechosamente. El diagnóstico interno será más eficiente y satisfactorio si se tienen presentes tres requisitos fundamentales: (i) elaboración participativa, (ii) consideración de todos los ámbitos de actividad en el análisis y (iii) identificación de las causas. Elaboración participativa Las personas solemos motivarnos en relación con la tarea que se nos propone cuando hemos tomado parte activa a la hora de concebirla, de determinar su objetivo. Y, más aún, si tenemos algún protagonismo intelectual cuando se decide sobre cómo llevarla a cabo: la metodología de trabajo. Difícilmente un proceso de autoevaluación, que debe concluir con unas propuestas para la acción, tendrá éxito si no se involucra en él a las personas que después deberán implementar aquellas acciones. Todas las personas de la organización, según sus capacidades y competencias, no solamente el personal docente, deberían tener cabida en dicho proceso. Corresponderá las instancias directivas del centro sugerir indicaciones para establecer los modos y niveles de participación en cada caso y en cada momento. Consideración de todos los ámbitos de actividad 4 La revisión interna, como explicaremos más adelante, no puede ser siempre exhaustiva y profunda. Sin desmerecer la utilidad de la experiencia ni del “ojo clínico”, conviene sistematizar el diagnóstico. Se trata de que el foco se oriente hacia el conocimiento sobre qué pasa y por qué en todos los ámbitos de actividad del centro 3, sin olvidar ninguno. Son los siguientes: Ámbitos de actividad en el centro escolar Todos y cada uno de esos ámbitos se ofrecen como espacios en los que entrar para preguntarnos cómo funcionan, que resultados se obtienen, cuales son las causas y en qué aspectos particulares merece la pena incidir para mejorar. Identificación de las causas Los procesos diagnósticos son eficientes si consiguen identificar las causas de lo que acontece en la institución. A menudo en los establecimientos escolares, debido a las dinámicas vertiginosas del quehacer cotidiano, a las presiones externas, frecuentemente intensas, o por otros 3 En el texto de Antúnez (2012) Diagnosis y ámbitos de actividad encontrará la explicación detallada de cada uno y un buen número de ejemplos de las tareas profesionales y actuaciones que agrupa. 5 motivos, queremos resolver nuestros problemas actuando sobre sus efectos y no sobre sus causas. Diagnosticar supone tratar de encontrar las causas para actuar sobre ellas aunque en ocasiones no sea una tarea fácil. Si se conocen las causas de las prácticas exitosas podremos fácilmente reiterar los procedimientos para sostenerlas. De la misma manera, si podemos saber el origen de las prácticas insatisfactorias podremos vislumbrar mejor el camino que nos lleve a corregirlas y, si es posible, a proponernos mejorarlas a través de la innovación. Una manera eficiente y práctica de ordenar donde residen las causas es considerar cada uno de los componentes 4 del centro, en tanto que organización formal. Es decir: objetivos, recursos, estructura, sistemas y métodos de trabajo y cultura. También consideraremos el entorno como espacio donde podríamos situar algunas de las causas que tienen incidencia en nuestras prácticas profesionales y en sus resultados La mejora se podrá orientar entonces de manera más precisa hacia cada uno de esos componentes, conscientes de la gran dificultad que supondrá tratar de mejorar en los aspectos relacionados con las causas propias de los elementos externos del contexto. 4 En el texto de Antúnez (2012) Los componentes de las organizaciones educativas encontrará la explicación detallada de cada uno y un buen número de ejemplos de preguntas específicas orientadas a identificar las causas. 6 Segmento 3. Fuentes, técnicas e instrumentos para la evaluación interna Obtener informaciones relevantes de fuentes pertinentes constituye un reto para los directores y directoras escolares cuando abordan procesos de autoevaluación institucional. La preocupación por emplear adecuadamente y, en su caso, por elaborar herramientas propias de determinadas técnicas de obtención de información se añade a la dificultad que comporta motivar al equipo de docentes y promover que participe en el proceso evaluador. En relación con la primera inquietud resulta conveniente considerar dos aspectos. El primero se refiere a la importancia de considerar más y mejor las informaciones de que ya disponemos mediante los procesos ordinarios a que da lugar la actividad cotidiana en el centro. El segundo alude a la necesidad de emplear variedad de fuentes, técnicas e instrumentos, en la medida que sea posible. Emplear más y mejor los datos e informaciones que tenemos a nuestro alcance Para ello es conveniente tener presente y saber interpretar qué nos dicen: • • • • • Los números: estadísticas de ausencias, de retrasos, de aprobados y suspensos, altas y bajas de alumnado, de expedientes disciplinarios, de los resultados de pruebas censales externas, de la cantidad de reuniones de un equipo o un órgano de gobierno, etc. Los números hablan, si sabemos “preguntarles” adecuadamente. Las fuentes documentales de empleo cotidiano. Algunas de ellas se mencionan más adelante. Los indicios y los síntomas. Usted sabe muy bien que por el humo se sabe donde está el fuego. Las evidencias en el quehacer diario. La tendencia de la demanda y nuestros propios planes estratégicos, con el fin de comprobar en qué medida estamos siguiendo el rumbo que señalan una y otros. Por otra parte, aunque los procesos de autoevaluación deben basarse en certezas, en datos y hechos comprobados y ciertos y no en presunciones, resulta conveniente también fijar la tención en informaciones de carácter informal. Puede resultar de gran interés considerar y analizar lo que se comenta en los pasillos, en los patios, en la sala de encuentros del profesorado, las expresiones del alumnado en las asambleas de delegados de curso, etc. Ese ejercicio nos ayudará a completar y a comprender mejor lo que conocemos mediante procedimientos formales. 7 Se trata, en suma, en primera instancia, no tanto de ir a buscar informaciones nuevas sino de hacer que emerjan las que ya poseemos para ser sometidas a consideración en el proceso evaluador. Ese propósito nos conducirá, paralelamente, a mejorar los procesos de recogida, organización de esos datos: actas, expedientes, archivos, registros, etc. y a organizar su posterior análisis. Considerar diferentes fuentes, técnicas e instrumentos para obtener información En todo proceso autoevaluador resulta imprescindible proveerse de diversas informaciones con el fin de conocer adecuadamente lo que acontece en el centro. Con el fin de orientar adecuadamente los procesos de diagnóstico, podemos obtener datos a través de diferentes fuentes y mediante diversas técnicas, siempre que sea posible. Algunos de ellas, junto con algunos ejemplos de instrumentos, se relacionan en el cuadro siguiente. 8 Instrumentos · · · · · · · Agendas · Protocolos · Etc. · Docentes · Directivos · Padres y madres · Alumnado · Personal de Administración y Servicios · Etc. · · · · · · · · Programaciones didácticas Actas de reuniones Estadísticas escolares Memorias Producciones del alumnado5 Reglamentos Informes externos Etc. · · · · · · Aulas, gimnasio, laboratorios Patios de recreo Zonas de circulaciones Espacios para reuniones Sala de docentes Etc. Escenarios Personales Técnicas Documentarles Fuentes Reuniones y debates guiados Entrevistas Cuestionarios Grupos de discusión Asambleas Etc. · Análisis de contenido · Guías de análisis · Observación · Registros Llevar a cabo procesos de triangulación de fuentes y de técnicas, especialmente mediante comparaciones constantes, y contrastes, conducirá a mejores aproximaciones al conocimiento de los datos, los hechos y sus causas. Y a obtener resultados y conclusiones más confiables. 5 Cuadernos, exámenes, monografías, etc. 9 Segmento 4. La autoevaluación y los errores más frecuentes: el papel de la Dirección para evitarlos Dos requisitos fundamentales La autoevaluación del centro escolar comienza por un diagnóstico. Y la primera condición para que sea eficiente y satisfactorio es que se base en datos precisos. No es conveniente trabajar mediante intuiciones o suposiciones. El segundo requisito es que se lleve a cabo de manera ordenada. Los hechos, datos y circunstancias que concurren en la escuela deben ser considerados a la luz de un conocimiento y análisis bien fundamentados, que serán más eficaces si se realizan mediante la ayuda de procedimientos y pautas sistemáticas. En este segmento pretendemos indicarle cuáles son los errores más frecuentes que hemos observado al analizar cómo se llevan a cabo los procesos de autodiagnóstico en un buen número de centros escolares. En el material complementario Autoevaluación: errores más frecuentes, que amplía el texto de este segmento, usted encontrará algunas sugerencias de orden práctico para evitarlos. Errores respecto a la finalidad de la autoevaluación • Convertir la autoevaluación en un ejercicio burocrático La autoevaluación pierde su sentido y potencialidad cuando predomina en ella el papeleo, la rigidez y las formalidades superfluas. Y todavía más cuando se convierte en una simulación. • No elaborar planes de mejora congruentes con los resultados Desconsiderar los datos y conclusiones de los resultados de la autoevaluación constituye otra equivocación de consecuencias negativas. En primer lugar, porque dará origen a que todo el proceso se desvirtúe: se diagnosticaba para mejorar y no se hace. Y, en segundo, porque dará la razón a quienes argumentan que todos estos procesos, al final, no sirven para nada. Se trata de responder a la pregunta ¿y qué hacemos después del diagnóstico? 10 Errores en relación con los procesos • Presentar súbitamente, operar precipitadamente. La autoevaluación requiere de procesos calmados. En ocasiones, a causa de exigencias externas repentinas de las autoridades educativas, por querer abordar rápidamente la solución de un problema o por seguir determinadas modas, se proponen procesos imprevistos y con carácter urgente. Se les da un carácter perentorio que obliga a proceder de manera atropellada y con prisas. Todo ello da lugar a prácticas superficiales y a que las personas involucradas no lleguen a apropiarse debidamente de la idea ni a comprometerse suficientemente con ella. • Pretender la exhaustividad sostenida Otra equivocación frecuente es querer evaluarlo todo y continuamente. Involucrarse en una “política de evaluación institucional”, puede suponer aceptar un compromiso muy difícil de cumplir en muchos casos. La propia locución nos remite a las ideas de globalidad, integridad, permanencia en el tiempo, constancia, exhaustividad, a pretender no dejar ningún cabo suelto. Como consecuencia, se abordan procesos evaluadores largos y voluminosos porque, claro, y es verdad, todo es importante. Sabemos que los efectos de algunas prácticas profesionales son la causa de otras, que las partes se relacionan entre sí y con el todo, que no se pueden considerar elementos aislados sino dentro de un sistema de interrelaciones, etc. Considerarlo todo suena bonito, pero resulta utópico. ¿Cómo llevar a cabo ese análisis tan completo y detallado cuando la escuela no puede parar su actividad ordinaria?, ¿cómo hacerlo compatible con las tareas docentes habituales e inexcusables del profesorado y las propias de las instancias directivas? • No reunir datos e informaciones pertinentes Ese descuido induce a orientar el diagnóstico a partir más de intuiciones, sospechas o impresiones subjetivas que de datos y evidencias constatables. Suele ser la consecuencia también de no emplear adecuadamente las fuentes de información y los métodos para obtenerla. 11 ¿Qué procedimiento nos da informaciones más confiables sobre lo que se hace en las aulas: examinar las programaciones didácticas de los docentes o analizar los cuadernos de sus alumnos y alumnas? Y, por otra parte ¿qué uso hacemos de los datos e informaciones ya disponibles en la Secretaría del Centro? ¿Sirven sólo para elaborar informes para el exterior, para una burocrática Memoria, o para ayudar a la toma de decisiones orientadas hacia la mejora? • No considerar las causas Los procesos diagnósticos son eficientes si consiguen identificar las causas de lo que acontece en la institución. A menudo en los establecimientos escolares, debido a las dinámicas vertiginosas del quehacer cotidiano, a las presiones externas, frecuentemente intensas, o por otros motivos, queremos resolver nuestros problemas actuando sobre sus efectos y no sobre sus causas. En el segmento 2 de esta unidad ya se comentó la necesidad de identificarlas con la intención de sostener prácticas exitosas y de corregir las insatisfactorias. Sin desmerecer la utilidad de la experiencia ni del “ojo clínico”, se trata de sistematizar el diagnóstico para determinar con mayor claridad hacia dónde conviene dirigir preferentemente aquellas acciones correctoras con el fin de que sean útiles y eficaces. • Olvidar el juicio El diagnóstico de la escuela requiere de compilar informaciones pertinentes de diversa naturaleza pero con una finalidad clara: analizarlas y extraer concusiones. Los datos cuantitativos expresados en cifras absolutas, porcentajes, frecuencias, etc., y los cualitativos son solamente informaciones que nada nos dicen si no los sometemos al correspondiente juicio o valoración. En el texto complementario Autoevaluación: errores más frecuentes, que amplía el contenido de este segmento, le sugerimos algunas ideas sobre los criterios que se podrían considerar. • Desconsiderar los apoyos externos Los procesos de autoevaluación requieren, evidentemente, de la implicación de las personas que trabajan cotidianamente en el centro. Cuantas más y de la manera más pertinente, mejor. Sin embargo, resulta también fundamental contar con quienes, desde el exterior, pueden ayudar a promoverlos y favorecerlos. En este sentido, involucrar a los inspectores e inspectoras en dichos procesos, desde que se inician, como agentes 12 colaboradores, ayudará a que conozcan mejor el centro: sus necesidades sentidas, condiciones, restricciones, etc., y a que sean aliados y valedores de nuestros proyectos. 13 PARA PROFUNDIZAR MÁS (*) Disponibles en la biblioteca del módulo Antúnez, S. (2015). “Autoevaluación: errores más frecuentes”, a partir de Antúnez (2013), en Una brújula para la Dirección escolar. Orientaciones para la mejora. México DF: Editorial SM (2ª ed.). (*) Antúnez, S. (2015). “Diagnosis y ámbitos de actividad”, a partir de Antúnez (2013), en Una brújula para la Dirección escolar. Orientaciones para la mejora. México DF: Editorial SM (2ª ed.). (*) Antúnez, S. (2015). “Los componentes de las organizaciones educativas”, a partir de Antúnez (2012), en Organización Escolar y Acción Directiva. México: DF: Secretaría de Educación Pública. (*) Estefanía, J.L.; López, J. (2001). Evaluación interna de la calidad educativa. Estrategias e instrumentos. Madrid: CCS. Sin excluir la necesidad y conveniencia en determinados momentos de la evaluación externa, los autores indican la necesidad de que los centros entren en procesos de evaluación interna que les hagan reflexionar sobre su planificación, organización, y funcionamiento y les sirvan para una continua mejora. Junta de Castilla y León (2004). Evaluación de centros para la mejora. Documento de bases. Consejería de Educación. (*) El documento de bases para una evaluación externa de centros orientada a la mejora refleja, en forma de propuesta metodológica, el proceso conducente a la puesta en marcha del Programa de Evaluación de Centros de la Comunidad. Sienta los principios que deberían guiar los procesos a que dará lugar la implementación del Programa. Junta de Andalucía (1998). Plan de Evaluación de Centros Docente de la Comunidad Autónoma Andaluza. Sevilla: Consejería de Educación y Ciencia. El libro justifica la necesidad de la evaluación de los centros educativos y el modelo referencial que propone. Presenta numerosos ejemplos de instrumentos de registros mediante descriptores y escalas de valoración de indicadores, así 14 como pautas para guiar procesos d evaluación externa en los que está presente la visita de aula. San Fabián, J. L.; Granda, A. (2013). Autoevaluación de centros educativos. Madrid: Síntesis. El texto propone una crítica a los excesos y formalismos de la evaluación externa y propone la autoevaluación como una vía de reacción para introducir la reflexión en las rutinas organizativas, promoviendo la capacidad de las organizaciones para el diagnóstico y reconducción de su actividad. Plantea una perspectiva alternativa basada en la responsabilidad, la complejidad, la participación y el diálogo. Completa el texto la descripción de las principales etapas y procesos implicados en el ciclo de revisión y mejora interna, Sanmartí, N. (2007). 10 Ideas clave. Evaluar para aprender. Barcelona: Graó El texto aborda de manera rigurosa el tema de la evaluación y lo hace con la intención de mejorar la calidad de enseñanza. Presenta una estructura clara que ayuda a la comprensión de cada idea, planteándola desde una vertiente teórica y práctica que afiance, a la vez, los conocimientos previos sobre el tema y aporte contenidos que refuercen la capacidad profesional de intervención en la escuela, aceptando que “enseñar, aprender y evaluar son, en realidad, tres procesos inseparables” Silva, P. y Antúnez, S. (2015). “Apuntes sobre el Plan Anual de Centro”. Curso de Formación sobre el Desarrollo de la Función Directiva. (MECD-INAP). (*) 15