Seguimiento y evaluación ¿Por qué es necesario contar con herramientas para el seguimiento y la evaluación? Es la manera en que se puede evaluar la calidad e impacto del trabajo en relación con el plan de acción establecido. Para que el seguimiento y la evaluación resulten provechosos se debe planificar de manera correcta. El seguimiento será útil si: • • • • • Se crean sistemas de recopilación de datos (monitoreo) durante la planificación de un proyecto Cuando la información recopilada se analice durante el proceso de seguimiento Cuando lo que interesa averiguar es la eficacia y efectividad del trabajo Cuando se llega a una etapa en la que es posible y útil evaluar el impacto que se está teniendo con el trabajo Cuando se realice también una evaluación externa para contrastar y complementar resultados. Aunque se tiende a considerar que un buen sistema de seguimiento es aquel que se hace por terceros “imparciales” el seguimiento y la evaluación son herramientas internas de mucho valor, si no se evalúa el trabajo en relación a las metas e indicadores, puede ser que se continúen empleando métodos y recursos sin que estos den frutos y sin que se produzcan cambios en las situaciones que se habían identificado como problema. I. ¿Qué es seguimiento y evaluación? El seguimiento consiste en la recopilación y el análisis de información que se recopila a medida que se avanza en la implementación de un proyecto. Su objetivo es mejorar la eficacia y efectividad del proyecto. Se basa en las metas establecidas y actividades planificadas para las distintas fases del trabajo de planificación. La evaluación es la comparación de los datos recopilados con las metas establecidas, la evaluación puede ser formativa mientras el proyecto está en ejecución y permite mejorar la implementación y puede ser conclusiva, al final del proyecto para el análisis de lo realizado, establecer la situación final y proyectar una nueva etapa. El seguimiento y la evaluación se concentran en: • • • Eficacia Efectividad Impacto La eficacia es la relación entre los recursos invertidos (humanos, recursos, tiempo, y económicos) y los resultados. La efectividad es la relación entre los logros obtenidos y los objetivos planteados. El impacto es el resultado sobre el problema que se intentaba mejorar. ¿Por qué es necesario el seguimiento y la evaluación? El uso principal del seguimiento y la evaluación es la observación del propio trabajo en relación con los objetivos. Para esto esencial la planificación, una planificación que no debe ser rígida porque debe adaptarse si los planes no funcionan. El seguimiento implica: • Establecer indicadores • • Crear sistemas de recopilación Recopilar y registrar la información • Analizar la información La evaluación se puede hacer de distintas maneras: • Autoevaluación • Evaluación Participativa: Los propios participantes la realizan a través de instrumentos de información. • Evaluación externa: La realiza una persona externa que debe ser elegida cuidadosamente. • Evaluación interactiva: La realiza un evaluador externo y la organización interna. Evaluación Interna Evaluación externa II. Ventajas Los evaluadores están familiarizados con el trabajo Es una herramienta de aprendizaje Facilita la labor Es menos costosa La evaluación será más objetiva Los evaluadores deben tener destrezas y experiencia A veces es más fácil compartir las experiencias con un externo El empleo de un evaluador externo a veces da mayor credibilidad a los resultados Sobre todo los positivos Desventajas El equipo evaluativo puede incidir en los resultados de acuerdo a sus intereses El equipo puede no estar bien preparado La evaluación requerirá de más tiempo de organización Alguien ajeno puede no entender la cultura e incluso los logros del trabajo Los implicados pueden sentirse intimidados para cooperar con el proceso Una evaluación externa puede ser muy costosa Un evaluador externo puede malinterpretar lo que se quiere obtener de la evaluación Selección de un evaluador externo ¿Qué cualidades debe tener un evaluador o un equipo de evaluación? • • • • • • • • • • III. Comprensión del tema Experiencia en el área} Compromiso de calidad Responsabilidad (sobre todo en los plazos) Objetividad, honestidad e imparcialidad Habilidad para funcionar sistemáticamente Capacidad de comunicación oral y escrita Estilo y funcionamiento acorde con la organización Valores compatibles Honorarios razonables Planificación para el seguimiento y la evaluación EL seguimiento y la evaluación debe formar parte de la planificación, la información debe ser recopilada desde el inicio del proceso. Cuando se hace la planificación se establecen los indicadores, los que aportan el marco al sistema de seguimiento y el tipo de información que vale la pena recopilar. ¿Qué queremos saber? Los indicadores son señales concretas que se pueden medir y le reflejo de que se ha hecho o logrado algo. Los indicadores son una parte muy importante del sistema de seguimiento y evaluación porque son lo que se mide y controla.ES importante definir indicadores que no sean influidos por otras variables o por lo menos tener presentes esas variables. Si los indicadores no cambian, es la estrategia lo que no funciona. Tipos de información: Cualitativa - cuantitativa La medición cuantitativa está dirigida a saber cuánto o cuántos. Se obtiene mediante cómputos o mediciones La medición cualitativa indica cómo se sienten las personas, en cuanto a una situación, a cómo se está haciendo el trabajo, a los problemas que se enfrentan. Se obtiene mediante preguntas, observaciones, o interpretaciones. El proceso de seguimiento y evaluación debe hacerse combinando ambas formas de recopilación de información para que sea exhaustiva. La información debe recogerse en forma sistemática, pero solo si va a ser usada y si permite ser procesada. No vale la pena tener información que no va a aportar nada. La planificación del seguimiento debe ser realizada participativamente, la persona responsable levanta las necesidades del conjunto de los actores y con eso puede preparar la planificación. IV. Metodología Se entiende por metodología el enfoque que se utiliza en el proceso de evaluación, por ejemplo se puede hacer la evaluación a partir de un estudio acerca de todas las fuentes escritas o un proceso participativo en el cual participan todos los grupos que participan. Los métodos son las estrategias para la recopilación de información, estos son muchos y para seleccionarlos, es muy importante es tener claro los propósitos, los recursos y el tiempo. A veces es útil la triangulación, es decir que los datos o la información son confirmados por otro. Algunos métodos a utilizar son: • Cuestionarios • Entrevistas • Grupos focales • Reuniones con los actores • Informes de Campo • Escalas de Valoración • Análisis de Acontecimientos • Observación • Recopilación de Informes de resultados (pruebas, test) • Recopilación Estadística V. Análisis de la información En el proceso de seguimiento o definitivamente en la Evaluación llega un momento en el que la cantidad de información es tanta que hay que darle un sentido y analizarla. El análisis es el proceso de convertir la información detallada en una comprensión de tendencias o interpretaciones. El punto de partida para el análisis en el contexto de un proyecto es la mayoría de las veces muy poco científico, más bien responde a la comprensión intuitiva de los temas clave, una vez que se tienen esos puntos clave es necesario organizar la información estructurándola y organizándola. Determinar indicadores para el seguimiento o evaluación Recopilar información en torno a los indicadores Desarrollar una estructura de análisis, basada en la comprensión de los temas a seguir y los emergentes Revisar la información, organizándola Identificar tendencias y posibles interpretaciones Escribir las conclusiones Encontrar las vías para seguir adelante. Recomendaciones VI. Aprendizaje El aprendizaje es, o debería ser, la principal razón por la cual se realiza un seguimiento o la evaluación de un trabajo, un proyecto o una actividad. Con el aprendizaje de lo que funciona o no, de lo que se hace bien o mal, de lo que se encuentra capacitado o no de realizar o de actuar es lo que permite seguir avanzando en la dirección que se desea. Esto es lo que forma parte de la reflexión necesaria a partir de la evaluación o de los resultados del seguimiento. El fin del aprendizaje es generar cambios donde se es necesario, identificar los puntos débiles donde existan. Ayuda a comprender las suposiciones, es decir a tener plena conciencia de ellas. La reflexión a partir de la evaluación sirve para no quedarse, “no dormirse en los laureles”, cuando las cosas resultan la primera reacción es seguir haciendo lo mismo, sin preguntarse si aún se está haciendo bien, no se toma en cuenta que las situaciones no son nunca las mismas, que las necesidades y las personas cambian, que las estrategias necesitan estudiarse y revisarse. El procedimiento de seguimiento y evaluación riguroso obliga a mantener un aprendizaje y crecimiento.