TA Guía de Bolsillo de PMER (planificación, seguimiento, evaluación, presentación de informes) Enero 2014 (borrador activo) Departamento de Planificación y Evaluación, Ginebra Federación Internacional de Sociedades de la Cruz Roja y la Media Luna Roja www.ifrc.org/MandE Guía de Bolsillo de PMER de la Federación Internacional – Noviembre 2012 2 | Página TABLA DE CONTENIDOS TABLA DE CONTENIDOS.................................................................................................................................................... 2 1. INTRODUCCIÓN ............................................................................................................................................................. 3 2. EL CICLO DE PROYECTOS Y PLANIFICACIÓN PMER ................................................................................................. 5 3. EVALUACIÓN INICIAL ................................................................................................................................................. 6 4. PLANIFICACIÓN – DISEÑO DE PROYECTOS Y PROGRAMAS........................................................................................ 8 5. LÍNEAS DE BASE ...................................................................................................................................................... 10 6. SEGUIMIENTO Y EVALUACIÓN (M&E1) ................................................................................................................ 11 7. PRESENTACIÓN DE INFORMES................................................................................................................................ 15 8. EVALUACIÓN .......................................................................................................................................................... 16 LOS PRINCIPIOS FUNDAMENTALES Y EL CÓDIGO DE CONDUCTA.................................................................................. 17 1. Introducción Propósito y audiencia El propósito de esta guía de bolsillo es proveer un resumen fácil de usar sobre los conceptos y prácticas claves de planificación, seguimiento2, evaluación y presentación de informes (PMER) para una buena gestión basada en los resultados de los proyectos, programas y servicios de la Federación Internacional. La gestión basada en los resultados es un enfoque para la gestión de proyectos y programas basada claramente en resultados definidos, y las metodologías y herramientas para medirlos y alcanzarlos. Buen PMER lleva a una gestión basada en resultados de calidad, lo que nos permite: Implementar mejor nuestros programas y proyectos hacia nuestra misión compartida Promover el aprendizaje organizacional e intercambio de conocimientos Mantener la rendición de cuentas y el cumplimiento, no solo hacia los donantes y socios, pero con las personas que servimos Proveer oportunidades para obtener la retroalimentación y participación de los interesados directos, en especial de los beneficiarios Promover y celebrar nuestro trabajo resaltando las realizaciones y los logros, construyendo la moral y contribuyendo a la movilización de recursos La audiencia objetivo de esta guía de bolsillo son las personas que gestionan proyectos/programas en las Sociedades Nacionales de la Cruz Roja y de la Media Luna Roja y la secretaría de la Federación Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja. Además, se ha diseñado para ser entendida por otros usuarios, incluyendo el personal y voluntariado de la Federación Internacional, donantes y socios. PMER y la responsabilidad ética La Federación Internacional existe para mejorar las vidas de las personas vulnerables movilizando el poder de la humanidad. La manera en que trabajamos, incluyendo las prácticas de PMER, deben tomar seriamente en cuenta las responsabilidades éticas que esto implica. La planificación de proyectos y programas debe responder a las necesidades reales de las personas con equidad, dignidad y su participación significativa. El seguimiento, la evaluación y la presentación de informes involucra recolectar, analizar y comunicar información sobre personas – es importante que sea realizado de manera ética y legar, con especial atención al bienestar de los involucrados y afectados por los mismos. Por lo tanto, las prácticas de PMER deben: Respetar los Principios Fundamentales y el Código de Conducta de la Cruz Roja y la Media Luna Roja Respetar las costumbres, cultura y dignidad de los seres humanos Defender el principio de "no hacer daño". (Maximizar los beneficios y reducir cualquier daño innecesario) Fomentar participación e involucramiento significativos 1 2 M&E, por sus siglas en Inglés que corresponden a Monitoring & Evaluation Ídem. Asegurar que los interesados directos puedan proveer comentarios y expresar sus quejas Recursos y herramientas claves de PMER El contenido de esta guía de bolsillo compendia tres recursos y herramientas claves de PMER de la Federación Internacional, resumidas a continuación. Por lo tanto, recuerde que más detalles sobre cada tema se pueden obtener en el recurso correspondiente. (Tome nota, cada título a continuación posee un enlace para acceder a la publicación en línea al leer en un formato .pdf). Planificación de Proyectos y Programas (PPP) Manual de Orientación Análisis de interesados directos Análisis FODA/DAFO Análisis del árbol de problemas Tabla del marco lógico Guía para el seguimiento y la evaluación de proyectos y programas Tabla del plan de seguimiento y evaluación Cuadro de seguimiento de los indicadores Formato de informes de gestión de proyectos y programas Otros múltiples formatos sobre seguimiento y evaluación Marco de la Federación para Evaluaciones Criterios de la evaluación Estándares de la evaluación Procesos de la evaluación Términos de referencia Sitios web de recursos de PMER de la Federación Internacional Los recursos anteriores y otras herramientas de PMER se pueden acceder en línea en: Sitio web de la Federación Internacional, www.ifrc.org/mande (solo en Inglés). Esto es accesible a cualquier persona, e incluye recursos PMER. FedNet, https://fednet.ifrc.org/en/resources/ns-development/planning-and-evaluation/ (solo en Inglés) (Ir a Desarrollo de Conocimientos de la Sociedad Nacional > Planificación y Evaluación). Esta página web no pública es accesible sólo a los miembros de la Federación Internacional que están registrados y socios. Incluye un extenso inventario de los recursos PMER, incluyendo los recursos de formación PMER. Comunidad de Práctica de la Federación Internacional, https://fednet.ifrc.org/en/communities/communities-ofpractice/ (solo en Inglés). Aquí usted puede encontrar una variedad de foros en línea sobre temas relacionados a PMER, en particular la Comunidad de Prácticas PMER, pero también otras comunidades de práctica en Mecanismos de Quejas y Retroalimentación, Sistemas de Gestión de Proyectos y Programas. Escriba “PMER” en el espacio “Busque aquí” o simplemente navegue por el sitio. Curso en línea de Planificación de Proyectos y Programas de la Federación , Disponible en la Plataforma de Aprendizaje, a través de https://ifrc.csod.com/client/ifrc/default.aspx?l=es (busque por el término “PPP” o “PMER”). Este curso gratuito en línea se compone de dos módulos de 60 a 90 minutos. Retroalimentación sobre la Guía de Bolsillo Esta guía de bolsillo es un borrador activo y será revisado, actualizado y mejorado regularmente. La escala y el alcance de PMER en la Federación Internacional es tal que las herramientas y enfoque son revisados o desarrollados a menudo. La examinación y revisión de esta guía de bolsillo asegurará de que refleje los enfoques, recursos y herramientas actuales de PMER. Comentarios o preguntas pueden ser dirigidas al Departamento de Planificación y Evaluación de la Federación, [email protected], o Apartado postal 372, 1211 Ginebra 19, Suiza. 2. El ciclo de proyectos y la planificación PMER El ciclo de proyectos El diagrama del ciclo de proyectos resume alguno de las mayores actividades de PMER que usualmente suceden durante el ciclo de proyectos. Tenga en cuenta que la presentación de informes, el aprendizaje y la reflexión pueden tomar lugar en cualquier punto en el ciclo de vida del proyecto. Estas actividades se discuten en esta y otras guías de PMER de la Federación Internacional, pero a continuación se presenta un breve resumen: 1. Evaluación inicial – se realiza para determinar si se necesita un proyecto o programa, y de ser así para informar su planificación. 2. Marco lógico – involucre el diseño operacional del proyecto o programa y sus objetivos, indicadores, medios de verificación e hipótesis. 3. Planificación del seguimiento y evaluación – planificación práctica para dar seguimiento y evaluar los objetivos e indicadores del marco lógico. 4. Estudio de línea de base – la medición de las condiciones iniciales antes del comienzo del proyecto o programa. 5. Revisión o evaluación a mitad de periodo – realizada para evaluar e informar a implementación en curso. 6. Evaluación final – realizada al final del proyecto o programa para determinar qué tan bien se han logrado sus objetivos previstos. 7. Difusión y uso de las lecciones – informa la programación para su modificación y mejora continua. Nota: el ciclo de proyectos genérico es útil para representar la actividades comunes de PMER, pero es importante reconocer que cada proyecto (y programa) varía en última instancia de acuerdo al contexto y las necesidades locales. Por ejemplo, en operaciones de emergencia, la puesta en marcha del proyecto puede ocurrir antes de la evaluación y planificación. 3. Evaluación inicial La evaluación inicial se realiza para identificar las necesidades y problemas, y para determinar si y qué intervención (Ej. Proyecto o programa) deber ser planeado.3 La evaluación inicial se puede llevar a cabo de diversas maneras, de acuerdo al contexto y enfoque del programa. Por ejemplo, la Federación Internacional utiliza el Análisis de la vulnerabilidad y la capacidad (VCA), las Directrices para evaluaciones de emergencia; mientras que algunos sectores también han diseñado directrices específicas, tales como las Directrices generales para la evaluación de la seguridad alimentaria. A continuación están los tres enfoques para evaluaciones iniciales utilizados comúnmente por la Federación Internacional, cada uno es discutido en más detalle en el Manual de Orientación para la Planificación de Proyectos y Programas (PPP) de la Federación Internacional. Recuerde, no importa cuál sea el enfoque utilizado para la evaluación inicial, es importante involucrar significativamente a los actores locales en el proceso de evaluación... A) Análisis de interesados directos Un análisis de interesados directos examina los diferentes grupos de personas con interés en lo qué se realiza. Ayuda a alinear la intervención con las necesidades, capacidades, motivaciones y compromisos de las personas. El siguiente cuadro de ejemplo ilustra un formato para examinar las principales consideraciones de los diferentes grupos de interesados. Ejemplo de cuadro de análisis de interesados directos Dirigentes de la comunidad Grupos femeninos Escolares Problemas Son responsables, en cierta medida, de garantizar la seguridad de la comunidad No tienen información suficiente para prepararse para un desastre Son vulnerables a los riesgos de desastre y de salud Intereses Quieren garantizar que la comunidad sea más segura Desean tener una mejor comprensión del riesgo de desastres Desean estar mejor protegidos contra el riesgo Potencial Conocimiento de la situación y las relaciones de poder a nivel local Conocimiento a fondo de la comunidad (patrones de meteorología y cosechas) Tienen gran interés en aprender y transmitir los mensajes Interacción Mediante reuniones mensuales de comités a nivel local Acción de otras entidades Acción de la Cruz Roja/Media Luna Roja Trabajan también con la organización no gubernamental internacional «Disaster Relief Action» y varios grupos religiosos La Sociedad Nacional (la Cruz Roja de Equislandia) colabora desde hace muchos años en todo el país con los dirigentes de la comunidad Mediante reuniones mensuales de los grupos femeninos Algunos grupos tienen relaciones con grupos religiosos La Cruz Roja de Equislandia ha suscrito acuerdos con los grupos principales La Cruz Roja de Zetalandia (Sociedad Nacional asociada) apoya los clubes de madres Voluntariado de la Sociedad Nacional Necesitan mejores vínculos con la comunidad para reducir el riesgo de desastres Quieren estar en condiciones de realizar un trabajo satisfactorio con la comunidad Tienen gran interés en aprender y transmitir los mensajes Son responsables de garantizar la seguridad de la comunidad Quieren demostrar mejoras en la seguridad de la comunidad Su cooperación y apoyo facilitan grandemente el proyecto Organizan visitas a las escuelas por conducto de docentes que están vinculados con la Sociedad Nacional Por intermedio de las estructuras de las filiales de la Sociedad Nacional Por intermedio de las estructuras de las filiales de la Sociedad Nacional Muchos niños asisten a las actividades de grupos religiosos Buenas relaciones entre otras ONG y los grupos religiosos Buenas relaciones en general No hay proyectos en curso; hay buenas relaciones con todos los actores de la Cruz Roja/Media Luna Roja Buenas relaciones con el CICR y la Federación Internacional por medio de la Cruz Roja de Equislandia El CICR y la Cruz Roja de Equislandia realizaron una campaña de divulgación en fecha reciente En la actualidad no hay una labor activa en gestión de desastres Fuente: Manual de Orientación de la Planificación de Proyectos y Programas de la Federación Internacional, página 20. 3 Autoridades locales Durante la evaluación inicial, la decisión sobre sí o no diseñar e implementar una intervención aún no ha sido tomada; mientras que durante el análisis de la fase de planificación, ya sabemos que vamos a llevar a cabo la intervención. B) Análisis FODA/DAFO Otra herramienta común utilizada para analizar la situación antes de diseñar una intervención un análisis de las fortalezas, debilidades, oportunidades y amenazas (FODA/DAFO). Un análisis FODA/DAFO puede realizarse sobre una situación, una organización, un interesado directo, una alianza, etc. Ejemplo de análisis FODA/DAFO de una Sociedad Nacional FORTALEZAS Buen conocimiento de la comunidad Experiencia satisfactoria en respuesta en casos de desastre preparación para desastres en otras partes del país Comprensión de los problemas relacionados con la reducción del riesgo de desastres Vínculos satisfactorios con el secretariado de la Federación Internacional y otras Sociedades Nacionales DEBILIDADES Exigua influencia sobre las estructuras del gobierno local Falta de experiencia en la capacitación de otras instituciones AMENAZAS OPORTUNIDADES Vínculos satisfactorios con las escuelas por medio de los clubes de la Juventud de la Cruz Roja Se dispone de financiación y asistencia técnica del secretariado de la Federación Internacional y otras Sociedades Nacionales Las estructuras de gobierno quizá no puedan respaldar la labor Las comunidades tal vez no estén interesadas en el riesgo de desastres o no estén dispuestas a ocuparse de esos problema Fuente: Manual de Orientación de la Planificación de Proyectos y Programas de la Federación Internacional, página 22. C) Análisis de problemas El análisis de problemas examina uno o más problemas para identificar sus causas y decidir si es posible y necesario hacerles frente, y cómodebe hacerse. Se puede utilizar una variedad de herramientas para el análisis de problemas. Una herramienta de uso común es el “árbol de problemas”, que puede llevarse a cabo en tres pasos: 1. Discutir en un grupo los diversos problemas que se han identificado en la evaluación inicial. 2. Identificar y acordar el problema o los problemas básicos por rectificar. 3. Identificar y analizar las causas y los efectos del problema o los problemas básicos. 4. Planificación – Diseño de proyectos y programas Diseño del marco lógico La Federación Internacional adopta el enfoque del marco lógico para diseñar proyectos, programas y otras iniciativas. Usamos el cuadro de marco lógico para resumir el diseño operacional del proyecto, incluyendo los resultados previstos, la forma de medirlos y las hipótesis clave para controlar. El cuadro siguiente ilustra el formato y define la terminología del marco lógico que utilizamos en la Federación Internacional. Un formato de marco lógico en MS Word está disponible en FedNet o en http://www.ifrc.org/mande (solo en Inglés). Formato de marco lógico de la Federación Internacional y definición de la terminología Objetivos (Lo que queremos lograr) Meta Los resultados a largo plazo que procura lograr la intervención, al cual pueden contribuir diversos factores externos a la intervención. Efecto(s) directo(s)4 Los resultados a largo plazo que la intervención procura lograr, generalmente en términos de los conocimientos, las actitudes o las prácticas del grupo destinatario Productos Son los bienes, servicios y productos tangibles y otros resultados inmediatos que conducen al logro de los efectos directos Actividades5 Serie de tareas que se han de ejecutar para obtener los productos Indicadores (Cómo medir el cambio) Medios de Verificación (Cómo medir los indicadores) Hipótesis (Otras cosas que hay que tener presentes) Indicadores de impacto Criterios cuantitativos y/o cualitativos para medir el progreso en relación con la meta La fuente y método que se utilizará para medir el indicado. Factores externos que escapan al control de la intervención y que son necesarios para que a meta contribuya a lograr los objetivos del proyecto o programa. Indicadores de efecto directo Como anteriormente, conectado con los efectos directos Véase más arriba Véase más arriba Indicadores de producto Como anteriormente, conectado con los productos. Véase más arriba Véase más arriba Véase más arriba Véase más arriba Indicadores de procesos Como anteriormente, conectado con las actividades. Fuente: Manual de Orientación de Planificación de Proyectos y Programas de la Federación Internacional, página 31. Tenga cuidado con las batallas semánticas del marco lógico Diferentes organizaciones a menudo utilizan diferentes términos para la jerarquía del marco lógico. No se deje atrapar en discusiones sobre semántica. Sin embargo, una vez los resultados en la columna de la izquierda se presentan, lo más importante es que exista una lógica clara de la secuencia de los resultados. El siguiente cuadro provee un ejemplo sencillo del marco lógico con objetivos para la gestión de desastres. Tenga en cuenta que este es un ejemplo simplificado, y un marco lógico más completo suele tener más objetivos e indicadores. 4 5 Cuando hay más de un efecto directo en un proyecto, el formato preferido por la Federación Internacional es listar los productos bajo cada efecto directo. Para fines prácticos, las actividades pueden ser usualmente incluidas en un documento separado (Ej. Calendario de actividades / tabla GANTT). Ejemplo simplificado de marco lógico – Preparación comunitaria para desastres Objetivos (Resultados previstos) Indicadores (Cómo medir los resultados) Medios de verificación (Cómo medir los indicadores) Ejemplo de meta Mejorar la capacidad de la gestión de desastres en el país XXX para el año 2015. G1. Porcentaje de comunidades que cumplen con los criterios mínimos de preparación para desastres de la Agencia Nacional de Gestión de Desastres. 1. Datos secundarios recopilados y presentados por la Agencia Nacional de Gestión de Desastres. Ejemplo de efecto directo 1 Fortalecer la capacidad de las comunidades destinatarias de prepararse para, responder y mitigar a los desastres. 1.a. Porcentaje de las comunidades destinatarias que llevan a cabo con éxito un mínimo de un simulacro de desastre por año. 1. Observación directa del desempeño de la comunidad registrada en lista de control del simulacro de desastre. 2. Discusión grupos focales de la comunidad cada seis meses. Ejemplo de producto 1.1 Plan de Manejo de Desastres en la Comunidad elaborado por el Comité de Gestión de Desastres de la Comunidad. 1.1a. Porcentaje de comunidades con un Plan de Manejo de Desastres en la Comunidad desarrollado o mejorado por el Comité de Gestión de Desastres de la Comunidad. Actividades 1.1.1 Reuniones semanales del Comité de Gestión de Desastres de la Comunidad. 1.1.1a Número de reuniones del Comité de Gestión de Desastres de la Comunidad. 1. Inventario del Plan Comunitario de Gestión de Desastres. 2. Actas de las reuniones comunitarias de Comité Comunitario de Gestión de Desastres. 1. Actas de las reuniones comunitarias de Comité Comunitario de Gestión de Desastres. Hipótesis (Otras cosas que hay que tener presentes) Los disturbios civiles a nivel nacional no impiden la implementación del programa en las comunidades destinatarias. No hay epidemias o desastres regionales que impiden la participación comunitaria en el programa. NA (no aplica) NA Puede ser preferible dejar las actividades fuera del marco lógico, y en su lugar proveer dichos detalles en un documento separado de planificación de las actividades, el cuadro abreviado presentado a continuación presenta un ejemplo de formato con títulos de las columnas que se pueden cambiar según sea necesario. Ejemplo abreviado de un formato del cuadro de planificación de actividades Actividad Rol de la Duración/Tiempo Producto Sociedad Nacional Socio Insumos Presupuesto Comentarios Producto X Actividad 1.1.1 Producto Y Actividad 1.2.1 Etc. Recordatorios de indicadores Los indicadores son críticos para medir nuestro progreso hacia un objetivo; por lo tanto deben ser seleccionados cuidadosamente. En la Federación Internacional, se utiliza con frecuencia el acrónimo “SMART” (por sus siglas en inglés) como un recordatorio para mantener a los indicadores específicos, mensurables, accionables, relevantes y limitados en el tiempo. (También se pueden utilizar los criterios SMART para desarrollar los objetivos). A continuación, se muestra un resumen de otro recordatorios clave de los indicadores. Asegúrese de utilizar indicadores estándar cuando sea apropiado. No hay necesidad de gastar el tiempo diseñando indicadores, si ya han sido realizados por expertos del sector (área de programa). Además, los indicadores estandarizados permiten la comparación entre programas. Tenga cuidado de no tener demasiados indicadores, lo cual puede fatigar la capacidad. Sólo mida lo que es necesario y suficiente para informar a la gestión y evaluación del programa. 1-3 indicadores por enunciado de objetivo son por lo común suficientes. 5. Mantenga el indicador específico y preciso. Por ejemplo, es mejor preguntar cuántos niños tienen una relación de peso/altura superior a los niveles de desnutrición que preguntar, en general, si los miembros del hogar sufren de malnutrición. Asegúrese de que tiene la capacidad o los recursos para medir el indicador - o una fuente secundaria. Puede costar mucho dinero medir los indicadores complejos. Sin embargo, es posible utilizar un indicador complejo que ya es medido por un ministerio gubernamental, agencia internacional, etc. No tenga solamente “cuentas”, es importante medir también el cambio. No se concentrarse solamente en indicadores de bajo nivel, que son fáciles de medir (actividades y productos). Estos son importantes para la gestión de los programas, pero también es importante contar con indicadores para medir los cambios de alto nivel, como en el conocimiento, las actitudes y el comportamiento. Líneas de base Una “línea de base” se refiere a las mediciones de condiciones clave (indicadores) antes del comienzo del proyecto, utilizado posteriormente para comparar y medir los cambios y el progreso. Sin una línea de base, es muy difícil planificar, dar seguimiento y evaluar el desempeño futuro. Por lo general, las líneas de base deben determinarse antes de un inicio del proyecto / programa para que realmente reflejan las condiciones previas a los proyectos para su posterior comparación para determinar lo que diferencia el proyecto ha realizado. A veces, se requiere un estudio de base mucho antes de iniciar un proyecto para informar el desarrollo del proyecto y del propuesto; por ejemplo, como parte de los requisitos de los donantes para informar las decisiones de inversión. Pero por lo general, el estudio de base se lleva a cabo después de realizar la evaluación de necesidades del proyecto y una vez el diseño del proyecto identifica los indicadores específicos a ser medidos para la línea de base. Algunas veces los datos para la línea de base están disponibles, mientras que otras veces es necesario un estudio de base para determinar las condiciones de base. No hay una única manera de realizar un estudio de base, y este dependerá de una variedad de factores específicos al proyecto, desde los indicadores específicos hasta el la duración y el presupuesto el proyecto. La guía de la Federación Internacional, Baseline Basics (Fundamentos de Líneas de Base – solo en Inglés) provee información más detallada sobre cómo se pueden obtener los datos de la línea de base, y referencias a otros recursos clave adicionales. A continuación, se presentan cuatro escenarios comunes encontrados en la obtención de datos base que se describen con más detalle en la guía Fundamentos de Línea de Base. 1. No es necesario un estudio de base. A veces, los datos de referencia ya están disponibles. Por ejemplo, con un indicador para un proyecto de preparación para desastres "# de comunidades que han llevado a cabo un análisis de capacidad y de vulnerabilidad (AVC)", es posible que ya se sepa que ninguna comunidad ha llevado a cabo un AVC, y por lo tanto el valor es "0". A veces, los datos de referencia ya están disponible a partir de datos secundarios, tales como la evaluación inicial de necesidades o de otros recursos externos confiables. 2. Es necesario un estudio de base “Simple o Ligero”. A veces, el número de indicadores de línea de base y los métodos de medición no consumen tiempo, capacidad ni recursos excesivos. Por ejemplo: datos secundarios pueden estar disponibles; otros métodos cualitativos podrían ser más apropiados tales como entrevistas individuales o en grupo; encuestas de coste y facilidad relativa, tales como encuestas en línea. 3. Es necesario un estudio de base “intense o profundo”. Algunas veces, se necesita un estudio de base más riguroso. Por ejemplo, el indicador para un proyecto de agua y saneamiento, “ % de niños menores de 3 años con diarrea en las últimas dos semanas en las comunidades destinatarias”, puede requerir una encuesta por familia junto con otros indicadores de referencia, los cuales pueden involucrar la creación de un cuestionario, determinación del método de muestreo, formación de enumeradores, y el análisis estadístico de los datos. 4. Reconstrucción de los datos de una Línea de Base. A veces, un estudio de base es necesario, pero no fue realizado antes o al comienzo del inicio del proyecto. Esta situación puede dares por distintas razones, pero existen algunos métodos para reconstruir las mediciones de la línea de base. La guía de la Federación Internacional, Baseline Basics, examina los métodos, los cuales incluyen el uso de datos secundarios fiables, la recuperación y los métodos de entrevistas cualitativas. 6. Seguimiento y Evaluación (M&E) Comparación entre seguimiento, evaluación, revisión y auditoría El cuadro a continuación resume las diferencias clave para la Federación Internacional entre seguimiento y evaluación, así como también una auditorías y una revisión. Sin embargo, hay un solapamiento importante entre estas actividades; el seguimiento provee datos para la evaluación, y la evaluación puede realizarse durante el seguimiento. Por ejemplo, el seguimiento nos dirá que 200 facilitadores comunitarios han sido capacitados (lo que se hizo), pero puede incluir también pruebas post-capacitación para determinar (juzgar) qué tan bien fueron capacitados. Seguimiento y revisión Evaluación Auditoría ¿Para qué sirven? Evalúan los avances, fundamentan las decisiones y las medidas correctivas, actualizan los planes del proyecto, apoyan la rendición de cuentas. Evalúan los avances y su valor, identifican las enseñanzas y las recomendaciones para una planificación a mayor plazo y el aprendizaje institucional, permiten rendir cuentas. Brindan garantías y aseguran el cumplimiento y la rendición de cuentas. ¿Cuándo? Permanentemente durante el proyecto o programa. De forma periódica y después del proyecto o programa. Depende de los requisitos (de los donantes). ¿Quién? De forma interna y asocian a los responsables de la ejecución del proyecto o programa. Alguien que puede pertenecer o no a la organización. Habitualmente alguien ajeno al proyecto o programa, que puede no pertenecer a la organización. Fuente: Guía de Seguimiento y Evaluación de Proyectos y Programas de la Federación Internacional, página 24. Seis pasos para la planificación del seguimiento y la evaluación La Guía para el Seguimiento y la Evaluación de Proyectos y Programas de la Federación Internacional describe seis pasos para planificar y gestionar un sistemas global de PMER. El Anexo 4 en esa guía (página 112) provee una lista detallada por cada uno de estos pasos: 1. Identificar el objeto y alcance del sistema de seguimiento y evaluación 2. Planificar la recopilación y la gestión de datos 3. Planificar el análisis de datos 4. Planificar la difusión y el uso de la información 5. Planificar el fortalecimiento de la capacidad y los recursos humanos necesarios para las actividades de seguimiento y evaluación 6. Preparar el presupuesto de seguimiento y evaluación. El Plan de Seguimiento y Evaluación Los planes de seguimiento y evaluación pueden tener diferentes nombres dependiendo de los diferentes usuarios, tales como “matriz de planificación de indicadores” o “plan de recolección de datos.” Mientras que los nombres (y formatos) pueden variar, la función general sigue siendo la misma – detallar los requerimientos para la medición de cada uno de los indicadores e hipótesis. El plan de seguimiento y evaluación no solo facilita a medir realísticamente los indicadores e hipótesis; lo que, a su vez, facilita a planificar la implementación del programa de manera realística. El cuadro a continuación es un ejemplo del formato recomendado por la Federación Internacional del plan seguimiento y evaluación, con definiciones en cada columna, y un ejemplo de indicador e hipótesis. El formato y las instrucciones del plan de seguimiento y evaluación están disponibles en http://www.ifrc.org/mande. Formato del Plan de Seguimiento y Evaluación y definición de términos Definición del Métodos y Fuentes Indicadores indicador Frecuencia y Persona(s) Uso de la de recolección de (e hipótesis) (y unidad de calendario responsable(s) información/audiencia datos medida) Esta columna Esta columna define Esta columna Esta columna Esta columna Esta columna identifica lista los los términos clave en identifica las fuentes identifica con identifica las la audiencia prevista y indicadores, que el indicador para la de información y los cuanta personas la utilización de los pueden ser medición precisa y métodos/herramientas frecuencia se responsables datos, Ej. Seguimiento cuantitativos explica cómo se de recolección de colectarán los de la medición y evaluación, o (numéricos) o calculará el datos. Debe indicar si datos, ej. del indicador. presentación de cualitativos indicador, ej. El las herramientas de Mensualmente, El nombre de informes para donantes (observaciones numerador y el recolección de datos trimestralmente, la persona y el o responsables de las descriptivas) y denominador de una (encuestas, listas de o anualmente. cargo deben políticas. Cuando sea son en lo común medida de porcentaje. verificación) existen o También ser listados relevante, se debe tomados También debe necesitan ser identifica para promover indicar cómo deben ser directamente del mencionar cualquier diseñadas. cualquier la rendición de presentados y marco lógico desagregación, ej. calendario, tales cuentas. diseminados los Por sexo, edad o cómo fechas de resultados (Ej. grupo étnico. corte para el Informes o desarrollo de presentaciones de herramientas. diapositivas). Fuente: Guía de Seguimiento y Evaluación de Proyectos y Programas de la Federación Internacional, páginas 120. El siguiente cuadro provee un ejemplo de un plan de seguimiento y evaluación para un indicador e hipótesis. Un plan de seguimiento y evaluación real sería mucho más largo, incluyendo todos los indicadores e hipótesis del marco lógico del proyecto. Indicador (e hipótesis) Ejemplo de Indicador Porcentaje de las comunidades destinatarias que llevan a cabo como mínimo un simulacro de desastre exitoso por trimestre. Ejemplo simplificado del plan de seguimiento y evaluación Indicador Indicador Indicador Indicador Indicador (e hipótesis) (e hipótesis) (e hipótesis) (e hipótesis) (e hipótesis) 1. El término 1. Visitas 1. Recopilación Responsable en 1. Seguimiento del “comunidad” se programadas de trimestral de el terreno: proyecto y extracción refiere a áreas antemano para datos sobre el Lisbeth de enseñanzas geográficas observar simulacro de Pimentel. en conjunto con delimitadas, los simulacros de desastre. a las comunidades reconocidas por desastre y destinatarias. el gobierno completar la lista 2. Debates de municipal y de verificación grupos focales 2. Presentación ante la censadas. correspondiente. cada seis meses oficina central de (Se debe informes de gestión elaborar una lista 3. Comenzar a trimestrales para 2. El ejercicio efectuar la planificación será “exitoso” si de verificación.) recopilar los estratégica. consiste en un datos [fecha] 2. Coversaciones simulacro con grupos 3. Evaluación del sorpresivo 4. Completar la focales impacto, a fin de anunciado mediante el sistema de alerta temprana; si el tiempo de respuesta es menor a los veinte minutos; si los miembros de la comunidad se presentan en el lugar preestablecido en el plan de respuesta a crisis; y si el equipo de intervención comunitario en caso de desastres se reúne y porta el equipo necesario. comunitarios cada seis meses. (Se debe redactar un cuestionario para los grupos focales.) lista de verificación de desastres para [fecha] justificar la intervención ante los donantes, el ministerio responsable de prestar socorro en casos de desastres, etc. 4. Rendición de cuenta ante los donantes y el público en general a través de reuniones con la comunidad, y publicación de informes en los sitios de Internet y en los periódicos locales. 3. Numerador: número de comunidades con un ejercicio exitoso por trimestre. 4. Denominador número total de comunidades destinatarias. Ejemplo de Indicador Porcentaje de niños(as) menores de 3 años con diarrea en las últimas 2 semanas en las comunidades destinatarias. . Ejemplo de hipótesis Los disturbios no impiden la Diarrea: paso de tres o más deposiciones sueltas o líquido por día (PAHO). Numerador: # de niños(as) menores de 5 años con diarrea en las últimas 2 semanas. Denominador: Total # Total de niños(as) destinatarios en las comunidades reasentadas. 1. Datos recopilados a través de una encuesta de hogares CAP administrada a través de un muestreo aleatorio y registrada dentro de la base de datos de análisis CAP. [Los datos deben ser comparados con las estadísticas para la región del Ministerio de Salud/ PAHO.] 1. Encuesta CAP en [determinar fecha], como parte de la línea de base, antes del comienzo del programe. El término “disturbios” hace referencia a los enfrentamientos 1. Seguimiento en el terreno de parte del equipo responsable del programa en Seguimiento continuo hasta la finalización del programa. 2. Encuesta CAP al final del programe, como parte de una encuesta de línea final. 3. Desarrollo y prueba piloto de encuestas CAP en [determinar fecha] 1. Encuesta CAP desarrollada por el equipo de agua y saneamiento bajo la supervisión del coordinador del programa. (Susana Escobar) 2. Encuesta CAP administrada como parte de la línea de base y línea final por el equipo de consultoría externa con manejo del equipo. Seguimiento en el terreno: equipo responsable del programa. CAP de Línea de Base: Equipo de planificación del programa de agua y saneamiento para determinar locación y más adelante la evaluación de impacto. Línea final: incluida en el informe de evaluación final para determinar impacto. Para informar sobre gestión de proyecto a la Sociedad Nacional, y la Federación, y para rendir cuentas a los donantes. Seguimiento de los riesgos en aras de una ejecución y un logro fundamentados de los objetivos del proyecto. ejecución del programa en las comunidades destinatarias. ocurridos entre la “facción A” y la “facción B”. conjunto con asociados pertenecientes a la comunidad. 2. Informes diarios del CICR 3. Seguimiento de los medios de comunicación (periódicos nacionales y transmisiones televisivas y radiodifundidas) Seguimiento de los medios de comunicación y CICR: jefe del programa, Jessica Leder Fuente: Guía de Seguimiento y Evaluación de Proyectos y Programas de la Federación Internacional, Anexo 8. Cuadro de seguimiento de los indicadores El cuadro de seguimiento de los indicadores es utilizado para dar seguimiento al desempeño actual del indicador. Mientras que el plan de seguimiento y evaluación prepara la medición realista de los indicadores, el cuadro de seguimiento de los indicadores es donde las mediciones continuas de los indicadores son registradas. Por lo tanto el cuadro de seguimiento de los indicadores es una herramienta importante para la presentación de informes basados en evidencia. El cuadro a continuación provee un ejemplo de un indicador y una hipótesis para un cuadro de seguimiento de los indicadores. Un cuadro real de seguimiento de los indicadores sería mucho más largo, incluyendo todos los indicadores y las hipótesis del marco lógico. Un formato de cuadro de seguimiento de los indicadores e instrucciones está disponible (en MS Excel) en FedNEt o en http://www.ifrc.org/mande (solo en Inglés). Indicador 1a: # de comunidades participantes que realizaron un análisis de vulnerabilidad y capacidad trimestralmente. Cota final del proyecto Vida del proyec to hasta la fecha % de la cota final del proyecto hasta la fecha Cota Anual del Proyecto Año a la fecha % de la Cota Anual del Proyecto hasta la fecha 50 6 8% 20 6 33% Línea de Base del Proyecto Fecha Q1 Periodo de reporte Valor Cota Actual % Cota 0 10 6 40% Mayo 2014 Insertar columnas según sea necesario Ejemplo simplificado - Cuadro de seguimiento de los indicadores del proyecto o programa Fuente: Guía de Seguimiento y Evaluación de Proyectos y Programas de la Federación Internacional, página 135. Una función importante del cuadro de seguimiento de los indicadores es que facilita a determinar la variación - la diferencia entre las metas establecidas y los resultados efectivos, es decir, el porcentaje de la cota alcanzado. Por ejemplo, en el cuadro anterior, 10 comunidades fueron escogidas para realizar un AVC durante el primer trimestre de informe. Sin embargo, la cantidad real de comunidades que realizaron el AVC fue solo cinco. Por lo tanto, el porcentaje de la cota es 40 por ciento, y la variación (diferencia entre la cota prevista y la real) es 50 por ciento. El control de calidad es esencial Recuerde, el análisis de los datos y las decisiones que este informa es tan buena como los datos son fiables. Además de la medición cuidadosa, debemos tener cuidado al registrar y administrar correctamente los datos como parte de nuestro sistema global de gestión de la información. 7. Presentación de informes La presentación de informes es la parte más visible del sistema de PMER, donde los datos recolectados y analizados son presentados como información para el uso de los interesados directos. Los puntos siguientes resumen los elementos esenciales de la buena presentación de informes: Identificar las necesidades de un informe y la audiencia. Los informes se deben preparar con un propósito y audiencia específicos. Esto informa el contenido y formato apropiado y la fecha de entrega del informe. Determinar la frecuencia de los informes. Es crítico identificar cuándo se necesita la información, y establecer fechas de corte para la presentación de informes que sean realistas en relación al tiempo, recursos y capacidad necesaria para producir y diseminar los informes Roles y responsabilidades. Es importante de identificar especialmente a la(s) persona(s) responsables por cada tipo de informe. Formato apropiado. Los formatos de informe deben adecuarse a la audiencia prevista. Completo: Los informes debe proveer suficiente información para su uso previsto, y es esencialmente importante que siga las directrices de informes. Consistente. Los informes deben adoptar formatos que permitan la comparación durante la duración del proyecto, haciendo posible ver los progresos contra los indicadores, cotas y otros puntos a los que se le da seguimiento. Simple y fácil de usar. El lenguaje y el formato del informe debe ser claro, conciso y fácil de entender. El siguiente cuadro resume los principales elementos del informe de gestión del proyecto / programa recomendados por la Federación Internacional. Una plantilla completa con orientación (en MS Word) se puede acceder en FedNet o en http://www.ifrc.org/mande. Esquema de in informe de proyecto o programa de la Federación Internacional 6 1. Información del Proyecto o Programa. Resumen de la información clave del proyecto o programa, por ejemplo, nombres, fechas, gerente, códigos, etc. 2. Resumen Ejecutivo. Resumen general del informe, capturando el estado del proyecto y destacando los principales logros, desafíos y acciones planificadas. También incluye indicadores relevantes del Banco de datos y sistema de presentación de informes de la Federación en pleno (FDRS). 3. Estado Financiero. Descripción sucinta de la situación financiera del proyecto o programa, basado en los informes financieros mensuales del el proyecto o programa para el trimestre de reporte. 4. Situación/Análisis de contexto – (Factores positivos y negativos). Identificar y analizar los factores que afectan el marco operativo y la implementación del proyecto o programa (por ejemplo, cambio en la seguridad o la política del gobierno, etc), así como las acciones relacionadas que se deben tomar. 5. Análisis de la implementación. Sección crítica de análisis basado en los objetivos como se indica en el marco lógico del proyecto o programa y de los datos registrados en el cuadro de seguimiento de indicadores. 6. Participación de socios/interesados y quejas. Resumen de la participación de los interesados y de las quejas que se han presentado. 7. Acuerdos de alianza y rendición de cuentas. Enumera los socios y acuerdos del proyecto o programa (por ejemplo, contrato de proyecto o programa, MoU), y los comentarios relacionados. 8. Temas transversales. Resumen de las actividades realizadas o resultados obtenidos que se relacionan con los temas transversales (igualdad de género, la sostenibilidad ambiental, etc.) 9. Estrategia de salida o sostenibilidad. Información actualizada sobre los avances en la estrategia de sostenibilidad para asegurar que los objetivos del proyecto o programa podrán continuar una vez entregado de los actores locales. 10. Situación/Estado de PMER. Actualización concisa de las actividades relacionadas a la planificación, seguimiento, evaluación e informes del proyecto o programa. 11. Lecciones clave. Destaca las lecciones clave y cómo se pueden aplicar a este u otros proyectos o programas similares en el futuro. 12. Anexo: Cuadro de seguimiento de los indicadores y cualquier otra información suplementaria. Fuente: Guía de Seguimiento y Evaluación de Proyectos y Programas de la Federación Internacional, página 142. 6 Otros formatos de informe son utilizados para diferentes propósitos en la Federación Internacional; sin embargo, el contenido y la estructura principal siguen este mismo esquema. 8. Evaluación El Marco de la Federación para Evaluaciones (www.ifrc.come/mande) provee orientación más detallada sobre cómo las evaluaciones se planifican, gestionan, realizan y son utilizadas en la Secretaría de la Federación Internacional. El marco esta diseñado para promover evaluaciones que sean fiables, útiles y éticas y que contribuyan al aprendizaje organizacional, la rendicion de cuentas, y a nuestra misión de servir a las personas que lo necesitan. Marco de la Federación para Evaluaciones Criterios 8 Criterios para guíar qué evaluamos. Como el cuadro a continuación resume, el Marco para Evaluaciones identifica ocho criterios que guian qué evaluamos en nuestro trabajo, y ocho normas que guian cómo evaluamos nuestro trabajo. Procesos Los procesos proveen una lista de 43 tipos de mejors prácticas que ayudan a respetar los estándares y guian el proceso evaluativo, organizado en: 1. Planificación de la evaluación 2. Solicitar una evaluación 3. Recopilación y análisis de datos 4. Presentación de informes de evaluación 5. Difusión y seguimiento de la evaluación. 1. Prácticas específicas para mantener los estándares. Criterios de Evaluación Normas de Evaluación (Guia qué evaluamos en nuestro trabajo.) (Guian cómo evaluamos nuetro trabajo.) Estándares y políticas de la Federación Internacional. Hasta que punto el trabajo de la Federación Internacional respeta las políticas y directrices del Moviemiento Internacional de la Cruz Roja y la Media Luna Roja. 2. Relevancia y adecuación. Hasta que punto el trabajo de la Federación Internacional se adaptan a las necesidades y prioridades del grupo meta, y cumplementa el trabajo de otros actores. 3. Eficiencia. Hasta que punto el trabajo de la Federación Internacional se realizo al mas bajo costo posible y oportunamente. 4. Efectividad. Hasta que punto el trabajo de la Federación Internacional ha o es probable que logre sus resultados imediatos previstos. 5. Cobertura. Hasta que punto el trabajo de la Federación Internacional incluye (o excluye) a grupos de la población, y la incidencia diferencial en tales grupos. 6. Incidencia. Hasta que punto el trabajo de la Federación Internacional inflye con cambios positivos y negativos en los interesados directos, que pueden ser directos o indirectos, previstos o imprevistos. 7. Coherencia. Hasta que punto el trabajo de la Federación Internacional es consistente con las políticas relevantes (e.g. humanitarianismo, securidad, comercio, militares y derarrollo), y toma debidamente en cuenta las consideraciones humanitarias y de derechos humanos. 8. Normas 8 normas para guiar cómo evaluamos. Sostenibiliad y conectividad. Hasta que punto los es probable que los beneficios del trabajo de la Federación Internacional continuen una vez el role de la Federación finalice. 1. Utilidad. Las evaluaciones deben ser útiles y utilizadas 2. Viabilidad. Las evaluaciones tienen que ser conformes a la realidad, diplomáticas, prudentes y rentables. 3. Ética y legalidad. Las evaluaciones deben realizarse cumpliendo exigencias éticas y legales, respetando el bienestar de las personas que intervienen en las mismas y de las personas afectadas por los resultados.. 4. Impartialidad e independencia. Las evaluaciones deben ser imparciales, lo que supone una valoración exhaustiva y sin sesgo teniendo en cuenta las opiniones de todas las partes interesadas. La independencia se refiere a las evaluaciones externas, por lo que los evaluadores no deben haber intervenido ni tener intereses ya establecidos en la actividad que se evalúa 5. Transparencia. Las evaluaciones se deben llevar a cabo de forma abierta y transparente. 6. Exactidud. Las evaluaciones deben ser técnicamente exactas, generar suficiente información sobre los métodos de recopilación, análisis e interpretación de los datos para que se pueda determinar el valor o el mérito de lo que se evalúa. 7. Participación. Las partes interesadas deben ser consultadas e intervenir de manera significativa en el proceso de evaluación cuando sea factible y apropiado. 8. Colaboración. La colaboración entre los principales socios operativos que intervienen en el proceso de evaluación aumenta la legitimidad y la utilidad de la evaluación. Source: IFRC Framework for Evaluation, 2011 Los Principios Fundamentales del Movimiento Internacional de la Cruz Roja y la Media Luna Roja 1. Humanidad ; El Movimiento de la Cruz Roja y de la Media Luna Roja, al que ha dado nacimiento la preocupación de prestar auxilio, sin discriminación, a todos los heridos en los campos de batalla, se esfuerza, bajo su aspecto internacional y nacional, en prevenir y aliviar el sufrimiento de los hombres en todas las circunstancias. Tiende a proteger la vida y la salud, así como a hacer respetar a la persona humana. Favorece la comprensión mutua, la amistad, la cooperación y una paz duradera entre todos los pueblos. 2. Imparcialidad; No hace ninguna distinción de nacionalidad, raza, religión, condición social ni credo político. Se dedica únicamente a socorrer a los individuos en proporción con los sufrimientos, remediando sus necesidades y dando prioridad a las más urgentes. 3. Neutralidad; Con el fin de conservar la confianza de todos, el Movimiento se abstiene de tomar parte en las hostilidades y, en todo tiempo, en las controversias de orden político, racial, religioso o ideológico. 4. Independencia; El Movimiento es independiente. Auxiliares de los poderes públicos en sus actividades humanitarias y sometidas a las leyes que rigen los países respectivos, las Sociedades Nacionales deben, sin embargo, conservar una autonomía que les permita actuar siempre de acuerdo con los principios del Movimiento. 5. Voluntariado; Es un movimiento de socorro voluntario y de carácter desinteresado. 6. Unidad;En cada país sólo puede existir una Sociedad de la Cruz Roja o de la Media Luna Roja, que debe ser accesible a todos y extender su acción humanitaria a la totalidad del territorio. 7. Universalidad: El Movimiento Internacional de la Cruz Roja y de la Media Luna Roja, en cuyo seno todas las Sociedades tienen los mismos derechos y el deber de ayudarse mutuamente, es universal. El Código de Conducta relativo al socorro en casos de desastre para el Movimiento Internacional de la Cruz Roja y de la Media Luna Roja y las Organizaciones No Gubernamentales (ONG) 1. Lo primero es el deber humanitario. 2. La ayuda prestada no está condicionada por la raza, el credo o la nacionalidad de los beneficiarios ni ninguna otra distinción de índole adversa. El orden de prioridad de la asistencia se establece únicamente en función de las necesidades. 3. La ayuda no se utilizará para favorecer una determinada opinión política o religiosa. 4. Nos empeñaremos en no actuar como instrumentos de política exterior gubernamental. 5. Respetaremos la cultura y las costumbres locales. 6. Trataremos de fomentar la capacidad para hacer frente a catástrofes utilizando las aptitudes y los medios disponibles a nivel local. 7. Se buscará la forma de hacer participar a los beneficiarios de programas en la administración de la ayuda de socorro. 8. La ayuda de socorro tendrá por finalidad satisfacer las necesidades básicas y, además, tratar de reducir en el futuro la vulnerabilidad ante los desastres. 9. Somos responsables ante aquellos a quienes tratamos de ayudar y ante las personas o las instituciones de las que aceptamos recursos. 10. En nuestras actividades de información, publicidad y propaganda, reconoceremos a las víctimas de desastres como seres humanos dignos y no como objetos que inspiran compasión. Guía de Bolsillo de PMER (planificación, seguimiento, evaluación, presentación de informes) “¡No salga de casa sin ella!”