Monitoreo y Evaluación de Proyectos Jaqueline Berumen Milburn Cuadernos de Cooperación para el Desarrollo No. 3 Especialización en Cooperación Internacional para el desarrollo Monitoreo y Evaluación de Proyectos Jaqueline Berumen Milburn Cuadernos de Cooperación para el Desarrollo No. 3 Especialización en Cooperación Internacional para el Desarrollo Monitoreo y Evaluación de Proyectos Jaqueline Berumen Milburn Cuadernos de Cooperación para el Desarrollo No. 3 Especialización en Cooperación Internacional para el Desarrollo Con la ejecución de: ©Escuela Latinoamericana de Cooperación y Desarrollo, 2010 Director del proyecto Sebastian Vadalá Director de la Escuela Jairo Agudelo Taborda Coordinador de la Unidad de Investigación Gustavo Rodríguez Albor Autora Jaqueline Berumen Milburn Profesional en Relaciones Internacionales Especialista en Cooperación Internacional para el Desarrollo Asesores Carlo Tassara Silvia Favaron Primera edición Medellín (Colombia), noviembre de 2010 ISBN: 978-958-8590-10-3 Diagramación e Impresión: Pregón Ltda Página 5 La Escuela Latinoamericana de Cooperación y Desarrollo s un proyecto colombo-italiano, fruto del convenio entre la Universidad de San Buenaventura de Cartagena de Indias, Colombia, la Universidad de Pavia y el Instituto Universitario de Estudios Superiores de la Universidad de Pavia, Italia. Además de un consorcio de las nanciado por el Ministerio de Asuntos Exteriores de Italia y por la Conferencia Episcopal Italiana. E Su propósito es contribuir al fortalecimiento de la Cooperación Internacional para el Desarrollo, a través de la formación de profesionales autóctonos que operen en programas de cooperación internacional, la realización de investigaciones en esta área del conocimiento, el apoyo a redes y al trabajo interinstitucional con las organizaciones que promueven el desarrollo de la región. La Escuela posee una estructura interna conformada por dos unidades operativas interdependientes: formación e investigación. La Unidad de Investigación tiene como objetivo realizar investigaciones en el campo de la Cooperación Internacional para el Desarrollo que ! " en herramientas básicas en los procesos de gestión de proyectos. Los trabajos de investigación guardan correspondencia con las áreas que conforman el programa académico de la Especialización en Cooperación Internacional para el Desarrollo: Economía del desarrollo, Sociopolítica y Metodologías sobre proyectos. Página 7 Tabla de contenido Prólogo ...................................................................................................... 11 Presentación ............................................................................................. 13 Contenido y organización del manual ..................................................... 15 Capítulo 1 Fundamentos del monitoreo y la evaluación ........................................... 19 1.1 Importancia y función del monitoreo y la evaluación .............................................21 #$% & ' .....................................................22 1.3 Monitoreo y evaluación en el ciclo del proyecto ....................................................24 1.4 El Monitoreo y la Evaluación en la etapa de formulación del proyecto ..............25 1.5 La planeación a través del Marco Lógico ..................................................................25 Capítulo 2 Monitoreo .........................................................................................................29 2.1 Planeación del monitoreo ............................................................................................31 2.2 Formatos para el monitoreo .......................................................................................33 2.3 Desarrollo del monitoreo por niveles de la organización .....................................35 Capítulo 3 Evaluación ........................................................................................................37 3.1 Criterios básicos de la evaluación ..............................................................................39 3.2 Tipos de evaluación .......................................................................................................41 3.3 Desarrollo de la evaluación .........................................................................................42 3.4 La evaluación participativa ...........................................................................................46 Capítulo 4 Selección de información para el sistema de monitoreo y evaluación ...49 4.1 Preguntas de desempeño .............................................................................................51 *$ + '' ......................................................................53 4.3 Líneas base y metas .......................................................................................................59 **/ ' ..................................................................................................60 Capítulo 5 Recolección de información para el monitoreo y la evaluación .............61 5.1 Muestreo .........................................................................................................................63 5.2 Categorías de información ...........................................................................................64 5.3 Métodos de recolección de datos ..............................................................................65 5.4 Técnicas de Valoración Participativa Rápida (VPR) ..................................................73 5.5 Cómo mejorar la calidad de la información .............................................................77 Página 8 Monitoreo y Evaluación de Proyectos Capítulo 6 Análisis y empleo de la información ..............................................................79 6.1 Sistematización y organización de datos ...................................................................81 6.2 Análisis e interpretación de datos ..............................................................................81 6.3 Empleo de la información ............................................................................................84 Capítulo 7 Monitoreo y evaluación en proyectos de incidencia y de emergencia ....87 7.1 Monitoreo y evaluación en proyectos de incidencia ...............................................89 7.2 Monitoreo y evaluación en proyectos de emergencia ............................................93 Referencias ................................................................................................ 97 Anexos ..............................................................................................................99 Anexo I. .....................................................................................................................101 Anexo 2. ......................................................................................................................107 Anexo 3. ......................................................................................................................111 Anexo 4. .....................................................................................................................117 Anexo 5. .....................................................................................................................125 Página 9 Índice de figuras y tablas Figura 1. M y E en el Ciclo del Proyecto ...........................................................................................24 Figura 2. Esquema para el “Análisis de las partes interesadas” ....................................................74 Figura 3. Ejemplo de Diagrama de Venn.............................................................................................75 Tabla 1. Diferencias entre el monitoreo y la evaluación ..............................................................23 Tabla 2. Estructura de la Matriz de Marco Lógico .........................................................................26 Tabla 3. Formatos para plan e informe de monitoreo ..................................................................34 Tabla 4. Organización de las actividades de monitoreo por niveles de la organización .......36 Tabla 5. Ventajas y desventajas de evaluaciones externas e internas ........................................42 Tabla 6. Ejemplo de una matriz de evaluación ................................................................................44 Tabla 7. Distinción entre evaluaciones convencionales y evaluaciones participativas ...........48 Tabla 8. Preguntas de desempeño para cada nivel de intervención...........................................51 Tabla 9. Preguntas e indicadores de proyecto para el sector agua (texto de ejemplo) ........52 Tabla 10. Pasos para la formulación de indicadores (texto de ejemplo) ....................................54 Tabla 11. Características de los indicadores .....................................................................................54 Tabla 12. Resumen de indicadores por nivel de intervención.......................................................58 Tabla 13. Indicadores, Líneas Base y Metas (texto de ejemplo) ....................................................60 Tabla 14. Diferencias entre información cualitativa y cuantitativa ...............................................64 Tabla 15. Cuadro resumen de métodos de recolección de datos ...............................................72 Tabla 16. Errores comunes en la recolección de información ......................................................77 Tabla 17. Tabla resumen de recomendaciones .................................................................................85 Tabla 18. Ejemplo de Estrategia de Difusión .....................................................................................86 Tabla 19. Tabla guía de indicadores para estrategias de incidencia ..............................................91 Tabla 20. Preguntas e indicadores en un proyecto de atención humanitaria.............................95 Página 11 Prólogo as actividades de monitoreo se realizan durante el periodo de ejecución de un proyecto y están a cargo fundamentalmente del equipo que lo está ejecutando, sirven sobre todo para averiguar si se están logrando los objetivos y los resultados esperados, y si es necesario mo ;<=+ L Las actividades de evaluación se realizan en un momento determinado, están a cargo fundamentalmente de un experto o de un equipo externo al proyecto, y sirven sobre todo para entender si el proyecto cumplió con los criterios de pertinencia, = Sin embargo, a pesar de las diferencias, se trata de dos caras de la misma moneda. Ambas actividades están orientadas a aprender de la experiencia pasada, a través de la formalización de las lecciones = =& mejorar la formulación y la ejecución de nuevos proyectos, por un lado, y de orientar las políticas y las programaciones futuras, por el otro. Por eso su importancia nunca se evidenciará lo > donantes como a los demás actores involucrados en la formulación de las políticas y la realización de los proyectos de cooperación internacional para el desarrollo para que no escatimen esfuerzos y recursos para el monitoreo y la evaluación. Página 12 Monitoreo y Evaluación de Proyectos Este manual es una herramienta de mucha utilidad para los dirigentes y los operadores que trabajan =< = '?@ diariamente el desafío de diseñar y realizar proyectos con un impacto relevante sobre la calidad de vida de miles de hombres y mujeres; para los cuales la cooperación internacional representa una oportunidad concreta de tener acceso a servicios educativos y sanitarios de buena calidad, disponer de microcrédito, oportunidades de ingresos, o fortalecer sus organizaciones de base. Este manual representa además uno de los resultados concretos de un esfuerzo, interinstitucional e internacional, orientado a la creación de una escuela y de un centro de excelencia para la formación de jóvenes especialistas latinoamericanos que decidieron dedicar su vida profesional a la cooperación para el desarrollo. K< ! = =? mas de monitoreo y evaluación sean efectivos, es necesario que cumplan por lo menos con los requisitos y principios generales que se mencionan a continuación: - Viabilidad: no es oportuno diseñar sistemas en extremo complejos, que normalmente requieren una enorme cantidad de tiempo y recursos humanos y materiales. La experiencia nos indica que estos sistemas se resuelven muy a menudo + =< Ntrario, es recomendable concentrar la atención sobre una pequeña cantidad de procesos e indicadores y asegurar que se cumpla cabalmente con el levantamiento de la información esencial para medirlos de manera simple y efectiva. - Adopción de una política orgánica de evaluación: ;< una organización decide evaluar cierta cantidad de los proyectos que realiza y las modalidades operativas para hacerlo. - Formación: más allá de los especialistas, que son necesarios y aseguran un valor agregado importante, todo el personal que trabaja en un proyecto tiene que contar con una formación esencial sobre los conceptos, las metodologías > & ? a monitoreo y evaluación. - Participación: todas las partes interesadas de un proyecto tienen que involucrarse en la realización de las actividades de monitoreo y evaluación y, sobre todo, tener la oportunidad de conocer sus informes y demás productos para opinar sobre ellos. - Sistematización y retroalimentación: hay que garantizar el acceso de todos los operadores de una organización que trabaja en la cooperación para el desarrollo a la información producida. La disponibilidad y la circulación de la información representan una herramienta importante para aprender de la experiencia, evitar así los errores del pasado y aprovechar las buenas prácticas para el futuro. Carlo Tassara1 1. Experto, asesor y docente de cooperación internacional. Profesor de Monitoreo y evaluación de la Escuela Latinoamericana de Cooperación y Desarrollo (ELACID) y de Estrategias para la cooperación internacional de la Universidad La Sapienza de Roma. Página 13 Presentación l monitoreo y la evaluación son reconocidos como dos fases fundamentales del ciclo del proyecto por todos los actores de la cooperación al desarrollo, incluidas las ONG, pero estas < =& = = como su modus operandi. Urgencias o cargas de trabajo excesivas se imponen y no consienten dedicar tiempo y recursos adecuados a la recopilación y el análisis de datos para el monitoreo regular de los proyectos; otras veces, resistencias a poner en tela de juicio las propias acciones y '! o internos, obstaculizan una verdadera cultura de la evaluación, percibida erróneamente como un + < =W ? diálogo, un veredicto no negociable, una intrusión para robar poder, etc. E Por lo tanto, es absolutamente importante acercar conceptos y sobre todo herramientas para que las ONG puedan aplicarlos en su diario accionar al comprender el gran valor del monitoreo y la evaluación como oportunidad de aprendizaje y apertura a nuevas perspectivas de mejoramiento de la gestión y organización del trabajo. El “Manual de monitoreo y evaluación de las ONG de Forum Solint” (Gosparini, Russo, Sirtori y Valmarana, 2004) ostenta la gran calidad de surgir de la experiencia de las ONG y de estar basado en sus realidades. Página 14 Monitoreo y Evaluación de Proyectos Cuando me preguntaron sobre apoyar a Jaqueline Berumen en la construcción de un nuevo manual a partir de la revisión y actualización del Manual del Forum Solint acepté la invitación con mucho gusto, porque creía que algo faltaba en el Manual del Forum Solint que había encontrado en el Manual “Sharpening the Development Process: a practical guide to Monitoring and Evaluation” (Bakewell, Adams y Pratt, 2003), publicado por The International Training and Research Center XYZN[=@! el concepto de información, base fundamental de cualquier sistema de Monitoreo y Evaluación (MyE). La construcción de este nuevo manual ofreW= ! + sobre la posible fusión de estos dos enfoques, y fue acogida con gran entusiasmo e interés por Jaqueline Berumen, especialmente en nuestros encuentros de apasionado intercambio durante los días en Cartagena en la Escuela Latinoamericana de Cooperación y Desarrollo (ELACID). N= ! @? dos manuales nace el acompañamiento al lector, ?' cuestiones hasta la elaboración de indicadores y herramientas de recopilación de datos, utilizando dos supuestos del enfoque participativo: la triangulación y la ignorancia óptima (no recoger más información de la que se necesita o se puede analizar); estas llaves de lectura son esenciales para guiar a los operadores de ONG que luchan todos los días con recursos limitados para recopilar y analizar datos en los sistemas de monitoreo, o a los evaluadores que en un corto plazo tienen que ejecutar la evaluación general de un proyecto. El trabajo exhaustivo de investigación realizado =\? ]> validez de esta perspectiva de integración entre enfoques, sino que la ha enriquecido y ampliado con otros enfoques y herramientas, explorando < ==; este nuevo manual a un producto innovador. Al mismo tiempo, esta investigación se ha convertido en una importante colección de material sobre MyE, a disposición del lector en el CD-ROM anexo, otro valor agregado de este manual que esperamos pueda devenir una herramienta de trabajo < > /ual del Forum Solint. Silvia Favaron2 2. Evaluadora y docente sobre monitoreo y evaluación. Profesora del “International Master Program in Cooperation and Development, Institute for Advanced Study” (IUSS), Pavia, Italia. Página 15 Contenido y organización del manual or mucho tiempo prevaleció la ingenua convicción de que un proyecto de “ayuda” social, al ser producto de buenas intenciones, garantizaba buenos resultados. Sin embargo, la experiencia en el campo de la cooperación y el desarrollo ha demostrado que no basta la buena voluntad: en ocasiones los proyectos no generan los efectos deseados o incluso pueden llegar a tener impactos negativos sobre la población y el medio en el que intervienen. Los procesos sociales son difíciles de predecir, por lo que debemos estar preparados para cuando las cosas no salgan exactamente como lo planeamos. Si bien esto puede parecer un escenario bastante incierto, es también una oportunidad para aprender de los procesos, adaptarse al cambio, desarrollar soluciones creativas y propiciar que el mismo aprendizaje sea un resultado positivo de la intervención, que sirva a la organización, a la teoría y a la experiencia, y de forma más importante a @? las instituciones y personas involucradas en estas intervenciones dediquen una atención especial al diseño y seguimiento de la intervención al igual que a la evaluación de sus efectos e impactos. P Los procesos de MyE nos permiten medir el impacto real, como un proceso de introspección y autocrítica en el que podamos mejorar nuestra acción y promover una mayor calidad de los pro- Página 16 Monitoreo y Evaluación de Proyectos yectos. Asimismo, permiten demostrar los logros, en medio de un contexto en el que hay poca ^ = venciones de la cooperación para el desarrollo. La participación y solidaridad de la población general en estos procesos de cambio dependen en buena parte de nuestra capacidad de demostrar que es posible lograr un avance hacia mayor bienestar y equidad en la sociedad. Esto sólo se puede hacer midiendo y evaluando nuestra acción, adoptando los aprendizajes y difundiendo los resultados. El presente manual ha sido elaborado con el objetivo de proporcionar una herramienta básica que sirva de guía para el monitoreo y la evaluación de proyectos sociales. Busca reunir, en un solo lugar, conceptos, descripciones de procesos y herramientas que permitan facilitar el MyE, así como mejorar su calidad para que los proyectos logren impactos sociales positivos y sostenibles. El manual está formulado y dirigido a personas involucradas en el diseño y la implementación de programas y proyectos: personal de Organizaciones No Gubernamentales (ONG), que incluye a directores y equipo de proyecto en el lugar de implementación, así como a coordinadores y dirigentes en las sedes principales; personal de agencias de cooperación internacional; servido=< ; estudiantes. La información del manual ha sido reunida de diversas fuentes. Al tener el objetivo de adaptar y profundizar los contenidos del “Manual de monitoreo y evaluación de las ONGs de Forum Solint” (Gosparini et al., 2004), gran parte de la información incluida aquí ha sido retomada de este manual. Otras secciones se han elaborado con base en la información del libro “Sharpening the Development Process, guide to Monitoring and Evaluation” (Bakewell, 2003), publicado por INTRAC. Se ha hecho una recopilación de la in@ &'< =sos y publicaciones disponibles, pero se invita a consultar los documentos, investigaciones, guías, manuales y recursos en línea incluidos para ahondar más en los contenidos. El Manual está dividido en dos partes. La primera sección revisa de forma general el monitoreo y la evaluación, enfocándose en la parte conceptual y operativa. Esta revisión se hace en los primeros tres capítulos. En el capítulo 1 se desarrollan los fundamentos conceptuales y la importancia del monitoreo y la evaluación. Se describe además la inclusión del MyE en el ciclo del proyecto, haciendo particular énfasis en la etapa de formulación. Si bien la intención de este manual es servir de guía para el MyE (y no para el diseño general de los proyectos), aquí se hace un breve resumen del diseño de proyectos a través de la metodología de Marco Lógico. Esto debido a la importancia de la calidad en la etapa de formulación para todo el MyE que se realizará durante la vida del proyecto. El capítulo 2&=W el Monitoreo, desde un enfoque más operativo. Se describen las principales preguntas que se han de responder cuando se hace la planeación del monitoreo y se ofrecen algunas herramientas para facilitar su desarrollo. El capítulo 3 se enfoca en la evaluación, profundizando más sobre algunos conceptos básicos como criterios y tipos de evaluación. Asimismo, aquí se describe el proce ' de los términos de referencia, la selección del evaluador, la elaboración del plan de evaluación, > @_ evaluación participativa y sus principales características y ventajas. La segunda parte del manual profundiza más sobre el sistema de MyE. Los siguientes tres capítulos se enfocan a detallar los componentes y medios para la selección, la recolección, el análisis y el uso de la información. Así, en el capítulo 4, se desarrollan = de información: las preguntas de desempeño, los indicadores, las líneas base, las metas y los medios Página 17 ' `capítulo 5 se profundiza @ las categorías de información y se explica el proceso de muestreo. Posteriormente se presenta una lista de los distintos métodos de recolección de datos, y se describe brevemente cada uno, sus ventajas y sus desventajas. Se presentan asimismo algunas técnicas complementarias de valoración = = '&= `< pítulo se dan algunos consejos para mejorar la calidad de la información. En el capítulo 6 se describe el proceso necesario para el análisis de la información obtenida: sistematización, organización, interpretación y recomendaciones. También se hace una revisión del empleo y la difusión de la información. Finalmente, en el capítulo 7 del manual, se des ==W/`== =< = en emergencias. Aquí se describen las principales diferencias y posibles obstáculos en el diseño, el monitoreo y la evaluación de este tipo de intervenciones. Se incluyen recomendaciones y ejem= /` =W = tipo de proyectos. Los anexos del manual buscan profundizar el contenido y proporcionar insumos adicionales que puedan facilitar el trabajo de MyE. Se incluyen entonces un glosario, formatos de MyE, algunas guías de indicadores, ejemplos de un marco lógico, el plan y el informe de monitoreo correspondientes. Capítulo 1 Fundamentos del monitoreo y la evaluación Fundamentos del monitoreo y la evaluación 1.1 Importancia y función del monitoreo y la evaluación Es bien sabido que la implementación de un programa o proyecto social o de desarrollo, de atención humanitaria, de fortalecimiento de capacidades o de incidencia no garantiza por sí mismo la consecución de los objetivos planteados ni un impacto positivo en la vida de las personas. Las buenas intenciones, los programas o proyectos de ;{ por sí solos no garantizan resultados positivos. Para aumentar las posibilidades de efectividad de cualquier programa o proyecto social es necesario contar con un diseño y una planeación cuidadosos, = = ' MyE apropiados. Si bien la planeación adecuada =@;+ inalterable: si nuestro proyecto no está funcionando o si las circunstancias han cambiado, los planes deben cambiar también. El MyE permite darnos cuenta si los planes están fallando o si hay ; '! oportunidad de analizar y tomar decisiones sobre ?>= El monitoreo y la evaluación generan información para mejorar la acción, reorientarla o hacer una planeación futura mucho más asertiva y efectiva. Sin un monitoreo y una evaluación efectivos, no = +& encaminando en la dirección correcta, si el progreso o los cambios logrados se deben a nuestra =W > en la planeación a futuro (Programa de Naciones Unidas para el Desarrollo [PNUD], 2009). El monitoreo y la evaluación sirven para: - Mejorar el desempeño: permiten la detección de problemas de un proyecto en etapas iniciales de la implementación, y de es- Página 21 ta forma reducen las posibilidades de fracaso y ahorran recursos y tiempo al posibilitar la adopción oportuna de medidas correctivas. - Fortalecer la toma de decisiones y la planeación: permiten aprender de los logros y las =~ de decisiones y al diseño de iniciativas presentes o futuras (para suspender, reformular o multiplicar un proyecto). Asimismo, permiten aproximar los proyectos a la realidad y a los resultados alcanzables. - Contribuir al aprendizaje: permiten a la organización y a los involucrados en el proceso aprender de la experiencia, con lo cual no sólo se mejoran las acciones posteriores sino que se contribuye al aprendizaje institucional y al aprendizaje social. - Avanzar hacia el empoderamiento: el monitoreo y la evaluación permiten fortalecer las capacidades de la población involucrada, de los socios locales, del equipo encargado de la ejecución y de la misma organización, ya que favorece el conocimiento de la problemática, de los procesos y de las estrategias. - Mejorar la rendición de cuentas: permiten a las organizaciones responsables informar a de los recursos y el impacto de los proyectos. `= "@==< y político de las iniciativas. - Contribuir al conocimiento general: el análisis de la evaluación permite compartir con otros, difundir los aprendizajes y las mejores prácticas, contribuyendo al conocimiento general de los procesos y proyectos de desarrollo. Esto puede servir tanto a la misma organización como a otras organizaciones o instituciones gubernamentales y académicas. Página 22 Monitoreo y Evaluación de Proyectos 1.2 Definiciones básicas de monitoreo y evaluación El monitoreo es un proceso continuo y sistemático para obtener y analizar información sobre el avance hacia la consecución de las metas y obje '=` ' = =yecto y de su primer impacto a través del proceso de recolección de datos y de sus análisis, informe y uso de la información” (Gosparini et al., 2004). El monitoreo es un proceso continuo durante toda la vida de un proyecto y proporciona a las personas involucradas los insumos necesarios para =;= dades y amenazas, de manera que se faciliten los ajustes al proyecto y se direccionen. El monitoreo nos sirve, entre otras cosas, para conocer: - Si los recurs ~ - Si el personal encargado de la ejecución tiene = ~ - Si el plan de trabajo ha sido implementado en los tiempos y en la forma planeada; - Si las actividades realizadas son coherentes con los planes de trabajo; - Si estamos progresando para avanzar hacia los resultados u objetivos propuestos; - Si la respuesta de la población involucrada en las actividades del proyecto es positiva; - Si hay participación y aceptación de las actividades y los procesos, y - Si existen circunstancias o eventos inesperados. La evaluación= más sistemática y objetiva posible, de un proyecto ^= +cución o resultados. Su propósito es determinar la pertinencia y el cumplimiento de los objetivos, ^ = y la sostenibilidad (Organisation for Economic Development /Development Assistance Commitee [OECD/DAC], 2002). La evaluación, además de determinar la medida en que se ha logrado el cumplimiento de los objetivos de un proyecto ya ^= =X [=~W' > = ^ ' to fundamental para la toma de decisiones, pues = ! gias del propio trabajo, proporcionando valiosos insumos para la planeación futura. Los criterios básicos para la evaluación de un proyecto tienen que ver con la pertinencia (de los = @ = [ciencia (de los procesos de conversión de insumos [ X?" =yecto puede producir los resultados esperados), el impacto (cómo contribuye a la introducción de cambios a largo plazo) y sostenibilidad (permanencia o durabilidad de los cambios introducidos). Como se puede ver, el monitoreo y la evaluación están interrelacionados pero son procesos distintos. Mientras que el monitoreo es un proceso continuo y permanente en la ejecución del proyecto, la evaluación se realiza en periodos establecidos, entre lapsos más largos. El monitoreo es un proceso continuo de análisis, observación y sugerencias de ajustes para asegurar que el proyecto esté encaminado a alcanzar su objetivo. La evaluación, por su parte, permite la formulación de conclusiones acerca de lo que se observa a una escala mayor, del diseño del proyecto y sus impactos (Ortegón, Pacheco y Prieto, 2005). Los procesos de monitoreo y de evaluación son complementarios: la evaluación depende en gran medida de la información reportada y recolectada de forma periódica a través de los sistemas de monitoreo. Sin embargo, cada proceso tiene @ =W! ; @ fundamentales que se resumen en la Tabla 1. Fundamentos del monitoreo y la evaluación Página 23 Tabla 1. Diferencias entre el monitoreo y la evaluación Monitoreo Evaluación Valoración más profunda enfocada en el aprendizaje y la rendición de cuentas. Enfoque en los resultados, objetivos e impacto más amplio y a largo plazo. Información proviene de la recolección de datos para el monitoreo, para la línea base, etc. Función Información para la gestión del proyecto. Enfoque Revisión del progreso del proyecto. Insumos Levantamiento de datos/información. Tiempo Continuo, durante toda la implementación del proyecto. Responsable Equipo responsable del proyecto. Presentación Presentación directa con base en formatos estandarizados. Difusión Entre el equipo del proyecto y los usuarios. `=W = Evaluadores internos o externos al proyecto (o a la organización ejecutora). Presentación menos estandarizada y enfocada en menos temas, pero analizados con mayor profundidad. Más amplia: partes involucradas, donantes, opinión =< Fuente: Elaboración propia con base en información de Gosparini et al., 2004. Otros instrumentos Existen otras actividades de revisión de proyectos ? @ =W@? particular, y por lo tanto no deben confundirse con el monitoreo y la evaluación. Estas son: - Auditoría: valoración de los procesos y procedimientos administrativos para asegurar el @ respeto a las políticas, normas y criterios previamente establecidos. El objetivo de la auditoría se limita a examinar la conformidad con las obligaciones contractuales. La pregunta guía de la auditoría es: ¿Estamos siguiendo los procedimientos adecuados? - Estudio de factibilidad: es una valoración crítica de una propuesta de proyecto con el '- nanciamiento e implementación. La valoración está encaminada a determinar la pertinencia, ' " socioeconómica, así como la sostenibilidad prevista de la propuesta. - Revisión: es una valoración periódica de todo el diseño metodológico del proyecto para retroalimentar la planeación y la gestión y hacer recomendaciones de acciones correctivas. Una revisión puede devenir en una evaluación sobre > ; ' profundidad y de análisis. - Investigación: <?& =fundo y sistemático para desarrollar un tema =W neralmente la investigación documental sirve de insumo para la evaluación, pero por sí sola = Página 24 Monitoreo y Evaluación de Proyectos Figura 1. M y E en el Ciclo del Proyecto s%VALUACIØNY EMPLEODELOS RESULTADOS s-ONITOREO 2ECOLECCIØN !NÉLISISY 3ISTEMATIZACIØN DE$ATOS s)NCORPORAR APRENDIZAJESDE OTROSPROYECTOS Evaluación Ejecución y Seguimiento Identificación Diseño o Formulación s$EFINICIONES DELA-ETODOLOGIA DE-Y% s$ISE×ODEL 3ISTEMADE-Y% Fuente: Elaboración propia con base en Comisión Europea (CE), 2002 1.3 Monitoreo y evaluación en el ciclo del proyecto En esta sección analizamos el papel del monitoreo y la evaluación en el proceso de diseño y desa=Z' y los principios básicos de la formulación y la planeación del proyecto con base principalmente en la metodología del marco lógico. Si bien este tema por sí solo conformaría un manual, es necesario mencionarlo para poder comprender todo el proceso de MyE en cada nivel de la lógica de intervención del proyecto. El proceso de diseño y desarrollo de un proyecto puede resumirse de manera sencilla en el Ciclo del Proyecto. Este ciclo consiste en una serie de pasos estrechamente vinculados entre sí y acomodados =? ción del problema, la planeación del proyecto, su ejecución y seguimiento, y la evaluación que nor & de futuros proyectos (ver Figura 1). En el ciclo del proyecto, el MyE se debe considerar desde la etapa de diseño y formulación, planeando los componentes del proyecto de tal forma que se tomen en cuenta, se faciliten y garanticen procesos de MyE. La etapa de planeación y diseño es crucial para todo el desarrollo del proyecto, pues sistema de MyE, estableciendo claramente la información disponible antes de la intervención (línea base) y determinando las necesidades de información (a través de la formulación de indicadores) que permitan ir midiendo avances, efectividad e impacto. N+ = plan de MyE== =W cómo se deberán organizar las actividades, responsabilidades y recursos para realizar el monitoreo durante el desarrollo del proyecto. Este monitoreo se realizará periódica y sistemáticamente durante todo el tiempo de implementación del proyecto. Esto implica el seguimiento de las actividades y revisión de los objetivos, así como la recolección, sistematización y análisis de Fundamentos del monitoreo y la evaluación datos. Posteriormente, se lleva a cabo el proceso de evaluación, como una etapa misma del ciclo del proyecto. La evaluación producirá información que es fundamental para la rendición de cuentas, la implementación de recomendaciones y mejorar el desempeño. Estos aprendizajes pueden ser valiosos tanto para determinar las necesidades de reformulación del mismo proyecto o para ser considerados en la formulación de otros proyectos. 1.4 El Monitoreo y la Evaluación en la etapa de formulación del proyecto Los primeros pasos de MyE se toman desde la etapa de formulación del proyecto. En esta etapa, las personas que formulan el proyecto tienen la responsabilidad de asegurar que su diseño lo haga evaluable y que disponga de un buen sistema de MyE. Un proyecto bien diseñado, con una cadena de efectos clara, será fácilmente monitoreado y evaluado. Un proyecto que no cumpla con esta característica muy probablemente fallará en la consecución de sus objetivos (o en la demostración de los mismos). Asegurar la evaluabilidad es por lo tanto el primer control de calidad que se debe realizar sobre los documentos de formulación de un nuevo proyecto. Incluye cuatro momentos principales, que se recomienda asegurar en la etapa de diseño: - Que la lógica de intervención sea coherente y clara, que el diseño de los resultados, los objetivos, las actividades y las estrategias esté /`@ ; tivo con relación a los resultados y objetivos del proyecto, y que existan los medios para ' ' Página 25 - Que los planes del proyecto prevean actividades de monitoreo y evaluación adecuadas, y que exista un plan de monitoreo y evaluación con métodos, procedimientos y personas res= - Que las lecciones y las buenas prácticas aprendidas de los proyectos anteriores se incluyan en el proyecto actual. 1.5 La planeación a través del Marco Lógico Existen distintos enfoques para la planeación de proyectos o programas de desarrollo, siendo algunos de los más comunes el Enfoque de Marco LógiX`/[ Objetivos (ZOPP, por su sigla en alemán) y la Gestión Basada en Resultados (GBR)3. En este manual, nos centraremos en el Enfoque de Marco Lógico, por ser uno de los más ampliamente utilizados por diversos donantes bilaterales y multilaterales y por facilitar el diseño, la ejecución de los proyectos y procesos paralelos de MyE. La Metodología de Marco Lógico es un enfoque de análisis, diseño, planeación, ejecución y evaluación de proyectos que busca, a través de una matriz, resumir de manera global la lógica de funcionamiento de todo un proyecto o programa. Esta metodología está basada en la planeación por objetivos y orientada a facilitar la participación de los ;= ^= > < => { == ; ^=& de desempeño del proyecto, puntos de referencia e indicadores. Al determinar los indicadores y sus = ' blecen las condiciones para futuras evaluaciones y ajustes al proyecto. Esto ayuda a formular, desde un inicio, el plan de MyE del proyecto que incluye el proceso de evaluación (Ortegón et al., 2005). 3. Para un análisis más detallado sobre los distintos enfoques de gestión de proyectos de desarrollo, ver el capítulo 1 del manual “Formulación de proyectos: enfoques, procesos y herramientas” (Londoño, 2009), en donde se explican los antecedentes históricos, las herramientas y las características principales de cada uno. Página 26 Monitoreo y Evaluación de Proyectos Tabla 2. Estructura de la Matriz de Marco Lógico LOGICA VERTICAL LOGICA HORIZONTAL Lógica de Intervención Objetivo General + '`=W Resultados Actividades Indicadores / Medios Costes Supuestos Condiciones Previas `;W='> < = = @ = =<te en cuatro tipos de análisis: el de involucrados, el de problemas, el de objetivos y el de estrategias. Cada uno de estos análisis se puede desarrollar a través de talleres y ejercicios participativos con la población involucrada4. En la etapa de planeación, estos análisis se retoman para diseñar el proyecto y el plan operativo para su ejecución. Todo este trabajo de diseño se resume en la matriz de marco lógico (ver Tabla 2), que sintetiza lo que el proyecto pretende hacer (Resultados, Objeti'=W+ ';[' a hacer (Actividades), cuáles son los supuestos claves (Hipótesis) y cómo serán monitoreados y 'X _' [ los insumos y productos del proyecto. 1.5.1 La lógica de inter vención La lógica de intervención indica la estructura de todo el proyecto y permite analizar las relaciones de causalidad de forma vertical: - Objetivo general + '=W - Resultados - Actividades Las actividades que se llevarán a cabo para producir los resultados; los resultados que se producen a partir del proyecto permitirán la realización del + '=W'^ ^= ;+ '=W=& + ';`< => = = ? cunstancias ajenas al proyecto que deben existir para que puedan implementarse las actividades y puedan producirse los resultados y objetivos =W+ ';N se describen de forma breve los componentes de esta lógica vertical. Objetivo general: es la descripción de la contribución del proyecto a un problema más amplio (sectorial, regional o nacional). El objetivo general, "=te el contexto y la problemática general en la cual el proyecto se introduce, y describe el impacto que se espera tener en el largo plazo. Se espera ?= ; ' = = ?=W & =;X '=yectos o medidas, desde distintos actores, pueden = [ Ob responde al problema cen @ ?? ;= 4. Para más información ver: CE, 2002; Food and Agriculture Organisation [FAO], 2001; Guijt y Woodhill, 2002, y Ortegon et al., 2005. Varios ejemplos sobre los ejercicios de árbol de problemas, así como tipos de Marco Lógico se pueden encontrar en Fundación CIDEAL, 2001. Fundamentos del monitoreo y la evaluación `" == `+ '=W está dirigido a reducir las causas que generan el problema central que el proyecto busca resolver. Resultados: son los componentes que deberá = ='^ ^ de vida. Si se producen los resultados, se podrá ^+ '=W=` una formulación correcta, todos los resultados =; + ' =W @ ; = conseguirlo. Si un resultado planteado depende más de factores externos que del propio proyecto, no es un resultado adecuado. Los responsables del proyecto deben responder por la consecución de cada uno de los resultados. Un objetivo o resultado correctamente planteado, debe ser: `=WX @=ticular deseada). - Medible. - Realista en el contexto y con los recursos disponibles. - Pertinente (responde a los problemas pre > ; '[ K = @> límite de cumplimiento. Actividades: son todas las acciones que se deberán llevar a cabo para producir los resultados = = teriales y humanos. Las actividades dependerán de las estrategias seleccionadas en el diseño del proyecto. Deben ser realistas en tiempo y recursos y considerar el contexto local, así como las condiciones previas necesarias. Los términos empleados por distintos donantes para cada nivel de la lógica de intervención pueden ' `= Página 27 de la Comisión Europea, por ser una de las más utilizadas en la cooperación internacional. Sin embargo, es recomendable tener en cuenta que existen diferencias en la terminología de cada organización o donante: algunos denominan al Objetivo general como Fin, Finalidad (CIDA, DFID) u Objetivo de desarrollo (PNUD). Los Objetivos =W= "+ ' diatos (PNUD) u Objetivos del proyecto (SIDA). Finalmente, los resultados también son denomi < = XK% ] Mundial, CIDA y DFID). La lógica horizontal de la matriz permite evaluar o medir los alcances del proyecto y es, por lo tanto, la parte central del monitoreo y de la evaluación. Está formada por: Indicadores: son descripciones operativas de los objetivos y resultados del proyecto en términos de cantidad, calidad, grupos metas, tiempo y localización. Los indicadores sirven para medir y dar seguimiento a lo que queremos lograr con el proyecto, presentando información necesaria para determinar el progreso hacia el logro de las metas establecidas. Los indicadores de actividades se representan con los recursos y medios empleados para llevar a cabo las actividades. Por ser un componente fundamental del sistema de MyE, los indicadores se verán con mayor detalle en el capítulo 4. establecen en dónde y cómo se pueden obtener los datos y comprobar la información para el cálculo de los indicadores. Supuestos o hipótesis: a partir de un análisis ; y políticos que pueden limitar o hacer que fracase el proyecto, se desarrollan los supuestos, expresados como hipótesis positivas que deben cumplirse para poder avanzar en las actividades, resultados y objetivos. Los supuestos son externos: no dependen ni pueden ser controlados por el proyecto. El MyE debe prestar especial atención Página 28 Monitoreo y Evaluación de Proyectos al cumplimiento de las hipótesis pertinentes y darles seguimiento a lo largo del proyecto, y en la evaluación revisar si han cambiado las hipótesis planteadas en un principio. El tener en cuenta las hipótesis ayuda a revisar y prever lo necesario para una mayor viabilidad del proyecto y sostenibilidad de sus resultados e impacto. Como ya se mencionó, un diseño de calidad de la Matriz de Marco Lógico es fundamental para poder llevar a cabo un monitoreo y una evaluación adecuados y pertinentes. Si el diseño de la lógica de intervención no es claro y los indicadores están mal formulados, el proceso de MyE será sumamente complejo y será muy difícil para el equipo y el responsable del proyecto analizar el =;= de cambios en la acción. Capítulo 2 Monitoreo Monitoreo En esta sección se revisa el monitoreo desde una perspectiva general, y se enfoca sobre todo en sus características y procesos operativos. El diseño del sistema de MyE se basa en la selección de la información que será requerida durante todo el proceso posterior de seguimiento y evaluación del proyecto, así como en la recolección de los datos, su sistematización y su análisis. Dada su importancia, estos temas se verán con mayor detalle en los capítulos 4, 5 y 6. El monitoreo es una continua comprobación de la ejecución del proyecto de acuerdo a lo planeado y de su impacto inicial a través del proceso de recolección y análisis de los datos, de elaboración de los informes y del uso de la información. Es un proceso continuo y estructurado de obtención y análisis de datos e información que involucra ; ^ proyecto. El monitoreo debe ser visto como un proceso integral de la ejecución del proyecto, que se lleva a cabo de forma paralela a las actividades, las cuales son revisadas y actualizadas constante y sistemáticamente durante toda la vida del proyecto. El monitoreo está entonces tan ligado a las mismas actividades del proyecto que en muchas ocasiones es visto como una labor cotidiana de la implementación y no como un proceso independiente y adicional. 2.1 Planeación del monitoreo Para realizar un seguimiento adecuado del proyecto, se recomienda contar con un plan de monitoreo que debe ser acordado entre los invo X= [ hacerse desde la etapa de diseño del proyecto, pensando estratégicamente tanto en los procesos de monitoreo como en los de evaluación. Esto es fundamental para que puedan considerarse los recursos necesarios y para posibilitar la operación del monitoreo desde el inicio de las actividades. Este marco debe facilitar el monitoreo sistemático y debe responder a las siguientes preguntas: Página 31 ¿Qué políticas y procesos deben guiar el monitoreo? `= ; detalles acerca del procedimiento de monitoreo. N; ; ?' la priorización que tendrá el MyE en el proyecto, las =W ; ^ /` == & =W ?'" ?& utilizadas, quién lo prepara y quién lo lleva a cabo. N ?"= /`;&== otros involucrados en el proyecto. ¿Qué tipo de información será necesaria? ¿Qué se va a monitorear? Es fundamental discutir con los responsables y = ?" @ requiere y determinar las preguntas y los indicadores relevantes para obtenerla. Si bien la selección de los indicadores es importante desde la planeación, no siempre se podrán determinar todos los indicadores desde el inicio del proyecto, y será necesario irlos adaptando conforme éste se desarrolle. La información que se determine para el monitoreo será esencial para la evaluación = tres categorías que corresponden a diferentes - Información sobre la ejecución de las actividades planeadas y nivel de participación = = gestión cotidiana de los proyectos sobre el terreno. Estos datos se obtienen con un monitoreo sistemático sobre la marcha que permite = surgen. - Información sobre los resultados obte = = comprobar los avances y revisar los planes de trabajo. Esta información se puede obtener a Página 32 Monitoreo y Evaluación de Proyectos través de un monitoreo periódico, que permita analizar los problemas y obstáculos principales y sugerir medidas correctivas. - Información sobre la consecución del ob para revisar la lógica de intervención y el avance hacia la transformación de problemas. Para este tipo de información se realiza el monitoreo en momen=W' =X caso, a través de evaluaciones intermedias), de manera que pueda sugerir ajustes en el diseño o la intervención. ¿Quiénes serán los responsables de levantar la información? Desde la etapa de diseño, es necesario que las funciones y procedimientos del monitoreo sean conside;<;; ^ del proyecto. Dependiendo del tipo de información que se vaya a recolectar, las fuentes y los métodos, habrá distintas personas responsables de reunirla. La asignación de responsabilidades debe estar clara y ser aceptada por todos los que van a intervenir. Es necesario determinar si las actividades de monitoreo y evaluación serán realizadas por personal en terreno, por personal externo al proyecto (de la misma organización) o por personas externas ; ^ `=&^ administrativa, la credibilidad, la objetividad, el conocimiento del proyecto y el potencial para utilizar los resultados. No debe olvidarse que un proceso de monitoreo requiere recursos humanos capacitados, ; ?== = ; recursos para la capacitación del personal. ¿Qué presupuesto se requiere para las actividades de monitoreo? ` =yecto para el monitoreo y la evaluación y asignar ===W= ' Se recomienda considerar los costos de personal e instalaciones, talleres y reuniones de capacitación y costos de la recolección de datos (dependiendo de la técnica que se emplee, se deberán contemplar los recursos humanos y materiales necesarios). ¿Cómo se recolectará la información? ¿Qué métodos se emplearán para llevar a cabo las actividades de monitoreo? `! < ="> = la recolección de información, la selección de las más adecuadas dependerá de la naturaleza del proyecto, así como de la capacidad del personal y de los involucrados, entre otros factores. Al decidir sobre la técnica para obtener información, es bueno tener en cuenta que dicha herramienta será empleada de forma sistemática y periódica, dado que el monitoreo es un proceso continuo. Tener esto en mente ayudará también a considerar la disponibilidad de recursos humanos y materiales.5 ¿Cuándo se planea la realización de las actividades de monitoreo? Si bien el monitoreo es un proceso continuo y sistemático durante toda la vida del proyecto, la recolección de datos debe ser realista, lo cual implica asegurar que la frecuencia y la cantidad de herramientas y datos requeridos no se vuelva una carga para los responsables del proyecto o = ;;comienda una mayor frecuencia para indicadores y datos de proceso y una menor frecuencia para obtener información acerca del efecto o impacto del proyecto. Los cambios sociales por lo general toman mucho tiempo, e intentar comprobar los @ @ ver la diferencia de un momento a otro. En la mayor parte de los casos, la información sólo es 5. Para más información sobre los distintos tipos de métodos de recolección de datos, ver el capítulo 5. Monitoreo relevante cuando permite ver una tendencia, lo cual puede observarse solo a partir de la recolección de datos en distintos momentos de la vida del proyecto (Bakewell et al., 2003). ¿Quiénes se encargarán de organizar y analizar la información? En la mayor parte de los casos, el personal a cargo de la ejecución del proyecto es el responsable de organizar y analizar la información obtenida del monitoreo. Sin embargo, dependiendo de la organización, diferentes personas tendrán un rol distinto en el análisis de los datos. De tal forma que el personal sobre terreno podrá tener la función de organizar la totalidad de la información y hacer un primer nivel de análisis, mientras que el personal de ; ^ X país o región) se encargará de hacer un análisis de la información seleccionada y previamente analizada (Bakewell et al., 2003). Página 33 un inicio quién puede y quiere estar involucrado; así como aclarar las expectativas de los participantes en los procesos. Un buen monitoreo sólo se podrá efectuar si los involucrados lo consideran importante y valioso. Por esto, es recomendable que se tomen en cuenta los intereses de los bene = desde la etapa de diseño y preparación. 2.2 Formatos para el monitoreo Como ya se mencionó, el proceso de monitoreo involucra a distintos actores; sin embargo, el personal responsable de la ejecución sobre el terreno es el que debe llevar el registro de las actividades y los resultados. Esta labor puede facilitarse si se tienen herramientas para registrar la información, tales como: - Formatos del Plan de Monitoreo ¿Cómo se emplearán los resultados del monitoreo? - Formatos de reporte estandarizados (para in@ ' [ La difusión de los resultados del monitoreo es importante para el aprendizaje, pues sirve tanto para el mejoramiento del proyecto en ejecución como para proyectos futuros. Por lo tanto, es fundamental que el plan de monitoreo contemple mecanismos, tiempos y recursos de difusión de resultados, de lecciones aprendidas y de mejores prácticas (Bakewell et al., 2003). Asimismo, al diseñar el plan de monitoreo se recomienda considerar e incluir los riesgos posibles que pueden presentarse durante el proceso. El análisis y la difusión de resultados se explicarán con más detalle en el capítulo 6. - Reportes y minutas de reuniones Participación de las partes involucradas en el proceso de monitoreo Como vemos, existen diversos formatos que pueden ayudar a organizar las actividades del monitoreo, así como los tiempos, recursos y objetivos de las mismas. Estos formatos pueden ser elaborados con la periodicidad que se estime necesaria (mensual, semestral, etc.). Es importante desarrollar instrumentos y prácticas de monitoreo que respondan a las estructuras y estrategias de El monitoreo debe contar con la participación de las partes implicadas en el proyecto de tal forma que estén involucradas en su diseño y ejecución desde el comienzo y comprendan claramente sus = - Reportes de visita - Reportes de las actividades de recolección de datos - Diarios del equipo, en donde se registra infor ' =W de monitoreo - Registro del proyecto por medios diversos como fotografías o notas en medios de comunicación (prensa, entrevistas, video) Página 34 Monitoreo y Evaluación de Proyectos intervención de cada organización, adaptando los formatos de acuerdo a las necesidades del propio proyecto u organización. En la Tabla 3 se muestran dos ejemplos de for?=< = = diseño de un plan de monitoreo y el segundo para un registro o informe de monitoreo, los cuales ==;< cada organización6. Tabla 3. Formatos para plan e informe de monitoreo Plan de monitoreo Nombre del Proyecto: Duración del Proyecto: Equipo del Proyecto: Lógica de Intervención Indicadores Responsable Actividades Tiempos Y "=< @ @ ?= =;< ; ^ Nombre del Proyecto: Técnica: Lógica de Intervención Registro o Informe de Monitoreo Fecha: Fuente: Periodo de Informe: Indicadores Estado de Avance Comentarios o Recomendaciones Fuente: Tassara, 2010 El registro de los resultados del monitoreo se puede organizar de acuerdo a la lógica de intervención del proyecto, ordenando los indicadores para cada nivel y reportando sobre los avances y resultados de cada uno. En los comentarios y observaciones se pueden incluir explicaciones de la diferencia entre lo planeado y lo logrado, así como recomendaciones de cambios en el sistema de MyE (ya sea en los indicadores, la técnica de recolección de datos o la revisión de la fuente). N= @ +@to se puede hacer un análisis esquemático del progreso logrado en el periodo, los puntos que se deben cuidar, las condiciones externas que esW = = de los indicadores y la utilidad de los métodos 6. Ver también el Anexo 4, donde se encuentran un ejemplo de un plan y un formato de monitoreo. Monitoreo de recolección de datos. Con este resumen se = ? cuidar y hacer recomendaciones para cambios en la implementación y en el sistema de monitoreo. De esta forma, el monitoreo puede servir no solo para alimentar la evaluación, sino también para la toma de decisiones en el día a día. 2.3 Desarrollo del monitoreo por niveles de la organización Por lo general, el monitoreo de una organización se realiza en tres niveles diferentes: - Equipo del proyecto sobre terreno - Coordinadores nacionales o regionales - Responsables de la sede principal (por sec&;;&[ Distintos niveles de gestión son responsables de distintos tipos y actividades de monitoreo, de acuerdo a las necesidades de información de la organización. Cada área determinará qué actores deben estar involucrados y las técnicas de recolección de datos más adecuadas. Generalmente, conforme los reportes del monitoreo son enviados a niveles más altos de la organización la @ & = da. En cada área se analiza la información recibida y se incluye un nuevo análisis. Nivel del equipo del proyecto sobre terreno El primer nivel del monitoreo es responsabilidad del director y de los administradores del proyecto, que mantienen actualizados los documentos de registro y los archivos administrativos y de gestión. La información obtenida se resume en un formato de informe de monitoreo, aproximadamente cada mes o cada tres meses. El propósito principal del monitoreo en este nivel es el de apoyar la gestión cotidiana a través de la reunión de datos sobre Página 35 las actividades diarias, para tener la información requerida en análisis posteriores (ya sea en este nivel o en el de los coordinadores regionales o nacionales). Nivel de coordinadores nacionales o regionales `; ' na de coordinación (del país o región), que se basa en los informes y reportes entregados por los responsables del proyecto y otros materiales relacionados con la planeación. En esta etapa se hace una primera apreciación de la estrategia de ejecución, se revisan avances y limitantes y se sugieren posibles medidas correctivas para el seguimiento. A partir de este análisis, los coordinadores deciden si es necesario llevar a cabo misiones de monitoreo para visitar los proyectos que presentan problemas. Este tipo de monitoreo pretende valorar la efectividad de las actividades, los avances hacia la sostenibilidad del proyecto, el sentido de apropiación = + institucional y de gestión operativa, y la coherencia y complementariedad con otras acciones realizadas en la misma región o país. Permite además generar conclusiones generales sobre la ejecución = hacer recomendaciones para el siguiente periodo + Y @ < breve informe para los directores del proyecto y para la sede principal. Este informe revisa los cro;= es necesaria una extensión del plazo del proyecto o una reasignación del presupuesto. Nivel de sede principal ' ^ informes que llegan del proyecto y los transmite = =<= = organiza misiones al lugar del proyecto con el objetivo de revisar la lógica global de intervención ; =@=- Página 36 Monitoreo y Evaluación de Proyectos blemas que se hayan presentado. Estas misiones "=< =' = de hacer o no una misión sobre terreno dependerá de la duración, el presupuesto del proyecto, la importancia estratégica de la iniciativa o la di = La Tabla 4 ayuda a tener una idea sobre cómo se pueden distribuir las actividades del monitoreo bajo la responsabilidad de distintos actores comprometidos en la gestión del proyecto, desde el terreno hasta la sede principal. Tabla 4. Organización de las actividades de monitoreo por niveles de la organización Informes Frecuencia Contenido Avances en el desarrollo Registros y reportes Regulares (mensual Apoyar la gestión cotidel proyecto, participade monitoreo o trimestral) diana Calidad de los resultaApreciar los avances dos y coherencia con un Lapsos intermedios hacia los resultados pla- programa más amplio Informes sintéticos (de trimestrales a neados y analizar cambios u otros proyectos de la semestrales) en los planes de acción misma región. Respuesta Apreciar la pertinencia Revisión del proyecto, del proyecto o de la coherencia con estrategia Informes generales Anuales lógica de intención y de la organización, impachacer recomendaciones a futuro Fuente: Gosparini et al., 2004 Finalidad Responsables Directores y administradores del proyecto y equipo Coordinador/a a nivel regional o nacional Director/a de la organización Capítulo 3 Evaluación Evaluación La evaluación es una apreciación, lo más sistemática y objetiva posible, de un proyecto en curso o ya realizado, de su planeación, ejecución y resultados. Su propósito es determinar la pertinencia, = + ' ^ = = y la sostenibilidad (OECD/DAC, 2002). La evaluación se construye a partir del monitoreo periódico y puede efectuarse en diferentes momentos del ciclo del proyecto, o incluso años después de completada la acción (en el caso de evaluaciones de impacto o sustentabilidad)(Ortegon et al., 2005). Una buena evaluación se caracteriza por: - Ser imparcial y transparente - Tener credibilidad: ofrece información con ! entre resultados, conclusiones y recomendaciones. Página 39 - Pertinencia: está relacionada con la formulación del proyecto, esto es, qué tanto el diseño de la intervención responde a las necesidades busca avanzar hacia la solución de los proble ' a la consistencia de diseño de acuerdo a la situación local y a las prioridades de desarrollo. Algunos factores para tomar en cuenta y asegurar la pertinencia de la acción son: cación y selección de grupos meta = ;= - Participación de las partes interesadas locales en la fase de formulación y en el ciclo del proyecto en general. - Calidad del Marco Lógico, incluyendo las > = ; - Ser útil: contribuye oportunamente al proceso de decisión de aprendizaje organizativo y de los involucrados. - Realismo en la selección de los objetivos y de los servicios que se pretende ofrecer. - Tener elementos participativos: + intereses, necesidades y percepciones de las partes involucradas. - Apreciación de las capacidades locales de absorción y de ejecución. relación equilibrada entre el - Retroalimenta la toma de decisiones y el aprendizaje organizativo y social: a través del análisis de la información y la difusión de los resultados. 3.1 Criterios básicos de la evaluación La evaluación sirve para revisar si un proyecto está funcionando y si se están logrando los objetivos planteados. Esta valoración del avance y la calidad del proyecto se fundamenta en cinco criterios básicos (OECD/DAC 2002): ! = - Coherencia con otras iniciativas de desarrollo en el mismo país, región o sector. proyecto produce los resultados esperados y = ; + ' =W del proyecto. Se valoran: @? + '=W @tores externos. - La capacidad de gestión para asegurar que los resultados conseguidos permitan lograr + '=W == rios. Página 40 - Los efectos potenciales obtenidos sobre los temas transversales (en diferentes casos podrán ser, por ejemplo, temas de género, medio ambiente, fortalecimiento de capacidades, etc.) que se inscribe el proyecto, es decir, tomando en cuenta el papel de otros actores y variables sociales, económicas, políticas y medioambientales nacionales o globales. El análisis del impacto normalmente se concentra en: brindan y gestionan los servicios y se realizan las actividades previstas del modo más apropiado de acuerdo con los medios, recursos y tiempo disponibles para producir los resultados =`& tra en la calidad de la gestión del proyecto y en el uso de la alternativa económicamente más efectiva para conseguir los mismos resultados. Este análisis se puede hacer a partir de: - La medida en la cual se han logrado los objetivos globales y el aporte del proyecto para su consecución. @!?> bre el impacto global. - El impacto no planeado del proyecto. - Los posibles efectos a largo plazo del proyecto y su sostenibilidad. - El impacto del proyecto sobre temas transversales. - Gestión del presupuesto. == ' ;< el cronograma establecido. - Aprovechamiento de los recursos locales e involucramiento y alianzas con otros actores. - Calidad de los procedimientos y las prácticas. N& = ' relación con otros proyectos similares. - Impacto: @= (positivos y negativos; intencionales o no; directos e indirectos) sobre los grupos meta o bene W@; <= &;;& ` = ; '="nico, económico, sociocultural e institucional. El impacto está vinculado a la relación entre el + '=W+ '; proyecto (aunque algunos donantes u organiza ==^ '+ '=W[` = tener en cuenta que en este nivel el proyecto es sólo una de muchas variables que contribuyen a un resultado más amplio. Así, el impacto se '< !; - Sostenibilidad: cual los impactos de la intervención tienen la posibilidad de continuar después del cierre =% '< ;= ? = dar continuidad a los objetivos del proyecto (desarrollando actividades, gestionando apoyos, incidiendo en el gobierno local, etc.) aun después de la salida del personal del proyecto. Este criterio es muy amplio, y la importancia relativa de los diferentes temas depende de la naturaleza del proyecto y de su relación con el contexto local. Los análisis de sostenibilidad pueden centrarse en: - Sentido de apropiación de los objetivos por parte de las personas involucradas (dependerá en parte de su participación en el diseño y la ejecución del proyecto). - Sostenibilidad institucional la medida en la == terísticas de las organizaciones o instituciones locales y en la capacidad de éstas de desempeñar su papel después del cierre del proyecto. si los servicios pueden seguir funcionando cuando se agoten los fondos externos, y si se genera una Evaluación Página 41 capacidad local para sostener los gastos de operaciones después del cierre del proyecto. factibilidad o mejorar el diseño del proyecto que se pretende implementar. - Sostenibilidad sociocultural si el proyecto tiene en cuenta el contexto social y cultural, así como la percepción local de las necesiY "' otras partes interesadas han aceptado y adoptado los cambios producidos por el proyecto. - Evaluación sobre la marcha: se realiza durante la ejecución del proyecto para evaluar las actividades del proceso mientras estas se = la introducción de ajustes. - Sostenibilidad técnica si la tecnología y el conocimiento brindados se concilian con las tradiciones, capacidades, conocimientos > ! ciarios pueden mantener la tecnología adquirida sin asistencia externa. - Evaluación al cierre: ^ = ^; resultados y efectos tempranos de la intervención.También puede dar recomendaciones para intervenciones futuras. 3.2 Tipos de evaluación En el marco de un proyecto, programa, sector o país se pueden hacer diversos tipos de evaluaciones. De forma general, se suelen dividir las evaluaciones en formativas y sumativas. Las evaluaciones formativas son evaluaciones intermedias y periódicas sobre el desempeño del proyecto, se consideran formativas porque su objetivo básico es mejorar el desempeño del proyecto. La evaluación sumativa o postproyecto examina el impacto ='^?> ^ ! { ; nes introducidas como resultado del monitoreo u otras evaluaciones, y el alcance en cuanto al objetivo de desarrollo del proyecto.También existen las evaluaciones o apreciaciones de impacto, que valoran los efectos positivos o negativos de un proyecto o programa sobre individuos, hogares, instituciones o el medio ambiente. Estas evaluaciones pueden medir impactos de mediano o largo plazo. Otras distinciones de los tipos de evaluaciones son las siguientes: Por etapas en el ciclo del proyecto - Evaluación Ex ante: es un análisis del contexto, de estudios preliminares o de intervenciones anteriores que permitan valorar la - Evaluación ex post: se realiza después (desde meses hasta varios años después) de concluido el proyecto, evaluando los resultados con la intención de valorar el impacto del proyecto en el largo plazo y deducir indicaciones para futuras intervenciones similares. Por agente - Autoevaluación: la realizan personas involucradas directamente en la ejecución del proyecto. Las autoevaluaciones se llevan a cabo para fortalecer las capacidades internas y empoderar el equipo del proyecto y los socios locales. Existe una modalidad de autoevaluación asistida, en la que un externo apoya las acciones de evaluación, pero ésta es realizada por los actores locales, fomentando su empoderamiento. - Evaluación interna: la realizan personas que forman parte del equipo de la organización, pero que son externas al proyecto. - Evaluación externa: La realizan personas externas al proyecto y a la organización (sin ;< " [ ' ? @< = !ternas, a menudo se consideran más objetivas y se llevan a cabo con= responsabilidad (ver Tabla 5). Página 42 Monitoreo y Evaluación de Proyectos Tabla 5. Ventajas y desventajas de evaluaciones externas e internas Evaluación Interna Ventajas - El evaluador conoce la manera de operar de la organización. - Genera menos preocupación y rechazo. - Se desarrollan capacidades internas. - Conclusiones y recomendaciones más adaptadas a la realidad y por lo tanto más fáciles de implementar. Desventajas - Es más difícil mantener una opinión objetiva frente al proyecto (se pueden evitar valoraciones críticas o negativas). - Posibilidad que el evaluador carezca de las capacidades necesarias. - Posible tiempo limitado para comprometerse con la evaluación. Evaluación Externa Ventajas - Al no haber intereses personales, es más objetiva. ; ^ ' - Al ser especialista, el evaluador tiene las capacidades y los conocimientos técnicos necesarios. - Puede dedicarle más tiempo. Desventajas - El evaluador puede estar descontextualizado sobre las políticas, procedimientos y características de la organización o el entorno. - No siempre se está en condiciones de dar seguimiento a la efectiva implementación de las recomendaciones. - Por lo general es más costosa. - Si bien es más objetiva, también puede haber un sesgo del evaluador por quedar bien con la organización y ser menos crítico en las conclusiones. Fuente: Gosparini et al., 2004. 3.3 Desarrollo de la evaluación - Cuando un proyecto está teniendo muchas limitaciones, atrasos o no ha logrado avanzar hacia la consecución de los objetivos planteados. Criterios de selección de los proyectos para evaluar - Cuando un proyecto tiene una larga duración. Por lo general, es difícil contar con recursos para evaluar todos los proyectos de un programa de una organización. Por otro lado, puede que no sea necesario evaluar todos los proyectos y &;' =W sólo algunos (United Nation Educational, Scientifc and Cultural Organization [UNESCO], 2009). Los siguientes son posibles criterios de selección de los proyectos a evaluar: - Cuando un proyecto tiene un presupuesto muy alto. - Cuando se está proponiendo una segunda fase o una ampliación del proyecto. - Cuando un proyecto es considerado nuevo o estratégico, y se quiere ampliar el conocimiento para mejorar otras acciones futuras. - Cuando un proyecto se lleva a cabo bajo modalidades operativas particulares (por ejemplo, = @[ Al determinar qué proyecto se va a evaluar, es necesario preguntarse: ¿Qué nos interesa evaluar en particular? ¿Se quiere evaluar todo un proyecto o sólo un componente? ¿Se quieren evaluar todos los temas del proyecto o sólo una estrategia o tema transversal del mismo? Planeación de la evaluación Es fundamental que el ámbito de la evaluación sea claro desde un inicio, para asegurar resultados y = < bien las evaluaciones pueden enfocarse en distintos aspectos o temas; por lo general, se centran en un proyecto, un programa, un sector, una estrategia, un tema transversal o en las relaciones Evaluación de una organización. Este manual se centra en el MyE de proyectos, pero los criterios y principios pueden ser aplicables también para otros ámbitos. También se debe tener claro cuál será el propósito de la evaluación, ya sea que esté en función de las necesidades de la agencia implementadora, de la ; ^ ^ de la evaluación pueden estar relacionadas con la gestión del proyecto, para introducir medidas correctivas; con el aprendizaje, para fortalecer el conocimiento de las organizaciones y mejorar el desempeño, o con el fortalecimiento de las capacidades de socios locales, el equipo del proyecto La evaluación requiere asignación de tiempo y recursos para un trabajo especial, que puede involucrar la participación de profesionales especializados no asignados al proyecto. En este caso, la organización que solicite una evaluación debe tener claro los objetivos y metodologías, lo cual se puede facilitar mediante la elaboración de términos de referencia y la selección adecuada del evaluador. Términos de referencia Los términos de referencia (TdR) son elaborados por la organización que está solicitando la evaluación, sea ésta interna o externa. Sirven para guiar toda la evaluación al determinar su enfoque y propósito, y lo que se espera del evaluador. Los TdR deben desarrollarse en coordinación cercana con =% +tivo (por qué se realiza la evaluación); el alcance (qué se debe evaluar), y los parámetros generales para llevarla a cabo (actividades y metodología). Los términos de referencia de una evaluación por lo general incluyen: información básica sobre el proyecto (datos, antecedentes, alcance, características, e información básica de la organización que lo implementa); propósito y enfoque de la eva X+ ';+ '=W[~ metodología (parámetros generales para realizar la evaluación: qué metodologías se necesita em- Página 43 plear, si se requiere llevar a cabo actividades particulares, preguntas clave, nivel de participación de @ @' etc.), y condiciones del contrato de evaluación (capacidades requeridas en el evaluador, responsabilidades, tiempos y costos). Selección del evaluador Una vez que se tengan los términos de referencia, se puede seleccionar al evaluador o al equipo de evaluación. Tanto en una evaluación interna como en una externa, es recomendable que el equipo de evaluación esté formado por personas externas y personas involucradas directamente en la ejecución del proyecto. En la selección del evaluador es importante considerar la combinación de cualidades, habilidades (de evaluación o de conocimiento " =W[!= = ? =' ;< características del proyecto, el objetivo de la evaluación y los métodos seleccionados. En cualquier caso, es necesario lograr un buen equilibrio entre capacidades de evaluación, experiencia técnicosectorial y conocimiento del contexto local. Conviene preguntarse si el evaluador… - ¿Tiene las capacidades de evaluación solicitadas? - ¿Posee los requisitos de conocimiento técnico-sectorial? - ¿Tiene experiencia en evaluaciones similares? - ¿Tiene una comprensión adecuada del contexto sociocultural local?, ¿habla el idioma local? - ¿Demuestra capacidades de liderazgo y de comunicación? - ¿Tiene capacidad de facilitación y manejo de grupos? - ¿Es asertivo para establecer sus propias con =& Y != "=Wcos de la organización (por ejemplo métodos participativos)? Página 44 Monitoreo y Evaluación de Proyectos Plan de trabajo El primer producto elaborado por el evaluador es el plan de trabajo o plan de la evaluación, que representa su propuesta para realizar el trabajo, teniendo en cuenta los términos de referencia. Es importante que dicho plan de trabajo sea compartido con el equipo del proyecto, pues es en este momento inicial cuando se puede hacer cambios al plan y asegurar la apropiación del proceso de evaluación. El plan de trabajo es fundamental, ya que será un punto de referencia para todo el desarrollo de la evaluación. Se recomienda incluir: - Visión general del proyecto y del contexto: comprensión del evaluador del contexto y los antecedentes, del proyecto y de la organización. Esto se desarrolla a través de la revisión de los documentos y de la consulta con el equipo del proyecto. - Diseño metodológico indicativo: el enfoque de la evaluación, los objetivos (generales y espeW[; zación contratante y a la propuesta del evaluador, y las preguntas de evaluación o hipótesis. - Matriz de evaluación: reformulación de las =;=W' de evaluación, los indicadores, las fuentes de datos y los métodos para su recolección (ver Tabla 6). - Metodología: es la estrategia para conseguir los objetivos de la evaluación, teniendo en cuenta la información disponible, los tiempos y los recursos. Aquí se incluyen los métodos de recolección de datos, actividades y explicación de los pasos previstos para la evaluación. Si hay sistemas de MyE ya diseñados y adecuados a las necesidades de evaluación, se recomienda que el evaluador los emplee para aprovechar la información existente. - Cronograma de actividades: tareas y fechas límite de las fases de evaluación (fase de preparación, visitas sobre terreno, elaboración del informe, presentación de los resultados al ? = [ - Composición del equipo de evaluación: composición (evaluadores, coordinador sobre terreno, asistente de evaluación, etc.) y responsabilidades de cada uno. índice indicativo de los contenidos del informe de evaluación y la estructura de la presentación. En este apartado se incluyen también la extensión, el tiempo de la ' ;=W= Implementación de la evaluación Una vez que la organización gestora de la evaluación haya aceptado el plan de trabajo y se haya seleccionado y conformado el equipo de evaluación, se puede comenzar la evaluación. Como acciones previas, se recomienda: - Reunir y revisar la información disponible sobre el contexto y sobre el proyecto (propuesta ini- Tabla 6. Ejemplo de una matriz de evaluación Criterios Preguntas de desempeño Pertinencia Impacto Sostenibilidad Fuente: Gosparini et al., 2004. Indicadores Fuentes de Métodos de recolección de datos Evaluación = @ WW ' ; nes y documentos sobre la problemática o el contexto, etc.). - Programar que el evaluador o el equipo realicen al menos una visita previa al lugar del proyecto para recolectar información que no esté disponible, y para asegurar una contextualización adecuada si el evaluador es externo. En esta visita puede haber una reunión con las personas que estarán involucradas en la evaluación (responsables de la ejecución del proyecto, y quienes darán la información). - Entregar a los responsables del proyecto el cronograma, los itinerarios y el plan de evaluación. - Considerar aspectos logísticos y organizativos antes de la salida, y planear agendas alternas a partir de un análisis de riesgos. - Seleccionar y revisar las técnicas para la recolección de datos y los distintos métodos de evaluación, de acuerdo a los resultados de las visitas y reuniones preliminares. Durante el desarrollo de la evaluación se recomienda la participación activa de diversos acto ? = proyecto, otras organizaciones, donantes y otras partes interesadas, sobre todo del nivel local. El gestor de la evaluación deberá decidir sobre el ' si es pertinente y existen las condiciones necesarias para realizar una evaluación participativa. Para guiar el trabajo de la evaluación se puede = & X= =[= cada uno a los objetivos y estrategias generales =W = = que el enfoque de la evaluación se concentre en una parte del proyecto, un tema transversal, un problema o un solo criterio de evaluación (por += =[ Página 45 Al desarrollar la evaluación, es posible que el evaluador se enfoque en: - Aspectos técnicos y de proceso del proyecto X ' en el uso de los recursos). - Nivel de cumplimiento con la lógica de inter' = ^ = + ' =W+ '; - Los resultados o impactos que se generaron en relación con las intenciones del proyecto. También es posible que el evaluador establezca puntos de análisis más pertinentes o alternativos a los diseñados en el sistema de MyE del proyecto, puede por ejemplo enfocarse en un tema transversal o una =& =WX' nivel de cumplimiento con parámetros de equidad de género, o una evaluación para medir el impacto ambiental). Durante el desarrollo de la evaluación quizá sea necesario incluir nuevos parámetros de = = no considerados anteriormente y no incluidos en el diseño del proyecto. En este caso, el evaluador puede desarrollar nuevas preguntas de evaluación e indicadores que respondan a las necesidades de información que considere más importantes. Indicadores de evaluación Los indicadores de evaluación sirven para ayudar a respon=;' =W;dar relación con la lógica de intervención o estar enfocados en nuevas necesidades, problemas o desafíos que han + ' ' pueden ser los propuestos en el sistema de MyE durante el diseño del proyecto o pueden construirse después, =W = ' & allá de los indicadores formulados en el sistema de MyE. La construcción de indicadores nuevos durante la etapa de evaluación normalmente se da cuando se busca iden ==W= =;' =versales, los factores de sostenibilidad, los efectos no esperados, la evolución de las necesidades o la coherencia del proyecto. Sin embargo, es muy recomendable emplear los indicadores propuestos en el diseño del proyecto, y después, si es necesario, incluir otros indicadores nuevos. Página 46 Monitoreo y Evaluación de Proyectos K'^ @?? tendrá la evaluación, se pueden seleccionar y desarrollar los instrumentos necesarios para la recolección de datos que permitan reunir la información necesaria. Esta etapa del proceso de evaluación es la que requiere más tiempo y trabajo, por lo que es fundamental planearla y llevarla a cabo cuidadosamente. Después de la recolección de datos, es necesario hacer una recopilación y análisis de los datos obtenidos y evaluarlos en relación con los criterios y objetivos establecidos anteriormente, para poder interpretar los resultados, deducir conclusiones y lecciones aprendidas.7 Informe final de evaluación El resultado de todo el proceso de evaluación se + @' ` coherente con los requisitos de contenido de los términos de referencia y la propuesta del Plan de Evaluación. Si bien los informes son extensos, basados en información diversa a partir de las < =@ @ ! del informe debe ser lo más claro y conciso posible, e incluir solo la información más relevante de la evaluación y las recomendaciones a futuro. Esta claridad es importante para que la evaluación pueda ser realmente una herramienta de apren ^+=; ^ Algunos elementos esenciales que debe considerar un informe de evaluación son: - Resumen ejecutivo: en esta sección se res='=; los términos de referencia y en la matriz de evaluación, y se exponen las principales conclusiones y recomendaciones de la evaluación. - Metodología: descripción de la metodología usada durante la fase preparatoria de la evaluación y de la misión sobre el terreno, los métodos de recolección de datos y de análisis de la información. - Resultados de la evaluación: es el texto principal del informe. Esta sección debe responder los objetivos y las preguntas concre > = " referencia y en la matriz de evaluación. Aquí se desarrollan al detalle los resultados de la evaluación y las recomendaciones, incluyendo evidencia concreta de la información y las conclusiones. - Conclusiones y recomendaciones: puede < = los criterios de evaluación y las recomendaciones en términos del objetivo general del proyecto, los objetivos y las estrategias espeW? = ?> surgido como importante en los hallazgos de la evaluación. - Anexos: Términos de Referencia (TdR), cuW'; !" 3.4 La evaluación participativa “Es una dimensión participativa del desarrollo que abarca muchos conceptos similares, involucra a las partes interesadas y a los be =; = análisis colectivo y la evaluación del mismo. Está centrada en las personas: las partes in = actores clave del proceso de evaluación, y no solamente un objeto de esto (PNUD, 1997)”. La experiencia ha demostrado que los proyectos sociales tienen más posibilidades de éxito cuando la población local se apropia del proyecto y se involucra en los procesos de diseño, implementación, monitoreo y evaluación. Ya se ha mencionado la importancia de que los proyectos sean diseñados e implementados en respuesta a una necesidad expresada por los 7. En el capítulo 6 se desarrollan en detalle las diversas técnicas de recolección de datos, y se dan algunas recomendaciones generales tanto para este proceso como para la interpretación de resultados. Evaluación propios implicados. Si las iniciativas responden a una necesidad planteada por la población local, necesariamente las mismas personas deberán determinar "?"? ; 'jora sustancial en cuanto a dicha problemática. Por eso es fundamental que las personas impactadas por el proyecto participen en determinar los parámetros del monitoreo y la evaluación. Así, la participación debe ser una parte fundamental y natural del proceso de evaluación, tanto en los procesos de diseño, como en las actividades de recolección de datos, el análisis y la evaluación de los resultados y la formulación e implementación de recomendaciones. Algunas de las ventajas de un proceso de evaluación participativo son: - Pro' =&partidos de resultado y desempeño. - Fomenta la corresponsabilidad. _ ^= - Crea compromiso entre los involucrados. - Fomenta el aprendizaje, la gestión y otras ca= - Al incluir a las partes involucradas en el análisis de problemas y en la propuesta de soluciones se refuerza el sentido de apropiación. Esto genera mayor apertura a las recomendaciones de la evaluación y facilita la introducción de cambios. Principios básicos de la evaluación participativa Existen diferentes enfoques de evaluaciones participativas, que comparten ciertos principios básicos Página 47 que los distinguen de los enfoques de evaluación convencionales: - Intervención: el mismo diseño del proyecto lo abre a la participación e intervención de las personas directamente afectadas por un problema ' = debe estar involucrada en todas las etapas de la implementación del proyecto, incluso en el seguimiento de las actividades y en la evaluación. - Negociación: se negocia y acuerda con los ?"& ' así como los métodos y las herramientas de recolección de datos. Por otro lado, las estrategias y los procedimientos para el análisis de información y la difusión de los resultados también deben retomar los aportes de la población local. - Aprendizaje: se acuerda con las personas involucradas cómo se retomarán las lecciones aprendidas para lograr mejoras sustanciales en el futuro. En este proceso, es fundamental tener @ &nas prácticas y su promoción, de manera que el aprendizaje permanezca y sea apropiado por - Flexibilidad: los proyectos de desarrollo se afectarán por una diversidad de factores fuera del control de los responsables. Por lo tanto, es importante estar conscientes de la necesidad de ! adaptarse a cambios inesperados. La evaluación participativa se distingue de las evaluaciones convencionales en diferentes aspectos (ver Tabla 7). Página 48 Monitoreo y Evaluación de Proyectos Tabla 7. Distinción entre evaluaciones convencionales y evaluaciones participativas Evaluación Convencional Más orientadas por el donante y dirigidas a asegurar la responsabilidad y la rendición de cuentas. Evaluación Participativa = = prioridad al aprendizaje y la apropiación. Las partes interesadas deciden sobre los planes de traLas partes interesadas tienen un papel pasivo: proveen la inforbajo, realizan investigaciones, analizan datos y elaboran mación requerida sin participar en el proceso de evaluación. recomendaciones. Énfasis en el proceso: el objetivo no es sólo el de cumplir los requisitos formales, sino también desarroEl énfasis se concentra en los resultados de la evaluación. = =' entorno y actuar con base en esta apreciación. "! = @- La población local determina sus propios indicadores ; == de éxito. % {! ;&= Diseño predeterminado: métodos convencionales, centrados “saberes”, valores e intereses locales para guiar la en lograr el mayor rigor y objetividad posibles. evaluación (empleando por ejemplo la autoevaluación y métodos simples adaptados a la cultura local). Se emplean métodos convencionales, como entrevistas Se emplean métodos más participativos, como entreestructuradas, mediciones, datos estadísticos, revisión de la vistas abiertas, grupos focales y técnicas de valoración documentación, observación directa, etc. participativa rápida. Fuente: Elaboración propia con base en diversos documentos de referencia Es recomendable lograr un equilibrio entre evaluaciones participativas y convencionales, buscando la opción más adecuada con relación al proyecto, a las necesidades de evaluación y al contexto. Así, puede ser que en ciertas circunstancias sea mucho &< ' ' = = ' N > ;< @? '=' = = '=de ser adaptada al contexto y a las necesidades y combinarse con evaluaciones convencionales. La evaluación participativa tiene la desventaja de que suele requerir más tiempo y recursos para llevarse a cabo, y por lo general exige mayor capacitación y preparación por parte del facilitador de la evaluación. Existen límites a la viabilidad de la evaluación participativa. A veces es demasiado = ' en una evaluación, ya sea por el contexto, su disponibilidad o una limitada apropiación del proyecto (al no haber estado involucrados en todas las etapas de diseño, implementación y seguimiento). En este sentido, es importante tener en mente ciertos factores acerca de la participación en los procesos de MyE del proyecto (UNESCO, 2009): =?rrán involucrarse en el proceso de MyE. Esta participación requiere tiempo y energía que no todas las personas estarán preparadas o dispuestas a dar. - Es necesario adaptarse al contexto y a las necesidades de la población. En este caso, se pueden obtener muy buenos resultados empleando y combinando diferentes técnicas y herramientas participativas de obtención de datos y de evaluación. - La participación de la población en la recolección de datos puede, por sí misma, empoderar a los involucrados al asignarles una responsabilidad en el proyecto y fortalecer su formación en las técnicas y habilidades necesarias (investigación, entrevistas, etc.). - Las evaluaciones participativas pueden contribuir a la construcción social de aprendizaje. El proceso de análisis colectivo sobre un tema en particular puede resultar en una comprensión y un aprendizaje mucho más profundos, a través de cuestionamientos, diálogos y generación de ideas. Capítulo 4 Selección de información para el sistema de monitoreo y evaluación Selección de información para el sistema de monitoreo y evaluación En esta sección veremos en mayor profundidad los procesos y las herramientas necesarias tanto para el monitoreo como para la evaluación. El diseño del sistema de MyE se realiza desde el =X= >[ y la selección del tipo de información que será necesaria para el MyE y los medios para obtenerla. Un sistema completo de MyE consta de 6 fases (Guijt y Woodhill, 2002).8 Veamos: # =;={ $ @mación e indicadores 3. Conocer la información base que se requiere 4. Seleccionar los métodos de recolección de datos ==& = la recolección de datos 6. Organizar el análisis, la retroalimentación y el cambio =W @ = ! =; Página 51 que se quieren responder (preguntas de desem={'[/`~ cambios que se espera observar (indicadores); la comparación de la situación inicial (línea base) con X[ =' ;X ' [ 4.1 Preguntas de desempeño <^ { sistema de MyE, se pasa directamente de elaborar los objetivos de la intervención a la formulación de los indicadores. Esto puede ser problemático, pues existe el riesgo de perderse en el detalle de los indicadores y su adecuado diseño, y no nos detenemos a pensar por qué los indicadores que proponemos son de utilidad y de qué forma podrían apoyar el proceso de adopción de decisiones. Formular preguntas de desempeño claves para cada nivel de objetivos (ver Tabla 8), antes de la elaboración de indicadores, puede ayudar ; '; /`@ma que realmente sirva a nuestras necesidades y permita mejorar el desempeño del proyecto (Guijt y Woodhill, 2002). Tabla 8. Preguntas de desempeño para cada nivel de intervención Nivel de intervención Tipo de preguntas Objetivo general ¿Qué impacto ha tenido la intervención del proyecto? + '=W ¿Qué se ha conseguido como consecuencia de los resultados? Resultado ¿Qué hemos producido como consecuencia de las actividades del proyecto? Actividad ¿Qué hemos hecho? ¿La actividad se lleva a cabo adecuadamente y a tiempo? 8. En esta sección nos enfocaremos en las primeras tres fases, y las subsiguientes se verán en los capítulos 6 y 7. Página 52 Monitoreo y Evaluación de Proyectos En la Tabla 9 presentamos ejemplos de preguntas ={X;=W[= nivel de intervención, y los indicadores que se desprenden de ellas. Tabla 9. Preguntas e indicadores de proyecto para el sector agua (texto de ejemplo) Nivel de intervención Pregunta clave ! Indicador Objetivos - Aumento del % de población rural en los distritos con acceso al agua potable (del actual 20% al 35%). - Reducción del tiempo nece¿Cuáles son los efectos del ¿De qué manera el proyecto sario para las mujeres en el ha mejorado el acceso al agua abastecimiento de agua (de 2 uso de/ satisfacción con los = horas a 30 minutos en los 3 bienes o servicios entregados? pueblos de referencia para el monitoreo). - Aumento de la cantidad de agua utilizada en cada familia (de 20 a 40 litros). Resultados - ¿Cómo son utilizados los resultados físicos? - ¿Los servicios o productos ; @ ;< lo planeado? - ¿Quién utiliza los servicios y productos? - ¿Cuáles capacidades se han creado o fortalecido a través de la entrega de los servicios o productos? - ¿Cómo ha cambiado el siste- ma organizativo o estructural? - ¿Cómo funcionan los servicios o productos después del cierre del proyecto? Actividades - ¿Se han creado y entregado los servicios o productos ;<= - ¿Cuáles son los resultados físicos? Fuente: Gosparini et al., 2004. ¿Cómo ha mejorado la disponibilidad del agua a nivel comunitario? ¿Se han desarrollado las capacidades de la comunidad para la operación y el mantenimiento (O&M) de los puntos de agua? ¿Cómo se han establecido las capacidades O&M a nivel de distrito? - Capacidad de entrega de los puntos de agua (2.000 litros por día). - Contribución comunitaria (20% del total) a los costos de construcción e implementación. - Nivel de contribución de los usuarios (1$ por familia/semana). - Al menos el 50% de la manutención de los puntos de agua está a cargo de la comunidad. - Tipo y calidad de las actividades de O&M realizadas a nivel comunitario. - Al menos el 90% de la manutención de los puntos de agua está a cargo del distrito. - ¿Cuáles son los resultados <=; físicos? en función. - ¿Se ha aumentado la dispo < " ;;< rios de agua establecidos. = Selección de información para el sistema de monitoreo y evaluación Una vez formuladas las preguntas, el siguiente paso @ == cadores para cada nivel de intervención. 4.2 Indicadores objetivamente verificables Los indicadores son las descripciones operativas (cantidad, calidad, grupo meta, tiempo y ubicación) de los objetivos de un proyecto (Comisión Euro=$$[ = = @?' &;plimiento de los resultados y objetivos. Estos se formulan a manera del efecto esperado (o cambio que se quiere generar) para cada nivel de la lógica de intervención. En el caso de las actividades, los indicadores se formulan como medios (insumos) y recursos (presupuesto) necesarios. De manera general, los indicadores sirven para: ; ' resultados y los objetivos del proyecto. _ ^@&=W ción del proyecto, al indicar qué se quiere lograr, con qué características, en dónde, en qué tiempo, para qué población, etc. - Medir el avance y los logros permiten saber si efectivamente se está realizando lo planeado y conocer el impacto de nuestra acción. - Informar la toma de decisiones para hacer cambios en el curso de la acción. - Revisar el desempeño del proyecto y del equipo encargado de su ejecución, así como los tiempos y recursos disponibles. Los indicadores describen el avance del proyecto y son esenciales para todo su MyE. Una formulación correcta de los indicadores es crucial para todo el sistema de MyE, porque funcionan como “mapa” Página 53 =; ' cesidades y el enfoque para la recolección de datos. Formulación de indicadores En la formulación de los indicadores, se debe tomar en cuenta que: - Se pueden emplear varios indicadores para cada resultado y objetivo, pero es recomendable usar los menos posibles para = ' > /` complejo, caro y poco gestionable. En cual? =< se reduce a medida que se sube en la lógica de intervención, con más indicadores para resultados y menos para objetivos especí; - Usar diferentes tipos de indicadores (cuantitativos y cualitativos) ayuda a medir de mejor forma el avance y el impacto. Los cuantitativos permiten un análisis más simple y objetivo, mientras que los cualitativos & @W ' = mejor el cambio profundo que se esté dando (PNUD, 2009). proceso participativo, para asegurar tanto la apropiación del proyecto y de los procesos de MyE, como la efectividad de los mismos. Los principales involucrados en el proyecto tendrán una idea más clara sobre los cam ?=' y en dónde encontrar la información para medirlos. @ ! ? permite que los indicadores sean revisados ante cambios en el contexto y a partir de la experiencia de la implementación del proyecto. - Los indicadores deben poder emplearse en diferentes momentos del proyecto, no sólo `=@ Página 54 Monitoreo y Evaluación de Proyectos metas intermedias que permitan conocer el avance que tenemos para la consecución Para formular indicadores (ver Tabla 10) es necesario considerar los siguientes aspectos para cada re =+ '=W caso de que sea necesario, para el objetivo general: ? " - La cantidad: ¿cuánto? - La calidad: ¿qué? ¿cómo? - El periodo: ¿a partir de cuándo? ¿por cuánto tiempo? - El lugar: ¿en dónde? - El punto de referencia: ¿en comparación con qué o cuánto? Tabla 10. Pasos para la formulación de indicadores (texto de ejemplo) 1.er Paso # 2.º Paso Cantidad 3.er Paso Calidad 4.º Paso Tiempo Los pequeños agricultores mejoran el rendimiento de la producción de café. Mil pequeños agricultores (2 hectáreas o menos) aumentan el rendimiento promedio de café en un 30% (pasan de una producción “x” a “y”). Mil pequeños agricultores (2 hectáreas o menos) aumentan el rendi = @"X![ orgánica. Mil pequeños agricultores (2 hectáreas o menos) aumentan el rendi = @"X![ orgánica, entre septiembre de 2009 y septiembre de 2011. Fuente: elaboración propia con base en CE, 2002. Características de los indicadores Si bien distintos tipos de proyectos requieren indicadores muy diferentes, cualquier indicador de calidad o “inteligente”9 debe cumplir ciertas características (ver Tabla 11): Tabla 11. Características de los indicadores Un indicador debe ser: Medible Alcanzable Relevante Enmarcado en el tiempo El indicador da información sobre los elementos particulares que se quieren " ?"= ?"; ` = + ' Puede ser medible tanto un indicador cuantitativo como uno cualitativo. El indicador establece metas realistas y los datos para medirlo están disponibles a un costo y esfuerzo razonables. ` '===W= objetivo deseado. Uno puede preguntarse: ¿es ésta la mejor manera de saber si se ha alcanzado el objetivo? El indicador debe expresar plazos y tiempos sobre cuándo se alcanzarán las metas. Fuente: Elaboración propia con base en CE, 2002. 9. /NZY= ;"= /N Z'Y Selección de información para el sistema de monitoreo y evaluación Si bien la selección de los indicadores es una parte importante de la planeación del sistema de MyE, desarrollado desde la fase inicial del proyecto, no siempre se pueden determinar todos los indicadores desde un principio. Por esto es necesario dejar abierta la posibilidad de que los indicadores formulados se adapten a nuevas circunstancias ! ;; nuevos indicadores cuando ya el proyecto y el proceso de MyE estén en marcha. Puede ser que los efectos no planeados de un proyecto hagan necesarios nuevos indicadores para medir el impacto. He aquí algunas de las razones por las que un indi=+< =X] et al., 2003): - La información que se requiere para medir el indicador es demasiado difícil de obtener = - Factores externos al proyecto generan más impacto y cambios en los indicadores que el mismo proyecto. > ; ' formación del indicador conforme pasa el == ; ?=yecto no está teniendo un impacto notable o que no hay una relación directa entre las actividades del proyecto y el indicador. Página 55 Categorías de indicadores Por sus características Cuantitativos: son medidas estadísticas que miden los logros en: <mero - Porcentaje - Frecuencia - Tasa (por ejemplo, tasa de mortandad infantil, 100 de cada 1.000) - Proporción (por ejemplo, proporción de mujeres del total de la población) Cualitativos: Z+un comportamiento, una situación o una descripción de cómo se hacen o perciben las cosas. Pueden ser opiniones, actitudes, prácticas y comportamientos de la población hacia una situación o en relación con un tema. En las personas, los indicadores cualitativos pueden incluir cambios en actitudes, comprensión, conocimiento, sensibilización o empoderamiento. Miden los avances en términos de: - Cumplimiento con…. - Calidad de…. - Las características… Ser claros con los temas transversales - Grado en el que… Los temas transversales (género, empoderamiento, participación, etc.) son fundamentales en la formulación de proyectos y esto se debe tener en conside /`= adecuados. De hecho, mientras todos están de acuerdo con la promoción de la participación o de la igualdad de género, la interpretación de estos conceptos puede variar. Por ejemplo, el análisis de género en una acción de ayuda alimentaria podría interpretarse como el acceso de las mujeres a la distribución de alimentos o como el efectivo control de los recursos por parte de las mujeres. Los indicadores serán diferentes en los = &<+ que reciben alimentos, mientras que en el segundo serán más cualitativos (por ej.: participación y papel de las mujeres en los comités de distribución de alimentos). - Nivel de…. - Percepción acerca de…. Indicadores sustitutos o “Proxy”: para aquellos casos en los que no hay datos disponibles para los indicadores ideales, o que es muy difícil o costoso obtener estos datos, se pueden emplear indicadores sustitutos o “proxy” para medir el objetivo. No es una medida directa de la situación sino una forma paralela de obtener la información con base en una relación conocida entre ambas variables. Por ejemplo, ante la falta de datos sobre la corrupción en algunos países, muchas agencias de Página 56 Monitoreo y Evaluación de Proyectos cooperación emplean información de encuestas sobre la percepción del nivel de corrupción en el país como un indicador alternativo. De forma similar, la medición del Índice de Desarrollo Humano por agencias de la ONU emplea el indicador de “expectativa de vida al nacer” como un indicador sustituto de las condiciones de vida y de servicios de salud (se puede hacer una correlación entre <{?' '; ciones de vida y de servicios de salud en un país) (PNUD, 2009). ¿Cómo mejorar la calidad de los indicadores? K <@ > ; < camente cuantitativos, por ejemplo: un indicador < / ? tienen una estrategia de equidad de género” no considera si esta estrategia es adecuada, si se aplica correctamente, si ha tomado en consideración las necesidades planteadas por la sociedad civil, etc. Un indicador más completo podría complementar lo cuantitativo con elementos cualitativos, por +=</ ? tienen una fuerte estrategia de género, desarrollada en consulta con la sociedad civil”. Como se puede ' =? + que es realmente importante, para saber si realmente hemos logrado nuestros objetivos. Así, para que un indicador sea lo más completo posible, es necesario que esté desagregado e incluya indicadores tanto cuantitativos como cualitativos (PNUD, 2009). Por el nivel de intervención Se requieren diferentes tipos de indicadores para analizar y revisar el avance en cada etapa de la jerarquía de intervención (ver Tabla 12). Así, en @?; = tres tipos de indicadores: - Indicadores de Proceso para las Actividades - Indicadores de Efecto (o impacto) para los Resultados - Indicadores de Impacto para el Objetivo ;+ '=W Por lo general, a medida que se pasa de las actividades al objetivo general o meta en la jerarquía de intervención, la información del MyE tiende a perder concreción. En el nivel de las actividades y los resultados es mucho más fácil de medir y mostrar avances en los indicadores al ser información sobre procesos y productos. Sin embargo, el impacto del conjunto de productos o resultados es por lo general más difícil de determinar y más complicado de medir (Guijt y Woodhill, 2002). Indicadores de Proceso Son indicadores sobre la realización de las actividades, enfocados en medir eventos importantes ?=++ de varias actividades. Si bien estos indicadores describen acciones, etapas y procesos que conducen a los resultados, por sí mismos no aseguran que se logren los resultados. Sin embargo, son importantes, debido a que son insumos básicos del proceso de MyE. Las fallas o el mal desempeño de resultados u objetivos muchas veces dependen de fallas en la implementación de las actividades, y = Los indicadores de proceso permiten además precisar la estrategia que se sigue al monitorear la calidad de los procesos en curso con la participación de la población involucrada. El nivel de cumplimiento con los tiempos y el presupuesto programado se puede medir como un indicador paralelo de proceso. La matriz de marco lógico no prevé la inclusión de indicadores de proceso (en la sección de actividades se incluye, en lugar de indicadores, un resumen de los recursos y costos del proyecto), aunque pueden ser incluidos para facilitar el monitoreo de los avances. Ejemplos de indicadores de proceso: <= = <= = < ; ayuda alimentaria Selección de información para el sistema de monitoreo y evaluación Indicadores de Efecto Son indicadores para medir el progreso y los cambios generados a nivel de resultados y obje '=W los resultados, los indicadores de efecto emplean = =WX tiempo) de los productos generados. Es importante que los indicadores de efecto no sean un resumen de los productos generados, sino el efecto de tener dichos productos: deben medir cambios en las condiciones o capacidades y no la entrega de productos o servicios. Para que estos + @? produce, se recomienda considerar: - Descripción de la calidad: no basta con que ;=^ ? ` necesario que este cambio o logro tenga las cualidades que consideramos adecuadas. Así, los indicadores cuantitativos deben ir acompañados = '? = - Sostenibilidad: un indicador esencial para medir la calidad es su capacidad de producir efectos aun después del cierre del proyecto. Algunos factores relacionados con la sostenibilidad son: aceptación cultural, social e institucional de las soluciones y los cambios propuestos e introducidos; continuidad econó ~= adquiridos; variables organizativas, y participación de la población involucrada en el diseño y la ejecución del proyecto. - Fortalecimiento de capacidades: aunque no todos los proyectos tienen como componente central el fortalecimiento de capacidades = + en la medición, pues está directamente vinculado con el empoderamiento de la población local y la sostenibilidad de los resultados. - Participación: en la medida en que los grupos == = Página 57 su diseño y en su implementación, el proyecto tendrá más pertinencia con relación a las necesidades de la población local y tendrá más posibilidades de ser sostenible en el tiempo. En este sentido, es fundamental incluir indicadores sobre el nivel de participación que se ha logrado a raíz de la intervención. Ejemplo de indicador de efecto: Resultado - Servicio mejorado: del cuarto año de ejecución del proyecto, 23 pueblos rurales de La Esmeralda, cada uno con una población de 2.500, están servidos con 115/ litros/persona por día de servicio continuo de agua potable (Ortegón et al., 2005). Indicadores de Impacto Son indicadores que miden el cambio logrado en ;=^= incluso después de su cierre. Están directamente relacionados con la medición de nuestro objetivo ;X;+ '=Wco) y ayudan a revisar que el cambio positivo que se buscaba realmente se haya logrado. El impacto puede ser un cambio social, económico, político, ambiental o de comportamiento y se puede dar a nivel local, regional o nacional. Cuando se habla de indicadores de impacto más amplios, de contribución a un objetivo general a nivel regional o nacional, su medición puede ser más complicada, debido a que involucra datos y estadísticas macro sobre niveles de bienestar social y económico que en algunos países o en ciertos momentos no están disponibles. Además porque al ser problemáticas más amplias, es muy complejo determinar = =W = < = factores. En estos casos, para mejorar el alcance y la posibilidad de reunir los indicadores de impacto, se pueden emplear indicadores proxy o substitutos y es muy recomendable emplear indicadores complementarios, cuantitativos y cualitativos. Página 58 Monitoreo y Evaluación de Proyectos Ejemplo de indicador de impacto: # $N del cuarto año de ejecución del proyecto, el X% de diarrea infantil (niños de 5 años o menos) en los pueblos rurales de Esmeralda atendidos por el proyecto, ha declinado en un 15% con relación al año base (Ortegón et al., 2005). Tabla 12. Resumen de indicadores por nivel de intervención Lógica de Intervención Objetivo general Tipo de Indicador Indicador de impacto Indicador de + '=W efecto o de impacto Resultados Indicador de efecto Actividades Indicador de proceso Característica ¿Qué miden? IMPACTOS: ¿Ha alcanzado los cambios sostenibles, de largo plazo? ¿En qué medida es responsable el proyecto de estos cambios? ¿Qué otras consecuencias positivas o negativas tuvo el proyecto? Descripción de los cambios genera- CAMBIOS: dos que permiten conseguir el ob- ¿Qué cambios se han registrado como + ' + @ consecuencia de los resultados o proque se produce y la diferencia con la ductos y en qué medida contribuyen al situación inicial. propósito del proyecto? RESULTADOS: % = =W X ¿Qué productos o servicios tangibles y dad, calidad y tiempo) del uso de los directos ha prestado el proyecto como productos que se generan. resultado de las actividades? Describen acciones, etapas y proce- ESFUERZOS sos que indican la implementación ¿Se han completado a tiempo las actide lo planeado y que conducen a los vidades planeadas? ¿Se ha respetado el resultados. presupuesto? Descripción del cambio logrado en el ;=^= && ^ción, a nivel local, regional o nacional. Fuente: Elaboración propia con base en información de Guijt y Woodhill, 2002. El proceso de MyE se basa primordialmente en la = ? permitirán obtener información sobre la situación generada por la intervención del proyecto. Para conocer el nivel de impacto de nuestra acción esta información debe ser comparada, y esta comparación puede hacerse de tres formas (Guijt y Woodhill, 2002): 1. Comparar la situación “inicial” o anterior a la del proyecto con la situación “después de la intervención”. 2. Comparar los cambios percibidos en el contexto o territorio del proyecto con los cambios en otros lugares similares. 3. Comparar las diferencias entre dos grupos: Uno que haya trabajado con el proyecto y otro que no (grupo de referencia). Para hacer una comparación de los indicadores y medir nuestro impacto, es recomendable emplear información de línea base, ya sea que haya sido recopilada antes de la intervención, en la primera medición de avances, o a través de fuentes secundarias (documentación existente: encuestas nacionales o estudios e investigaciones). Y " =^ estableciendo claramente el nivel de cambio que se espera conseguir (PNUD, 2009). Selección de información para el sistema de monitoreo y evaluación 4.3 Líneas base y metas La línea base es el estándar básico contra el cual se medirán todas las metas futuras. Es la base para medir el cambio. La línea base es importante porque establece el punto de comparación desde el cual se & = ' 'gro o el impacto contra una situación que prevalecía antes de nuestra intervención. Sin la información de línea base es muy difícil valorar el cambio generado y hacer el MyE adecuadamente. En ocasiones, será necesario adaptar la información de indicadores a los datos disponibles en líneas base que ya existen, tales como encuestas o estadísticas nacionales. @ <+ == diseño. Se puede reunir a partir de la información recogida en los estudios de factibilidad y otros documentos relacionados con la preparación del proyecto. Sin embargo, para algunos resultados programados o para ciertas actividades, es posible que esta información no haya estado disponible desde la formulación del proyecto, por lo que será necesario obtenerla durante la ejecución.Ya sobre la marcha, la línea base puede obtenerse de (Guijt y Woodhill, 2002): - Primeras mediciones como punto de partida. - Levantamiento de líneas base durante la implementación, conforme se inician los procesos de cambio (por ejemplo, levantamiento de línea base al formarse el grupo de microcrédito, al iniciar las capacitaciones sobre manejo de residuos, etc.). - Utilización de la documentación existente. Cuando la línea base se recoge después de implementado el proyecto y la información inicial no existe, es posible obtener información aproximada sobre la situación inicial con “preguntas sustitutas”. Estas preguntas están relacionadas con la percepción de la gente acerca de sus circunstancias actuales en comparación X>!<{[` caso de que no haya información de línea base y que =; ' =< = Página 59 Recomendaciones para el desarrollo de la Línea Base La mayoría de los proyectos tienen grandes W = ?< =+^; cambio. Algunos de los problemas más comunes que plantean los estudios de base son que se hacen tarde o nunca, son excesivamente detallados o demasiado generales e irrelevantes, parten de una muestra demasiado grande que sobrepasa la capacidad analítica del proyecto o de los coejecutores, no prevén un grupo de referencia […] (Guijt y Woodhill, 2002). Para evitar estos problemas, se recomienda realizar la línea base una vez que se haya elaborado y revisado la matriz de marco lógico del proyecto, =;? @ ?< acorde con los resultados, objetivos e indicadores. Se recomienda asimismo tener en cuenta lo siguiente (Guijt y Woodhill, 2002): 1. Recoja solamente la información que va a utilizar. Como regla general, se debe recopilar información de línea base que esté relacionada directamente con las preguntas ?> 2. Planee la obtención de información de línea base al igual que en los demás procesos de recolección y análisis de datos. 3. Asegure que sea un proceso viable y realista. Tenga en cuenta que una línea base siempre será una aproximación y nunca podrá ser exacta. 4. Adopte métodos creativos de recolección de la información. 5. Incluya información relativa al género. Metas Una vez que tengamos la línea base, existen ele = ==+= el término del proyecto o para avances cada año, Página 60 Monitoreo y Evaluación de Proyectos semestre o trimestre. La meta dependerá del periodo de intervención del proyecto, del programa en el que se inserta y de las actividades. También dependerá del tipo de intervención que sea, pues ciertos cambios toman más tiempo que otros (por ejemplo: cambios en prácticas agrícolas sustentables serán de más largo plazo, mientras que la atención inmediata en situaciones de emergencia será una meta de corto plazo). Es importante tener en cuenta que aunque el desarrollo social sea un proceso de largo plazo, la inclusión de metas =W == ' { cambio o de un impacto más amplio. ¿Cuál es la diferencia entre Indicadores y Metas? - Los indicadores son neutrales (por ejemplo: “N° de acciones independientes realizadas por parte de los grupos o instituciones locales”). - Las metas son indicadores de avance, con un valor asociado (por ejemplo: “al menos 8 de las acciones independientes son realizadas por parte de los grupos o instituciones locales”). Es fundamental que la línea base y las metas sean coherentes y estén alineadas con los indicadores, usando las mismas unidades de medición (ver Tabla #[?+=& " nivel de intervención y el tipo de indicador que se esté formulando (si es de proceso, de efecto o de impacto). Para el nivel de indicadores de efecto, las metas pueden ser mucho más realistas y en perio =& = + metas para periodos de corto o mediano plazo, es posible que el indicador que se haya formulado sea demasiado ambicioso y sea necesario reformularlo. 4.4 Medios de verificación Para que un indicador sea medible, la información debe estar disponible fácilmente y a un costo ra^N + ' indicadores correspondientes, es importante considerar cómo y en dónde se obtendrán los datos durante el proceso de monitoreo y evaluación. Y ' @ @ ; ' asegurar que los proyectos sean evaluables. ' ^ de marco lógico permite, al responsable del pro @! @ción y hacer la planeación necesaria para reunir los ` > ^ el proyecto, pues si los planes o indicadores son demasiado ambiciosos, puede ser muy difícil o muy costoso obtener evidencia acerca del avance y el impacto de la iniciativa. Así, los medios de ' @;? los indicadores son medibles y que la iniciativa es realista y alcanzable (PNUD, 2009). Es muy importante revisar que los medios de ve = ? ' > coordinación con los actores clave involucrados en el proyecto, pues serán en gran parte los responsables de ofrecer la evidencia sobre los cambios y avances. Tabla 13. Indicadores, Líneas Base y Metas (texto de ejemplo) $% el proyecto 2005: El 60% de la 2010: El 80% de la po2008: El 70% de la población el índice de analfabetismo entre la población femenina blación femenina de la femenina de la localidad de San población femenina de la comunidad de San José sabe localidad de San José sabe José sabe leer y escribir. de San José, en un %. leer y escribir. leer y escribir. Indicador de Resultado Fuente: Elaboración propia Línea Base Meta al segundo año del proyecto Capítulo 5 Recolección de información para el monitoreo y la evaluación Recolección de información para el monitoreo y la evaluación Página 63 La recolección de información puede ser necesaria en varios momentos del proyecto: tanto permiten la participación de la población local. - En la etapa de diseño, para obtener datos de línea base. En resumen, los factores para examinar en la elección de la técnica de recolección de datos son: su factibilidad (considerando el contexto y las = =[' ^= ! ^ ' y capacidad para reunir la información necesaria, =?> ' - Durante la implementación del proyecto, ' =W monitoreo (mensual, semestral o anual). N ^=' ' =W - Después del cierre del proyecto, para determinar los impactos y la sostenibilidad en el largo plazo. K'^?> indicadores claves para monitorear, se debe elegir la forma más adecuada de reunir dicha información. En la elección de la técnica de recolección de datos se debe considerar el tipo de información que se quiere obtener, así como también el tamaño del proyecto, el tiempo y los recursos disponibles, las personas que se encargarán de la recolección de datos, las necesidades y disponibilidad de la gente involucrada. De forma concreta, se debe analizar el tipo de proyecto, los tipos de indicadores formulados, la duración de la acción (cambios de largo plazo o de corto plazo), el contexto local, el interés de las partes involucradas en participar y la X=+= si es para el aprendizaje interno o si es para rendir cuentas a donantes). Las técnicas de investigación y recolección de información pueden ser cualitativas o cuantitativas, y estas pueden ser grupales o individuales. Hay además una gran variedad de técnicas de apoyo que pueden emplearse de forma complementaria para reunir información. Es muy recomendable adaptar el método seleccionado a las necesidades del proyecto y elegirlo de acuerdo a la información que se quiera obtener. Se debe tener en cuenta y analizar la diferencia entre información obtenida por un método y por otro, las implicaciones de emplear métodos individuales o grupales y qué 5.1 Muestreo En muchas ocasiones no es posible obtener la información deseada a través de un censo general de la totalidad de la población objetivo. Puede ser que el grupo poblacional sea demasiado amplio o que los recursos disponibles (humanos, económicos [ =' cabo. En estos casos, es viable tomar una muestra representativa de la población total, que permita generalizar sobre datos o conclusiones obtenidas del segmento de población seleccionada. La se = = ; ' /`` ? muestra se seleccione de forma imparcial y sea lo más representativa y amplia posible, la información = && Por lo tanto, para asegurar un buen muestreo, se debe (Guijt y Woodhill, 2002): - Precisar el marco de muestreo: descripción de la unidad que se estudiará (por ejemplo: individual, familiar, comunitaria u organizacional). - Determinar el tamaño adecuado de la muestra: el tamaño de una muestra determinará en gran medida la validez de los resultados de la recopilación de la información. El tamaño de la muestra se debe determinar con base en el presupuesto y los recursos disponibles, el tiempo con el que se cuenta y el necesario para reunir la información; el tamaño del grupo Página 64 Monitoreo y Evaluación de Proyectos "=&<;= el margen de error aceptable para la muestra. - Seleccionar el método de muestreo: una vez determinado el tamaño de la muestra, se debe optar por un método de muestreo: aleatorio o delimitado. El muestreo aleatorio consiste en seleccionar a la población sin conocimiento previo o delimitación de las características representativas de la selección. Este tipo de muestreo =<=lección de datos más amplios y no se recomienda cuando el tamaño de la muestra es reducido, pues =& representativo. El muestreo delimitado o intencional (no aleatorio) consiste en seleccionar a la población con base en criterios determinados. El muestreo delimitado se emplea más en ejercicios de recolección de datos pequeños. Tiene la desventaja de no ofrecer la información más representativa, diversa u objetiva al estar basada en una población predeterminada y seleccionada por el mismo evaluador. 5.2 Categorías de información Categorías de información por tipo @ ?= en cualitativa y cuantitativa. La selección del tipo de datos dependerá de la variable que queremos medir y el tipo de análisis que queremos hacer. La información cuantitativa es por lo general más simple y consiste en datos numéricos (como edad o ingreso), '?= (categorías a las que se les puede asignar un valor, como sexo). La información cualitativa es más compleja y difícilmente se puede reducir en categorías = = respuestas a preguntas abiertas, opiniones a partir de encuestas o entrevistas, etc. (ver Tabla 14). Tabla 14. Diferencias entre información cualitativa y cuantitativa Análisis Cualitativa ¿Qué? ¿Quién? ¿Cómo? ¿Por qué? Abiertas Observación o diálogo Pequeño muestreo representativo seleccio=W== necesidades. Interpretación Métodos Entrevistas, observación, textos escritos, etc. Preguntas Tipo de preguntas Interacción ¿A quién? Cuantitativa ¿Cuánto? ¿Cuántos? Cerradas Pregunta-Respuesta Muestreo amplio, seleccionado normalmente al azar. Análisis estadístico Información secundaria, encuestas, observación, etc. Fuente: UNESCO, 2009. Categorías de información por fuente @ @ = en dos tipos: fuentes primarias y fuentes secundarias. Para obtener información completa y que responda a nuestras necesidades de MyE es muy recomendable emplear las dos fuentes de información. Información secundaria: las fuentes secundarias son la primera fuente de datos que se debe considerar. Es información primaria que fue obtenida, recopilada y publicada por otras personas. Por lo general, son fuentes documentales, como ;& ; les, reportes nacionales o internacionales, indicadores sociales y económicos a partir de encuestas Recolección de información para el monitoreo y la evaluación y estadísticas nacionales, evaluaciones previas, planes estratégicos e investigaciones. La revisión de información secundaria o documental puede ser < = !&= problemática (por ejemplo, el contexto regional o nacional de un proyecto local), y para comprender la historia y la evolución del tema sobre el cual se está interviniendo en el proyecto. La información secundaria puede servir para generar información de línea base y de metas, y además puede ser especialmente relevante para medir '+ '=W;nerales. Es asimismo una fuente de información de bajo costo, en comparación con la obtención de datos primarios. Sin embargo, en muchas ocasiones las fuentes secundarias no proveen los datos =W? ==X= general, son datos más macro y sobre indicadores más amplios), y la información disponible difícilmente estará actualizada. Por estas debilidades, y por la necesidad de obtener información estrechamente vinculada con el proyecto, las fuentes secundarias siempre deben ser complementarias a la información primaria. Información primaria: es información que se observa o se obtiene directamente de las personas involucradas o vinculadas a la intervención, acerca de su situación o experiencia directa con el ==; @ sobre circunstancias, opiniones, valores, actitudes, comportamientos, motivaciones, prácticas, conocimiento y experiencia. Es información crucial que por lo general no está disponible en las fuentes de información existentes y que se debe construir como una tarea del mismo proceso de MyE. Por lo general, es información de un nivel más local, cercano al proyecto. Página 65 5.3 Métodos de recolección de datos Para la obtención de información primaria existen diversos métodos de recolección de datos, y se recomienda emplear más de una técnica para @ ; + (triangulación de métodos)(ver Tabla 15). A continuación, se presentan los métodos más comunes10. Métodos básicos A. Recopilación de mediciones Es la medición física de cambios en el tiempo con relación a un indicador, mediante el empleo de una unidad de medida y un procedimiento e =W`+= = de información son: peso y talla de niños y niñas = ~< monto de préstamos para indicadores de crédito; toneladas de producción o calidad de los suelos para indicadores de producción agrícola. Es una herramienta fundamental de MyE, pues permite ;W ' ?@= cambio logrado y el impacto generado. El método que se emplee dependerá de los instrumentos disponibles y de la especialización de la persona = K'^?< los datos necesarios, se pueden vaciar en tablas ;<!= riormente esta misma información se utiliza como marco de comparación en periodos posteriores (Guijt y Woodhill, 2002). `"< == @ción muy precisa. Sin embargo, es difícil emplear 10. La mayor parte del contenido de esta sección fue tomado del Anexo D de Guijt y Woodhill, 2002. Es un material muy completo y extenso que detalla más de 30 métodos de recolección de datos. Se recomienda consultarlo si se quiere obtener ejemplos y más información sobre técnicas adicionales. Página 66 Monitoreo y Evaluación de Proyectos @W =W=; dores de proyectos sociales. Otra desventaja es que puede ser muy costoso y requerir en algunos casos una alta especialización técnica. B. Observación directa Implica la observación de eventos, sucesos, procesos, relaciones y comportamientos. Antes de la observación se debe realizar un análisis sobre la información que se quiere obtener. Se recomien> ' = ? considere los objetivos del ejercicio y los puntos o = =;< @ la programación del proyecto. Estos instrumentos base se pueden retomar en ejercicios de observación posteriores, para comparar los resultados en el tiempo. Al tomar como base estas líneas guía, el observador se ubica en el lugar de interés y hace anotaciones sobre actividades, procesos, discusiones, comportamientos, interacciones, productos materiales y cualquier otra observación pertinente. Es importante que las valoraciones hechas sean precisas, enfocadas y lo más objetivas posible.También se recomienda que el observador comparta y analice sus anotaciones y conclusiones de la observación con otras personas involucradas, ya sea miembros del equipo de trabajo o los = Este método es fundamental para el MyE, porque @ ' = "`" < pues permite revisar la operación de un proyecto mientras está en práctica.También tiene la ventaja ! = = @& circunstancias cambiantes. Es además un método relativamente sencillo, que se emplea fácilmente sin necesidad de una especialización técnica. Su desventaja es que existe el riesgo de que sea muy subjetivo o parcial, dependiendo mucho del lugar, el momento o la población que se decida observar. Igualmente puede ser muy difícil interpretar comportamientos observados o una situación ajena al observador. De ahí que la observación directa se recomiende como un método complementario a otros métodos. La observación participativa Una alternativa a la observación directa es la observación participativa, la cual implica que el observador se involucra en las actividades y en el contexto, en vez de mantener su distancia. Por lo general se recomienda que el observador tome '^ ' =? pueda introducirse de forma más natural. Para un ejercicio de observación directa más profundo, el observador se inserta en el lugar de estudio por = ' cotidiana o la experiencia de un grupo en relación con el proyecto, desde el interior del mismo grupo. El objetivo es que el observador pueda introducirse en el contexto y entre las personas, siendo aceptado como parte del grupo, con lo cual logrará un conocimiento mucho más profundo y relevante. La desventaja es que es difícil combinar los procesos de observación y registro de información con los de participación. Además, que el observador sea aceptado como parte del grupo puede tomar mucho tiempo, y es difícil asegurar que su = = del entorno. Algunas recomendaciones para el observador (Bailey, 1995) - Recuerde que observar va más allá de la vista: es necesario emplear todos los sentidos. - Hay que observar todo, el contexto físico, los comportamientos y prácticas: quién viene, quién hace qué, con quién, cuándo, cómo, por qué, patrones, costumbres, sucesos inesperados, etc. - Poner atención al lenguaje no verbal puede ser una > < ==+ tudes y opiniones de las personas. - Al anotar sus observaciones, tome en cuenta que el + '< = mejor forma de lograr esto es a través de una inmersión profunda en el medio. Recolección de información para el monitoreo y la evaluación - Es necesario leer entre líneas y observar no sólo lo que está presente, sino también lo que está ausente. ¿Quién no está? ¿Qué no se dice? - Recuerde siempre ser respetuoso con las personas y el entorno. Se debe tener el permiso explícito de las personas para estar en un lugar y para observar un evento o una situación. C. Cuestionarios y encuestas Consiste en la obtención de datos mediante preguntas en cuestionarios entregados a la población. Las preguntas pueden ser de respuesta cerrada (sí – no), o abiertas.También pueden formularse pre;=+? información para ser analizada estadísticamente. Algunos puntos para tener en mente: - La lista de preguntas en un cuestionario nunca será exhaustiva y debe estar abierta a recuperar información adicional, no necesariamente incluida desde un principio. - Es fundamental que la lista sea empleada y comparada en momentos distintos del proyecto para medir el avance. - Las preguntas son elaboradas de acuerdo a las necesidades de cada proyecto u objeti'=W` =?? elabore tenga un conocimiento profundo sobre el tema y esté contextualizado con los procesos del proyecto. Los cuestionarios y las encuestas se emplean normalmente para un amplio grupo de personas. N"< = formación personal que difícilmente se comparte en una entrevista o un diálogo abierto. La mayor ventaja de las encuestas y los cuestionarios es que se puede obtener información variada, sobre temas distintos y de muestras de población más grandes. Es también información fácil de analizar a costos relativamente bajos, aunque poco profunda o analítica en términos cualitativos. Por estas razones es un método fundamental para muchas estrategias de MyE de proyectos. Página 67 Sin embargo, se recomienda poco su uso en contextos en donde puede haber altas tasas de analfabetismo. Por lo general los cuestionarios emplean preguntas cerradas, que ofrecen poca información cualitativa y con datos casi siempre descontextualizados. En resumen, se puede obtener una fotografía general de la situación, pero quizá no se logre obtener información de análisis más profundo. D. Entrevistas La entrevista es un diálogo con las personas a par =;@X ^ previamente, y adaptadas a las circunstancias o al curso de las circunstancias) para obtener información sobre su experiencia o su opinión acerca de una situación, problemática o proyecto. Dependiendo de la información que se quiere obtener, las entrevistas pueden ser individuales o colectivas (en grupos pequeños o grandes). Si se necesita información personal, conviene hacer entrevistas individuales. Cuando son temas que requieren un análisis más profundo o incluso conocer percepciones y actitudes colectivas, las entrevistas grupales son más adecuadas. Las entrevistas se pueden hacer a informantes clave (personas muy involucradas, que pueden tener una percepción y una experiencia ' [ ganizaciones, equipo encargado del proyecto, etc. `> < = @ reducir las posibilidades de una interpretación subjetiva (aunque siempre existe el riesgo de un sesgo por parte del entrevistador). Asimismo, = @ =W? siempre se puede obtener por otros medios, además de que la información de las entrevistas suele ser de mayor profundidad al ser un proceso que @ &;=^ Las desventajas de las entrevistas es que requieren mucho tiempo y pueden ser bastante costosas " > Finalmente, por lo general la información obtenida es muy valiosa pero difícil de analizar. Página 68 Monitoreo y Evaluación de Proyectos Tipos de entrevistas - Estructuradas: entrevista tradicional basada en una lista de preguntas preestablecidas para ser respondidas por los entrevistados. Tiene la '+?@ lización oportuna de la entrevista sin desviarse + ' ;=! al no permitir al entrevistador explorar otras respuestas alternativas o conocer perspectivas diferentes sobre una misma problemática. Puede también dar la impresión al entrevistado de estar sometido a una “evaluación” muy mecánica, lo ?; ^? puede desalentar la participación. - Semiestructuradas: son menos formales que las entrevistas estructuradas, se caracte ^== &! del ejercicio y presentar preguntas abiertas, ?; &;&^ apertura y facilita aportes alternativos. La preparación de este tipo de entrevistas requiere =;;les, para posteriormente ir desarrollando las =;=W' recomienda que las preguntas sean sencillas, se inicia con las más fáciles y se termina con las más complicadas o sensibles. Con este tipo de entrevistas se obtiene información focalizada sobre un tema, sin ser excluyente de visiones o perspectivas alternativas. Es posible asimismo obtener información variada en poco tiempo. - Entrevistas temáticas: antes de la entre' @< ;W =W?? preguntas se van formulando conforme se desarrolla la entrevista, en función de la respuesta de la persona o grupo. Su desventaja es que es más difícil obtener datos que sirvan para un análisis estadístico sobre el conjunto de la población, pues cada entrevista se adapta a las circunstancias y no se tiene una información =W= - Entrevistas informales: se llevan a cabo durante una conversación informal. Permiten obtener información y comprender, de manera discreta, la opinión y percepción de las personas sobre la problemática o el proyecto. Requiere de habilidades especiales de comunicación por parte del entrevistador, de tal forma que pueda las respuestas, al mismo tiempo debe evitar desviarse del tema y dirigir la conversación para llegar a conclusiones concretas. Una de sus '+ =; la información obtenida, pues al ser un diálogo natural no se hacen anotaciones. Además es un ejercicio que puede tomar mucho tiempo, y puede ser difícil no desviar la conversación y enfocarse sólo en aquellos temas de los que se quiere obtener información. - Entrevistas a informantes clave: se hacen a especialistas sobre el tema en particular o a personas que puedan ofrecer un punto de vista o información clave sobre el proceso, por estar directamente involucrados. Normalmente son entrevistas en profundidad con expertos de la comunidad, que pueden, además de ofrecer conocimientos claves, hacer recomendaciones para mejorar la acción o solucionar problemas. Una de las principales ventajas de esta entrevista es que los informantes clave, al no estar directamente relacionados con la organización del proyecto, pueden dar una opinión sustentada y objetiva, así como una idea general de la situación, y no enfocarse tanto en lo individual (que podría suceder con los entrevistados tradicionales). Una desventaja es que pueden ser bastante parciales, desde la misma selección de los informantes. Además, suele considerarse que la información ofrecida por el entrevis' ' ? esta debe comprobarse y ser tomada como una opinión adicional, no la absoluta. Recolección de información para el monitoreo y la evaluación (!) Algunos consejos básicos para ser un buen entrevistador… - Recuerde escuchar más y hablar menos. - Haga las preguntas de una forma directa, clara y amable. - Sea lo más imparcial posible, evite palabras o tonos ? = = ' - No aparente estar aburrido o con prisa al realizar la entrevista. - Ponga atención al lenguaje no verbal. E. Grupos focales ` " ? < ;= de personas (entre 6 y 12) para entrevistarlas @ &; de la técnica de entrevistas como una entrevista grupal. El facilitador del grupo focal debe tener preparado previamente una guía de preguntas o de temas (dependiendo si se seguirá un formato de entrevista estructurado o semiestructurado). Las preguntas se hacen con la intención de fo =W = ; & < ? entrevistador, en vez de tomar notas, grabe el ejercicio y después lo transcriba. La selección del grupo de personas dependerá de las necesidades o intereses del recolector de información, pero por lo general tendrán cierW <='& !;;& ;=@@< de saber la opinión y percepción de una muestra amplia de gente (representada por el grupo seleccionado). Asimismo, el hecho de poder separar a las personas involucradas en el proyecto en grupos diferentes puede generar respuestas que normalmente no habríamos obtenido. " ? @W ; un muestreo aleatorio, por lo que los resultados son difícilmente generalizables. Otro problema tiene que ver con la parcialidad de los resultados, =<?;= ;=@ = para decir o callar algo. Página 69 Se pueden emplear materiales especiales para provocar una reacción en el grupo que genere discusión, y fomente que las personas expresen sus perspectivas acerca del material. Los materiales se utilizan al principio de la actividad o durante su desarrollo (por ejemplo: fotos, artículos periodísticos, videos, anécdotas, materiales elabo=W=;=@[ También se pueden emplear diversas técnicas en el grupo focal para facilitar la participación, tales como escalas de valoración o análisis del cambio & ; 'X=&+=' de esta sección, Técnicas Complementarias). Consejos para una entrevista o grupo focal exitoso (UNESCO, 2009) - Crear un ambiente favorable, relajado y cómodo, que ;^^= terrupción. - Es muy posible que las personas que vayan a participar en la entrevista o ejercicio de grupo focal estén un poco incómodas o nerviosas al principio, al no saber qué esperar del ejercicio. Por esto es muy importante que el entrevistador explique desde un principio cuál es el objetivo de la entrevista, qué tipo de información se pretende obtener y cómo se emplearán los resultados. Se recomienda aclarar a los participantes que no existen respuestas incorrectas. También es bueno aclarar cualquier duda y dar oportunidad de que los participantes expresen sus inquietudes. - Se recomienda empezar siempre con las preguntas más sencillas y menos sensibles e ir haciendo las preguntas más complicadas conforme vaya avanzando la entrevista o ejercicio. - Es importante que el entrevistador tenga cosas en <= ' X=+= =>&^= mo sexo). Por otro lado, para evitar que las personas se sientan comprometidos a responder de una forma y para fomentar que los entrevistados se expresen con toda libertad, se recomienda que el entrevistador sea percibido como independiente y objetivo, sin un interés en los resultados. - No olvide tener las herramientas pertinentes a la mano, incluyendo la guía de preguntas o temas, grabadora (si es que será empleada) y materiales que vayan a emplearse para incentivar la discusión. - Es importante tener en cuenta que las respuestas del ' < @ @mación, sino que deben complementarse con otras técnicas y métodos. Página 70 Monitoreo y Evaluación de Proyectos Métodos complementarios F. Análisis de acontecimientos críticos Es un método que implica hacer entrevistas a individuos o grupos sobre eventos o incidentes especí @ ; =W` ; exhaustiva que implica cruzar y comparar varios resultados de entrevistas a partir de un mismo acontecimiento. Este método sirve fundamentalmente para lograr dos objetivos: por un lado, & ; ' en un periodo determinado y con relación al proyecto implementado; por otro lado, nos permite conocer en profundidad un caso seleccionado, lo cual ayuda a encontrar la relación causa–efecto que existe entre los acontecimientos estudiados y la intervención de nuestro proyecto. Es por tanto > < = a nivel de impacto. Las desventajas de este método es que requiere mucho tiempo y recursos, y además la información puede ser muy difícil de analizar. Tiene el riesgo de que el equipo encargado del análisis del caso se sature de información detallada y contradictoria de distintas perspectivas. Asimismo, es difícil mantener la objetividad y no tomar una posición respecto al acontecimiento estudiado. G. Caminata transversal participativa Este método consiste en realizar una excursión = ^;;&= observar ciertos indicadores. Su objetivo es observar en el terreno una serie de parámetros que >= = los cambios que se han producido en ellos y conocer las causas e implicaciones de dichos cambios. Es recomendable hacer la caminata con un pequeño grupo de personas involucrados en el proXW [ seleccionadas con anterioridad. También es recomendable trazar el recorrido antes en un mapa o diagrama. Una caminata transversal puede durar varias horas o un día completo, dependiendo del lugar y la información que se quiere obtener. Mientras se hace el recorrido se elabora un diagrama ' =W los indicadores que se van a medir. Después de un tiempo determinado, se vuelve a hacer el mismo recorrido y se elabora otro diagrama, para comparar los cambios en el tiempo. Es muy impor inesperados (no previstos en los indicadores preliminares), sobre todo en la primera caminata, pues esto permitirá recolectar datos muy valiosos para el monitoreo y evaluación en etapas posteriores. Es un método relativamente económico y puede emplearse para obtener tanto información cualitativa como cuantitativa. Su desventaja es que el proceso puede ser largo y no siempre se logra obtener la información planeada en un principio (Guijt y Woodhill, 2002). H. Diarios El objetivo de un diario es obtener datos, eventos, reacciones y opiniones en el tiempo a partir de los registros de personas o grupos involucrados en el proyecto. Desde el MyE es una herramienta de mucha utilidad, porque permite obtener información detallada para entender el contexto y las razones detrás de los procesos de cambio. El diario se comienza a desarrollar desde el inicio del proyecto. Como paso preliminar se debe planear su forma y su enfoque, así como la persona o personas responsables de llevarlo. Un diario puede ser estructurado (enfocarse en un indi=W[&= X generales). Las entradas del diario pueden incluir descripciones escritas, fotografías, video, diagramas, etc. Los diarios se pueden escribir también a partir de una reunión o discusión grupal. El análisis de los cambios o efectos en el tiempo se hace al revisar las entradas pasadas y comparar con las más recientes. Recolección de información para el monitoreo y la evaluación ` "< libertad de elegir cuándo y cómo se registra la información. Es un buen mecanismo para la autoevaluación; sin embargo, llevar un diario requiere mucha disciplina (para cumplir con el registro de entradas con una periodicidad determinada), así como una buena capacidad de redacción. El análisis de los diarios requiere además una lectura enfocada y muy analítica de los registros, lo cual puede demandar mucho tiempo. Por esto se re = = el tipo de información que se incluirá y sistematizarla en el diario de forma ordenada (Guijt y Woodhill, 2002). I. Monitoreo fotográfico o de video Este método permite revisar los cambios a partir de una serie de fotografías o videos tomados en diferentes momentos. Puede basarse en indica=W= ==cionando la cámara a las personas participantes del proyecto para que registren los cambios que consideren más importantes. Hay una serie de pasos para este ejercicio: después de analizar los indicadores que se quieren monitorear, se toma la foto o la grabación de la situación actual de dichos parámetros. Es im=? ?{+X? mantenga en el tiempo, como un poste de luz, una construcción o una marca sobre una piedra) ?= ;@ grabación en años posteriores. Se toman las fotografías o el video y se hacen anotaciones sobre cuándo y en dónde fueron tomadas. Una vez que se tiene la fotografía o la grabación, se discute con las personas involucradas para comprender ' chos cambios, y cualquier otro análisis pertinente. Página 71 Después de un periodo determinado, se regresa al lugar y se vuelve a tomar la foto o video. Las distintas imágenes o grabaciones se ubican una después de otra, y se genera una discusión con las personas involucradas sobre los cambios que se observan, las causas de los cambios, el impacto, las acciones que se requieren, etc. Este método se puede combinar con otros, como el uso de diarios, o puede ser un insumo para incentivar la discusión de los participantes en métodos como grupos focales. Las imágenes =< = antes y después del proyecto, como medios de ' == = la rendición de cuentas con el donante. Sin embargo, no se debe caer en el error de emplear @;@W; < ' ' ?= del análisis mismo. J. Reportes del proyecto =@=W en una serie de preguntas, todas dirigidas a evaluar los indicadores correspondientes a los resultados y objetivos de un proyecto. Los reportes pueden ser los mismos formatos donde se registran las actividades y las observaciones de dichas acciones. Como herramienta tienen la ventaja de ser muy accesibles, por ser una extensión del trabajo cotidiano. Es por lo general una herramienta muy económica y no requiere dedicarle demasiado tiempo. Su desventaja es depender mucho de que los encargados del proyecto en campo sean muy disciplinados y recojan los datos para los reportes sistemáticamente; además, es necesario que sean muy analíticos y objetivos al reportar sus propias actividades. Página 72 Monitoreo y Evaluación de Proyectos Tabla 15. Cuadro resumen de métodos de recolección de datos Técnica Característica principal Ventaja Desventaja Medición física de cambios en el tiempo en relación con un indicador determinado, empleando una unidad de medida y un procedimiento e instrumentos =W Permite generar datos = - - Puede ser muy costoso W ' - y requiere en muchos A. Recopilación de mediciones bles para medir el cam- casos una alta especialibio logrado y el impacto dad técnica. generado. - Puede ser parcial (a par- Permite revisar la opeImplica la observación de eventir de la selección del heración de un proyecto B. Observación directa tos, sucesos, procesos, relaciones, cho a observar). mientras está en práctica. comportamientos, etc. - Es difícil interpretar `! comportamientos. B.1 Observación participativa - Permite al observador acercarse a conocer la - Es difícil combinar los El observador se involucra en las vida cotidiana o la expe- procesos de observaactividades y en el contexto en riencia de un grupo en ción y de participación. vez de mantener su distancia. relación con el proyec- - Es un proceso que toma to, desde el interior del tiempo. mismo grupo. C. Lista de control de preguntas/ Cuestionarios - Se puede obtener infor- - Los cuestionarios emmación variada, sobre plean preguntas cerraSerie de preguntas que pueden temas distintos y de das, pueden obtener ser empleadas como guía para muestras de población poca información cualientrevistas, conversaciones informás grandes. tativa y poco contextuamales o cuestionarios. - Información fácil de ana- lizada. lizar a costos relativa- - No se obtiene informamente bajos. ción muy profunda. - Útil para obtener la in- Requiere mucho tiempo formación directamente Diálogo en forma de preguntas, - Es bastante costosa en diseñadas para obtener infortérminos de recursos D. Entrevistas - Da menos posibilidad de mación sobre la experiencia u > interpretación subjetiva. opinión de las personas. - Información muy valiosa - Permite obtener inforpero difícil de analizar. =W / < = - Es difícil lograr un muesla opinión y percepción treo aleatorio. <;= E.Grupos focales de una muestra amplia `<?;personas (entre 6 y 12) para ende gente (representada nas personas en el grupo trevistarlas y fomentar el diálogo. por el grupo selecciona- = do). opinión de los otros. - Requiere mucho tiempo y recursos. Entrevistas con individuos o gru < - Puede ser información F. Análisis de aconteci- pos sobre eventos o incidentes para medir indicadores muy difícil de analizar. mientos críticos =W de impacto. - Es difícil mantener la información general sobre un objetividad y no tomar =W una posición respecto al acontecimiento. Recolección de información para el monitoreo y la evaluación G. Caminata transversal participativa H. Diarios I. Monitoreo !" o de video J. Reportes del proyecto - Es un método económico. - Puede emplearse para Consiste en realizar una excurobtener tanto informasión planeada en una determinación cualitativa como ^;;&=' cuantitativa. ciertos indicadores. - Se puede obtener información difícilmente accesible por otros métodos. - Permite obtener información al detalle ?=< = Registro de datos, eventos, entender el contexto reacciones y opiniones en el y las razones detrás de tiempo a partir de las entradas los procesos de cambio. redactadas por personas o gru `"< pos involucrados en el proyecto. accesible. - Es un buen mecanismo para la autoevaluación. - Se puede combinar fácilmente con otros métodos. Permite revisar los cambios a < =partir de una serie de fotografías trar la situación antes y o videos tomados en diferentes después del proyecto. momentos. - Sirve también como ' o para la rendición de cuentas con el donante. Reportes basados en un formato - Es muy accesible, al =W =ser una extensión del guntas, todas dirigidas a evaluar trabajo cotidiano. los indicadores correspondientes - Por lo general, es muy a los resultados y objetivos de un económico y no requieproyecto. re demasiado tiempo. Página 73 - Puede ser un proceso muy largo. - No siempre se logra obtener la información planeada en un principio. - Requieren de mucha disciplina (cumpliendo con el registro de entradas con una periodicidad determinada). - Requiere una lectura enfocada y muy analítica de los registros para hacer el análisis en el tiempo. - Confusión del método como mecanismo de rendición de cuentas y no como un método de análisis en sí mismo. - Depende mucho de que los encargados del proyecto en campo sean muy disciplinados y recojan los datos sistemáticamente, de forma analítica y objetiva. Fuente: elaboración propia con base en diversos documentos de referencia. 5.4 Técnicas de Valoración Participativa Rápida (VPR) Existe una gran variedad de técnicas complementarias a los diversos métodos de recolección de datos que suelen conocerse como herramientas de valoración participativa rápida. Se pueden emplear para la recolección de información, facilitar la participación en la obtención de información, incentivar el diálogo o lograr un análisis más profundo sobre una problemática o proyecto en diversos momentos: en la etapa de diseño del proyecto, en el monitoreo, en la evaluación o en el análisis de la información. Algunas de las técnicas de VPR se mencionan brevemente a continuación11. Técnicas de análisis - Análisis FODA: se discuten en grupo las for^ X [ W oportunidades y amenazas (externas) en relación 11. Para información más detallada y ejemplos concretos de estas técnicas, ver Guijt y Woodhill, 2002 o Department for International Development [DFID], 2002. Página 74 Monitoreo y Evaluación de Proyectos con un proyecto o un proceso. Se puede hacer el ejercicio nuevamente después de un tiempo, para comparar el análisis. Es una herramienta < = { ' de una problemática, sobre todo en las etapas iniciales de un proyecto. Sirve además para valorar cuantitativamente un proyecto o un proceso, y retomar debilidades o errores anteriores para transformarlos en un aprendizaje constructivo. `=< =' un grupo. Se puede hacer a través de una tabla: Fortalezas Oportunidades ' Amenazas - Análisis de las partes interesadas: Esta técnica de análisis consiste en hacer una lluvia de ideas para analizar a los actores relacionados =? " ? "nes lo implementan y quiénes toman decisiones que pueden afectarlo, entre otros. A partir de esta lista, se comienza a ubicar y priorizar a los ;< ' "= ===;& (ver Figura 2) de acuerdo a la importancia y el nivel de poder de un actor, e ir ubicando a los interesados en un punto del plano. Si bien esta técnica se acostumbra emplear al inicio del proyecto en la etapa de diseño, "=< ==teriores de recolección de datos. Sirve también = = = ya presentes así como soluciones y alternativas. Cuando la actividad se hace desde el diseño del ==< = a los actores que estarán involucrados en las mismas actividades de MyE. *"!ejercicio que sirve = ; 'W (tanto positivos como negativos) en relación con los objetivos del proyecto. Esta herramien< = ? ? @W dir, tales como fortalecimiento de capacidades y avances en la equidad de género. Consiste en hacer reu- Figura 2. Esquema para el “Análisis de las partes interesadas” Esquema de Importancia/Poder de Actores Alta Importancia/ Bajo Poder Alta Importancia/ Alto Poder * ACTOR A * ACTOR B Baja Importancia/ Bajo Poder Baja Importancia/ Alto Poder Fuente: Elaboración propia con base en Guijt y Woodhill, 2002. Recolección de información para el monitoreo y la evaluación niones periódicas con un grupo de participantes. En la primera reunión se pregunta al grupo qué cambios o aspectos considera importante lograr. Estos cambios serán los parámetros que serán monitoreados y analizados por el grupo en reuniones posteriores (la frecuencia de las reuniones dependerá del tiempo que requieran los cambios). En las reuniones subsecuentes, se pregunta al grupo cuáles han sido los cambios & ; ' =& ? ; < < =;= & ; ? & < = conocer los cambios y las razones de estos. Diagramas - Diagrama de Venn: Es una herramienta empleada para ilustrar las relaciones entre diversos actores, organizaciones, proyectos, servicios o instituciones vinculadas con la intervención: Página 75 @? <W portancia o poder relativo de cada uno (ver _ ;[`" =< = comprobar cambios en las relaciones de poder = =?? & atención. Para realizarlo, en primer lugar se dibuja un círculo con el tema/proyecto central. Se pide al grupo de participantes que hagan una lista de los grupos, personas, organizaciones o instituciones relacionadas con el círculo central. Para cada uno, se dibuja un círculo: el tamaño deberá ser acordado por los participantes de acuerdo al poder o importancia que tengan los actores, y la proximidad entre los círculos determinará el nivel de interacción. Los círculos que se superponen representan funciones compartidas y los círculos dentro de otros representan unidades en grupos u organizaciones más grandes. Figura 3. Ejemplo de Diagrama de Venn Lider de la comunidad Escuelas primarias Gobierno Estatal Iglesia Junta de Padres Educación Tradicional Alumnos Fuente: Elaboración propia - Diagrama de causa y efecto: en esta técnica ;=@ ==W (puede ser una actividad del proyecto, un problema en la comunidad, una situación, o cualquier otro relevante) como imagen central en un lugar visible. Posteriormente, se les pide a los participantes que comenten cuáles han sido las causas y consecuencias del hecho, actividad o problema. Estas se anotan de forma esquemática arriba y abajo (o antes y después) de la idea central, y se ;>? sal. Si se mencionan consecuencias indirectas, el facilitador debe intentar llegar a la consecuencia directa, incluyendo ambas en el diagrama. Página 76 Monitoreo y Evaluación de Proyectos Técnicas de jerarquización - Matriz de puntuación: permite hacer una comparación entre distintas opciones o soluciones a un problema y hacer un análisis sobre la ^=== la otra. Se hace una matriz y se insertan en = prioridad. Se discute con el grupo las venta+'+= de determinar los criterios que servirán para comparar las diversas posibilidades. Cada criterio se ubicará en las columnas de la matriz y se establece una puntuación máxima para cada = ; &+ capacidad de la solución para cumplir con el `+ '> partir de la comparación de cada alternativa y se anota en la tabla la puntuación para cada una. - Escalas de valoración o de preferencias: se establece un parámetro en el cual las personas deben ubicar sus opiniones, percepciones o sentimientos sobre un tema. Por ejemplo, se = ;? & de acuerdo, de acuerdo, no saben, en desacuerdo ción. También se puede enumerar una serie de elementos (por ejemplo: causas de un problema o soluciones del mismo) y pedir que cada persona los enliste por orden de importancia. Para llegar a una conclusión grupal, se pueden resumir los elementos a los que en promedio se les dio mayor o menor importancia. Esto permite incentivar el diálogo y conocer en más profundidad las razones detrás de la valoración. Mapas - Bosquejo de mapas comunitarios: es una " < = '=@W ;;&;= de acuerdo a la percepción de las personas involucradas. Consiste en pedir a las personas que hagan un dibujo de una determinada ubi ;;& (dibujando carreteras, pueblos, ríos, etc.) y señalando los recursos disponibles. Una vez que se ha dibujado el área, se les pide a los participantes que agreguen información (con dibujos o palabras) sobre lo que es más importante de la región, los problemas que existen, las mayores necesidades o cualquier factor relevante. '?> que los participantes estén conformes con el `+ ''=tir después de un periodo determinado (de preferencia con los mismos participantes), se >='?+ actual y luego se los compara con los anterioX=> el mismo mapa con colores o señalamientos distintos). Otras técnicas - Lluvia de ideas: es una técnica que consiste en pedir a las personas de un grupo que piensen tantas ideas como sea posible acerca =W`' en un lugar visible. Posteriormente, las ideas, temas o preguntas pueden agruparse o priorizarse, para analizarlas de forma general. Es importante aclarar desde el inicio del ejercicio que no se trata de un análisis profundo, para evitar juicios de valor sobre cada idea que surja. Por lo general, esta técnica se emplea al inicio de otras actividades para generar discusión y &;=' `"< = obtener una gran cantidad de información de un grupo sin enredarse en una discusión muy detallada. Además, incentiva la creatividad de los participantes. - Juego de roles: dinámica en la que un grupo de = = ' cotidiana respecto a problemáticas, percepciones o temas relacionados con la intervención del proyecto para luego discutirlas con el mismo grupo. La dramatización debe ser construi == facilitador debe registrar el ejercicio de forma Recolección de información para el monitoreo y la evaluación escrita o por medio de grabaciones. Esta es > < = @ cualitativa sobre un tema, pero antes de implementarla es importante tener presente qué tan cómodos se sienten los participantes haciendo 5.5 Cómo mejorar la calidad de la información Para aumentar las posibilidades de que la informa ==' evitar errores e inconsistencias en el proceso de recolección de datos y en su posterior análisis.Algunos de los errores más comunes y algunas propuestas para minimizarlos se muestran en laTabla 16. Página 77 (!) Siempre se debe considerar el contexto en el que se aplicará un método o técnica determinados del lugar, la población y los recursos disponibles. Esto es especialmente importante cuando se está trabajando con población que no sepa leer o escribir, en cuyo caso se deberán seleccionar los métodos focales o juegos de roles) o adaptar los métodos (por ejemplo, usando símbolos o imágenes en lugar de palabras escritas). Además del contexto, es muy formación que se quiere obtener, para seleccionar el método adecuado y para considerar el nivel de sensibilidad sobre ciertos temas. Tabla 16. Errores comunes en la recolección de información Error Selección de una Técnica Inadecuada: se eligen métodos de recolección de datos fuera de contexto, demasiado complicados o inoperables de acuerdo a los recursos disponibles. También se puede caer en el error de emplear la técnica de forma inadecuada, por ejemplo al plantear preguntas demasiado ambiguas o un método inadecuado de acuerdo a la información que se quiere obtener (por ejemplo, técnicas grupales para temas más sensibles). Recomendación Se recomienda hacer un profundo análisis previo a la selección de la técnica de recolección de datos, considerando las posibilidades, las necesidades de información y el contexto. Se puede reducir este riesgo, asegurando que el entrevistador y los involucrados conozcan los objetivos Sesgos del entrevistador: el entrevistador puede fácilmente indel proceso y valoren su importancia para el proyecto. =; ' Asimismo, previo a la recolección de datos, se pueden X == ' practicar las técnicas de entrevista y de facilitación paa través de su lenguaje verbal o no verbal) o de forma deliberada ra estar mejor preparados. Otra estrategia es enlistar (cuando el entrevistador es también responsable del desempeño con anterioridad todos los posibles problemas que se del proyecto y tiene un interés en los resultados del MyE). podrían presentar y proponer formas de evitarlos o solucionarlos. Sesgo de los Entrevistados: - Se recomienda plantear preguntas abiertas y mez- El sesgo de la empatía: al estar en un contexto muy posiclar preguntas positivas y negativas para evitar el tivo, en una situación muy amable, puede ser que la población sesgo de la empatía. evite decir cosas críticas. - Garantizar el anonimato y la promesa, con lo cual - Autocensura: no explicarse libremente por temor a que se se evita la autocensura del entrevistado. perciba como un riesgo. Se recomienda procesar la información reunida y Errores en el procesamiento de la información: muchos vaciarla inmediatamente después del ejercicio de de los problemas en la calidad de la información se deben a un recopilación de datos. Además, es muy recomenda; ' & ble tener formatos estandarizados para la docucuidados de los resultados o a fallas en las herramientas empleamentación, probarlos y adaptarlos previamente si das para vaciar la información. es necesario. Fuente: Elaboración propia con información de Guijt y Woodhill, 2002. Página 78 Monitoreo y Evaluación de Proyectos car los datos obtenidos periódicamente. Puede ser útil de recolección de datos, por ejemplo, cuando: - No se perciben problemas (en la mayor parte de los casos, los problemas serán inevitables y el no reportarse puede ser señal de alguna inconsistencia). - Los datos son demasiado precisos. - Se presentan grandes cambios de forma repentina. - Hay vacíos de información. Algunos consejos generales @ tenida en el proceso de MyE son fundamentales para asegurar la credibilidad de los resultados. Algunos consejos básicos para asegurar la calidad en la información se enlistan a continuación: - Recoger únicamente la información que será útil y que podrá emplearse.<mente se cae en el error de reunir demasiados datos y de baja calidad y formulamos un sistema /` =+ un análisis adecuado. Menos datos (de mayor calidad) pueden ofrecer información mucho &< = = posteriores del proceso de manejo de información. - Realizar una planeación adecuada: como se mencionó anteriormente, un diseño adecuado del proyecto así como del sistema de MyE es esencial para obtener información de calidad, esto incluye: formulación de indicadores ' necesidades de información de línea base, diseño cuidadoso del plan de monitoreo, selección de los métodos y las técnicas de recolección de datos más convenientes. "+ aunque no sea un enfoque riguroso o cientí- ? = = con una metodología rigurosa y pertinente de acuerdo a las necesidades de información. Los = lección de una muestra representativa y de la unidad de análisis adecuada. - Validación de la información: los datos obtenidos con un método de seguimiento, se ' @ método. - Triangulación de las fuentes: para asegurar la calidad de la información, es muy importante contar con diferentes fuentes, con distintos tipos de métodos e informantes diversos, para obtener una visión completa de la situación. - Combinar datos cuantitativos con información cualitativa: esto facilita el análisis, pues permite explicar, a través de la información cualitativa, algunos de los resultados que se obtienen con los datos cuantitativos. esto es fundamental para asegurar la pertinencia de los métodos y de la información obtenida. - Capacitación y preparación de quienes participan en la recolección: los encuestadores y entrevistadores deben estar capacitados para hacer bien su trabajo. Previo al ejercicio de recolección de información, se recomienda tener preparados los apoyos materiales (formatos y bases de datos para guardar la información) y de capacitación, asegurando que todos tengan las herramientas necesarias - Flexibilidad en la revisión de indicadores: conforme se desarrolle el proyecto, será necesario revisar las necesidades de información y los indicadores formulados en un inicio. Es nece ! ' o eliminar aquellas que ya no sean relevantes. Capítulo 6 Análisis y empleo de la información Análisis y empleo de la información Una vez que los datos de monitoreo y evaluación hayan sido reunidos, deben ser sistematizados y organizados para facilitar su interpretación y análisis posterior. Este análisis permite convertir los “datos brutos” en “conocimiento” para facilitar la toma de decisiones y el aprendizaje de la organi^ 12. 6.1 Sistematización y organización de datos Los datos pueden ser sistematizados de diversas maneras, dependiendo de la técnica de recolección que se haya empleado (por ejemplo, algunas quizá requieran llenar formatos, otras podrán requerir grabaciones o notas detalladas). Es importante determinar desde un inicio cómo se registrarán los diversos datos, de forma que puedan compararse y analizarse fácilmente. Además de saber cómo recopilar datos, el personal debe saber cómo registrar la información obtenida. Para esto se recomienda llevar a cabo una capacitación que prepare al personal para vaciar los datos y manejar > = en dónde se almacenará la información de tal forma que se guarde en un lugar seguro y accesible. Una vez que los datos hayan sido reunidos, se ; ^@=W datos electrónicas. Esta organización de la infor < === @mación distinta: cuando se quiere pasar de una unidad de análisis mayor a una más pequeña o para homogeneizar información proveniente de distintas fuentes y recopilada a través de distintos métodos. En los formatos se vacía la información por unidades de análisis, que pueden ser valores de medición o valores asignados a los distintos datos cualitativos. Una vez organizada bajo categorías o unidades, la información puede resumirse en tablas Página 81 ;&?@ & ; variable o pregunta de evaluación. 6.2 Análisis e interpretación de datos Idealmente, los resultados obtenidos del MyE se analizan en comparación con los datos de las líneas base establecidas al inicio del proyecto y en relación con los indicadores establecidos en la planeación. Si la línea base no existe, el análisis tenderá a ser más descriptivo, mostrando una fotografía de la situación presente pero no un análisis de cómo las circunstancias han cambiado a partir de la intervención. El análisis de la información consiste en identi '" la valoración de hallazgos importantes (análisis) o a partir de la agrupación de diversas fuentes de información para llegar a una comprensión global (síntesis). En este proceso de análisis se recomienda preguntarse: - ¿Los hallazgos son realistas? `& involucrados con los resultados? - ¿La información demuestra que se han alcanzado los objetivos del proyecto? - ¿Cuáles son los efectos deseados y no deseados? ==W?? ción? - ¿Qué elementos explican el éxito o fracaso del proyecto en cada nivel de intervención? - ¿Existen otros factores externos para ser considerados en los logros y fracasos? 12. Esta sección está en su mayor parte basada en los capítulos 7 y 8 de Bakewell et al., 2003, Sharpening the Development Process: a Practical Guide to Monitoring and Evaluation. Oxford, UK: International NGO Training and Research Centre (INTRAC). Página 82 Monitoreo y Evaluación de Proyectos - ¿Fueron las preguntas y los indicadores los más adecuados? pretada en hojas de cálculo con el apoyo de programas como Microsoft Excel, EPI-INFO o SPSS. - ¿Se emplearon los métodos correctos de recolección de datos? Análisis cualitativo: este tipo de análisis suele considerarse más complejo que el cuantitativo y consiste en leer y examinar la información obte = ;W= obtener una “fotografía” general de lo que signi ' '& ;<; = subjetiva, por lo que es importante asegurar que estas interpretaciones no estén sesgadas hacia la obtención de resultados positivos del proyecto. Para evitar esto, se recomienda que el análisis sea realizado por más de una persona o en una evaluación participativa. Consideraciones importantes para el análisis de datos - El análisis de la información debe hacerse en todos los niveles, desde el lugar de implementación del pro> ; ^ - Asegurar, en la medida de lo posible, que las personas involucradas en la recolección de información estén involucradas también en el análisis (si las personas ?< @ =& ;< ";? ;[ - El análisis debe ser participativo e involucrar tanto al equipo responsable de la ejecución del proyecto co `& = ? >!= ! = ' - El análisis debe hacerse de forma regular, de preferencia después de la recolección de datos, para permitir una mayor compresión sobre el desarrollo del proyecto. - La información no debe manipularse para producir resultados “correctos”. ` & + == ' !=W X=+= ? ; éxito o un fracaso pueden variar sustancialmente desde distintos enfoques). Categorías de análisis Existen dos tipos distintos de análisis de la información, el cuantitativo y el cualitativo. Análisis cuantitativo: consiste en la interpreta u otros valores numéricos, que son analizados a partir de operaciones sencillas como sumas, porcentajes y promedios o por medio de métoW & {= comprobar la relación entre distintas variables. Se recomienda mantener el análisis cuantitativo lo más sencillo posible para asegurar la exactitud y `? la información cuantitativa puede ser fácilmente organizada en distintas categorías, cruzada e inter- Entre la gran cantidad de datos, es posible encontrar mucha información interesante. Para no perderse entre tanta información, es importante @? =Wmente con los objetivos del MyE. Esto se logra revisando la evidencia de cambio para cada uno de los indicadores. Además de revisar los datos sistematizados y organizados, se recomienda regresar a las fuentes de ' X ;; fotografías, etc.), que pueden dar más información sobre puntos que no quedan claros con la información disponible. Existe también la posibilidad de “traducir” la información cualitativa en datos cuantitativos. Esto se hace asignando un valor numérico a las respuestas =; ?; ^ a partir de un análisis cualitativo previo. Ejemplo de asignación de valores cuantitativos datos cualitativos: Pregunta: ¿En dónde ha percibido un mayor impacto a partir del apoyo crediticio? En el ingreso En la educación En la salud No ha habido impacto Valor asignado +1 +1 +1 - 1 Análisis y empleo de la información Interpretación de los resultados El proceso de interpretación de los resultados ; >^; los análisis cualitativo y cuantitativo. Es un juicio ' ? ; obtenidos de los datos duros, las opiniones y los documentos. A partir de estas conclusiones se = @ = ^+ ?" funciona y qué no en términos de actividades, estrategias, enfoques y políticas; también se hacen recomendaciones para acciones futuras. Si el análisis de datos se hace para el monitoreo, esto puede resultar en una revisión del proyecto (actividades, objetivos, etc.) o en una revisión del sistema de monitoreo (nuevos indicadores, nuevos métodos de recolección, etc.). Si el análisis se hace como parte de una evaluación, se incluirán también recomendaciones sobre la totalidad del proyecto, su orientación y su impacto. Para facilitar la interpretación de los datos se puede emplear una tabla con los indicadores para cada nivel de intervención, y enseguida se describen los resultados que muestran los cambios para cada uno. La interpretación de avances en relación con los indicadores es una de las partes más importantes del proceso de MyE, pues permite mostrar el avance y derivar los aprendizajes del proyecto. Distintas interpretaciones de los resultados darán recomendaciones diferentes, por ello es importante que la interpretación sea un proceso colectivo, que involucre preferentemente Conclusión del análisis: recomendaciones El análisis permite mostrar los avances del proyecto y explicar el porqué de los logros (o en su caso, de los fracasos). A partir de este análisis, es posible sacar conclusiones, hacer recomendaciones de cambios futuros que requiera el proyecto y para la organización, e incluso puede generar aprendizajes para otras organizaciones. Página 83 Las recomendaciones son propuestas de implementación de cambios o nuevas acciones basadas en la evidencia y las conclusiones del análisis. Implican comparar alternativas, revisar prioridades = contexto más amplio. Al elaborar las recomendaciones, vale la pena preguntarse: - ¿Existen limitantes al proyecto generados por la falta de capacitación o de recursos del proyecto? - ¿Existen limitantes que son externas al proyecto? Si es así, ¿qué se puede hacer para minimizar su efecto? - ¿Son los resultados y las actividades implementadas los más apropiados? ¿Siguen siendo éstas las necesarias y adecuadas? - ¿Son los objetivos del proyecto los adecuados? - ¿Existen preguntas sobre el progreso del proyecto que no pueden responderse a partir del proceso actual de monitoreo y evaluación? Para hacer recomendaciones pertinentes, se debe tener conocimiento sobre el contexto organizacional en donde se tomarán las decisiones programáticas, y sobre el contexto social y económico en donde opera la iniciativa. Para asegurar que las ! nar sobre lo que es realmente viable teniendo en cuenta los tiempos y recursos y el contexto del proyecto. Por otro lado, las recomendaciones deben dialogarse y acordarse con los responsables =@ manera que ayuden realmente a introducir cambios en la acción y no solo a señalar un problema existente. Cada recomendación debe mostrar las =W?; = =bles de los cambios. Además de las recomendaciones para el proyecto, las conclusiones del análisis pueden arrojar también recomendaciones más generales y buenas =& < = = metodologías o contextos similares. Página 84 Monitoreo y Evaluación de Proyectos Diferencia entre lecciones, buenas prácticas y recomendaciones… Lecciones Aprendidas: más relacionadas con el proceso de gestión del proyecto, y sobre todo en relación con el impacto. Buenas Prácticas: cuando una experiencia resulta ser muy exitosa y se quiere destacar entre otras organizaciones. Las buenas prácticas muchas veces se desarrollan más en el nivel de las metodologías empleadas, y son transferibles a otros casos similares. Recomendaciones: están vinculadas a conclusiones & ; @ ciencia. Presentación del análisis La presentación del análisis y las recomendaciones que hayan resultado del proceso de MyE puede hacerse a través de: - Reportes: es el registro escrito del análisis y es importante para transferir los aprendizajes a proyectos futuros. - Reuniones: suelen hacerse con los responsables del proyecto o los donantes. - Talleres: se emplean sobre todo para compartir las conclusiones y revisar las recomendaciones con un grupo más amplio de involucrados, =Wciaros. Es muy recomendable que la información del análisis sea presentada de forma visual y esquemática = ;;& 6.3 Empleo de la información ? ?+ '/` < tener en cuenta las siguientes consideraciones para la difusión de la información: - Asegurar claridad en el mensaje. - Facilitar la comunicación empleando métodos ;& - Acordar desde un inicio la frecuencia con la que se comunicará la información. - Promover que la información se comunique en los tiempos adecuados y más oportunos. - Tener en cuenta el contexto para determinar el lugar y la forma de comunicar los avances o resultados. El uso de la información por lo general está enfocado a lograr alguno de los siguientes objetivos principales: Rendición de cuentas La rendición de cuentas “hacia arriba” (a los directores de la organización o a los donantes) es por ;+ '&</`= muchas veces es requisito para dar continuidad al proyecto. Sin embargo, es importante que la rendición de cuentas sea también hacia los involu =` forma natural en los procesos de MyE participati'@? hagan su propio análisis, den recomendaciones al proyecto, e implementen los cambios sugeridos en la evaluación. Mejorar el desempeño Unos de los objetivos principales de las evaluaciones es el de capacitar a las organizaciones y a las personas para que aprendan de la propia experiencia con miras a mejorar el rendimiento en el futuro. Para esto, las recomendaciones de cambio surgidas deben analizarse, difundirse y ponerse en práctica. La implementación de los cambios puede ser un proceso difícil, pues requiere un alto nivel de introspección y autocrítica por parte de los responsables del proyecto. Algunas preguntas guía para facilitar este proceso son: - ¿Quién es responsable de implementar los cambios? ¿Quién debe aprobar estos cambios dentro de la organización? ¿Se requiere aprobación del donante? - ¿Cómo se dará seguimiento a los cambios? Análisis y empleo de la información - ¿Qué impacto tendrán estos cambios sobre la ; X > y de tiempo)? - ¿Qué posibles resistencias se pueden enfrentar y cómo se manejarán? Una evaluación debe contar con un mecanismo para seguir las recomendaciones e implementar las acciones necesarias para reencaminar el proyecto. `<&' tienen que ver con la gestión y administración de la organización, el uso inadecuado de los recursos = ' Si bien la implementación de cambios puede ayudar a mejorar sustancialmente el desempeño del proyecto, se debe evitar hacer demasiados cambios con demasiada frecuencia, pues se puede poner en riesgo la estabilidad del proyecto. Algunas veces, puede ser más recomendable dejar que las circunstancias se desarrollen por sí solas: == ; el paso del tiempo, o su misma resolución puede fortalecer a los actores involucrados. K@< =; = las recomendaciones se presenta en la Tabla 17. Página 85 Esto permitirá que la organización pueda continuamente mejorar su capacidad de alcanzar objetivos y metas y logre satisfacer las necesidades != ' demás involucrados. Si esto no ocurre, se corre el riesgo de malgastar los recursos, repetir los mismos errores y no aprender de la experiencia para mejorar el desempeño y fortalecer la organización. Actualmente hay diferentes factores que afectan los procesos de aprendizaje de las actividades de MyE al interior de las organizaciones. Veamos: % =+@ cuando puede poner en riesgo la continuidad de los proyectos o las probabilidades de apro ' - Limitada cultura de evaluación, al no reconocer las ventajas del MyE para el proyecto o para la organización. - Debilidades organizativas, como la falta de estandarización de los procesos de MyE, la alta rotación de personal o priorización de las acciones cotidianas, y poca inversión de tiempo o recursos para la planeación del MyE. Aprendizaje - Falta de apropiación de las conclusiones y recomendaciones por parte de los encargados de la planeación y ejecución de nuevos proyectos. Responder a las recomendaciones para mejorar el proyecto en marcha puede ser más fácil que asegurar que el aprendizaje sirva para el futuro. Las lecciones aprendidas tendrán que institucionalizarse para que haya cambios en los proyectos, programas, prácticas, procedimientos y políticas futuras de la organización. - Valor limitado del mismo MyE, ya sea porque los resultados y recomendaciones no están vinculados a la realidad del proyecto, las recomendaciones no son pragmáticas o realistas, o =?> ; ' el contexto que hacen que los resultados de la evaluación sean irrelevantes. Tabla 17. Tabla resumen de recomendaciones Recomendaciones (formuladas en el informe de evaluación) 1. 2. Fuente: Bakewell et al., 2003. Responsabilidad (dirigentes, coordinadores, directores de proyecto) Fecha límite (3 a 6 meses, 1 año) Página 86 Monitoreo y Evaluación de Proyectos Un adecuado aprendizaje requiere el desarrollo =W=@ cionalización de las lecciones aprendidas y tomar medidas para que estos sistemas sean realmente @ '` ; - Garantizar la memoria de la organización: los aprendizajes deben ser institucionalizados a través de mecanismos que aseguren que el conocimiento adquirido por las personas se mantenga en la organización, aun cuando los individuos ya se hayan ido. Esto se puede lograr fácilmente a través de medios electrónicos que permitan almacenar los reportes de MyE. - Asegurar que los aprendizajes sean accesibles: ; ; ^= el acceso a los informes y reportes, así como facilitar su revisión en un archivo fácilmente ;X@W [ - Aplicar el aprendizaje: solo cuando las lecciones son realmente tomadas en cuenta e implementadas, se puede alcanzar un proceso de aprendizaje continuo. - Aprendizaje compartido: las lecciones que pueden funcionar para la propia organización muy probablemente podrán ser de utilidad para otras organizaciones, y viceversa. Comunicación y difusión Los resultados (positivos o negativos) de todo el proceso de MyE deben ser difundidos entre diversos actores directa o indirectamente involucrados en el proyecto, para asegurar la implementación y continua retroalimentación de aprendizajes. La adecuada difusión de los resultados es fundamental para optimizar el valor agregado del MyE. No existe solo una forma para desarrollar una estrategia ^ X'Y#¡[= puede guiarse por algunas preguntas básicas: - "=< /` & @ &= < para compartir? - ¿Cuál es la m+=;=< Las estrategias y mensajes de comunicación, que van desde boletines informativos, reuniones de diálogo y talleres hasta la difusión en materiales impresos, dependerán del tipo de audiencia: - Equipo responsable de la implementación ] Donantes Donantes potenciales Individuos asociados a la organización Otras organizaciones Tabla 18. Ejemplo de Estrategia de Difusión Medios de difusión Informes de monitoreo Informes de evaluación Z<+ '`! Páginas web Intranet Seminarios / Talleres Fuente: Gosparini et al., 2004. Sede Coordinadores y principal equipo del proyecto X X X x X X X x Otras ONG Donantes X x Involucrados/ ; X X X X X x X Capítulo 7 Monitoreo y evaluación en proyectos de incidencia y de emergencia Monitoreo y evaluación en proyectos de incidencia y de emergencia En esta sección revisaremos algunas consideraciones importantes del MyE para proyectos de campañas e incidencia y proyectos de atención a la población en situación de emergencia. El análisis de estas intervenciones es relevante, pues representa dos extremos de la cooperación internacional, uno de ayuda inmediata y otro de atención de las causas estructurales de problemáticas sociales. Además, por su propia naturaleza, son intervenciones generalmente más difíciles de monitorear y evaluar e involucran procesos de MyE distintos a las intervenciones tradicionales. Sin embargo, dada su relevancia y generalización, es fundamental medir los avances y el impacto de este tipo de iniciativas.13 7.1 Monitoreo y evaluación en proyectos de incidencia Ante las limitantes que pueden tener los proyectos sociales que se desarrollan en medio de un contexto más amplio de inequidad, injusticia y limitado acceso a la participación ciudadana, la necesidad de lograr cambios de fondo en las estructuras políticas, económicas y sociales ha sido cada vez más evidente. Diversas organizaciones han afrontado esta necesidad por medio de estrategias de campañas e incidencia (ya sea como su estrategia central o complementaria a los proyectos), enfocadas a generar los cambios estructurales requeridos. La incidencia es el empleo estratégico de la in@ = =W acciones de quienes detentan el poder, con el objetivo de lograr cambios positivos en las vidas de las personas.Así, una campaña puede tener co- Página 89 mo objetivo de cambio la incidencia en una ley, en =W =< ==@ y participación de la sociedad civil, apertura democrática y defensa de derechos, etc. %?+ ' cidencia consiste en generar cambios en las vidas de las personas, las acciones también deben estar basadas en el conocimiento y en la experiencia = NW igual que en cualquier otro tipo de iniciativa, se recomienda que la incidencia sea esencialmente participativa, que retome necesidades reales y esté dirigida a empoderar a individuos y comunidades para que incidan en las decisiones que les afectan. Las razones para monitorear y evaluar proyectos de incidencia son las mismas que para otros proyectos de desarrollo: rendición de cuentas, mejora en el desempeño, aprendizaje y difusión. Poder evaluar el impacto de este tipo de intervenciones es fundamental, pues lograr un objetivo de incidencia no necesariamente se traduce en un cambio positivo en la vida de las personas (por ejemplo, si se logra la aprobación de una política en defensa de los derechos de las personas con discapacidad en las escuelas primarias, pero no se asigna presupuesto para la capacitación del personal escolar en el tema, habrá pocos cambios para la población infantil con discapacidad). Es posible además que >^+ '< dencia, pero se logre un impacto secundario a raíz de la estrategia implementada (por ejemplo, ;= =W =< pero se genera mayor concientización sobre las necesidades y los derechos de las personas con discapacidad). Por estas razones, es importante desarrollar una evaluación que mida el impacto de este tipo de acciones. 13. Esta sección se basa en su mayor parte en dos publicaciones de INTRAC: Capítulos 9 y 11 de Bakewell Adams y Pratt, 2003, y el documento de O´Flynn 2009, así como de “A Guide to Measuring Advocacy and Policy” de Reisman, Gienapp y Stachowiak, 2007. Aquí se desarrolla tan solo de manera breve el tema de MyE en proyectos de incidencia y de emergencia, por lo que se recomienda consultar estas fuentes para más información, así como los recursos adicionales electrónicos adjuntos a este manual. Página 90 Monitoreo y Evaluación de Proyectos Diferencias en el diseño de la inter vención La labor de monitorear y evaluar el trabajo de incidencia es compleja, sobre todo al diseñar un sis/` < ' ^ - El diseño de objetivos claros puede resultar más complicado que para otro tipo de proyectos. Esto es especialmente cierto en el caso del diseño de objetivos intermedios o de corto plazo, pues por lo general aparecen como logros de proceso y no de impacto. - Las estrategias de incidencia no se adaptan fácilmente a la matriz de marcó lógico, ya que la relación entre actividades, resultados y objetivos no es tan directa al depender de otros (aliados, grupos objetivo de la incidencia, sociedad civil, medios, etc.). - Si bien puede emplearse también la metodología de marco lógico, la lógica de intervención > & ! objetivos de incidencia de una campaña son revisados y adaptados de forma más frecuente que en otro tipo de intervenciones. - A diferencia de proyectos de desarrollo, que son generalmente apoyados por la mayor parte de los involucrados, los proyectos de incidencia, por su propia naturaleza, parten del supuesto de que habrá oposición abierta a sus objetivos. dir, especialmente los logros intermedios o de avance. - Existen diversas fuerzas externas que pueden contribuir u obstaculizar el logro de los ob+ ' de los avances, logros o fracasos a la propia organización. - En comparación con otros proyectos de desarrollo, la incidencia es de largo plazo: toma más tiempo comprobar cambios sustantivos. `<?> @ en las estrategias y hasta en los objetivos: el contexto y los actores clave están en constante cambio. Aun cuando la formulación de objetivos sea la más adecuada, es casi imposible iden ='' ?= =?; ^ + ' ^ determinado momento, puede ser completamente irrealizable poco tiempo después. - Los impactos en muchas ocasiones son más difíciles de medir, pues los cambios deseados suelen ser en un nivel mucho más amplio (mayor población, varios territorios, etc.), y por lo tanto más costosos de monitorear y evaluar en términos de recursos y tiempo. - Por lo general, es difícil contar con información de línea base (por ejemplo, para un tema políticamente sensible es más difícil tener información sobre las posiciones u opiniones de =? ir. - Mientras que los objetivos de proyectos tradicionales son formulados como un logro de “progreso”, los objetivos de incidencia pueden, en ocasiones, formularse en términos de “defensivos” (por ejemplo, evitar que pase una ley que atenta contra la seguridad alimentaria de la población). Recomendaciones claves para Monitoreo y Evaluación en proyectos de incidencia Diferencias para el monitoreo y la evaluación Diseño y formulación de objetivos de incidencia claros <+ ' intangibles y por lo tanto más difíciles de me- Al igual que con otros proyectos, las estrategias de incidencia (ver Tabla19) requieren una formu- Las siguientes consideraciones pueden ayudar a facilitar el MyE de proyectos de incidencia: Monitoreo y evaluación en proyectos de incidencia y de emergencia lación clara de objetivos y resultados, así como un sistema de MyE adecuado. Para desarrollar los objetivos de incidencia, es necesario preguntarse: ¿Qué cambios se quieren lograr con el proyecto? ¿Qué está mal, qué debe cambiar? ¿Qué soluciones alternativas pueden adoptarse? Los objetivos de cambio de una campaña pueden ubicarse dentro de las siguientes categorías: - Lograr mayor concientización sobre un tema. - Contribuir al debate sobre un asunto en particular. - Fortalecer las capacidades de incidencia de la propia organización o de organizaciones aliadas o socias. ; = =< ; =W =< - Conseguir la implementación de políticas (nuevas o existentes). Uno de los errores más comunes de los proyectos de incidencia es que se plantean objetivos demasiado ambiciosos e irrealizables de acuerdo al contexto social, económico y político (local, Página 91 nacional y global). De tal forma que al desarrollar los objetivos es fundamental entender claramente cuál es la situación actual y qué es realmente alcanzable durante el periodo del proyecto. Cualquiera que sea el nivel de impacto que se busque, los objetivos de incidencia deben ser claros y realistas, lo cual puede facilitarse con un análisis detallado de la realidad a través de distintas herramientas, como los mapas de poder y las teorías de cambio14. Desarrollo de metas e indicadores medibles Se recomienda establecer indicadores y metas es=W ?= 'luar el avance y logro de los objetivos de incidencia y la calidad de lo que se ha hecho (actividades). Dada ha encontrado de gran utilidad emplear indicadores substitutos o “proxy” (ver sección 5.2). Asimismo es importante tener en mente que para responder a circunstancias cambiantes, es muy probable que los objetivos y las actividades de un proyecto de incidencia tengan que adaptarse con el transcurso del tiempo, para lo cual también tendrán que adaptarse los indicadores. Tabla 19. Tabla guía de indicadores para estrategias de incidencia Tipo de estrategia Ejemplo de Indicadores de Proceso Ejemplo de Indicadores de Efecto < ' campaña. < = ?= - Cantidad de cobertura de la campaña en sobre actividad de la campaña (prensa escrita, radio, medios. Internet, televisión; medios especializados o generales; 1. Difusión e im- Calidad de cobertura de la campaña en medios invitados frente a medios atraídos, etc.) pacto en medios medios (profundización del tema, prioriza <"= ción, réplicas, message echoing, etc.) < &X; por la campaña). - Respuestas de especialistas y líderes de opinión. 14. Para más información ver Coffman, 2007. Página 92 Monitoreo y Evaluación de Proyectos / =< =- Porcentaje de personas que conocen la problemática, & =W =< porcentaje de personas que conocen las propuestas de relacionadas. la campaña. - Cambio en la percepción sobre el proble2. Sensibilización y - Cantidad registrada de acciones colectivas. ma (se considera positivo o negativo, se participación de - Cantidad registrada de acciones individuales. conocen riesgos, se le da mayor importanla ciudadanía <W= ? cia, etc.). favor de las demandas de la campaña. - Mayor conocimiento de las propuestas y < = =={ objetivos de la campaña. <; ^ ' = ^ - Mayor disposición de la ciudadanía a actuar de la campaña. para incidir en las políticas gubernamentales. < =< ante instancias gubernamentales. - Nivel de comunicación y colaboración con funcionarios =< = &;~= = = ={= enviar el mensaje correspondiente a las autoridades. - Desarrollo de políticas o leyes < ;?==- - Adopción o cambios en políticas o leyes 2. Incidencia en puesta - Implementación de políticas o leyes gobierno - Cambio en percepciones y opinión, en porcentaje, de - Observancia de políticas o leyes = @'+ ' - - Incremento o redistribución de presupuesdencia tos - Investigaciones, diagnósticos e informes entregados, propuestas presentadas a instancias de gobierno. W ? =W nuestras demandas - Nivel de colaboración y coordinación con aliados (reuniones, estructura, rol de la di < = = rección, rol de la propia organización en - Fortalecimiento de las capacidades de cada organizala alianza, participación activa de todos los 3. Generación o ción y de la alianza en su conjunto miembros, etc.). fortalecimiento - Logros conjuntos en acciones de concientización so- Capacidad para alinear esfuerzos (coinde alianzas = =< cidencia de prioridades y objetivos; re=W =< partición de actividades; acuerdo sobre el trabajo que corresponde a cada quien; negociaciones, cabildeo y actividades de incidencia realizadas en conjunto). - Nivel de colaboración y coordinación con aliados (reuniones, estructura, rol de la dirección, rol de la propia < = = organización en la alianza, participación activa de todos tema 3. Generación o los miembros, etc.). - Fortalecimiento de las capacidades de cada fortalecimiento - Capacidad para alinear esfuerzos (coincidencia de organización y de la alianza en su conjunto de alianzas prioridades y objetivos; repartición de actividades; - Logros conjuntos en acciones de concienacuerdo sobre el trabajo que corresponde a cada tización sobre un tema, cambios en la opiquien; negociaciones, cabildeo y actividades de inciden =< =W =< cia realizadas en conjunto). Fuente: Elaboración propia con información de Reisman et. al, 2007. Establecer unidades o niveles de evaluación La incidencia involucra e impacta a diversos ti= X? &=W ; =- ña), población en general, organizaciones locales, organizaciones aliadas, tomadores de decisión X; ' =< [= académicos y líderes de opinión. Esta variedad =< + '> un análisis de involucrados desde el inicio, tanto Monitoreo y evaluación en proyectos de incidencia y de emergencia para el diseño de la intervención como para el diseño del sistema de monitoreo y evaluación. En este sentido, se recomienda hacer monitoreo en varios niveles: - Monitoreo del grupo objetivo - Monitoreo de relaciones y aliados - Monitoreo de medios / = =< Mantener el sistema de monitoreo y evaluación simple y sencillo Con tantas consideraciones de factores externos, niveles de análisis, actores e implicaciones de contexto, el sistema de MyE para proyectos de incidencia puede volverse demasiado complejo. Por eso se recomienda que las herramientas de MyE sean lo más sencillas posible, y se debe evitar dedicar demasiado tiempo y recursos a estas actividades. Si los objetivos e indicadores son claros, no se requieren sistemas de evaluación muy complejos. Asimismo, buena parte del monitoreo de las acciones puede darse de manera informal, con la información disponible y las acciones que de cualquier forma se llevarían a cabo (revisión de medios, diálogo con aliados, etc.). El resto de la información no disponible se puede reunir por medio de técnicas de recolección de datos como encuestas, grupos focales, observación en reuniones y diálogos. En este sentido, es muy recomendable que la información sea triangulada (que provenga de fuentes distintas) para asegurar Dedicar suficiente tiempo al análisis y la reflexión sobre los avances y limitantes En proyectos de incidencia es especialmente ! ; ? permitan analizar en profundidad y críticamente los avances y las limitantes de las acciones de la Página 93 campaña. Si bien parece algo sencillo, es algo que <+` &;= hacer en los espacios regulares de reunión entre el equipo encargado de la labor y miembros de organizaciones aliadas, y es un momento ideal para: - Actualizar información sobre los indicadores y el progreso logrado. - Revisar otra información que muestre los avances o limitantes. ; @!X ternos) que hayan cambiado. - Hacer recomendaciones, adaptarse a nuevos escenarios y desarrollar nuevos planes, objetivos e indicadores, si es necesario. En este análisis es muy importante monitorear también la contribución general de la campaña, independientemente de haber alcanzado o no los objetivos principales planteados. Existen muchas contribuciones positivas que se pueden estar logrando y que no están siendo consideradas dentro de los logros. Por ejemplo, el posicionar un = =< == terreno para acciones posteriores, sino que es un logro en sí mismo al generar cambios en el nivel de concientización de la sociedad sobre una problemática. 7.2 Monitoreo y evaluación en proyectos de emergencia Los proyectos de emergencia son aquellos que se llevan a cabo en situaciones de crisis, ocasionadas por desastres naturales (huracanes, terremotos, etc.), un colapso repentino en los medios de vida = X>?W[ social generalizado. En medio de situaciones de emergencia como estas, la acción de las organizaciones se concentra en la entrega inmediata de la asistencia para salvar vidas y aliviar el sufrimiento de las personas afectadas por el desastre. Página 94 Monitoreo y Evaluación de Proyectos Por lo general, son circunstancias que inician de forma repentina, sin posibilidades de detenerse a planear cuidadosamente la intervención.15 En momentos tan críticos, la planeación del MyE es << = ? entrega de la ayuda equivale a una acción positiva por sí misma, sin necesidad de evaluar el efecto de dicha acción. Sin embargo, la práctica ha demostrado que esto no es necesariamente cierto, y en muchas ocasiones los proyectos de intervención en situaciones de emergencia no alcanzan sus objetivos o incluso pueden llegar a causar mayor daño. Veamos algunos ejemplos de posibles efectos negativos de este tipo de intervenciones: - Se entrega la ayuda inadecuada (alimentos que no pueden ser preparados o medicinas inapropiadas para el tipo de padecimiento). - La ayuda de emergencia incrementa la vulnerabilidad económica de una comunidad al deteriorar el tejido productivo local (por ejemplo, al introducir alimentos bajan los precios de los alimentos, perjudicando a los productores locales). - Mala administración de la ayuda (ante situaciones de emergencia, suelen incrementarse los += mismos). Una planeación y un proceso de monitoreo y evaluación adecuados son cruciales para evitar o minimizar este tipo de problemas. Incluso se podría decir que el monitoreo y la evaluación son =<&' emergencia que en circunstancias normales, pues las consecuencias negativas de una intervención inadecuada son más inmediatas y pueden ser más =+ ;> que es importante tener en cuenta. Dificultades relacionadas al MyE en acciones de emergencia - El equipo de trabajo está completamente concentrado en la entrega de ayuda inmediata. - Existe por lo general un cambio constante de personal, por lo que es difícil mantener y aprovechar los aprendizajes. - La respuesta humanitaria menoscaba las instituciones locales, como instancias de gobierno, organizaciones o líderes locales (al responsabilizarse de la situación, las organizaciones que intervienen no permiten que las instituciones locales adopten y fortalezcan su conocimiento sobre cómo actuar ante crisis futuras). - Es probable que la comunidad afectada tenga pocas posibilidades para participar activamente en la intervención o en el MyE. - Se genera una “cultura de dependencia” cuando la ayuda no está acompañada de una estrategia para fortalecer capacidades y asegurar la independencia de la ayuda exterior. - La situación tiende a cambiar rápidamente, y hace que la información de línea base y de avance cambie también. ; = políticos por parte de actores locales (lo que = [ - La población puede estar desplazada de sus >; =; al impacto del proyecto. - El proyecto puede desarrollarse en un ambien ; ? diarias del equipo, incluyendo los procesos de MyE. 15. Muchos proyectos de emergencia, incluyen también componentes de prevención o gestión de desastres y reconstrucción de medios de vida. Estas intervenciones pueden considerase más similares a proyectos de desarrollo tradicionales, por lo que las W /` ;= `=W ' =W tres, y no a proyectos de prevención o gestión de riesgos o de restitución de medios de vida. Monitoreo y evaluación en proyectos de incidencia y de emergencia - En situaciones de emergencia a gran escala, < ? '; > ; ; ^ @ ? < objetivos y estrategias distintas. ` ; = == " estar involucrados, lo cual genera dilemas sobre su rol en el manejo, el monitoreo y la evaluación de proyecto. Página 95 Diseño del sistema de MyE para emergencias Al ser los objetivos de los proyectos de emer; ; ' considerar preguntas para el seguimiento y la evaluación e indicadores adaptados a la realidad del tipo de proyecto. Así, se encontrará que por lo general los indicadores parecerán menos de impacto y más de efecto o resultado. En la Tabla 20 se muestra un ejemplo de preguntas e indicadores para un proyecto de atención humanitaria. Tabla 20. Preguntas e indicadores en un proyecto de atención humanitaria Proyecto de emergencia: Distribución de raciones alimentarias secas o hidratadas a la población en riesgo Preguntas clave ! Posibles indicadores + '`=W ¿Cuáles son los efectos del acceso / uso / satis@ rios con respecto a los bienes recibidos y a los servicio brindados? ¿Cómo ha contribuido la distribución de raciones alimentarias (secas o hidratadas) a la reducción de la tasa de mortalidad o de malnutrición entre la población meta? > ción de raciones alimentarias (secas o hidratadas) sobre las estrategias de supervivencia y de adaptación de la población meta? - Tasa de mortalidad bruta para hombres, mujeres, madres {X<=#= do de X% en un periodo determinado) - Tasa de malnutrición para la población meta (por sexo, grupo de edad, etc.) (mantenido / bajado a X%). - Porcentaje de niños meta menores de 5 años con problemas de malnutrición (reducido de X%). - Porcentaje de ingreso de las familias gastado en alimentos (reducido de X%). - Porcentaje de personas objetivo, hombres, mujeres y niños que se han quedado o se han desplazado a lugares adecuados (X%). <=?> = programa (X y X% personas que ya no encajan en los criterios de elegibilidad). - Porcentaje de la población meta que vende sus bienes para sobrevivir (reducido de X%). Fuente: Gosparini et al., 2004. Monitoreo de proyectos de emergencia La primera etapa del monitoreo consiste en reportes situacionales, en donde se describen cambios en la situación general, las actividades del proyecto y los objetivos inmediatos. La necesidad de generar nuevos reportes dependerá de la rapidez con que se desarrollen los cambios (que pueden desarrollarse con mayor o menor periodicidad y generar menos reportes a medida que la situación se estabilice). Los reportes de monitoreo pueden incluir: Página 96 Monitoreo y Evaluación de Proyectos < = N ' < porte. - Cambios en el plan del proyecto y razones de estos cambios. Es muy probable que estos reportes sean ela = = embargo, la participación debe ser considerada ;<=yecto, por ejemplo levantando encuestas entre la población sobre la calidad y los efectos de la intervención. Otro aspecto que debe cuidarse con especial atención en proyectos de emergencia es ` > ocasiones, ante la situación de urgencia y la relativa disponibilidad de recursos, los controles ! ^ < ? existan vacíos de información sobre cómo se ha gastado el recurso. Evaluación de proyectos de emergencia En este tipo de proyectos de corto plazo es mucho más difícil hacer una distinción entre los procesos de monitoreo y los de evaluación. Por lo general, ' >&> vención. Los objetivos de la evaluación son los mismos que en otro tipo de proyectos, con grandes posibilidades de aprovechar el aprendizaje para futuras situaciones de emergencia. En este caso, ' X == [ reformulados para adaptarlos a las necesidades de evaluación en circunstancias de crisis.Veamos: - Adecuación (pertinencia): ; sólo asegurar la pertinencia del proyecto, sino también su adecuación a las prioridades, formas =& adaptación de las actividades humanitarias a las necesidades locales para asegurar su apropiación (por ejemplo entrega de ayuda alimentaria adecuada, de tal forma que pueda ser preparada en el contexto local). - Articulación (sostenibilidad): necesidad de garantizar que las actividades de emergencia a corto plazo tomen en cuenta el largo plazo y el contexto más amplio, considerando todas las interrelaciones, los efectos e impactos que puede tener la acción inmediata en la situación posterior de estabilidad (por ejemplo, contratar a personal local capacitado puede generar su salida de escuelas u hospitales locales). Para poder atender las necesidades inmediatas hay que considerar el impacto de las actividades en un contexto más amplio. - Coherencia: analizar la forma en que el proyecto de la propia organización se introduce en coordinación con otras organizaciones, con el gobierno local y otras autoridades. Es importante evaluar si la intervención logra evitar o duplicar esfuerzos y no obstaculizar la labor de otros actores. - Cobertura: es necesario valorar qué tanto alcanza la intervención a llegar a toda la población afectada, y si todos los grupos fueron incluidos sin distinción de género, grupo étnico o posición política. Página 97 Referencias Bailey, C. (1995). A Guide to Field Research. EEUU: Pine Forge Press. Bakewell O., Adams J. y Pratt B. (2003). Sharpening the Development Process: a Practical Guide to Monitoring and Evaluation. Oxford, UK: INTRAC, The International Non-governmental Organisation Training and Research Centre. CE, Comisión Europea (2002). Manual Gestión del Ciclo de Proyecto. Unidad de Evaluación de la = `=N CE, (2006). Metodología de Evaluación de la Ayuda Exterior de la Comisión Europea. Bases Metodologías de Evaluación. Francia. Cohen, Ernesto, y Martínez, Rodrigo (2003). Manual de Formulación, Evaluación y Monitoreo de Proyectos Sociales. Santiago de Chile: CEPAL, Comisión Económica para América Latina y el Caribe. Coffman, J. et al. (2007). Using the Composite Logic Model to Articulate an Advocacy Strategy or Theory of Change [En línea]. Disponible en: http://www.gse.harvard.edu/hfrp/eval/issue34/ index.html DFID, Department for International Development (2002). Tools for Development. A handbook for those engaged in development activity. ECHO, European Comision Humanitarian Aid and ' @X$¢[`' @manitarian Aid by and for NGOs. A guide with ideas to consider when designing your own eva ' `=N =ración. Página 98 Monitoreo y Evaluación de Proyectos Food and Agriculture Organisation [FAO] (2001). Programa de análisis socioeonómico y género. Roma: Autor. Fundación CIDEAL (2001). El enfoque del marco lógico: 10 casos prácticos. Cuaderno para la identifcación y diseño de proyectos de desarrollo. Madrid: Centro de Cooperación y Ayuda al Desarrollo. Giffen J. (2009). The Challenges of Monitoring and Evaluating Programmes. Oxford UK: INTRAC. Gosling, L., and M. Edwards (1995). Toolkits: A Practical Guide to Assessment, Monitoring, Review and Evaluation. Development Manual 5. London: Save theChildren. Gosparini, P., Russo, L., Sirtori, M., Valmarana, C. (2004). Manual de monitoreo y evaluación de las ONGs de Forum Solint. Roma: CISP, DNR. Guijt I. y Woodhill J. (2002). Guía para el Seguimiento y Evaluación de Proyectos. Gestión orientada al impacto en el desarrollo rural. Roma: IFAD, International Fund for Agricultural Development. `' ` Kusek J. y Rist R. (2004).Ten steps to a results-based monitoring and evaluation system: A handbook for development practitioners. Washington, DC: World Bank. Londoño, N. (2009). Formulación de Proyectos: Enfoques, Procesos y Herramientas” Análisis de 40 guías metodológicas producidas por agencias de cooperación internacional. Medellín, Colombia: Escuela Latinoamericana de Cooperación y Desarrollo. OECD – Organization for Economic Co-operation and Development / DAC – Development Assistance Committee (1998). Review of DAC Principles for Evaluation of Development Assistance. Paris. OECD / DAC (2002). Glosario de los principales términos sobre evaluación y gestión basada en resultados, París, DAC, Evaluation and Aid Effec '£W O’Flynn (2009).Tracking Progress in Advocacy:Why and How to Monitor and Evaluate Advocacy Projects and Programmes. Oxford UK: INTRAC. Ortegón, E., Pacheco, J.F y Prieto, A. (2005). Meto;W ; = = el seguimiento y la evaluación de proyectos y programas. Área de proyectos y programación de inversiones, CEPAL. Santiago de Chile: ILPES, Instituto Latinoamericano y del Caribe de Plani ` OXFAM (1995).A Basic Guide to Evaluation for Development Workers. UK. PNUD, Programa de Naciones Unidas para el Desarrollo (1997). Who are the Question-makers? A Participatory Evaluation Handbook. [En línea]. Disponible en: http://www.undp.org/evaluation/ documents/who.htm [Consultado: 12 de agosto de 2010]. PNUD (2009). Handbook on Planning. Monitoring and Evaluating for Development Results. Nueva York Reisman J., Gienapp, y Stachowiak, S. (2007). A Guide to Measuring Advocacy and Policy. Maryland: EEUU: Annie E. Casey Foundation Robson C. (1993). Real World Research: A resource for social Scientists and Practitioner Researchers. Oxford UK: Blackwell. Shapiro, J. (2003). Monitoring and Evaluation. CIVICUS. United Nation Educational, Scientifc and Cultural Organization [UNESCO], 2009).A guide for monitoring and evaluating comunity-based projects. Paris: Autor. Tassara C. (2010). Formulazione e gestione dei progetti nella cooperazione internazionale. Roma: Associazione delle ONG Italiane. UNICEF (1990). Monitoring and Evaluation Guide. USAID, United States Agency for International Development, Centre for Development Information and Evaluation (1996). Performance Monitoring and Evaluation: TIPS. Anexos Página 101 Anexo I. conclusiones se integran en el diseño y la formulación del proyecto. Glosario Análisis de problemas: investigación estructurada de los aspectos negativos de una situación para establecer sus causas y efectos. Análisis de los problemas que enfrenta un grupo meta y que se pretenden resolver a través de la realización del proyecto. 16 Actividad: acción realizada, utilizando varios medios (fondos, materiales, recursos humanos, etc.), para generar determinados productos. El conjunto de las actividades sintetiza lo que se quiere realizar durante el proyecto. <" comparación entre los costos de la inversión y operación y los be = inversión en una determinada intervención. Análisis de estrategias: apreciación crítica de las diferentes posibilidades para conseguir los objetivos, y selección de una o más de ellas para incluirlas en el proyecto. Análisis de género: análisis de las posibles diferencias en el impacto de un proyecto sobre mujeres y hombres. Se focaliza en los papeles diferentes (producción, reproducción, decisión) de la mujer y del hombre; en el acceso diferencial a los recursos ~ =W intereses y problemas; en los obstáculos para la plena y equitativa participación de las mujeres y los hombres en la realización de actividades y en Análisis de objetivos: ' = '? rios y las partes interesadas consideran prioritarias y que deberían lograrse con la realización del proyecto. El producto de un análisis de objetivos es el árbol [jerarquía] de objetivos. Análisis de las partes interesadas: implica la ;== de ser afectados (de manera positiva o negativa) ==~ & sus intereses, problemas potenciales, y otros. Sus Aprendizaje:! != =ra ver el modo de mejorar una situación o las acciones futuras y utilizar este conocimiento para introducir mejoras efectivas. Puede basarse en un ejercicio individual o de grupo. Auditoría: actividad de control independiente y objetiva que averigua si, y en qué medida, los procesos, directivas y prácticas organizativas están conforme a las normas y criterios previamente establecidos. Ayuda a una organización (o a un proyecto) a lograr sus objetivos aportando un enfoque sistemático para evaluar y mejorar la ; ; procesos y procedimientos internos. ; quienes (individuos, grupos u ; ^ [ tamente, de la realización de un proyecto, hayan sido o no sus destinatarios explícitos. Ciclo de proyecto: secuencia de las seis fases de un proyecto desde la idea inicial hasta su cumpli =; + ' _ dinámica orientada a la consulta de las partes in ' las necesidades informativas y las responsabilidades. Se apoya en la evaluación para aprovechar las lecciones aprendidas y utilizarlas en el diseño de los nuevos proyectos. Coherencia: conformidad con las políticas, líneas ;W = = una institución. 16. Tomado de Gosparini et al., 2004, OECD/DAC 2002, y Anexo A de Guijt y Woodhill, 2002. Página 102 Monitoreo y Evaluación de Proyectos * coherencia y consistencia de los datos recolectados y utilizados y de las apreciaciones que se desprenden de su análisis. Está relacionada con la calidad de los instrumentos y procedimientos empleados. Creación de capacidades: proceso a través del cual se crean capacidades nuevas, tanto a nivel personal como institucional. Es un tema transversal cada día más importante en los proyectos orientados a la reducción de la pobreza. Cronograma o calendario de actividades: = ;&? = periodo, la secuencia y la duración de las actividades = "= importantes para el monitoreo de los avances y repartir las responsabilidades con vistas a lograrlas. Efecto: cambio, intencional o no, originado directa o indirectamente de un proyecto. Efecto directo: cambio intencional producido directamente por un proyecto para cumplir con + '=W Efecto indirecto: cambio no planeado que se ha producido como resultado de una intervención. Empoderamiento: proceso de fortalecimiento de la capacidad de las personas para tomar decisiones y generar cambios en el entorno físico y social. Enfoque participativo: ^= indicar la participación activa de los grupos y de las partes directamente interesadas en una tarea (por += { = el monitoreo y la evaluación de un proyecto). Es muy apropiado para proyectos orientados a la generación de procesos sociales, pero requiere = =W& = = Su uso aumenta la apropiación del proyecto por = =nibilidad potencial de sus resultados. Estrategia de proyecto: marco general que formaliza los métodos y las modalidades previstas por un proyecto para utilizar los recursos dispo- nibles y realizar las actividades para obtener los resultados. Estudio de factibilidad: estudio realizado du @ = ' propuesta de proyecto está bien fundamentada, y si es susceptible de cumplir con las necesidades % todos los aspectos políticos, técnicos, económicos, ; socioculturales y de género. Estudio de línea base: análisis que describe la situación previa a la recepción de la ayuda. Se utiliza para determinar los resultados y su cumplimiento, y sirve de referencia para el monitoreo de los avances y la evaluación. Evaluabilidad: medida en que puede evaluarse un proyecto (sus acciones, prestaciones, impactos, [W`' evaluabilidad depende mucho de la manera como haya sido formulado el proyecto. Evaluación: análisis, lo más sistemático y objetivo posible, de un proyecto en curso o ya terminado, de su formulación, ejecución y resultados. El propósito es determinar el cumplimiento de los objetivos y las prestaciones del proyecto (pertinencia, = [ Gestión del ciclo del proyecto: metodología para la preparación, implementación y evaluación de proyectos basada en el enfoque del marco lógico. Grupo de control: grupo que no está expuesto directa o indirectamente a las actividades de un proyecto. Se utiliza normalmente en el marco de la evaluación de impacto para medir y evaluar las diferencias respecto al grupo meta del proyecto. Grupo(s) meta: ;= =W = ? = > = diseñado y que serán afectados positivamente por ;+ '=W`X[ los interlocutores más importantes del proyecto. Anexos Página 103 Indicador: variable o factor, cuantitativo o cuali '?== = ;+bios obtenidos por un proyecto o una entidad. evaluaciones realizadas en circunstancias especí=?;' ^; y que se puedan aplicar de manera más amplia a varias situaciones parecidas. Información secundaria: datos que ya existen en forma de publicaciones o de archivos (de un proyecto o de otras fuentes), que se pueden utilizar para una evaluación. Lógica de intervención: estrategia que está en la base de un proyecto. Es la descripción de lo relacionado con cada uno de los cuatro niveles de objetivos usados en el Marco lógico (objetivos ;+ '=W ' des). Coincide con la primera columna del Marco lógico. Impacto: efecto de un proyecto sobre los bene W& amplio, al interior de un sector o en un área geográ" @" socioculturales e institucionales. Evidencia la relación + ';+ '=W Indicadores objetivamente verificables (IOV): indicadores medibles de los diferentes niveles de objetivos (objetivos generales /globales, + '=W ' [? señalan si estos se han logrado o no. Representan la segunda columna de la matriz de marco lógico y sirven de base para el diseño de un sistema de monitoreo adecuado. Indicador substituto o “proxy”: variable o indicador que se utiliza en sustitución de otra/o que resulta demasiado difícil de medir. Informantes clave: personas en una comunidad, región u organización que, por su posición, pueden brindar información o conocimientos sobre aspectos relevantes para un proyecto. Tienen un papel fundamental en la evaluación, especialmente en sus aspectos cualitativos, pero a veces pueden expresar puntos de vista subjetivos. Por lo tanto los evaluadores deberán obtener la información = < @' Jerarquía de objetivos (árbol de objetivos): = ;& ' =;<; con base en un análisis de los problemas, y que Lecciones aprendidas: generalizaciones aproximadas basadas en las conclusiones de una o más Métodos cualitativos: pertenecen a la tradición de las ciencias sociales y se basan en la observación de las personas en su mismo territorio, en la interacción con ellas en su propio idioma, posiblemente en sus propios términos. Enfatizan la comprensión de la manera como las personas estudiadas construyen la realidad. La mayoría de estudios cualitativos cuentan con análisis descriptivos más que estadísticos. Métodos cuantitativos: se apoyan en instrumentos estructurados para recolectar información estandarizada de una muestra cuidadosamente seleccionada de individuos, unidades o eventos. La información es analizada a través de una comparación estadística entre grupos o de un análisis multivariado. Monitoreo o seguimiento: actividad sistemática y permanente de recolección y análisis de datos para proveer, al equipo de gestión y a las principales partes interesadas, indicaciones sobre el avance y el logro de los objetivos, así como sobre la utilización de los fondos disponibles. Es muy importante para retroalimentar la gestión y la toma de decisiones. Muestra/Muestreo: grupo de personas, familias, comunidades, u otras unidades seleccionadas para estimar las características de la población de la cual se obtuvieron. La muestra generalmente se utiliza en el marco de las evaluaciones de impacto. Los métodos muestreo pueden ser probabilísticos (todo Página 104 Monitoreo y Evaluación de Proyectos elemento de la población tiene la misma probabilidad de integrar la muestra) o no probabilísticos. Muestreo aleatorio: se hace una lista de todas las unidades que componen la población. Luego, ? X=+<meros al azar) se sortean las unidades que componen la muestra. Muestreo delimitado o intencional: se ;< rísticas que son particularmente pertinentes para el estudio. Supone un buen conocimiento previo de la población. Es una técnica muy económica para obtener información, pero no se presta para hacer generalizaciones. Partes interesadas o Stakeholders: individuos, grupos, empresas, organizaciones o instituciones que tengan un vínculo con un proyecto. Pueden afectar —directa o indirectamente, positiva o negativamente– el proceso y los resultados del proyecto o ser afectados por estos. Periodo de arranque: periodo comprendido entre el inicio del proyecto y la formulación de algunos documentos básicos (plan de trabajo actualizado, matriz del marco lógico, estudio del marco de evaluación). Suele durar entre uno y tres meses y termina con el primer informe, o informe de arranque. Pertinencia: compatibilidad de la formulación =X;<= eventuales reajustes introducidos después de su inicio) con los problemas reales, las necesidades ;=& el entorno físico y político en el que opera. Plan de trabajo:? vidades, los recursos y el tiempo necesarios para ;+ '=W un proyecto. proceso a través del cual se de+ ';=W = ' = ' se establece el cronograma de actividades, y se =? se puedan conseguir puntual y oportunamente los efectos directos y los productos esperados. Producto: materiales, bienes y servicios que resultan de las actividades realizadas por un proyecto. Pueden incluir también los cambios generados por un proyecto. Normalmente son tangibles y son necesarios para llegar a los efectos directos. Proyecto: intervención que consiste en una serie de actividades planeadas interrelacionadas, desti^+ ' =puesto determinado y en unos plazos concretos. Rendición de cuentas: obligación de demostrar que el trabajo se ha cumplido en conformidad con las reglas y los estándares acordados o de informar precisa e imparcialmente sobre los resultados obtenidos en comparación con las funciones o planes encomendados. Resultados: productos, efectos directos e impactos (intencionales o no, positivos o negativos) generados por la realización de un proyecto. En la terminología de la Comisión Europea representan el producto de las actividades realizadas, datos que permitan: (a) la retroalimentación informativa permanente sobre todos los aspectos clave del proyecto; (b) la utilización de la misma para orientar las decisiones relativas a su gestión. Sostenibilidad: = ?+ @ ;== <=" ="? ; !/ ? los grupos que recibieron la ayuda quieren y pueden realizar las actividades necesarias para seguir cumpliendo con los objetivos del proyecto. Términos de referencia:?ne las tareas que le corresponden a una persona u organización contratada e indica el contexto, los + ' ' = y productos esperados, el presupuesto, el cronograma y la descripción del trabajo. Anexos Triangulación: uso sistemático y comparativo de tres o más teorías o métodos de análisis, fuentes o = @ = =' y sustentar una evaluación. Se utiliza para aumen;^ Validación: =' =; que los datos obtenidos con un método de segui = con otro método. Valoración Participativa Rápida: métodos utilizados para comprobar, de manera rápida y barata, las condiciones de una comunidad o área = =`tos métodos se concentran en los procesos y el sentido de apropiación de los participantes. Página 105 Anexos Página 107 Anexo 2. Formatos de monitoreo y evaluación Matriz de Sistema de MyE Pregunta de desempeño Necesidades de Método de Formularios, capaciIndicadoPeriodici- Responinformación de recolección de tación, conocimienres dad sable línea base datos tos técnicos, etc. Objetivo General: + '`=W Resultado 1: Adaptado de Guijt I. y Woodhill, J. (2002). Guía para el Seguimiento y Evaluación de Proyectos. Gestión orientada al impacto en el desarrollo rural. Roma: IFAD. Formato para guiar el Plan de Evaluación Formato para plan de evaluación Enfoque de la Evaluación ¿Qué se va a evaluar? ¿Todo el proyecto? ¿Una parte? ¿Un tema transversal? Recolección de Datos Indicadores Preguntas Tiempo Fuentes ¿Cómo lo sabreMétodo/Herramienta ¿Qué queremos ¿En cuánto ¿En dónde enmos? ¿Qué eviden¿Cómo se reunirá esta saber? tiempo? contramos esta cia lo demuestra? información? información? a) 1. b) c) a) 2. b) a) 3. b) c) Muestra ¿A quién se va a interrogar? Tomado de: Smith, J. (2009). On Target: A Guide for Monitoring and Evaluating Community-Based Projects. Paris: K`K ` ; ^ Página 108 Monitoreo y Evaluación de Proyectos Formato para Informes de Evaluación Aquí se presenta un ejemplo de los contenidos para un informe de evaluación, a partir de un formato empleado por la CE. En cualquier caso, la estructura de cada informe y los contenidos se adaptarán a + '' == =W = de la organización contratante. (Gosparini et al., 2004) I. Resumen ejecutivo Número de páginas: 5-6 `+ '= @ > ?&@& de consultar que las otras partes. Se debe enfocar en los propósitos y temas principales de la evaluación, enfatizar los puntos de mayor interés sobre el rendimiento, e indicar de manera clara las conclusiones, las = =W@ '> =&; <=&@= != = El resumen ejecutivo debe contener la siguiente información sobre la evaluación: (a) Propósito(s); (b) Contexto; (c) Metodología; (d) Análisis de los resultados; (e) Conclusiones y recomendaciones. II. Introducción Número de páginas: 1-2 Describe brevemente el propósito del informe, el alcance y el contexto del proyecto evaluado. Puede incluir reconocimientos a quienes contribuyeron en la realización de la evaluación. III. Conclusiones Número de páginas: 30. Esta es la sección más larga del informe. @ ; `= @ ; ' >> = ^;<=; clave relativas a cada criterio. @ = ; 'W ; = = += = = ` =W; @ ~ >W diferentes y más apropiadas para conseguir los mismos resultados. ` ' ; ; + '=W = '=' ~ ; >' '+ '=W del proyecto. iv. Impacto: detectar si existen las condiciones para introducir cambios a largo plazo en el entorno. Se re&;= grupo más amplio de personas o toda una sociedad; el éxito y el fracaso en la consecución de los objetivos generales, y sus razones principales. ' + = '= = ; puede continuar o no después del cierre del proyecto, y por qué. Anexos Página 109 IV. Metodología Número de páginas: 3 Indica cómo se elaboraron las preguntas relativas a la evaluación y cuáles limitaciones se encontraron al =% " ^= W@ @ " ^= & @ %= también el nivel de participación y la contribución de las partes interesadas a la evaluación. V. Conclusiones y recomendaciones Número de páginas: 3-6 ;=!= ' = @ = ?' las evidencias registradas y determinan quién debería hacer qué cosa en el futuro, y brindan sugerencias = + =? ? =; posterior. Si es posible, para cada conclusión debería haber una recomendación correspondiente. `'' = daciones deben ser lo más realistas, pragmáticas y operativas posible; o sea, deben tener cuidadosamente en cuenta las circunstancias que prevalecen en el contexto del proyecto en el momento de la evaluación, y los recursos disponibles para implementarlas. ; =< tintos niveles, especialmente al interior de la estructura operativa de las ONG (coordinadores nacionales o regionales, responsables del proyecto, dirigentes y responsables de área en la sede principal, administración en la sede principal, responsable de la evaluación). Anexos El informe debe generalmente incluir los siguientes anexos: 1. Términos de referencia de la evaluación. 2. Composición del equipo de evaluación (las hojas de vida deben estar incluidas, mejor si están formuladas en una versión sintética). 3. Matriz de marco lógico (la versión original y, si es posible, las versiones posteriores con las mejoras o actualizaciones eventualmente introducidas). 4. Anexos técnicos (por ej.: análisis estadístico). 5. Mapa del área del proyecto, si es relevante. 6. Listado de las personas u organizaciones encontradas o consultadas. 7. Literatura y documentos consultados. Anexos Página 111 Anexo 3. Guías de indicadores Guía de Indicadores por categoría Fortalecimiento Fortalecimiento Seguridad Alimentaria Pobreza de organizaciones locales de capacidades de Género ¦ ; reales de las familias ¦ = ¦ ¦ = = ¦ W@ alimentos grupos en la adopción de decila enseñanza primaria ingresos no agrícolas ¦ ^ ¦ siones a nivel local/ de proyecto ¦ <;= vadas mujeres constituidos en la zona del ¦ @ ;capitales ¦ proyecto ¦ pos autónomos en la zona del de los cultivos alimentarios ¦ <=" mano de obra proyecto básicos aprobados/ desembolsados para los ¦ ¦ = =¦ grupos de mujeres blación de practicar el autoseservicios de riego los alimentos básicos guimiento y la evaluación de los ¦ < + ¦ = ¦ = progresos que son miembros de asociaciones lidad de servicios para alimentos básicos locales de producción/servicios atender necesidades bá- ¦ = ¦ mercializar los propios produc- ¦ = = sicas cados de decisiones de las mujeres a nivel ¦ tos ¦ = de la familia ¦ " agua potable almacenamiento de alimen¦ diciones de los dispositivos de ¦ = = tos mujeres en la adopción de decisiocomercialización educación básica ¦ nes a nivel local/del proyecto ¦ crónica de niños servicios sanitarios básicos Tomado de Guijt I. y Woodhill, J. (2002). Guía para el Seguimiento y Evaluación de Proyectos. Gestión orientada al impacto en el desarrollo rural. Roma: IFAD. Indicadores de los Objetivos de Desarrollo del Milenio (PNUD) Objetivo 1: Erradicar la pobreza extrema y el hambre Meta 1A: Reducir a la mitad entre 1990 y 2015 el porcentaje de personas con ingresos inferiores a un dólar ¦ ##+= ; @ #=W ¦ #$ >=^#=W ¦ #= ;?=? =&== Meta 1B: Alcanzar el empleo pleno y productivo y el trabajo decente para todos, incluidas las mujeres y los jóvenes ¦ #*Y ]=== ¦ #Z == ¦ #£+= = ; @ #=WX'N[ ¦ #¢++@ === == Meta 1C: Reducir a la mitad, entre 1990 y 2015, el porcentaje de personas que padezcan hambre ¦ #¡' {{= @ ¦ #§+= =+ 'W ;W X [ Página 112 Monitoreo y Evaluación de Proyectos Objetivo 2: Lograr la enseñanza primaria universal Meta 2A:Velar por que, para el año 2015, los niños y niñas de todo el mundo puedan terminar un ciclo completo de enseñanza primaria ¦ $#YW= ¦ $$+ ? ^= ;;< ;= ¦ $Y@ ^ +>= #$*{ Meta 2A:Velar por que, para el año 2015, los niños y niñas de todo el mundo puedan terminar un ciclo completo de enseñanza primaria ¦ $#YW= ¦ $$+ ? ^= ;;< ;= ¦ $Y@ ^ +>= #$*{ Objetivo 3: Promover la igualdad de género y la autonomía de la mujer Meta 3A: Eliminar las desigualdades entre los géneros en la enseñanza primaria y secundaria, preferiblemente ={$ '{^{$# ¦ #Z { { = = ¦ $= +=;W ¦ = ===+= Objetivo 4: Reducir la mortalidad infantil Meta 4A: Reducir en dos terceras partes, entre 1990 y 2015, la mortalidad de los niños menores de 5 años ¦ *#Y {{ ¦ *$Y @ ¦ *+ {#{'= Objetivo 5: Mejorar la salud materna Meta 5A: Reducir, entre 1990 y 2015, la mortalidad materna en tres cuartas partes 4. 5.1 Tasa de mortalidad materna 5. 5.2 Porcentaje de partos con asistencia de personal sanitario especializado Meta 5B: Lograr, para 2015, el acceso universal a la salud reproductiva ¦ Y = ' ¦ *Y ¦ =X' ' [ ¦ £ @> = @ Objetivo 6: Combatir el VIH/SIDA, el paludismo y otras enfermedades Meta 6A: Haber detenido y comenzado a reducir, para el año 2015, la propagación del VIH/sida ¦ £#' = #$*{ ¦ £$K=' '=& ! ; ¦ £+= #$*{ ; ¦ £*Z W {>"@W {>"@##*{ Meta 6B: Lograr, para 2010, el acceso universal al tratamiento de la infección por VIH a quienes lo necesiten ¦ £+= @ '^= ' Meta 6C: Haber comenzado a reducir, para el año 2015, la incidencia del paludismo y otras enfermedades graves ¦ ££Y = ¦ £¢+ {{?+? ¦ £¡+ {{? =< ¦ £§Y=' ¦ £#= '+' Anexos Página 113 Objetivo 7: Garantizar la sostenibilidad del medio ambiente Meta 7A: Incorporar los principios del desarrollo sostenible en las políticas y los programas nacionales e invertir la pérdida de recursos del medio ambiente ¦ ¢#= = =? ¦ ¢$` ! =&= =#]XN[ ¦ ¢ ?;=^ ¦ ¢*= = =W ; ; $=; >!! @KWK! de pérdida ¦ ¢= >W ¦ ¢£= & =; ¦ ¢¢= = ^! Meta 7C: Reducir a la mitad, para el año 2015, el porcentaje de personas que carezcan de acceso sostenible a agua potable ¦ ¢¡= = ? ^@ ;=+ ¦ ¢§= = ? ^' + Meta 7D: Haber mejorado considerablemente, para el año 2020, la vida de por lo menos 100 millones de habitantes de tugurios ¦ ¢#= = ?' ' ; ¨== =?' ' de tugurios se mide mediante una variable sustitutiva representada por la población urbana que vive en hogares con al menos una de las cuatro características siguientes: a) falta de acceso a un mejor abastecimiento de agua; b) falta de acceso a un mejor saneamiento; c) hacinamiento (3 o más personas por habitación); y d) viviendas construidas con material de corta duración.] Objetivo 8: Fomentar una asociación mundial para el desarrollo $X<'Y"+ +criminatorio. = ;; =< =^ en cada país y en el plano internacional. Meta 8B: Atender las necesidades especiales de los países menos adelantados. Se incluye el acceso libre de aranceles y cupos de las exportaciones de los países menos adelantados; el programa mejorado de alivio de la deuda de los países = =& generosa a los países que hayan expresado su determinación de reducir la pobreza. Meta 8C: Atender las necesidades especiales de los países sin litoral y de los pequeños Estados insulares en desarrollo (mediante el Programa de Acción para el desarrollo sostenible de los pequeños Estados insulares en desarrollo y los resultados del vigésimo segundo periodo de sesiones de la Asamblea General). Meta 8D: Encarar de manera general los problemas de la deuda de los países en desarrollo con medidas nacioZ! %[ ¦ ¡#N%=+= X][=W "N para el Desarrollo (CAD) de la OCDE ¦ ¡$= N% ' & X & = ción, abastecimiento de agua potable y servicios de saneamiento) ¦ ¡= N%?& ¦ ¡*N% =W == = ¦ ¡N% =?{` == = Acceso a los mercados ¦ ¡£= != X=' [ >= ¦ ¡¢N= = =;W! ' ¦ ¡¡ != = =;W=W; ^ = Desarrollo Económicos (OCDE) ¦ ¡§= N%@ == Página 114 Monitoreo y Evaluación de Proyectos Sostenibilidad de la deuda ¦ ¡#<=W?^= '= de los países muy endeudados ¦ ¡##N ' + '= =W= ' para el Alivio de la Deuda Multilateral ¦ ¡#$' =+!= ' Meta 8E: En cooperación con las empresas farmacéuticas, proporcionar acceso a los medicamentos esenciales en los países en desarrollo ¦ ¡#= = = ^ $X \ Zvas tecnologías, en particular de las tecnologías de la información y de las comunicaciones. ¦ ¡#*W"@=#> ¦ ¡#N"@=#> ¦ ¡#£K =#> Guía de Indicadores de Participación Con el objetivo de garantizar la sostenibilidad de los cambios, la gran mayoría de las intervenciones sociales han incorporado el fortalecimiento de capacidades y la participación como componentes del proyecto (y no solo como estrategias transversales) o incluso como objetivos centrales de la interven ` ; ;'" = ; deros. Sin embargo, este tipo de objetivos son muy difíciles de medir por dos razones principalmente: Primero, el producto que resulta de la participación y el fortalecimiento de capacidades es intangible. Segundo, porque la relación entre la intervención y el efecto generado es mucho más lejana y más difícil =N= = ' = haciendo un adecuado diseño del sistema de MyE, con indicadores tanto cualitativos como cuantitativos. Los indicadores cuantitativos de capacitación o participación pueden utilizarse para monitorear los procesos. Los indicadores cualitativos de capacitación y participación describen aspectos de la par = ?=='"<% ^= ; + '=W` ; ;W ;= ` = ^= & el ámbito del proyecto y cuáles aspectos averiguar durante una misión de monitoreo, una revisión a mediano plazo, una evaluación, etc. (Gosparini et al., 2004). Ejemplos de Indicadores de Capacitación y Participación Indicadores Cuantitativos <+>= = ¿Quién está participando? <=+=&' <=?= @;=" <;= ¿Cuántas personas están participando? < - Tasa de crecimiento y tasa de retiro de miembros. ¿Cuál es el nivel de participación en las activida <=?= == des clave? ¿Los participantes están movilizando sus mismos <W+ > = recursos? como contribución por parte de los usuarios. Anexos Página 115 <" <=;= ' - Parcelas experimentales cultivadas o viveros logrados. - Frecuencia de los encuentros de los grupos o comisiones de trabajo. < = =X;" ción económica, etc.). ¿Las instituciones locales se están desarrollando / - Reducción de la dependencia del equipo del proyecto. &'' < = ^==;pos o instituciones locales. < ==+nera independiente. Indicadores cualitativos - Efectiva distribución de papeles y funciones importantes al interior de los miembros del grupo. - Rotación del liderazgo en el tiempo. - Pruebas de una menor dependencia del equipo del proyecto. ¿Cómo se pretende que los grupos logren - Aumento del nivel de capacidades técnicas y de gestión en el mantenimiento de las instalaciones habilitadas por el proyecto. = X^ - Evidencias de acciones colectivas independientes realizadas por el mismos)? grupo para futuros proyectos. `' ====ticipantes para adecuar los insumos y el estilo de gestión del proyecto a las condiciones locales. - Toma de decisiones - Roles de gestión = & = ¿Cuáles capacidades están siendo desarrolladas des existentes a nivel local. en los grupos participantes? - Individuación realista de las oportunidades prioritarias. - Capacidad de formular microproyectos y planes de trabajo anuales. - Capacidad de auto-monitorear sus propias actividades y avances. - Altos niveles de capacidades logradas en el mantenimiento de las instalaciones habilitadas por el proyecto. ¿Cuál es la calidad esperada de la contribución - Uso efectivo de técnicas de conocimiento indígenas (locales) en la de los participantes? realización de actividades relevantes, como parcelas de granja. - Provisión de materiales de buena calidad para la construcción de - Altos niveles de compromiso de todos los miembros del grupo en las reuniones y en las discusiones. - Evidencias de una toma de decisiones consensual. ¿Qué cambios de comportamiento se pretende - Rapidez en llegar a las decisiones. que muestren los participantes? - Aumento de las evidencias de identidad y solidaridad colectivas. ^!= = - Compromiso activo en los procesos de toma de decisiones. ¿Se mantienen las inversiones / instalaciones del proyecto? Página 116 Monitoreo y Evaluación de Proyectos Una manera de combinar las dos dimensiones de la participación es la de utilizar conjuntamente los indicadores de participación (medidas cuantitativas) y de madurez socio-institucional (medidas cualitativas). Por ejemplo, en un proyecto de desarrollo comunitario, el siguiente listado puede representar los aspectos clave (cuantitativos y cualitativos) que deben ser tomados en consideración: ¦<;=@ ¦_ = = ¦<;=?'W ;= ¦ = ;== = ^; ¦Y+ ' ;= ¦ & ^; =X [ ¦` = = =+ ¦Z==+;=W ¦N= @ '= ? = ;=X nes, equipos, instalaciones para el agua, etc.). ¦= ;= ' != ¦`+=; ' ¦N !=== ;= Anexos Página 117 Anexo 4. Ejemplos de marco lógico, plan de monitoreo y formato de monitoreo Los materiales presentados en este anexo hacen parte del curso de “Monitoreo y Evaluación: enfoques, métodos e instrumentos” que el Profesor Carlo Tassara dicta en la Especialización en Cooperación internacional para el desarrollo de la ELACID desde el 2004. En el año 2010, los materiales fueron publicados en italiano en el libro “Formulazione e gestione dei progetti nella cooperazione internazionale”, del mismo autor. Marco lógico del proyecto “Rehabilitación de las comunidades rurales del Distrito de Kedaf involucrado por la guerra civil en el Kualand meridional” El proyecto tiene una duración prevista de 18 meses y se realiza en un área rural que incluye 8 pueblos @ &@@=?W;=> suspendido las hostilidades desde hace unos meses. La zona está bajo el control de una fuerza multinacional de peace-enforcing que colabora con el gobierno local, recién creado. Acaba de concluirse un proyecto de ayuda humanitaria. Lógica de intervención Objetivo general Objetivo Indicadores objetiva Condiciones externas Contribuir a mejorar las condi- Indicadores económicos - Datos del Ministerio de ciones de vida de la población y de pobreza. rural en el Kualand meridional. Reducir la inseguridad alimentaria a corto plazo y mejorar los estándares de vida de la población. - El porcentaje de familias - Ausencia de que dependen de la ayuda otras sequías. alimentaria disminuye del - Se mantiene la 50% al 25%. - Archivos de las agencias paz en el área - La disponibilidad de de emergencia. de operaciones alimentos esenciales en - Encuestas muestrales del proyecto. los mercados locales realizadas por el pro- El gobierno aumenta del 20% al 50% yecto. local asegura de la demanda. N> ' las condicio- Los precios de los princiDistrital de Agricultura. nes logísticas pales productos agrícolas necesarias para en los mercados locales operar. disminuyen el 20%. Página 118 Resultados esperados Monitoreo y Evaluación de Proyectos 1. Resueltos los problemas de inseguridad alimentaria a corto plazo. - El porcentaje de niños menores de 5 años que presenta síntomas de malnutrición disminuye del 60% al 25%. 2. Asegurada la producción agrícola también fuera de la temporada de lluvias. - El área regada durante la - Archivos de monitoreo estación seca aumenta del proyecto. de 25 a 750 hectáreas. 3. Rehabilitada la producción agrícola. - El área cultivada aumenta de 1.500 a 7.500 N> ' Distrital de Agricultura. hectáreas. - La producción de maíz - Archivos de monitoreo aumenta de 2 a 6 quinta- del proyecto. les por hectárea. 1.1 Distribución de 250 ton. de ayuda alimentaria a los grupos vulnerables. 1.2 Activación de 75.000 días de trabajo comunitario con el método “alimentos por trabajo” (food for work). 2.1 Rehabilitación de 6 km de canales de riego con métodos de alta intensidad de trabajo. 2.2 Realización de 20 cursos (15 participantes c/u) en manejo del agua. Actividades 2.3 Edición de 3 folletos de sensibilización sobre la importancia del pago de los servicios == 3.1 Distribución de 1.000 q. de semillas y 5.000 juegos de herramientas agrícolas. 3.2 Realización de 30 cursos (15 participantes c/u) en gestión y cultivo de tierras áridas. 3.3 Siembra de 100 ha. de árboles (50 ha producción, 50 ha bosque y lucha contra la erosión). Recursos - Recursos humanos. - Vehículos y otros equipos. - Ayuda alimentaria. - Semillas. - Herramientas agrícolas. - Capital de trabajo para microcrédito. - Actividades formativas. - Gastos de operaciones. - Imprevistos. - Archivos de monitoreo del proyecto. - Disponibilidad en los mercados locales de alimentos no producidos en el área. - Ausencia de sabotajes de los canales de riego por parte de los actores armados. - Los campesinos aceptan el método “alimentos por trabajo”. - Oportuna Costos (€) [ver Presudisponibilidad de puesto] los recursos de 100.000,00 contrapartida a 75.000,00 cargo del gobier450.000,00 no local. 85.000,00 - Ausencia de 120.000,00 180.000,00 nitarios sobre 85.000,00 los derechos de 75.000,00 uso del agua. 45.000,00 - Pleno apoyo de - Presupuesto del proyeclas organizacioto. nes de base en la - Informes del proyecto. implementación - Reuniones con las comude las actividanidades. des previstas. Condiciones previas - Las autoridades internacionales con jurisdicción sobre el área (fuerza multinacional) otorgan los permisos. Anexos Página 119 Proyecto Kualand meridional: Ejemplo “Plan de monitoreo” [Primera parte] El proyecto tiene una duración prevista de 18 meses y se realiza en un área rural que incluye 8 pueblos @ &@@=?W;=> suspendido las hostilidades desde hace unos meses. La zona está bajo el control de una fuerza multinacional de peace-enforcing que colabora con el gobierno local, recién creado. Acaba de concluirse un proyecto de ayuda humanitaria. Nota: El equipo del proyecto está compuesto por: 1 Director; 1 Responsable de la distribución de las ayudas; 3 Logísticos; 1 Responsable del componente agrícola (agrónomo); 1 Experto en capacitación; 3 Divulgadores agrícolas; 1 Responsable administrativo; 1 Secretaria; 4 Conductores. Por ende, no hay una persona responsable de las actividades de monitoreo. Lógica de intervención Indicadores objetivamente Responsabilidad Actividades y Cronograma # - a. Elaborar cada mes una hoja elec- El porcentaje de familias trónica con los datos de las famique dependen de la ayuda X = alimentaria disminuye del Consejo de Distrito local) y de las - Responsable 50% al 25%. ayudas distribuidas. b. Transmitir distribución de las Reducir la inseguridad - La disponibilidad de alimencada tres meses los datos respectiayudas. alimentaria a corto plazo y tos esenciales en los mercavos al Director del proyecto. - Responsable mejorar los estándares de dos locales aumenta del 20% - a. Visitar cada mes los mercados administrativo. vida de la población. al 50% de la demanda. locales, medir la dinámica de los - Responsable - Los precios de los principroductos (vendido, no vendido, administrativo. pales productos agrícolas demanda insatisfecha) y los precios en los mercados locales respectivos. b. Elaborar y transmitir disminuyen del 20%. cada tres meses los datos respectivos al Director del proyecto. Resultados esperados - a. Visitar cada mes los puestos de salud y levantar los datos sobre el estado nutricional de los niños atendidos. b. Elaborar y transmitir cada tres meses los datos respectivos al Director del proyecto. - El porcentaje de niños me % ?=1. Resueltos los problemas - Responsable nores de 5 años que presento, un muestreo de niños de las de inseguridad alimentadistribución de las ta síntomas de malnutrición @ ria a corto plazo. ayudas. disminuye del 60% al 25%. alimentaria. b. Levantar, al momento de la distribución de alimentos, los datos nutricionales relativos a los niños del muestreo. c. Elaborar y transmitir cada tres meses los datos respectivos al Director del proyecto. 2. Asegurada la producción - El área regada durante la agrícola también fuera de estación seca aumenta de 25 - (…) - (…) la temporada de lluvias. a 750 hectáreas. Página 120 Monitoreo y Evaluación de Proyectos 3. Rehabilitada la producción agrícola. - El área cultivada aumenta de 1.500 a 7.500 hectáreas. - (…) - La producción de maíz au- (…) menta de 2 a 6 quintales por hectárea. - (…) - (…) Actividades 1.1 Distribución de 250 - Responsable ton. de ayuda alimenta- - Toneladas de ayuda alimentadistribución ria a los grupos vulne- ria distribuida. de las ayudas. rables. 1.2 Activación de 75.000 días de trabajo comunitario con el método - Días de trabajo activados. “alimentos por trabajo” (food for work). 2.1 Rehabilitación de 6 km. de canales de riego - Km de canales de riego rehacon métodos de alta bilitados. intensidad de trabajo. 2.2 Realización de 20 cur < ^ sos (15 participantes <= = c/u) en manejo del agua. Responsable de la componente agrícola. - a. Al momento de la distribución, levantar los datos sobre cantidades de alimentos y familias bene ` cada tres meses los datos respectivos al Director del proyecto. - (…) Responsable de la componente agrí- (…) cola. (…) - (…) Proyecto Kualand meridional: Ejemplo “Plan de monitoreo” [Segunda parte] El proyecto tiene una duración prevista de 18 meses y se realiza en un área rural que incluye 8 pueblos @ &@@=?W;=> suspendido las hostilidades desde hace unos meses. La zona está bajo el control de una fuerza multinacional de peace-enforcing que colabora con el gobierno local, recién creado. Acaba de concluirse un proyecto de ayuda humanitaria. Nota: El equipo del proyecto está compuesto por: 1 Director; 1 Responsable de la distribución de las ayudas; 3 Logísticos; 1 Responsable del componente agrícola (agrónomo); 1 Experto en capacitación; 3 Divulgadores agrícolas; 1 Responsable administrativo; 1 Secretaria; 4 Conductores. Por ende, no hay una persona responsable de las actividades de monitoreo. Lógica de intervención Recursos Indicadores objetivamente § Ayuda alimentaria. (...) - € 450.000,00 previstos. § Actividades formati- - € 85.000,00 previstos. vas. Responsabilidad Actividades y Cronograma - Cada mes: a. Elaborar una síntesis de: a1. Primera nota de los gastos - Responsable admirealizados, a2. Elenco de bienes distribuidos; a3. Inventario de bienes nistrativo. almacenados en bodega. b. Transmitirlas al Director del proyecto. Anexos Lógica de intervención Actividades Indicadores objetivamente horizontales Responsabilidad Actividades y Cronograma Responsabilidad - - Elaboración de los informes de monitoreo. - Director del proyecto. - - Elaboración de los informes del proyecto. - Director del proyecto. - - Realización de una misión de monitoreo de la sede principal de la entidad ejecutora. - Director del proyecto. - Realización de una misión de eva proyecto establecida por el donante y realizada por expertos externos. - Director del proyecto. Página 121 Actividades y Cronograma Analizar los datos recibidos y redactar un informe sintético de monitoreo (cada tres meses) y un informe consolidado de monitoreo (cada seis meses). En el informe consolidado, formalizar los ajustes operativos necesarios de las actividades que hayan presentado problemas o atrasos relevantes. Utilizar el análisis de los datos de monitoreo para decidir si presentar al donante solicitudes de variación X= = del presupuesto, etc.). Incluir en cada informe de proyecto la situación relativa al logro del Ob+ '=WZ esperados y a la realización de las Actividades previstas. Anexar a cada informe de proyecto los informes consolidados (semestrales) de monitoreo. La misión de monitoreo está prevista para el 9° mes. Antes de su inicio: a. Preparar el listado de informes y otros documentos producidos por el proyecto. b. Leer los TdR de la misión # ' ;+ '=W y Resultados; b2. Realizar reuniones informativas y preparatorias con el ? == rios. La misión de evaluación está prevista por el 18° mes. Antes de su inicio: a. Preparar el listado de informes y otros documentos producidos por el proyecto. b. Leer los TdR de # de avance en el logro de Objetivo =WZ~$Z ^ reuniones informativas y preparatorias con el equipo del proyecto y los Página 122 Monitoreo y Evaluación de Proyectos Proyecto Kualand meridional: Ejemplo “Formato de monitoreo” Duración global del proyecto: 18 meses Informe de monitoreo después de: 12 meses El proyecto tiene una duración prevista de 18 meses y se realiza en un área rural que incluye 8 pueblos @ &@@=?W;=> suspendido las hostilidades desde hace unos meses. La zona está bajo el control de una fuerza multinacional de peace-enforcing que colabora con el gobierno local, recién creado. Acaba de concluirse un proyecto de ayuda humanitaria. Lógica de intervención + '=W Reducir la inseguridad alimentaria a corto plazo y mejorar los estándares de vida de la población. Indicadores objetivamente Estado de avance - El % de familias que dependen de - El % de familias que depende la ayuda alimentaria de emergen- de la ayuda alimentaria disminuyó del 50 al 40%. cia disminuye del 50% al 25%. - La disponibilidad de alimentos - La disponibilidad de alimenesenciales en los mercados loca- tos aumentó del 20 al 35% les aumenta del 20% al 50% de la de la demanda. - Los precios de los producdemanda. - Los precios de los principales tos agrícolas en los mercaproductos agrícolas en los mer- dos locales aumentaron el cados locales disminuyen el 20%. 10%. Resultados esperados 1. Resueltos los proble- mas de inseguridad alimentaria a corto plazo. Explicaciones/Comentarios/ Recomendaciones - Considerando el tiempo que fue necesario para la activación inicial del proyecto, el indicador parece alcanzable. - El aumento de la disponibilidad +=mente el aumento de la producción agrícola local. - Los precios no disminuyeron debido a la distorsión generada por la presencia del proyecto (efecto no previsto durante la [`=licitar al donante una variación del Marco lógico. El porcentaje de niños menores - El porcentaje de niños mal- No hay comentarios o recode 5 años que presenta síntomas nutridos disminuyó del 60% de malnutrición disminuye del mendaciones especiales. al 40%. 60% al 25%. - El escaso aumento del área regada se debe al atraso en la distribución de alimentos por trabajo. Con los ritmos actuales, 2. Asegurada la produc- El área regada durante la estación se prevé alcanzar el resultado ción agrícola también - El área regada aumentó de seca aumenta de 25 a 750 hectáesperado sólo al 70% (¿solicitar afuera de temporada 25 a 250 hectáreas. reas. un cambio en el ML?). de lluvias. / " tribución de alimentos y de control de la participación en el trabajo comunitario. - Es probable que se logre reba- El área cultivada aumentó de - El área cultivada aumenta de = 1.500 a 6.500 hectáreas. 3. Rehabilitada la pro- 1.500 a 7.500 hectáreas. El área cultivada aumentó gra- La producción de maíz auducción agrícola. - La producción de maíz aumenta cias a los buenos resultados lomentó de 2 a 5 quintales por de 2 a 6 quintales por hectárea. grados en la capacitación y en hectárea. la producción en áreas áridas. Anexos Actividades 1.1 Distribución de 250 ton. de ayuda alimentaria a los grupos vulnerables. 1.2 Activación de 75.000 días de trabajo comunitario con el método “alimentos por trabajo” (food for work). 2.1 Rehabilitación de 6 km. de canales de riego con métodos de alta intensidad de trabajo. 2.2 Realización de 20 cursos (15 participantes c/u) en manejo del agua. Recursos - Toneladas de ayuda alimentaria distribuida. - Días de trabajo activados. - Km de canales de riego rehabilitados. < ^ <= = § Ayuda alimentaria. - € 450.000,00 previstos. (...) (...) § Actividades formativas. - € 85.000,00 previstos. 140 ton. de ayuda alimentaria distribuida. 20.000 días de trabajo activados. 3 Km de canales de riego rehabilitados. 25 cursos realizados con 500 participantes en total. - € 150.000,00 gastados. (...)s- € 80.000,00 gastados. Página 123 - La ayuda alimentaria llegó tarde y no será posible distribuir = X'Z = #[ / el presupuesto: disminuir los recursos para los alimentos y aumentarlos para los cursos, que han tenido gran éxito. - (...) - (...) - (...) - Además del atraso antes señalado, los precios de compra fueron inferiores. Solicitar al donante la disminución de este rubro. (...) - Solicitar el aumento de este rubro. Anexos Página 125 Anexo 5. Recursos adicionales Recursos del Manual de MyE Documentos, guías y manuales BID (INDES): EL M y E: herramientas indispensables de la gerencia social, Mokate CE: Gestión del Ciclo de Proyecto CE: Manual Corto Gestión del Ciclo de Proyecto 2001 CE: Guía para la integración de la igualdad de género en la CI CE: Project Cycle Management Guidelines CEPAL: Formulación, Evaluación y Monitoreo de Proyectos Sociales, Cohen y Martínez CIVICUS: Monitoring and Evaluation Toolkit, Janet Shapiro DFID: Tools for Development: A handbook for those engaged in development activity EML: 10 Casos Prácticos FAO: Guía Sectorial GCP FAO: Manual para el Nivel del Campo. Programa de Análisis Socioeconómico y de Género. Wilde,V. Forum Solint: Manual de monitoreo y evaluación de las ONGs. Gosparini, P., Russo, L. GTZ: Monitoreo y valoración del impacto Instrumentos a usar en proyectos de desarrollo rural con un enfoque en el manejo sostenible de la tierra JICA: Lineamientos de la JICA para la Evaluación de Proyectos `/;W; == ; ' ==; INTRAC Newsletter: Rethinking Monitoring and Evaluation YZN/ ;`' ;= ] ; > @ INTRAC: The Monitoring and Evaluation Toolkit INTRAC: The Challenges of Monitoring and Evaluating Programmes Monitoring Comunications PNUD: Gender and Pro Poor Indicators PNUD: Handbook on Planning, Monitoring and Evaluating for Development Results UNFPA: Program Managers Planning and M and E Toolkit UNESCO: On Target, A Guide for Monitoring and Evaluating Community-Based Projects WB: 10 Steps to a Results-Based Monitoring and Evaluation System, A Handbook for Development Practitioners, Kusek and Rist Página 126 Monitoreo y Evaluación de Proyectos Sección 1. Presentación de la Guía de SyE Sección 2. Utilizar el SyE para la gestión orientada al impacto {== SyE Sección 4. Establecer el sistema de SyE Sección 5. Decidir el objeto del SyE Sección 6. Recoger, gestionar y comunicar la información IFAD: 2002 Guía para el Seguimiento y Evaluación de Proyectos, Gestión orientada al impacto Sección 7. Establecer las capacidades y condiciones necesarias en el desarrollo rural. Guijt I. y Woodhill J. ¡! W =+ Anexo A. Glosario de conceptos y términos de SyE Anexo B. Ejemplo anotado de la matriz del marco lógico de un proyecto Anexo C. Ejemplo anotado de una matriz de SyE Anexo D. Métodos de SyE Anexo E. Modelos de descripciones de puestos de trabajo y términos de referencia Proyectos de Emergencia Declaración Estocolmo.pdf Handbook Proyecto Esfera Proyectos de Incidencia ECHO, European Commission Humanitarian Aid and Civil Pro @X$¢[`' @ N @ NGOs. A guide with ideas to consider when designing your own ' ' `=N = The Annie E. Casey Foundation: A Guide to Measuring Advocacy and Policy USING THE COMPOSITE LOGIC MODEL: To Articulate an Advocacy Strategy or Theory of Change Amnesty International Campaigning Manual, 2002 INTRAC: Tracking Progress in Advocacy: Why and How to Monitor and Evaluate Advocacy Projects and Programmes. O´Flynn Advocacy Indicators 8 STEPS TO DEVELOP A POLICY ADVOCACY EVALUATION PLAN CE: Metodología de Evaluación de la Ayuda ExteCE Evaluación Vol. 1 rior de la Comisión Europea CE Evaluación Vol. 2 CE Evaluación Vol. 3 CE Evaluación Vol. 4 Ejemplos y lecturas cortas Ejemplo de Marco Lógico 1 Ejemplo de Marco Lógico 2 Anexos Página 127 Ejemplo de Marco Lógico, Plan de Monitoreo y Formato de Monitoreo (Tassara, 2010) Example 100 Result logframe Lectura: Análisis de las partes Interesadas @' Lectura: Information Contained in the Logframe Matrix Lectura: Performance Indicators WB Lectura: PNUD Key Result Indicators Lectura: Selección de indicadores Lectura: Stakeholder Analysis Matrix Lectura: Using Rapid Appraisal Methods TIPS USAID Lectura: WB Correct Indicators Páginas Web Advocacy Progress Planner: An Advocacy & Policy Change Composite Logic Model ALNAP: Active Learning Network for Accountability and Performance in Humanitarian Action BOND: Network of UK based voluntary organizations working in international development and development education Continuous Progress: Better Advocacy through Evaluation The Sphere Project: Humanitarian Action ELDIS: Internet directory and gateway to a vast range of information sources on development and the environment, produced by the British Library for Development Studies Europe Aid – Evaluation Unit: Evaluation Guidelines IDRC: International Development Research Centre created by the Canadian government IDS: Institute of Development Studies, Sussex Innovation Network, Transforming Evaluation for Social Change International Development Evaluation Association (IDEAS) MandE – Monitoring and Evaluation – Cambridge, UK (Oxfam, Save the Children, Action Aid, CAFOD, CIIR, IDCR) ODI HPN: Humanitarian Practice Network at the Overseas Development Institute http://www.planning.continuousprogress.org/benchmarks www.alnap.org http://www.bond.org.uk/ http://fp.continuousprogress.org/node/83 http://www.sphereproject.org/ www.ids.ac.uk/eldis/eldis.html http://ec.europa.eu/europeaid/evaluation/methodology/foreword_ en.htm http://www.idrc.ca/index_en.html www.ids.ac.uk http://www.innonet.org/ http://www.ideas-int.org/home/index.cfm?navID=1&itemID=1&CFI D=855207&CFTOKEN=62085509 http://mande.co.uk/ www.odihpn.org Página 128 Monitoreo y Evaluación de Proyectos Programa para el fortalecimiento de la capacidad de seguimiento y evaluación de los proyectos http://preval.org/ FIDA (Fondo Internacional de Desarrollo Agrícola) en América Latina y el Caribe RELAC Red de seguimiento, evaluación y sistehttp://www.relacweb.com/ matización en América Latina y el Caribe K%`' @ http://www.undp.org/evaluation/index.html Who Are the Question-makers? A Participatory Evaluation Handbook http://www.undp.org/evaluation/documents/who.htm @@`' ; ; UNDP