Términos de Referencia para la Evaluación Externa de Proyectos del Programa de Cooperación Hispano Peruano PCHP 2007-2011 1. Introducción Según se acordó en la X Reunión del Comité Paritario del 9 de febrero de 2011, se ha elaborado un Plan de evaluación del PCHP con dos niveles: un nivel general en el que se aborde la evaluación del Programa de Cooperación Hispano-Peruano como un todo, y otro nivel más específico en el que se contempla la evaluación de cada una de las intervenciones 1 que lo componen. Los presentes Términos de Referencia se refieren al segundo de estos niveles, y en concreto a la Evaluación Externa del “Programa de Descentralización y Reforma del Estado en la República del Perú – PRODER PERU” En todo el proceso evaluativo que se propone, se siguen las orientaciones y pautas metodológicas que se derivan del Manual de Gestión de Evaluaciones de la Cooperación Española (DGPOLDE 2007) 2 . De acuerdo a esto, el proceso evaluativo constará de tres Fases: FASE I. Diseño de la evaluación. FASE II: Desarrollo del Estudio de Evaluación. FASE III: Comunicar los Resultados e incorporar lecciones. La elaboración de estos TdR representa el paso previo a la selección del equipo evaluador, con lo que culminaría la FASE I de dicho proceso. 2. Justificación de la Evaluación A finales del pasado año venció la IX Comisión Mixta Hispano Peruana que regula el Programa de Cooperación entre los dos países para el período 20072010. Sin embargo, por razones de diversa índole, relacionadas con el ciclo político de Perú, los retrasos en el inicio de muchos de los proyectos que la componen así como durante su propia ejecución, cambios en la planificación estratégica de AECID a raíz del nuevo Plan Director, etc., se acordó prorrogar el actual período de ejecución de la misma hasta diciembre del 2011. Por otra parte, a lo largo del 2011, la APCI y la AECID deberán abocarse a la identificación de acciones para la siguiente Comisión Mixta. Siguiendo lo contemplado en el Plan Director de la Cooperación Española 2009-2012, este proceso coincidirá a su vez, con la con la elaboración del nuevo Marco de 1 A lo largo del documento se hace referencia a las intervenciones del PCHP como Proyectos, aunque no todas ellas formalmente lo son. 2 http://www.maec.es/es/MenuPpal/CooperacionInternacional/Publicacionesydocumentacion/Documents/Manualdegesti %C3%B3ndeevaluaciones.pdf 1 Asociación con Perú, documento que orientará el accionar de todos los actores de la cooperación para el siguiente ciclo de planificación. Es en este contexto, de finalización de un ciclo de cooperación y planificación del siguiente, tanto APCI como AECID han considerado conveniente proceder a una evaluación final de cada una de las intervenciones que han formado parte del PCHP 2007-2011, no sólo como ejercicio de transparencia, sino también para extraer lecciones aprendidas de lo actuado, valorar el grado de cumplimiento de los resultados y objetivos planteados en el proyecto e identificar aspectos, ya sea técnicos ó de gestión, de posible replicabilidad en futuras intervenciones. Asimismo, se busca que contribuya a mejorar la toma de decisiones de cara a la identificación y formulación de objetivos y estrategias del sector Gobernanza Democrática en el marco del próximo Programa de Cooperación Hispano Peruano, mediante un análisis integral, cualitativo y cuantitativo de su contribución a las políticas de la Cooperación Española y las prioridades de desarrollo del Perú. La evaluación que se plantea no surge por tanto de un mandato reglamentario o normativo, sino que corresponde a la propia iniciativa de la OTC Perú de cara a una mejora de su desempeño y del interés de la APCI. 3. Objeto de la evaluación El Objeto a evaluar lo constituye el Proyecto “Programa de Descentralización y Reforma del Estado en la República del Perú – PRODER PERU”, que se inició en el año 2007 y tiene prevista su finalización en el año 2011. El ámbito de ejecución del Proyecto es nacional, con enfoque regional, habiéndose identificado como zona prioritaria de desarrollo los Gobiernos Regionales de Cajamarca, Ayacucho, Cusco y Lima Región, y parcialmente el nivel local a través de zonas piloto (norte y sur). Tiene como Objetivo, Resultados e Indicadores los siguientes: LÓGICA DE INTERVENCIÓN O.G Impulsada la gobernanza democrática y la participación social IVO Creación de nuevos espacios de participación de la sociedad civil en los acuerdos adoptados en materia de descentralización y reforma del Estado. O.E Incrementadas las capacidades Mejora en las capacidades de gestión y institucionales y sociales a nivel gobernanza de los Gobiernos Regionales y nacional, regional y local, en el marco Locales beneficiarios. del proceso de descentralización y reforma del Estado 2 1. Impulsado un régimen fiscal y fortalecida la capacidad de gestión en materia fiscal en los ámbitos regional y local 2. Fomentados los mecanismos de articulación interinstitucional para mejorar la gestión (eficacia y calidad) de la inversión pública a nivel regional y local. Se dispone de un modelo de fiscalidad territorial que incorpora propuestas de marcos normativos, elaborados de manera participativa por la PCM, a las instancias correspondientes. Se dispone de un modelo de gestión pública de los proyectos de inversión, que incorpore buenas prácticas institucionales de los actores territoriales en la ejecución de proyectos. RESULTADOS 3. Impulsadas buenas prácticas en la prestación de servicios públicos y mejorado el marco normativo que orienta la gestión de la carrera pública y planeamiento estratégico. El Estado cuenta con 10 nuevos instrumentos que impulsan los procesos de modernización, simplificación y gobernanza del Estado. Incremento en un 30% de la satisfacción de los usuarios en cuanto a los servicios recibidos en línea. 80% de los funcionarios públicos participantes culminaron exitosamente los programas de especialización y están poniendo en práctica los conocimientos adquiridos. 3,000 funcionarios informados y sensibilizados sobre la nueva estructura del Estado y el proceso de simplificación administrativa. 4. Incrementadas las capacidades de 80% de los funcionarios participantes los funcionarios públicos para asumir culminan satisfactoriamente una maestría los nuevos roles en el proceso de en análisis y gestión de políticas públicas descentralización y fomentada la red 80% de los funcionarios y docentes de formadores locales. participantes han superado con éxito los cursos de formación en materia de descentralización y gestión pública. 80% de los funcionarios y docentes que han superado con éxito los cursos de formación, están poniendo en práctica los conocimientos adquiridos. 80% de los docentes de universidades regionales capacitados incluyen en el syllabus de su materia aspectos de descentralización, gobernabilidad y enfoque de género, adaptado a su contexto regional. 240 funcionarios de Gobiernos Locales adquieren conocimientos sobre modelos de gestión territorial 2,000 funcionarios del Gobierno Nacional sensibilizados sobre la necesidad de la descentralización 3 5. Promovidas visiones/agendas 3 Acuerdos Regionales en funcionamiento consensuadas en el marco de la y una mancomunidad regional. descentralización y fortalecidos 100 organizaciones representativas liderazgos locales suscriben los Acuerdos y participan activamente. Por lo menos 30% de los miembros de los Foros Regionales implementados son mujeres. 10,000 personas adquieren conocimientos sobre las políticas de Estado que promueve el Acuerdo Nacional 80% líderes jóvenes y mujeres de grupos originarios y minorías étnicas, en zonas rurales y urbano marginales, han superado con éxito el programa de capacitación en liderazgo. 80% de los líderes que han superado con éxito la capacitación, están poniendo en práctica los conocimientos adquiridos. 6. Promovido un Sistema Nacional de El SINADECI cuenta con hardware y software Defensa Civil moderno y fortalecido para informático de última generación, con un la gestión del riesgo. COEN móvil equipado con tecnología punta y un puesto de comando avanzado implementado. El SINADECI cuenta con módulos de capacitación actualizados. 80% de los 3.000 funcionarios públicos participantes de los talleres de formación los culminaron exitosamente y están poniendo en práctica los conocimientos adquiridos. 5.000 capacitadores regionales informados y sensibilizados sobre el Plan Nacional de Educación Comunitaria. 2.400 inspectores técnicos informados y sensibilizados sobre su temática. 6 funcionarios del SINADECI reciben formación técnica especializada en gestión de riesgos. La Evaluación abarcará la dimensión institucional, sectorial y geográfica del Proyecto, con incidencia en los actores de Lima e incluyendo algunas acciones en otras sedes externas en las coincidan varias actividades, en Lima Región y Cusco. En la dimensión temporal, el período transcurrido desde su inicio en el 2007 hasta su finalización en el 2011. Además de los actores oficiales, la evaluación deberá incluir a los beneficiarios directos de los programas de formación desarrollados: funcionarios de los tres niveles de gobierno, miembros de las fuerzas armadas y policiales, docentes universitarios y miembros de la sociedad civil. 4 Asimismo, la evaluación deberá analizar si el proyecto partió de un diagnóstico adecuado, de una línea de base; medir el grado en que el Proyecto contiene un marco de resultados que lo haga evaluable (enunciado de los objetivos y resultados, fuentes de verificación existentes y accesibles, cómo afectó a la calidad de los indicadores formulados contemplados, el que no exista línea de base) y las razones detrás de las variantes efectuadas en su marco de resultados a lo largo de la vigencia del Proyecto y las consecuencias en su ejecución. Se debe evaluar si corresponden los objetivos propuestos a los problemas y necesidades identificados, si el proyecto ha tenido en cuenta las relaciones de género de alguna manera (ha identificado brechas, diferentes necesidades, roles de hombres y mujeres). Asimismo, indicar con qué proyectos del mismo componente o del PCHP, así como con qué proyectos de otras fuentes cooperantes se articuló el proyecto para llevar acciones conjuntas o integradas, y cuáles han sido estas acciones. Finalmente, ver cuáles las principales fortalezas y debilidades en el diseño del proyecto, y en qué medida este diseño influyó en la consecución de los resultados. El Proyecto tiene como única contraparte y coejecutora a la Presidencia del Consejo de Ministros, y como unidades ejecutoras del mismo a diversos órganos del sector. Por ende se propone que la evaluación ponga el énfasis en lo sectorial, con una mirada holística a la intervención. 4. Actores implicados Las unidades coejecutoras de las actividades del Proyecto, al interior de la Presidencia del Consejo de Ministros, se enumeran a continuación: Secretaría de Descentralización Secretaría de Gestión Pública Secretaría de Coordinación Secretaría Técnica del Acuerdo Nacional Centro Nacional de Planeamiento Estratégico - CEPLAN Oficina Nacional de Gobierno Electrónico e Informático – ONGEI Instituto Nacional de Defensa Civil – INDECI Autoridad Nacional del Servicio Civil – SERVIR Se tercerizó el desarrollo de tres programas de formación con las siguientes entidades: Programa de Formación en Ciudadanía y Democracia para las Fuerzas Armadas y Policiales – Instituto de Gobierno Programa de Formación en Gobernabilidad Democrática, Económica y Social – Instituto de Gobierno 5 Programa de Formación en Desarrollo Local – Alianza conformada por la Escuela Mayor de Gestión Municipal y el Centro Guamán Poma de Ayala Asimismo, se ha venido ejecutando como iniciativas complementarias del Proyecto, actividades con las siguientes instancias de la Presidencia del Consejo de Ministros: Oficina General de Planeamiento y Presupuesto – OGPP Comisión de Alto Nivel Anticorrupción Oficina de Gestión de Conflictos Sociales Dirección Nacional Técnica de Demarcación Territorial Las actividades y tareas desarrolladas por todas las instancias de la Presidencia del Consejo de Ministros, han tenido como beneficiarios a: - Funcionarios públicos tanto de la propia Presidencia del Consejo de Ministros como de otros ámbitos de la administración nacional. - Funcionarios y técnicos de la administración descentralizada tanto en los niveles regionales como locales. - Oficiales de las Fuerzas Armadas y Policiales - Profesores universitarios y otro personal de las universidades de todo el país que actuarán como transmisores de capacidades desde las instancias de la administración central hasta los niveles regionales y locales. - Miembros de las Organizaciones sociales que participarán en los procesos de concertación en el seno de los acuerdos regionales. - Las propias comunidades locales. Se cuenta con los siguientes aliados: ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ Fundación Internacional y para Iberoamérica de Administración y Políticas Públicas – FIIAPP Fundación Universitaria Iberoamericana - FUNIBER Universidad Nacional de Educación a Distancia – UNED Universidad Carlos III de Madrid Instituto Nacional de Administración Pública de España – INAP Escuela de Gerencia Continental (Perú) Asamblea Nacional de Gobiernos Regionales - ANGR Asociación de Municipalidades del Perú - AMPE Red de Municipalidades Rurales del Perú - REMURPE GIZ – Cooperación Técnica Alemana USAID – Proyecto Prodescentralización PRODES COSUDE – Proyecto APODER Las normas que han regido la organización y gestión del proyecto son los instrumentos que constituyen el marco actual para las relaciones bilaterales de cooperación técnica Hispano-Peruana, así como las normas legales de carácter nacional vigentes en Perú y España, referidas a la Cooperación Técnica Internacional. El Manual Operativo y de Gestión del Programa de Cooperación Técnica Hispano-Peruano, aprobado por la Junta de Representantes del Fondo de Cooperación Hispano Peruano en el acta nº 004 6 el 20 de febrero de 2004 recoge los principales procedimientos de gestión para los proyectos, relativos a su administración, justificación, contratación, coordinación y sostenibilidad. El Fondo de Cooperación Hispano Peruano (en adelante FONCHIP), a través de su Consejo Directivo es la instancia permanente de administración y coordinación de los proyectos, con representación bipartita de la Administración peruana (APCI) y española de cooperación internacional (Embajada de España y AECID). El FONCHIP es la más alta instancia de coordinación local y de resolución de posibles diferencias en la ejecución del Programa Bilateral del que forma parte el proyecto. Además de adoptar las orientaciones generales sobre el manejo de los recursos, aprobará los planes operativos anuales y su presupuesto, teniendo como función principal la gestión de los recursos y la asignación periódica de los fondos para la ejecución del proyecto. Respecto al modelo de gestión del proyecto, cabe indicar que si bien la más alta representación del proyecto descansa en el titular de la PCM y en el Embajador de España en Perú, la responsabilidad directiva y la representación legal del proyecto corresponde a la Secretaría General de la PCM y a la Coordinación General de la AECID en el Perú, que a su vez delegarán la gestión operativa del proyecto en el/la Responsable de la Oficina de Planeamiento y Presupuesto de la PCM y Codirector/a del Programa de Cooperación Hispano Peruano (PCHP). Ambos codirectores del proyecto serán los responsables de la gestión técnica, administrativa, financiera y contable del proyecto. Toda vez que como hemos visto la gestión del proyecto involucra en su ejecución la participación de órganos, unidades y servicios vinculados o dependientes de la PCM y otras entidades asociadas, para canalizar su participación en las decisiones de ejecución, monitoreo y sistematización del proyecto existe la figura del Comité de Monitoreo presidido por el titular de la Secretaría General de la PCM, y cuya representación podrá delegar en el/la Responsable de la Oficina de Planeamiento y Presupuesto de la PCM. El Comité se integra por representantes designados por las distintas unidades ejecutoras del Proyecto y contará con la asistencia permanente del/a Codirector/a del PCHP, quien ejercerá la Secretaría Técnica del mismo. El proyecto además contará con un Mecanismo de Coordinación y Seguimiento al más alto nivel directivo que se reunirá una vez al año para aprobar las propuestas de programación y seguimiento anuales y dictar las orientaciones que fueran necesarias. 7 5. Objetivo de la Evaluación Al tratarse de la Evaluación Final de un Proyecto, se proponen como objetivos de la misma, los siguientes: • Valorar el grado de cumplimiento de los resultados y objetivos planteados en el Proyecto. • Valorar la coherencia y articulación entre los distintos componentes, actividades y tareas del Proyecto • Identificar aspectos, ya sea técnicos ó de gestión, de posible replicabilidad en futuras intervenciones. • Fomentar la transparencia y la Mutua Rendición de Cuentas. 6. Tipo de Evaluación y niveles de Análisis Se propone una Evaluación Final cuyo contenido se centre en los siguientes aspectos: Evaluación de diseño, para analizar la racionalidad y coherencia de la estrategia propuesta, verificar la calidad del diagnóstico y la lógica de intervención. Deberá plantearse si el objetivo del proyecto y sus resultados son coherentes y realistas, si son medibles o dimensionables los objetivos y resultados esperados. Asimismo, si las actividades del proyecto son consistentes, adecuadas y suficientes para lograrlos, y si hay coherencia y articulación entre los distintos componentes, actividades y tareas del proyecto. Y si los indicadores definidos permiten una adecuada medición del avance de los resultados. Evaluación de proceso, para analizar cómo ha sido gestionado el Proyecto. Debe evaluarse si el enfoque y estrategia utilizadas fueron adecuadas, y en qué medida el modelo de gestión del proyecto ha tenido incidencia en el nivel de los resultados alcanzados. Asimismo, si han sido asignados equitativamente los beneficios alcanzados entre hombre y mujeres. De igual modo si se ha adaptado el proyecto a los procedimientos de las instituciones contraparte. Con énfasis en una Evaluación de resultados, para realizar una valoración de hasta qué punto se han alcanzado los objetivos y resultados previstos y a qué coste, en términos de recursos humanos y materiales involucrados. Identificar qué otros resultados no previstos se alcanzaron y cuál es el grado de atribuibilidad de los logros al Proyecto. 8 Se plantea una Evaluación Externa, aunque se pretende realizar un seguimiento y acompañamiento al equipo evaluador a través de un Comité de Evaluación del Proyecto que se constituirá al efecto y que estará conformado por personal del Proyecto, de la contraparte, de la OTC de AECID en Perú y de la Agencia Peruana de Cooperación Internacional (APCI). 7. Criterios y Preguntas de Evaluación Los criterios de evaluación serán los habitualmente recomendados por el CAD y sugeridos por el Manual de Gestión de Evaluaciones de la Cooperación Española, y de acuerdo a los intereses y necesidades que reflejan las preguntas propuestas y serán, en principio, los siguientes: Pertinencia Valorar la adecuación de los objetivos y los resultados de la intervención al contexto en el que se realiza, la calidad del diagnóstico en que sustenta la intervención, su correspondencia con las necesidades observadas, etc. Eficiencia Estudio y valoración de los resultados alcanzados en función de los recursos empleados. Eficacia Se trata de medir y valorar el grado de consecución de los objetivos inicialmente previstos. Valorar la intervención en función de su orientación a resultados. Viabilidad (Sostenibilidad) Valorar la continuidad en el tiempo de los efectos positivos generados con la intervención una vez retirada la ayuda. Está directamente relacionada con una valoración favorable de los anteriores criterios y en particular con la apropiación. Apropiación Valora hasta qué punto las instituciones de los países socios ejercen un liderazgo efectivo sobre sus políticas y estrategias de desarrollo, lo que implica la coordinación de las actuaciones de los donantes. Alineamiento Refleja el compromiso de los donantes para prestar su ayuda teniendo en cuenta y participando en las estrategias de desarrollo, los sistemas de gestión y los procedimientos establecidos de los países receptores. 9 A manera de orientación general se sugieren las siguientes preguntas de la evaluación: ¿ la movilización de recursos humanos y materiales que ha supuesto el proyecto, se corresponde con los resultados esperados? ¿la inversión por persona en los programas de formación desarrollados está de acuerdo con los costos del mercado? ¿cuál es el grado de ejecución presupuestal sobre lo programado? ¿se han respetado los presupuestos establecidos inicialmente en el documento base? ¿por qué? ¿alcanzó el proyecto los resultados previstos? ¿Cuáles han sido los principales factores internos y externos que obstaculizaron y/o favorecieron esta consecución? ¿ se mantienen los resultados del proyecto una vez retirada la ayuda de la cooperación? ¿qué medidas se han adoptado para garantizar la sostenibilidad de las actividades/logros del proyecto (estrategia de sostenibilidad y/o otras herramientas; análisis de riesgos) ? ¿el proyecto ha sido permeable a los cambios de prioridades y demandas del país y del sector? ¿de qué manera éstos se han identificado e incorporado?. ¿qué actores y qué tipo de relaciones y alianzas ha establecido el proyecto en su entorno? ¿cuál ha sido el nivel y calidad de participación de los distintos actores y de la población objetivo? ¿con qué otras intervenciones del mismo sector bien del PCHP, o de otras fuentes cooperantes se ha articulado y/o complementado el proyecto para llevar acciones conjuntas o integradas? ¿cuáles han sido estas acciones? ¿fueron planificadas desde un inicio o surgieron a lo largo del proyecto? ¿existieron algunos esfuerzos de armonización en prevención de conflictos? ¿en qué medida los productos y procesos generados por el proyecto están siendo apropiados por las instituciones contrapartes? ¿se puede hablar de generación de institucionalidad? ¿por qué? ¿se han tenido en cuenta en la identificación y formulación las estrategias, programas y prioridades de la política de desarrollo nacional y de la institución contraparte? ¿se ha consultado a los involucrados o población destinataria (titulares de derechos) en la construcción y diseño del proyecto? Formará parte del trabajo del equipo de evaluación el revisar y ajustar estos criterios y preguntas, sugiriendo las modificaciones que consideren necesarias, así como valorar la factibilidad de su estudio en el marco de la evaluación. Las propuestas de Evaluación deberán presentar una primera versión de Matriz de Evaluación, siguiendo el modelo del ANEXO 1 en la que se relacionen entre sí dimensiones, criterios y preguntas de evaluación. 10 8. Metodología de evaluación Le corresponderá al equipo evaluador definir el diseño metodológico más adecuado para la evaluación, el debido rigor y siempre garantizando: a). la aplicación de técnicas para la obtención de datos que respondan a los parámetros de validez y fiabilidad propios de investigación social. b). un enfoque metodológico que aborde cuatro niveles de valoración: 1) hallazgos; 2) análisis interpretativo basado en los datos, hechos e informaciones encontradas;3) juicios concluyentes (conclusiones); y 4) recomendaciones. c). una interpretación que aúne la valoración de las dimensiones de la intervención (diseño, proceso y resultados) a la valoración sustentada en los criterios seleccionados. 9. Documentos y Fuentes de Información. El Comité de Evaluación del Proyecto y la Dirección del Proyecto proporcionarán al equipo evaluador toda la documentación e información disponible en relación al Proyecto a evaluar. Entre otras cabe señalar: - Documentos de Proyecto (PRODOC). - Programaciones Operativas Anuales (POAS). - Informes semestrales y anuales. - Actas de los Comités de Seguimiento. - Otros documentos generados por el Proyecto que se consideren de interés para la Evaluación (Actualización del Diagnóstico Municipal, Publicaciones y/o Estudios generados por el Proyecto etc. que obran en la Codirección PCHP del Proyecto). 10. Plan de Trabajo de la Evaluación La evaluación contará con tres fases: 1) Fase de gabinete, 2) Trabajo de campo y 3) Elaboración y presentación del informe de evaluación. 1) Fase de gabinete: en esta fase se espera que el equipo evaluador proceda a una revisión documental para conocer suficientemente tanto el objeto de evaluación como el contexto evaluativo. El producto que se espera de esta fase, es el diseño final de la evaluación, que deberá incluir la Matriz de Evaluación, con los criterios y las preguntas de evaluación definitivas y una propuesta de indicadores y opciones metodológicas (técnicas y herramientas) para la recogida de información, así como también una propuesta de agenda del trabajo de campo. Este primer producto deberá contar con la aprobación del Comité de Evaluación del Proyecto como paso previo para pasar a la siguiente fase. 11 2) Trabajo de campo, es decir la aplicación de las técnicas previstas en el diseño final de la evaluación, recopilando toda la información que se considere necesaria del Proyecto. Como producto de la misma, el equipo evaluador deberá presentar un Informe de Trabajo de Campo que incluirá una memoria de las actividades realizadas y una primera aproximación de los hallazgos y de las posibles dificultades a afrontar en el proceso (máximo 15 páginas). Este informe deberá ser socializado con el Comité de Evaluación del Proyecto de forma presencial. 3) Elaboración y presentación del Informe Final de Evaluación, consiste en el análisis e interpretación de datos y la elaboración del informe final, incluyendo la previa presentación de un primer borrador de informe al Comité de Evaluación del Proyecto y al Comité de Evaluación del PCHP, así como la puesta en común de las conclusiones y recomendaciones. Los hallazgos deben proceder de los datos recopilados y los análisis efectuados, las conclusiones han de tener una relación lógica con los hallazgos y las recomendaciones coherentes con las conclusiones. Las recomendaciones deben ser tan realistas, operacionales y pragmáticas como sea posible y deberán tener en cuenta las circunstancias en el contexto del Proyecto, pudiendo incluir aspectos políticos, organizacionales, operativos, etc. 11. Estructura del Informe de Evaluación En Informe Final de la Evaluación deberá tener como mínimo, la siguiente estructura: 0. Resumen ejecutivo 1. Introducción 1.1. Antecedentes y Objetivo. 2. Descripción del objeto de evaluación y su contexto. 2.1 Concepción inicial: análisis del contexto, caracterización general del Proyecto 2.2 Descripción detallada de su evolución 2.3 Apreciación general sobre la gestión, administración y supervisión del Proyecto 3. Metodología empleada en la evaluación 3.1. Preguntas y criterios de valoración. 3.2. Metodología de investigación aplicada. 3.3. Condicionantes y límites del estudio realizado. 4. Análisis e interpretación de la información recopilada 5. Conclusiones de la evaluación en relación con los criterios de evaluación y las dimensiones de la intervención. 6. Lecciones aprendidas 7. Recomendaciones de la evaluación. 8. Anexos (Términos de Referencia, Listado de documentación revisada, Relación de instituciones y personas contactadas, Herramientas metodológicas utilizadas, etc.) 12 La estructura del informe podría sufrir alguna variación en relación a lo expuesto siempre que como consecuencia del diseño definitivo de la evaluación así lo acuerden el equipo evaluador y Comité de Evaluación del Proyecto. El Informe Final deberá tener una extensión máxima de 60 páginas (excluidos Resumen Ejecutivo y Anexos) manteniendo un equilibrio entre sus distintos capítulos y de forma tal que los puntos 5, 6 y 7 del esquema anterior representen al menos el 25% del documento. El Resumen Ejecutivo no deberá ser mayor de 8 Páginas y su contenido deberá permitir su comprensión y difusión de forma independiente al resto del documento. En Anexos, se deberá incluir igualmente un resumen de la evaluación como presentación en power point con un máximo de 15 diapositivas. Tras su presentación en formato electrónico y una vez aprobado, el equipo evaluador deberá entregar además tres copias en papel de la versión definitiva del Informe Final. La calidad del Informe Final se valorará de acuerdo con los criterios de valoración que se incluyen como ANEXO 2. 12. Equipo Evaluador Para realizar la evaluación se requiere de un equipo evaluador que cumpla con los siguientes requisitos: • • • • • • Experiencia demostrable en cooperación al desarrollo. Formación y experiencia demostrable en diseño y gestión de evaluaciones de proyectos y programas de cooperación internacional. Se valorará la experiencia previa de por lo menos un miembro del equipo, en evaluaciones de proyectos en temas referidos a gobernabilidad, descentralización, reforma del Estado y/o desarrollo de capacidades para el funcionariado público. Dominio de técnicas de investigación social. Conocimiento del contexto institucional y de la realidad peruana. Experiencia laboral de por lo menos un miembro del equipo en y/o con la administración pública. No se precisa un número determinado de personas y se deberá especificar las responsabilidades de cada integrante, actuando en todo caso una de ellas como coordinador/a del equipo y responsable final del trabajo. 13. Premisas de la Evaluación Es importante destacar que el equipo evaluador debe garantizar que el trabajo desarrollado y los resultados obtenidos cumplan con las premisas siguientes: Anonimato y confidencialidad: la evaluación tiene que respetar el derecho de las personas a proporcionar información asegurando su anonimato y confidencialidad. 13 Responsabilidad: cualquier desacuerdo o diferencia de opinión que pudiera surgir entre los miembros del equipo o entre éstos y los responsables de la intervención, en relación con las conclusiones y/o recomendaciones, debe ser mencionada en el informe. Cualquier afirmación debe ser sostenida por el equipo o dejar constancia del desacuerdo sobre ella. Integridad: los evaluadores tendrán la responsabilidad de poner de manifiesto cuestiones no mencionadas específicamente en los TdR, si ello fuera necesario para obtener un análisis más completo del objeto de evaluación. Independencia: el equipo evaluador deberá garantizar su independencia del objeto de evaluación, no estando vinculado con su gestión o con cualquier elemento de sus intervenciones, incluidas las organizaciones contrapartes. Incidencias: en el supuesto de la aparición de problemas durante cualquier fase de la evaluación, éstos deberán ser comunicados al Comité de Seguimiento de la evaluación. De no ser así, la existencia de dichos problemas no podrá ser utilizada en ningún caso para justificar la no obtención de resultados establecidos en los presentes TdR. Convalidación de la información: corresponde al equipo evaluador garantizar la veracidad de la información recogida para la elaboración de los informes y, en segunda instancia, ser responsable de la información presentada en la evaluación. Derechos de autor y divulgación de la evaluación: todo derecho de autor recae en AECID y la divulgación de la información recopilada y del Informe final será igualmente prerrogativa de AECID. Entrega de los Informes: en caso de retraso en la entrega de los informes o en el supuesto de que la calidad de los mismos sea manifiestamente inferior a lo pactado, el equipo evaluador acatará la resolución arbitral a la que el Comité de Seguimiento de la Evaluación pudiera recurrir, incluidas posibles penalizaciones en el pago del servicio. 14. Plazos para le Evaluación y presupuesto El plazo máximo previsto para la realización de la Evaluación es de 8 semanas, desde el 28 de Noviembre de 2011 hasta el 23 de Enero de 2012. La Fase de gabinete transcurrirá desde el 28 de Noviembre al 12 de Diciembre. (2 semanas), fecha límite para la entrega del diseño final de la evaluación. El trabajo de campo se iniciará desde el 12 de Diciembre hasta el 26 de Diciembre (2 semanas), mientras que la elaboración del informe de evaluación transcurrirá desde el 26 de Diciembre al 9 de Enero, fecha límite para la entrega del primer borrador del informe de evaluación. El Comité de Evaluación del Proyecto y el Comité de Evaluación del PCHP dispondrán de una semana 14 para su revisión y el equipo evaluador de otra semana adicional para incorporar o corregir en el borrador del Informe Final estos comentarios y aportaciones. El Informe Final debería entregarse por tanto, el 23 de Enero de 2012. SEMANAS Fase de Gabinete y diseño final de la evaluación. Trabajo de campo Elaboración de informe de evaluación y presentación borrador Revisión Conclusiones y Recomendaciones Taller de devolución de las conclusiones 1ª Mes 1 2ª 3ª X X X 4ª 1ª Mes 2 2ª 3ª X X 4ª X X X X El monto referencial para la evaluación de acuerdo al Plan Operativo 2011, incluido impuestos, es de US$ 30.000,00. A los candidatos/as internacionales se les informa que según la legislación tributaria peruana se les realizará la retención del 24% (personas naturales) y del 30% (personas jurídicas) del importe total del servicio respectivamente por concepto de Impuesto a la Renta de No Domiciliado. Para todos los casos, las propuestas serán a todo costo (incluyendo todos los impuestos de ley aplicables, boletos aéreos nacionales o internacionales según sea el caso, viáticos, alojamiento, desplazamientos locales, etc.) Las propuestas superiores o inferiores al diez por ciento (10%) del valor referencial no serán consideradas. Los pagos se realizarían de la siguiente manera: 30% a la firma del contrato, 30% con el diseño final de la evaluación 40% restante a la aprobación del informe final, 15. Presentación de la oferta técnica y económica y criterios de valoración. La presentación de las ofertas deberá realizarse por correo electrónico a la dirección [email protected], con copia a [email protected] indicando en el asunto: “Propuesta Evaluación Proyecto PRODER PERU”, hasta las 9 horas del día 21 de noviembre de 2011. 15 El contenido de la misma deberá incluir como mínimo: a) Propuesta metodológica incluida Matriz de Evaluación como primera hipótesis de trabajo (elaborada por el equipo ó con aportes del equipo si ya se había dado elaborada). b) Plan de trabajo. c) Propuesta económica correlacionada con las fases previstas en la evaluación. d) CV detallado de la empresa y/o del equipo evaluador. Para la selección de las propuestas se recurrirá a tres criterios: • Calidad técnica de la metodología propuesta: 40% (nivel de concreción de la metodología, descripción de las herramientas, propuesta de matriz, etc.). • Experiencia y cualificación del equipo evaluador 40%. • Propuesta económica 20% (relación entre la propuesta y las fases y productos de la evaluación). Para mayor facilidad, en el ANEXO 3 se adjunta la parrilla para la valoración de propuestas. No se considerarán propuestas superiores o inferiores al diez por ciento (10%) del valor referencial. 16