EL INFORME DE EVALUACIÓN CONCLUSIONES • Deben dar respuestas claras a las cuestiones planteadas en la evaluación, criterios de valor y méritos de la intervención. Pueden hacer referencia a los límites metodológicos. • El valor final de una evaluación depende de la calidad y credibilidad de las recomendaciones propuestas, por lo que deben ser: reales, operativas y pragmáticas. • Deben tener en cuenta cuidadosamente el contexto del proyecto y los medios disponibles. • Pueden referirse a aspectos: políticos, organizativos, operacionales, tecnológicos, instrumentales, de desarrollo institucional y de estrategias regionales o nacionales y estarán basadas en hechos objetivos y demostrables. • Los interlocutores del proyecto podrán participar y aconsejar al respecto. RECOMENDACIONES • Estarán relacionadas con las conclusiones sin ser un calco, pero deberán derivar de una o varias conclusiones. • Se agrupan por orden de prioridad y se mencionará a quien van dirigidas. • Deben ser útiles, operativas y factibles. • Solo serán válidas si son entendidas e integradas por los destinatarios, por lo que pueden discutirse previamente con ellos. INFORME FINAL Contenidos 1. Resumen ejecutivo: síntesis centrada en conclusiones y recomendaciones 2. Introducción: Objetivos, alcance de la ev. y del programa, limitaciones, agentes críticos 3. Objeto de la evaluación: contexto y características 4. Metodología ( criterios, preguntas, indicadores), recursos empleados y actores consultados 5. Resultados: presentación e interpretación de datos alrededor de los criterios 6. Conclusiones: valoración del desempeño y resultados del programa, basadas en los hallazgos 7. Recomendaciones, concretas y dirigidas; basadas en las conclusiones 8. Apéndices: TdR, referencias, cuestiones técnicas…. ESTILO del informe • Evitar la utilización de un lenguaje excesivamente técnico en el cuerpo principal del informe (limitarlo a los anexos, si es posible). • En el caso de ser necesario, explicar los términos de forma precisa y sencilla (en el texto o en notas a pie de página). • No utilizar párrafos excesivamente largos y engorrosos, así como palabras y conceptos ambiguos o vagos. • No abundar en críticas poco constructivas o centradas en nombres concretos. Recordar que lo que se evalúa son las intervenciones y no las personas. ESTILO del informe 1 • Asegurarse de que todas las siglas y acrónimos estén desarrollados la primera vez que aparecen en el texto, y que las referencias a instrumentos o mecanismos propios de la Organización puedan ser comprendidas por cualquier lector. • Las notas deben ser incluidas al pie de cada página y numeradas correlativamente desde el primer capítulo. Su contenido debe servir para ampliar un concepto desarrollado en el texto o para ejemplificar un comentario realizado pero no para introducir ideas nuevas. • Los gráficos, figuras y tablas deben ir referenciados en el texto y en el encabezamiento de los mismos. SOPORTES DOCUMENTALES • Conviene que formen parte de los anexos técnicos. Deben ser referidos en el informe. Su numeración será correlativa, y todos tienen que poseer un título descriptivo. • La utilización de bibliografía adicional a los documentos generados por la intervención es válida y, en muchos casos, imprescindible. En las referencias bibliográficas deben incluirse los datos completos de la obra de referencia (nombres completos de los autores, fecha de edición, título y subtítulo, editorial o revista, volumen, tomo o número, si corresponde, ciudad de edición y páginas. INFORME DE EVALUACIÓN UE 1 I. RESUMEN: (5 pág.) • Objetivo o cuestiones clave de la evaluación. • Describir los principales puntos analíticos: introducción, resultados, objetivos conseguidos, relevancia, efectividad, impacto, eficiencia, sostenibilidad. • Conclusiones principales. • Lecciones aprendidas • Recomendaciones. INFORME DE EVALUACIÓN UE 2 II.1 INTRODUCCIÓN: • Descripción del proyecto o programa objeto de evaluación. Resultados previsto, tipo de proyecto, componentes del programa • Objetivos de la evaluación. • Metodología empleada en la evaluación: fechas, composición del equipo, método empleado, Instrumentos (marco lógico, entrevistas, talleres, encuestas, visitas al terreno, reuniones posteriores). Fuentes de información. Límites hallados. Estructura de presentación del informe (basado en la bibliografía, en los TDR). INFORME DE EVALUACIÓN UE 3 II.2 CUERPO: • Antecedentes. Siguiendo el marco lógico haremos una valoración del diseño del proyecto (POG) describiremos y comentaremos: el objetivo global, los específicos, los resultados, las actividades, los indicadores y medidas. Y luego pasaremos a evaluar: los 5 criterios de valor describiendo los hechos, interpretándolos y analizándolos según las cuestiones clave de cada uno de ellos. INFORME DE EVALUACIÓN UE 4 II.2.1. Pertinencia II.2.2 Eficiencia A nivel de la organización A nivel de la intervención A nivel del seguimiento II.2.3 Eficacia II.2.4. Impacto II.2.5 Viabilidad II.2.6 Factores de desarrollo Cuestiones transversales Género Medioambiente Lucha contra la pobreza III Conclusiones y recomendaciones INFORME DE EVALUACIÓN UE 5 III Conclusiones y recomendaciones Valoración del resultado de cada indicador: 1/A Muy satisfactorio: los objetivos o criterios fijados han sido conseguidos como o mejor que previsto. 2/B Satisfactorio: los aspectos positivos son más importantes que los negativos. 3/C Insatisfactorio: los aspectos positivos son flojos en relación a los negativos. 4/D Muy insatisfactorio: seriamente deficiente, muy pocos aspectos positivos. INFORME DE EVALUACIÓN UE 6 IV ANEXOS • Términos de referencia de la evaluación • Nombres de los evaluadores y sus sociedades. (Sus CV limitados a una hoja) • Metodología del estudio, fases, métodos de recogida de información, muestreo etc. • Matrices de los marcos lógicos (original y mejorados o actualizados) • Mapa de la zona del proyecto. • Listado de personas/organizaciones consultadas. • Literatura y documentación consultadas. • Anexos técnicos: análisis estadísticos, etc. Informe de Análisis de Ejecución de Proyectos. Banco mundial Resumen 1.0 Introducción 1.1 Antecedentes Propósito de la evaluación. Interesados principales 1.2 Descripción del proyecto Resumen del marco lógico Estado general (fecha de inicio, fin y otros parámetros esenciales) 1.3 Metodología de la evaluación 1.3.1 Diseño/Enfoque general 1.3.2 Fuentes de datos 1.3.3 Instrumentos 1.3.4 Equipo de evaluación 1.3.5 Limitaciones 1.4 Organización del informe Informe de Análisis de ejecución de Proyectos. Banco mundial 1 2.0 Justificación del proyecto 2.1 Introducción 2.2 Cambios en el contexto del proyecto y análisis de supuestos. 2.3 Validez de la lógica del proyecto 2.4 Continua pertinencia del proyecto 2.5 Repercusiones para la continuación/reformulación del proyecto Informe de Análisis de ejecución de Proyectos. Banco mundial 2 3. 0 Eficacia y efectos 3.1 Logro de los componentes del proyecto 3.1.1 Planificados y reales 3.1.2 Repercusiones de cualquier deficiencia 3.2 Componentes y efectos del proyecto y el propósito del proyecto 3.2.1 Efectos planificados y contribución al propósito 3.2.2 Efectos imprevistos y compatibilidad con el propósito y prioridades del Banco Mundial 3.3 Contribuciones al fin del proyecto 3.4 Conclusiones y recomendaciones Informe de Análisis de ejecución de Proyectos. Banco mundial 3 4.0 Eficiencia 4.1 Introducción 4.2 Administración de actividades del proyecto 4.2.1 Normas y control de calidad 4.2.2 Costos y control de costos. 4.3 Preparación de informes con información oportuna y útil sobre finanzas del proyecto, programación y suministro de actividades, logro de los componentes del proyecto, problemas y riesgos del proyecto 4.4 Solución de problemas: identificación eficaz, solución oportuna 4.5 Utilización de recursos 4.5.1 Análisis de eficacia en función del costo 4.5.2 Análisis de costos-beneficios 4.6 Conclusiones y recomendaciones Informe de Análisis de ejecución de Proyectos. Banco mundial 4 5.0 Conclusiones y recomendaciones 5.1 Introducción 5.2 Viabilidad del proyecto 5.2.1 Capacidad institucional 5.2.2 Costos recurrentes 5.3 Lecciones aprendidas 5.3.1 Desempeño operativo o de ejecución 5.3.2 Desempeño del impacto de desarrollo 5.4 Repercusiones para préstamos futuros 5.5 Resumen de las recomendaciones Referencias Apéndices CALIDAD DEL INFORME FINAL DE EVALUACIÓN EuropeAid • La calidad del informe de evaluación se realiza sobre 9 criterios, mediante una parrilla con 5 niveles: excelente, muy bueno, bueno, regular, inaceptable EuropeAid CALIDAD DEL INFORME FINAL DE EVALUACIÓN Criterios 1. Satisfacción de la demanda Responde a las demandas de información formuladas Corresponde a los Términos de Referencia 2. Pertinencia: Hace un examen completo de la pertinencia y justificación de la intervención De sus logros, resultados, impactos, interacciones previstas e imprevistas 3. Justificación de la metodología Es adecuada para responder a las preguntas de evaluación 4. Fiabilidad de los datos Los datos seleccionados son adecuados y fiables para el uso esperado 5. Solidez del análisis Las informaciones cualitativas y cuantitativas están analizadas de forma adecuada y sistematizadamente Permiten responder a las preguntas de forma válida EuropeAid CALIDAD DEL INFORME FINAL DE EVALUACIÓN Criterios 6. Credibilidad Los argumentos se desprenden del análisis de los datos y de apreciaciones basadas en una lógica 7. Validez de las conclusiones Se realizan conclusiones claras y basadas en constantes creíbles 8. Utilidad de las recomendaciones Son equitativas, sin sesgos personales, sin influencias de interlocutores Son detalladas y aplicables 9. Claridad del informe Describe claramente la intervención evaluada, su contexto, su finalidad La información facilitada es fácilmente comprensible