ORGANIZACION DE LOS ESTADOS AMERICANOS Consejería Estratégica para El Desarrollo Organizacional y la Gestión por Resultados Departamento de Planificación y Evaluación Llamado a hojas de vida para la “EVALUACIÓN DE LA EFECTIVIDAD DE UNA MUESTRA DE PROYECTOS DEL SECTOR DE DERECHOS HUMANOS” Tipo de Contrato: Consultoría Individual. Unidad Organizacional: Departamento de Planificación y Evaluación. Duración: 60 días no consecutivos en un periodo de cinco meses. Remuneración: Consistente con la experiencia, habilidades y educación. Lugar de trabajo: Residencia del consultor, Washington DC y países beneficiarios de los proyectos a ser evaluados. Fecha límite para postular: A más tardar el 22 de octubre de 2016 [email protected] Descripción: La presente consultoría tiene por objetivo evaluar la eficiencia y eficacia de las acciones impulsadas por una muestra de proyectos orientados al fortalecimiento institucional de la CIDH y de la Corte IDH y al mejoramiento e implementación de medidas que mejoran la aplicación del sistema interamericano de derechos humanos en el hemisferio, mediante el análisis de los resultados a nivel de productos “outputs” y de efectos directos “outcomes”. Actividades: 1. El consultor deberá desarrollar las siguientes actividades: ETAPA I: Actividades preparatorias. 2. Desarrollar una propuesta preliminar de plan de trabajo detallado para evaluar los proyectos seleccionados, incluyendo la descripción de las actividades a llevarse a cabo y los productos, un cronograma de actividades y entregas. Asimismo la consultoría deberá incluir recomendaciones a los TdR según considere conveniente. 3. Conducir una misión de incepción a la sede de la OEA en Washington D.C., con el objetivo de evaluar con mayor precisión el alcance del trabajo y la disponibilidad de información, mediante: i) reuniones con los actores clave dentro de la organización; ii) la solicitud y recolección de documentos e información necesaria para llevar a cabo el estudio de forma eficiente y eficaz; y iii) la revisión de las matrices de marco lógico (ver párrafo 3.7) para reconstruir la teoría de cambio de cada operación. Lo anterior al igual que el marco de evaluación descrito a continuación deberán integrarse en un informe de incepción 4. Desarrollar el marco de evaluación para evaluar la implementación y el desempeño de los proyectos seleccionados, y la gestión dirigida por los equipos ejecutores. Entre otros el marco de evaluación deberá incluir: i) una descripción de la metodología o estrategia de diseño de evaluación, incluyendo el marco muestral, de ser necesario, para el levantamiento de la información y la matriz de evaluación; ii) un plan para la recolección y análisis de la información generada; iii) la identificación de indicadores adecuados de efecto directo/logro relevantes (“initial outcomes”, “intermediate outcomes” y “final outcomes”) que no hayan sido considerados en las Matrices de Marco Lógico (MML) originales y la medición de aquellos que si lo fueron para ambos grupos se espera se incluya su definición y metodologías para la recolección y fórmulas de cálculo; iv) los instrumentos de recolección de la información y material relacionado para el muestreo, incluyendo encuestas; v) el cronograma de recolección, análisis y producción de reportes (plan de trabajo final); vi) la consideración de aspectos transversales cómo perspectiva de género y la diversidad cultural en cada tipo de proyecto. vii) una propuesta de tabla de contenido del reporte de evaluación final, entre otros que se definan durante la visita de incepción y el consultor considere necesario incluir. 5. La propuesta técnica deberá tener como eje una matriz de evaluación. La matriz es una herramienta para la operacionalización de las preguntas de evaluación, pero no sustituye al planteamiento teórico-metodológico que guiará la evaluación, que deberá reflejarse de manera clara y diferenciada en la propuesta. Es importante señalar que la metodología no es una mera enumeración de técnicas, sino que: i) implica una posición teórica y cognitiva; ii) orienta la manera en que se va a enfocar la evaluación para cumplir con los objetivos establecidos; y iii) adelanta la forma (técnicas específicas) en que se van a recolectar, clasificar, analizar y presentar los datos, con el objetivo de que los hallazgos resulten sólidos y los productos de la evaluación cumplan con los estándares de calidad. En su propuesta el consultor deberá asegurar la complementariedad y el contraste de métodos y fuentes de información y pondrá de manifiesto las limitaciones existentes. 6. Las técnicas deberán ser coherentes con el planteamiento metodológico y apropiadas a la naturaleza de la información de la que se espera disponer para responder a las diferentes preguntas y subpreguntas de evaluación. La propuesta deberá justificar de forma específica y concreta la aportación y necesidad de cada técnica para esta evaluación, evitando párrafos genéricos sobre la técnica y sus características. 7. Conducir para los proyectos un ejercicio de actualización de las MML a fin de: i) valorar la pertinencia de los indicadores contenidos en las MML originales; e ii) identificar y definir aquellos indicadores de efecto directo/logro (incluyendo metas) que de acuerdo a los objetivos y acciones planificadas y ejecutadas, se debieron seleccionar para la medición de los resultados correspondientes. 8. En este sentido el consultor deberá validar el modelo lógico/teoría de cambio del programa (ver párrafo 3.3), manifestando para cada indicador si el indicador es apropiado, inapropiado y por qué; asimismo deberá incorporar indicadores que son más adecuados dado la naturaleza del programa, de haberlos, e incluir su definición, metodología de cálculo, fuentes de información y limitaciones de las fuentes de información, de haberlas. 9. La MML actualizada, así como las recomendaciones a los indicadores originales deberán presentarse a los equipos técnicos del DPE y de los proyectos. Este ejercicio se espera mejore la calidad de los indicadores a nivel de propósito de la MML en operaciones futuras. 10. Revisar todos los documentos relevantes necesarios para ejecutar la consultoría, entre ellos: los documentos de proyecto; Matrices de Marco Lógico; medios de verificación de los productos y logros generados a la fecha; informes de progreso y finales narrativos; Informes de Progreso en la Ejecución del Proyecto (IPEP) a la fecha; reportes emitidos por las áreas y publicaciones; entre otros. ETAPA II: Recopilación y análisis de la información y elaboración del borrador del informe de medio término. 11. El/La Consultor/ra deberá formular y probar las hipótesis correspondientes, y desarrollar una propuesta de modelos conceptuales/teoría del cambio en el cual se identifiquen las Variables Dependientes/Outcomes y las Variables Independientes que expliquen el modelo propuesto para cada intervención. 12. Preguntas de evaluación. A continuación se presenta una lista general no exhaustiva de preguntas que se espera la consultoría pueda responder al finalizar la evaluación: i) ¿Se han logrado los objetivos a nivel de producto y propósito que se fijaron en los diversos proyectos? De ser así ¿existe la posibilidad de atribución a dichos resultados? ii) El fortalecimiento fue uno de los principales objetivos de los proyectos sujetos a este ejercicio de evaluación ¿fue este objetivo razonable/viable, vis a vis el alcance de los proyectos mismos y su limitado financiamiento? iii) Consistente con el punto anterior ¿Se fortaleció la capacidad de la CIDH y de la Corte IDH de manera sostenible? iv) ¿Fue eficiente la gestión del sistema en el logro de sus objetivos? y ¿Cuáles fueron los principales obstáculos que se enfrentaron y cómo se abordaron? v) ¿Se mejoró la eficiencia (ahorro en tiempo y recursos) de los procesos de internos de la CIDH y de la Corte IDH de manera sostenible? ¿qué evidencia hay al respecto? vi) ¿Cómo se gestionaron las lecciones aprendidas en la implementación de los proyectos seleccionados? y ¿cuáles fueron sus efectos? vii) ¿Cuál es el grado de sostenibilidad tanto institucional como financiera de los beneficios generados por los proyectos? 13. El marco de evaluación coadyuvará la operacionalización de los procesos de recolección y análisis de la información a fin de determinar si la implementación se ha realizado de forma eficiente y efectiva y si ha generado los cambios esperados en la Organización, los Estados miembros participantes y otros beneficiarios. La evaluación deberá contemplar metodologías cualitativas y cuantitativas y las opiniones de todos los actores clave. 14. La consultoría deberá medir el desempeño de los proyectos en términos de eficiencia y efectividad. Los mecanismos de recolección y análisis de información deberán aplicar metodologías cuantitativas y estadísticas en el estudio de las variables y la prueba de las hipótesis. Entre otros el consultor deberá i) levantar información aleatoria para evitar sesgos, ii) verificar la validez interna y externa de las variables, que las relaciones entre el efecto y la intervención, controlando por factores asociados, son causales y que las conclusiones encontradas sean generalizables, y iii) verificar la veracidad de la información. Se espera que mediante el uso de modelos cuantitativos, según sea aplicable, la consultoría establezca la relación de causalidad (atribución) al menos teórica entre las intervenciones y los logros asociados a los proyectos, controlando los posibles sesgos. 15. Conducir entrevistas y recolectar información de las partes interesadas clave, incluyendo: jefes de equipo y equipo técnico de los proyectos (en Washington DC); posibles contrapartes de los gobiernos beneficiarios y puntos focales, de existir; personal del DPE; y beneficiarios directos e indirectos de los proyectos. 16. Viajar a la Sede de la Organización en al menos tres momentos: i) para la visita de incepción; ii) para la presentación del informe de medio término; y iii) para la presentación del informe final. Durante las visitas el consultor deberá, de ser necesario: realizar entrevistas a ejecutores y beneficiarios; y recolectar información. Para la presente consultoría no se contempla la realización de visitas de campo. 17. Conducir un análisis del logro de los objetivos y del diseño y pertinencia de la conceptualización del problema, así como determinar si las intervenciones previstas en los proyectos abordan las causas principales de las problemáticas identificadas en el sector. 18. Evaluar la viabilidad y lecciones aprendidas de la implementación de los proyectos seleccionados. La consultoría deberá analizar la eficiencia, eficacia y viabilidad técnica, identificar lecciones aprendidas y hacer las recomendaciones pertinentes para futuras ejecuciones. Las lecciones aprendidas no deben ser una repetición de las conclusiones con otra formulación, o ser una mera repetición del conocimiento común. Las lecciones deben ser extraídas solamente si representan contribuciones al conocimiento general y deben estar sólidamente respaldadas por los hallazgos y conclusiones de la evaluación. Las lecciones deberán: i) formularse de manera sencilla; ii) especificar el contexto en el que se han extraído; iii) explicar en qué consiste el aprendizaje generado, identificando factores que expliquen por qué las cosas ocurren de una determinada manera; y, iv) con las adaptaciones oportunas a cada nuevo contexto, deberán servir como pautas para acciones futuras. 19. Determinar si existen mejores prácticas relevantes al programa y si éstas se siguieron en la implementación de los proyectos, y explicar el por qué no, de ser el caso. 20. Elaboración y presentación del informe de medio término en la sede de la OEA, Washington D.C. ETAPA III: Presentación del informe final 21. Elaboración y presentación del informe final en la sede de la OEA, Washington D.C. Perfil del Consultor: La consultoría requerirá de los servicios de un individuo. El consultor deberá contar con: i) posgrado en política pública, ciencias sociales, leyes o área afín; ii) al menos 10 años de experiencia en la evaluación cuantitativa y cualitativa de programas y/o proyectos utilizando metodologías experimentales y cuasi-experimentales y de preferencia con experiencia en temas que promuevan el respeto y la protección de los derechos humanos en la región; iii) experiencia en la gestión de proyectos financiados por organismos multilaterales en la región; iv) habilidad para facilitar reuniones con y entre partes interesadas; y v) un nivel avanzado de español como idioma de trabajo y al menos un nivel intermedio de inglés, oral y escrito. Documentos a enviar: 1. Expresión de interés 2. Curriculum Vitae Los consultores interesados en participar en el proceso deberán enviar la expresión de interés y el CV a más tardar el 22 de octubre de 2016 al siguiente correo electrónico [email protected] Para mayor información solicitar los Términos de Referencia al siguiente correo electrónico [email protected]