Documento Técnico

Documento Técnico
Información a tomar en cuenta para la Realización de la Consultoría sobre
Diseño Metodológico para la Evaluación de Impacto FONDOEMPLEO
Lima, Febrero del 2013
1. ANTECEDENTES
Actualmente FONDOEMPLEO realiza Estudios de Evaluación Final a la totalidad de
proyectos, que incluyen el levantamiento de una Línea Base, son comparables entre sí y
permiten medir los resultados obtenidos por los proyectos además de analizar la
pertinencia, eficacia, sostenibilidad y efectos de los mismos. Estos estudios son
elaborados por una Institución Evaluadora externa a FONDOEMPLEO con la finalidad de
buscar la imparcialidad en el análisis.
La Evaluación Final mide los cambios en los beneficiarios entre la situación pre-proyecto y
al cierre de proyecto. Sin embargo, esta evaluación no determina una relación de
causalidad entre la intervención del proyecto y los cambios alcanzados. Para ello es
necesaria una Evaluación de Impacto.
2. EVALUACIONES DE IMPACTO
FONDOEMPLEO tiene el interés de realizar la evaluación de impacto de su intervención,
por línea de proyectos:




Línea 1: Capacitación Laboral e Inserción Laboral.
Línea 2: Certificación de Competencias Laborales.
Línea 3: Promoción y Fortalecimiento de Emprendimientos.
Línea 4: Proyectos Productivos Sostenibles.
Es decir desea determinar si una determinada línea de intervención produjo los efectos
deseados en los beneficiarios, y si esos efectos son atribuibles a la intervención de
los proyectos de dicha línea.
Dadas las características de los proyectos de FONDOEMPLEO, aún de una misma línea,
que son ejecutados por distintas instituciones en distintas regiones del país, con distinta
duración y financiamiento, FONDOEMPLEO es consciente de que lo óptimo sería realizar
Evaluación de impacto a cada uno de los proyectos.
Sin embargo en términos de costo beneficio es demasiado costoso realizar evaluaciones
de impacto a proyectos relativamente pequeños (por número de beneficiarios y monto de
financiamiento).
En este sentido es que se convoca a consultores con amplia experiencia en evaluación de
Impacto para que diseñen la metodología que permita medir el impacto de cada línea de
intervención de FONDOEMPLEO sin realizar evaluaciones a todos los proyectos y con
una inversión acorde con los montos que financia anualmente.
Algunos expertos previamente consultados opinan al respecto que lo mencionado en el
párrafo precedente no es posible dadas las características de los proyectos de
FONDOEMPLEO.
El consultor que realice el diseño metodológico deberá determinar, con justificaciones
técnicas y prácticas, si es factible o no medir el impacto de cada línea y en el segundo
caso que alternativas tiene FONDOEMPLEO para llegar a algunas conclusiones sobre el
impacto de sus intervenciones por línea, en base a estudios de impacto a realizarse
anualmente.
FONDOEMPLEO busca medir impacto en:
 Desarrollo de capacidades
 Empleabilidad
 Generación de empleo
 Generación/incremento de Ingresos
Según corresponda a la línea a evaluar.
Para mayor información sobre las líneas de proyectos de FONDOEMPLEO se puede
consultar las Bases del 13° Concurso de Proyectos. Sobre los Proyectos de los últimos
concursos puede consultar las Fichas técnicas en la web institucional (Proyectos/Fichas
de Proyectos).
Para la elaboración de los TDR de la consultoría y el presente documento técnico se ha
consultado especialistas de reconocido prestigio. A continuación un resumen de las
principales concusiones.
a) Retos/Dificultades
La Diversidad y tamaño de los proyectos. Para proyectos pequeños es caro y poco
práctico hacer evaluaciones de impacto.
Hay dificultades para evaluar, al manejarse muchos proyectos muy pequeños y no pocos
proyectos más grandes. Las Evaluaciones de Impacto funcionan mejor con muestras
grandes.
Las evaluaciones de impacto cuestan muchos recursos de tiempo y dinero por lo que es
necesario que priorizar.
b) Diseño deseable
Se explicó a los especialistas que FONDOEMPLEO ha previsto medir su impacto desde el
13° Concurso de proyectos. Estos proyectos se convocaron en el 2013 y se inician en el
primer semestre del 2014, es decir, antes de que se inicien las Evaluaciones de Impacto,
cuya convocaría se realizaría luego de concluir la consultoría metodológica.
FONDOEMPLEO también tiene previsto medir su impacto en los siguientes Concursos de
Proyectos como el 14° que se convocará en abril del 2014 aproximadamente.
La mayoría de los especialistas concuerda en que lo óptimo es realizar un diseño
experimental. Sin embargo no se ha diseñado los proyectos del 13° concurso de tal
manera que se pueda emplear este diseño. Incluso en los proyectos que se financie en el
concurso 14 en adelante puede haber limitaciones para la aleatorización porque muchos
de los proyectos son pequeños y en muchos proyectos no hay excedente de interesados
sobre los beneficiarios que finalmente se seleccionán.
En ese sentido se consultó cual podría ser la metodología para este 13° concurso o en
general cuando no se pueda realizar diseño experimental.
Algunos especialistas indicaron que una alternativa al diseño experimental sería evaluar
proyectos en que sea viable identificar adecuados grupos control luego de iniciado el
proyecto, tomando el doble o el triple de control por cada beneficiario.
Otros opinaron que la evaluación seleccionando grupo de control ex post es débil y que se
invertiría recursos en vano porque la evaluación no es robusta.
Sugieren que para próximos concursos se incluya en las bases del concurso que se debe
hacer selección de beneficiarios de manera aleatoria cuando sea posible a fin de poder
realizar un diseño experimental en la evaluación de impacto.
Para la consultoría Metodológica que se está convocando, FONDOEMPLEO espera que
el consultor plantee el mejor diseño posible para los proyectos del 13° concurso y en
general cuando no se pueda realizar aleatorización, aclarando todas las posibles
limitaciones.