Microsoft PowerPoint - 5CLAC-Presentaci\363n Dalberg

Implicaciones a la hora de la
Evaluación
Diseño de Programas de Clusterización
Medellín, 24 de junio de 2010
Objetivos
• Compartir experiencia y aprendizajes adquiridos en
evaluación de programas de Clusterización en Latinoamérica
• Analizar elementos del Diseño de Programas que permiten
apoyar la etapa de Evaluación de resultados e impacto
2
Índice
1. Perfil de Dalberg
2. Evaluación de Programas
3. Conclusiones y Aprendizajes
3
Perfil de Dalberg Global Development Advisors
Presencia Global
• Fundada en octubre de 2001
con oficinas en Nueva York y
Copenhague
Oficinas
• 10 Oficinas en 4 continentes
Clientes
• Más de 100 clientes
Copenhague
internacionales
Nueva York
• Participó de más de 400
Ginebra
San Francisco
proyectos
Washington DC
Bombay
Personal
Dakar
• Más de 100 consultores a tiempo
Nairobi
completo
• Consejo Directivo con experiencia
en desarrollo global
Santiago
Johannesburgo
• Consultores ex McK, BCG, Bain
Fuente: Dalberg, 2010
4
Índice
1. Perfil de Dalberg
2. Evaluación de Programas
3. Conclusiones y Aprendizajes
5
El Ciclo de Vida de los Programas de Clusterización comprende
principalmente 4 momentos…
Impacto
Aprobación
del Plan
Evaluación
Supervision
Implementación
• Nivel de participación en
el programa de
seguimiento de la
Institución de
Financiamiento
• Actividades de
seguimiento de los
programas de acuerdo • Las medidas adoptadas
Diseño
por la Institución de
con los plazos
• Examinar los supuestos
Financiamiento para
establecidos
y estudios de
aplicar las
• Análisis de calidad de
diagnóstico que
recomendaciones
los procesos internos
influyeron en la
intermedias
selección de programas • Un diálogo continuo
• Adaptabilidad y el proceso
de componentes
entre Unidad Ejecutora
para superar los
y la Institución de
• Alineación con la
obstáculos
Financiamiento
estrategia del
• Revisión de productos /
resultados
• Planificación de los
productos efectivos contra
logro de metas
• Análisis en profundidad
• Calidad de la ejecución y
supervisión
• Respuesta a las
necesidades de los
beneficiarios
• Importancia de los
cambios observados y de
contrastes
país/región
• Reflejo de la realidad
del país/región
Fuente: Dalberg, 2010
6
…donde la Evaluación se visualiza como lejana en
el horizonte
Impacto
Aprobación
del Plan
Evaluación
Supervision
Implementación
• Nivel de participación en
el programa de
seguimiento de la
Institución de
Financiamiento
• Actividades de
seguimiento de los
programas de acuerdo • Las medidas adoptadas
Diseño
por la Institución de
con los plazos
• Examinar los supuestos
Financiamiento para
establecidos
y estudios de
aplicar las
• Análisis de calidad de
diagnóstico que
recomendaciones
los procesos internos
influyeron en la
intermedias
selección de programas • Un diálogo continuo
• Adaptabilidad y el
de componentes
entre Unidad Ejecutora
proceso para superar
y la Institución de
• Alineación con la
los obstáculos
Financiamiento
estrategia del
• Revisión de productos /
resultados
• Planificación de los
productos efectivos
contra
logro de metas
• Análisis en profundidad
• Calidad de la ejecución
y supervisión
• Respuesta a las
necesidades de los
beneficiarios
• Importancia de los
cambios observados y
de contrastes
país/región
• Reflejo de la realidad
del país/región
Fuente: Dalberg, 2010
7
Esta evaluación se basa en indicadores de desempeño
establecidos por el marco lógico y enriquecida con
otros indicadores
Impacto
¿Se potenció el
Sector con éste
Programa?
Resultados
¿Fueron las
operaciones de las
PyMES Beneficiarias
fortalecidas?
Productos
¿Logró el Programa
llegar a los clientes
objetivo?
Componente 1
Componente 2
Ilustrativo
Componente N
• Hay PYMEs que no fueron beneficiarios de los programas que han invertido en la creación de
capacidad o asistencia técnica?/ ¿Cuál ha sido el crecimiento de las empresas no
beneficiarias?/Se incrementaron las ventas internacionales del sector (las exportaciones)?
• Marketing de logística
(clarificación de los mercados
• Rango de productos y servicios potenciales, identificación de
posibles socios / clientes)
ofrecidos
• Incrementos de productividad • La internacionalización del
sector como presencia en
en el sector
otros mercados; penetración
de PyMes en los mercados
extranjeros
• Número de asistencia técnica
en calidad de los proyectos
• Número de empresas que
recibieron asistencia técnica
• El número de eventos
• Número de empresas
participantes
• Número de participantes
individuales
Fuente: Dalberg, 2010
• Estado del productor /
registro en el extranjero
(norma internacional de
calidad)
• Modificaciones
reglamentarias marco
específicas y del sector
• Número de estudios de
normalización
• Número de talleres con las
empresas como número de
empresas participantes;
número de participantes
individuales
8
Sin embargo, el Programa es evaluado con metodologías que se
ajustan a la información disponible
Metodología de Evaluación
Diseño del
Programa
• Capacidad de:
– Mejorar el sector
– Ajustar exitosamente ejemplo que respondan a la realidad
local
– Definir apropiadamente componentes para alcanzar las metas
esperadas
– Identificar problemas críticos
Implementación
del Programa
• Comparar actividades pautadas con el actual desempeño
• Monitorear desempeño versus plan de trabajo y la línea del
tiempo
Supervisión del
Programa
Evaluación del
Programa
• Revisar alineación a las políticas operativas de la Institución de
Financiamiento
• Examen de informes intermedios y las medidas adoptadas en
respuesta al desarrollo del Programa y las recomendaciones
• Medición de la capacidad de respuesta a las necesidades
generales del proyecto y ejecución de temas referidos a la
agencia
• Comparar los objetivos originales con los resultados reales
• Evaluar la situación del sector antes y después
• Evaluación del impacto del Programa sobre los desafíos del
sector
• Analizar la eficacia de costos de los resultados y de impacto
Incorporar
aprendizajes de cada
fase para desarrollar
recomendaciones
para futuros
Programas y Procesos
Fuente: Dalberg, 2010
9
El diseño influirá en toda la vida del proyecto, incluso en la
evaluación final.
Impacto
Aprobación
del Plan
Evaluación
Supervision
Implementación
Diseño
• Examinar los
supuestos y estudios
de diagnóstico que
influyeron en la
selección de
programas de
componentes
• Alineación con la
estrategia del
país/región
• Reflejo de la realidad
del país/región
• Nivel de participación en
el programa de
seguimiento de la
Institución de
Financiamiento
• Actividades de
seguimiento de los
programas de acuerdo • Las medidas adoptadas
por la Institución de
con los plazos
Financiamiento para
establecidos
aplicar las
• Análisis de calidad de
recomendaciones
los procesos internos
intermedias
• Un diálogo continuo
• Adaptabilidad y el
entre Unidad Ejecutora
proceso para superar
y la Institución de
los obstáculos
Financiamiento
Fuente: Dalberg, 2010
• Revisión de productos /
resultados
• Planificación de los
productos efectivos contra
logro de metas
• Análisis en profundidad
• Calidad de la ejecución y
supervisión
• Respuesta a las
necesidades de los
beneficiarios
• Importancia de los
cambios observados y de
contrastes
10
Existen 5 Drivers que influyen el diseño para facilitar la evaluación
del Programa.
Force
Dinámica de
Incentivos
Force
Estructura de
Gobernanza
Implementación
Diseño
Diseño
Dinámica
del Proceso
Supervisión
Evaluación
Metodología
de
Evaluación
Componentes
del
Programa
Fuente: Dalberg, 2010
11
Metodología de Evaluación
Se refiere a la implementación de sistemas que permitan alimentar la
evaluación final del proyecto, no solo estrictamente del seguimiento, sino
insumos que serán utilizados al concluir el programa.
Diseños
• Existen programas que diseñan
el sistema luego de iniciadas las
actividades
Aprendizajes de nuestras Experiencias
(-) Difícil medición de actividades que se realizaron
desde el inicio del programa y que pueden estar
influenciando la tendencia de los resultados y que
no son capturadas al no existir un registro o
sistema que lo perciba
(+) Permite desarrollar sistemas más ajustados a las
características del programa, al haber transitado un
tiempo desde su implementación y el mismo
puede haber sido ajustado sin necesidad de quedar
restringido el sistema o desactualizado
• Existen programas con sistemas
previstos desde la Implementación
(-) Generalmente adaptaciones de otros programas
que no analizaron la vida del proyecto como un
todo para su implementación efectiva y eficiente
(+) Logra capturar los hitos iniciales del programa que
pueden influir en la evaluación final de resultados
Fuente: Dalberg, 2010
12
El diseño debe contemplar en su Metodología de Evaluación
elementos que actúan de forma sinérgica y faciliten
la evaluación final del Programa
• Desde el Momento 0
Línea
Base
• Credibilidad
Indicadores
de Relativa
Fácil
Medición
• Operatividad
• Capacitación
• Claridad en lo que se
busca medir
Sistema de
Monitoreo
• Practicidad y oportunidad
Fuente: Dalberg, 2010
13
Índice
1. Perfil de Dalberg
2. Evaluación de Programas
3. Conclusiones y Aprendizajes
14
Conclusiones y Nuestros Aprendizajes
1. La Evaluación debe estar incorporada desde el diseño en el
desarrollo de un Programa de Clusterización
2. Las líneas de base no pueden establecerse una vez iniciado el
programa, en esto la rigurosidad es fundamental para asegurar una
buena medición y facilitar la evaluación
3. Es importante lograr equipos capacitados y “concientizados” de su
importancia para lograr al final una cultura de evaluación de los
resultados en el equipo de gestión
4. Debe tenerse claridad sobre la información disponible o el costo de
generarla para construir indicadores
5. No es recomendable a mitad del Proyecto iniciar la construcción o
reformulación de indicadores, dado los altos costos de credibilidad
de los mismos
15