EVALUACIÓN DE RESULTADOS: METODOLOGÍAS

Curso Internacional
Políticas presupuestarias y gestión por resultados en ALC
La Antigua Guatemala,17 al 28 de agosto 2009
EVALUACIÓN DE RESULTADOS:
METODOLOGÍAS
Jorge de la Fuente
Consultor
Área de Políticas Presupuestarias y Gestión Pública
ILPES/CEPAL
[email protected]
EVALUACION GUBERNAMENTAL EX POST
EVALUACION GUBERNAMENTAL EX POST
DISEÑO Y FORMULACIÓN DE
POLÍTICAS Y PROGRAMAS
TOMA DE
DECISIONES
POLITICAS, PROGRAMAS
EVALUACION
DESEMPEÑO, GESTION
EJECUCIÓN E
IMPLEMENTACIÓN
TOMA DE
DECISIONES
EVALUACION Y GESTION POR RESULTADOS
TIPO DE ACCION
GUBERNAMENTAL
QUE SE EVALUA
METODOLOGIA
Estrategias
Nacionales
Metas nacionales
Proceso Político
Ciudadanía, Encuestas,
Escrutinio Público
Políticas
Metas sectoriales
Comités Científicos de
Evaluación, Paneles de
Expertos
OperativaInstituciones
Cumplimiento de metas
de gestión y resultados
finales
Indicadores de Eficiencia,
Eficacia, Calidad,
Economía
Sistema de Indicadores
de Desempeño
Programas
Resultados, gestión,
impacto
MML Evaluación de
Programas, comprehensivas e Impacto
Inversiones
Rentabilidad Social
Costo-Beneficio
Evaluación costobeneficio ex-ante
Cuadro de Mando
Integral
TIPOS DE EVALUACIONES
Evaluaciones de Programas Gubernamentales (EPG)
Evaluación Comprehensiva del Gasto (ECG)
Evaluación de Impacto (EI)
EVALUACIÓN DE PROGRAMAS GUBERNAMENTALES
„
OBJETIVOS DE LA EVALUACION
„
METODOLOGIA
„
USO DE LA EVALUACION Y
CONSECUENCIAS PARA EL PRESUPUESTO
EVALUACIÓN DE PROGRAMAS GUBERNAMENTALES
LAS
NOTICIAS !!!
OBJETIVOS DE LA EVALUACIÓN
la gestión
‰ Apoyar
el análisis
de asignación de
recursos públicos.
la toma de decisiones
‰ Mejorar la gestión Î aprendizaje institucional de los
administradores de las políticas y programas
‰ Aprender de la evaluación y análisis de los resultados
Î contribuyendo a mejorar eficiencia del presupuesto
‰ Contribuir a la transparencia y accountability
o rendición de cuentas.
77 AMBITOS
AMBITOS
DE
EVALUACI
NN
DE
EVALUACI
ÓÓN
AMBITOS
DE
EVALUACI
Ó
„
Justificación
del Programa
„
„
Diseño
Organización
y Gestión
„
Que dio origen al Programa?,problemas / necesidades
que se espera resolver (resultado esperado), causas y
efectos
Análisis de lógica vertical y horizontal de la matriz
de marco lógico del programa
Estructura organizacional, relación intra-interinstitucional,
Asignación de responsabilidades, gestión, participación
Ciudadana, criterios de focalización, selección de
Beneficiarios, asignación de recursos, mecanismos de
Transferencia de recursos, modalidades de pago y
Actividades de S&E
Producción de componentes, cumplimiento del propósito,
Usuarios efectivos, cobertura del programa, grado de
Eficacia y calidad
Satisfacción, contribución al fin
del programa
Resultados:
DEDE
EVALUACI
ÓN
7 AMBITOS
AMBITOS
EVALUACI
ÓN
„
Resultados:
Eficiencia y
economía
„
Sostenibilidad/
Continuidad
„
Análisis de eficiencia actividades y componentes
Gastos de administración
Ejecución presupuestaria
Aportes de terceros
Recuperación de gastos
compromiso de las autoridades, acceso a los centros de
decisión, coordinación inter-institucional,
formalización de su estructura operativa y marco jurídico,
capacidades profesionales y dotación de recursos,
financiamiento para un período relevante,
valoraciones de actores externos (legitimidad de
beneficiarios y actores políticos y sociales)
Presentar resultados que han sido insuficientes y las
Recomendaciones deben apuntar a mejorar el diseño,
Recomendaciones la gestión, eficacia/calidad, eficiencia/economía
Conclusiones y
PROCESO DE EVALUACIÓN
Propuesta
programas
a evaluar
Congreso
DIPRES M. Hacienda
Presidencia
M. Planificación
Firma protocolo programas
seleccionados
DIPRES
PROGRAMA
Llama a concurso
Panel evaluación
Prepara y envía
información prog.
Evaluación
interna y selección
Preparan MML
Capacitación
evaluadores
Ejecuta EPG
informes
Facilita trabajo
Panel
METODOLOGÍA: MARCO LÓGICO
USO DE LA EVALUACION DE PROGRAMAS
RESULTADOS DE EVALUACIÓN DE PROGRAMAS Y SUS EFECTOS
FONDO DE PROMOCIÓN DE EXPORTACIONES (FPE) – PROCHILE
(evaluación año 2002)
DESCRIPCIÓN
El FPE financia proyectos y actividades de promoción de exportaciones que permiten aumentar y
diversificar la oferta exportable y elevar el valor agregado de los bienes y servicios producidos en
Chile, además de promover el desarrollo exportador de las regiones y ampliar las oportunidades
de exportación de las pequeñas y medianas empresas.
RESULTADOS Y EFECTOS
El FPE ha ha beneficiado a más de 2.500 empresas en el período 1996-2001 a través del
cofinanciamiento de proyectos de promoción de exportaciones.
La evaluación no muestra resultados significativos del programa sobre el volumen de
exportaciones o el nivel de las ventas de las empresas beneficiarias respecto de aquellas del grupo
de control.
Sobre la base de los hallazgos de la evaluación, el presupuesto se redujo para el año 2004,
incluyéndose también una reestructuración de las partidas presupuestarias y la elaboración de
compromisos en materia de gestión interna para asegurar un mejor desempeño.
UTILIZACION DE LA EVALUACION DE PROGRAMAS EN EL
PRESUPUESTO Y EN EL MEJORAMIENTO DE PROGRAMAS
COSTO DE LA EVALUACIÓN
Evaluación
Comprehensiva del
Gasto
EVALUACIÓN COMPREHENSIVA DEL GASTO
Objetivos:
Su objetivo es evaluar el conjunto de
procedimientos, programas y políticas que administra un Ministerio,
lo que implica
evaluar la racionalidad de la estructura institucional
la distribución de funciones entre los distintos servicios que componen un
Ministerio,
evaluar la eficacia, eficiencia y economía en el uso de los recursos
institucionales
1. Diseño Institucional
Evaluación
comprensiva
3. Resultados y
Uso de Recursos
2. Gestión Organizacional
EVALUACIÓN COMPREHENSIVA DEL GASTO
1. Diseño Institucional
- Revisar misión, objetivos estratégicos de ministerio e instituciones
- Revisar consistencia entre productos estratégicos y usuarios
- Identificar y evaluar duplicaciones, superposiciones
y complementariedades existentes
- Detectar prescindibles
- Evaluar la estructura institucional y la distribución de funciones
EVALUACIÓN COMPREHENSIVA DEL GASTO
2. Gestión Organizacional
-La capacidad institucional respecto de Recursos
Humanos, capacidades tecnológicas e infraestructura
-Proceso de producción de productos estratégicos
-Mecanismos de asignación y transferencias de recursos
-Mecanismos de auditoría
- Actividades de S&E
- Mecanismos de selección d beneficiarios
EVALUACIÓN COMPREHENSIVA DEL GASTO
3. Resultados y
Uso de Recursos
- Identificar y evaluar los resultados en
ámbitos de control (proceso, producto y resultado)
y dimensiones de desempeño (eficacia, calidad,
eficiencia y economía)
- Evaluar la disciplina financiera
(programación de gastos y ejecución presupuestaria)
a nivel central y regional y productos estratégicos
EVALUACIÓN COMPREHENSIVA DEL GASTO
Prioridades
Gubernamentales
Agenda de trabajo
gubernamental
Productos
Estratégicos
Misión
ministerial
Objetivos Estratégicos
ministeriales
Clientes/
Usuarios
Indicador
Dimensión
Ámbito
Misión
institucional
Objetivos Estratégicos
Institucionales
Gasto
asociado
Medios de
Verificación
EJEMPLOS DE RECOMENDACIONES
Junta nacional de Jardines infantiles
1. analizar la demanda potencial de jornadas especiales de atención para
los hijos (as) de trabajadores nocturnos, en las distintas regiones del país,
a fin de evaluar la necesidad de extender a otros lugares la modalidad
de atención nocturna
2. Eliminar el rol fiscalizador de Jardines Infantiles de JUNJI.
3. Concentrar el rol de diseño de política y formativo de la educación
Parvularia exclusivamente en el Ministerio de Educación.
Servicio Nacional de Aduanas
1. Se recomienda la elaboración de un estudio sobre los Recursos Humanos
del Servicio
2. Evaluar la calidad de los servicios prestados del SNA, desde el punto de
vista de la satisfacción de los usuarios
Dirección de Arquitectura
Redefinir la Misión de la DA con el objeto que quede explícito el rol de
asesoría técnica
Evaluar la posibilidad de prescindir de la Oficina Provincial de Chiloé
Revisar las funciones asignadas al cargo de Subdirector y su justificación,
buscando la mayor eficiencia de la organización.