Sistema de Monitoreo y Evaluación basado en resultados: Caso

Sistema de Monitoreo y Evaluación
basado en resultados:
Caso México
Nereida Hernández Reyes
Dirección General Adjunta de Coordinación
Septiembre 2008
www.coneval.gob.mx
ÍNDICE
Antecedentes
Marco Normativo Anterior
Nuevo Marco Normativo
Coneval
La Estrategia de Evaluación y Monitoreo
Avances en el tema de evaluación
Avances en el tema de indicadores
ANTECEDENTES
•
1990´s: Algunas evaluaciones de programas y nuevas formas de
presupuestación
•
2000: Inicio normativo sin una estrategia clara
•
2000-2006: Desarticulación de la evaluación con la mejora en la gestión
− PEF y Acuerdo entre SHCP y SFP
− Ausencia de una estrategia de monitoreo
− Agenda del Buen Gobierno, e Iniciativas de Innovación y Calidad
Gubernamental
− Sistema de Metas Presidenciales
•
2005: Impulso normativo de la evaluación solo en el sector social, pero
aún desarticulado con la mejora en la gestión pública
− Creación del Coneval
− Primer impulso normativo al monitoreo
− Vínculo con Pobreza
ÍNDICE
Antecedentes
Marco Normativo Anterior
Nuevo Marco Normativo
Coneval
La Estrategia de Evaluación y Monitoreo
Avances en el tema de evaluación
Avances en el tema de indicadores
MARCO NORMATIVO PREVIO
¿Qué demandan las autoridades?
•
Presupuesto de Egresos de la Federación (a partir del 2000)
– Informes Trimestrales sobre el avance de presupuesto
– Evaluación Externa y Anual
– Informar los recursos entregados a beneficiarios
– Apartado específico sobre el bienestar, la equidad, la igualdad y la
no discriminación de las mujeres, jóvenes e indígenas.
– Difusión a través de Internet
– El objeto: Proceso de análisis y aprobación del presupuesto del
siguiente año
•
Existe una mezcla de Monitoreo y Evaluación de “fin o impacto”, en dos
instrumentos específicos y diferentes
MARCO NORMATIVO PREVIO
¿Qué demandan las autoridades?
•
•
•
Acuerdo de Requisitos Mínimos (2002)
– Porcentaje de cumplimiento de objetivos
–
Cobertura
–
Satisfacción de la población objetivo
– Cumplimiento de Reglas de Operación
– En términos de impacto, beneficios económicos y sociales
– Costo-beneficio de los recursos asignados
– Verificación en campo del cumplimiento de metas físicas y financieras
– Escenario prospectivo y opinión sobre permanencia, readecuación o
conclusión
Existe una mezcla de Monitoreo, Evaluación de “fin o impacto”, Evaluación
de “Resultados o Propósito” y Evaluación de “Componentes y/o
Actividades”, todo en un mismo instrumento.
No necesariamente refleja el espíritu de la demanda del PEF
MARCO NORMATIVO PREVIO
Esquema de Evaluación 2002-2006
• Características:
– Evaluación Externa
– Periodo Anual, con dos informes (septiembre y marzo)
– Se distribuye a la SHCP, SFP y el Congreso
– Difusión a través de Internet
– El proceso de contratación es individual y a través de la Ley de
Adquisiciones
– Algunos programas:
– Entregan los informes sólo por cumplir y no usan la información
– Agregan y/o eliminan temas en la evaluación
– En una menor proporción, usan información para informes
oficiales, planeación y monitoreo
DIAGNÓSTICO - VENTAJAS
• Se ha avanzado en la cultura de la evaluación
• Existen casos particulares de evaluaciones que han apoyado la toma
de decisiones
• Existe un respaldo normativo para institucionalizar un M&E
– Ley General de Desarrollo Social,
– CONEVAL,
– Ley Federal de Presupuesto y Responsabilidad Hacendaria,
– PEF 2007
• Actores principales conscientes de la poca efectividad del sistema
vigente: SHCP, Función Pública, Congreso
• Transición política favorable para la introducción de cambios
DIAGNÓSTICO - DESVENTAJAS
•
•
•
•
•
•
•
•
Elementos de M&E desarticulados y no alienados conceptual,
metodológica ni operacionalmente
Alto costo de esquema actual: Cada evaluación cuesta aprox. $1
millón: 170 programas: $170 millones al año.
… y con poca utilidad
Percepción del sistema de M & E como instrumento de fiscalización, y
no de gestión y rendición de cuentas
La medición de Resultados no es una prioridad para el programa o la
dependencia.
Mucho énfasis en indicadores de ejercicio del recurso y de
cantidades de bienes y servicios entregados
No hay claridad en los objetivos estratégicos de las dependencia
Muchos indicadores que no se usan para una gestión por resultados
Lineamientos actuales poco flexibles
Seguimiento limitado a las recomendaciones generadas de la
evaluación
ÍNDICE
Antecedentes
Marco Normativo Anterior
Nuevo Marco Normativo
Coneval
La Estrategia de Evaluación y Monitoreo
Avances en el tema de evaluación
Avances en el tema de indicadores
NUEVAS REGLAS DEL JUEGO
2007: Una oportunidad para mejorar el marco normativo
•
•
•
Ley General de Desarrollo Social (2004)
–
Establece un Sistema Nacional de Desarrollo Social en el que participen los
gobiernos municipales, de las entidades federativas y el federal;
–
Mecanismos de evaluación y seguimiento de los programas y acciones de la
Política Nacional de Desarrollo Social
Ley de Presupuesto y Responsabilidad Hacendaria. SHCP (2006)
–
Todos los programas: evaluación externa
–
Sistema de Evaluación del Desempeño
–
Programa de Mejoramiento de la Gestión (SFP)
PEF 2007. Cámara de Diputados
–
Establecer Objetivos Estratégicos
–
Matriz de Indicadores, ligada a Objetivos Estratégicos
–
CONEVAL, SHCP y SFP coordinan el sistema de evaluación y monitoreo
NUEVAS REGLAS DEL JUEGO
• CONEVAL (2005)
• Ley de Presupuesto y
Responsabilidad Hacendaria.
SHCP (2006)
• Programa de Mejoramiento de
la Gestión SFP
• PEF 2007. Cámara de
Diputados
Lineamientos
de Evaluación
y Monitoreo
(Marzo 2007)
ÍNDICE
Antecedentes
Marco Normativo Anterior
Nuevo Marco Normativo
Coneval
La Estrategia de Evaluación y Monitoreo
Avances en el tema de evaluación
Avances en el tema de indicadores
EL CONEVAL
•
•
Ley General de Desarrollo Social establece la creación del CONEVAL, cuyo
propósito es revisar el cumplimiento del objetivo social de los programas,
metas y acciones a través de:
–
Normar y coordinar la evaluación de la Política y Programas de Desarrollo Social
–
Aprobar los indicadores de resultados, gestión y servicios que serán sometidos a
consideración de la SHCP y a la Cámara de Diputados por conducto de la ASF
–
Establecer los criterios para la definición, identificación y medición de la pobreza
Contribuir a la toma de decisiones de Política de desarrollo Social y combate
a la pobreza y rezago social en México
–
•
Información útil, objetiva y oportuna
El CONEVAL está integrado por 6 investigadores académicos electos
democráticamente por la CNDS, a través de una convocatoria pública
–
También lo integran el Secretario de Desarrollo Social y un Secretario Ejecutivo
designado por el Ejecutivo Federal
Alineación del Coneval a la Planeación
Nacional
EJE
EJE 5.DEMOCRACIA
5.DEMOCRACIA EFECTIVA.
EFECTIVA.
PND
Objetivo
Objetivo 4.
4. Mejorar
Mejorar la
la regulación,
regulación, la
la gestión,
gestión, los
los
procesos
y
los
resultados
de
la
APF
procesos y los resultados de la APF
PDS
OBJETIVOS
OBJETIVOS DEL
DEL PROGRAMA
PROGRAMA DE
DE DESARROLLO
DESARROLLO
SOCIAL
SOCIAL
OBJETIVO
OBJETIVO ESTRATÉGICO
ESTRATÉGICO DEL
DEL CONEVAL
CONEVAL
Entidad
Mejorar
Mejorar la
la eficacia
eficacia yy eficiencia,
eficiencia, así
así como
como la
la rendición
rendición de
de
cuentas
cuentas de
de la
la política
política de
de desarrollo
desarrollo social
social mediante
mediante la
la
evaluación
evaluación yy monitoreo
monitoreo de
de programas
programas yy políticas
políticas sociales
sociales
yy la
la medición
medición de
de la
la pobreza
pobreza
SISTEMA NACIONAL DE DESARROLLO SOCIAL
CONSULTIVA
POLÍTICA
OPERATIV
A
TÉCNICA-EVALUACIÓN
CONSEJO
CONSULTIVO
COMISIÓN
INTERSECRETARIAL
DEPENDENCIAS
Y ENTIDADES
CONSEJO DE
EVALUACIÓN
• Analiza y propone
programas y acciones
que inciden en la
Política Nacional de
Desarrollo Social
• Propone partidas y
montos de gasto social
• Ordena la Política Social
a nivel Federal
COMISIÓN
NACIONAL
• Coordinación de
programas y acciones
de dependencias y
entidades federales
• Operación de los
programas, acciones
y fondos
• Norma y analiza las
evaluaciones
• Evalúa la política
• Define pobreza
• Recomendaciones
ÍNDICE
Antecedentes
Marco Normativo Anterior
Nuevo Marco Normativo
Coneval
La Estrategia de Evaluación y Monitoreo
Avances en el tema de evaluación
Avances en el tema de indicadores
HERRAMIENTAS DE PLANEACIÓN
Diagnóstico
Diseño
• PND
• Programas Sectoriales
• Objetivos de las
Dependencias
• Programas Federales
Presupuesto
Rendición
de cuentas
Operación
Evaluación y Monitoreo (Indicadores)
SISTEMA DE EVALUACIÓN Y MONITOREO
Programa
Programa Anual
Anual de
de
Evaluación
Evaluación
Objetivos
Objetivos
Estratégicos
Estratégicos
Resultados
Diferentes
Diferentes tipos
tipos
de
de Evaluación
Evaluación
Matriz
Matriz de
de
Marco
Marco Lógico
Lógico
Programas
Programas Nuevos
Nuevos
Sistema
Sistema de
de Evaluación
Evaluación
Del
Del Desempeño
Desempeño (SED)
(SED)
Gestión para
Resultados
Convenio
Convenio de
de Compromisos
Compromisos
para
para el
el Mejoramiento
Mejoramiento de
de la
la Gestión
Gestión
Evaluaciones
Evaluaciones
Complementarias
Complementarias
PLANEACIÓN INCOMPLETA SI NO SE LLEGA A ROP
Objetivos
Objetivos Nacionales
Nacionales
Ejes
política
Ejes política pública
pública
Objetivos
Objetivos yy
Estrategias
Estrategias
Política de Desarrollo Social
Nivel 1
Programas Sectoriales
Nivel 2
Objetivos de las dependencias
Objetivos
Objetivos de
de los
los
Programas
Programas
del
del PND
PND
Estrategias
Estrategias
Líneas
Líneas de
de acción
acción
Objetivo
Objetivo estratégico
estratégico
de
la
Dependencia
de la Dependencia
Nivel 3
Programas presupuestarios
Nivel 4
Fin
Propósito
Componente
s
Actividad
Reglas
Reglas de
de
operación
operación
PROGRAMAS POR OBJETIVO NACIONAL
OBJETIVO NACIONAL
PROGRAMAS
ALINEADOS
Objetivo 1
Garantizar la integridad y asegurar la viabilidad del Estado y de la
democracia
1
Objetivo 2
Garantizar la vigencia plena del Estado de Derecho, fortalecer el marco
institucional y afianzar una sólida cultura de legalidad
0
Objetivo 3
Alcanzar un crecimiento económico sostenido
5
Objetivo 4
Economía competitiva que ofrezca bienes y servicios de calidad a precios
accesibles
25
Objetivo 5
Reducir la pobreza extrema y asegurar la igualdad de oportunidades
52
Objetivo 6
Reducir significativamente las brechas sociales, económicas y culturales
21
Objetivo 7
Garantizar que los mexicanos cuenten con oportunidades efectivas
6
Objetivo 8
Asegurar la sustentabilidad ambiental
23
Objetivo 9
Consolidar un régimen democrático
0
Objetivo 10
Aprovechar los beneficios de un mundo globalizado para impulsar el
desarrollo nacional
0
Total
133
2
Reducir las brechas sociales, económicas y culturales persistentes en la sociedad
Igualdad de Oportunidades
Grupos Prioritarios
3.4 Pueblos Indígenas
3.5 Igualdad entre mujeres y
hombres
15. Incorporar plenamente a los
pueblos y comunidades indígenas al 16. Eliminar cualquier discriminación por
desarrollo económico, social y cultural motivos de género y garantizar la
con respeto a sus tradiciones
igualdad de oportunidades
históricas
3.6 Grupos Vulnerables
3.7 Familia, niños y jóvenes
18. Desarrollar una política pública
dirigida a la familia con el fin de reducir
la vulnerabilidad social
17. Abatir la marginación y el rezago
que enfrentan los grupos sociales
vulnerables para proveer igualdad en
las oportunidades
19. Garantizar las condiciones
necesarias para el desarrollo integral de
los jóvenes
20. Promover el desarrollo sano e
integral de la niñez mexicana
Turismo Alternativo en Zonas
Indígenas (PTAZI)
Apoyo a las Instancias de Mujeres en
las Entidades Federativas
Mujer en el Sector Agrario
(PROMUSAG)
Atención a Familias y Población
Vulnerable (18)
Coordinación para el Apoyo a la
Producción Indígena (PROCAPI)
Guarderías y estancias infantiles para
apoyar a madres trabajadoras
Coinversión Social
Protección y Desarrollo Integral de la
Infancia (20)
Atención a Indígenas Desplazados
(Indígenas urbanos y migrantes
desplazados)
Proyectos de comunicación
indígena
Infraestructura Social Básica (PIBAI)
Promoción de Convenios en Materia
de Procuración de Justicia (PCMJ)
Fomento y Desarrollo de las
Culturas Indígenas (PFDCI)
Atención a los Adultos Mayores de
70 años y más en Zonas Rurales
Atención a Jornaleros Agrícolas
Modelo de Educación para la Vida y
el Trabajo (INEA)
Fortalecimiento de la Educación
Especial y de la Integración
Educativa
Atención a Personas con
Discapacidad
Fondos Regionales Indígenas (PFRI)
Organización Productiva para
Mujeres Indígenas (POPMI)
Albergues Escolares Indígenas
(PAEI)
2
2
PRINCIPALES INSTRUMENTOS DE ESTA NUEVA
GESTIÓN PARA RESULTADOS
•
“Matriz de Indicadores” (marco lógico). Permite focalizar la atención y los
esfuerzos de una dependencia o entidad, así como apoyar los procesos de
planificación, diseño, monitoreo y evaluación
•
“Lineamientos generales de evaluación” (DOF, marzo 2007) con varios tipos de
evaluaciones y mayor libertad para temas específicos
EVALUACIÓN DE CONSISTENCIA Y RESULTADOS:
OBJETIVOS
•
Busca medir, de manera homogénea, el desempeño global de los
Programas (gestión y RESULTADOS)
•
Con base en los resultados de la evaluación, se espera que los
programas mejoren su diseño y gestión; volverán a ser evaluados en
un futuro
•
La evaluación 2007 fue un “Diagnóstico” de la orientación de los
programas hacia una gestión para RESULTADOS
•
En años posteriores, la evaluación deberá contener adicionalmente una
comparación con los resultados encontrados en la evaluación de
consistencia y resultados que se haya efectuado con anterioridad
IMPORTANCIA DE LA EVALUACIÓN DE
CONSISTENCIA Y RESULTADOS
•
La evaluación servirá para tomar decisiones de política pública con el fin de
mejorar la gestión y los resultados de los programas
•
Se desarrollan seminarios entre evaluadores, junto con servidores
públicos, para analizar conjuntamente los resultados de las evaluaciones y
metodologías aplicadas
•
Los evaluadores presentaron al H. Congreso de la Unión, al CONEVAL, a
la SHCP y a la SFP, los resultados obtenidos de la evaluación
•
Las evaluaciones son difundidas públicamente con el objetivo de que los
actores claves y la ciudadanía en general, conozcan el desempeño de los
programas
•
El CONEVAL también elabora una evaluación del proceso de evaluación,
que incluye la calidad de las evaluaciones
EVALUACIÓN DE CONSISTENCIA Y RESULTADOS
•
Evaluación exclusivamente de gabinete
•
5 temas de evaluación: diseño, planeación estratégica, cobertura y
focalización, operación, percepción de los beneficiarios, resultados
•
100 preguntas específicas relacionadas con los temas de evaluación
•
Respuestas específicas, en su mayoría, en esquema binario (SI o NO)
fundamentada con evidencia documental y análisis de la misma
– Respuestas apoyadas en la información y documentación con la que
cuenta el programa
•
Identificación concisa de fortalezas y oportunidades, debilidades y amenazas
para cada tema de evaluación
•
Al menos una recomendación precisa para solventar el problema identificado y
mejorar el diseño y la gestión del programa
TEMAS RELEVANTES
•
¿El programa lleva a cabo una gestión para Resultados? ¿Cómo poder
apoyarlo para que así suceda?
•
¿El programa tiene una clara razón de ser? ¿Está claramente combatiendo
un problema, identificado de manera objetiva?
•
¿El programa tiene una lógica interna clara?
•
¿El programa tiene indicadores de Resultados, que son recabados de
manera sistemática?
•
¿Más allá de metas financieras, el programa ha podido documentar que ha
venido resolviendo el problema que busca atender?
•
¿El programa cuenta con instrumentos que le permitan medir el grado de
satisfacción de la población objetivo con los servicios que se brindan?
TEMAS RELEVANTES
•
¿El programa tiene mecanismos para establecer y definir metas e
indicadores?
•
¿El programa ha identificado claramente a la población objetivo? ¿Cuál es
su cobertura?
•
¿Existe información sistematizada y actualizada que permita conocer
quiénes reciben los apoyos y sus características (Padrones)?
•
¿Existe evidencia documental de que el programa cumple con los procesos
de ejecución establecidos en las ROP?
•
¿Existe evidencia de que el programa tiene un adecuado sistema de
monitoreo que proporcione información oportuna y confiable para la toma
de decisiones?
•
¿El
programa
le
ha
dado
seguimiento
a
las
provenientes de las evaluaciones externas previas?
recomendaciones
MATRIZ DE INDICADORES (MARCO LÓGICO)
• Hoy en día es difícil conocer la lógica interna de los programas y por
lo tanto saber si su diseño es el adecuado para alcanzar los objetivos
planteados (resultados en la población objetivo)
• Por otro lado, se reportan muchos indicadores, no necesariamente
útiles para medir el desempeño del programa y tomar decisiones
(medición parcial: GESTIÓN)
• En el 2007 los programas iniciaron la construcción de una matriz de
indicadores que permita la identificación de sus objetivos, sus
relaciones causales, los indicadores y los supuestos o riesgos que
pueden influir en el éxito o fracaso del mismo.
Implementación
Resultados
ESQUEMA LÓGICO DE UN PROGRAMA
Fin
Propósito
Componentes
Actividades
Contribuir a que la población desempleada en
pobreza tenga un mejor acceso a empleos de
calidad
Mejorar los conocimientos técnicos de los
desempleados en situación de pobreza extrema
1.- Capacitación a individuos en pobreza
extrema desempleados
2.- Beca de apoyo a familias beneficiadas
- Focalización Geográfica
1.1 Identificación y selección de familias en
pobreza extrema
2.1 Distribución de las becas de apoyo
Implementación
Resultados
MENOS Y MEJORES INDICADORES
Fin
Porcentaje de capacitados que obtienen un
mejor trabajo
Propósito
Porcentaje de beneficiarios capacitados que
efectivamente adquieren los
conocimientos técnicos adecuados
Componentes
1.- Porcentaje de cursos y talleres realizados
2.- Porcentaje de becas repartidas
3.- Monto total de las becas repartidas
4.- Porcentaje de desempleados capacitados
Actividades
1.- % del presupuesto ejercido
2.- Costo promedio x actividad
3.- Costo promedio de distribución de la beca
Resultados
QUEREMOS PASAR DE ESTO …
Propósito???
Implementación
Componentes
Actividades
Resultados
… A ESTO EN UN PRIMER MOMENTO
Propósito?
Implementación
Componentes
Actividades
… Y A ESTO EN UN SEGUNDO MOMENTO
Resultados
Objetivos
Nacionales
Fin
Propósito
Componentes
Actividades
PROGRAMAS NUEVOS
• La evaluación de los programas nuevos analiza la consistencia del
diseño del programa
• Como parte de la evaluación externa, o a través de un ejercicio
interno, las dependencias o entidades deberán realizar:
– Los mecanismos de elegibilidad para la selección de proyectos
y/o beneficiarios;
– Los mecanismos de atención del programa;
– La entrega o distribución del apoyo del Programa;
– El registro de operaciones programáticas y presupuestales;
– La rendición de cuentas, transparencia y difusión de
información; y
– Otros aspectos que solicite el Consejo o que considere
conveniente incluir el Programa.
SEGUIMIENTO A LOS RESULTADOS DE LAS ECR
2007
INICIO
INICIO
11
UE
UE yy
PROGRAMA
PROGRAMA
Análisis
Análisis yy selección
selección de
de
los
los aspectos
aspectos
susceptibles
susceptibles de
de mejora
mejora
22
UE
UE yy UR
UR
Clasificación
Clasificación de
de los
los
aspectos
aspectos
susceptibles
susceptibles de
de
mejora
mejora
33
UE
UE yy UR
UR
Formulación
Formulación de
de
instrumentos
instrumentos
susceptibles
susceptibles de
de
mejora
mejora
44
DEPENDENCIAS
DEPENDENCIAS Y
Y
ENTIDADES
ENTIDADES
Difusión
Difusión de
de los
los
aspectos
aspectos susceptibles
susceptibles
de
de mejora
mejora
FIN
FIN
Criterios
Criterios de
de
selección
selección
a)
a) Claridad
Claridad
b)
b) Relevancia
Relevancia
c)
c) Justificación
Justificación
d)
d) Factibilidad
Factibilidad
Rubros
Rubros de
de
Clasificación
Clasificación
aa )) Específicos
Específicos
b)
b) Institucionales
Institucionales
c)
c) Coordinación
Coordinación
intergubernamental
intergubernamental
d)
d) Generales
Generales de
de
Política
Política pública
pública
Niveles
Niveles de
de Prioridad
Prioridad
aa )) Alta
Alta
b)
b) Media
Media
c)
c) Baja
Baja
2007
SISTEMA INTEGRAL DE MONITOREO Y
EVALUACIÓN
2008
2009
SED:
Evaluación de Consistencia
(Gabinete)
-Monitoreo de
Indicadores
1. Diseño
Estrategia de Evaluación y Monitoreo
2010-12
2. Cobertura y focalización
-Resultado de las
Evaluaciones
3. Planeación
4. Operación
-Seguimiento a
Recomendaciones
5. Resultados
6. Percepción de los
Beneficiarios
Matriz de Marco
Lógico
Matriz de Marco
Lógico
Matriz de Marco Lógico
Matriz de Marco
Lógico
Diseño del Sistema
de Evaluación del
Desempeño
SED
SED
SED
Programa Anual de
Evaluación
Programa Anual de
Evaluación
Programa Anual de
Evaluación
Programa Anual de
Evaluación
Evaluación de
Impacto
Evaluación de
Impacto
Evaluación de
Impacto
Evaluación de
Impacto
Evaluaciones
Estratégicas
Evaluaciones
Estratégicas
Evaluaciones
Estratégicas
Evaluaciones
Estratégicas
Evaluaciones
Temáticas
Evaluaciones
Temáticas
Evaluaciones
Temáticas
Evaluaciones
Temáticas
(SED-SHCP)
SISTEMA INTEGRAL DE MONITOREO Y
EVALUACIÓN
Evaluación Externa
Preparación para un
SM&E basado en
Resultados
Evaluación de Consistencia
1. Diseño
2. Cobertura y focalización
3. Planeación
4. Operación
5. Resultados
6. Percepción de los
Beneficiarios
1. Diseño
8
Evaluación Externa
1. Diseño
8
2. Cobertura y
2. Cobertura y
focalización
focalización
9
UNA
3. Planeación 8 SE REQUIERE
3. Planeación
EVALUACIÓN DE
4. Operación
5
4. Operación
OPERACIÓN
5. Resultados 7
5. Resultados
6. Percepción de los
Beneficiarios
9
9
SE REQUIERE UNA
EVALUACIÓN DE
PLANEACIÓN
5
Evaluación de Consistencia
9
1. Diseño
7
2. Cobertura y focalización
3. Planeación
6. Percepción de los
Beneficiarios
9
4. Operación
5. Resultados
6. Percepción de los
Beneficiarios
Matriz de Marco Lógico
0<p<1
Matriz de Marco Lógico
Matriz de Marco
Lógico
Diseño del Sistema de
Evaluación del
Desempeño
Diseño del Sistema de
Evaluación del
Desempeño
(SED-SHCP)
(SED-SHCP)
2008
2009
2010
2011
…
Programa Anual de
Evaluación
Programa Anual de
Evaluación
Evaluación de
Impacto
Evaluación de
Impacto
Evaluaciones
Estratégicas
Evaluaciones
Estratégicas
Evaluaciones
Temáticas
Evaluaciones
Temáticas
2007
SED
ÍNDICE
Antecedentes
Marco Normativo Anterior
Nuevo Marco Normativo
Coneval
La Estrategia de Evaluación y Monitoreo
Avances en el tema de evaluación
Avances en el tema de indicadores
Resultados de Evaluación
En octubre de 2007 se recibieron 116 Informes del tema de Diseño de las
Evaluaciones de Consistencia y Resultados
El CONEVAL analizó 116 Informes detectado las siguientes recomendaciones:
1.
Elaborar o actualizar diagnósticos que sustente la razón de ser del programa y que dé
cuenta de la situación actual del problema a resolver
2.
Ampliar las capacidades de los sistemas de información que permitan contar con
indicadores más precisos
3.
Establecer medios de verificación validados para los indicadores
4.
Identificar, definir y caracterizar de manera puntual a la población potencial y objetivo
5.
Identificar las fuentes de información más actualizadas y confiables para la cuantificación
de la población que se pretende atender
6.
Construir sistemas de información que registren a los beneficiarios del programa
7.
Que las ROP y la Matriz de Indicadores guarden consistencia y expresen adecuadamente
el diseño de los programas
8.
Evaluar la posibilidad de coordinación y colaboración con otras dependencias y
entidades, para potenciar las complementariedades y evitar duplicidades entre
programas
9.
Delimitar el ámbito de competencia de los programas eliminando la posibilidad de
duplicidad con otros programas
RESULTADOS EN EVALUACIÓN
Se recibieron106 Evaluaciones de Consistencia y Resultados
Se recibieron 13 Evaluaciones de Diseño
Se realizó un análisis por programa evaluado, así como el análisis por
tema evaluado
EJEMPLOS ESPECÍFICOS
SEDESOL:
No.
Programa
Programa De Abasto Social De Leche
(LICONSA)
Programa De Desarrollo Humano
2
(OPORTUNIDADES)
1
Presupuesto
2008
Diseño
Resultados Finales
Planeación Cobertura Operación Documenta
Tipo
Resultados Resultados
1,941.5
100%
71%
50%
100%
37,211.0
100%
27%
75%
100%
SAGARPA
No.
Programa
1
Fondo Para Atender A La Población Rural
Afectada Por Contingencias Climatológicas
2
Programa De Apoyos Directos Al Campo
Presupuesto
2008
Diseño
Planeación Cobertura
Resultados Finales
Operación Documenta
Tipo
Resultados Resultados
900.0
56%
29%
25%
100%
16,678.0
16%
43%
25%
63%
SSA
No.
Programa
1
Programa Comunidades Saludables
2
Programa de Atención a Personas con
Discapacidad (SNDIF)
Presupuesto
2008
Diseño
Planeación Cobertura
Resultados Finales
Operación Documenta
Tipo
Resultados Resultados
64.3
100%
86%
25%
63%
325.9
44%
57%
50%
100%
HALLAZGOS DISEÑO
TEMA
Identificación del
problema
HALLAZGOS
71 %
de los programas tiene claramente identificado el problema que atienden
67 %
cuenta con objetivos que corresponden a la solución del problema que
atienden
58 %
tiene un diseño adecuado para alcanzar su propósito y atender a la población
objetivo
47 %
de los programas tiene definida a la población total que presenta el problema
76 %
de los programas tienen claro que el logro de su propósito contribuye a la
solución de un problema de desarrollo o la consecución de los objetivos
estratégicos de las dependencias y entidades
44 %
cuentan con una matriz de indicadores clara y válida (lógica vertical)
66 %
tienen un diseño claramente expresado en la normatividad
Población a
atender
Lógica causal
50 %
41 %
Instrumentos de
monitoreo
35 %
de los programas definieron bienes y servicios públicos necesarios y
suficientes para el logro del su propósito
tienen indicadores claros, relevantes, económicos, monitoreables y
adecuados
de los programas pueden medir el nivel de logro de sus resultados esperados
a cada nivel de sus objetivos (lógica horizontal)
HALLAZGOS PLANEACIÓN ESTRATÉGICA
TEMA
Orientación a
resultados
Instrumentos de
planeación
HALLAZGOS
58 %
de los programas utilizan los resultados de las evaluaciones para mejorar su
desempeño
51 %
tienen metas pertinentes y plazos específicos para sus indicadores de
desempeño
49 %
tienen un número suficiente de indicadores orientados a resultados que reflejen
su propósito
21 %
de los planes establecen claramente los resultados que se buscan alcanzar
25 %
cuentan con planes estratégicos a corto, mediano y largo plazo
23 %
de los planes establecen indicadores, metas, estrategias, políticas y programas
de trabajo
27 %
de los programas tienen mecanismos para establecer y definir metas e
indicadores
HALLAZGOS COBERTURA Y PERCEPCIÓN
COBERTURA Y FOCALIZACIÓN:
TEMA
Definición de la
Población Objetivo
y Estrategia de
Cobertura
HALLAZGOS
24 %
de los programas cuantifica su población objetivo y potencial
25 %
tienen un avance adecuado para cumplir con su propósito
23 %
cuenta con una estrategia de cobertura a corto, mediano y largo plazo
21 %
de los programas se considera que la estrategia de cobertura es la adecuada
PERCEPCIÓN DE BENEFICIARIOS:
TEMA
Medición de la
percepción de los
beneficiarios
HALLAZGOS
54 %
de los programas cuentan con instrumentos para medir el grado de
satisfacción de la población objetivo
37 %
presentan información objetiva
HALLAZGOS OPERACIÓN
TEMA
HALLAZGOS
84 %
de los programas cumplen con la normatividad establecida para la entrega
de apoyos
89 %
tienen evidencia documental de que cumple con los procesos de ejecución
establecidos
76 %
tienen procedimientos adecuados para procesar solicitudes de apoyo
72 %
tienen procesos estandarizados y adecuados para la selección de
proyectos y beneficiarios
80 %
cuentan con una estructura organizacional que le permite alcanzar su
propósito
80 %
tienen información sistematizada que permita dar seguimiento oportuno a
la ejecución de obras y/o acciones
84 %
de los programas cuentan con indicadores de eficacia en la operación
61 %
tienen información sistematizada adecuada en la administración y
operación del programa
Cumplimiento con
normatividad
Eficacia en la
operación
Infraestructura
necesaria
HALLAZGOS RESULTADOS
TEMA
Información
sobre el
progreso en el
cumplimiento de
objetivos
HALLAZGOS
36 %
de los programas han demostrado adecuado progreso en alcanzar sus objetivos
42 %
de los programas recolectan información veraz y oportuna sobre los indicadores
que miden sus objetivos
26 %
han llevado a cabo evaluaciones externas que le permitan medir su impacto
ÍNDICE
Antecedentes
Marco Normativo Anterior
Nuevo Marco Normativo
Coneval
La Estrategia de Evaluación y Monitoreo
Avances en el tema de evaluación
Avances en el tema de indicadores
AVANCES EN EL TEMA DE MI
– 389 programas presupuestarios con matriz de indicadores,
identificando indicadores de resultados, no sólo de gestión y de
producto
– Presupuesto 2008 con 3,975 indicadores estratégicos y de gestión
– La SHCP en coordinación con las dependencias seleccionaron
258 indicadores para dar seguimiento al presupuesto (178 son
de resultados)
– 87% de los programas presupuestarios que otorgan subsidios
(modalidad presupuestal S y U) presentaron una matriz de
indicadores parcial o totalmente consistente
– 2,128 indicadores, de los cuáles 564 son de resultados
SEMÁFORO GENERAL ABRIL DE 2008
• 133 MI fueron analizadas considerando:
– El cumplimiento de la definición de sus elementos (PND, Fin,
Propósito, Componentes y Actividades)
– La lógica que presenta cada uno de ellos (Vertical y Horizontal)
Semaforización de las matrices de indicadores,
Abril 2008
(19%) Matrices de Indicadores
consistentes,
(68%) Matrices de Indicadores
parcialmente
consistentes,
requieren cambios, principalmente en
sus indicadores
(13%) Matrices de Indicadores con
insuficiente consistencia. En ellas
se requieren cambios significativos
para fortalecer la coherencia del
diseño
SEMÁFORO: DISEÑO DE LAS MATRICES
– El 50% de las matrices no cuentan con los componentes (bienes y servicios que produce o
entrega) necesarios y suficientes para que el programa alcance su propósito.
– En el 26% de las matrices se identifican múltiples propósitos, y no es claro cuál es el objetivo
esperado en la población como resultado de la ejecución del programa.
– En el 24% de las matrices no se identifica con claridad la contribución que el propósito hace
al fin del programa.
– En el 10% el fin no está claramente vinculado con el objetivo estratégico de la dependencia.
SEMÁFORO: DISEÑO DE LAS MATRICES
– El 61% de las matrices no cuenta con indicadores necesarios y suficientes que permitan
medir adecuadamente el desempeño del Programa a nivel de Componentes.
–
Esto también se observa en el 55% y 59% de las matrices a nivel de Fin y Propósito,
respectivamente.
– Las matrices de indicadores no tienen identificados de manera clara y precisa los medios de
verificación, a nivel de los Componentes (68%), Propósito (59%) y Fin (57%)
EJEMPLO 1: PROGRAMA DE APOYO AL EMPLEO-STPS
ANTES
• Indicadores de Resultados de las Reglas de Operación 2004
EJEMPLO 1: PROGRAMA DE APOYO AL EMPLEO-STPS
ANTES
En el Informe de Labores 2006, la dependencia reporta como resultados
del Programa los siguientes:
•De enero a junio de 2006 se atendieron a 180,390 personas
•Se lograron colocar en un empleo 90,325 personas (50.1%)
•Se comprometieron 324.6 millones de pesos
•Los resultados de algunas estrategias en el 2005 fueron:
•
BÉCATE atendió a 207,118 personas y logró colocar al 54.5%
•
Empleo Formal atendió a 118,425 personas y logró colocar al 54.9%
•
Jornalero Agrícolas atendió a 47,936 personas y logró colocar al 42.9%
EJEMPLO 1: PROGRAMA DE APOYO AL EMPLEO-STPS
AHORA
• Como resultado de la estrategia de capacitación y de los comentarios que el
CONEVAL y la SHCP emitieron a la matriz de indicadores, el programa ahora
cuenta con los siguientes indicadores de RESULTADOS
EJEMPLO 2: 3X1 PARA MIGRANTES-SEDESOL
ANTES
• Indicadores de Resultados de las Reglas de Operación 2008
X 100
X 100
X 100
NOTA: El programa no ha actualizado los indicadores de las ROP
EJEMPLO 2: 3X1 PARA MIGRANTES-SEDESOL
ANTES
En el informe de labores 2007, la dependencia reporta como resultados del
programa lo siguiente:
•Para el presente ejercicio, el Programa cuenta con un techo presupuestal
de 220 millones de pesos. A julio de 2007 se han realizado un total de 696
proyectos, de los cuales:
– 40.9% son obras de pavimentación, urbanización y mejoramiento urbano;
– 12.5% son proyectos de agua potable;
– 9.9% son de drenaje, mientras que las electrificaciones fueron un 8.8% de
los proyectos realizados;
– 10.6% son obras de infraestructura educativa, deportiva y de salud;
– 2.2% son caminos rurales, y un 15.1% se destinaron a otro tipos de
proyectos (productivos, orfanatos, asilos, centros comunitarios, centros
culturales, rehabilitación de edificios históricos y becas).
EJEMPLO 2: 3X1 PARA MIGRANTES-SEDESOL
AHORA
• Como resultado de la estrategia de capacitación y de los comentarios que el
CONEVAL y la SHCP emitieron a la matriz de indicadores, el programa ahora
cuenta con los siguientes indicadores de RESULTADOS
X 100
X 100
Índice
Antecedentes
Marco Normativo Anterior
Diagnóstico
Nuevo Marco Normativo
Coneval
La Estrategia de Evaluación y Monitoreo
Avances en el tema de evaluación
Avances en el tema de indicadores
A mediano Plazo
LO QUE SE ESPERA EN EL MEDIANO PLAZO
•
Promover la gestión y evaluación basada en “Resultados”
•
Tener un sistema de Evaluación y Monitoreo coordinado y sistematizado
•
Menor número de indicadores a reportar, pero de mejor calidad
•
Que el sistema tenga nexos con el proceso presupuestario
•
Promover el uso sistemático de la información de evaluación y monitoreo
•
Que la información se utilice para mejorar la gestión de los programas y
dependencias
•
Que se puedan evaluar políticas en su conjunto, especialmente políticas
sociales
•
Con esta información más la evolución de los indicadores de pobreza
nacionales, estatales y municipales, poder evaluar la política social en su
conjunto
•
Reforzar la transparencia y la rendición de cuentas
TEMAS A CONSIDERAR
• Diferencias entre:
–
Evaluación: ¿Las cosas que se hacen son las correctas?
–
Auditoria: ¿Las cosas se están haciendo correctamente?
• Vínculo entre:
–
Gestión y evaluación;
–
Resultados y presupuesto,
• Coordinación entre diferentes actores
–
Al interior y entre de las secretarias
–
Con el Jefe de Gobierno y el Congreso Local
–
Definir roles de los diferentes actores
• Impulsar los “resultados” y mejorar la gestión (agenda política)
• Implementación gradual y/o aplicación de pilotos
–
Temas, instrumentos, alcances, etc.
TEMAS A CONSIDERAR
• Iniciar por “voluntad política” y luego se impulsa normativamente
• Fortalecer capacidad técnica de las secretarías
• Fortalecer la oferta de evaluadores
–
Normatividad de adquisiciones
• Diagnóstico de lo existente y lo aprendido hasta el momento
–
Normatividad y prácticas actuales
–
Nomenclatura y conocimientos básicos
–
Detectar prácticas exitosas ya existentes
• Analizar la experiencia internacional
–
Pocos casos locales, más experiencia federal
• Definir con claridad lo que se busca
• Evaluar constantemente los avances que se tengan
–
Apoyado con un organismo externo nacional o internacional
FACTORES DE “ÉXITO” DE LOS SE&M x
RESULTADOS
• Considerable demanda gubernamental
• Objetividad y calidad
• Grado de utilización (oferta adecuada de instrumentos y productos)
• Importancia de los incentivos para generar información
• Diagnóstico del SE&M existente
• Peligro de complejidad excesiva
• Esfuerzo de largo plazo, impulso por etapas
• …
• Promotor “influyente”
• Impulso de una secretaría competente
• Normatividad (limitaciones y ventajas)
• …
Gracias
[email protected]
www.coneval.gob.mx