Matriz de Indicadores Evaluación de Resultados Plan y Presupuesto

Matriz de Indicadores
Evaluaci
ón de Resultados
Evaluación
Plan y Presupuesto
Eduardo Aldunate
Experto
Área de Políticas Presupuestarias y Gestión Pública
ILPES, CEPAL
[email protected]
Aporte de la MI a la fase de Preinversión
Preinversión
• Contribuye a un mejor diseño del programa o
proyecto.
• Obliga a pensar y definir como se evaluará el
programa o proyecto.
• Obliga a establecer metas claras.
• Obliga a identificar y analizar los riesgos que
enfrenta el programa o proyecto.
• Resume en un formato estandar las principales
características del programa o proyecto.
Aporte de la MI a la fase de Inversión
Fin
Propósito
Componente
Inversión
Actividad
• Resume las principales actividades a
desarrollar y productos a entregar.
• Aporta indicadores que permiten un
monitoreo y control gerencial.
• Establece como se hará el seguimiento.
• Ayuda a la gerencia a estar pendiente de
los riesgos.
Aporte de la MI a la fase de Operación
Fin
Propósito
Componente
Operación
Actividad
• Resume los principales aspectos del
diseño del programa necesarios para
evaluarlo (objetivos, metas).
• Indica como evaluar resultados e
impactos.
• Ayuda a la gerencia a estar pendiente de
los riesgos.
Evaluación de Gestión y Resultados
Objetivos de la Ejecución
Objetivos de la Operación
Fin
Fin
Propósito
Propósito
Componente
Componente
Actividad
Evaluación de la
gestión del programa
Actividad
Evaluación de
resultados e impactos
Programa: Ejecución-Operación
Fin
Mediano o largo plazo
Impactos
Propósito
Corto o mediano plazo
Resultados
Corto plazo
Corto plazo
Componente
Actividad
Monitoreo y evaluación
• Recopilar datos para el cálculo de los
indicadores.
• Validar los datos.
• Calcular los indicadores.
• Interpretar la información.
• Preparar recomendaciones.
Recopilación de datos
Detalle para medios de verificación
•
•
•
•
•
•
•
Fuentes de información
Test de 10 preguntas sobre las materias tratadas en la capacitación.
Método de recopilación
Selección de muestra aleatoria de 45 personas capacitadas, encuesta en persona.
Responsable de la recopilación
Juanita Pérez
Frecuencia de recopilación
Por una vez, a los tres meses de concluido el último evento de capacitación.
Método de análisis
Cada respuesta correcta da un punto, aprobación con siete puntos. Se calculará
porcentaje de aprobación, media y desviación estandar.
Modo de distribución
Correo electrónico
Usuarios
Unidad de planificación y evaluación, gerente del proyecto, entidades
cooperantes, junta de vecinos.
Validación de los datos
• Identificar “outliers”
– Comparar con datos históricos
– Comparar con otros datos del período
• Verificar validez de datos “disparados”
• Corregir errores
• Eliminar aquellos datos en que no existe justificación
para la desviacón.
Cálculo de los indicadores
Poner cuidado en:
• Utilizar una misma moneda para
indicadores relacionados con costos.
• Utilizar base actualizada para el cálculo
de indicadores de eficacia (aumento de la
población objetivo).
• Considerar el costo total, no sólo el
directo.
• Comparar con situación sin programa.
Con versus sin Programa
Impacto
real
Linea base
Impacto?
Actual
Interpretando la información
• Comparar valor del indicador con la meta.
• Analizar evolución histórica del indicador.
• Identificar causas de
las desviaciones
Cómo Mejorar la Calidad de la Información para M&E
• Usar varios indicadores para cada objetivo.
• Combinar métodos cuantitativos y
cualitativos.
• Promover la participación de los
involucrados.
• Capacitación a los recopiladores de
información.
Evaluación
• Evaluación de la MI
– Lógica vertical (estructura del programa)
– Lógica horizontal
• Evaluación de resultados
– Eficacia - Calidad
– Eficiencia - Economía
Lógica Vertical: Objetivos
•
•
•
•
¿El problema o necesidad prioritaria al que va
dirigido el programa está correctamente
identificado y claramente definido?
¿Existe un diagnóstico actualizado y
adecuado, elaborado por el programa, la
dependencia o entidad, sobre la problemática
detectada que sustente la razón de ser del
programa?
¿El Fin y el Propósito del programa están
claramente definidos?
¿El Fin y el Propósito corresponden a la
solución del problema?
Lógica Vertical: Objetivos
•
•
•
¿El programa cuenta con evidencia de estudios o
investigaciones nacionales y/o internacionales que
muestren que el tipo de servicios o productos que
brinda el programa son adecuados para la
consecución del Propósito y Fin que persigue el
programa?
Con base en los objetivos estratégicos de la
dependencia y/o entidad que coordina el programa,
¿a qué objetivo u objetivos estratégicos está
vinculado o contribuye el programa?
Con base en lo anterior, analizar y evaluar si existe
una relación lógica del programa con los objetivos
del Plan Estadual de Desarrollo.
Lógica Vertical: Objetivos
•
•
•
•
¿Las Actividades del programa son suficientes y
necesarias para producir cada uno de los
Componentes?
¿Los Componentes son necesarios y suficientes para
el logro del Propósito?
¿Es claro y lógico que el logro del Propósito
contribuye al logro del Fin?
Considerando el análisis y la evaluación realizados en
este punto, ¿la lógica vertical de la matriz de
indicadores del programa es clara y se valida en su
totalidad? Es decir, ¿la lógica interna del programa es
clara? Si no es así, proponer los cambios que deberían
hacerse en el diseño del programa y en su lógica
interna.
Lógica vertical: Supuestos
•
•
•
¿Son necesario y válidos los supuestos
del programa tal como figuran en la
matriz de indicadores?
¿Están bien redactados?
¿Faltan supuestos importantes?
Lógica horizontal
•
•
•
•
•
En términos de diseño, ¿existen indicadores
para medir el desempeño del programa a
nivel de Fin, Propósito, Componentes y
Actividades e insumos?
¿Todos los indicadores son claros, relevantes,
económicos, adecuados y monitoreables?
¿Los indicadores incluidos en la matriz de
indicadores tienen identificada su línea de base
y temporalidad en la medición?
¿Están bien definidas las formulas de cálculo de
los indicadores?
¿Se han establecido metas razonables y
asociadas a plazos para los indicadores?
Lógica horizontal
•
•
•
¿El programa ha identificado los medios de
verificación para obtener cada uno de los
indicadores?
Para aquellos medios de verificación que
corresponda (por ejemplo encuestas), ¿el
programa ha identificado el tamaño de
muestra óptimo necesario para la medición del
indicador, especificando sus características
estadísticas como el nivel de significancia y el
error máximo de estimación?
¿De qué manera el programa valida la
veracidad de la información obtenida a través
de los medios de verificación?
Lógica horizontal
•
¿El programa recolecta regularmente
información oportuna y veraz que le permita
monitorear su desempeño?
Eficacia del Programa
La eficacia se relaciona con el logro del propósito y el fin
después de terminado el proyecto o al cabo de algún tiempo de
operación del programa. Se ocupa del grado hasta el cual:
• El programa produjo los componentes en la cantidad y con la
calidad previstos.
• Los componentes han sido los adecuados para atender la
necesidad y conducen al logro del propósito.
• El logro del propósito ha contribuido al fin.
Fin
Propósito
Componente
Actividad
Area de análisis de la Eficacia
Preguntas sobre Eficacia
• ¿Presentar el avance de los indicadores a nivel de
Componente del programa, ¿este avance es el adecuado
para el logro del propósito?
• ¿Se identifica algún componente o actividad que no es
producido en la actualidad y que podría mejorar la eficacia
del programa?
• ¿Se identifican Componentes, Actividades o procesos que
se llevan a cabo en la actualidad y que podrían ser
prescindibles o posibles de sustituir por otros más
eficaces?
• ¿Existen indicadores de eficacia en la operación del
programa? Presentar un listado de estos indicadores.
Preguntas sobre Calidad
• ¿ Los bienes y servicios se entregaron
oportunamente?
• ¿Las características del bien o el servicio
entregado son las especificadas?
• ¿Los beneficiarios del programa están satisfechos
con la oportunidad y calidad del bien o servicio
recibido?
• ¿Existió continuidad en la prestación del servicio?
Eficiencia del Programa
•
•
•
•
La eficiencia hace referencia a la manera como se realizaron las
actividades para la entrega de los componentes y se entregaron los
componentes para el logro del propósito . Verifica el grado en que:
Los insumos se proveyeron de manera organizada, oportuna y al
mínimo costo posible.
Las actividades se ejecutaron al menor costo en los plazos
establecidos.
Los productos (componentes) se obtuvieron al menor costo.
Los costos administrativos fueron lo mas bajo posible.
Fin
Propósito
Componente
Actividad
Area de análisis de la eficiencia
Preguntas sobre Eficiencia
• ¿El programa ha identificado y cuantificado costos de
operación y costos unitarios dependiendo del Propósito y de
sus Componentes? Si fuera el caso, presentar dichos costos.
• ¿El programa tiene procedimientos para medir costoefectividad en su ejecución?
• ¿Se identifica algún componente, actividad o proceso que no
se esté llevando a cabo en la actualidad y que podría mejorar
la eficiencia del programa?
• ¿Se identifican Componentes, Actividades o Procesos que se
llevan a cabo en la actualidad y que podrían ser prescindibles
o posibles de sustituir por mecanismos de menor costo?
• ¿Existen indicadores de eficiencia en la operación del
programa? Presentar un listado de estos indicadores.
Economía del Programa
La economía se refiere a la capacidad de la gerencia del
programa para administrar adecuadamente los
recursos financieros. Analiza cómo:
• Se utilizó el presupuesto asignado.
• Se captaron recursos adicionales a los presupuestarios.
• Se recuperaron recursos en caso existir créditos.
Fin
Propósito
Area de análisis de la Economía
Componente
Actividad
Preguntas sobre Economía
• Cuantificar el presupuesto ejercido al término del presente ejercicio
fiscal en relación al presupuesto asignado. ¿Cuáles son las razones de
la situación que se observa?
• ¿Cuál es el monto o porcentaje de aportaciones de terceros (otras
instituciones, otros niveles de gobierno, beneficiarios, etc.) en
relación al presupuesto ejercido?
• En función de los objetivos del programa, ¿se han aplicado
instrumentos de recuperación de costos (gasto que le genera al Estado
la producción/entrega de servicios del programa)?
• ¿Existe evidencia de que el programa utiliza prácticas de
administración financiera que proporcionen información oportuna y
confiable para la toma de decisiones de los responsables de la
administración política y administrativa?
• ¿Existe una integración entre los distintos sistemas de información
que conforman la administración financiera?
Impactos del Programa
• Dos tipos de impactos:
– Efecto en el desarrollo (Fin)
– Influencia en otros ámbitos
• Impactos planificados e imprevistos
Fin
Propósito
Componente
Actividad
Area de análisis de los Impactos
Continuidad de la Justificación
Dos preguntas fundamentales:
• ¿Continúa el programa siendo compatible con las
prioridades de desarrollo del país o del estado?
• ¿Se alcanzarán(on) los objetivos a nivel de
Propósito y Fin una vez generados los componentes
del programa?
Fin
Propósito
Componente
Actividad
Area de análisis de la Justificación
Preparando recomendaciones
• Las recomendaciones deben estar
fundamentadas en el análisis.
• Proponer acciones para materializar las
recomendaciones.
• Analizar beneficios y costos de implementar las
recomendaciones.
• Proponer una estrategia de implantación y
seguimiento.
• Ser claro, preciso y conciso en la redacción.
Relación MI - Plan - Presupuesto
MML y presupuesto de proyectos
• A nivel de actividades se detalla el costo
estimado de cada actividad.
• El costo de un componente se puede
obtener sumando el costo de sus
actividades
• El costo del proyecto es la suma del costo
de los componentes
• Durante la ejecución se comparan costos
incurridos con presupuestados
Costo de un proyecto y MML
Fin
Propósito
}
Componente A
Σ
Componente B
Actividad A1
Actividad A2
Actividad A3
Costo A1
Costo A2
Costo A3
Actividad B1
Actividad B2
Costo B1
Costo B2
Σ
}
Σ
Indicadores relacionados con los costos
• Indicadores de eficiencia
– Costo por unidad de bien o servicio provisto
(Componente)
– Porcentaje de costos de administración
– Costos por “unidad de resultado” (Propósito)
• Indicadores de economía
– Porcentaje de ejecución del presupuesto
(Propósito o Componente)
Problemas en programas
• El costo total del programa no se conoce
con certeza.
– El financiamiento puede provenir de varias
fuentes o ítem presupuestarios.
– No se identifican costos de oportunidad de
bienes propios.
– No se estiman costos de administración
– No se consideran costos de entidades
colaboradoras
• Consecuencia: Indicadores mentirosos
Costo de un programa y MML
Fin
+ costos de administración
Propósito
}
Componente A
Σ
Componente B
Actividad A1
Actividad A2
Actividad A3
Actividad B1
Actividad B2
Costo A1
Costo A2
Costo A3
Costo B1
Costo B2
del programa
+ costos de oportunidad de
recursos utilizados en la
administración
+ costos de administración
Σ del componente
+ costos de otras entidades
}
participantes en el
componente
+ costos de oportunidad de
recursos empleados
Plan y Matriz de Indicadores
Fin
Propósito
Componentes
Actividades
• La lógica vertical exige una relación
clara y verificable (indicadores) entre
los distintos niveles de objetivos.
Matriz de Indicadores
Objetivos: Fin
Objetivo estratégico al que contribuye el programa
¿ Objetivo del PND?
¿Objetivo sectorial?
¿ Objetivo estratégico institucional?
Fin
Propósito
Componentes
Actividades
Depende!
Otorgamiento de becas - CONACYT
Fin: Contribuir al incremento
de la competitividad del país
Ramo:
Da
Consejo Nacional de Ciencia y Tecnología
Unidad Responsable:
Centro de Investigación en Geografía y Geomática, "Ing. Jorge L. Tamayo", A.C.
Clasificación de Grupos y Modalidades de los Programas Presupuestarios:
U Otros programas de subsidios
Denominación del Programa Presupuestario:
001 Otorgamiento de becas
Propósito: Facilitar al capital humano el acceso a
oportunidades de formación de alto nivel, orientada a la
investigación científica, desarrollo tecnológico e
innovación.
Nombre de la Matriz:
Eje de Política Pública:
Objetivo Nacional:
Grupo Tema:
Otorgamiento de becas
A
Economía Competitiva y Generadora de Empleos
Tener una economía competitiva que ofrezca bienes y servicios de calidad a precios accesibles, mediante el aumento de la productividad, la competencia eco
para el desarrollo de las empresas, especialmente las micro, pequeñas y medianas.
Productividad y Competitividad
Tema:
Promoción de la Productividad y la Competencia
Objetivo de Eje de Política Pública:
Objetivo 5. Potenciar la productividad y competitividad de la economía mexicana para lograr un crecimiento económico sostenido y acelerar la creación de e
Estrategia 5.1 Integrar una agenda nacional para la competitividad que involucre a los tres Poderes de la Unión; los tres órdenes de gobierno y al sector priva
necesarias y traducirlas en resultados tangibles a corto y mediano plazo.
Estrategia del Objetivo de Eje de Política Pública :
Componente: Generar conocimiento científico, desarrollo
tecnológico e innovación para mejorar la competitividad
del país, el bienestar de la población y difundir sus
resultados
Estrategia 5.2 Diseñar agendas sectoriales para la competitividad de sectores económicos de alto valor agregado y contenido tecnológico; y de sectores prec
Estrategia 5.3 Disminuir los costos para la apertura y operación de los negocios a través de la mejora regulatoria.
Estrategia 5.4 Fomentar condiciones de competencia económica y libre concurrencia; así como combatir a los monopolios.
Estrategia 5.5 Profundizar y facilitar los procesos de investigación científica; adopción e innovación tecnológica para incrementar la productividad de la econo
Estrategia 5.6 Aprovechar el entorno internacionalpara potenciar el desarrollo de la economía mexicana.
Tipo de Programa:
Sin Información
Programa:
Sin Información
Objetivo del Programa:
Sin Información
Objetivo Estratégico del Programa Sectorial:
Profundizar y facilitar los procesos de investigación científica, adopción e innovación tecnológica para incrementar la productividad de la economía nacional.
Objetivo Estratégico de la Dependencia ó Entidad:
Actividad: Becas otorgadas
Generar conocimiento científico, desarrollo tecnológico e innovación para mejorar la competitividad del país, el bienestar de la población y difundir sus result
Otorgamiento de becas - CONACYT
Objetivos
Lógica vertical del programa
No debe ocurrir:
Fin
Propósito
Componentes
Actividades
• Forzar a que en todos lo programas el
FIN corresponda a un objetivo del
Plan Nacional de Desarrollo.
• En grandes programas
(Oportunidades) puede ser.
• En los pequeños el salto es muy
grande. Deja de existir la lógica
vertical entre Propósito y Fin.
Programa Oportunidades
SEDESOL
SEP
SS
Por que no?
MI y Presupuesto
Objetivos
Lógica vertical del programa
Fin
Tampoco debe darse:
Fin
Propósito
Componentes
Actividades
Propósito
• Programas con
Propósitos
múltiples.
• No permiten
responsabilización
por los resultados.
Para terminar .....
FIN
F
F
I
N
F
I
N
N
Supongo!