Sistemas de Monitoreo y Evaluación de Proyectos, Programas y

Presupuesto, Gasto y Contabilidad • No. 5 • Marzo de 2010
Sistemas de Monitoreo
y Evaluación de Proyectos,
Programas y Políticas Públicas
Luz Elvia Rascón Manquero
Uno de los mecanismos más importantes que inciden directamente en la acción de gobierno es la transparencia y la rendición de
cuentas del ejercicio del gasto público, cuya orientación requiere del conocimiento de resultados concretos, confiables y verificables de su
aplicación. Para lograrlo, es necesario contar con una serie de elementos y herramientas básicas, entre las que destacan, los sistemas
de monitoreo y evaluación del desempeño, y los sistemas de contabilidad gubernamental. En este escrito se aborda la relevancia que
tiene para Estados y Municipios la implementación de los Sistemas de Monitoreo y Evaluación de Proyectos, Programas y Políticas
Públicas.
incluye mecanismos ineficientes para obtener
información sobre planes, monitorear procesos, y
evaluar el desempeño de funcionarios, de programas y
de política pública.
La transparencia y la rendición de cuentas son un
proceso continuo de responsabilidad compartida entre
distintos órdenes de gobierno, que se convierte en un
reto para los gestores, en una obligación para la función
pública y en un derecho para la ciudadanía, en donde
los resultados son el principal protagónico.
El proceso de decisión en la asignación de recursos
presupuestarios, requiere de una concatenación entre
la acción pública y la planeación estratégica que
deriven en el incremento de la cantidad y calidad de
bienes y servicios públicos, cuyo impacto se refleje en
el desarrollo integral de la sociedad en su conjunto,
entendido como bienestar, crecimiento económico y
empleo.
En términos de Gestión Pública, las deficiencias
en la trasparencia y la rendición de cuentas se traducen
en la baja calidad de los procesos de gestión financiera,
principalmente debido a la precariedad de incentivos
que permitan transparentar las decisiones y mejorar
la efectividad del gasto; deficiencias en los procesos
de la gestión de recursos humanos, en donde los
servidores públicos se encuentran bajo un sistema
de responsabilidades poco eficiente; y baja calidad
de los procesos de gestión estratégica en donde el
ciclo
Planeación-Programación-PresupuestaciónArpobación-Ejecución-Seguimiento-Evaluación
Luz Elvia Rascón Manquero, es Doctora en Negocios y Estudios Económicos
por la UdeG; Maestra en Ciencias por la Universidad Autónoma de Chihuahua
UACH; Estudios en Desarrollo Regional por el Convenio UACH-COLEF; y
actualmente se desempeña como Directora del Sistema Integral de Información
en el INDETEC. [email protected]
45
Presupuesto, Gasto y Contabilidad • No. 5 • Marzo de 2010
La creación de Sistemas de Monitoreo y Evaluación,
ayuda a fortalecer la gobernabilidad de un país, región
y localidad, debido a que implica el mejoramiento de
la transparencia y la rendición de cuentas, y fortalece
las relaciones intergubernamentales y la cultura de
rendimiento dentro de los gobiernos para formular
políticas y tomar decisiones de presupuesto.
La aplicación y uso de los métodos y
herramientas de monitoreo y evaluación en el ámbito
de los programas y proyectos públicos es todo un
tema de discusión; no obstante todos éstos responden
a, si lo que se está construyendo corresponde efectivamente
con lo propuesto, y si se están utilizando adecuadamente los
recursos requeridos.
La fig. No 1 muestra la necesidad de contar con
un Sistema de Evaluación principalmente conformado
por una serie de indicadores estratégicos y de gestión
que, al ser atendidos, arrojen información sobre el
alcance de metas y el cumplimiento de objetivos.
L.C.P. José Manuel Saiz Pineda
Secretario de Administración y Finanzas del Estado de Tabasco,
representante del Grupo Zonal 8 e integrante del Grupo de
Gasto, Contabilidad y Transparencia de la CPFF
Fig. No. 1 Sistema de Monitoreo y Evaluación del Gasto Público
Aprobación
Ejercicio
In for me de
R esu l tados Seguimiento
Mon i tor eo de
i n di cador es
Presupuesto
Asi gn aci on es
pr esu pu estarias
con b ase en
r esu l tados
R esu l tados
i n ter medi os y
de i mpacto
fi n al
Evaluación
Programación
Rendición
de cuentas
P l an de
Planeación Desar r ol l o y
Ob jeti v os
Estr atégi cos
Cuent a
P ública e
I nformes
Fuente: Elaborado con base en el informe sobre el Sistema de Monitoreo y Evaluación de Gasto Público en Perú. Fortalecimiento de los
Sistemas de Monitoreo y Evaluación en América Latina. Banco Mundial, y CLAD. Shack, N., 2008.
46
Presupuesto, Gasto y Contabilidad • No. 5 • Marzo de 2010
“El seguimiento y la evaluación son parte central
de los acuerdos para una buena gobernabilidad y son
necesarios para lograr la formulación de políticas
basadas en la evidencia, la toma de decisiones
presupuestarias, la administración y la rendición
de cuentas”
En este mismo esquema se observa que el punto de partida es la planeación estratégica realizada
en las dependencias y entidades públicas, las cuales
cuentan con sus propios objetivos estratégicos derivados
de los objetivos y estrategias de un Plan de Desarrollo. Éstos a su vez se alinean con los objetivos de los
programas (y proyectos), que por medio de una ma-
triz de indicadores1, cuyo diseño incluye objetivos,
indicadores y metas por ámbito de desempeño -actividades de gestión, componentes (productos entregables), propósito (objetivo específico del programa
presupuestario) y fin (objetivo estratégico de la dependencia o entidad)- se enlaza la planeación con el
presupuesto (Ver Fig. No 2).
Fig. No. 2 Matriz de Indicadores
RESUMEN
NARRATIVO
INDICADORES
INDICADOR
FÓRMULA
FRECUENCIA
LÍNEA
BASE
METAS
FUENTES DE
INFORMACIÓN
MEDIOS DE
SUPUESTOS
VERIFICACIÓN
FIN
PROPÓSITO
C1
COMPONENTES
C2
C3
A1C1
A2C1
A3C1
A4C2
ACTIVIDADES
A5C2
A6C2
A7C3
A8C3
A9C3…
Fuente: Formato diseñado con base en la información de la Ficha de Indicadores de Evaluación de Programas Presupuestarios Federales en México (2008).
1
Cabe recordar que la metodología para desarrollar la matriz de indicadores, adoptada en un gran número de países miembros de la OCDE, ha sido la del
Marco Lógico.
47
Presupuesto, Gasto y Contabilidad • No. 5 • Marzo de 2010
Cabe destacar que los elementos clave de un plan
de acción para implementar un Sistema de Monitoreo
y Evaluación del Desempeño son, en primera instancia,
la promoción por parte de los responsables de la
programación de metas y asignación de recursos –bajo
la modalidad del Presupuesto con base en Resultados-;
la generación de incentivos capaces de conducir el
seguimiento y la evaluación; utilizar la información
del sistema, para la presupuestación; capacitar tanto
a responsables del diseño como a los usuarios del
sistema, tanto en la alimentación como en el uso de la
información que éste proporciona; el establecimiento
de acuerdos estructurales para asegurar la objetividad
y calidad del sistema; y un compromiso de largo plazo
para institucionalizarlo. El criterio básico del éxito
en la implementación está en la medida en que la
información se utiliza para mejorar la actuación del
gobierno, y tener una clara definición de lo que el
sistema debe ser en el futuro.
El Diseño y Dimensiones
preferentemente deben incluir2:
del
La realización de un diagnóstico de las funciones
y sistemas de Seguimiento y Evaluación
gubernamentales que ya existen; esto posibilitaría
una comprensión sólida de las fortalezas y
desafíos de lo que se tiene en la actualidad.
Además ayudaría a dejar claro quién necesita qué
tipo de información, para qué y cuándo, lo cual,
a su vez, ayudaría a que se identifique una lista
de las posibles acciones destinadas a fortalecer
los sistemas existentes o a crear uno totalmente
nuevo.
•
Determinar el uso de la información, es decir, si
ésta servirá para apoyar la toma de decisiones
presupuestarias, o para la planeación nacional;
ayudar a los órdenes de gobierno en la formulación
y análisis de políticas y en el desarrollo de
programas; apoyar a las entidades y dependencias
públicas en el manejo de sus actividades; a
fortalecer las relaciones de rendición de cuentas.
2
Keith Mackay (2007). Como Crear Sistemas de Seguimiento y
Evaluación que Contribuyan a un Buen Gobierno. Banco Mundial.
Grupo de Evaluación Independiente.
Definir las funciones y responsabilidades formales
de las partes clave que lo componen –aquellos que
deben generar la información del seguimiento y
la evaluación y hacer uso de ella.
•
Determinar si se desarrollará un sistema para
todo el gobierno, que abarque a entidades y
municipios, sectores y dependencias, o si el
sistema se va a enfocar de forma más limitada
hacia sectores o dependencias individuales.
•
La variedad de instrumentos en que el sistema
se concentrará: indicadores de desempeño,
evaluaciones rápidas, evaluaciones de impacto
rigurosas, entre otras.
Los Mecanismos de Incentivos y Sanciones, tanto
para los organismos como para quienes los dirigen, de
alguna manera garantizan el uso de la información que
arrojan los Sistemas de Seguimiento y Evaluación, así
como la notable mejora en la Gestión Pública.
Sistema
•
•
Con el fin de mostrarlos de manera imparcial,
a continuación se muestra el Cuadro de texto No.1,
elaborado por Mackay (2007), el cuál presenta tres
tipos de incentivos: premios, sanciones/correctivos y
sugerencias/recomendaciones. Los incentivos que se
incluyen se han utilizado para ayudar a institucionalizar
el seguimiento y evaluación en gobiernos de países
desarrollados y en desarrollo. Por un lado, los premios
ofrecen un refuerzo positivo y recompensas por llevar
a cabo el seguimiento y evaluación del desempeño y
utilizar sus resultados. Éstos pueden ser, por ejemplo,
el reconocimiento público o incentivos financieros a
los ministerios que aplican el sistema. Por su parte,
los castigos comprenden penalidades a los ministerios
o a los funcionarios públicos que no se comprometen
con el desempeño, entre los que destacan las
penalidades financieras a quienes no cumplen con
implementar las recomendaciones de evaluación
previamente acordadas. Por último, los consejos
incluyen declaraciones de alto nivel de aprobación y
apoyo en relación con la importancia del seguimiento
y la evaluación; implican los esfuerzos dirigidos a
despertar el interés en el sistema y la explicación de lo
que los funcionarios del gobierno pueden encontrarle
de provecho.
48
Presupuesto, Gasto y Contabilidad • No. 5 • Marzo de 2010
C.P.C. Ricardo Humberto Suárez López
Secretario de Finanzas y Administración del Estado de Michoacán
y representante del Grupo Zonal 5 e integrante
del Grupo de Vigilancia de Aportaciones y Otros Recursos
Descentralizados de la CPFF
Cuadro de Texto No. 1 Incentivos para el Seguimiento y Evaluación del Desempeño SyE
Premios
Sanciones/Correctivos
* Diplomas o premios -reconocimientos de
alto nivel por las buenas y mejores prácticas de evaluación o de la gestión por resultados.
* Enfoque colegiado de SyE entre los ministerios clave -ayuda a evitar una situación en la que un ministerio rival controle
la información del S&E.
* Incentivos de presupuesto para programas de alto desempeño- por ejemplo el
fondo de instituciones de Chile-.
* La provisión de incentivos relacionados
con el presupuesto de los ministerios o
dependencias para mejorar el desempeño
(premiar la información del SyE para demostrar desempeño) –por ejemplo, el ministerio de hacienda estipula mayor seguridad de financiamiento, envía estimados
por medio de un marco de gastos a mediano plazo, acuerdos de recursos, presupuesto de cartera, presupuesto de programa.
Sugerencias/Recomendaciones
* Promulgar leyes, decretos o reglamentos * Declaraciones de alto nivel daque impongan el SyE.
das por el presidente, ministros,
directores de ministerios, diputados, etcétera.
* Tener requisitos formales para la planea- * Declaraciones de la visión del
ción, conducción e informe del SyE –crear gobierno acerca de las reformas
un impulso organizacional si los ministerios del sector público, la buena goberestán obligados a crear comités y otras es- nabilidad o los planes nacionales,
tructuras formales para SyE.
que destacan los méritos del SyE.
* Retener parte de los fondos de los minis- * Repetición frecuente de menterios o dependencias si no llevan a cabo sajes de apoyo en las reuniones
el SyE.
de ministros de alto nivel, jefes
de departamento, y personal en
general.
* Alcanzar gran transparencia acerca del * Seminarios o talleres de toma
desempeño del gobierno y de los admi- de conciencia con el fin de desnistradores publicando regularmente in- mitificar el SyE, ofrecer confianformación sobre los objetivos, productos y za acerca de su posibilidad de
calidad de servicios de todos los programas. realización y explicar su conteniComparaciones de desempeño entre las ju- do a los participantes.
risdicciones (estados, provincias, distritos,
municipalidades) son efectivas en particular, para resaltar el buen o mal desempeño,
destacar a los buenos actores y poner en
evidencia a los malos.
49
Presupuesto, Gasto y Contabilidad • No. 5 • Marzo de 2010
“Los elementos clave de un plan de acción para crear
un sistema de seguimiento y evaluación son: la generación
de incentivos eficientes para conducir el seguimiento y la
evaluación, diseñar y generar información para la toma
de decisiones, capacitar a los involucrados en el uso de
la información que proporciona, comprometer acuerdos
estructurales para asegurar la objetividad y calidad del
seguimiento y evaluación, y generar un compromiso de
largo plazo para institucionalizarlo”
Premios
Sanciones/Correctivos
Sugerencias/Recomendaciones
* Mayor autonomía de gestión para los * Resaltar la información del SyE desfavoprogramas que se desempeñen bien.
rable en los informes al Parlamento o Congreso y difundirla ampliamente. Esto puede
ser política y sumamente delicado para el
gobierno.
* Uso de ejemplos reales del SyE
influyentes para demostrar su
utilidad y su eficacia en función
de los costos.
* Resultados basados en productos o en
efectos directos hace que el Banco Mundial (y otros donantes) otorguen préstamos
a los gobiernos –por ejemplo, el préstamo
del Banco en apoyo al programa Bolsa Familia de Brasil.
* Establecer metas de desempeño desafiantes pero realistas (por ejemplo, cada trimestre o cada año) que cada ministerio, dependencia y administrador de programa pueda
cumplir.
* Explicar a los administradores
y al personal cómo el SyE puede
ayudarlos a ofrecer mejores servicios a sus clientes, los ciudadanos.
Recompensas por el cumplimiento de los * Incluir indicadores de desempeño relerequisitos del SyE formales (y para los SyE vantes (productos, efectos directos) en las
de alta calidad).
evaluaciones anuales de desempeño de los
administradores.
* Financiamiento adicional a los ministe- * Solicitar informes de excepción de desemrios para llevar a cabo SyE.
peño cuando las metas no se alcanzan –requiere que áreas del programa expliquen el
mal desempeño (Colombia).
* Dirigir algunas evaluaciones
rápidas y evaluaciones de impacto con el fin de demostrar su
utilidad.
* Conferencias y seminarios sobre sistemas de SyE con práctica
recomendada en algunos ministerios en particular, en otros
países, etcétera –demuestran lo
que los sistemas de SyE pueden
producir.
50
Presupuesto, Gasto y Contabilidad • No. 5 • Marzo de 2010
Premios
Sanciones/Correctivos
* Manejo prudente de los hallazgos de evaluación –por ejemplo, proporcionando resúmenes ejecutivos de fácil interpretación,
dirigidos a audiencias clave puede reducir
la dificultad de acceso y asimilación de los
resultados.
Sugerencias/Recomendaciones
* Resaltar planeación de evaluación de
mala calidad, sistemas de información,
indicadores de desempeño, técnicas del
SyE, informes del SyE –poner en evidencia
desempeños deficientes (podrían hacerlo
mediante una institución de auditoría suprema, un ministerio central como el de
hacienda o la oficina del presidente, y tal
vez, auditoría interna).
* Red de funcionarios que trabajan en SyE –ayuda a mostrar
ejemplos de buena práctica del
SyE en ministerios, demuestra su
viabilidad y ayuda a incentivar
los parámetros de calidad.
* Organización frecuente de reuniones de * Penalizar el incumplimiento de las reequipo (administradores y personal) del comendaciones de evaluación acordadas
tipo “¿Cómo nos va?” para aclarar los ob- (Chile).
jetivos, revisar el desempeño del equipo e
identificar las formas de mejorarlo.
* Apoyo al SyE gubernamental
mediante préstamos que los donantes multilaterales y bilaterales
ofrecen a los gobiernos –resalta y
promociona el SyE.
* Contratos por desempeño o pagos por
resultados a los empleados
públicos –es decir, recompensa directa por
desempeño. Por ejemplo, los nuevos empleados públicos de alto nivel en Ceará
(Brasil) reciben hasta 40% de su remuneración en forma de bono por desempeño,
que se basa en el logro de las metas de los
indicadores de desempeño.
* Llevar a cabo reuniones de municipalida- des con el presidente y los ciudadanos para
exhibir el buen o mal desempeño del gobierno (Colombia).
* Incentivos para el personal –uso de ex- * Involucrar a la sociedad civil en el SyE del periencia en SyE como un criterio para la desempeño gubernamental a como resultacontratación, promoción y certificación.
do presiones para un mejor desempeño y
rendición de cuentas (Bangalore y Bogotá).
* Asistencia al programa de conducción del
SyE –por medio de la oficina de asesoría,
manuales y otros materiales, capacitación
gratuita, comentarios acerca de los TdR,
informes preliminares de evaluación, entre
otros. Esto hace que sea más fácil (reduce
los costos) llevar a cabo el SyE, y la utilización de los resultados.
* Utilizar mecanismos de rendición de cuentas como las tarjetas de informe ciudadano –publicitar el bajo desempeño de las
dependencias gubernamentales.
* Garantizar que los proveedores de datos
–por ejemplo, en las dependencias– comprendan cómo se usan los datos y la importancia de ofrecer datos precisos y oportunos.
* Proporcionar retroalimentación ministe- rial sobre la calidad del asesoramiento en
políticas –ofrece críticas a la asesoría de
baja calidad (por ejemplo, una asesoría que
no tiene una buena base de evidencias).
* Capacitación para administradores y * Instituir contratos por desempeño o pagos personal del programa, para analistas de por resultados –penalidades directas por represupuesto, con el fin de explicarles qué sultados pobres.
es el SyE y cómo usarlo para mejorar su
trabajo.
51
Presupuesto, Gasto y Contabilidad • No. 5 • Marzo de 2010
C.P. Alfredo Garza De La Garza
Secretario de Finanzas y Tesorero General del Estado
de Nuevo León, y representante del Grupo Zonal 3 de la CPFF
Premios
Sanciones/Correctivos
Sugerencias/Recomendaciones
* Identificación y realce de ejemplos de prácticas recomendables de planeación
de la evaluación, de técnicas del SyE, de
informes de evaluación –ofrecer modelos
que otros pueden copiar fácilmente (pueden desempeñar este cometido, una institución suprema de auditoría, un ministerio
central como el de hacienda o la oficina del
presidente, y quizás, auditoría interna).
* Retroalimentación sistemática de los ministros sobre la calidad de la asesoría
de políticas para cada informe enviado a
los ministros. Brindar elogios y destaca la
asesoría de buena calidad –por ejemplo, el
ministerio de trabajo de Australia.
* Una red gubernamental de funcionarios que trabajan en SyE ayudaría a dar identidad y apoyo a los evaluadores (quienes
usualmente se sienten aislados dentro de
cada ministerio o entidad) –por ejemplo,
Australia, Canadá y Nigeria.
* Apoyo financiero y asistencia técnica para el SyE gubernamental por parte de
donantes multilaterales y bilaterales.
Fuente: Incentivos para el SyE. Cómo Crear Demanda. Elaborado por: Keith Mackey. Independent Evaluation Group, World Bank.
2007.
52