Análisis de la Demanda de Servicios de Seguimiento y Evaluación

Análisis de la Demanda de Servicios
de Seguimiento y Evaluación en
América Latina
País: Chile
Investigadora Responsable: Andrea Peroni
Co-investigadora: Claudia Olavarría
Asistente de Investigación: Felipe Hernández
Inviernos, 2010
Red de Evaluadores de Políticas Públicas de Chile
Núcleo de Evaluación de Políticas Públicas, Universidad de Chile
Red de Seguimiento, Evaluación y Sistematización de Latinoamérica y el Caribe ( ReLAC)
INDICE
RESUMEN EJECUTIVO .................................................................................................... 4
INTRODUCCIÓN............................................................................................................. 6
CAPÍTULO 1: ANTECEDENTES ......................................................................................... 9
1.
El Seguimiento y Evaluación en Chile. .............................................................................. 9
1.1
El Sistema de Seguimiento de la Programación Gubernamental: ................................... 9
1.2
El Sistema de Evaluación y Control de Gestión del Gobierno Central. .......................... 11
1.3
Iniciativas de Evaluación del Ministerio de Planificación y Cooperación ....................... 16
CAPITULO 2 : METODOLOGÍA DEL ESTUDIO ................................................................. 20
2.1
Equipo......................................................................................................................... 20
2.2
Coordinación de Tareas............................................................................................... 20
2.3
Plazos.......................................................................................................................... 20
2.4
Muestra ...................................................................................................................... 21
2.5
Contacto a entrevistados............................................................................................. 21
2.6
Instrumento ................................................................................................................ 21
CAPÍTULO 3: ANÁLISIS DE LAS ENTREVISTAS ................................................................ 22
3.1
Perfil de los entrevistados. .......................................................................................... 22
3.2
Perfil de las Instituciones............................................................................................. 23
3.3
Caracterización de la Demanda de Servicios de Seguimiento y Evaluación del Estado
Chileno 26
3.4
Calidad de los servicios de SyE disponibles y problemas técnico-metodológicos
frecuentes................................................................................................................................ 31
3.5
La oferta de servicios de Seguimiento y Evaluación disponible. ................................... 32
3.6
La Organización e institucionalización del Seguimiento y Evaluación en el Sistema
Político administrativo del Estado chileno ................................................................................ 34
3.6.1 El Seguimiento y Evaluación en Chile: Una estrategia impulsada desde la administración
del Estado ................................................................................................................................ 37
3.7
Demanda de evaluación desde la sociedad civil........................................................... 38
2
CAPITULO 4 : CONCLUSIONES ...................................................................................... 40
ANEXOS ...................................................................................................................... 42
ANEXO 1: PAUTA DEL INSTRUMENTO APLICADO ..................................................................... 42
ANEXO 2: CARACTERIZACIÓN DE LA MUESTRA ........................................................................ 42
ANEXO 3: OBSERVACIONES METODOLÓGICAS ......................................................................... 42
ANEXO 4: BASE DE DATOS........................................................................................................ 42
ANEXO 5: TRANSCRIPCIONES ENTREVISTAS.............................................................................. 42
ANEXO 6: BIBLIOGRAFIA EVALUACION ..................................................................................... 42
3
RESUMEN EJECUTIVO
El estudio que se presenta a continuación ha sido realizado por la Red de Seguimiento,
Evaluación y Sistematización de Latinoamérica y el Caribe (ReLAC), por encargo del Programa de
Implementación del Pilar Externo de Acción a Mediano Plazo para la Efectividad en el Desarrollo
(PRODEV) para contribuir al diseño de una estrategia adecuada para la iniciativa “Regional Centers
for learning on evaluation and results.”(CLEAR).
El objetivo del estudio ha sido identificar las características de la demanda de servicios de
Seguimiento y Evaluación (SyE) en el sector público, a fin de contribuir con información que
permita diseñar una estrategia de fortalecimiento de las capacidades institucionales de los países
involucrados en estas áreas. El estudio se realizó en base a entrevistas a informantes clave de
distintas instituciones, además de expertos en los sistemas de SyE que operan en Chile en la
actualidad.
El estudio realizado para Chile revela que existe una demanda periódica y sistemática por
servicios de SyE, desde el Estado, la que se caracteriza por tener presentar una serie de prácticas,
procedimientos e instrumentos instalados en el quehacer cotidiano tanto de las instituciones del
Estado como en los proveedores externos de dichos servicios. La instalación de los mecanismos
de SyE requeridos por el Estado chileno deriva de la experiencia obtenida durante más de una
década de funcionamiento y perfeccionamiento de los distintos sistemas, principalmente el
Sistema de Control de Gestión, el sistema de Programación Gubernamental y el Sistema Nacional
de Inversiones. El objetivo primordial que guía las principales iniciativas de institucionalización de
SyE en el Estado chileno ha sido la rendición de cuentas y la generación de un gasto público
eficiente.
En la actualidad la demanda de servicios de SyE desde el Estado es dirigida, casi en su
totalidad, a organismos o personas externas al mismo, esto ha derivado en la generación de un
“mercado de evaluadores” que a juicio de los entrevistados, es un mercado amplio y competente,
para los requerimientos actuales. Sin embargo, existen algunas excepciones en aquellos casos
donde se requiere la prestación de servicios de mayor complejidad, siendo la oferta de servicios de
calidad más reducida. Este mercado es altamente competitivo lo que dificulta el intercambio de
experiencias y la generación de aprendizajes más allá de la interacción de cada empresa con su
contraparte estatal.
Si bien existen prácticas, procedimientos y capacidades instaladas para la provisión de
servicios de asistencia técnica a los Ministerios y Servicios dentro del mismo Estado, ésta es
complementada por las capacidades externas, lo cual complementa a la demanda de servicios de
4
SyE. Esta demanda ”interna” se asocia principalmente a requerimientos de asistencia técnica para
la planificación, Seguimiento y Evaluación de programas y metas de desempeño de la institución y
es satisfecha en parte por personal interno de los Ministerios, específicamente del Departamento
de control de Gestión (o similar), y en parte por personal de la Dirección de Presupuestos del
Ministerio de Hacienda. La Dirección de Presupuestos (DIPRES) presta asistencia técnica,
capacitación y /o personal experto para el desempeño de actividades de planificación,
Seguimiento y Evaluación de las metas de las instituciones gubernamentales en el marco del
Programa de Control de Gestión y de la evaluación de programas.
En temas de formación de capital humano es consenso que existe en Chile una oferta
reducida, de formación de posgrados, de buena calidad. Se plantea que existen en el país los
expertos con capacidades para la formación de nuevos profesionales y posgraduados, que
obtengan las competencias requeridas para desempeñarse en los sistemas de SyE del país.
En síntesis, el estudio revela que existen avances significativos en la instalación e
institucionalización de sistemas de SyE en el quehacer del Estado, en vinculación con el gasto y la
inversión pública, promovido principalmente por el trabajo impulsado desde la Dirección de
Presupuesto. Estos avances han permitido la generación de capacidades de gestión de los
sistemas de SyE y de competencias para la prestación de servicios tanto desde el ámbito público
como privado. Se observa que existen avances en la instalación del SyE como herramienta para
el mejoramiento continuo de las políticas y programas, sin embargo aún quedan desafíos
pendientes para la institucionalización del SyE en las distintas dimensiones del quehacer estatal,
sobre todo en el contexto del cambio de gobierno actual.
Finalmente, cabe agradecer a las instituciones que permitieron que el estudio se realizara,
destacar el apoyo del BID, a través del PRODEV, y a la Universidad de Chile a través del
Departamento de Sociología, quien financio parte de la investigación siendo ésta una expresión
de su política de apoyo a la investigación sobre temas de carácter público, a través del Núcleo de
Evaluación en Políticas Públicas. Asimismo agradecerles a los colegas de la ReLaC Chile, que
participaron en la realización de las entrevistas: Carolina Guerra y Felipe de la Vega.
5
INTRODUCCIÓN
El presente trabajo titulado: Análisis de la Demanda de Seguimiento y Evaluación en América
Latina se orienta a levantar un diagnóstico de la Demanda de servicios de Seguimiento y
Evaluación desde el Estado en Chile, ahondando en los avances en las prácticas, las capacidades
instaladas, los aprendizajes y los desafíos que se plantean para los Sistemas de Seguimiento y
Evaluación tanto en Chile como en los otros países de la región. Este estudio es realizado por la
Red de Seguimiento, Evaluación y Sistematización de Latinoamérica y el Caribe (ReLAC), por
encargo del Programa de Implementación del Pilar Externo de Acción a Mediano Plazo para la
Efectividad en el Desarrollo (PRODEV) para contribuir al diseño de una estrategia adecuada para la
iniciativa “Regional Centers for learning on evaluation and results.”(CLEAR).
El objetivo del estudio es identificar las características de la demanda de servicios de
Seguimiento y Evaluación en el sector público, a fin de contribuir con información que permitan
diseñar una estrategia de fortalecimiento de las capacidades institucionales de los países
involucrados, en estas áreas
El siguiente documento se divide en dos secciones principales, la primera llamada
Antecedentes contiene una descripción sobre el estado del arte de las Evaluación y Seguimiento
en Chile en las últimas dos décadas. La segunda etapa llamada Análisis contiene el resultado de
las entrevistas realizadas a informantes claves, expertos en evaluación y seguimiento, que han sido
seleccionados de una muestra de instituciones estatales y privadas, construida en base a los
requerimientos realizados.1
A partir de 1990, con el retorno de la democracia en Chile se inicia una nueva etapa en la
concepción de las políticas públicas. Esta nueva etapa se caracterizó, durante los primeros
gobiernos de la Concertación, por el actuar de un Estado Subsidiario en materia de políticas,
programas y proyectos, poniendo el énfasis en una política de crecimiento económico con equidad
social. Durante las últimas dos décadas “se ha profundizado y perfeccionado la apertura de la
economía al exterior, preservando un ambiente de estabilidad económica para el proceso de
promoción de exportaciones y de control de los desequilibrios internos y externos. Se ha pasado, en
consecuencia, a una etapa de crecimiento estable en que los principales desafíos son mantener la
inserción y competitividad en los mercados internacionales, junto con mejorar la calidad de vida de
1
Se entrevistó a expertos de las siguientes instituciones: Ministerio de Vivienda y Urbanismo, Ministerio de Salud,
Ministerio de Educación, Ministerio Secretaría General de la Presidencia, Ministerio de Planificación y Cooperación,
Instituto Latinoamericano y del Caribe de Planificación Económica y Social de la Comisión Económica para América
Latina, Programa de Naciones Unidas para el Desarrollo y dos consultoras privadas. Para conocer más en detalle a
muestra ver anexo Muestra de entrevistados.
6
la población, reduciendo la pobreza y las desigualdades sociales 2”. En este nuevo escenario el rol
del Estado en el ámbito social se ha enfatizado y a la vez reforzado. La evaluación de programas,
proyectos y políticas públicas es hoy una herramienta insustituible en el debate, diseño,
implementación y juicio, respecto de si las intervenciones del Estado alcanzan las finalidades
previstas, de si su implementación es efectiva o si sus resultados e impactos satisfacen las
aspiraciones ciudadanas.3
La evaluación de las políticas públicas adquirió a partir de los años noventa, en Chile,
importancia como una actividad demandada e impulsada desde el Estado. En la gestión pública se
incorporó el concepto desde las nociones de responsabilización y rendición de cuentas y con la
necesidad de mejorar la eficacia, eficiencia y calidad de la administración y de las intervenciones
estatales. Respecto a las políticas públicas, a partir de los cambios en sus formulaciones, modos
de gestión y orientaciones y de los actores relevantes con capacidad de incidir en ellas, la práctica
evaluativa se extendió principalmente en las políticas focalizadas, determinando que en la
actualidad casi todos los programas incorporen instancias de evaluación, haciendo de la práctica
evaluativa una actividad sistemática en la gestión pública
La relevancia de la evaluación radica en identificar las debilidades, con el propósito de
mejorar la gestión e intervención pública, optimizando los recursos y ampliando los beneficios que
éstas generan en la población. A pesar que la evaluación por sí misma no soluciona las dificultades
de diseño e implementación de las políticas públicas, es un instrumento que contribuye a revisar y
repensar cuestiones vinculadas con la decisión, formulación, ejecución e impactos de las acciones
público- estatales.
De acuerdo a registros del Banco Mundial desde mediados de la década de los noventa existía
un pequeño grupo de países, entre ellos Chile, Colombia, Brasil, India y Malasia que desarrollaban
actividades de evaluación de programas para su propio control de proyectos, planificación
financiera y análisis de política pública. En Chile, hasta 1989 existía la Oficina Nacional de
Planificación (ODEPLAN), quien realizaba la función de evaluación socioeconómica de la inversión
pública, pero fue el establecimiento de una Unidad de Evaluación de Programas Gubernamentales
en el Ministerio de Hacienda, en la década de 1990, la que ha extendido e intensificado la
evaluación de programas como práctica regular de la gestión del Estado.4 El desarrollo de esa
función requiere de capacidades técnico-administrativas, definición de procedimientos, objetivos y
usos de los resultados. Estas capacidades requeridas constituyen parte fundamental de la
demanda de servicios de Seguimiento y Evaluación en el sector público, la que será analizada en
este trabajo, a fin de contribuir, como se ha dicho, con elementos que permitan diseñar una
2
Schkolnik, Mariana y Bonnefoy, Josiane; “Una Propuesta de Tipología de las Políticas Sociales en Chile”; Documento de
Trabajo; UNICEF. 1994, Santiago de Chile.
3
Olavarría, Mauricio; “Nociones de Evaluación de Programas, Documento de Apoyo Docente”. INAP 2007. Universidad
de Chile, Santiago, Chile.
4
Ibid.
7
estrategia de fortalecimiento de las capacidades institucionales de Chile y de los países de la
región.
8
CAPÍTULO 1: ANTECEDENTES
1. El Seguimiento y Evaluación en Chile.
En el diagnóstico realizado, el año 2007, por el Centro Latinoamericano para la Administración del
Desarrollo, CLAD, y el Banco Interamericano de Desarrollo, BID, se plantea que Chile, apoyándose
en experiencias de países como Inglaterra, Irlanda, Australia y Nueva Zelanda ha logrado instalar
quizás la experiencia más avanzada en términos de sistemas de Monitoreo y Seguimiento en
Latinoamérica, afianzada durante la última década. Chile ha incorporado instrumentos de gestión
por resultados de forma sistemática y metódica, habiendo probado y mejorado durante esta
experiencia diversos instrumentos5. En el país existen actualmente tres sistemas de Seguimiento y
Evaluación de alto nivel que cubren en forma conjunta la acción del gobierno6:
i.
El Sistema de Seguimiento de la Programación Gubernamental, de la División de
Coordinación Interministerial (DCI) del Ministerio Secretaría General de la Presidencia.
ii. i. El Sistema de Evaluación y control de Gestión, de la Dirección de Presupuestos del
Ministerio de Hacienda (DIPRES): este sistema aborda las áreas de: gestión
presupuestaria, mejoramiento de la gestión de las instituciones y gobernanza.
iii. Iniciativas de Evaluación del Ministerio de Planificación y Cooperación
1.1 El Sistema de Seguimiento de la Programación Gubernamental:
El Sistema de Programación Gubernamental es una herramienta de gestión diseñada e
implementada para apoyar el cumplimiento de los objetivos estratégicos del Gobierno. Este
Sistema es implementado desde el Departamento de Coordinación Interministerial del Ministerio
Secretaría General de la Presidencia para el seguimiento del Programa de Gobierno. El sistema de
Seguimiento de la Programación Gubernamental aborda el área de Planificación y control de la
Agenda Programática de los Ministerios. Esta agenda Programática de los Ministerios deriva del
5
Ilustrativo de esto es el Sistema de Control de Gestión que trabaja con Definiciones estratégicas, Programa de
mejoramiento de la gestión, indicadores de desempeño, Balance de Gestión Integral y fondos concursables, entre otros.
6
Ríos, Salvador; “Fortalecimiento de los Sistemas de Monitoreo y Evaluación en América Latina, Diagnostico de los
Sistemas de monitoreo y Evaluación e Chile”, CLAD-BID 2007
9
Programa de Gobierno y es asumida por las autoridades y funcionarios de cada Ministerio. Este
sistema entrega informes trimestrales a los Ministerios y Servicios orientados a gestionar los
potenciales problemas y redireccionar la acción estatal, optimizando los resultados anuales. El
Sistema de Programación Gubernamental expresa sus resultados anualmente en la Cuenta Pública
Anual realizada por el Presidente de la República en el Discurso del día 21 de mayo y estos
resultados son además entregados al Congreso Nacional a través de reportes especiales del
Balance de Gestión Integral.
El objetivo del sistema es “efectuar seguimiento al cumplimiento de los objetivos estratégicos del
Gobierno, configurando una visión panorámica de las políticas públicas desarrolladas por los
distintos servicios y Ministerios. Esta visión panorámica es monitoreada trimestralmente,
realizándose una evaluación de cumplimiento de los compromisos establecidos para el respectivo
trimestre y para el año”7.
La primera etapa del funcionamiento de este Sistema es cuando el Presidente de la República
hace un conjunto de peticiones a los Ministerios y Servicios, derivados de los compromisos
asumidos con la población en el Programa de gobierno, discursos, etc.
La segunda etapa es la negociación de las condiciones presupuestarias, legislativas y de
coordinación requerida para la ejecución de estos mandatos. En esta etapa se establece una
Matriz de Compromisos, donde se expresan los objetivos estratégicos, productos e hitos,
cumpliendo con los criterios de relevancia y coherencia.
La tercera etapa la constituye el Seguimiento de la Agenda Programática, a través de la integración
de las matrices de Compromisos al Sistema de Programación Gubernamental al aprobarse la ley de
presupuesto, constituyendo el punto de partida del seguimiento de estos compromisos. El sistema
monitorea e informa trimestralmente los avances en los compromisos a los Ministros. Estos
informes contienen los objetivos estratégicos, productos e hitos programados y aquellos
ejecutados efectivamente, alertando sobre atrasos e incumplimientos. El sistema de Programación
Gubernamental es de origen privado y tienen acceso a él, a través de internet, exclusivamente los
funcionarios públicos.
La cuarta y última etapa corresponde a la evaluación final donde se asegura la ejecución de la
Agenda programática. Durante esta etapa el Departamento de Coordinación Interministerial del
Ministerio de la Secretaria General de la Presidencia lidera un proceso de ajustes de aquellas
actividades que hayan sido detectadas como problemáticas o atrasadas por el Sistema. Este
trabajo es realizado en mesas de trabajo intersectoriales en las cuales se busca abordar las causas
de atrasos e incumplimientos y discutir medidas de corrección.
7
Contreras, Víctor; “MINSEGPRES: Presentación realizada en Seminario Internacional Evaluación y Contraloría Social: un
imperativo democrático”, FLACSO-Relac-Chile, Santiago 18 de noviembre de 2009
10
En el siguiente cuadro se muestra de forma ilustrativa y simplificada el funcionamiento del Sistema
de Programación Gubernamental
Fuente: presentación realizada por Víctor Contreras, MINSEGPRES en Seminario Internacional Evaluación y Contraloría Social: un
imperativo democrático, FLACSO-Relac-ChileSantiago 18 de noviembre de 2009
1.2 El Sistema de Evaluación y Control de Gestión del Gobierno Central.
El Sistema de Control de Gestión, implementado por la Dirección de Presupuestos del
Ministerio de Hacienda ha contribuido significativamente a cumplir con el desafío de realizar y
mantener un gasto público de calidad en Chile. Este sistema permite contar con información de
desempeño de las instituciones públicas para apoyar la toma de decisiones durante las distintas
etapas del proceso presupuestario, incorporando el concepto de “presupuesto por resultados” Lo
anterior permite mejorar la eficiencia en la asignación y uso de los recursos públicos al conocer en
qué áreas se requiere realizar ajustes en pos del mejoramiento de la gestión pública y, por tanto,
llegar de mejor manera a los ciudadanos con las distintas políticas y programas. Este sistema
incorpora distintos instrumentos, que han sido desarrollados gradualmente, conformando el
Sistema de Evaluación y Control de Gestión del Gobierno Central8.
8
Los indicadores de desempeño se iniciaron en 1993, con un proyecto piloto que incorporó a cinco instituciones
públicas; la evaluación de programas públicos partió en 1997; el mecanismo de incentivos de remuneraciones
institucional, Programa de Mejoramiento de la Gestión (PMG), comenzó en 1998, mismo año en que se elaboraron por
primera vez los documentos de cuenta pública denominados Balance de Gestión Integral (BGI). A partir de 2000 estos
instrumentos, a los que se les agregan las definiciones estratégicas presentadas por cada institución en el Presupuesto,
junto a sus indicadores de desempeño y metas; la presentación de programas nuevos al Presupuesto en formato
estándar; el rediseño del PMG, incorporando el desarrollo de sistemas de gestión en 2001 y la certificación bajo norma
ISO de dichos sistemas en 2005; y la implementación de nuevas líneas de evaluación, como las evaluaciones de impacto
de programas en 2001 y la evaluación comprehensiva del gasto de instituciones en 2002.(Presupuestos por Resultados y
11
Durante la década de los noventa el Ministerio de Hacienda implementó en forma piloto
inicialmente y luego en forma extendida un plan para el mejoramiento de la gestión en servicios
públicos, en el marco de un proceso de modernización del Estado. La finalidad fue implementar
instrumentos y mecanismos de seguimiento que permitieran generar información de desempeño,
introducir nuevas prácticas para mejorar la calidad del gasto y avanzar en materia de
transparencia en la cuenta pública de los resultados. Se desarrolló un proceso de planificación
estratégica en los distintos servicios, planteando definiciones estratégicas que contribuyeron a
generar proyectos de modernización institucional e implementar sistemas de información para la
gestión, que permitieran la medición de indicadores de desempeño, enriqueciendo el análisis en la
formulación del Presupuesto y su discusión en el Congreso Nacional.
Durante la misma década se incrementó paulatinamente el número de servicios en el sistema
y adquirió mayor relevancia el papel del Congreso Nacional en la discusión del Proyecto de Ley de
Presupuestos, pues a través de la Comisión de Hacienda comenzó a solicitar al Ejecutivo
información acerca del desempeño de las instituciones públicas9. En 1997 el Ministerio de
Hacienda inició la elaboración de balances anuales de gestión, con el objeto de fortalecer la
rendición de cuentas de los servicios públicos, permitiendo que los jefes de servicio informen al
Congreso, y por tanto a la ciudadanía, del cumplimiento de sus compromisos y metas, así como
también los desafíos que se plantean en su gestión. En 1998 el Ministerio de Hacienda inició la
implementación de un mecanismo de incentivo institucional de remuneraciones, vinculando el
cumplimiento de objetivos de gestión a un bono de remuneraciones para todos los funcionarios
de una institución. El principal mecanismo de incentivo con que cuenta la administración pública
es el Programa de Mejoramiento de la Gestión (PMG)10. En un comienzo se establecieron objetivos
de gestión basados en indicadores y metas propuestos por cada servicio público, cuyo
cumplimiento fue evaluado por las mismas instituciones. Este mecanismo no funcionó
apropiadamente en tanto no cumplía con los principios básicos que debía poseer un mecanismo
de incentivo de remuneraciones institucional11 razón por la cual a partir de 2000 se rediseñó. El
la Consolidación del Sistema de Evaluación y Control de Gestión del Gobierno Central. División de Control de Gestión
DIPRES, 2010).
9
En 1996 se firmó el primer Protocolo de Acuerdo entre el Congreso y el Ejecutivo con motivo de la tramitación del
Proyecto de Ley de Presupuestos de 1997, que estableció una serie de compromisos tendientes a una mayor evaluación
y transparencia de la gestión pública Entre las iniciativas surgidas en este Protocolo destacan el compromiso de evaluar
programas gubernamentales del área social, de fomento productivo y de desarrollo institucional y la obligación de que
las instituciones públicas presenten anualmente balances financieros y de gestión (que más tarde se transformarían en
los Balances de Gestión Integral-BGI). Es así como en 1997 se inició al Programa de Evaluación de Programas
Gubernamentales (EPG), que en su fase piloto contempló la evaluación de 20 programas públicos. Desde ese año y hasta
la fecha los programas e instituciones evaluados anualmente se establecen en el Protocolo de Acuerdo
10
Artículo 6° de la Ley N° 19.553 de 1998 y su reglamento.
11
Ser pertinente a áreas relevantes de gestión, simple y comprensible, participativo, flexible a las particularidades de
cada institución, y con cumplimiento verificable.
12
nuevo sistema incorporó cambios en el diseño de algunos de los instrumentos existentes en esa
época, particularmente en el PMG y en el BGI, así como instaló adecuadamente las definiciones
estratégicas y los indicadores de desempeño como parte de la información que acompaña al envío
del proyecto de Ley de Presupuestos al Congreso.12 En el año 2000 se incorporaron nuevos
instrumentos como las definiciones estratégicas; el formato estándar de presentación al
Presupuesto de nuevos programas o ampliaciones y reformulaciones de programas existentes; y el
establecimiento de compromisos entre la Dirección de Presupuestos y el Ministerio responsable
del programa evaluado, que permitieran recoger las recomendaciones surgidas en el proceso de
evaluación de los programas. Estos compromisos consideran acciones específicas y con plazos
acotados, a los que la DIPRES (Dirección de Presupuestos) hace seguimiento a su cumplimiento,
solicitando información para evaluar dicho cumplimiento a través del BGI y de uno de los
formularios del proceso de formulación del Presupuesto. El rediseño del PMG permitió comenzar
la implementación en las instituciones públicas de sistemas de gestión, proporcionando
información que ha facilitado el Seguimiento y Evaluación de la gestión de éstas,
complementándose con el resto de los instrumentos del Sistema de Evaluación y Control de
Gestión. En particular, uno de los sistemas del PMG es el de Planificación y Control de Gestión,
cuya implementación ha permitido que las instituciones públicas diseñen sistemas de información
de gestión, cuantificando y realizando seguimiento a un conjunto de indicadores que les permite
conocer objetivamente el desempeño de sus productos estratégicos o bienes y servicios
proporcionados a sus beneficiarios, clientes o usuarios; y mejorar la información que apoya los
procesos de toma de decisiones de sus autoridades.13
La Dirección de Presupuestos ha ejecutado durante sus años de funcionamiento la evaluación
de programas e instituciones a través de las distintas líneas de evaluación, lo que ha permitido
generar información relevante para mejorar la gestión de los programas públicos y la asignación y
uso de recursos. Estas múltiples líneas de evaluación buscan entregar de forma gradual
información trascendente para mejorar la asignación y uso de recursos, contribuyendo así a
mejorar la calidad del gasto público. Los tipos de evaluación son:14
-Evaluaciones de Programas Gubernamentales (EPG) (implementado desde el año 1997): A
grandes rasgos se pretende identificar los objetivos de los programas y verificar la consistencia de
estos objetivos con su diseño y resultado. Este programa realiza evaluaciones de diseño y gestión
12
Arenas de Mesa, Alberto y Berner Herrera, Heidi; “Presupuestos por Resultados y la Consolidación del Sistema de
Evaluación y Control de Gestión del Gobierno Central. División de Control de Gestión”, DIPRES, 2010
13
Arenas de Mesa, Alberto y Berner Herrera, Heidi; La evolución histórica de los instrumentos que contemplan el
Sistema de Control de Gestión aquí presentada ha sido obtenida del libro “Presupuestos por Resultados y la
Consolidación del Sistema de Evaluación y Control de Gestión del Gobierno Central. División de Control de Gestión”,
DIPRES, 2010
14
Rogers F., Roy; “Sistema de Evaluación y Control de Gestión del Gobierno Central”, División Control de Gestión.
DIPRES, en Seminario Internacional Evaluación y Contraloría Social: un imperativo democrático, FLACSO-Relac-Chile
Santiago 18 de noviembre de 2009
13
de los programas, y de sus resultados a nivel de producto (cobertura, focalización, eficiencia,
eficacia, entre otros), utilizando la metodología de marco lógico. Inicialmente se realizaban
exclusivamente evaluación basadas en fuentes secundarias, agregando luego Evaluaciones de
Impacto y en profundidad. La evaluación de programas es realizada por un panel de evaluadores
externos. Los resultados de las evaluaciones realizadas en el marco de este programa están
completamente conectados al ciclo presupuestario. El año 2003 se promulgaron una serie de leyes
que contribuyeron a la consolidación y fortalecimiento del Programa.15
Evaluaciones de Impacto (EI) (implementadas desde el año 2001): Además de lo anterior, permiten
evaluar resultados intermedios y finales en los beneficiarios, utilizando metodologías cuasiexperimentales, construyendo grupos de control y líneas de base. Estas evaluaciones son
realizadas por una entidad evaluadora externa especializada, y tienen una duración aproximada de
18 meses.
-Evaluaciones Comprehensivas del Gasto (ECG) (implementadas desde el año 2002): Evalúa una o
más instituciones, abarcando aspectos de su diseño institucional, consistencia con las definiciones
estratégicas, aspectos de gestión organizacional y resultados. Estas evaluaciones son realizadas
por una entidad evaluadora externa, y tiene una duración aproximada de 14 meses.
-Evaluación de Programas Nuevos (EPN) (implementados desde el año 2009): Esta línea de
evaluación incorpora la evaluación desde el diseño o planificación de un nuevo programa público,
generando líneas base y utilizando preferentemente diseños experimentales. Este tipo de
evaluaciones son realizadas con apoyo de un panel Internacional asesor, que otorga asesoría
técnica especializada y tiene una duración aproximada de 24 a 36 meses.
Dentro de los instrumentos que constituyen el Sistema de Control de Gestión y Presupuestos de la
DIPRES se encuentra el Programa de Evaluación (PE)16. El PE se constituye de cinco actores
relevantes que están llamados a cumplir el objetivo primordial de este programa que es “la
eficiencia en la asignación de recursos, el mejoramiento de las políticas y de la gestión de los
15
La ley 19.875 hace permanente a la Comisión Mixta de Presupuestos. Desde el año 2003, el Comité del Presupuestos
ha sido institucionalizado como uno de los comités permanentes del Congreso y por consiguiente opera durante todo el
año. Asimismo, desde las primeras iniciativas de evaluación, con motivo de la aprobación de la Ley Anual de
Presupuestos se firma un acuerdo entre el Congreso Nacional y el Ministerio de Hacienda. Este acuerdo fue
institucionalizado a partir del 2004, con la Ley 19.896 que enmienda un Decreto anterior de la Gestión Financiera (1.263)
estableciendo la obligación del Ministerio de Hacienda de evaluar los programas incluidos en el presupuesto de los
Servicios Públicos. La institucionalización de todo el Programa de Evaluación fue también reforzada con la promulgación
del Decreto 1.177 de diciembre del 2003 que contiene el Reglamento del Programa de Evaluación. (Documento del
Banco Mundial: Chile, Estudio de Evaluación de Impacto del Programa de Evaluación de Programas: Evaluaciones de
Impacto y Evaluaciones de los Programas de Gobierno. Diciembre 2005.)
16
Los otros instrumentos son Las Definiciones Estratégicas, El Programa de Mejoramiento de la Gestión, Los Indicadores
de Desempeño y El Balance de Gestión Integral
14
programas y la rendición de cuenta pública”17. Estos actores son el Comité Interministerial,
preocupado de asegurar la continuidad de las evaluaciones gubernamentales, la DIPRES, llamada a
ejecutar todas las líneas de evaluación y visibilizar en el PE la realidad sectorial de todas las
instituciones, por otro lado se encuentran los Evaluadores, consultores o entidades especializados,
cuyo rol técnico y experto les permite realizar las evaluaciones (ejecución monitoreada por la
DIPRES), el cuarto actor son las Contrapartes Institucionales, quienes aportan los insumos
necesarios para llevar a cabo las evaluaciones en su diseño y resultados, y por ultimo los
Congresistas y sus equipos técnicos, quienes orientan a los encargados gubernamentales sobre
cuales programas podrían ser llamados a evaluación, además de ser los receptores de los
resultados, como parte de su información al momento de discutir decisiones programáticas y
presupuestarias.
De acuerdo al balance cualitativo del PE, realizado por el Banco Mundial el año 200518, es posible
apreciar el cumplimiento de todos los objetivos para los cuales éste se genera19. Por un lado,
engrosa las bases de información de las decisiones presupuestarias, pues estos son tomados en
cuenta durante todo el proceso de preparación de un programa o política pública. Además el PE
mejora la gestión de los programas toda vez que los Compromisos Institucionales así lo
establezcan, junto con visibilizar los resultados de los procesos de forma digital, facilitando el
acceso a ellos de la ciudadanía en general20.
La disciplina, centralización y estrictos términos de referencia con que el PE funciona entrega un
campo acotado de enfoque a los evaluadores, esta rigidez asegurara un nivel de calidad, cantidad,
costos y tiempos para el efectivo desempeño de las evaluaciones. Además, asegura una calidad
estandarizada de las evaluaciones, los evaluadores y sus resultados lo que se grafica en la calidad
del diseño de evaluación, la información a la que se tiene acceso en la Evaluación de Impacto, la
dedicación de los evaluadores y la aplicación de técnicas, metodologías y métodos específicos de
Seguimiento y Evaluación.
17
Guzmán, Marcela; “Sistema de Control de Gestión y Presupuestos por Resultados. La Experiencia Chilena”. DIPRES.
Santiago, Chile. 2005.
18
“Chile: Estudio de Evaluación de Impacto del Programa de Evaluación de Programas – Evaluaciones de Impacto y
Evaluaciones de los Programas del Gobierno”, Banco Mundial, Santiago, Chile. 2005
19
“ Balance cualitativo de los objetivos del PE. El PE cumple con cada uno de los objetivos para los cuales fue creado. En
primer lugar, enriquece la información para las decisiones presupuestarias. Si bien los resultados de la evaluación no se
traducen necesariamente en una variación en los recursos destinados por el presupuesto al programa evaluado, ni
orientan forzosamente el presupuesto hacia un aumento o una reducción de las asignaciones al programa con un
desempeño positivo o negativo, lo que está claro es que los reportes de evaluación y los Compromisos Institucionales son
tenidos en cuenta en todas las etapas del proceso de preparación y asignación presupuestaria, tanto dentro del Ejecutivo
como en los análisis del Congreso y en las discusiones entre el Ejecutivo y el Legislativo.” Ibidem, p. 10
20
Es posible revisar las evaluaciones anuales de DIPRES en http://www.dipres.cl/572/propertyvalue-2131.html
15
A modo de resumen a continuación se muestra un grafico explicativo del sistema integrado de
Evaluación de DIPRES de su periodo 2006 a 2009:
1.3 Iniciativas de Evaluación del Ministerio de Planificación y Cooperación
Por otro lado el Ministerio de Planificación y Cooperación, MIDEPLAN, ejecuta el Sistema Nacional
de Inversiones, SNI, entidad que norma y rige el proceso de inversión pública de Chile. El Sistema
Nacional de Inversiones contiene “los principios, metodologías, normas, instrucciones y
procedimientos que orientan la formulación, ejecución y evaluación de los estudios básicos, los
programas y proyectos de inversión que postulan a fondos públicos, con el objeto de impulsar
aquellos más rentables para la sociedad y que respondan a las estrategias y políticas de
crecimiento y desarrollo económico y social de la nación.”21
21
Fuente: http://www.mideplan.cl/index.php?option=com_content&view=article&id=14&Itemid=18,
10/06/10.
16
accedido el
Los objetivos22 del Sistema Nacional de Inversiones son:
•
•
•
•
Apoyar la toma de decisiones sobre inversión pública.
Velar por una eficiente asignación de recursos públicos.
Contribuir a aumentar el bienestar general de la comunidad.
Transparentar el proceso de inversión pública.
Una de las preocupaciones del Sistema Nacional de Inversiones es la evaluación previa de los
programas sociales para el desarrollo de una acción evaluativa integrada, completa y coherente.
MIDEPLAN, en el marco del SNI evalúa las propuestas de Inversión ex ante. De esta manera el
Sistema Nacional de Inversiones incorpora la realización de evaluaciones ex ante además de las
evaluaciones ex post, siendo MIDEPLAN un asesor al cual “le corresponde la coordinación y
compatibilización de las decisiones de inversión, entre los niveles de gobierno y administración.
Debe realizar la revisión técnica de los estudios y proyectos de los organismos públicos que
postulan a financiamiento público, y emitir la correspondiente recomendación técnicoeconómica23.”
En el área de competencia de MIDEPLAN, el SNI, contempla como funciones principales las
siguientes: la revisión de las iniciativas de inversión postuladas por las instituciones a
financiamiento con recursos públicos, la preparación y actualización de metodologías específicas
de evaluación de proyectos, el cálculo de los precios sociales que se imputarán a los proyectos, y
un sistema de actualización permanente del inventario de proyectos. Para ello, ordena y
reglamenta el proceso de preparación, formulación y evaluación económica social de iniciativas de
inversión, orientando eficientemente la asignación de los recursos que el país destina a inversión
El SNI implementa la evaluación ex ante como una forma de mejorar la inversión pública en
programas y políticas sociales. Por otro lado MIDEPLAN realiza evaluaciones ex post de las
Inversiones con el objetivo de determinar la eficiencia y eficacia del uso de los recursos públicos y
verificar si las iniciativas de inversión una vez ejecutadas, cumplen con los objetivos y
rentabilidades sociales estimadas en la evaluación ex ante. La implementación de estas
evaluaciones contribuye a la generación de información relevante sobre el ciclo del proyecto
contribuyendo a la retroalimentación del Sistema Nacional de Inversiones, implementar acciones
para el mejoramiento del sistema y mejorar la metodologías y criterios utilizados en las
evaluaciones ex ante. MIDEPLAN realiza evaluaciones ex post simples y en profundidad.
22
Ibid.
23
Del texto “Inversión Pública, Eficiencia y Eficacia. División de Planificación, Estudios e Inversión”, MIDEPLAN, Santiago,
1992, obtenido en “Metodología de evaluación ex ante de Programas Sociales”, MIDEPLAN, División Social,
Departamento Social, Santiago, 2000.
17
El Ministerio de Planificación y Cooperación, en su área social, lidera la articulación de un Sistema
de Protección Social basado en el programa Chile Solidario, que focaliza la protección social en las
familias de menores recursos. Este programa se apoya en un sistema de monitoreo y evaluación
cuyos objetivos son: Identificar a la población más vulnerable y apoyar la entrega de beneficios
estatales a este grupo. Este sistema de Monitoreo está compuesto por la Encuesta de
Caracterización Socioeconómica Nacional24 (CASEN) y un sistema integrado de instrumentos de
producción de información social orientados, como se ha dicho a identificar la población de
menores recursos y apoyar la entrega de los beneficios25.
El Ministerio de Planificación y Cooperación, a través de la aplicación de la encuesta CASEN
elabora diagnósticos de la realidad socioeconómica del país y evalúa los programas sociales, así
como sus resultados cumpliendo con las funciones de diseño, coordinación y evaluación de la
política social. Esta encuesta constituye además la principal herramienta para la evaluación del
impacto de la política social en los ingresos de los hogares considerando la ejecución de
programas sociales que representan un alto componente del gasto social.26
2. Sistemas de Seguimiento y Evaluación y los Presupuestos por Resultados
Los datos generados por los sistemas de Seguimiento y Evaluación mencionados están
directamente relacionados con la formulación presupuestara en Chile, la ejecución de
presupuestos por resultados ha tenido avances significativos en dos áreas27: primero los datos
producidos por el Sistema de Programación Gubernamental y por el Sistema de Control de Gestión
son utilizados como input en las partidas de proyecto de presupuesto y son consideradas en las
24
Los objetivos de la aplicación de la encuesta CASEN son:
“- Conocer periódicamente la situación de los hogares y de la población, especialmente de aquella en situación de
pobreza y de aquellos grupos definidos como prioritarios por la política social, con relación a aspectos demográficos, de
educación, salud, vivienda, ocupación e ingresos.
-Evaluar la cobertura y la distribución del gasto fiscal de los principales programas sociales de alcance nacional entre los
hogares según su nivel de ingreso, así como el impacto de este gasto en el ingreso de los hogares y en la distribución del
mismo.
- Medir la magnitud e incidencia de la pobreza en los hogares y en la población, permitiendo además la caracterización
de los hogares y población en situación de pobreza utilizando otras dimensiones incluidas en la encuesta en sus distintos
módulos.
- Evaluar los programas sociales en curso, determinar las líneas de acción a seguir y las correcciones y ajustes a
implementar para lograr que el gasto social llegue a los segmentos poblacionales identificados como focos prioritarios de
las políticas sociales y de cada uno de los programas.”
Fuente: http://www.mideplan.cl/casen/descripcion_obj.html, accedido el 10/06/10
25
Ríos, Salvador “Fortalecimiento de los Sistemas de Monitoreo y Evaluación en América Latina, Diagnostico de los
Sistemas de monitoreo y Evaluación en Chile”, CLAD-BID 2007
26
http://www.mideplan.cl/casen/descripcion_obj.html accedido el 10/06/10
27
Ríos, Salvador; “Fortalecimiento de los Sistemas de Monitoreo y Evaluación en América Latina, Diagnostico de los
Sistemas de monitoreo y Evaluación en Chile”, CLAD-BID 2007.
18
diferentes etapas del proceso presupuestario28. Y segundo, el proceso presupuestario considera
una expresión cuantitativa del beneficio social de los programas a financiar, simultáneamente con
la incidencia de estos en el presupuesto.
El producto generado por el trabajo conjunto de estos sistemas de Seguimiento y Evaluación
es el Proyecto de Ley de Presupuesto que se envía a la Comisión Especial Mixta de Presupuesto del
Congreso Nacional. Este proyecto ley contiene los Indicadores de Desempeño comprometidos por
los servicios, los Compromisos Ministeriales, los Compromisos de Gestión, además del Balance de
Gestión Integral de todos los organismos, el cual contiene los resultados del año anterior. En base
a estos antecedentes se decide sobre el presupuesto en el Congreso Nacional, asociando la
disponibilidad de recursos a las metas comprometidas y a los resultados evidenciados.
28
Indicadores de desempeño, evaluación de los programas y los reportes de ejecución de los programas son revisados
en la etapa de evaluación presupuestaria del ejercicio fiscal anterior.
Luego se da la discusión de los proyectos presupuestarios en Comisiones Mixtas, formadas por DIPRES y los organismos
sectoriales, comprometiendo metas a través de indicadores, compromisos de mejoramiento y compromisos PMG, estas
metas constituyen parte integral de los recaudos de presupuestos y una vez aprobado el proyecto de ley de
presupuesto, estas metas son ingresadas a ambos sistemas (SPG-MINSEGPRES y SCG DIPRES) para su seguimiento.
La Comisión Especial Mixta de Presupuesto del Congreso Nacional recibe los Proyectos de ley de Presupuesto y los
reportes de Balance de Gestión integral de todos los Servicios.
19
CAPITULO 2 : METODOLOGÍA DEL ESTUDIO
2.1 Equipo
Para la realización del presente estudio, se conformó un equipo de 2 sociólogas, Andrea
Peroni y Claudia Olavarría y Felipe Hernández, quien está realizando su trabajo de titulación en
Seguimiento y Evaluación de políticas, planes y programas en Chile Para el adecuado desarrollo
del estudio se contó con el auspicio del departamento de Sociología, de la Facultad de Ciencias
Sociales, de la Universidad de Chile, institución donde funciona el Núcleo de Evaluación de
Políticas Públicas y donde se aloja la ReLAC -Chile.
2.2 Coordinación de Tareas
Este equipo ha sido el encargado de realizar la búsqueda y revisión bibliográfica, además
de seleccionar, contactar y entrevistar a los informantes clave, transcribir y analizar las
entrevistas y elaborar el informe final29. En el desarrollo del estudio el equipo de trabajo ha
contado con el apoyo constante de los profesionales de la RELAC Chile, en el contacto de
informantes clave y la realización de entrevistas principalmente.
El trabajo ha sido coordinado mediante reuniones y contacto constante vía coreo electrónico, lo
que ha permitido la realización de un trabajo expedito y con mucha retroalimentación, cuestión
que ha sido fundamental para alcanzar los objetivos, dado la premura de los plazos.
2.3 Plazos
El presente estudio ha sido elaborado en un periodo de 30 días, de los cuales durante la
primera mitad se realizó la investigación bibliográfica y se coordinaron y realizaron las entrevistas,
y durante la segunda mitad se ha realizado el análisis y redacción de los informes.
A continuación se presentan los principales aspectos metodológicos del estudio.
29
Las tareas fueron divididas de la siguiente manera:
Dirección: Andrea Peroni
Coordinación: Claudia Olavarría
Búsqueda y revisión bibliográfica: Andrea Peroni y Felipe Hernández
Contacto y coordinación de entrevistas: Claudia Olavarría
Realización de entrevistas: Andrea Peroni, Claudia Olavarría, Felipe de la Vega y Carolina Guerra
Transcripción de las entrevistas: Felipe Hernández
Análisis de las entrevistas: Claudia Olavarría y Felipe Hernández
Elaboración de informe final: Claudia Olavarría y Andrea Peroni.
20
2.4 Muestra
Se seleccionó una muestra según los criterios solicitados en los términos de referencia de
estudio (ver anexo). Los informantes clave son expertos en Seguimiento y Evaluación de
Instituciones gubernamentales, organismos internacionales, consultoras privadas y universidades.
2.5 Contacto a entrevistados
Para realizar el acercamiento se envió una carta de solicitud de participación en el estudio a
cada contacto en cada institución seleccionada de la muestra. Los mismos o bien accedieron a ser
entrevistados o bien recomendaron a otra persona de esta institución, según su nivel de
conocimiento de la demanda de Seguimiento y Evaluación en Chile.
2.6 Instrumento
Se realizó una entrevista semi estructurada, según el instrumento contenido en el anexo 1, en los
lugares de trabajo de cada contacto. Para cada entrevista se registró una grabación del audio la
que fue fielmente transcrita y que son incorporadas en el anexo número 3 del presente trabajo.
21
CAPÍTULO 3: ANÁLISIS DE LAS ENTREVISTAS
3.1 Perfil de los entrevistados.
Los entrevistados que conformaron la muestra fueron en su mayoría personas de entre 35 y
60 años. El 60% de la muestra fueron mujeres y 40 % hombres, de los cuales la gran mayoría posee
amplia experiencia en distintos ámbitos de la Evaluación y Seguimiento en las instituciones en las
cuales se desempeñan. Las excepciones son funcionarios de los Ministerios Secretaría General de
la Presidencia y del Ministerio de Educación que, dada la coyuntura de cambio de Gobierno en
Chile, han asumido sus cargos recientemente, arribando desde otras instituciones. Las profesiones
de origen de los entrevistados son en su mayoría economista (4 entrevistados) e ingenieros (2
entrevistados) habiendo además, dos sociólogas, una administradora pública y una arquitecta. El
50 % de los entrevistados ha alcanzado el grado académico de Master, 30 % la licenciatura y 20%
Phd. El 80 % de los entrevistados que componen la muestra desempeña cargos directivos o de
jefatura en las instituciones donde trabajan.
Profesión de los Entrevistados
0
10%
Sociologos
20%
10%
Economistas
Ingenieros
20%
Administrador público
40%
-
Arquitecto
En las instituciones Gubernamentales se entrevistó a cuatro mujeres y un hombre de los
cuales 3 tenían grado académico de Master y dos grado de licenciadas. Excepto un caso
el 80% de los entrevistados han sido nombrados en sus cargos en los últimos meses
debido a la instalación de nuevas autoridades luego del cambio de gobierno y a las
reestructuraciones en los equipos de trabajo. Sin embargo los entrevistados de DIPRES y
Ministerios de Salud (MINSAL) eran funcionarias que se desempeñaba en el mismo
22
-
-
-
Departamento del Ministerio con anterioridad, y el entrevistado de Ministerio Secretaria
General de la Presidencia (MINSEGPRES) se desempeñaba con anterioridad en el
Ministerio de Economía.
En los Organismos Internacionales, Programa de Naciones Unidas para el Desarrollo
(PNUD) e Instituto Latinoamericano y del Caribe de Planificación Económica y Social
(ILPES) ambos entrevistados fueron hombres, de más de 45 años y con más de 20 años de
experiencia en el campo del Seguimiento y Evaluación. Estos expertos habían alcanzado
grado académico de doctor (PNUD) y Master (ILPES). Ambos entrevistados tiene amplia
experiencia en la prestación de asistencia técnica y capacitación a los gobiernos de
América Latina y el Caribe, conociendo muy cercanamente la realidad de los sistemas de
SyE en la región.
En las Empresas Consultoras los entrevistados fueron un hombre y una mujer ambos
directores y fundadores de las Empresas en que se desempeñan, con altos niveles
educativos y experiencias en temas de evaluación y seguimiento desde el comienzo de la
implementación de los actuales sistemas de SyE en Chile, es decir más de una década.
Por otro lado en el Ámbito académico se entrevistó a la académica Heidi Berner, quien a
pesar de llevar poco tiempo en su cargo en la Universidad, tiene amplia experiencia y
conocimiento sobre la Demanda de Servicios de Seguimiento y Evaluación en el Estado ya
que se desempeño durante 8 años como jefa del Departamento de Control de gestión de
la DIPRES, en el Ministerio de Hacienda.
3.2 Perfil de las Instituciones
La muestra se compuso de informantes claves provenientes de 10 instituciones públicas y
privadas, distribuyéndose de la siguiente manera:
-
-
-
El 50% de las instituciones fueron estatales: Dirección de Presupuestos del Ministerio
de Hacienda (DIPRES) , Ministerio Secretaría General de la Presidencia (MINSEGPRES),
Ministerio de Salud (MINSAL), Ministerio de Educación (MINEDUC) y Ministerio de
Vivienda y Urbanismo (MINVU).
20 % de Organismos Internacionales: Programa de Naciones Unidas para el Desarrollo
(UNDP) e Instituto Latinoamericano y del Caribe de Planificación Económica y Social
(ILPES)
20% de empresas consultoras: Asesorías para el Desarrollo y EMG consultores, ambas
con amplia trayectoria en prestación de Servicios de Seguimiento y Evaluación.
10% Universidades: Facultad de Economía y Negocios, Universidad de Chile.
23
Porcentaje de Entrevistados según
tipo de Instituciones en las que se
desempeñan
Estado Central
10%
20%
Organismos
Internacionales
20%
Empresas consultoras
30%
20%
Universidades
A continuación se presenta un cuadro esquemático sobre la demanda de servicios de SyE en las
distintas instituciones.
Caracterización de las Instituciones estudiadas y su relación con el SyE.
Institución
Vinculación con SyE
Demanda de SyE
DIPRES
La Dirección de Presupuesto del Ministerio de
Hacienda es quien administra el Sistema de
Control de Gestión (SCG) del Gobierno Central,
Este sistema es el encargado del SyE del
desempeño de las instituciones y de los
programas, con miras a tener un gasto público
de calidad. Es la base del desarrollo de
presupuestos por resultados en Chile.
Los resultados del SyE del SCG son un insumo
para la ley de presupuesto de la nación y son
enviados al Congreso Nacional para su revisión.
-Demanda sistemática de realización de
evaluaciones
institucionales y de
programas.
Coordina
demanda
de
evaluación
para
Instituciones
gubernamentales del SCG.
- Presta asistencia Técnica en temas de SyE
a las instituciones del Estado.
- Capacita a funcionarios de otras
instituciones públicas en herramientas del
SCG.
MINSEGPRES
El Ministerio Secretaría
General de la
Presidencia
administra
el
Sistema
de
Programación Gubernamental (SPG) encargado
del SyE de los compromisos Ministeriales,
asumidos por el programa de Gobierno.
-A juicio del entrevistado. No existe una
demanda ni oferta de Servicios de SyE en la
actualidad pero si existiría a futuro, en el
marco de un proyecto de Agencia de
Calidad de las Políticas Públicas.
24
MINEDUC
-El Ministerio de Educación realiza evaluaciones
de sus metas institucionales, de sus programas y
de sus Compromisos Ministeriales en el marco
del SPG y el SCG. Por otro lado en el Ministerio
demanda asistencia técnica para evaluación de
sus programas, que se realiza ocasionalmente.
- Demanda Asistencia Técnica y personal
experto
periódicamente
para
el
Seguimiento y Evaluación de algunos
programas (demanda complementaria a
evaluaciones coordinadas por DIPRES)
MINSAL
El Ministerio de Salud realiza seguimiento
evaluaciones de sus metas institucionales, de
sus programas y de sus compromisos
Ministeriales en el marco del SPG y el SCG. Por
otro lado el MINSAL realiza evaluaciones de sus
programas esporádicamente
MINVU
El Ministerio de Vivienda y Urbanismo realiza
seguimiento y evaluaciones de sus metas
institucionales, de sus programas y de sus
compromisos Ministeriales en el marco del SPG y
el SCG. Por otro lado el MINVU realiza
evaluaciones, seguimiento , encuestas de
satisfacción de usuarios, y sistematización de
experiencias de sus programas esporádicamente
-Demanda ocasional de evaluación de
programas (complementaria a evaluaciones
coordinadas por DIPRES)
- Existe una demanda interna por asistencia
técnica hacia el Departamento de Control
de Gestión desde otros departamentos del
Ministerio y desde otros Servicio del
Ministerio.
Demanda sistemática de realización de
evaluaciones, estudios de satisfacción,
sistematización de experiencias, etc.
-Requiere asistencia técnica internacional
para SyE de programas, en el marco de
convenios de cooperación internacionales.
ILPES- CEPAL
El Instituto Latinoamericano y del Caribe de
Planificación Económica y Social de la Comisión
Económica para América Latina es un Organismo
Internacional, de la Organización de Naciones
Unidas que provee de asistencia técnica y
capacitación a los gobiernos de los países de
América Latina y El Caribe.
-Ocasionalmente
requiere
servicios
profesionales de consultoría ( a través de
contrato directo)
PNUD
El Programa de Naciones Unidas para el
Desarrollo es un Organismo Internacional, de la
Organización de Naciones Unidas que provee de
asistencia técnica a los gobiernos de los países
de América Latina y El Caribe.
-Ocasionalmente
requiere
servicios
profesionales de consultoría (a través de
contrato directo).
Asesorías para
el Desarrollo
Empresa Consultora prestadora de servicios en
Seguimiento y Evaluación
Ocasionalmente demanda apoyo en áreas
de la Evaluación que ellos no coordinan
(Bases de Datos, Encuestas, Apoyo
Logístico)
EMG
Consultores
Es una empresa consultora que provee servicios
de Seguimiento y Evaluación a instituciones
gubernamentales principalmente.
Ocasionalmente demanda personal experto
de otras disciplinas especializadas, según
requerimientos de los proyectos a los que
25
Universidad
de Chile
Universidad prestadora de Servicios
de
capacitación y asistencia técnica en Seguimiento
y Evaluación.
postulan.
Ocasionalmente
demanda
apoyo
profesional para gestión de Bases de Datos,
Encuestas, Apoyo Logístico
3.3 Caracterización de la Demanda de Servicios de Seguimiento y Evaluación
del Estado Chileno
Frecuencia de La Demanda
La demanda de Servicios de Seguimiento y Evaluación desde el Estado en Chile contempla la
contratación de personas y empresas para: provisión de personal experto, asesoría técnica y
capacitación, entre otros.
A continuación se da cuenta de la frecuencia con que se demandan los servicios de SyE en las
instituciones que componen la muestra, en la percepción de los funcionarios entrevistados:
-
La Dirección de Presupuestos del Ministerio de Hacienda (DIPRES) demanda asistencia
técnica ocasionalmente, la que es requerida al Banco Mundial y al Banco Interamericano
de Desarrollo principalmente, en el marco de acuerdos de cooperación para el desarrollo y
mejoramiento de distintos programas y proyectos.
La demanda de capacitación de la DIPRES para los funcionarios de su equipo es ocasional,
debido a que esta demanda es por capacitaciones como diplomados u otros cursos
relativamente extensos y que por lo tanto se realizan esporádicamente, dependiendo de
las necesidades de perfeccionamiento. Por otro lado, las capacitaciones cortas que se han
realizado para el perfeccionamiento en determinadas técnicas no se han implementado de
manera sistemática sino ocasionalmente Asimismo, se plantea que existen ciertas
restricciones presupuestarias para la realización de diplomados o magíster, lo que
respalda el carácter ocasional de esta demanda.
La contratación de personal experto para evaluación de programas es sistemática, se
realiza una vez al año por concurso público, donde se evalúan entre 30 y 35 programas
públicos, definidos previamente en acuerdo con el Congreso Nacional.
La DIPRES contrata ocasionalmente otro tipo de servicios, como el desarrollo de Sistemas
informáticos que constituyan la plataforma para la administración de la información que
se genera en distintos programas y asesorías, para el mejor desarrollo de su labor. Luego
de la asesoría inicial estos sistemas pueden ser administrados por el Departamento de
Informática de la DIPRES.
26
-
En los Ministerios sectoriales el discurso de las entrevistadas relata que existe una
demanda que varía entre semestral y ocasional, por asistencia técnica y de profesionales
expertos para la realización de estudios que permitan sistematizar experiencias, evaluar
impacto de programas, evaluar satisfacción de los usuarios, entre otros. Estos estudios
demandados directamente por las instituciones en el marco de la ejecución de
determinados programas, son complementarios a las actividades de SyE implementadas
en el marco del Sistema de Control de Gestión. Existen convenios internacionales para el
desarrollo de determinados programas, los que contemplan asistencia técnica en temas
como SyE, ejemplo de esto es el Programa de Recuperación de Barrios del MINVU (con el
apoyo GTZ de Alemania).
Por otro lado, existe en los Ministerios una demanda por capacitación en temas de
Seguimiento y Evaluación que varía desde una frecuencia trimestral en el Ministerio de
Salud, MINSAL hacia una frecuencia anual en el MINVU. Esta demanda por capacitación
en temas de SyE, entre otros está estrechamente ligada en muchas ocasiones al
cumplimiento de metas de desempeño institucional. En el discurso de las entrevistadas
sobre la demanda de SyE surge además una demanda por diseño de sistemas informáticos
para el almacenamiento y gestión de datos que acopian los Ministerios.
Es recurrente en el discurso sobre la frecuencia de la demanda, la existencia de una
demanda interna en los Ministerios hacia los departamentos de Control de Gestión (o
similares), por asistencia técnica y personal experto que apoye la planificación,
Seguimiento y Evaluación de las metas, cuya frecuencia fluctúa entre mensual y
trimestralmente, dado que es un apoyo continuo. Lo anterior evidencia la existencia de
capacidades instaladas dentro de los Ministerios en determinadas metodologías
y
técnicas de planificación y de SyE, como la metodología de Marco Lógico.
-
Para el caso de los Organismos internacionales (PNUD e ILPES-CEPAL) se plantea que
estos mayoritariamente entregan servicios de asistencia técnica y capacitación a los
gobiernos, a través de acuerdos de cooperación. Sin embargo, de igual forma existe una
demanda ocasional de estos organismos públicos por: asistencia técnica, personal experto,
capacitación, y producción de datos para investigaciones en temas de Seguimiento y
Evaluación.
-
Las Empresas consultoras entregan servicios de Seguimiento y Evaluación a las
instituciones del sector público, sistemáticamente e incipientemente a empresas privadas.
Esta prestación de servicios se realiza en distintas áreas, de manera transversal a los
distintos Ministerios y consiste principalmente en la realización de evaluaciones en el
marco de los requerimientos del Sistema de Control de Gestión y del Sistema Nacional de
Inversiones. Las empresas postulan mediante las distintas licitaciones públicas difundidas
periódicamente en el sistema Chile Compra.
Consultadas ante la demanda de las empresas consultoras por estos servicios plantean
que ocasionalmente se requiere la contratación de expertos provenientes de otras
27
disciplinas o de servicios de capacitación, dependiendo de los requerimientos de los
proyectos en los que estén trabajando, pero que ésta demanda es esporádica. Además se
plantea que un servicio que se demanda habitualmente, dependiendo de los
requerimientos de los proyectos es la producción de datos, como la realización de
encuestas y grupos focales, entre otros.
Forma de Contratación:
Desde fines de los años 90, la demanda por servicios de Evaluación y Seguimiento del Estado
chileno, en cuanto a realización de evaluaciones propiamente tal, se ejecuta a través de la
contratación de terceros, ya sea personas naturales o jurídicas (de acuerdo a la normativa del
programa estatal). Esta externalización de la evaluación obedece a la voluntad de “garantizar la
independencia de los juicios evaluativos que se emiten (…) se debe asegurar y garantizar que esta
evaluación sea lo más objetiva posible y para eso la decisión fue hacer evaluaciones que sean
siempre con externos”30
Ésta contratación se realiza en todas las instituciones gubernamentales a través de Licitaciones
públicas en el caso de personas jurídicas y de concursos públicos en el caso de personas naturales.
La convocatoria para la provisión de servicios de SyE, que demanda el Estado chileno se realizan
mediante procedimientos estándar a través del Portal Chile Compra y de los canales
institucionales para llamado a concursos públicos, resguardando la transparencia de la selección y
la contratación.
Las empresas consultoras realizan las contrataciones de asistencia técnica, personal experto y
capacitación que se requieran mediante contrato directo.
Los Organismos Internacionales contratan los servicios mediante la metodología estipulada por la
Organización de Naciones Unidas.
Facilidad/ dificultad para contratación de servicios de Seguimiento y Evaluación.
Es consenso entre los entrevistados que existen suficientes profesionales capacitados para
proveer los servicios de Seguimiento y Evaluación demandados por el Estado en Chile. Se plantea
que ha surgido un “mercado de evaluadores” durante la última década en respuesta a una
demanda gubernamental por servicios de Seguimiento y Evaluación, el cual se ha ido
desarrollando a la par con los requerimientos que surgen desde el Estado, en un proceso de
aprendizaje conjunto sobre las prácticas, metodologías, experiencias, etc.
30
Entrevista a María Teresa Hamuy, DIPRES
28
No obstante, se plantea en el discurso de quienes prestan servicios de SyE como empresas
externas que existe un ambiente de competencia entre las distintas organizaciones que laboran
en éste mercado (Universidades, empresas, ONG, etc.) nocivo para el desarrollo de la disciplina ya
que dificulta el trabajo conjunto, la cooperación y el aprendizaje, entre los distintos proveedores
de servicios. Este ambiente dificulta la contratación de personal experto y de asistencia técnica ya
que muchos de los profesionales expertos trabajan en empresas u organizaciones que compiten
entre sí. “Creo que estamos capturados, yo trabajo aquí, y no prestaría servicios a nadie a menos
que contraten a la empresa o a mi, y lo mismo ocurre con todos, entonces no existe una
universidad que te preste servicios de asesoría técnica, no existe eso, porque ellos también
compiten, son consultores también, (…), hay algunos que son sin fines de lucro, pero tienen una
cosa parecida, que emula a las prácticas del lucro, entonces no es fácil(..) y todos son
competidores31 ”
Se debe señalar que al ser Chile un país pequeño, el mercado de evaluadores es acotado y
existe una cantidad limitada de instituciones que postulan recurrentemente a las licitaciones
públicas para provisión de servicios de SyE. Se plantea que la demanda por servicios de
Seguimiento y Evaluación ha crecido más rápidamente que la oferta de profesionales con las
competencias requeridas, existiendo determinados periodos donde el personal capacitado para
los nuevos requerimientos más complejos parece insuficiente, dada la gran demanda y el tiempo
que toma la formación de capacidades técnicas en los profesionales. Sin embargo, es consenso en
el discurso de los entrevistados que existe en Chile una amplia experiencia acumulada, en los
distintos actores involucrados, en cuanto a las prácticas e instrumentos de SyE dado lo sistemático
de la demanda y el tiempo que ésta lleva implementándose. Lo anterior se condice con la opinión
general de los entrevistados frente a la contratación de personal experto, asistencia técnica y
servicios de capacitación, que suele realizarse fácilmente en Chile. No obstante, el consenso
general, existen 2 salvedades recurrentes
-
Ha surgido recurrentemente en el discurso de los funcionarios de organismos
internacionales, académicos y encargados de la gestión del Sistema de Control de Gestión
de DIPRES, la implementación de evaluaciones de impacto y la mayor dificultad que estás
implican para conseguir personal con las competencias requeridas, dada la mayor
complejidad de este tipo de valoraciones. El “punto es que quizás la demanda ha ido
creciendo más rápido que la oferta de buenos evaluadores, sobre todo si el tema es
evaluación de impacto no son tantas las Universidades en Chile que les enseñan a sus
alumnos a hacer una buena evaluación de impacto, en general está concentrado en las
Facultades de Economía(…) entonces al final del día es bien restringido el mercado de
personas que son capaces de hacer buenas evaluaciones de impacto, yo te diría que en las
otras cosas no, en las otras líneas de evaluación o seguimiento hay mucha más oferta.”32
Asimismo la formación provista desde la economía enfatiza en la rigurosidad de los
31
Víctor Zúñiga, EMG Consultores
32
Heidi Berner, Universidad de Chile
29
enfoques cuantitativos, pero se deja de lado la evaluación de impacto cualitativa y/o
integrada.
-
Sobre la oferta de capacitación, se debe señalar que ésta está inmersa en las metas de
gestión de las instituciones gubernamentales, por lo que existe una demanda sistemática
por este servicio, lo que ha permitido crear un mercado en las Universidades y otras
instituciones académicas (o empresas consultoras) que ofrecen estos servicios. Sin
embargo, y a pesar de que se plantea que existe amplia oferta, desde la DIPRES y desde
empresas consultoras con amplia experiencia, se afirma que muchas veces las
capacitaciones en temas metodológicos relacionados a SyE son más bien generales, sin
profundizar en lo requerido en determinadas técnicas y que la contratación de
capacitaciones para el desarrollo de competencias más especificas presenta grados de
dificultad significativos.
Los Servicios más demandados de Seguimiento y Evaluación, desde el Estado chileno son:
-
En la DIPRES todas las demandas de servicios de SyE tiene grados altos de importancia
para el quehacer de la institución, sin embargo no todas estas tareas constituyen parte
integral de la demanda de SyE que es externalizada en la institución, para la evaluación de
el desempeño institucional y de los programas. Lo anterior se debe a que, como se ha
dicho, existen capacidades de gestión de SyE instaladas en los Ministerios y Servicios. Así
por ejemplo la formulación de indicadores de desempeño es llevada a cabo por
funcionarios de los servicios y Ministerios, y no forma parte de la demanda a terceros. El
uso de la información de SyE en el proceso presupuestario es tarea del equipo de expertos
de la DIPRES en conjunto con personal de los Ministerios y en sintonía con el Congreso
Nacional y tampoco es externalizado. Por lo tanto estos son temas prioritarios pero no
necesariamente forman parte integral de la demanda de servicios a externos, siendo esta
demanda constituida principalmente por la realización de los distintos tipos de monitoreo
y evaluaciones de programas, además de metas de desempeño institucional, con el
objetivo de asegurar la independencia y objetividad del juicio evaluativo.
-
En las Instituciones gubernamentales consultadas se le otorga importancia al tema de la
definición de los indicadores de desempeño de manera diferencial (debido en gran
medida a que el tema tiene gran relevancia para el quehacer de la institución pero es una
tarea que se realiza internamente) Otro punto que aparece con alto grado de importancia
en todas las instituciones gubernamentales consultadas son las evaluaciones intermedias
(evaluación ex dure) y en menor medida las evaluaciones ex ante y ex post a los
programas.
-
Los Organismos Internacionales consultados demandan muy escasamente servicios de
Seguimiento y Evaluación, entre estos: personal experto para evaluar sus servicios,
personal experto para apoyar asesorías y producción de datos. Sobre los servicios que
30
prestan a los gobiernos se cuentan entre la mayor importancia en PNUD las evaluaciones
ex dure y las evaluaciones ex post; luego las capacitaciones en evaluación y
posteriormente las capacitaciones sobre seguimiento y monitoreo y los indicadores de
desempeño, finalmente con el menor grado de importancia están las evaluaciones ex
ante. En ILPES el mayor grado de importancia lo tiene las capacitaciones en evaluación ex
ante y en seguimiento y monitoreo, y luego de esto la realización de evaluaciones de
impacto. Es decir el énfasis de la asistencia técnica prestada por ILPES es puesto en la
formación de capacidades al interior de las instituciones gubernamentales en América
Latina y el Caribe.
-
Las Empresas Consultoras y Universidad donde se desempeñan los expertos consultados
demandan escasos servicios de SyE, de los cuales los más importantes son: la contratación
de expertos de otras disciplinas para apoyar los equipos de trabajo y la producción y
levantamiento de datos para proyectos encomendados por instituciones gubernamentales
3.4 Calidad de los servicios de SyE disponibles y problemas técnicometodológicos frecuentes
Es consenso entre los entrevistados que el personal experto y la asistencia técnica en Chile
son de buena calidad, en el sentido de que existe una cantidad significativa de profesionales con
las competencias técnico-metodológicas requerida para desempeñarse adecuadamente en este
campo. Se plantea que, dado que ha habido una década de instalación y funcionamiento de las
prácticas evaluativas, se ha generado un considerable nivel de experiencia en tres ámbitos: dentro
de las instituciones del Estado, en las empresas e instituciones proveedoras de servicios y en el
ámbito académico incorporando esta experiencia a la formación de nuevos profesionales. No
obstante, existen determinadas demandas, como la evaluación de impacto, surgida
recurrentemente en el discurso de los entrevistados con mayores niveles de experiencia, en las
que si bien existe un grupo de profesionales que posee la experiencia y competencias requeridas,
ésta es aún insuficiente. Lo anterior dificulta la realización de este tipo de evaluaciones que
actualmente son demandadas sistemáticamente y evidencia un espacio de mejoramiento, sobre
todo en la formación metodológica de los profesionales.
Dificultades metodológico-técnicas del Seguimiento y Evaluación en Chile
En términos generales no se detectaron déficits metodológico-técnicos recurrentes en los
encargados de hacer evaluaciones en Chile, de acuerdo a los formatos y orientaciones estatales
para tal efecto. En el discurso de los entrevistados de los Ministerios surge en dos ocasiones
(MINVU Y MINSAL) la existencia de problemas recurrentes en la comunicación entre los
evaluadores y la contraparte en los Ministerios. Estos problemas de “ comunicación” se detectan
en dos momentos: primero en la comprensión cabal del requerimiento que hacen las instituciones
para la prestación de los servicios y segundo en la comunicación de los resultados . Esto se observa
31
en conflictos que surgen a la luz de los resultados de las evaluaciones, donde en ocasiones no hay
acuerdo entre ambas partes. Este tema ha surgido también en las entrevistas realizadas a
consultores privados donde se plantea que las contrapartes en los Ministerios y Servicios son
quienes definen las metodologías y aprueban los resultados, cuestionando muchas veces las
conclusiones de las evaluaciones cuando éstas no arrojan los resultados “ esperados”. Este tema
será retomado más adelante en las barreras para el SyE en Chile.
Surge además en la entrevista del experto de PNUD y de los expertos de las empresas
consultoras el tema de las capacidades de diseño de los grupos de control. Debido a la
complejidad intrínseca de esta técnica, existe una escasez de profesionales con las capacidades y
la experiencia requerida para diseñar un grupo de control que efectivamente, represente de
manera lo más fiel posible a la población de origen. Lo anterior hace que muchas veces las
evaluaciones que utilizan esta metodología pierdan valor.
Este tema del diseño de grupos de control está relacionado con un déficit en los sistemas
de información que proveen los datos para la realización del Seguimiento y Evaluación de planes,
políticas y programas, tema que ha surgido en la mayoría de las entrevistas, particularmente en las
entrevistas a personas con mayor experiencia en temas de SyE. El primer problema metodológico
recurrente es la inexistencia, en la mayoría de los programas, de líneas base que permitan tener
un punto de comparación sobre el impacto de estos en el grupo objetivo. Esta deficiencia tiene
relación con la escasa incorporación de criterios de evaluación en la etapa de diseño de los
programas, lo que dificulta el levantamiento de información de calidad para evaluar
posteriormente el impacto de estos. Se debe destacar que este déficit no dice relación con las
capacidades técnico metodológicas de los evaluadores en Chile, sino con deficiencias en los
sistemas de información y en el diseño de políticas, planes y programas, asimismo con la escasa
claridad –en algunos casos- sobre los objetivos buscados, tanto en sus impactos cualitativos como
cuantitativos, en la población beneficiaria.
De esta forma, considerando el déficit de los sistemas de información mencionados, los
evaluadores deben afrontar esta falta de información, generando diseños metodológicos
alternativos que muchas veces restan representatividad y validez a los resultados.
3.5 La oferta de servicios de Seguimiento y Evaluación disponible.
Los proveedores más frecuente de Servicios de SyE reconocidos por los entrevistados son
Universidades y Empresas consultoras, esta apreciación es transversal e independiente de las
instituciones en las que se desempeñan los entrevistados. Sin embargo, también son nombrados
Organismos Internacionales y consultores individuales. Se desprende del análisis de las entrevistas
que existe una diversificación de la percepción sobre los proveedores más frecuentes según el
servicio demandado. De esta forma para servicios de capacitación, los proveedores más
32
frecuentes son las Universidades. Para servicios de asistencia técnica, Empresas consultoras y
Universidades y en menor medida Organismos Internacionales.
Finalmente, sobre provisión de personal experto, además de Universidades y Empresas se
mencionan los consultores individuales, contratados para realizar evaluaciones para las
instituciones gubernamentales.
Oferta académica de posgrado
En este punto existe consenso entre los entrevistados que respondieron la pregunta
sobre la existencia en Chile de oferta de calidad en la formación de posgrado sobre temas
relacionados al SyE. La oferta reconocida por los expertos es principalmente de las Facultades de
Economía e Ingeniería de Universidades tradicionales de la ciudad de Santiago, específicamente la
Universidad de Chile y en menor medida la Pontificia Universidad Católica. Lo anterior refleja un
tema relevante y que ha surgido en el discurso de los entrevistados; especialmente de las
empresas consultoras, que tiene que ver con la mirada economicista o econométrica
preponderante en la demanda y también en la oferta de evaluación. Este punto será retomado en
el capítulo sobre las barreras para el desarrollo del SyE en Chile y los desafíos pendientes.
Igualmente se hace mención, en dos ocasiones, a la formación de posgrado en evaluación
que realiza la Facultad Latinoamericana de Ciencias Sociales (FLACSO CHILE, en conjunto con la
ReLAC)
Los posgrados más frecuentemente nombrados como la mejor oferta académica
disponible en Chile son:
Universidad de Chile, Facultad de Economía y Negocios
Universidad de Chile, Facultad de Ciencias Físicas y
Matemáticas
Pontificia Universidad Católica de Chile
Magíster en Gestión Pública
Magíster en Gestión y Políticas Públicas
Posgrado en Evaluación de proyectos
Se debe señalar que en el discurso de los entrevistados no se hace ninguna mención a
Universidades regionales ni a Universidades privadas (excepto en el caso del entrevistado de
MINSEGPRES, quien plantea que en la Universidad Adolfo Ibáñez podría haber algún programa y
en el Departamento de Sociología de la Universidad de Chile)
Productos que contribuirían al fortalecimiento de los servicios de SyE
Esta pregunta presenta dificultades de interpretación ya que la tabla contenida en el
instrumento fue contestada de diversas maneras por los entrevistados, dificultando la
interpretación y comparación de los resultados. Sin embargo, del análisis global de la entrevista y
33
de aquellas respuestas claras a esta pregunta se desprende que los productos señalados como
aquellos que contribuirían mayormente al fortalecimiento de los sistemas de SyE, son aquellos
cursos cortos de posgrado, asistencia técnica y de formación en el ámbito nacional. Lo anterior
deriva de la amplia experiencia, que a juicio de gran parte de los entrevistados (aquellos con
mayor trayectoria) existe en el país. De ésta forma se le resta importancia a la formación que
pudiese realizarse en el extranjero. Por otro lado, frecuentemente se disminuye la importancia
asignada a los cursos y diplomas virtuales en temas de SyE, cuestionando su efectividad.
En Chile las Universidades han ido abordando crecientemente el tema de formación de
profesionales y de postgraduados con las competencias técnico metodológicas cuantitativas
necesarias para desempeñarse en el marco de los Sistemas de Seguimiento y Evaluación de la
gestión pública. A juicio de los entrevistados, la formación de profesionales y postgraduados,
está estrechamente ligada a herramientas de análisis cuantitativos, condicionado por los
requerimientos de la demanda de servicios de S y E desde el Estado. Lo anterior evidencia la
necesidad de incorporar de manera significativa en la demanda y también en la oferta de servicios
de S y E los aspectos cualitativos inherentes a una evaluación integral y de calidad de la acción
estatal y sus resultados.
A juicio de los entrevistados la formación de posgrado de calidad en temas de
Seguimiento y Evaluación está ligada, como se ha dicho casi exclusivamente33 a Universidades
tradicionales de Santiago (no así en regiones del país). Es consenso entre los entrevistados que
existen en Chile las capacidades y experiencia necesarias para la formación y especialización de
profesionales en Seguimiento y Evaluación, restando importancia al impacto de maestrías y otros
cursos internacionales para el fortalecimiento del Sistema chileno.
3.6 La Organización e institucionalización del Seguimiento y Evaluación en
el Sistema Político administrativo del Estado chileno
El discurso de los entrevistados sobre la institucionalización del SyE en el sistema político
administrativo es disímil, si bien se reconoce que existen avances significativos en la incorporación
del SyE en el proceso presupuestario, no es extendida la opinión que los Ministerios incorporen
sistemáticamente estas prácticas en el diseño ni en el mejoramiento de sus programas.
Es consenso en el discurso de los entrevistados que en el quehacer de las instituciones del
Estado chileno están instaladas las prácticas y procedimientos requeridos para el SyE de las
metas institucionales que ha instaurado el sistema de Control de Gestión. Lo anterior deviene de
un trabajo sistemático de generación e instalación de capacidades de gestión de estos sistemas al
33
Los programas de posgrado mencionados más recurrentemente por los entrevistados son: Magíster en Control de
Gestión y Magíster en Políticas Públicas de la Facultad de Economía y Negocios de la Universidad de Chile, Magíster en
Gestión y Políticas públicas de la Facultad de Ciencias físicas y Matemáticas de esta misma casa de estudio. Y programas
realizados en la Universidad Católica de Chile en el marco de los programa JPAL y CIAPEP.
34
interior de los Ministerios, y de un trabajo sistemático de monitoreo y evaluación realizado por el
conjunto del Estado para rendición de cuentas y optimización del gasto público, con el apoyo de
DIPRES durante la última década.
Existe en Chile una instalación del SyE de programas en cuanto a sus instrumentos,
procedimientos, financiamiento, alcances y uso, en tanto insumo para mejorar la calidad del gasto.
Por otro lado, existe además un respaldo legal para la Evaluación realizada por la DIPRES, en el
artículo 52 de la ley de administración financiera del Estado. En este sentido se evidencia un
avance sustancial en la institucionalización de la evaluación y seguimiento vinculado al tema del
gasto y la inversión, en el sistema político administrativo “hay una institucionalidad legal y hay una
institucionalidad de cómo se han hecho las cosas los últimos diez años, hay un protocolo de
acuerdo anualmente en el Congreso que se establece los programas que se van a evaluar”. 34
No obstante, estas prácticas que aparecen instaladas en el quehacer del Estado responden
a la mirada y a las exigencias de la DIPRES y su visión con respecto a la evaluación vinculada a la
ejecución de presupuestos por resultados, y no responden necesariamente a la institucionalización
de una cultura que incorpore la Evaluación y el Seguimiento de políticas, planes y programas como
una herramienta de mejoramiento del impacto que la acción del Estado tiene en los beneficiarios.
A nivel de Ministerios aún no se incorpora sistemáticamente el tema del SyE en la etapa de diseño
de las políticas, lo que impide afirmar que el quehacer evaluativo está institucionalizado en el
sistema político-administrativo.
Queda pendiente el desafío de fortalecer la evaluación de los programas que
implementan los Ministerios, no tan sólo ligado al tema de inversión, sino con una orientación
hacia el mejoramiento de éstos. Existe un déficit en el desarrollo de SyE para la retroalimentación
y el mejoramiento continuo de las políticas, planes y programas, que debe ser llevado a cabo por
los mismos Ministerios que diseñan e implementan los programas.
“ DIPRES hace una evaluación con fines de rendición de cuentas(…), eso es una parte de lo que hay
que hacer, pero la otra parte corresponde más bien a evaluaciones internas que tienen que tener
los ministerios en el proceso de retroalimentación de los resultados de las evaluaciones, (…), eso
no se hace35.”
“hay- que- reforzar la evaluación de la política en los distintos Ministerios y servicios, y hacer los
puentes para que se retro alimente y converjan lo que hace la DIPRES con lo que quisieran hacer los
Ministerios” 36
A continuación se presentan las principales barreras detectadas para el desarrollo de la
función evaluativa en Chile.
34
Entrevista Heidi Berner, Universidad de Chile
35
Entrevista a Osvaldo Larrañaga, PNUD
36
Entrevista a Dagmar Raczynski, Asesorías para el Desarrollo
35
Barreras para el Seguimiento y Evaluación en el Estado chileno
Las principales trabas para la plena institucionalización del Seguimiento y Evaluación son
de carácter político, institucional y cultural.
-Barreras políticas: La labor de evaluación requiere del respaldo político para su óptimo
desarrollo. Se debe garantizar objetividad e independencia en la realización de esta labor, sin
embargo muchas veces existen presiones por mostrar buenos resultados y buenos desempeños,
en plazos lo más cortos posibles, esta presión obstaculiza y dificulta la labor de evaluación. Este
punto adquiere especial relevancia con las políticas prioritarias de los gobiernos, en las que existe
una coacción mediática por los resultados.
-Barreras institucionales: En el Sistema actual de Evaluación de Programas, los Ministerios
evaluados son quienes demandan las evaluaciones, lo que produce problemas en determinadas
ocasiones con los resultados de éstas, cuando no están en sintonía con lo que esperaba el
mandante-evaluado. Este doble rol de mandante y evaluado produce un conflicto cuando la
contraparte tiene la facultad de cuestionar la validez de los resultados. En este sentido se plantea
que para institucionalizar el SyE en el quehacer del Estado es indispensable generar una
institución autónoma, ajena a los sujetos de evaluación que sea la encargada de velar por la
calidad, objetividad y representatividad de la información generada en las evaluaciones. “(…)si la
evaluación sale mal, sale mal en el sentido de que no tiene impacto, y el mandante dice no, no
aceptamos ese resultado, (..), quién valida eso, quien es el que dice si sabes que esa evaluación
está bien hecha, o que está mal hecha, quien, no hay institucionalidad para eso en Chile, hay una
falla dramática en eso, no hay nadie que sea responsable”37
En esta línea la entrevista del MINSEGPRES entrega luces sobre la voluntad política para
la instauración de una Agencia de Calidad de las Políticas Públicas que sea un organismo
independiente que monitoree y evalúe las políticas implementadas en Chile. Si bien este proyecto
es aún una aspiración, muestra que se están buscando formas para solucionar estos déficits.
Otro tema relevante en las barreras institucionales es, a decir de los entrevistados de
empresas consultoras, que entre los criterios de selección más relevantes en los llamados a
licitación se encuentra el criterio económico , donde aquellas propuestas con menores costos
tiene mayores probabilidades de ser seleccionadas. En este sentido el discurso de los
entrevistados de empresas consultoras plantea que esta restricción económica, aunque es
indirecta, merma la calidad de las propuestas. Ya que la tendencia es a realizar propuestas con los
menores costos posible, en vez de priorizar por la calidad y representatividad de los resultados
generados.
- Es importante señalar como traba político – institucional muy relevante para la
institucionalización de los sistemas de SyE el que su continuidad y la de quienes se desempeñan
37
Entrevista a Víctor Zúñiga EMG Consultores.
36
en sus cargos estratégicos sea susceptible a los cambios de gobierno y de autoridades
Ministeriales. En este sentido se hace indispensable resguardar la continuidad de todos estos
sistemas, mediante mecanismos institucionales y legales, para continuar avanzando en el proceso
de modernización del Estado sin retrocesos derivados de cambios político coyunturales.
- Por otro lado las barreras culturales detectadas tienen que ver con resistencias persistentes de
los funcionarios a la evaluación, considerando que está significa una amenaza ya que cuestiona la
calidad de su trabajo y lo pone en riesgo. Se debe avanzar hacia la construcción de una cultura
donde la evaluación surja como una herramienta de mejoramiento continuo de la acción del
Estado, y no como una amenaza para los funcionarios. Este tránsito cultural es indispensable para
la incorporación paulatina del SyE en la planificación, diseño y rediseño de las iniciativas de
políticas, planes y programas.
A juicio del entrevistado del PNUD existe una circulación en la cultura del sector público
desde un foco hacia adentro, centrado en la oferta, a una cultura con un foco hacia afuera
centrado en los usuarios donde se está incorporando paulatinamente el tema de la Evaluación.” La
principal dificultad es que se está transitando a una cultura que está muy focalizada hacia dentro
hacia una cultura que está centrada en los usuarios y esta segunda viene asociada al tema de la
evaluación.”38
3.6.1 El Seguimiento y Evaluación en Chile: Una estrategia impulsada desde
la administración del Estado
La instalación del Seguimiento y Evaluación de políticas, planes y programas en el quehacer del
Estado chileno ha sido paulatina y ha estado estrechamente vinculada al objetivo de proveer
información para el presupuesto de la nación en orientación a generar un gasto público de
calidad. La evaluación del desempeño de la acción del Estado a través de sus Instituciones ha
surgido desde la administración de este último, en un afán de rendir cuentas sobre el uso de los
recursos públicos y de mejorar la inversión y asegurar la calidad del gasto. En este sentido la
mayor demanda por información sobre el funcionamiento de las instituciones y de las acciones
que en ellas se llevan a cabo viene del Congreso Nacional en el marco de la elaboración del
proyecto de la Ley de Presupuesto.
Las opiniones vertidas en las entrevistas realizadas en las instituciones gubernamentales
evidencian que durante las últimas dos décadas se ha logrado probar e instalar en Chile sistemas
de Seguimiento y Evaluación del quehacer de las instituciones gubernamentales que contienen
multiplicidad de instrumentos y procedimientos estandarizados. El sistema más reconocido en su
quehacer evaluativo, por quienes fueron entrevistados en todas las organizaciones, es el Sistema
de Control de Gestión que coordina la Dirección de Presupuesto, del Ministerio de Hacienda.
38
Entrevista a Osvaldo Larrañaga, PNUD
37
La información recolectada muestra que la implementación e instalación de éste sistema, así como
del resto de las demandas sistemáticas de evaluación en Chile, ha constituido un proceso de
aprendizaje conjunto entre los Ministerios encargados de ejecutar sistemas de SyE, los Ministerios
Sectoriales y quienes proveen asistencia técnica en S y E. Este proceso, que como se ha dicho ha
surgido desde una demanda del Estado, lleva aproximadamente una década en la que se han
generado tres fenómenos relevantes, en cuanto a la formación de capacidades y competencias
técnicas para SyE en Chile:
-
Primero: Se ha instalado en el quehacer y las prácticas de las instituciones Estatales los
instrumentos y procedimientos para la evaluación y el Seguimiento del desempeño
institucional y de las políticas y programas.
-
Segundo: Se ha capacitado durante la última década a numerosos funcionarios de los
distintos Ministerios y Servicios en metodologías de Marco lógico y otras competencias
para la Evaluación y Seguimiento de políticas, planes, y programas. Lo anterior ha
permitido que en la actualidad capacidades de gestión de los sistemas de Seguimiento
instaladas en los Ministerios sectoriales y en la planificación, Seguimiento y Evaluación de
proyectos. Si bien esta apreciación es de personas de la Dirección de Presupuestos, es
compartida por los otros entrevistados.
-
Tercero, a partir de la demanda por evaluación externa de las instituciones
gubernamentales, coordinada por DIPRES, se ha generado en respuesta un “mercado de
evaluadores” formado por empresas consultoras y universidades principalmente, quienes
se dedican a evaluar como entidades externas aquello que es solicitado por los
organismos del Estado. Esta impresión es compartida por los entrevistados de Empresas
consultoras y de la Dirección de Presupuestos del Gobierno Central.
3.7 Demanda de evaluación desde la sociedad civil
La implementación del SyE en el quehacer del Estado chileno surge, como se ha dicho, en
un afán de transparentar y mejorar el gasto público, y desde allí se han mejorado los diseños
programáticos y la implementación de los mismos. En esta línea se utiliza en un afán de rendición
de cuentas al Congreso Nacional y mediante éste a la nación. En este sentido se puede señalar
que la implementación de los principales sistemas de SyE han surgido como respuesta a una
demanda ciudadana (indirecta) de transparencia, originada en el proceso de Modernización del
Estado. Sin embargo es consenso que no existe una demanda de evaluación por parte de los
beneficiarios de los programas.
El discurso de los expertos entrevistados plantea que existe una incipiente demanda
desde la sociedad civil organizada por evaluación de la acción gubernamental, en tanto esta
transparenta el actuar gubernamental. Esta demanda incipiente surge de instituciones
38
académicas, ONG, asociaciones gremiales, etc. y no surge de los usuarios o beneficiarios de los
programas39.
Si bien existen canales expeditos de comunicación entre la ciudadanía y los ministerios y
servicios implementados en el marco de estrategias de participación ciudadana, como las Oficinas
de Información, Reclamos y Sugerencias y las Cuentas Públicas de las instituciones estatales,
ninguno de los actores entrevistados reconoce la existencia de este tipo de demanda. No
obstante, se debe señalar que en Chile hoy existe una publicación periódica en las páginas web de
las instituciones públicas, de las evaluaciones, estudios, cuentas públicas, etc. realizados en los
Servicios y desde la DIPRES.
39
Las demandas de los usuarios que se manifiestan tienen, en general, un carácter más directo sobre los beneficios que
les atañen directamente, en el marco de los distintos programas.
39
CAPITULO 4 : CONCLUSIONES
Existe en Chile una demanda sistemática de Servicios en el tema de Seguimiento y
Evaluación, con procedimientos e instrumentos instalados en el quehacer de las instituciones
públicas mediante sistemas complejos que sostiene esta demanda. Estos procedimientos forman
parte del funcionamiento del Sistema de Control de Gestión, del Sistema de Programación
Gubernamental y del Sistema Nacional de Inversiones, principalmente. Estos procedimientos e
instrumentos son estipulados por las instituciones encargadas del control de los Sistemas (DIPRES,
MINSEGPRES y MIDEPLAN) quienes, en conjunto con los Ministerios sectoriales generan las bases
técnicas para la postulación a concurso de quienes deseen realizar la evaluación.
No obstante la externalización de las evaluaciones para garantizar su objetividad, en el
caso de los Ministerios Sectoriales, existe un Departamento de control de gestión o similar el cual
presta asesoría internamente a la Institución. Esta demanda interna es satisfecha en la medida de
los recursos disponibles con el personal del Departamento de control de gestión, o similar en cada
Ministerio. Esta demanda está asociada principalmente a requerimientos de asistencia técnica
para la planificación, Seguimiento y Evaluación interna de programas y metas de desempeño de la
institución. Por otro lado la Dirección de Presupuestos presta asistencia técnica, capacitación y /o
personal experto para el desempeño de actividades de planificación, Seguimiento y Evaluación de
las metas de las instituciones en el marco del Programa de Control de Gestión y de la evaluación
de programas. De esta forma se evidencia que internamente en la administración del Estado
existen prácticas, procedimientos y capacidades instaladas para la provisión de servicios de
asistencia técnica a los Ministerios y Servicios.
Con el objetivo de resguardar la independencia del juicio evaluativo todas las evaluaciones
encargadas por el estado Chileno son realizadas por terceros, personas jurídicas o naturales que
son seleccionados vía licitación pública y/o concurso público. A partir de la demanda sistemática
por evaluación externa de las instituciones gubernamentales, coordinada por DIPRES, en la última
década se ha generado en respuesta un “mercado de evaluadores” formado por empresas
consultoras y universidades principalmente, quienes se dedican a evaluar como entidades
externas aquello que es solicitado por los organismos del Estado. Este mercado de evaluadores es
lo suficientemente amplio para responder a la demanda del Estado, en términos de calidad es un
mercado heterogéneo donde existen profesionales y empresas con mucha experiencia y
capacidad. Este mercado es altamente competitivo lo que dificulta el intercambio de experiencias
y la generación de aprendizajes más allá de la interacción de cada empresa con su contraparte
Estatal.
En temas de formación es consenso entre los entrevistados que existe en Chile una oferta
amplia de formación de posgrado de buena calidad. Se plantea que existen en el país los expertos
40
con capacidades para la formación de nuevos profesionales y posgraduados, que obtengan las
competencias requeridas para desempeñarse en los sistemas de SyE del país.
Los desafíos pendientes para el fortalecimiento de los sistemas de SyE en Chile, detectados en
este estudio, son:
1. Fortalecer la evaluación de programas en pos del mejoramiento continuo de las políticas y
programas, en los servicios y Ministerios. Vincular este objetivo con el tema presupuestario
promovido por DIPRES.
2. Asegurar la continuidad de los Sistemas de SyE que se encuentran hoy instalados en el
quehacer estatal, entregando apoyo y respaldo político a la labor de evaluación.
3. Formar de capital humano avanzado en metodologías de SyE de mayor complejidad, como
evaluación de impacto, diseño de grupos de control, levantamiento de líneas base,
perspectivas cualitativas, participativas, etc.
4. Incorporación del SyE en la etapa de diseño y formulación de políticas con el objetivo de
incorporar el levantamiento de líneas base de información de calidad que serán un insumo
fundamental para la posterior evaluación y monitoreo.
5. Promover la creación de una entidad independiente, al interior del Estado, encargada de:
- Velar por la calidad y validez de las evaluaciones que se realizan en las instituciones,
- velar por la neutralidad de los juicios evaluativos emitidos (control de potenciales presiones
institucionales, políticas o culturales)
- velar por la adecuada asignación de recursos a la prestación de servicios de S y E,
asegurando la óptima calidad de los resultados.
- entre otros.
6. Promover la generación de un centro académico, o similar, que promueva la discusión y la
generación de conocimiento en torno a los sistemas de SyE existentes en Chile, con el
objetivo de generar redes de colaboración y fortalecer las capacidades existentes en el país, y
desde allí compartir el aprendizaje con los especialistas de la región.
41
ANEXOS40
ANEXO 1: PAUTA DEL INSTRUMENTO APLICADO
ANEXO 2: CARACTERIZACIÓN DE LA MUESTRA
ANEXO 3: OBSERVACIONES METODOLÓGICAS
ANEXO 4: BASE DE DATOS
ANEXO 5: TRANSCRIPCIONES ENTREVISTAS
ANEXO 6: BIBLIOGRAFIA EVALUACION
40
Los Anexos se encuentra en archivos comprimidos adjuntos al presente documento
42