Transcripción Entrevista

Transcripción Entrevista
¿Cuál es el estado actual de los sistemas de evaluación de políticas
públicas en Chile y cuáles son los principales desafíos que tenemos por
delante?
Responde: Francisco Gallego, Profesor del Instituto de Economía UC y
Director Científico JPAL- Latinoamérica
Fecha: Septiembre 2009
Yo creo que en Chile hemos avanzado muchísimo en la cantidad de programas
que se han evaluado. La Dirección de Presupuestos del Ministerio de Hacienda
tiene un programa de evaluaciones comprensivas ex post. Sin embargo, yo veo
dos desafíos fundamentales en la evaluación de políticas públicas los que
tienen que ver con mejorar la calidad de las evaluaciones, en particular con la
evaluación de la calidad de las evaluaciones y de alguna manera generar una
institucionalidad para poder evaluar a las evaluaciones.
Este es un tema complejo porque muchas veces las evaluaciones -sobre todo
las ex post- son complicadas, tienen desafíos metodológicos conceptuales no
triviales y, en ese sentido, como académico me atrevo a sugerir que sería
interesante de alguna manera hacer un stock de cuántas de las evaluaciones
de políticas públicas que se han hecho por académicos han sido publicadas –
ya que ese es un muy buen indicador de calidad- y sobre esa base construir
ese indicador y considerarlo el día de mañana, cuando se asignen
evaluaciones, así también como abrir la participación de académicos y
organismos internacionales.
Una segunda área en la que también tenemos que avanzar para mejorar en la
calidad de las evaluaciones es considerar más el tipo de evaluaciones ex ante,
que tiene que ver con diseños de políticas que se prueban en pilotos antes de
implementarse. Considero que en ese aspecto en Chile hemos sido pioneros
en muchos ámbitos que han funcionado, como las AFP y sistemas de subsidios
habitacionales, por ejemplo. Sin embargo, en otras intervenciones que hemos
aplicado a todo el sistema sin evaluarlas ex ante también hemos fallado. Con
evaluaciones ex ante podemos solucionar esos problemas.
Ciertamente este es un avance, porque si bien son evaluaciones más caras,
permiten a la vez ahorrar recursos y mejorar la intervención antes de que la
política sea implementada.
Yo veo esos dos grandes desafíos: en primer lugar, calidad y aseguramiento de
calidad, porque en realidad no tenemos métricas para saber si las evaluaciones
que se han hecho hasta ahora son de calidad o no y, en segundo lugar,
avanzar en evaluaciones ex ante que pueden ser bien importantes en el diseño
e implementación de políticas públicas.
Responde: Rodrigo Herrera, Jefe
información Social de Mideplan
Fecha: Septiembre 2009
Departamento
de
Sistemas
de
Yo creo que Chile ha avanzado mucho en términos de evaluación de políticas y
programas, de hecho este año la Dipres abrió un departamento que se llama
Departamento de Evaluación de Programas Nuevos, cuyo objetivo es diseñar
la evaluación del programa conjuntamente con el diseño del programa mismo,
por lo tanto, esa es una muy buena noticia y va en la dirección correcta.
Sin embargo, creo que aún hay mucho por mejorar en temas de evaluación,
principalmente porque las políticas públicas en Chile han ido cambiando,
evolucionando, se han vuelto un poco más complejas de lo que eran hace
algún tiempo. Hoy a las políticas se les exige que sean intersectoriales, por
ejemplo, y eso mismo complejiza los procesos de evaluación. Por ende, pienso
que el mayor desafío es entender esto mismo: por una parte comprender que
las políticas han ido cambiando y, por otra, hacer una revisión acerca de si las
actuales metodologías de evaluación son capaces de entregar información
oportuna a los gestores de estas nuevas políticas que son más complejas,
como por ejemplo, el sistema de protección a la primera infancia “Chile Crece
Contigo”.
En ese contexto creo que se debieran realizar estrategias de evaluación que
sean integradoras, donde puedan participar distintos métodos de evaluación
que en conjunto entreguen información a los gestores, los prestadores y a la
gente que finalmente ejecuta las políticas para que retroalimenten su gestión y
de esa manera puedan hacer mejoras continuas a la implementación y
funcionamiento de estas políticas.
Responde: Teresa Matus, Docente e Investigadora de la Escuela de
Trabajo Social de la UC.
Fecha: Septiembre 2009
En términos de evaluación de políticas es evidente que hemos avanzado
porque la evaluación tiene que ver incluso con los mecanismos de cómo se
generan las políticas y hay, por ejemplo, un sistema como Chile Compra que
hace que mucha parte de la política pública sea mediante la licitación
concursable y permite que ese sistema este mucho más bajo control que antes.
En segundo lugar, todos los esfuerzos que hace la Dipres en términos de la
evaluación de programas y políticas también es algo importante a considerar.
Sin embargo, hay tres grandes desafíos. Para poder evaluar nosotros
necesitamos no sólo transparencia en términos de recursos financieros, eso es
necesario pero insuficiente porque con la evaluación financiera podemos saber
si los dineros fueron destinados a los objetivos del programa, si éste es o no
corrupto, pero no podemos saber sí es o no eficiente, ni en que medida un uso
alternativo de esos recursos daría quizás mejores ganancias.
Entonces, necesitamos generar un sistema evaluativo que contenga
indicadores articulados entre ingreso, monitoreo e indicadores de egreso.
Todavía muchos programas tienen el egreso marcado por otros factores como,
por ejemplo, la edad o el tiempo de factibilidad económica para que alguien
egrese, no digo que esas medidas estén mal, pero son insuficientes.
Necesitamos de evaluaciones técnicas, porque sino se evalúa un diferencial ex
ante - ex post no se pueden hacer evaluaciones de impacto sustantivas. Eso
hay que tenerlo además con buenos indicadores, es decir, que sean sensibles
a lo que se quiere lograr, no necesariamente demasiados indicadores, a veces
pasamos de no tener nada a tener 300 indicadores, eso más bien distorsiona,
se trata de un puñado de indicadores precisos, robustos e interesantes para
poder ver sobre todo una tipología de usuarios, es decir, necesitamos avanzar
hacia la diferenciación. Una cosa es perseguir la equidad la igualdad y otra
cosa es que al interior del programa nosotros entendamos que hay distintos
tipos de sujetos que hacen ese programa, que requieren un ritmo más lento,
que tendrían que tener una evaluación distinta de los que avanzan con un ritmo
más rápido, porque estos últimos podrían obtener otros beneficios también
obtenidos a mejor ritmo, los que avanzan a ritmo más lento tendríamos que ver
a lo mejor de qué modo la forma en que se hace la política nos pueda dar una
evaluación pertinente para saber qué pedir a cada uno de ellos, ese es un gran
tema en términos de evaluación de políticas.
El otro tema que a mí me gustaría destacar tiene que ver, sin lugar a dudas,
con qué se hace con las evaluaciones del grado de satisfacción de los
usuarios. Nosotros hemos avanzado, les preguntamos a la gente en este
momento cómo se sienten y qué ha pasado con ellos en relación con un
programa, pero eso es claramente insuficiente si no se contrasta con ciertos
estándares. En evaluación requerimos urgentemente avanzar en estándares de
comparación internacional, porque una cosa es que yo me sienta agradecida
con un programa y que éste haya funcionado bien para mí y otra cosa es que
yo pueda decir que ese programa es el mínimo internacional que en ese rubro
existe, son dos cuestiones distintas. Quienes trabajamos hace muchos años en
intervención social sabemos que, además, uno se gana el cariño de las
personas y que uno tendría que hacer las cosas muy mal para que ellas
terminaran no haciendo un voto favorable al programa en el que uno está, por
eso mismo un buen factor de control son los estándares, una evaluación de
usuario sin estándar es una evaluación bastante insuficiente en términos de
esas medidas.
La tercera que es bastante complementaria con las dos anteriores es hacer una
evaluación que involucre comparar realidades y situaciones nacionales e
internacionales y, por lo tanto, desde ahí tener un sistema de articulación
gradual donde uno pudiera saber “estamos acá y necesitamos estar acá”,
posibilidades alternativas para ir logrando mejores evaluaciones, mejores
resultados.
Todas estas medidas y desafíos involucran una cuestión fundamental:
presupuesto para estudios técnicos de evaluación. Sin gastar en evaluación en
los programas es bastante difícil generar mejores logros en evaluación y
todavía en nuestro país está la mentalidad de que lo que sirve es gastar en la
atención directa, no necesariamente en poder evaluar cómo se están dando
esas formas de atención. A mí me parece que allí hay que generar nuevos
fondos.
Nosotros en términos de inversión en nuevo conocimiento estamos tres veces
por debajo de los países a los cuales nos gustaría parecernos: Nueva Zelandia,
Finlandia, entre otros. Ellos en general del PIB gastan entre un 2 y 3 por ciento
en inversión en conocimiento, nosotros apenas un 0,6 por ciento. Entonces en
qué se aumenta ese porcentaje, por supuesto en generar sistemas
innovadores, eso es evidente, pero también en generar formas técnicas de
evaluación. Sin tener resultados serios e interesantes en términos de sistemas
de evaluaciones de tendencias no sólo de corto plazo, sino que también de
mediano plazo, difícilmente podremos mejorar en términos de evaluaciones
sustantivas.
Responde: Mario Waissbluth, Coordinador Nacional Educación 2020
Fecha: Septiembre 2009
En primer lugar quiero destacar la esencialidad del tema. El Estado existe para
definir políticas públicas implementarlas y producir resultados y si estos
resultados después no se evalúan no se cierra el círculo y no sabemos si la
plata pública se está gastando adecuadamente o no, por lo tanto es un tema
absolutamente esencial.
Lo segundo es que la evaluación tiene que tener tres momentos. Uno es la
evaluación de la implementación y la gestión, es decir, cuando se está
ejecutando la política pública. Luego está el momento que se puede llamar el
out put directo, o sea, cuánto se produjo, cuántas casas se construyeron, si las
viviendas estaban bien construidas o no. Y el tercer momento es el del impacto
del largo plazo completo, por ejemplo, se están construyendo bien o no las
soluciones habitacionales, segundo impacto directo cuántas se construyeron, a
qué costo y con qué calidad, pero el tercero es el impacto de largo plazo en la
ciudadanía, en definitiva, el proyecto en su conjunto tuvo en la población un
impacto económico, social y cultural adecuado a lo que se preveía
originalmente o no, eso es algo que generalmente se puede hacer algunos
años después del resultado inmediato. Entonces es importante distinguir que
hay tres momentos.
Dicho lo anterior, yo creo que si bien ha habido avances en Chile y éstos se
han dado por algunos programas que hace la Dipres, aquí falta una de las
reformas del Estado más fundamentales. Si yo tuviera que escoger tres
reformas estructurales del Estado chileno una podría ser el sistema de Alta
Dirección Pública, la otra la Ley de Transparencia y está faltando la tercera, y
es que exista un ente con los mismos niveles de autonomía del Consejo de la
Transparencia o del Sistema de Alta Dirección, que pueda evaluar cuándo
quiera, cómo quiera y con la autonomía que quiera el programa, la ley, la
institución, el proyecto que sea, esto existe en todos los países de la OECD, no
existe en ningún país de América Latina y tampoco en Chile.
A mí me parece legítimo y necesario que el propio poder ejecutivo se
autoevalúe, por ejemplo, por las evaluaciones que hace la Dipres, pero una
cosa es eso y otra muy distinta es que haya un ente autónomo del Estado
como existe en otros países que tenga libertades mucho más grandes, porque
en el caso de la Dipres hay una contradicción esencial y es que ésta es la que
aprueba el presupuesto y después lo evalúa, entonces, es juez y parte por
esencia y definición no digo que no lo deba seguir haciendo, digo que fuera de
eso tiene que haber esta otra fórmula institucional. En algunos países del
mundo esto lo hacen las contralorías que realizan evaluaciones de ese tipo, no
sólo administrativas y de cumplimiento de la normativa, sino que hacen
evaluaciones de impacto. Si tú te metes al sitio web de la Contraloría
norteamericana vas a encontrar ahí los reportes que dicen “evaluación del
impacto del programa de alimentación escolar en la obesidad infantil” el que
evaluó la contraloría sin pedirle permiso a nadie, porque la Contraloría fue
nombrada por el Senado. En otros países esto no lo hacen las contralorías sino
que lo realizan institutos autónomos distintos a ésta, como es el caso de
Singapur o de Australia, pero más allá de las dos alternativas lo esencial es
que ésta es una gran reforma faltante en el Estado.