1 DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS 2 Créditos Secretaría de Hacienda y Crédito Público Rogelio Ramírez de la O • Secretario de Hacienda y Crédito Público Juan Pablo De Botton Falcón • Subsecretario de Egresos Jaime Adrián Zambrano Matar • Titular de la Unidad de Evaluación del Desempeño Coordinación del Diplomado Lorena Caballero López Responsables de contenidos: Gabriela Cantón Santana Carlos Cruz González Diseño gráfico y audiovisual: Diana Laura Cruz Ramírez Jessica Estrada Sánchez Staff de apoyo: Alicia Isabel Gómez Reyes Julio César Alemán Sánchez Sandra Mercedes Vázquez Barrios DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS 3 LECCIÓN 1 EL CONCEPTO DE EVALUACIÓN Y SU UTILIDAD EN EL QUEHACER PÚBLICO DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS 4 Contenido LECCIÓN 1.......................................................................................................................................... 3 EL CONCEPTO DE EVALUACIÓN Y SU UTILIDAD EN EL QUEHACER PÚBLICO ....................... 3 INTRODUCCIÓN AL DIPLOMADO EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS ... 5 Objetivo General .......................................................................................................................... 5 MÓDULO I. LA EVALUACIÓN EN EL MARCO DE LAS POLÍTICAS PÚBLICAS ............................. 6 Introducción ..................................................................................................................................... 6 Lección 1. El Concepto de evaluación y su utilidad en el quehacer público ...................................... 8 El concepto de evaluación ........................................................................................................... 8 Diferencias entre evaluación y seguimiento ................................................................................ 9 Enfoques de evaluación en el marco de las políticas públicas .................................................. 10 Relevancia de la evaluación en el quehacer público ................................................................. 13 La evaluación como herramienta de rendición de cuentas ....................................................... 13 DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS 5 INTRODUCCIÓN AL DIPLOMADO EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS El Estado, a través del conjunto de instituciones de la Administración Pública, tiene la obligación de diseñar e implementar acciones que contribuyan a mitigar y resolver los problemas que enfrentan grupos de individuos con ciertas características en común. En general, mediante un conjunto articulado de acciones, se busca elevar la calidad de vida de las personas y contribuir al desarrollo en sociedad. Es importante considerar que la acción gubernamental es una tarea compleja porque los hacedores de políticas públicas no solo enfrentan a problemas técnicos procedentes de la puesta en práctica de las posibles soluciones diseñadas a partir de la definición de un problema público (desde una visión más clásica), o por la colaboración con la sociedad civil organizada para idear soluciones en conjunto (desde el enfoque de gobernanza), sino que también deben considerar las dificultades políticas y sociales para incluirlas en la agenda pública y los intereses particulares e inercias que pudieran verse afectados por la implementación de la misma. En este contexto, la evaluación es un componente indispensable del ciclo de las políticas públicas ya que genera información útil para superar los problemas antes citados. En el caso de las dificultades técnicas, la evaluación permite que los hacedores de políticas puedan ajustar el diseño de las políticas y programas de forma más objetiva, probar la validez de los supuestos que los sustentan y a su vez, mejorar los métodos de medición de su desempeño. Además, la evaluación es una poderosa herramienta de legitimación de la acción gubernamental ya que dicha información funciona como evidencia de que tanto programas como políticas están encaminados a resolver el problema público para el cual fueron creados y con esto rendir cuentas a los actores involucrados. A pesar de los grandes avances que se han tenido en los últimos años en México, la Evaluación del Desempeño de políticas públicas y Programas presupuestarios aún requiere ser fortalecida e institucionalizada en lo más profundo del aparato estatal. Para su consolidación es necesario que los diversos actores involucrados puedan identificar con claridad las razones por las cuales se deben llevar a cabo las evaluaciones, cómo se deben llevar a cabo las mismas; pero sobre todo, poder distinguir con claridad cuál es la utilidad de la información generada y sistematizada por medio del Sistema de Evaluación del Desempeño (SED). En este tenor, la Secretaría de Hacienda y Crédito Público a través de la Unidad de Evaluación del Desempeño busca contribuir a la consolidación de las evaluaciones a políticas públicas y Programas presupuestarios por medio de un curso teórico – práctico, impartido completamente en línea. Objetivo General Que los participantes puedan identificar los objetivos y usos de las evaluaciones, que conozcan las metodologías aplicables a cada tipo de evaluación y que tengan los elementos suficientes para utilizar la información generada en la mejora e innovación de las políticas y programas públicos en el marco del Sistema de Evaluación del Desempeño. Para lograr este objetivo, el curso está dividido en 3 Módulos, a los cuales tendrás acceso mes con mes para no saturarte de contenido. En ellos, se abordará la evaluación de políticas y Programas en México desde los puntos de vista normativo, conceptual, teórico y metodológico. DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS 6 MÓDULO I. LA EVALUACIÓN EN EL MARCO DE LAS POLÍTICAS PÚBLICAS INTRODUCCIÓN A más de una década de implementación del PbR – SED en México, la mayoría de los actores involucrados en la planeación, programación y presupuestación tienen clara la importancia de la evaluación y el seguimiento de las políticas públicas y Programas presupuestarios por medio de los cuales se lleva a cabo el ejercicio del gasto en nuestro país. Esta conciencia es muy importante ya que, como se verá a lo largo del Diplomado, es indispensable que las personas ejecutoras del gasto y responsables de los Programas presupuestarios tengan la voluntad de llevar a buen término las evaluaciones del desempeño y el cumplimiento de los Aspectos Susceptibles de Mejora que de estos deviene. Con el fin de fortalecer este conocimiento y de aportar nuevos elementos en esta materia, en la primera Lección se abordará conceptualmente la evaluación y se destacará su utilidad en el quehacer público. En la Lección 2 se identificarán las principales diferencias y similitudes entre los distintos sujetos de evaluación, es decir, entre las políticas públicas, los Programas presupuestarios y los proyectos de inversión. Adicionalmente se estudiará la forma como estos interactúan en el quehacer público. En la Lección 3 se hace una breve revisión del ciclo de políticas públicas haciendo especial énfasis en la última etapa correspondiente a la evaluación y seguimiento de la intervención pública. Adicionalmente, se destaca la importancia de la evaluación en cada una de las etapas de este ciclo para hacer que las políticas sean un instrumento flexible que se adapte a la realidad de los problemas que buscan atender. En la Lección 4 se situará a la evaluación del desempeño dentro del marco de la Gestión para Resultados (GpR) y como complemento de las auditorías del desempeño. La GpR está orientada a administrar adecuadamente los recursos enfocándose en la medición del impacto y la generación de valor público más que en la entrega de bienes y servicios. En la Lección 4 se hace una breve revisión de las ventajas del modelo de la GpR sobre su antecesor y se presentan los pilares que la conforman. Una vez revisados los principios de la GpR se presenta el Presupuesto basado en Resultados (PbR) como medio para mejorar la forma mediante la cual los gobiernos gestionan sus recursos y organizan la información presupuestaria. Esto para que la toma de decisiones se lleve a cabo de forma eficiente y acertada. Considerando la gran diversidad de Programas presupuestarios a través de los cuales se ejerce el presupuesto público, resulta indispensable contar con una metodología que homogenice la planeación. Ésta es conocida como Metodología de Marco Lógico (MML) la cual es una herramienta por medio de la cual se crean los Instrumentos de Seguimiento del Desempeño (ISD), es decir, las Fichas de Indicadores de Desempeño (FID) y la Matriz de Indicadores para Resultados (MIR). En esta última se vinculan indicadores de desempeño a objetivos divididos en cuatro distintos niveles. En la Lección 5 se revisa la evolución de la evaluación del desempeño, la cual partió de una visión orientada a un control del ejercicio de los recursos y cumplimiento de la normatividad hasta llegar al actual Sistema de Evaluación del Desempeño (SED), el cual busca proveer bienes y servicios de calidad que generan valor público en la sociedad. Adicionalmente, se estudian los objetivos del SED la forma como evaluación y seguimiento proveen información de calidad para la conformación del Sistema. La Lección 6 hace una revisión general de la normativa que sustenta la evaluación del desempeño de los recursos federales que son ejercidos tanto por la misma federación como por DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS 7 entidades federativas, municipios y Demarcaciones Territoriales de la Ciudad de México. Esto implica la revisión de la Ley Federal de Presupuesto y Responsabilidad Hacendaria, la Ley General de Contabilidad Gubernamental y la Ley de Coordinación Fiscal y otras disposiciones normativas que en el marco del SED se relacionan con la práctica de la evaluación. En este mismo Módulo se hace una breve revisión de los cuatro componentes que conforman el Gasto Federalizado en México: Participaciones, Aportaciones, Subsidios y Convenios de descentralización y reasignación. Si bien las diferencias entre seguimiento y evaluación se explican en la Lección 1, en la Lección 7 se revisan las diferencias entre la evaluación y otro de los instrumentos para orientar a las instituciones al cumplimiento de resultados en el marco de este nuevo paradigma de gestión pública, es decir, las auditorías. Primeramente, se hace una breve revisión a la normatividad que sustenta la fiscalización en México y se reconoce la importancia de las dos principales instancias fiscalizadoras a nivel federal: la Secretaría de la Función Pública (SFP) y la Auditoría Superior de la Federación (ASF). En el caso de la SFP, se le reconoce como el órgano de fiscalización del poder Ejecutivo con la responsabilidad del control interno del Gobierno Federal. Por su parte, el alcance de la ASF es mucho mayor ya que es el órgano técnico especializado de la Cámara de Diputados, dotado de autonomía técnica y de gestión, que se encarga de fiscalizar, conforme a los principios de legalidad, definitividad, imparcialidad y confiabilidad; el uso de los recursos públicos federales en los tres Poderes de la Unión; los órganos constitucionales autónomos; los estados y municipios; y en general cualquier entidad, persona física o moral, pública o privada que haya captado, recaudado, administrado, manejado o ejercido recursos públicos federales. Finalmente, y a manera de cierre de la Lección se hace una breve revisión de los esfuerzos de coordinación en materia de fiscalización en México. DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS 8 LECCIÓN 1. EL CONCEPTO DE EVALUACIÓN Y SU UTILIDAD EN EL QUEHACER PÚBLICO El concepto de evaluación Las intervenciones públicas correctamente orientadas tiene por objeto el resolver un problema o atender una necesidad, ambos de carácter público. Los recursos de los que dispone el Estado deben ser utilizados de manera eficiente y eficaz, con la finalidad de maximizar el impacto de las políticas públicas sobre esos problemas. En este sentido, una responsabilidad primordial de los gobiernos es utilizar el gasto público como un instrumento para mejorar las condiciones de la ciudadanía. Por ello, resulta vital que la agenda pública esté conformada por políticas públicas y Programas presupuestarios que estén diseñados a partir de la identificación rigurosa de las situaciones que intentan transformar, sus causas y efectos, y la población objetivo a la cual va dirigida. También es indispensable que las políticas y programas tengan claridad en los resultados esperados; que dispongan de los medios para lograr las metas establecidas; que cuenten con los elementos a través de los cuales operarán; que demuestren que son capaces de lograr el propósito para el cual fueron creados; y que puedan identificar que sus resultados tienen el impacto esperado. La evaluación es una herramienta de política pública que hace una importante contribución para lograr todo esto. El concepto de “evaluación” se ha entendido tradicionalmente como un medio para identificar los resultados o el impacto que genera una acción o conjunto de acciones. En el sector público, la evaluación suele vincularse a la identificación de las transformaciones generadas a partir de las políticas públicas y los Programas presupuestarios (Ballart, 1993). A partir de estas definiciones, es posible observar un claro enfoque de evaluación aplicado en las etapas finales de una acción, que justamente es cuando se hace posible apreciar dichos resultados o impactos, no antes. Inicialmente, la evaluación fue considerada como una herramienta enfocada meramente en la medición de la eficacia. Más adelante, demostró su utilidad para la identificación y valoración de los efectos de la ejecución de políticas y Programas, tomando en cuenta solamente el grado de impacto observado como consecuencia de su implementación, y no de otros factores externos. Como indica Ballart (1993), la evaluación en el sector gubernamental puede abarcar todas las esferas del ciclo de una política o programa, desde su concepción hasta su consumación, observando su maduración a través de su implementación. Con esto, es importante esclarecer que el concepto de evaluación ha evolucionado paulatinamente para abarcar todas las etapas de una política o programa público, a fin de identificar e implementar acciones de mejora. Se espera que la evaluación se realice no solo cuando los productos, servicios o acciones ya fueron entregados o ejecutados; o hasta que sea posible medir los resultados o impactos como sugieren los conceptos tradicionales, sino en etapas puntuales y bien definidas en todas las fases del ciclo de política pública. Esto con el fin de reorientar los cursos de la intervención gubernamental. De esta manera, la evaluación no solo analiza si alguna intervención pública es o no efectiva, sino que proporciona información para determinar si es la alternativa más adecuada y si existen elementos para prever que logrará sus objetivos. DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS 9 Diferencias entre evaluación y seguimiento Antes de continuar, es importante hacer una distinción entre la “evaluación”, objeto de estudio del presente Diplomado, y el “seguimiento o monitoreo”, el cual es abordado con mayor detalle en el Diplomado Presupuesto basado en Resultados que la misma SHCP – UED imparte. Ambos se orientan hacia el logro de resultados y la mejora continua, por lo que es frecuente caer en confusiones y emplearlos indistintamente. No obstante, es posible identificar algunas particularidades que permiten distinguir un concepto del otro. Por una parte, la evaluación se realiza en momentos específicos, claramente definidos de una intervención. Con esto, se busca valorar la pertinencia del elemento evaluado del programa o política pública, por lo que es fundamental que, a fin de que las evaluaciones sean objetivas, deben ser llevadas a cabo por un agente ajeno a la implementación de la política pública o Programa presupuestario. Por otra parte, el seguimiento o monitoreo es un proceso que consiste en generar y analizar información sobre el avance en el cumplimiento de las metas de un Programa, a través de indicadores, y sobre el ejercicio de los recursos asignados al mismo. Es una actividad que se realiza de manera continua durante la etapa de implementación con la finalidad de identificar áreas de mejora que puedan ser atendidas, por lo regular en el corto plazo, de tal forma que el curso de acción para la consecución de objetivos sea claro. El seguimiento es habitualmente realizado por el mismo agente que implementa el Programa. En el Cuadro 1.1 se resumen las principales diferencias entre el seguimiento y la evaluación. Cuadro 1.1 Diferencias entre seguimiento y evaluación FUENTE: ELABORACIÓN PROPIA CON BASE EN ASENJO (2016). DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS 10 Con esto, es posible afirmar que la evaluación y el seguimiento son dos tareas distintas pero complementarias y necesarias para toda política pública o Programa presupuestario. En conjunto, permiten seguir un camino claro a partir del establecimiento claro de objetivos y metas, así como medir los avances respecto de éstos. Sin duda, representan dos actividades de gran valía dentro de un enfoque de resultados. Más adelante estudiaremos que tanto la evaluación como el seguimiento forman parte del Sistema de Evaluación de Desempeño (SED) en México. Enfoques de evaluación en el marco de las políticas públicas Retomando la revisión conceptual de la evaluación, en el marco de las políticas públicas y Programas presupuestarios, ésta brinda información objetiva acerca de su desempeño y de los elementos que las constituyen y con las que se implementan; al mismo tiempo, genera los elementos para planear o replantear las intervenciones públicas hacia el futuro, dado que representa una valoración objetiva de su diseño, gestión y resultados alcanzados (Dunn, 2008). En la Figura 1.1 se presentan cuatro definiciones de evaluación que desde diversos enfoques nos ayudan a comprender su alcance en el marco del presente curso: Figura 1.1 Definiciones de evaluación FUENTE: ELABORACIÓN PROPIA CON BASE EN LAS FUENTES CITADAS. Asimismo, Roth (2009: 139), relaciona el concepto de evaluación con tres dimensiones: cognitiva, dado que aporta conocimientos; instrumental, relacionado con las acciones dentro de los procesos; y una dimensión normativa, dado que su interpretación se realiza a partir de valores previamente definidos (Figura 1.2). DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS 11 Figura 1.2 Dimensiones de la evaluación según Roth FUENTE: ELABORACIÓN PROPIA CON BASE EN ROTH (2009: 139). También existe una línea de pensamiento que ubica a la evaluación como una actividad que genera juicios de valor relacionados con los productos, resultados e impacto de las políticas públicas y busca ampliar el análisis en torno a estos elementos. Complementando las definiciones presentadas, resulta particularmente útil la que proponen Jaime, Dufour, Alessandro y Amaya (2013:112), quienes definen a la evaluación como “una práctica integral de construcción, análisis y comunicación de la información útil para mejorar aspectos de la definición e implementación de las políticas públicas y Programas presupuestarios; la evaluación es un proceso de aprendizaje que incluye la reflexión crítica sobre aciertos y errores cometidos y la consecuente modificación de los cursos de acción”. En general, la contribución de la evaluación se puede visualizar en distintos planos tal como se describe en el Figura 1.3. Figura 1.3 Contribuciones de la evaluación a las políticas y Programas FUENTE: ELABORACIÓN PROPIA CON BASE EN JAIME, ET AL. (2013:112). DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS 12 En este punto, vale la pena hacer énfasis en la evaluación como proceso de aprendizaje y reflexión crítica, y no como un proceso que busca evidenciar fallas para sancionarlas. Considerando la necesidad de generar una cultura de la evaluación, ésta debe ser vista como una aliada, que permitirá realizar de mejor manera y con mayor calidad las cosas, y no como algo nocivo que tiene por objeto romper las rutinas organizacionales vigentes por el simple hecho de hacerlo. En palabras de Roth (2004: 135), la evaluación “debería ser considerada por el poder político como un aporte en el proceso de decisión y no como un contrapoder que busca entorpecer su acción”. Así, la evaluación forma parte de un proceso caracterizado por la necesidad de dar validez y sustento a las políticas y Programas, resultando una estrategia importante en la integración de las acciones de gobierno y la calidad de las intervenciones de la administración pública en las realidades sociales (Jaime, et al. 2013:113). En la Figura 1.4 se demuestra que la evaluación puede ser vista desde distintos enfoques dependiendo del uso que se le quiera dar. Producto de cada enfoque tenemos distintas preguntas analíticas que nos pueden orientar en la caracterización de la evaluación en México. Figura 1.4 Enfoques de la evaluación FUENTE: ELABORACIÓN PROPIA CON BASE EN LAS FUENTES CITADAS. Considerando estas preguntas analíticas, también es importante no perder de vista el por qué y para qué es útil evaluar. Primeramente, las administraciones públicas cuentan con recursos limitados, por lo que el criterio de máxima eficacia-eficiencia debe prevalecer en la acción pública y la evaluación contribuye a la generación de conocimiento y evidencia para la aplicación de este criterio. DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS 13 Relevancia de la evaluación en el quehacer público En aras del fortalecimiento de la democracia y la rendición de cuentas, la evaluación se presenta como una forma para orientar el gasto público a la atención del problema o necesidad que le da sentido, considerando los objetivos definidos en la respectiva etapa de planeación y si se están alcanzando dichos objetivos. Aunado a lo anterior, permite generar y recopilar información objetiva, estratégica y útil para el proceso de toma de decisiones. La utilidad percibida de la evaluación está ligada a los intereses y motivaciones de los diversos involucrados. En la Figura 1.5 se describen cada uno de estos intereses. Figura 1.5 Intereses y motivaciones de actores involucrados en la evaluación FUENTE: ELABORACIÓN PROPIA. La evaluación como herramienta de rendición de cuentas Como se anticipó previamente, con la información generada por medio de las evaluaciones a políticas y Programas se conforma el SED, que a su vez es una importante herramienta para la rendición de cuentas. Esto, porque las políticas públicas y Programas presupuestarios abordan una gran diversidad de temas y problemáticas; y cada uno de ellos requieren determinado nivel de especialización para ser comprendidos. Sin embargo, la forma como están estructuradas las evaluaciones y el SED facilita que la información se reporte de forma uniforme para poder rendir cuentas en las cuatro dimensiones que expone Alberto Olvera (2009) y que se esquematizan en la Figura 1.6. DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS 14 Figura 1.6 Evaluación como herramienta de rendición de cuentas FUENTE: ELABORACIÓN PROPIA CON BASE EN OLVERA (2009). En esta primera Lección se revisó la utilidad de la evaluación no solo para identificar los resultados de un programa, o el impacto que este tiene en la población objetivo hacia la cual va dirigido; sino como una herramienta de aprendizaje institucional que conlleva a una mejora constante de la intervención pública. También se hizo una revisión inicial de cómo la evaluación genera información relevante para rendir cuentas en las distintas dimensiones y para los distintos actores involucrados; tanto en la toma de decisiones de las políticas públicas y Programas presupuestarios como para el beneficio de la sociedad en general. DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS 15 DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS