PDZP ME PI

META EVALUACIÓN 2007-2012
DEL PROGRAMA
PARA EL
DESARROLLO
DE ZONAS
PRIORITARIAS
POSICIÓN INSTITUCIONAL
NOVIEMBRE DE 2012
Página 1 de 8
Programa para el
Desarrollo de Zonas
Prioritarias
Posición Institucional
I.
Consideraciones generales
De acuerdo al numeral 24 de los Lineamientos, las evaluaciones complementarias son
aquellas que no se encuentran previstas en el Programa Anual de Evaluación (PAE), y cuya
aplicación está a consideración de las necesidades que identifiquen las dependencias o
entidades. En este sentido, al ser de interés de la dependencia el contar con información
acerca del desempeño y resultados de los programas federales, y con base en la
información
disponible
de
evaluación
y
monitoreo,
se
plantea
una
evaluación
complementaria, denominada Meta Evaluación 2007-2012 para el Programa para el
Desarrollo de Zonas Prioritarias (PDZP).
La Meta Evaluación 2007-2012 tiene por objeto analizar los avances y logros en materia de
evaluación y monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad
en dichos temas, que permitan a los Programas obtener mejores resultados.
Además de contar con una valoración técnica de las evaluaciones realizadas de 2007 a 2012, la
Meta Evaluación es una herramienta para generar una agenda de evaluación pertinente para los
próximos ejercicios fiscales. La Meta Evaluación incluye también un análisis de viabilidad y
pertinencia de la evaluación de impacto para el Programa para el Desarrollo de Zonas
Prioritarias (PDZP).
Dicha evaluación se realizó mediante trabajo de gabinete, con base en información
proporcionada por esta dependencia a través de las entidades o unidades administrativas
responsable del programa, así como información adicional que la instancia evaluadora hubiere
considerado necesaria para justificar su análisis.
La Secretaría de Desarrollo Social (SEDESOL) a través de la Dirección General de Evaluación y
Monitoreo de los Programas Sociales (DGEMPS) coordinó y supervisó la realización de estas
evaluaciones mediante
un
proceso
participativo,
donde
intervinieron
las
unidades
responsables de la operación de los programas. En este proceso, se mantuvo un diálogo
respetuoso del punto de vista independiente que deriva del carácter externo del evaluador,
el cual se refleja en las valoraciones que hace del programa durante los documentos de
evaluación.
Página 2 de 8
Programa para el
Desarrollo de Zonas
Prioritarias
Posición Institucional
En este documento se presenta la postura a la Meta Evaluación 2007-2012, tanto de la
DGEMPS como del Programa para el Desarrollo de Zonas Prioritarias (PDZP), y en su caso se
señalan las posibles diferencias de criterio respecto de las opiniones vertidas por el evaluador,
señalando en todos los casos las razones objetivas que las sustentan, desde el punto de vista
institucional.
II. Comentarios Específicos Dirección General de Evaluación y Monitoreo de los
Programas Sociales (DGEMPS)
La DGEMPS reconoce el esfuerzo de síntesis del evaluador para presentar sus valoraciones de forma
concisa, sin embargo se considera pertinente advertir al lector de los siguientes aspectos respecto de
la evaluación:
El análisis que se presenta en el informe final de la Meta Evaluación, ha tomado como
referencia a las Evaluaciones Externas del Programa para el Desarrollo de Zonas Prioritarias
(PDZP) realizadas en el periodo 2007-2012, por lo que todos los resultados y hallazgos
citados, así como las recomendaciones que derivaron del ejercicio de evaluación de los años
de estudio contemplados, han sido analizadas y atendidas por el Programa conforme a la
normatividad establecida en el Mecanismo para el seguimiento a los aspectos susceptibles de
mejora derivados de informes y evaluaciones a los programas presupuestarios de la
Administración Pública Federal. Por consiguiente, todas las opiniones y valoraciones
realizadas con base en el análisis anterior son exclusiva responsabilidad del equipo evaluador
de la Meta Evaluación 2007-2012.
En materia de monitoreo, el análisis tiene como base la evidencia histórica asociada a la
construcción y mejora de las Matrices de Indicadores para Resultados con énfasis en las
recomendaciones derivadas de la revisión de las instancias facultadas para ello y los cambios
registrados en el periodo 2007-2012. El apartado de monitoreo culmina en una serie de
recomendaciones para el resumen narrativo y los indicadores a nivel de Fin y de Propósito.
Página 3 de 8
Programa para el
Desarrollo de Zonas
Prioritarias
Posición Institucional
Cabe hacer mención que el análisis de viabilidad y pertinencia de la evaluación de impacto, ha
sido realizado con el objetivo de fungir como un referente de información adicional, y en ningún
caso deberá considerarse como sustituto del Análisis de Factibilidad que establece la
normatividad vigente. El esbozo metodológico deberá analizarse con particular detalle y
cuidado, ya que posibles cambios en el diseño del Programa pudieran general cambios en
dicha metodología.
La agenda de evaluación para el periodo 2013-2018 es una propuesta generada con base en
el análisis de un evaluador externo y de evidencia nacional e internacional, misma que deberá
ser analizada por la siguiente administración en función de los cambios en el diseño y sujetos a
una restricción presupuestal y con la valoración del Consejo Nacional de Evaluación de la
Política de Desarrollo Social.
III. Comentarios Específicos Programa del Programa para el Desarrollo de Zonas Prioritarias
La Unidad de Microrregiones (UMR) responsable de la operación del Programa para el Desarrollo de
Zonas Prioritarias (PDZP), felicita y agradece los comentarios y opiniones del Colegio de la Frontera
Norte vertidos en el informe final de la Meta Evaluación 2007-2012 del Programa.
Del informe, la UMR considera importante destacar los siguientes aspectos:
El Informe destaca que los resultados, hallazgos y recomendaciones que derivaron del
ejercicio de evaluación del PDZP (antes PDL y PAZAP), de los años de estudio contemplados,
han sido analizadas y atendidas (por el Programa) conforme a la normatividad establecida
El equipo evaluador reconoce los avances logrados en la definición de la relación causal que
vincula los objetivos de los niveles de la MIR (lógica vertical de la MIR).
Los ajustes
registrados en los resúmenes narrativos de todos los niveles se corresponden con
recomendaciones de instancias gubernamentales autorizadas y evaluadores externos.
La Meta Evaluación encuentra un cuerpo de evidencia robusta que justifica algunas de las
acciones más importantes del programa, como lo son la sustitución de pisos de tierra por pisos
firmes, la instalación de estufas ecológicas y el mejoramiento de acceso al agua entubada. La
Página 4 de 8
Programa para el
Desarrollo de Zonas
Prioritarias
Posición Institucional
evidencia proviene de evaluaciones de impacto experimentales y pseudo-experimentales que
encuentran impactos favorables de estos apoyos en variables de interés para el PDZP como lo
son la salud de infantes y madres, así como la reducción de gastos en salud y la mejora en
asistencia escolar.
Adicionalmente, indica que en general, se observa que la MIR del PDZP sí ha resultado de un
proceso de planeación cuya mejora ha sido incremental y se ha complementado con los
resultados de evaluaciones de desempeño externas. Además, se confirma correspondencia de
los resúmenes narrativos en todos los niveles de la MIR del PDZP con las ROP vigentes.
Por otro lado, la UMR considera necesario precisar lo siguiente:
El equipo evaluador señala en la sección 2.1.1 que: En cuanto a las Actividades: al 2012, la
única Actividad prevista no refleja claramente las acciones necesarias para cumplir con el
Propósito y Fin previsto previstos para el programa.
Al respecto es importante señalar que la Matriz de Indicadores para Resultados del Programa
satisface los Lineamientos para la revisión, actualización, calendarización y seguimiento de la
Matriz de Indicadores para Resultados de los Programas Presupuestarios 2012 (oficio 307-A557). En particular el numeral 9 del Anexo Único (Criterios para la revisión y actualización de la
Matriz de Indicadores para Resultados del Presupuesto de Egresos de la Federación 2012)
que establece
que los PP deben contar con MIR más ejecutiva que quede integrada
únicamente por las actividades imprescindibles y más relevantes para la generación de los
componentes.
La actividad “Evaluación y Aprobación de proyectos” es, como se señala en la MIR, una
actividad Transversal a los dos componentes de la Matriz por lo que se asegura que cada
componente cuente con una actividad relevante, de forma que se satisface la lógica vertical de
la Matriz así como la disposición de que la MIR sea ejecutiva e incluya únicamente las
actividades imprescindibles y más relevantes.
Página 5 de 8
Programa para el
Desarrollo de Zonas
Prioritarias
Posición Institucional
En el resumen ejecutivo, el equipo evaluador señala que respecto al indicador de nivel Fin se
considera que, en congruencia con los esfuerzos de focalización del programa y con el
indicador de desempeño de dicho nivel, el resumen narrativo debe volver a redactarse con
municipios, y no regiones, como la delimitación territorial de referencia.
De acuerdo con lo establecido en los numerales 6 y 7 del Anexo Único (Criterios para la
revisión y actualización de la Matriz de Indicadores para Resultados del Presupuesto de
Egresos de la Federación 2012) de los Lineamientos para la revisión, actualización,
calendarización y seguimiento de la Matriz de Indicadores para Resultados de los Programas
Presupuestarios 2012 (oficio 307-A-557), la redacción del resumen narrativo del nivel FIN debe
describir la contribución del programa, en el mediano o largo plazo, al logro de un objetivo del
desarrollo nacional (a la consecución de objetivos del Plan Nacional de Desarrollo y/o sus
Programas Sectoriales). De esta forma, el resumen narrativo del FIN del PDZP se encuentra
alineado con el objetivo 3 del Programa Sectorial de Desarrollo Social que emplea regiones
como unidad de medida (y no municpios) por lo que su redacción satisface los Lineamientos
referidos.
Adicionalmente debe considerase que durante el ejercicio fiscal 2011, la Unidad de
Microrregiones en coordinación con la Dirección General de Análisis y Prospectiva elaboró la
Nota sobre población potencial y objetivo del PDZP en la que se establece que la unidad de
medida de la población potencial y objetivo del Programa se llevara en términos de localidades
(en dicho documento se realizan las justificaciones técnicas requeridas). En este contexto, los
responsables de la operación del Programa consideran que la delimitación territorial adecuada
para la cuantificación del indicador de Fin debe conservarse en términos de localidades y no
de municipios.
La Meta Evaluación señala que se encontraron algunas mejoras en la lógica horizontal de la
MIR, sin embargo resalta que los indicadores no son adecuados en su totalidad pues los
indicadores de Propósito y Fin refieren a fuentes de información actualizada quinquenalmente.
Página 6 de 8
Programa para el
Desarrollo de Zonas
Prioritarias
Posición Institucional
Sobre este hallazgo, es importante señalar que los indicadores propuestos para nivel Fin y
Propósito son adecuados, en tanto su construcción se realizó con base en la metodología
establecida para el diseño de Indicadores para Resultados, y en apego a la normatividad
vigente. Los medios de verificación empleados para el cálculo de estos indicadores son los
Censos y Conteos de carácter oficial elaborados por el INEGI (el uso de éstos medios brinda
certeza y objetividad a los cálculos), la periodicidad con que éstos se publican es quinquenal
por lo que no es posible llevar a cabo los cálculos con una periodicidad distinta.
Otra de las recomendaciones de mejora del equipo evaluador relacionada con el indicador de
Fin del PDZP es que: existe información suficiente para generar un indicador con estimaciones
bianuales con base en proyecciones de población, no obstante de ser preferible contar con un
indicador anual para el objetivo de nivel Fin se sugiere incluir un indicador que informe
anualmente sobre el Porcentaje acumulado de acceso garantizado a servicios básicos en la
vivienda en las localidades ZAP y municipios denominados atendidos.
De acuerdo a los Criterios para la revisión y actualización de la Matriz de Indicadores para
Resultados del Presupuesto de Egresos de la Federación 2012 (numeral 16 ) contenidos en el
oficio No. 307-A.-0557 emitido por la SHCP y a la “Guía de Indicadores para el diseño de
indicadores estratégicos” (numeral III.3) se establece que los indicadores de Fin deben utilizar
información pública disponible como las encuestas realizadas por el Instituto Nacional de
Estadística y Geografía (INEGI) u otras institucionales; razón por la cual no considera
adecuado el uso de estimaciones para este tipo de indicadores, en tanto no se dispone de
información suficiente que proporcione el nivel de certeza requerido. El uso de información
oficial
publicada
quinquenalmente
proporciona
objetividad,
certeza,
replicabilidad
y
despersonaliza el cálculo del indicador. Debe considerarse que el Fin es un objetivo de orden
superior al que el Programa contribuye en el mediano o largo plazo por lo que la medición
quinquenal de sus resultados se ajusta con el nivel de objetivos en el que está situado el
indicador.
Página 7 de 8
Programa para el
Desarrollo de Zonas
Prioritarias
Posición Institucional
En el apartado de conclusiones, el equipo evaluador identificó que el PDZP ha atendido la
mayoría de las recomendaciones de evaluaciones previas, sin embargo, éste no ha logrado
definir satisfactoriamente los conceptos de Población Objetivo y Población Potencial.
En atención a los Aspectos Susceptibles de Mejora, la Unidad de Microrregiones en
coordinación con la Dirección General de Análisis y Prospectiva elaboró la Nota sobre
población potencial y objetivo del PDZP en la que se establece que la unidad de medida de la
población potencial y objetivo del Programa se llevara en términos de localidades (y en la que
se realiza la cuantificación de la misma). La cuantificación derivada de este documento ha sido
satisfactoriamente valorada por evaluadores externos (cfr. Evaluación Especifica de
Desempeño 2010-2011 PDZP, Colegio de México). Asimismo, dicha cuantificación es
congruente con el objetivo que persigue el Programa, y con su alineación al Programa
Sectorial de Desarrollo Social 2007-2012 y al Plan Nacional de Desarrollo.
Finalmente, se reitera el agradecimiento a los funcionarios de la Unidad de Microrregiones,
responsable del Programa, por los esfuerzos realizados en esta evaluación, así como al evaluador
externo por su
ahínco
y dedicación
y por
la retroalimentación aportada. Se valorarán las
debilidades observadas con la perspectiva de continuar trabajando en resolver las áreas de
oportunidad, así como de mantener el compromiso de potenciar las fortalezas detectadas.
Los avances reportados dan cuenta del esfuerzo de la Secretaría por consolidar una política social
institucional, orientada a resultados, con transparencia y rendición de cuentas. Contar con una política
social de Estado, incentiva a realizar ejercicios similares en los tres niveles de gobierno.
Página 8 de 8