META EVALUACIÓN 2007-2012 DEL PROGRAMA DE ABASTO RURAL POSICIÓN INSTITUCIONAL NOVIEMBRE DE 2012 Programa de Abasto Rural Posición Institucional I. Consideraciones generales De acuerdo al numeral 24 de los Lineamientos, las evaluaciones complementarias son aquellas que no se encuentran previstas en el Programa Anual de Evaluación (PAE), y cuya aplicación está a consideración de las necesidades que identifiquen las dependencias o entidades. En este sentido, al ser de interés de la dependencia el contar con información acerca del desempeño y resultados de los programas federales, y con base en la información disponible de evaluación y monitoreo, se plantea una evaluación complementaria, denominada Meta Evaluación 2007-2012 para el Programa de Abasto Rural. La Meta Evaluación 2007-2012 tiene por objeto analizar los avances y logros en materia de evaluación y monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad en dichos temas, que permitan a los Programas obtener mejores resultados. Además de contar con una valoración técnica de las evaluaciones realizadas de 2007 a 2012, la Meta Evaluación es una herramienta para generar una agenda de evaluación pertinente para los próximos ejercicios fiscales. La Meta Evaluación incluye también un análisis de viabilidad y pertinencia de la evaluación de impacto para el Programa de Abasto Rural. Dicha evaluación se realizó mediante trabajo de gabinete, con base en información proporcionada por esta dependencia a través de las entidades o unidades administrativas responsables del programa, así como información adicional que la instancia evaluadora hubiere considerado necesaria para justificar su análisis. La Secretaría de Desarrollo Social (SEDESOL) a través de la Dirección General de Evaluación y Monitoreo de los Programas Sociales (DGEMPS) coordinó y supervisó la realización de estas evaluaciones mediante un proceso participativo, donde intervinieron las unidades responsables de la operación de los programas. En este proceso, se mantuvo un diálogo respetuoso del punto de vista independiente que deriva del carácter externo del evaluador, el cual se refleja en las valoraciones que hace del programa durante los documentos de evaluación. Apoyar a Madres Página 2 de 7 Programa de Abasto Rural Posición Institucional Trabajadoras En este documento se presenta la postura a la Meta Evaluación 2007-2012, tanto de la DGEMPS como del Programa de Abasto Rural, y en su caso se señalan las posibles diferencias de criterio respecto de las opiniones vertidas por el evaluador, señalando en todos los casos las razones objetivas que las sustentan, desde el punto de vista institucional. II. Comentarios Específicos Dirección General de Evaluación y Monitoreo de los Programas Sociales (DGEMPS) La DGEMPS reconoce el esfuerzo de síntesis del evaluador para presentar sus valoraciones de forma concisa, sin embargo se considera pertinente advertir al lector de los siguientes aspectos respecto de la evaluación: El análisis que se presenta en el informe final de la Meta Evaluación, ha tomado como referencia a las Evaluaciones Externas del Programa de Abasto Rural realizadas en el periodo 2007-2012, por lo que todos los resultados y hallazgos citados, así como las recomendaciones que derivaron del ejercicio de evaluación de los años de estudio contemplados, han sido analizadas y atendidas por el Programa conforme a la normatividad establecida en el Mecanismo para el seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones a los programas presupuestarios de la Administración Pública Federal. Por consiguiente, todas las opiniones y valoraciones realizadas con base en el análisis anterior son exclusiva responsabilidad del equipo evaluador de la Meta Evaluación 2007-2012. En materia de monitoreo, el análisis tiene como base la evidencia histórica asociada a la construcción y mejora de las Matrices de Indicadores para Resultados con énfasis en las recomendaciones derivadas de la revisión de las instancias facultadas para ello y los cambios registrados en el periodo 2007-2012. El apartado de monitoreo culmina en una serie de recomendaciones para el resumen narrativo y los indicadores a nivel de Fin y de Propósito. Cabe hacer mención de que el análisis de viabilidad y pertinencia de la evaluación de impacto, ha sido realizado con el objetivo de fungir como un referente de información adicional, y en ningún caso deberá considerarse como sustituto del Análisis de Factibilidad que establece la Página 3 de 7 Programa de Abasto Rural Posición Institucional normatividad vigente. El esbozo metodológico deberá analizarse con particular detalle y cuidado, ya que posibles cambios en el diseño del Programa pudieran general cambios en dicha metodología. La agenda de evaluación para el periodo 2013-2018 es una propuesta generada con base en el análisis de un evaluador externo y de evidencia nacional e internacional, misma que deberá ser analizada por la siguiente administración en función de los cambios en el diseño y sujetos a una restricción presupuestal y con la valoración del Consejo Nacional de Evaluación de la Política de Desarrollo Social. III. Comentarios Específicos del Programa de Abasto Rural La Meta evaluación tiene como objetivo evaluar los avances y logros en materia de evaluación y monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad en dichos temas, que permitan a los Programas obtener mejores resultados en el periodo 2013-2018. Lo anterior considerando los resultados de las evaluaciones practicadas a los programas. En la Meta evaluación se menciona que subsisten diversas ambigüedades e inconsistencias conceptuales y metodológicas importantes en el problema focal, los objetivos y la población potencial del programa que se reflejan en el Diagnóstico, la Nota de actualización sobre las poblaciones, el estudio sobre las determinantes del desabasto y las Reglas de Operación 2012. Sin embargo, la ECR 2011-2012 que tuvo como propósito, entre otros, evaluar la consistencia y diseño del programa y que utilizó la metodología de Marco Lógico, en su apartado de diseño establece que el problema está correctamente identificado y claramente definido; asimismo precisa que existe un diagnóstico actualizado y adecuado. En ese mismo sentido, afirma que la población potencial y objetivo están claramente definidas; mismas que son consistentes con el problema que se pretende solucionar. Cabe destacar, que estas afirmaciones están contenidas en la Meta evaluación, sin embargo no se consideran en las conclusiones. Página 4 de 7 Programa de Abasto Rural Posición Institucional En la Meta evaluación, particularmente en la sección de análisis de la MIR y vinculación de las ROP, se establece que las modificaciones que se han realizado al Fin detallan de mejor manera la contribución que quiere hacer el programa a solucionar la problemática identificada (mejorar la nutrición). No obstante, en la sección de análisis de los indicadores se afirma que los cambios en los indicadores a nivel de Fin de 2007 a 2012 no han respondido cabalmente a algunos de los comentarios más importantes realizados por las diversas instancias. Se menciona que el indicador es poco relevante, ya que supone que la variación en la desnutrición en niños (baja talla para la edad) en el medio rural es imputable en su totalidad a los efectos del programa en la población. Al respecto, cabe mencionar que conforme a la Guía para el diseño de Indicadores Estratégicos, emitidos por la SHCP y Coneval, los indicadores de Fin miden el grado de cumplimiento del objetivo del PND o sus programas derivados (sectoriales, institucionales, especiales, regionales) al que contribuye el programa en el mediano y largo plazo, considerando que en los indicadores de Fin, el logro del impacto esperado no necesariamente es atribuible sólo al programa. Es decir, permite verificar los impactos sociales y económicos alcanzados, para los cuales contribuye el programa, pero que no son sólo su responsabilidad. En este sentido, en la ECR 2011-2012 se establece que el Fin y el Propósito del programa están claramente definidos y corresponden con el problema, el programa está alineado a los objetivos del PSDS y el PND y las lógicas vertical y horizontal de la MIR son claras y válidas. Se considera que la agenda de evaluación propuesta y el análisis de viabilidad y pertinencia para la evaluación de impacto, constituye un referente para la promoción de una evaluación de impacto del Programa y un insumo necesario para la atención del aspecto de mejora derivado de las evaluaciones externas. Dentro del proceso de mejora continua, la definición de la población objetivo ha evolucionado, en particular, la redefinición que se hizo para las ROP 2012 refleja mejor la situación a revertir al incorporar el concepto de “abasto local suficiente y adecuado”. Sin embargo, por razones de temporalidad, documentos que se formularon anteriormente no reflejan esa misma situación. Por tal razón, la recomendación formulada deberá analizarse con particular detalle y cuidado, a Página 5 de 7 Programa de Abasto Rural Posición Institucional fin de lograr la consistencia entre los diferentes documentos. No obstante, la definición establecida en dichos documentos se encontraban alineados a las ROP y recomendaciones de evaluadores, particularmente la ECR 2007. La inexistencia de información pública relativa al desabasto de productos básicos y complementarios en las localidades imposibilita contar antes de la solicitud de la apertura de una tienda, de los insumos necesarios para cuantificar la población que presenta un problema de desabasto, en el sentido de que no cuenten en el mercado local con los productos básicos. En ese sentido, la propia ECR 2007 considera que el criterio de “localidades rurales de alta y muy alta marginación” es adecuado debido a que se toma como una variable proxy del problema de abasto, por lo que las definiciones de población potencial y objetivo acotan el problema público a atender y posibilita su cuantificación. En la Meta evaluación se afirma que los procesos de colaboración con otros programas no son suficientemente amplios para potenciar el impacto del PAR. No obstante, dicha afirmación no tiene sustento, debido a que durante el periodo que comprende la evaluación, Diconsa celebró diversos convenios de colaboración con otras instituciones que han permitido potenciar el impacto del programa, como por ejemplo: Con el PDHO para la entrega de complementos alimenticios y apoyos de los programas Oportunidades y de Apoyo Alimentario, con Liconsa para la compra y distribución de Leche Liconsa, con Bansefi para la introducción de servicios financieros a la tiendas comunitarias, con el Instituto Nacional de Nutrición para el desarrollo de fórmulas para productos enriquecidos y fortificados, con la CNDH y INALÍ para la divulgación de buenas prácticas alimenticias en lengua indígena, con el DIF para la capacitación sobre alimentación de los habitantes de las localidades rurales, con el Servicio Postal Mexicano para la instalación de buzones en la tiendas Diconsa, con Fonaes para integrar cadenas sociales de producción, distribución y consumo de la población objetivo, con SEMARNAT para promoción y difusión de los programas institucionales en materia de desarrollo sustentable y cuidado del medio ambiente, con gobiernos estatales para la apertura de tiendas en localidades objetivo, entre otros. Finalmente, se reitera el agradecimiento a los funcionarios de Diconsa S.A. de C.V., responsables del Programa, por los esfuerzos realizados en esta evaluación, así como al evaluador externo por Página 6 de 7 Programa de Abasto Rural Posición Institucional su ahínco y dedicación y por la retroalimentación aportada. Se valorarán las debilidades observadas con la perspectiva de continuar trabajando en resolver las áreas de oportunidad, así como de mantener el compromiso de potenciar las fortalezas detectadas. Los avances reportados dan cuenta del esfuerzo de la Secretaría por consolidar una política social institucional, orientada a resultados, con transparencia y rendición de cuentas. Contar con una política social de Estado, incentiva a realizar ejercicios similares en los tres niveles de gobierno. Página 7 de 7