Evaluación del diseño, gestión y resultados del Programa“P014
Anuncio
Evaluación del diseño, gestión y resultados del Programa“P014 Ejecución y Seguimiento de Acuerdos y Resoluciones del Consejo Nacional de Seguridad Pública” Centro de Investigación y Docencia Económica www.cide.edu 1 2 Coordinador Académico Dr. Gustavo Fondevila Investigadores Lic. Arturo Arango Durán Mtro. Juan Pablo Arango Orozco Centro de Investigación y Docencia Económicas (CIDE) Carretera México- Toluca 3655 Col. Lomas de Santa Fe, CP 01210 México, D.F. Conmutador: 5727-98-00 Lada sin costo: 01 800 021 2433 3 Tabla de contenido RESUMEN EJECUTIVO ............................................................................................................... 12 TEMA IV 1. DISEÑO .................................................................................................................... 18 IV 1 2 Análisis de la justificación de la creación y del diseño del programa ........................................ 18 1. El problema o necesidad prioritaria que busca resolver el programa está identificado en un documento que cuenta con la siguiente información: ............................................................................................... 18 2. Existe un diagnóstico del problema que atiende el programa que describa de manera específica: ...................................................................................................................................................................................... 20 3. ¿Existe justificación teórica o empírica documentada que sustente el tipo de intervención que el programa lleva a cabo? ....................................................................................................................................................... 22 4. El Propósito del programa está vinculado con los objetivos del programa sectorial, especial o institucional considerando que: .......................................................................................................................................... 24 IV 1 3 Análisis de la contribución del Programa a los objetivos nacionales y sectoriales. ............. 25 5. ¿Con cuáles objetivos, ejes y temas del Plan Nacional de Desarrollo vigente está vinculado el objetivo sectorial relacionado con el programa? ......................................................................................................... 25 6. ¿Cómo está vinculado el Propósito del programa con las Metas del Milenio? .................................... 26 IV 1 4. Análisis de la población potencial y objetivo ...................................................................................... 27 7. Las poblaciones, potencial y objetivo, están definidas en documentos oficiales y/o en el diagnóstico del problema y cuentan con la siguiente información y características: ................................. 27 8. Existe información que permita conocer quiénes reciben los apoyos del programa (padrón de beneficiarios) que: ..................................................................................................................................................................... 29 9. Si el programa recolecta información socioeconómica de sus beneficiarios, explique el procedimiento para llevarlo a cabo, las variables que mide y la temporalidad de las mediciones. ...... 31 IV 1 5. Análisis de la Matriz de indicadores para resultados ...................................................................... 32 10. ¿En el documento normativo del programa es posible identificar el resumen narrativo de la Matriz de Indicadores para Resultados (Fin, Propósito, Componentes y Actividades)? ........................... 32 11. Las Fichas Técnicas de los indicadores del programa cuentan con la siguiente información: .... 33 12. Las metas de los indicadores de la MIR del programa tienen las siguientes características: ...... 34 4 IV 1 6. Análisis de posibles complementariedades y coincidencias con otros programas federales. ....................................................................................................................................................................... 35 13. ¿Con cuáles programas federales y en qué aspectos el programa evaluado podría tener complementariedad y/o coincidencias? .......................................................................................................................... 35 TEMA IV 2. PLANEACIÓN Y ORIENTACIÓN A RESULTADOS DEL PROGRAMA ....... 36 IV 2. 1 Instrumentos de planeación ..................................................................................................................... 36 14. La Unidad Responsable del programa cuenta con un plan estratégico con las siguientes características: ............................................................................................................................................................................ 36 15. El programa cuenta con planes de trabajo anuales para alcanzar sus objetivos que:..................... 38 IV .2.2 De la orientación hacia resultados y esquemas o procesos de evaluación.............................. 39 16. El programa utiliza informes de evaluaciones externas:.............................................................................. 39 17. Del total de los Aspectos Susceptibles de Mejora (ASM) clasificados como específicos y/o institucionales de los últimos tres años, ¿qué porcentaje han sido solventados acorde con lo establecido en los documentos de trabajo y/o institucionales? ........................................................................... 40 18. ¿Con las acciones definidas en los documentos de trabajo e institucionales, que a la fecha se han implementado, provenientes de los Mecanismos para el seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones a los programas presupuestarios de la Administración Pública Federal de los últimos tres años, se han logrado los resultados establecidos? .............................. 42 19. ¿Qué recomendaciones de la(s) evaluación(es) externa(s) de los últimos tres años no han sido atendidas y por qué?................................................................................................................................................................. 43 20. A partir del análisis de las evaluaciones externas realizadas al programa y de su experiencia en la temática ¿qué temas del programa considera importante evaluar mediante instancias externas? 44 IV.2.3 De la generación de información ............................................................................................................. 45 21. El Programa recolecta información acerca de: ................................................................................................. 45 22. El programa recolecta información para monitorear su desempeño con las siguientes características: ............................................................................................................................................................................ 46 TEMA IV.3. COBERTURA Y FOCALIZACIÓN ....................................................................... 47 IV.3.1. Análisis de cobertura ................................................................................................................................... 47 23. El programa cuenta con una estrategia de cobertura documentada para atender a su población objetivo con las siguientes características: .................................................................................................................... 47 24. ¿El programa cuenta con mecanismos para identificar su población objetivo? En caso de contar con estos, especifique cuáles y qué información utiliza para hacerlo. ............................................................... 49 5 25. A partir de las definiciones de la población potencial, la población objetivo y la población atendida, ¿cuál ha sido la cobertura del programa? ................................................................................................... 50 TEMA IV. OPERACIÓN ............................................................................................................... 51 IV.4.1. Análisis de los procesos establecidos en las ROP o normativa aplicable ................................. 51 26. Describa mediante Diagramas de Flujo el proceso general del programa para cumplir con los bienes y los servicios (Componentes), así como los procesos clave en la operación del programa. .... 51 27. ¿El programa cuenta con información sistematizada que permite conocer la demanda total de apoyos y las características de los solicitantes? (socioeconómicas en el caso de personas físicas y específicas en el caso de personas morales) .................................................................................................................. 53 28. Los procedimientos para recibir, registrar y dar trámite a las solicitudes de apoyo cuentan con las siguientes características: ............................................................................................................................................... 54 29. El programa cuenta con mecanismos documentados para verificar el procedimiento para recibir, registrar y dar trámite a las solicitudes de apoyo con las siguientes características: ................ 55 30. Los procedimientos del programa para la selección de beneficiarios y/o proyectos tienen las siguientes características: ...................................................................................................................................................... 56 31. El programa cuenta con mecanismos documentados para verificar el procedimiento de selección de beneficiarios y/o proyectos y tienen las siguientes características: ........................................ 57 32. Los procedimientos para otorgar los apoyos a los beneficiarios tienen las siguientes características: ............................................................................................................................................................................ 58 33. El programa cuenta con mecanismos documentados para verificar el procedimiento de entrega de apoyos a beneficiarios y tienen las siguientes características: ...................................................... 59 34. Los procedimientos de ejecución de obras y/o acciones tienen las siguientes características: . 60 35. El programa cuenta con mecanismos documentados para dar seguimiento a la ejecución de obras y acciones y tienen las siguientes características: .......................................................................................... 61 IV.2. Mejora y simplificación regulatoria. .......................................................................................................... 62 36. ¿Cuáles cambios sustantivos en el documento normativo se han hecho en los últimos tres años que han permitido agilizar el proceso de apoyo a los solicitantes? .................................................................... 62 IV.3. Organización y gestión. .................................................................................................................................. 63 37. ¿Cuáles son los problemas que enfrenta la unidad administrativa que opera el programa para la transferencia de recursos a las instancias ejecutoras y/o a los beneficiarios y, en su caso, qué estrategias ha implementado? ............................................................................................................................................. 63 IV.4. Eficiencia y economía operativa del programa ..................................................................................... 64 38. El programa identifica y cuantifica los gastos en los que incurre para generar los bienes y los servicios (Componentes) que ofrece y los desglosa en los siguientes conceptos: ........................................ 64 6 39. ¿Cuáles son las fuentes de financiamiento para la operación del programa y qué proporción del presupuesto total del programa representa cada una de las fuentes?............................................................... 66 IV.5. Sistematización de la información. ............................................................................................................ 67 40. Las aplicaciones informáticas o sistemas institucionales con que cuenta el programa tienen las siguientes características: ...................................................................................................................................................... 67 IV.6. Cumplimiento y avance en los indicadores de gestión y productos .............................................. 68 41. ¿Cuál es el avance de los indicadores de servicios y de gestión (Actividades y Componentes) y de resultados (Fin y Propósito) de la MIR del programa respecto de sus metas? ........................................ 68 IV.7. Rendición de cuentas y transparencia. ..................................................................................................... 69 42. El programa cuenta con mecanismos de transparencia y rendición de cuentas con las siguientes características: ...................................................................................................................................................... 69 TEMA V. PERCEPCIÓN DE LA POBLACIÓN ATENDIDA................................................... 70 43. El programa cuenta con instrumentos para medir el grado de satisfacción de su población atendida con las siguientes características: ................................................................................................................... 70 TEMA VI. MEDICIÓN DE RESULTADOS................................................................................ 71 44. ¿Cómo documenta el programa sus resultados a nivel de Fin y de Propósito? .................................. 71 45. En caso de que el programa cuente con indicadores para medir su Fin y Propósito, inciso a) de la pregunta anterior, ¿cuáles han sido sus resultados?............................................................................................. 72 46. En caso de que el programa cuente con evaluación(es) externa(s) que no sea(n) de impacto y que permite(n) identificar hallazgo(s) relacionado(s) con el Fin y el Propósito del programa, inciso b) de la pregunta 44, dichas evaluaciones cuentan con las siguientes características: .............................. 73 47. En caso de que el programa cuente con evaluación(es) externa(s), diferente(s) a evaluaciones de impacto, que permite(n) identificar uno o varios hallazgos relacionados con el Fin y/o el Propósito del programa, ¿cuáles son los resultados reportados en esas evaluaciones. ............................ 74 48. En caso de que el programa cuente con información de estudios o evaluaciones nacionales e internacionales que muestran impacto de programas similares, inciso c) de la pregunta 44, dichas evaluaciones cuentan con las siguientes características: ........................................................................................ 75 49. En caso de que el programa cuente con información de estudios o evaluaciones nacionales e internacionales que muestran impacto de programas similares ¿qué resultados se han demostrado? 76 50. En caso de que el programa cuente con evaluaciones de impacto, con qué características de las siguientes cuentan dichas evaluaciones: ......................................................................................................................... 77 7 51. En caso de que se hayan realizado evaluaciones de impacto que cumplan con al menos las características señaladas en los incisos a) y b) de la pregunta anterior, ¿cuáles son los resultados reportados en esas evaluaciones? ...................................................................................................................................... 78 CONCLUSIONES ........................................................................................................................... 79 8 BIBLIOGRAFÍA. ........................................................................................................................... 80 14. ANEXOS .................................................................................................................................. 82 • Anexo 1 "Descripción General del Programa". ............................................................................................. 83 • Anexo 2 "Metodología para la cuantificación de las poblaciones Potencial y Objetivo". .............. 87 • Anexo 3 "Procedimiento para la actualización de la base de datos de beneficiarios". .................. 88 • Anexo 4 "Resumen Narrativo de la Matriz de Indicadores para Resultados". .................................. 89 • Anexo 5 "Indicadores". .......................................................................................................................................... 92 • Anexo 6 "Metas del programa". .......................................................................................................................... 93 • Anexo 7 "Complementariedad y coincidencias entre programas federales". ................................... 94 • Anexo 8 "Avance de las acciones para atender los aspectos susceptibles de mejora". ................. 95 • Anexo 9 "Resultado de las acciones para atender los aspectos susceptibles de mejora". ............ 97 • Anexo 10 "Análisis de recomendaciones no atendidas derivadas de evaluaciones externas". .. 98 Anexo 11 "Evolución de la Cobertura". ............................................................................................................... 99 Anexo 12 "Información de la Población Atendida". .....................................................................................100 Anexo 13. Diagramas de flujo de los componentes y procesos clave ....................................................101 Anexo 14 Gastos desglosados del programa ..................................................................................................102 Anexo15. Avance de los indicadores respecto de sus metas ....................................................................103 Anexo 16. Instrumentos de medición del grado de satisfacción de la población atendida ..........104 Anexo 17. Principales fortalezas, oportunidades, debilidades y amenazas .......................................105 Anexo 18. Comparación con los resultados de la evaluación de consistencia y resultados, anterior ........................................................................................................................................................................108 Anexo 19. Valoración final del programa ........................................................................................................109 Anexo 20. Ficha técnica con los datos generales de la instancia evaluadora y el costo de la evaluación. ..................................................................................................................................................................110 9 10 Evaluación del disenó, gestión y resultadós del Prógrama P014 Ejecución y Seguimientó de Acuerdós y Resóluciónes del Cónsejó Naciónal de Seguridad Publica 11 Resumen Ejecutivo En este documento se presentan los resultados de la evaluación del programa P014 “Ejecución y Seguimientó de Acuerdós y Resóluciónes del Cónsejó Naciónal de Seguridad Pública”, la cual se realizó en los aspectos de Diseño, Planeación y Orientación a Resultados, Cobertura y Focalización, Operación, Percepción de la Población Atendida y Medición de Resultados1. Los contenidos que aquí se describen están orientados a proponer mejoras al programa en análisis y su intención principal es favorecer un ejercicio claro y transparente de las actividades presupuestadas en el mismo. En cuanto al diseño del programa se encontró que su estructura analítica define al próblema principal cómó el “Insuficiente cumplimientó de lós prógramas, pólíticas y estrategias, protocolos y acciones del Sistema Nacional de Seguridad Pública por parte de las 32 entidades federativas e inadecuada priorización en la asignación de los recursós órientadós a la Seguridad Pública” y a la póblación óbjetivó cómó la población de las 32 entidades federativas, lo cual es inadecuado ya que, como bien señala Gónzález, “el próblema elabóradó en el árból de próblemas nó cubre pór completo el espectro de las funciones y acciones que el Secretariado tiene para la ejecución y seguimiento de lós acuerdós del Cónsejó Naciónal de Seguridad Pública” (González, 2011). Esto implica que la problemática está insuficientemente especificada y la población objetivo no concuerda con la problemática, lo que conduce a que en general el programa, tal cual se aplica en la práctica, tenga problemas de diseño. Es importante mencionar que este programa sigue vigente y fue diseñado con base el Plan Nacional de Desarrollo 2007-2012 (PND 2007-2012), pero, debido a que hubo cambio de gobierno , en esta evaluación, al ser de carácter general a todos los contenidos actuales del programa, se consideró oportuno, donde es pertinente, integrar observaciones con relación al Plan Nacional de Desarrollo 2013-2018 (PND 2013-2018) para cumplir con los criterios establecidos en la Ficha Técnica de la evaluación del programa. De acuerdo a lo referido previamente, la alineación que presenta el programa con el PND 2007-2012 es adecuada aunque, por la naturaleza de coordinación y seguimiento que respecta a su contenido, tiene influencia en la mayoría de las estrategias provistas en el Eje 1. Estado de Derecho y seguridad, dicha alineación se nota con más claridad en los Objetivos 5. Combatir la impunidad para disminuir los De acuerdo con lo señalado en la Ficha Técnica para la Evaluación en Materia de Diseño, Consistencia y Orientación a Resultados del Programa Presupuestario a cargo del Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública "P014 Ejecución y seguimiento de acuerdos y resoluciones del Consejo Naciónal de Seguridad Pública” 1 12 niveles de incidencia delictiva; 7. Establecer mecanismos y procesos que permitan conocer sistemáticamente las características y patrones del fenómeno delictivo en México, y aseguren la disponibilidad de información confiable y oportuna; y 9. Generalizar la confianza de los habitantes en las instituciones públicas, particularmente en las de seguridad pública, procuración e impartición de justicia. Respectivamente, en las estrategias 5.1. Fortalecer la coordinación y cooperación entre los tres órdenes de gobierno para combatir la delincuencia; 7.2. Generar, fortalecer y coordinar los sistemas de inteligencia en el Gobierno Federal; y 9.6. Coordinar y establecer mecanismos para la transparencia y rendición de cuentas de los gobiernos estatales y municipales en el ejercicio de recursos federales. La alineación que presenta el programa con el PND 2013- 2018 es consistente con el punto I.2. Plan de acción: fortalecer al Estado y garantizar la paz. En particular con la estrategia señalada bajo el objetivo 1.3 enfocado en mejorar las condiciones de la seguridad pública. En lo que toca la Planeación y Orientación de resultados, los principales hallazgos tienen que ver con que la planeación se realizaba con base en la definición inadecuada del problema, por lo que los resultados a alcanzar fueron considerados irrelevantes o inadecuados y, por ello, la dificultad de establecer metas. Derivado de la definición, se tiene también un problema en lo que toca a la Cobertura y Focalización, ya que por un lado, aunque se define a la población objetivo como la población de las 32 entidades federativas, no se recolecta información de los resultados y operación efectiva del programa, lo que da como resultado que se carece de mecanismos de sistematización y bases de datos. Esta situación repercute en los procedimientos realizados para conocer de qué forma se aplican los recursos por las instancias involucradas en la ejecución de los acuerdos y a su vez, impide conocer la percepción de la población atendida. Finalmente se encontró que derivado de la falta de información y nula sistematización, la medición de resultados de resultados no es consistente con los indicadores establecidos. Las sugerencias que hemos realizado para mejorar el programa en su conjunto, entre otras, se resumen en: Concluir los trabajos de rediseño y compactación de los programas presupuestales. Sistematizar el seguimiento de acuerdos y de los ejecutores e instancias responsables del cumplimiento. Regular de manera formal la obligación de las instancias involucradas para informar de manera oportuna con documentación probatoria suficiente. 13 Modificar la población objetivo, es decir, cambiar a la población en general por las instancias y entidades representadas en el Consejo, como dicha población objetivo. Realizar un diagnóstico y redefinir indicadores que permitan la evaluación del programa. Realizar un documento que contenga los lineamientos esenciales que den sustento a la Matriz de Indicadores de Resultados. De acuerdo a la Ficha Técnica de la Evaluación, que se divide en seis temas y 51 preguntas, la valoración global de la evaluación fue de 3.75, en una escala de 1 a 10, donde 10 es la calificación máxima alcanzable, la cual se obtuvo como sigue: En la puntuación máxima se consideró sólo a las preguntas donde se solicitaba valoración cuantitativa, paras las cuales, en la Ficha técnica de evaluación del programa se propusieron 4 criterios donde el 1 es la calificación mínima y el 4 representa el máximo a cumplir. Si se coloca esa puntuación en una escala de 1 a 10, donde 1 es la menor calificación y 10 es la máxima alcanzable se tiene que la calificación global de la evaluación del Programa P014 es 3.75. Los resultados de la valoración se presentan en la siguiente tabla: APARTADO Diseño Planeación y Orientación a Resultados Cobertura y Focalización Operación Percepción de la Población Atendida Medición de Resultados TOTAL Puntuación Máxima 36 Valoración Preguntas Total 12 1 – 13 13 16 7 14 – 22 9 4 3 23 – 25 3 8 0 26 – 42 17 NA NA 43 NA 8 2 64 24 44 - 51 51 8 51 En la valoración no se tomó en cuenta a aquellas preguntas que se consideró no tenían aplicación dado el marco de la pregunta. 14 15 Introducción En el Plan Nacional de Desarrollo 2007-2012 (PND) se estableció que un Estado de Derecho pleno y la justicia son el fundamento del desarrollo humano y por tanto, es necesario un respeto irrestricto a la ley para que la población pueda acceder a mejores oportunidades de vida. Así, en este Eje, se establece que la “distórsión” generada pór la corrupción y la impunidad son un obstáculo para el desarrollo, por lo que resulta “inaplazable fómentar la cultura de la legalidad en entre lós mexicanós, garantizar el apegó de lós servidóres públicós a la ley y sanciónar a quienes nó ló hagan” (PND 2007-2012 p. 44). Entre estas y ótras razónes, es que el prógrama P014 “Ejecución y Seguimientó de Acuerdós y Resóluciónes del Cónsejó Naciónal de Seguridad Pública” adquiere dimensión e importancia, pues ahí, es donde se concentra el seguimiento a los avances de la seguridad pública en el país. El Sistema Nacional de Seguridad Pública (SNSP) aparece como la institución por excelencia en donde tiene lugar la participación de todas las instancias involucradas en el cumplimiento de la solución al problema diagnosticado en el PND y en donde se construyen los acuerdos entre actores políticos y de la sociedad civil que pueden permitir que se avance en la solución de la problemática de violencia y delincuencia que azota al país. Está integrado por diversas instancias de coordinación, donde se destaca el Consejo Nacional de Seguridad Pública (CNSP) que, entre otras atribuciones tiene la de “Emitir acuerdós y resóluciónes generales, para el funciónamientó del sistema”. El Programa P014 “Ejecución y Seguimientó de Acuerdós y Resóluciónes del Cónsejó Naciónal de Seguridad Pública”, cuyo objetivo es garantizar la ejecución y el seguimiento de los acuerdos que el Consejo Nacional de Seguridad Pública emite dentro de las sesiones que se realizan periódicamente entre los integrantes de dicho Consejo, fue creado en el 2008. (González, 2011) Fue hasta el Presupuesto de Egresos de la Federación del añó 2011 que el prógrama E006 “Ejecución y Seguimientó de acuerdós y resóluciónes del Cónsejó Naciónal de Seguridad Pública” fue módificadó y alineado a la Secretaría de Gobernación (Ramo 04) con la clasificación P014 “Ejecución y Seguimientó de acuerdós y resóluciónes del Cónsejó Naciónal de Seguridad Pública”. El Programa Anual de Evaluación para el Ejercicio Fiscal 2013 de los Programas Federales de la Administración Pública Federal2, establece la obligatoriedad para realizar una evaluación de Consistencia y Resultados de este programa. Los resultados aquí se presentan. Emitido el 16 de enero de 2013, por la Secretaría de Hacienda y Crédito Público, la Secretaría de la Función Pública y el Consejo Nacional de Evaluación de la Política de Desarrollo Social 2 16 17 Tema IV 1. Diseño IV 1 2 Análisis de la justificación de la creación y del diseño del programa 1. El problema o necesidad prioritaria que busca resolver el programa está identificado en un documento que cuenta con la siguiente información: a) El problema o necesidad se formula como un hecho negativo o como una situación que puede ser revertida. b) Se define la población que tiene el problema o necesidad. c) Se define el plazo para su revisión y su actualización Respuesta Si /Nivel 3 El programa tiene identificado el problema o necesidad que busca resolver, y El problema cuenta con dos de las características establecidas en la pregunta Justificación El problema a resolver es el insuficiente cumplimiento de los programas, políticas y estrategias, protocolos y acciones del Sistema Nacional de Seguridad Pública por parte de las 32 entidades federativas, así como la inadecuada priorización en la asignación de los recursos orientados a la seguridad pública. Existe un dócumentó denóminadó “Estructura Analítica del Programa Presupuestal”3 donde el problema principal está insuficientemente especificado, ya que los acuerdos del CNSP obligan no sólo a las entidades federativas sino también a instituciones federales. 3 P01 estructura analítica – P14- FDO 18 En un análisis del documento mencionado en el párrafo anterior como causa inmediata, cuestiones relacionadas con el Registro Público Vehicular REPUVE y la necesidad de instrumentos jurídicos en los que se establezcan obligaciones específicas para el cumplimiento de metas, cuando los artículos 18 de la Ley 4 y 11, 19 y 21 del Reglamento 5 confieren al Secretariado Ejecutivo del Sistema realizar la ejecución y seguimiento a los acuerdos y resoluciones adoptados por el Consejo Nacional y las Conferencias Nacionales, pero en dichos ordenamientos sólo se fija la obligación, sin entrar en detalles. El documento señalado define claramente a la población objetivo cómó “la póblación de las 32 entidades federativas”. Al respectó, se cónsidera inadecuada dicha definición ya que, si bien los acuerdos tienen un impacto futuro sobre la población en su conjunto cuando son cumplidos, el objetivo del programa es la revisión periódica de la ejecución y el seguimiento de los acuerdos establecidos en las sesiones del CNSP, por lo que la población objetivo debe ser aquella que directamente está involucrada o afectada por los acuerdos a los que hace dicho seguimiento. Sugerencia Se contemple al seguimiento de acuerdos de forma sistematizada. Se realice un listado de acuerdos y resoluciones enumerando a las instancias involucradas en la ejecución de cada acuerdo, enlace en cada instancia, plazos para cumplirlos, desarrollo de metodología y protocolos para seguimiento de acuerdos, recopilación de información de cada instancia involucrada en donde se incluyan además documentos probatorios del cumplimiento parcial o total. 4 5 Ley General del Sistema Nacional de Seguridad Pública Reglamento del Sistema Nacional de Seguridad Pública 19 2. Existe un diagnóstico del problema que atiende el programa que describa de manera específica: a) Causas, efectos y características del problema. b) Cuantificación, características y ubicación territorial de la población que presenta el problema. c) El plazo para su revisión y su actualización. Respuesta Si /Nivel 2 El programa cuenta con un diagnóstico del problema, y El diagnóstico cuenta con una de las características establecidas en la pregunta Justificación En el documento “Programa de Trabajo para el Replanteamiento del Programa Presupuestal”6” existe un diagnóstico donde se divide por causas y efectos pero los documentos finales sugeridos no se concluyeron y en 2013 se continúa trabajando bajo las premisas del dócumentó denóminadó “Árboles de problemas y objetivos” donde el árbol de problemas se divide por causas y efectos, pero como ya se mencionó en el apartado anterior, está insuficientemente especificada la problemática que se pretende resolver con este programa. El Árbol de objetivos también está insuficientemente especificado, ya que aunque se dice que se busca la alineación de recursos del Fondo de Aportaciones a la Seguridad Pública (FASP) a los distintos programas nuevamente sólo está involucrado el REPUVE. No existe mecanismo o base de datos alguna que permita conocer la cuantificación, características y ubicación territorial de la población que representa ya que se define a la población de manera inadecuada. Cabe señalar que se está trabajando en el rediseño global de los programas presupuestarios del SESNSP, cuyos resultados, se espera, estarán activos en 2014. 6 7 P014 MIR replanteamiento 27082012-1 final 20 Sugerencias Continuar con los trabajos planteados en el rediseño global de los programas a fin de establecer una Matriz de Indicadores de Resultados (MIR) congruente entre objetivos y población objetivo. Así mismo, se sugiere redefinir los indicadores de desempeño con base en dicho documento. Redefinir a la población objetivo como las instancias federales, estatales, municipales u organizaciones de la sociedad civil involucradas en el cumplimiento de los acuerdos y posterior a ello, sistematizar la información de los enlaces en dichas instancias. Esto facilitará integrar, para cada acuerdo variables de búsqueda comunes como fechas del acuerdo, fechas de cumplimiento, cargos y nombres de personas cargo de la actividad de enlace en el seguimiento, entre otras. Por último se sugiere que cada acuerdo contenga un listado de acciones concretas a desarrollar, plazos y responsables del cumplimiento. Esto se puede cumplir con el diseño de un protocolo de seguimiento en el cual se podrá regular, si no es posible integrarlo –como sería idealmente–en la Ley, la obligación de informar de manera oportuna que tienen las instancias involucradas, incluyendo la documentación probatoria necesaria y suficiente. Incluso, sería necesario establecer en dicho protocolo, o en la Ley, que haya sanciones a aquellas instancias o responsables cuando no informen conforme a lo establecido. 21 3. ¿Existe justificación teórica o empírica documentada que sustente el tipo de intervención que el programa lleva a cabo? Respuesta Si /Nivel 1 El programa cuenta con una justificación teórica o empírica documentada que sustente el tipo de intervención que el programa lleva a cabo en la población objetivo, y La justificación teórica o empírica documentada no es consistente con el diagnóstico del problema. Justificación Los artículos 18 de la Ley7 y 11, 19 y 21 del Reglamento 8 confieren al Secretario Ejecutivo del Sistema Nacional de Seguridad Pública (SESNSP) la obligación de realizar el registro y seguimiento a los acuerdos y resoluciones adoptados por el Consejo Nacional y las Conferencias Nacionales. Sin embargo no existe otro documento que dé sustento al tipo de intervención. En el Programa Anual de Trabajo del SESNSP se señala como prioridad estratégica asignada a la Dirección General de Planeación en el punto II. Alineación y normatividad, la estrategia de contar con un registró actualizadó de lós acuerdós adóptadós cuyó óbjetivó es “Establecer la coordinación, registro y seguimiento a los acuerdos del Consejo Nacional y las Conferencias Nacionales, con el fin de contar con información respecto del status que guardan” y el indicadór que se cóntempla es el “Avance en el desarrólló de infórmes de seguimiento a los acuerdos[…]” sin embargo, no se cuenta con protocolos ni metodología para orientar dicho desarrollo de informes. En resumen, no se aprecia una justificación teórica que sustente la creación del Programa, lo cual dificulta su conformación como un conjunto articulado de acciones, metas y objetivos. En términos empíricos, se justifica su creación por la evidente falta de coordinación que ha habido en las áreas de seguridad pública y que se reconoce en el diagnóstico realizado en el PND, pero no hay un estudio que profundice más allá de ello. 7 Ley General del Sistema Nacional de Seguridad Pública 8 Reglamento del Sistema Nacional de Seguridad Pública 22 Sugerencias Se sugiere adoptar metodologías de seguimiento y evaluación sobre solución de problemas relacionados con la seguridad pública y realizar un documento que diagnostique de manera adecuada el problema que pretende atender el programa. Esto es muy útil para plantear escenarios sobre los posibles problemas políticos que pueden surgir cuando se pretende coordinar a distintas áreas o poderes incluyendo a la sociedad civil– y las soluciones que pueden ser factibles de implantar. No se debe perder de vista que la población objetivo son las instancias que están involucradas en el cumplimiento de los acuerdos. En base a ello, se debe buscar justificar y medir el programa según las acciones, gastos y los indicadores clave para llevar un seguimiento más preciso del grado de cumplimiento en tiempo y forma, así como en el gasto realizado. En su caso, si no existe regulación que norme con obligaciones y sanciones a los involucrados, con la realización de este documento sugerido se pueden justificar adecuaciones a la norma. Bajo el conocimiento de que este programa se encuentra en fase de rediseño, sería de mucho valor incluir la justificación teórica en el documento de rediseño y compactación de los programas que se encuentra en proceso de elaboración. Para ello, se sugiere revisar la siguiente bibliografía: Bibliografía recomendada Watkins, Ryan et al. A guide to assessing needs: Essential tools for collecting information, making decisions and achieving development results. The World Bank. 2012 Lopez-Acevedo Gladys, et al. Building Better Policies: The nuts and bolts of monitoring and evaluation systems, The World Bank, 2012 U.S. Department of Justice. Guidelines for developing a criminal justice coordinating committee. 2002 European Comission. Project Cycle Management Guidelines, 2004 European Commission Project Cycle Management Handbook. 2002 23 4. El Propósito del programa está vinculado con los objetivos del programa sectorial, especial o institucional considerando que: a) Existen conceptos comunes entre el Propósito y los objetivos del programa sectorial, especial o institucional, por ejemplo: población objetivo. b) El logro del Propósito aporta al cumplimiento de alguna(s) de la(s) meta(s) de alguno(s) de los objetivos del programa sectorial, especial o institucional. Respuesta Si / Nivel 1 El programa cuenta con un documento en el que se establece la relación del Propósito con los objetivo(s) del programa sectorial, especial o institucional, y No es posible determinar vinculación con los aspectos establecidos en la pregunta. Justificación Aunque en el momento de la revisión no existe programa sectorial 2013- 2018,en el programa sectorial 2007- 2012 se observa claramente la alineación entre los objetivos del programa (Ejecución y seguimiento de acuerdos) y el PND 2007- 2012 donde se buscan la coordinación y el uso transparente de los recursos públicos. En la ficha técnica 2012 el propósito es que las entidades ajusten sus recursos del FASP de acuerdo a los programas, políticas y estrategias, protocolos y acciones del SNSP, dejando de lado, en su caso, a las instancias federales y a la sociedad civil, coadyuvantes ambas, del seguimiento de acuerdos. Sugerencias En el documento de rediseño y compactación de los programas, que se encuentra en proceso de desarrollo, relacionar el propósito y los objetivos con las instancias involucradas en la ejecución y cumplimiento de los acuerdos. 24 IV 1 3 Análisis de la contribución del Programa a los objetivos nacionales y sectoriales. 5. ¿Con cuáles objetivos, ejes y temas del Plan Nacional de Desarrollo vigente está vinculado el objetivo sectorial relacionado con el programa? 25 Respuesta Según la información revisada acerca de los contenidos del programa, se podría decir que, prácticamente, existe una vinculación con todos los objetivos del Eje 1 Estado de Derecho y seguridad, del PND, ya que este programa está enfocado a revisar los avances y problemáticas que cada entidad federativa padece en su fuero interno con respecto a la seguridad. Sin embargo, se pudo identificar que en lo particular, esta alineación es mucho más visible en los Objetivos 5. Combatir la impunidad para disminuir los niveles de incidencia delictiva; 7. Establecer mecanismos y procesos que permitan conocer sistemáticamente las características y patrones del fenómeno delictivo en México, y aseguren la disponibilidad de información confiable y oportuna; y 9. Generalizar la confianza de los habitantes en las instituciones públicas, particularmente en las de seguridad pública, procuración e impartición de justicia. Respectivamente, en las estrategias 5.1. Fortalecer la coordinación y cooperación entre los tres órdenes de gobierno para combatir la delincuencia; 7.2. Generar, fortalecer y coordinar los sistemas de inteligencia en el Gobierno Federal; y 9.6. Coordinar y establecer mecanismos para la transparencia y rendición de cuentas de los gobiernos estatales y municipales en el ejercicio de recursos federales. Con relación al PND 2013-2018 está vinculado con los objetivos del Plan Nacional de Desarrollo 2013- 2018, en el punto I.2. Plan de acción: fortalecer al Estado y garantizar la paz. En particular con la estrategia señalada bajo el objetivo 1.3 enfocado en mejorar las condiciones de la seguridad pública. Sugerencias Debido a que se está evaluando el último año de vigencia del PND 2007-2012, se sugiere no perder de vista la necesidad de alineación de objetivos con el PND 20132018, para mantener la congruencia y consistencia del programa. 6. ¿Cómo está vinculado el Propósito del programa con las Metas del Milenio? Respuesta (No procede valoración cuantitativa) 26 El programa está vinculado de manera indirecta con las Metas del Milenio Justificación Los objetivos de Desarrollo del Milenio ODM tienen que ver con combatir la pobreza, el hambre, las enfermedades, el analfabetismo, la degradación del medio ambiente, la discriminación contra la mujer y crear una alianza mundial para el desarrollo por lo que directamente, los objetivos de este programa no están vinculados. Sin embargo y dado que la seguridad es fundamental para el desarrollo de todas las demás actividades, se relaciona indirectamente. Es decir que bajo el marco de la seguridad es que se pueden ejercer todas las demás libertades. IV 1 4. Análisis de la población potencial y objetivo 7. Las poblaciones, potencial y objetivo, están definidas en documentos oficiales y/o en el diagnóstico del problema y cuentan con la siguiente información y características: 27 a) b) c) d) Unidad de medida. Están cuantificadas. Metodología para su cuantificación y fuentes de información. Se define un plazo para su revisión y actualización. Respuesta Si / Nivel 1 El programa tiene definidas las poblaciones (potencial y objetivo), y Las definiciones cuentan con una de las características establecidas. Justificación El dócumentó denóminadó “Estructura Analítica del Prógrama Presupuestal”9 define como población objetivo a la de las 32 entidades federativas, lo cual es inadecuado, ya que la población no es responsable de la adquisición ni del seguimiento a los acuerdos. Por lo mismo se omite la unidad de medida y por ello, no están cuantificadas ni definidas las poblaciones potencial y objetivo. Y debido a que no se cuenta con algún diagnóstico del problema, no se tiene metodología para cuantificar a la población ni fuente de información alguna que señale quién o quiénes son la población objetivo del programa. Sugerencias. Realizar un diagnóstico tomando en consideración la experiencia adquirida en la operación del programa. Esto permitirá definir con mayor precisión no solo a la población objetivo, sino establecer de manera procedimental quienes deben ser sus 9 P01 estructura analítica – P14- FDO operadores en el caso de los enlaces, así como definir los indicadores y demás elementos que se requieran para una instrumentación más apropiada. Para poder realizar una valoración más documentada de lo que se esperaría del programa, se sugiere revisar la siguiente bibliografía: 28 Berry, Geoff y Mike Carter. Assessing crime prevention initiatives: the first steps. Crime Prevention Unit Paper No. 31. Home Office. London 1992. Cushman, Robert C. Guidelines for developing a criminal justice coordinating committee. U. S. Department of Justice. National Institute of Correction, 2002. Osnick Milligan, Stacy y Lorie Fridell. Implementing an Agency- Level Performance Measurement System: a guide for law enforcement executives. Police executive research forum. 2006. Dilulio, John J. Jr. et al. Performance measures for the criminal justice system. Discussion paper from the BJS- Princeton Project. 1993 OECD. Performance budgeting in OECD Countries. 2007 8. Existe información que permita conocer quiénes reciben los apoyos del programa (padrón de beneficiarios) que: a) Incluya las características de los beneficiarios establecidas en su documento normativo. b) Incluya el tipo de apoyo otorgado. c) Esté sistematizada e incluya una clave única de identificación por beneficiario que no cambie en el tiempo. d) Cuente con mecanismos documentados para su depuración y actualización. Respuesta No aplica Justificación El programa no entrega apoyos y no se considera la existencia de beneficiarios (personas físicas o morales, públicas o privadas y, en general, quien reciba subsidios y apoyos presupuestarios, por haber cumplido con los criterios de elegibilidad y con los requerimientos establecidos en las disposiciones aplicables) ya que el presupuesto que tiene asignado es para el seguimiento a actividades y acuerdos generados en el marco del Consejo Nacional de Seguridad Pública. Por otra parte, la definición de la población objetivo actual considera a la población nacional en su conjunto, cuestión que no se justifica sino de manera indirecta, debido a que en realidad, los usuarios o beneficiarios directos del programa serían quienes se encargan de operarlo a nivel de las entidades e instancias participantes en las sesiones del CNSP y por tanto, responsables de asegurar el cumplimiento de los acuerdos a los que se da seguimiento. Sugerencia Redefinir la población objetivo de acuerdo a como se señala en la sugerencia de la pregunta 7. Y una vez redefinida la población, se sistematice la información de los ejecutores (beneficiarios o padrón de instancias responsables) según el árbol de ejemplo, a continuación. Considérese dicho árbol en sentido enunciativo y no limitativo. 29 30 9. Si el programa recolecta información socioeconómica de sus beneficiarios, explique el procedimiento para llevarlo a cabo, las variables que mide y la temporalidad de las mediciones. 31 Respuesta No aplica, el programa no tiene beneficiarios. Justificación Al estar mal definida la población, no se recolecta información. Una vez que se tenga una definición clara de a quién va dirigido el programa, se podrá realizar esta actividad, como se señala en la sugerencia en la pregunta anterior. IV 1 5. Análisis de la Matriz de indicadores para resultados 10. ¿En el documento normativo del programa es posible identificar el resumen narrativo de la Matriz de Indicadores para Resultados (Fin, Propósito, Componentes y Actividades)? 32 Respuesta Si /Nivel 1 Algunas de las Actividades de la MIR se identifican en las ROP o documento normativo del programa. Justificación En la MIR se identifican fin, propósito, componentes y actividades, pero se encuentran mal definidos en tanto que no se enfocan en el objetivo final del programa y, de esta manera, correlacionan el fin con el otorgamiento del FASP, los componentes con los correos atendidos por el REPUVE, los convenios de coordinación y las llamadas ciudadanas atendidas por el REPUVE, y finalmente la actividad también está relacionada con el REPUVE y las reuniones con las 32 entidades federativas. Sugerencias Se recomienda que las áreas encargadas de la operación del programa, dentro del proyecto de rediseño y compactación que se encuentra en proceso, construyan un documento que contenga los lineamientos esenciales que orienten las acciones de tal forma que se sustente en mejor forma a la Matriz de Indicadores de Resultados, contemplando a las instancias encargadas del cumplimiento de acuerdos. 11. Las Fichas Técnicas de los indicadores del programa cuentan con la siguiente información: a) b) c) d) e) f) g) h) Nombre. Definición. Método de cálculo. Unidad de Medida. Frecuencia de Medición. Línea base. Metas. Comportamiento del indicador (ascendente, descendente, regular o nominal). Respuesta Si / Nivel 1 Del 85% al 100% de las Fichas Técnicas de los indicadores del programa tienen las características establecidas Justificación En el dócumentó denóminadó “Ficha Técnica del Programa P014”10 se cuenta con dicha información. Sin embargo debido a la deficiente definición de la población objetivo, lo que se mide o pretende medir en dicha ficha no concuerda con los objetivos finales que deben tener este programa. Sugerencias Se recomienda continuar con los trabajos iniciados en el año 2013, reflejados en el rediseño y compactación de los programas presupuestarios donde puede redefinirse a las fichas técnicas de los indicadores con base en una definición adecuada de la población objetivo. 10 Ficha Técnica P014 33 12. Las metas de los indicadores de la MIR del programa tienen las siguientes características: a) Cuentan con unidad de medida. b) Están orientadas a impulsar el desempeño, es decir, no son laxas. c) Son factibles de alcanzar considerando los plazos y los recursos humanos y financieros con los que cuenta el programa. Respuesta Si / Nivel 1 Más del 0% y hasta el 49% de las metas de los indicadores del programa tienen las características establecidas. Justificación Aunque se cuenta con unidad de medida claramente definida, como se ha señalado hasta aquí, existe poca claridad en los contenidos y objetivos finales del programa. Sin embargo puede señalarse que en el año 2012 se iniciaron trabajos con objeto de recomponer y rediseñar dicho programa. Éstos continúan en proceso, ya que se llevó a cabo la compactación de los programas presupuestales y de los 4 con clave P existentes se planteó que quedara uno sólo con clave P para el 2014 que lleva el nombre de “Coordinación con las instancias que integran el sistema nacional de seguridad pública” y donde se contempla realizar las actividades de coordinación y seguimiento de acuerdos. Por otro lado, aunque se señala en el reporte de avance generado que al 2012, se tienen avances que van del 31.25% al 100% o bien los indicadores son irrelevantes o bien no existe documentación suficiente que de soporte a estas afirmaciones, ya que no existe sistematización alguna de la información y los informes se basan en que el pleno, en las reuniones del CNSP, da esos informes de avance. Por lo que se sugiere que se robustezca este tipo de documentación. Sugerencias Continuar con los trabajos de rediseño iniciados en el año 2012, y con ello, establecer nuevos parámetros en cuanto a las características de las metas de los indicadores de la MIR, con base en la compactación de los programas que se ha venido realizando. 34 IV 1 6. Análisis de posibles complementariedades y coincidencias con otros programas federales. 13. ¿Con cuáles programas federales y en qué aspectos el programa evaluado podría tener complementariedad y/o coincidencias? Cabe señalar que en la página de la Secretaría de Gobernación que tiene que ver con Reporte de la MIR de todos los programas presupuestales, los programas presupuestales P013 y P014 reportan la misma alineación. Así, aunque pudiera pensarse que el programa P014 tiene complementariedad cón el prógrama “P013 Emisión y supervisión de criteriós, nórmas, prócedimientós y estándares de evaluación y control de confianza de servidores públicos de las Instituciónes de Seguridad Pública” en cuantó a que dichó prógrama P013 señala en su alineación que unó de sus óbjetivós es el de “Cóórdinar, articular y alinear lós esfuerzos de colaboración de las instancias de seguridad pública promoviendo y cumpliendó cón la Ley y las directrices del Cónsejó Naciónal de Seguridad Pública.” En la SEGOB, estos programas se consideran complementarios ya que al revisar a detalle los resultados en cuanto a nivel, objetivos, denominación y métodos de cálculo, se encuentra que en realidad el programa P013 tiene que ver con exámenes de control de confianza, por lo que no puede señalarse complementariedad debido a que forman parte de una sola estrategia y sin uno no podría darse de manera confiable el otro. http://www.transparenciapresupuestaria.gob.mx/Portal/transform.nodo?id=3.1&tra nsformacion=s&excel=n&ka_imagen=16&zip=n&paramts=0%3DL16 35 Tema IV 2. Planeación y Orientación a Resultados del programa IV 2. 1 Instrumentos de planeación 14. La Unidad Responsable del programa cuenta con un plan estratégico con las siguientes características: a) Es resultado de ejercicios de planeación institucionalizados, es decir, sigue un procedimiento establecido en un documento. b) Contempla el mediano y/o largo plazo. c) Establece los resultados que quieren alcanzar, es decir, el Fin y Propósito del programa. d) Cuenta con indicadores para medir los avances en el logro de sus resultados. Respuesta (Valoración 5 /16) Si / Nivel 1 El plan estratégico tiene una de las características establecidas. Justificación Puede señalarse que en el Programa Anual de Trabajo 2011 del SESNSP se realiza la planeación institucional 2010- 2012 donde se da cuenta de las prioridades y elementos estratégicos, mismos que se redefinen en el Programa Anual de Trabajo 2013. PAT 2013, pero ahí no se establecen los procedimientos para la planeación. Sin embargo, debido a la propuesta de compactación de programas concluida en julio de 2013, en el PAT 2013 no se contempla el mediano plazo. El PAT sí establece los resultados que se quieren alcanzar, pero con base en cómo se encontraba el P014 en 2012, con la definición inadecuada que aquí se ha mencionado, por lo que los resultados que se quieren alcanzar y los indicadores de avance de los procesos, para el año 2013, son inadecuados o irrelevantes. Sugerencias Concluir el proceso de compactación y el rediseño de metas, objetivos e indicadores. 36 37 15. El programa cuenta con planes de trabajo anuales para alcanzar sus objetivos que: a) Son resultado de ejercicios de planeación institucionalizados, es decir, siguen un procedimiento establecido en un documento. b) Son conocidos por los responsables de los principales procesos del programa. c) Tienen establecidas sus metas. d) Se revisan y actualizan. Respuesta Si / Nivel 1 Los planes de trabajo anuales tienen una de las características establecidas Justificación Véase la justificación a la respuesta 14. Los Planes Anuales de Trabajo sí existen, siguen un procedimiento, son conocidos, tienen establecidas sus metas y se revisan y actualizan de forma anual. Sin embargo, el Programa de Trabajo Anual 2013 sólo señala la obligación radicada en la Dirección General de Planeación para “Establecer la cóórdinación, registró y seguimiento a los acuerdos del Consejo Nacional y las Conferencias Nacionales con el fin de contar con información respecto del estatus que guardan, y se plantea como meta el desarrollar como mínimo dos informes de seguimiento de los acuerdos; Además, al no estar sistematizada la información relacionada con dicha coordinación, registro y seguimiento de los acuerdos, puede señalarse que no responde a un ejercicio planificado, no se tiene una definición exacta de los objetivos del programa, por lo que las metas establecidas son irrelevantes y las revisiones y actualizaciones han quedado en meros documentos de trabajo. Sugerencia En el proyecto de rediseño y compactación, se contemplen los mecanismos y procedimientos de recolección, sistematización y automatización de información que apoyen a un proceso de planeación, con base en y retroalimentados por los resultados obtenidos. 38 IV .2.2 De la orientación hacia resultados y esquemas o procesos de evaluación 16. El programa utiliza informes de evaluaciones externas: 39 a) De manera regular, es decir, uno de los elementos para la toma de decisiones sobre cambios al programa son los resultados de evaluaciones externas. b) De manera institucionalizada, es decir, sigue un procedimiento establecido en un documento. c) Para definir acciones y actividades que contribuyan a mejorar su gestión y/o sus resultados. d) De manera consensada, participan operadores, gerentes y personal de la unidad de planeación y/o evaluación. Respuesta Si / Nivel 4 El programa utiliza informes de evaluación externa y tiene todas las características establecidas. Justificación Existe al menos una evaluación externa previa relacionada con el programa. En ella se señaló expresamente parte de la problemática planteada. Es a partir de dicha evaluación que se ha trabajado en el rediseño y de donde surge la propuesta de compactación de presupuestales que se espera esté funcional para el año 2014. diseño del hasta aquí proceso de programas Se piensa que en este rediseño se tenga una nueva MIR, un árbol de problemas y objetivos diferentes, así como una nueva estructura analítica presupuestal. 17. Del total de los Aspectos Susceptibles de Mejora (ASM) clasificados como específicos y/o institucionales de los últimos tres años, ¿qué porcentaje han sido solventados acorde con lo establecido en los documentos de trabajo y/o institucionales? 40 Respuesta Si /Nivel 1 Justificación Aunque hasta el momento de esta evaluación no se ha solventado ningún ASM11 debido a que en el año 2013, se sigue trabajando con una MIR, una ficha técnica y una estructura analítica similar a la del año 2012, existen trabajos de rediseño que se espera estén operativos a partir del año 2014 y en los cuales se está atendiendo a esta problemática. (Ver justificación a las preguntas 14 a 16) y el anexo 8. Sugerencia Contemplar en el rediseño la sistematización de toda la información relacionada con la cóórdinación cón instancias, de acuerdó cón lós “Criteriós para la actualización de la matriz de indicadores para resultados y selección de indicadores para el presupuesto de egresós de la federación 2014” en vigór a partir del 28 de junió del 2013. http://www.shcp.gob.mx/EGRESOS/PEF/Paginas/sed.aspx Se puede utilizar la metodología planteada en los lineamientos para la revisión, actualización, calendarización y seguimiento de la matriz de indicadores para resultados de los programas presupuestarios del año 2012 y del 2013. Así mismo, puede utilizarse el documento Cédula: Conceptos básicos del presupuesto basado en resultados- Sistema de evaluación del desempeño (PbR- SED) de la SHCP. http://www.shcp.gob.mx/EGRESOS/sitio_pbr/Documents/090811CeduladelPbRSED.pdf Aspectos susceptibles de mejora. Programas Presupuestarios a cargo del Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública. Archivo P014 Aspectos susceptibles de mejora 2011.pdf 11 41 18. ¿Con las acciones definidas en los documentos de trabajo e institucionales, que a la fecha se han implementado, provenientes de los Mecanismos para el seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones a los programas presupuestarios de la Administración Pública Federal de los últimos tres años, se han logrado los resultados establecidos? 42 Respuesta (No procede valoración cuantitativa) No se ha realizado ningún cambio basado en los Aspectos Susceptibles de Mejora debido a que el programa se encuentra bajo el proceso de rediseño. Justificación Hasta el momento no se ha logrado ningún resultado establecido. Véase la justificación correspondiente a la pregunta 17, sin embargo se están realizando trabajos de rediseño respecto al replanteamiento del programa P014. Sugerencia Con base en la revisión de los artículos 7 y 18 de la Ley General del Sistema Nacional de Seguridad Pública fijar las actividades, componentes, propósitos y fines de la MIR para el rediseño y compactación que está actualmente en proceso (En particular, en lo que tiene que ver con la Coordinación con las instancias que integran el SNSP). Para ello puede utilizarse el documento Cédula: Conceptos básicos del presupuesto basado en resultados- Sistema de evaluación del desempeño (PbR- SED) de la SHCP. http://www.shcp.gob.mx/EGRESOS/sitio_pbr/Documents/090811CeduladelPbRSED.pdf 19. ¿Qué recomendaciones de la(s) evaluación(es) externa(s) de los últimos tres años no han sido atendidas y por qué? Respuesta (No procede valoración cuantitativa) Las recomendaciones están en proceso de atención y se tiene estimado concluirlas conjuntamente con la propuesta de rediseño y compactación de programas presupuestarios. Justificación Las recomendaciones se contemplan íntegramente en la propuesta de rediseño y compactación de programa presupuestarios que estará vigente a partir del año 2014. 43 20. A partir del análisis de las evaluaciones externas realizadas al programa y de su experiencia en la temática ¿qué temas del programa considera importante evaluar mediante instancias externas? 44 Respuesta En evaluaciones anteriores se encontró que el programa cuenta con una inadecuada definición del problema pues no cubre por completo el espectro de las funciones y acciones que el Secretariado tiene para la ejecución y seguimiento de los acuerdos del Consejo Nacional de Seguridad Pública. Así, aunque la alineación que presenta el programa es adecuada, los objetivos establecidos en los resúmenes narrativos de la MIR son inconsistentes en la alineación con los objetivos superiores. También se encontró que el programa no cuenta con definición de la población objetivo. Con objeto de fortalecer el programa se recomienda realizar las siguientes evaluaciones y actividades a) Revisión de la legislación. Dado que en la regulación y normatividad actual no existen los mecanismos ni procedimientos de control para que el SESNSP coordine de manera real a instancias externas. b) Revisión de la coordinación del SESNSP y la cooperación que otras instancias prestan para el cumplimiento y evaluación de los acuerdos: Que se revise y evalúe la vinculación entre el acuerdo, la planeación, la puesta en marcha del acuerdo, la coordinación y el análisis de los resultados. Aunque la Ley señala la obligación de coordinarse, en los hechos –al no existir sanciones– es más una cuestión política y de buena fé que una obligación. c) Bases de datos de los acuerdos (Qué debe hacerse y por qué). d) Bases de datos de los programas surgidos de los acuerdos (Qué se va a hacer para cumplir el acuerdo y cómo se va a hacer). e) Bases de datos de la operación y cumplimiento de los acuerdos (Qué se está haciendo, cuándo se está haciendo, quién lo está haciendo, cuánto está costando, 1. Bases de datos de los involucrados en el programa (Instancias, enlaces, reuniones, etc.). 2. Bases de datos de seguimiento de las actividades del programa. IV.2.3 De la generación de información 21. El Programa recolecta información acerca de: a) La contribución del programa a los objetivos del programa sectorial, especial o institucional. b) Los tipos y montos de apoyo otorgados a los beneficiarios en el tiempo. c) Las características socioeconómicas de sus beneficiarios. d) Las características socioeconómicas de las personas que no son beneficiarias, con fines de comparación con la población beneficiaria. Respuesta El programa no recolecta ninguna información Justificación Dado que se piensa que los beneficiarios son la población del país en su conjunto, además que los presupuestos se ejercen por distintas instancias sobre las cuales el SESNSP no tiene control alguno, por lo que se considera ocioso recolectar información alguna, de tal manera que no se cuenta con tipos y montos otorgados a los distintos programas. El programa no tiene beneficiarios por lo que los incisos b) c) y d) no aplican. El programa cuenta con instancias corresponsables en la ejecución y el cumplimiento de acuerdos, por lo que no se recolecta información y, por ello, se cuenta con un listado de los acuerdos aprobados por el CNSP (Concentrado de acuerdos del CNSP actualizado) en cada una de sus sesiones, pero no existe listado de instancias involucradas, tiempos en que se cumplió el acuerdo, actividades realizadas, etc.. 45 22. El programa recolecta información para monitorear su desempeño con las siguientes características: a) b) c) d) Es oportuna. Es confiable, es decir, está validada por quienes las integran. Está sistematizada. Es pertinente respecto de su gestión, es decir, permite medir los indicadores de Actividades y Componentes. e) Está actualizada y disponible para dar seguimiento de manera permanente. Respuesta No El programa no recolecta información Justificación Aunque hay existencia de expedientes y carpetas con información, en general el programa no cuenta con mecanismos de recolección de información, no existen bases de datos y no se sistematiza. El archivo consta de información escaneada, pero no cuenta con un mecanismo que permita dar seguimiento permanente a las actividades del programa. Por otro lado, como muchos de los compromisos requieren de cabildeo político y de actividades que quedan fuera del alcance de los operadores del programa, son frecuentes los retrasos en la entrega de información y se observa desinterés para remediar aquellas situaciones que, en los hechos corresponde a los mismos operadores corregir. Esto implica, a su vez, que la información ni es pertinente ni está actualizada. 46 Tema IV.3. Cobertura y focalización IV.3.1. Análisis de cobertura 23. El programa cuenta con una estrategia de cobertura documentada para atender a su población objetivo con las siguientes características: a) b) c) d) Incluye la definición de la población objetivo. Especifica metas de cobertura anual. Abarca un horizonte de mediano y largo plazo. Es congruente con el diseño del programa. Respuesta Si / Nivel 1 La información que recolecta el programa cuenta con una o dos de las características establecidas. Justificación Aunque el prógrama tiene dócumentós cómó la “ficha técnica del programa P01412” y el denominado “Estructura analítica del programa presupuestal13”; se considera inadecuada la definición de la población objetivo y con ello las metas de cobertura y los horizontes de mediano y largo plazo caen también en la indefinición. Sugerencia Definir, en el proyecto de rediseño y compactación, a la población objetivo en función de las recómendaciónes de diseñó señaladas pór la UNAM que indican que “la Población o área de enfoque […] debe ir dirigido (sic) propiamente a la (s) Unidad (es) Responsable (s) encargada (s) de ejecutar y dar seguimiento a los acuerdos del Consejo Nacional de Seguridad Pública, por lo que se denominaría Área de Enfoque y no Población. Se sugiere que el Área de Enfoque potencial sean todas las áreas 12 13 ficha técnica P014 p01 Estructura Analítica –P14-FDO 47 sustantivas del Secretariado que tienen como función y/o facultad ejecutar y dar seguimiento a los acuerdos del Consejo Nacional de Seguridad Pública y que el Área de Enfoque objetivo sean las áreas sustantivas del Secretariado que tienen como función y/o facultad ejecutar y dar seguimiento a los acuerdos del Consejo Nacional de Seguridad Pública emitidos en las Sesiones efectuadas en el periodo presupuestal córrespóndiente.” 48 24. ¿El programa cuenta con mecanismos para identificar su población objetivo? En caso de contar con estos, especifique cuáles y qué información utiliza para hacerlo. Respuesta (No procede valoración cuantitativa) No se cuenta con mecanismos para identificar a la población objetivo. Justificación Existen problemas de conceptualización en la identificación de la población objetivo. No existe mecanismo alguno que le permita identificar su población objetivo (las instancias involucradas en el cumplimiento de los acuerdos) Sólo existe el Concentrado de acuerdos del CNSP actualizado. 49 25. A partir de las definiciones de la población potencial, la población objetivo y la población atendida, ¿cuál ha sido la cobertura del programa? Respuesta (No procede valoración cuantitativa) No aplica Justificación En virtud que hay indefinición de la población y no existe mecanismo de recolección ni de sistematización de información, la cobertura del programa está indeterminada. 50 Tema IV. Operación IV.4.1. Análisis de los procesos establecidos en las ROP o normativa aplicable 26. Describa mediante Diagramas de Flujo el proceso general del programa para cumplir con los bienes y los servicios (Componentes), así como los procesos clave en la operación del programa. Respuesta (No procede valoración cuantitativa) El programa P014 no está sujeto a las Reglas de Operación14. El diagrama de flujo está en la siguiente página. Cabe señalar que dicho diagrama sugiere de manera enunciativa las actividades más generales para cumplir con las actividades de coordinación, evaluación y seguimiento como se piensa debe operar una vez que se tenga finalizado el proyecto de rediseño y compactación de programas presupuestarios llevado a cabo por la Dirección de Planeación y no contempla las actividades del programa P014, como se encuentra operando en este momento. 14 Catálogo de programas sujetos a reglas de operación 2013 51 Reunión Del CNSP P014 Seguimiento de Acuerdos Acuerdo ¿Por qué se va a hacer? El acuerdo debe tener como antecedente un diagnóstico previo que hace que algo sea considerado como problema digno de resolver La ejecución y el seguimiento tienen que hacerse para verificar que el acuerdo se ejecute en tiempo y de forma eficaz y eficiente Tipo de acuerdo Bases de datos ¿Qué se va a hacer? ¿Por qué se va a hacer? ¿Para qué se va a hacer? ¿Cuánto se va a hacer? ¿Dónde se va a hacer? ¿Cómo se va a hacer? ¿Cuándo se va a hacer? ¿Quién lo va hacer? ¿Con qué se va a hacer? ¿Cómo se va a evaluar? ¿Para qué se va a hacer? El acuerdo no debe tomarse como un fin en si mismo, sino como la elaboración de un mecanismo que permita la resolución de un conflicto mayor. El SESNSP mediante el programa P014 realiza la ejecución y seguimiento de los acuerdos para verificar su cumplimiento. La ley obliga ¿Cuánto se va a hacer? Dentro de las actividades del programa P014 se debe hacer lo necesario para el seguimiento y verificación del cumplimiento de los acuerdos. El SESNSP toma en cuenta el entorno y desarrolla los parámetros contra los cuales medirá el éxito o el fracaso del proyecto considerando impacto y proceso ¿Dónde se va a hacer? Esto implica el que existe un ámbito geográfico específico, ya que un acuerdo puede involucrar sólo a la federación, a la federación y entidades federativas o a los tres niveles de gobierno; asimismo puede estar involucrado sólo un poder o los tres. Así se debe especificar a los niveles de gobierno, los poderes y ámbito geográfico del acuerdo. El SESNSP identifica toda el área de influencia, instancias involucradas, actividades y recursos del acuerdo y genera mecanismos de seguimiento específicos Acuerdo Diseño de equipo Dirección del proyecto, Roles, definición de funciones, organización interna, modelo de reportes SESNSP e Instancias involucradas Asignación y Definición de actividades de cada instancia. Matriz de responsabilidades Elaboración Matriz de riesgos Elaboración Asignación de Recursos humanos Materiales Técnicos Financieros Informe al SESNSP Con documentos probatorios Actividades realizadas Mecanismos de comprobación e indicadores de gestión Se cumplió el acuerdo Fin Si ¿Cómo se va a hacer? Implica el método utilizado para resolver el problema. En cada acuerdo se señala la creación de grupos que deberán ponerse de acuerdo en cómo cumplir con dicho acuerdo El seguimiento para la ejecución del acuerdo implica verificar las acciones para su cumplimiento En el SESNSP existe un área que instrumenta y pone en marcha los mecanismos adecuados que permitan monitorear y dar seguimiento al cumplimiento de los acuerdos. En este punto es donde se llevan a cabo las actividades de planeación, operación, vigilancia, control y supervisión de la ejecución de cada acuerdo ¿Cuándo se va a hacer? En el acuerdo generalmente se señala un compromiso respecto de los tiempos límite para establecer algún mecanismo o cumplir el propio acuerdo El SESNSP, por ley, realiza las acciones para la ejecución de los acuerdos que le competen y para dar seguimiento cuando el acuerdo recae también en otras instancias, para verificar que se hagan en tiempo y de forma eficaz y eficiente. ¿Quién lo va a hacer? En el acuerdo generalmente se señalan a los integrantes responsables de ejecutar el acuerdo El SESNSP genera y sistematiza los mecanismos de supervisión y control, por acuerdo, que contiene a las instancias recursos, tiempos, acciones, responsabilidades, actividades y riesgos ¿Con qué se va a hacer? En el acuerdo generalmente no se indica qué recursos humanos, materiales, técnicos o financieros se utilizarán. El SESNSP genera los mecanismos de comunicación (formatos, cuestionarios) que permitan conocer a detalle instancias involucradas y recursos a utilizar en la ejecución del programa; así como las funciones que desempeñará cada instancia y recurso, la concurrencia y quién ejerce la dirección conjunta del proyecto. Validación y auditoría en su caso No Evaluación y seguimiento ¿Que se va a hacer? El acuerdo en sí, implica la reacción institucional a un problema de seguridad pública que se pretende resolver. El propósito del programa P014 es monitorear la ejecución y el seguimiento del acuerdo ¿Cómo se va a evaluar? De acuerdo a los parámetros de éxito o fracaso desarrollados por el SESNSP 52 27. ¿El programa cuenta con información sistematizada que permite conocer la demanda total de apoyos y las características de los solicitantes? (socioeconómicas en el caso de personas físicas y específicas en el caso de personas morales) Requerimientos a) b) c) d) Protocolos de recolección de información Formatos Bases de datos de solicitantes Sistemas de información Respuesta No aplica Justificación Este programa no cuenta con solicitantes de apoyo ya que da el seguimiento a las acciones de distintas instancias en la ejecución de los acuerdos del Sistema. En la aplicación de este programa el SESNSP solicita información a distintas instancias para verificar la ejecución y el cumplimiento de acuerdos. Sin embargo puede señalarse que el programa no cuenta con información sistematizada que permita conocer las características de las instancias responsables de la ejecución de los acuerdos. Sugerencia Contemplar la generación de información sistematizada en el proyecto de rediseño y compactación que se encuentra en proceso. Esto permitirá conocer con mayor detalle, la cantidad, tipo y calidad de los diagnósticos en que se basan las instancias coordinadas y ejecutoras para la selección y ejecución de proyectos y programas, entre los que se incluiría la realización de acuerdos. Para ello se sugiere tomar en cuenta la información mínima contemplada en el diagrama de flujo. 53 28. Los procedimientos para recibir, registrar y dar trámite a las solicitudes de apoyo cuentan con las siguientes características: a) b) c) d) Corresponden a las características de la población objetivo. Existen formatos definidos. Están disponibles para la población objetivo. Están apegados al documento normativo del programa. Respuesta No aplica Justificación En este programa el SESNSP no recibe, registra ni da trámite a solicitudes de apoyo. Puede señalarse que el programa no cuenta con procedimientos para registrar ni hacer seguimiento sistematizado de las solicitudes de información a otras instancias que le permitan realizar seguimiento y evaluación puntual de la ejecución de acuerdos. Esto genera un problema grave, ya que no se cuenta con información puntual de lo que se ha avanzado en materia de acuerdos, poniendo en riesgo los propios acuerdos políticos entre federación, entidades y organizaciones de la sociedad, entre otros, que participan en el CNSP. Sugerencia Contemplar la elaboración y sistematización de procedimientos de registro para que se puedan conocer el tipo y características de las diversas solicitudes de información que se realizan a las distintas instancias ejecutoras de los proyectos, programas y acuerdos. Además, se sugiere valorar, como se ha dicho previamente, la creación de un mecanismo para alinear los apoyos dados por las distintas instancias en cuanto a presupuesto, tiempo y actividades. 54 29. El programa cuenta con mecanismos documentados para verificar el procedimiento para recibir, registrar y dar trámite a las solicitudes de apoyo con las siguientes características: a) Son consistentes con las características de la población objetivo. b) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras c) Están sistematizados. d) Están difundidos públicamente. Respuesta No aplica Justificación En este programa el SESNSP no recibe, registra ni da trámite a solicitudes de apoyo. No existe un mecanismo documentado a través del cual se pueda hacer seguimiento y evaluación de las solicitudes de información a distintas instancias que le permitan un seguimiento puntual de la ejecución de acuerdos. Sugerencia Diseñar un mecanismo para sistematizar el intercambio de información entre operadores del programa, que permita tramitar solicitudes, recibirlas y registrarlas y para el caso de las solicitudes de información que deben venir acompañadas de documentos probatorios un mecanismo que permita clasificar acciones, tiempos y gastos realizados por las distintas instancias coordinadas por el SENSPS. A esto se le debe añadir la capacidad de conocer los tiempos de respuesta y la atención o trámite y tipo de respuesta dado a las distintas solicitudes de apoyo por posible población beneficiaria, realizadas a las distintas instancias, coordinadas por el SESNSP, involucradas en la ejecución y seguimiento de los proyectos, programas y acuerdos Para ello se puede considerar la información mínima contemplada en el diagrama de flujo. 55 30. Los procedimientos del programa para la selección de beneficiarios y/o proyectos tienen las siguientes características: a) Incluyen criterios de elegibilidad claramente especificados, es decir, no existe ambigüedad en su redacción. b) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras. c) Están sistematizados. d) Están difundidos públicamente. Respuesta No aplica Justificación En este programa el SESNSP no cuenta con beneficiarios directos. Sugerencia Redefinir cuál es el mecanismo de decisión y la elaboración de diagnósticos para la propuesta de realización de programas o proyectos, para brindar apoyos a la posible población beneficiaria, bajo los parámetros aquí planteados, esto debe ser contemplado en el proyecto de rediseño y compactación que se encuentra en proceso. 56 31. El programa cuenta con mecanismos documentados para verificar el procedimiento de selección de beneficiarios y/o proyectos y tienen las siguientes características: a) Permiten identificar si la selección se realiza con base en los criterios de elegibilidad y requisitos establecidos en los documentos normativos. b) Están estandarizados, es decir son utilizados por todas las instancias ejecutoras. c) Están sistematizados. d) Son conocidos por operadores del programa responsables del proceso de selección de proyectos y/o beneficiarios. Respuesta No aplica Justificación En este programa el SESNSP no cuenta con beneficiarios, sino operadores encargados de transmitir y verificar avances en políticas, programas, proyectos y actividades derivadas del cumplimiento de acuerdos políticos alcanzados en las sesiones del CNSP. Sin embargo, sí requiere, tal como se ha mencionado de mecanismos documentados para realizar el seguimiento de las acciones de las distintas instancias para la ejecución y aplicación de los acuerdos. Sugerencia En el proyecto de rediseño y compactación que se encuentra en proceso contemplar la elaboración de procedimientos de verificación en la selección de solicitudes de apoyo realizadas, por la posible población beneficiaria, a las instancias involucradas en los programas, acuerdos y proyectos coordinados por el SESNSP; los diagnósticos realizados, apoyos brindados y el mecanismo de comunicación hacia el SESNSP. Para ello se sugiere tomar en cuenta la información mínima contemplada en el diagrama de flujo. 57 32. Los procedimientos para otorgar los apoyos a los beneficiarios tienen las siguientes características: a) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras. b) Están sistematizados. c) Están difundidos públicamente. d) Están apegados al documento normativo del programa. Respuesta No aplica Justificación En este programa el SESNSP no otorga apoyos. El programa no cuenta con procedimientos que le permitan saber de qué forma se aplican los recursos por las instancias, en la ejecución de los acuerdos. Sugerencia En el proyecto de rediseño y compactación que se encuentra en proceso se pueden contemplar los procedimientos de operación de los acuerdos y la sistematización de información derivada de dicha operación para aplicar la evaluación y seguimiento en tiempo y forma de las actividades realizadas, revisar la documentación probatoria de las actividades, validarlas, corroborar presupuestos ejercidos y población beneficiada por los proyectos, acuerdos y programas realizados por las distintas instancias involucradas coordinadas por el SESNSP. 58 33. El programa cuenta con mecanismos documentados para verificar el procedimiento de entrega de apoyos a beneficiarios y tienen las siguientes características: a) Permiten identificar si los apoyos a entregar son acordes a lo establecido en los documentos normativos del programa. b) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras. c) Están sistematizados. d) Son conocidos por operadores del programa. Respuesta No aplica Justificación En este programa el SESNSP no hace entrega de apoyos. El programa no cuenta con mecanismos documentados que le permitan conocer de qué forma se aplican los recursos por parte de las instancias ejecutoras. Sugerencia Que En el proyecto de rediseño y compactación que se encuentra en proceso se contemplen los procedimientos y sistematización de información para la evaluación y seguimiento adecuado de los presupuestos de los programas, acuerdos y proyectos coordinados por el SESNSP y se pueda validar, en su caso, la entrega de apoyos a la población beneficiada por las instancias involucradas en los programas, proyectos y acuerdos coordinados por el SESNSP. 59 34. Los procedimientos de ejecución de obras y/o acciones tienen las siguientes características: a) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras. b) Están sistematizados. c) Están difundidos públicamente. d) Están apegados al documento normativo del programa. Respuesta No aplica Justificación En este programa el SESNSP no ejecuta obras sino que hace seguimiento de la ejecución de programas específicos que se realizan en otras instancias. El programa no cuenta con procedimientos que le permitan conocer de qué forma se ejecutaron las obras o se llevó a cabo la ejecución de los acuerdos por las instancias ejecutoras. En ese sentido, la ejecución de obras se interpretaría como la acción, clasificar, documentar y garantizar el acceso público a los avances alcanzados en los acuerdos a los que se da seguimiento, cuestión que actualmente se realiza de una manera muy limitada, lo cual impide que se pueda dar cumplimiento a los requisitos establecidos de esta pregunta. Sugerencia Crear un mecanismo sistematizado que permita la evaluación y seguimiento adecuado respecto de los procedimientos para la ejecución de obra por las instancias involucradas en los programas, proyectos y acuerdos coordinados por el SESNSP. Para ello se tome en cuenta la información mínima contemplada en el diagrama de flujo. 60 35. El programa cuenta con mecanismos documentados para dar seguimiento a la ejecución de obras y acciones y tienen las siguientes características: a) Permiten identificar si las obras y/o acciones se realizan acorde a lo establecido en los documentos normativos del programa. b) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras. c) Están sistematizados. d) Son conocidos por operadores del programa. Respuesta No aplica Justificación En este programa el SESNSP no ejecuta obras sino que hace seguimiento de la ejecución de programas específicos que se realizan en otras instancias. El SESNSP no cuenta con mecanismos documentados para dar seguimiento a la ejecución de obras y acciones. Como se ha mencionado en la pregunta anterior, si la ejecución de obras se interpreta como todos los procedimientos administrativos y operativos que implica garantizar la consecución de un archivo diseñado para tener una claridad instrumental en el cumplimiento de los acuerdos de cada instancia participante, se puede entender que el programa P014 requiere aún de mucho trabajo para lograr esa meta. Sugerencia Integrar protocolos de sistematización de información con base en indicadores definidos por el tipo y complejidad de los acuerdos a los cuales se les debe dar seguimiento en el proyecto de rediseño y compactación que se encuentra en proceso. Esto contemplaría las acciones realizadas en la ejecución de obra por tipo de gasto, tiempo, tipo de obra, población beneficiada por las instancias involucradas en los programas y proyectos distinguiendo los acuerdos coordinados por el SESNSP de aquellos a los que solo da seguimiento. 61 IV.2. Mejora y simplificación regulatoria. 36. ¿Cuáles cambios sustantivos en el documento normativo se han hecho en los últimos tres años que han permitido agilizar el proceso de apoyo a los solicitantes? Respuesta No aplica Justificación El programa no proporciona apoyo a ningún solicitante Sugerencia Que en el proyecto de rediseño y compactación que se encuentra en proceso se realice un estudio del documento normativo y se propongan los cambios pertinentes a la regulación que permitan que el SESNSP pueda realizar una coordinación eficiente y eficaz de los distintos procesos de solicitud de información a las instancias involucradas. 62 IV.3. Organización y gestión. 37. ¿Cuáles son los problemas que enfrenta la unidad administrativa que opera el programa para la transferencia de recursos a las instancias ejecutoras y/o a los beneficiarios y, en su caso, qué estrategias ha implementado? 63 Respuesta No aplica Justificación El programa no transfiere recursos a las instancias ejecutoras ni cuenta con información sistematizada de cuantos recursos se ejercen por dichas instancias. Sugerencia Aún cuando no se transfieren recursos, se propone que se implanten mecanismos adecuados para que la unidad administrativa pueda realizar un seguimiento a los recursos ejercidos y la población beneficiada por las distintas instancias ejecutoras, y conocer el tipo de estrategia que han implementado éstas, todo en función de los acuerdos a los cuales se da seguimiento, en particular, a los que coordina el SENSP. IV.4. Eficiencia y economía operativa del programa 38. El programa identifica y cuantifica los gastos en los que incurre para generar los bienes y los servicios (Componentes) que ofrece y los desglosa en los siguientes conceptos: 64 Gastos en operación: Directos e Indirectos. Gastos en mantenimiento: Requeridos para mantener el estándar de calidad de los activos necesarios para entregar los bienes o servicios a la población objetivo (unidades móviles, edificios, etc.). Considere recursos de los capítulos 2000 y/o 3000. Gastos en capital: Son los que se deben afrontar para adquirir bienes cuya duración en el programa es superior a un año. Considere recursos de los capítulos 5000 y/o 6000 (Ej.: terrenos, construcción, equipamiento, inversiones complementarias). Gasto unitario: Gastos Totales/población atendida (Gastos totales=Gastos en operación + gastos en mantenimiento). Para programas en sus primeros dos años de operación se deben de considerar adicionalmente en el numerador los Gastos en capital. Respuesta En la siguiente tabla se desglosan los gastos realizados por el programa, como se puede observar, sus gastos principalmente están destinados a la operación del programa. OG Total 1100 Remuneraciones al personal de caracter permanente $48,270,329 1200 Remuneraciones al personal de caracter transitorio $42,274,702 1300 Remuneraciones adicionales y especiales 1400 Seguridad social 1500 Otras prestaciones sociales y economicas 2100 Materiales de administracion, emision de documentos y articulos oficiales $7,709,201 $36,606,025 $134,921,281 $2,390,961 2200 Alimentos y utensilios $202,400 2600 Combustibles, lubricantes y aditivos $587,959 2700 Vestuario, blancos, prendas de proteccion y articulos deportivos 3100 Servicios basicos $10,000 $6,338,855 3200 Servicios de arrendamiento $18,781,930 3300 Servicios profesionales, cientificos, tecnicos y otros servicios $32,889,024 3400 Servicios financieros, bancarios y comerciales 3500 Servicios de instalacion, reparacion, mantenimiento y conservacion 3600 Servicios de comunicacion social y publicidad 3700 Servicios de traslado y viaticos 3800 Servicios oficiales 3900 Otros servicios generales 4400 Ayudas sociales Total W00 Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública $266,085 $3,918,344 $622,700 $9,700,337 $14,196,926 $6,264,646 $8,800 $365,960,505 Justificación El programa no genera bienes y no ofrece servicios. El programa hace un seguimiento de los acuerdos del CNSP. Independientemente de ello, no se tuvo acceso directo a información de la instancia evaluada respecto del gasto realizado en el programa. La información que, al respecto, se presenta, se obtuvo de la página de la SHCP. Sugerencia Iniciar un proceso de transparentación interna que permita identificar los gastos en que incurre tanto el SESNSP en la coordinación, ejecución y seguimiento como las instancias coordinadas para la ejecución y realización de proyectos. Es decir exista la obligación de informar al SESNSP para que éste pueda alinear los procesos en tiempo y forma. 65 39. ¿Cuáles son las fuentes de financiamiento para la operación del programa y qué proporción del presupuesto total del programa representa cada una de las fuentes? 66 Respuesta La Secretaría de Hacienda y Crédito Público es la que aporta el 100% del presupuesto del programa, cuyo objeto de gasto en 2013 se divide como se muestra en la imagen siguiente, que es la misma a la respuesta 28. OG Total 1100 Remuneraciones al personal de caracter permanente $48,270,329 1200 Remuneraciones al personal de caracter transitorio $42,274,702 1300 Remuneraciones adicionales y especiales 1400 Seguridad social 1500 Otras prestaciones sociales y economicas 2100 Materiales de administracion, emision de documentos y articulos oficiales $7,709,201 $36,606,025 $134,921,281 $2,390,961 2200 Alimentos y utensilios $202,400 2600 Combustibles, lubricantes y aditivos $587,959 2700 Vestuario, blancos, prendas de proteccion y articulos deportivos 3100 Servicios basicos $10,000 $6,338,855 3200 Servicios de arrendamiento $18,781,930 3300 Servicios profesionales, cientificos, tecnicos y otros servicios $32,889,024 3400 Servicios financieros, bancarios y comerciales 3500 Servicios de instalacion, reparacion, mantenimiento y conservacion 3600 Servicios de comunicacion social y publicidad 3700 Servicios de traslado y viaticos 3800 Servicios oficiales 3900 Otros servicios generales 4400 Ayudas sociales Total W00 Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública $266,085 $3,918,344 $622,700 $9,700,337 $14,196,926 $6,264,646 $8,800 $365,960,505 IV.5. Sistematización de la información. 40. Las aplicaciones informáticas o sistemas institucionales con que cuenta el programa tienen las siguientes características: a) Cuentan con fuentes de información confiables y permiten verificar o validar la información capturada. b) Tienen establecida la periodicidad y las fechas límites para la actualización de los valores de las variables. c) Proporcionan información al personal involucrado en el proceso correspondiente. Respuesta No existen aplicaciones informáticas Justificación No existen aplicaciones informáticas ni algún sistema institucional que permita validar o verificar la información, por ello no se tiene establecida alguna periodicidad ni fecha límite para la actualización de ninguna variable ni se genera información que se proporcione al personal involucrado. Sugerencia Desarrollar una aplicación informática que hagan posible la sistematización de toda la información relacionada al programa, entre la que se debe incluir tiempos de entrega recepción de comunicación y avances en los acuerdos, responsables o enlaces designados, sistemas de búsqueda relacional para temas de comunes a más de una instancia y seguimiento a gastos de operación del programa. 67 IV.6. Cumplimiento y avance en los indicadores de gestión y productos 41. ¿Cuál es el avance de los indicadores de servicios y de gestión (Actividades y Componentes) y de resultados (Fin y Propósito) de la MIR del programa respecto de sus metas? 68 Respuesta De acuerdo con el sitio de transparencia presupuestaria, cuya consulta se realizó el día 22 de junio del 2013, los avances para el ciclo 2012, en cuanto a indicadores de cumplimiento, son los siguientes: INDICADORES Denominación Método de cálculo Unidad de medida Tipo-Dimensión-Frecuencia Meta Programada Meta Alcanzada Porcentaje de avance de los Porcentaje total del cumplimiento de metas de los programas Porcentaje programas con prioridad nacional con prioridad nacional / 32 acordados por el Consejo Nacional de Seguridad Pública Estratégico-EficienciaSemestral 85.00 27.03 Porcentaje de Acuerdos del (Número de acuerdos del CNSP ejecutados/Número de Porcentaje Consejo Nacional de Seguridad acuerdos aprobados) * 100 Pública ejecutados Estratégico-EficienciaSemestral 62.50 206.25 Porcentaje de acuerdos elaborados por el Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública que son aprobados por el Consejo Nacional de Seguridad Pública Porcentaje de sesiones del Consejo Nacional de Seguridad Pública realizadas Estratégico-EficienciaSemestral 31.25 206.25 Número de Porcentaje Gestión-Eficacia-Semestral N/A N/A Porcentaje de informes de (Número de informes de actividades presentados al CNSP / Porcentaje actividades presentados al Total de informes de actividades programados) * 100 Consejo Nacional de Seguridad Pública Gestión-Eficacia-Semestral 100.00 50.00 (Número de acuerdos aprobados por el CNSP que fueron Porcentaje elaborados por el SESNSP/Número total de acuerdos aprobados por el CNSP) * 100 (Número se sesiones del CNSP realizadas / sesiones del CNSP programadas) * 100 http://www.transparenciapresupuestaria.gob.mx/Portal/transform.nodo?id=4.0&tra nsformacion=s&excel=n&zip=n&paramts=0=L511282 Sin embargo, como se ha señalado a lo largo de este documento, dichos indicadores, al estar mal definidos no tienen relación con el cumplimiento del programa. IV.7. Rendición de cuentas y transparencia. 42. El programa cuenta con mecanismos de transparencia y rendición de cuentas con las siguientes características: a) Las ROP o documento normativo están disponibles en la página electrónica de manera accesible, a menos de tres clics. b) Los resultados principales del programa son difundidos en la página electrónica de manera accesible, a menos de tres clics. c) Cuenta con un teléfono o correo electrónico para informar y orientar tanto al beneficiario como al ciudadano en general, disponible en la página electrónica, accesible a menos de tres clics. d) La dependencia o entidad que opera el Programa no cuenta con modificación de respuesta a partir de recursos de revisión. Respuesta El programa no cuenta con mecanismos de transparencia y rendición de cuentas. Justificación Aunque en la normatividad vigente existe la obligación del Secretariado Ejecutivo para llevar a cabo el programa P014, dicho programa no se encuentra dentro del Catálogo de Programas Sujetos a Reglas de Operación 2013, en el anexo 10 del Manual de Programación y Presupuesto 2013 y no existe algún procedimiento o metodología ni documento normativo del programa que valide su existencia de manera formal. Sugerencia Contemplar la creación de procedimientos de operación y sistematización de información para mejorar la transparencia y rendición de cuentas. 69 Tema V. Percepción de la población atendida. 43. El programa cuenta con instrumentos para medir el grado de satisfacción de su población atendida con las siguientes características: a) Su aplicación se realiza de manera que no se induzcan las respuestas. b) Corresponden a las características de sus beneficiarios. c) Los resultados que arrojan son representativos. Respuesta No aplica Justificación Este programa tiene la característica particular de ser él que pide información a sus enlaces/operadores debido a que su función primordial es la de dar seguimiento a acuerdos políticos. No significa, sin embargo, que cuente con algún mecanismo estandarizado para entrevistar o recolectar información de aquellos a los que da seguimiento. Cabe mencionar que la comunicación y coordinación entre la instancia a cargo del programa y sus ejecutores es insatisfactoria e insuficiente debido a que depende más de consideraciones políticas que de normatividad. Sugerencias Establecer reglas de comunicación enfocadas a obligar a las instancias ejecutoras a informar de manera pronta y expedita sobre los asuntos y acuerdos en ejecución de su competencia, incluyendo todos los documentos probatorios. 70 Tema VI. Medición de Resultados 44. ¿Cómo documenta el programa sus resultados a nivel de Fin y de Propósito? a) Con indicadores de la MIR. b) Con hallazgos de estudios o evaluaciones que no son de impacto. c) Con información de estudios o evaluaciones rigurosas nacionales o internacionales que muestran el impacto de programas similares. d) Con hallazgos de evaluaciones de impacto. Respuesta a) b) c) d) Si Si No No Justificación Se cuenta con el Reporte de la MIR en línea15 y además existe la “Evaluación externa de diseño efectuada al Programa P014 “Ejecución y seguimiento de acuerdos y resóluciónes del cónsejó naciónal de seguridad pública” realizada pór la UNAM la cual finalizó en julio de 2011. Sugerencias Avanzar en la elaboración de documentación de resultados. 15 http://www.transparenciapresupuestaria.gob.mx/Portal/transform.nodo?id=4.0&transformacion=s&e xcel=n&zip=n&paramts=0=L511282 71 45. En caso de que el programa cuente con indicadores para medir su Fin y Propósito, inciso a) de la pregunta anterior, ¿cuáles han sido sus resultados? Respuesta Si / Nivel 1. 72 No hay resultados positivos del programa a nivel de Fin y Propósito. Justificación Aunque hay resultados positivos del programa a nivel de fin y propósito, estos se consideran irrelevantes. Respecto del fin y propósito, el programa considera como objetivos los siguientes, NIVEL Fin Propósito OBJETIVOS Denominación Contribuir a la coordinación y cooperación entre los tres órdenes de gobierno para fortalecer las instituciones de seguridad pública y combatir eficazmente la delincuencia mediante el seguimiento de los acuerdos aprobados por el Consejo El Secretariado Ejecutivo consolida los acuerdos presentados al Consejo Nacional de Seguridad Pública para su aprobación. Porcentaje de avance de los programas con prioridad nacional acordados por el Consejo Nacional de Seguridad Pública Porcentaje de Acuerdos del Consejo Nacional de Seguridad Pública ejecutados Respecto al fin, se señala como meta alcanzada al 2012 el 27.03%, y respecto al propósito se cuenta con 206.25%, pero son metas que no cuentan con la definición adecuada ya que su diseño de origen no es funcional para evaluar la ejecución y seguimiento de acuerdos sino, parcialmente, la actividad burocrático- administrativa del SESNSP. 46. En caso de que el programa cuente con evaluación(es) externa(s) que no sea(n) de impacto y que permite(n) identificar hallazgo(s) relacionado(s) con el Fin y el Propósito del programa, inciso b) de la pregunta 44, dichas evaluaciones cuentan con las siguientes características: a) Se compara la situación de los beneficiarios en al menos dos puntos en el tiempo, antes y después de otorgado el apoyo. b) La metodología utilizada permite identificar algún tipo de relación entre la situación actual de los beneficiarios y la intervención del Programa. c) Dados los objetivos del Programa, la elección de los indicadores utilizados para medir los resultados se refieren al Fin y Propósito y/o características directamente relacionadas con ellos. d) La selección de la muestra utilizada garantiza la representatividad de los resultados entre los beneficiarios del Programa. Respuesta No aplica. Justificación El programa presupuestal no tiene beneficiarios Sugerencia Se elaboren los mecanismos de recolección de información necesarios para que se puedan realizar evaluaciones con las instancias involucradas. Es decir: a) Se compara la situación de las instancias involucradas en dos puntos en el tiempo, antes y después de otorgado presupuesto. (con indicadores de impacto) b) La metodología utilizada permite identificar relaciones entre la situación actual (con indicadores de impacto) y la intervención del programa. Ejemplo. Uno de los acuerdos es el de la creación de unidades antisecuestro, ¿el acuerdo se cumple? ¿mejoró la situación del secuestro? es decir, ¿hay menos? La reducción del secuestro ¿se debe a la intervención del programa?, entre otras. c) ¿La elección de los indicadores permite medir los resultados? d) La información recolectada ¿permite obtener resultados confiables? 73 47. En caso de que el programa cuente con evaluación(es) externa(s), diferente(s) a evaluaciones de impacto, que permite(n) identificar uno o varios hallazgos relacionados con el Fin y/o el Propósito del programa, ¿cuáles son los resultados reportados en esas evaluaciones? 74 Respuesta El programa cuenta con una evaluación de diseño, realizada por la UNAM. Los principales resultados fueron que La Estructura Analítica del Programa Presupuestal P014 cuenta con una inadecuada definición del problema El problema elaborado en el árbol de problemas no cubre por completo el espectro de las funciones y acciones que el Secretariado tiene para la ejecución y seguimiento de los acuerdos del Consejo Nacional de Seguridad Pública. La alineación que presenta el programa es adecuada, sin embargo los objetivos establecidos en los resúmenes narrativos de la MIR presentada por el programa muestran inconsistencias en la alineación con los objetivos superiores, por lo que se sugirió la construcción de una nueva matriz que reflejara una alineación adecuada de todos sus niveles con los objetivos superiores. En cuanto a la Población o Área de Enfoque, se evaluó que el programa no cuenta actualmente con una adecuada definición de las mismas El uso y destino del recurso no va dirigido de manera directa a algún sector de la ciudadanía, sino que debe ir dirigido propiamente a la (s) Unidad (es) Responsable (s) encargada (s) de ejecutar y dar seguimiento a los acuerdos del Consejo Nacional de Seguridad Pública, 48. En caso de que el programa cuente con información de estudios o evaluaciones nacionales e internacionales que muestran impacto de programas similares, inciso c) de la pregunta 44, dichas evaluaciones cuentan con las siguientes características: a) Se compara un grupo de beneficiarios con uno de no beneficiarios de características similares. b) La(s) metodología(s) aplicadas son acordes a las características del programa y la información disponible, es decir, permite generar una estimación lo más libre posible de sesgos en la comparación del grupo de beneficiarios y no beneficiarios. c) Se utiliza información de al menos dos momentos en el tiempo. d) La selección de la muestra utilizada garantiza la representatividad de los resultados. Respuesta No aplica. Justificación El programa presupuestal no tiene beneficiarios, por lo que la información referida en la pregunta es inexistente. 75 49. En caso de que el programa cuente con información de estudios o evaluaciones nacionales e internacionales que muestran impacto de programas similares ¿qué resultados se han demostrado? 76 Respuesta No aplica Justificación No se cuenta con información que permita identificar si se ha realizado evaluación de esta naturaleza 50. En caso de que el programa cuente con evaluaciones de impacto, con qué características de las siguientes cuentan dichas evaluaciones: a) Se compara un grupo de beneficiarios con uno de no beneficiarios de características similares. b) La(s) metodología(s) aplicadas son acordes a las características del programa y la información disponible, es decir, permite generar una estimación lo más libre posible de sesgos en la comparación del grupo de beneficiarios y no beneficiarios. c) Se utiliza información de al menos dos momentos en el tiempo. d) La selección de la muestra utilizada garantiza la representatividad de los resultados. Respuesta No aplica. Justificación El programa presupuestal no tiene beneficiarios, por lo que la información es inexistente. Sugerencia Construir los mecanismos de recolección de información necesarios para que se puedan realizar evaluaciones de impacto derivadas de las acciones e intervenciones realizadas como consecuencia de los proyectos, programas y acuerdos ejecutados por las distintas instancias coordinadas y que cumplan con requerido por los incisos a) al d). 77 51. En caso de que se hayan realizado evaluaciones de impacto que cumplan con al menos las características señaladas en los incisos a) y b) de la pregunta anterior, ¿cuáles son los resultados reportados en esas evaluaciones? 78 Respuesta No aplica Justificación La información es inexistente, no se han realizado evaluaciones de impacto a este programa. Conclusiones En general puede señalarse que la mayor parte de los problemas que presentó el programa en las distintas etapas de evaluación se derivan todas de la inadecuada definición del problema. Esto lleva a que el diseño no cumpla debidamente con las características de consistencia, resultados esperados y medición de indicadores. Derivado de lo mismo puede señalarse que cualquier proceso de planeación, si de origen tiene problemas en el diseño metodológico y la definición del problema que trata de resolver, obtendrá resultados que difícilmente cumplirán las expectativas, generando a su vez contradicciones entre los objetivos propuestos y los indicadores de medición proyectados para su operación. Como consecuencia de la cobertura y focalización en la operación resultan costosas y no ponderables porque se trabaja sobre lo que no se estaba buscando. En este caso, el programa P014 requiere de una reestructuración profunda que permita cambiar la medición de sus resultados con base en la redefinición de sus objetivos, fines y propósitos. Esta situación muestra también la necesidad que se tiene de crear un modelo estructurado y sistematizado capaz, al menos, permitir un seguimiento cualitativo de los acuerdos adquiridos por cada instancia participante o comprometida con algún acuerdo en las sesiones del CNSP. Sin embargo, las buenas noticias radican en que, al momento en que se desarrolló esta evaluación, está en marcha el proceso de rediseño y compactación presupuestaria, el cual puede resolver esta problemática, sí es que llega a buen término. 79 Bibliografía. González Guadarrama, Miguel Ángel. (Coord.) Evaluación externa de diseño efectuada al programa P014 Ejecución y Seguimiento de Acuerdos y Resoluciones del Consejo Nacional de Seguridad Pública. UNAM. 2011 SHCP. Conceptos básicos del presupuesto basado en resultados- Sistema de evaluación del desempeño (Pbro.- SED) http://www.shcp.gob.mx/EGRESOS/sitio_pbr/Documents/090811CeduladelPbRSED.pdf SESNSP. Aspectos susceptibles de mejora. Programas Presupuestarios a cargo del Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública Archivo P014 Aspectos susceptibles de mejora 2011.pdf Guía para la construcción de la Matriz de Indicadores para Resultados. (Secretaría de Hacienda y Crédito Público, Secretaría de la Función Pública y Consejo Nacional de Evaluación de la Política de Desarrollo Social, 2010). http://www.shcp.gob.mx/EGRESOS/PEF/Documentos%20Recientes/guia_constr uccion_mir_imp20100823_20.pdf CONEVAL (2007). Normatividad para la Evaluación de los Programas Federales. http://www.coneval.gob.mx/rw/resource/coneval/eval_mon/361.pdf Consejo Nacional de Seguridad Pública. Estatutos de Organización y Funcionamiento del Consejo Nacional de Seguridad Pública (Diario Oficial de la Federación, 6/08/09). http://portal.secretariadoejecutivosnsp.gob.mx/webfiles/pdf/estatutoscnsp_2.pdf Lineamientos para la revisión, actualización, calendarización y seguimiento de la Matriz de Indicadores para Resultados de los Programas Presupuestarios 2013, SHCP. http://www.shcp.gob.mx/EGRESOS/PEF/Documentos%20Recientes/Lineamient os2013.pdf Estructura Analítica del Prógrama P014 “Ejecución y Seguimiento de acuerdos y resóluciónes del Cónsejó Naciónal de Seguridad Pública” P01 estructura analítica – P14- FDO Estructura Programática del Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública. Ficha técnica del prógrama P014 “Ejecución y Seguimiento de acuerdos y resóluciónes del Cónsejó Naciónal de Seguridad Pública” 80 Ley General del Sistema Nacional de Seguridad Pública. (Diario Oficial de la Federación, 2/01/09). Reglamento del Sistema Nacional de Seguridad Pública Matriz de Indicadóres para Resultadós del prógrama P014 “Ejecución y Seguimiento de acuerdos y resoluciones del Consejo Nacional de Seguridad Pública”. Archivo MIR P014_2013, Archivo MIR p014 2012 Matriz de Indicadores para Resultados del programa P013 “Emisión y Supervisión de criterios, normas, procedimientos y estándares de evaluación y control de cónfianza de servidóres públicós de las instituciónes de Seguridad Pública” Catálogo de programas sujetos a reglas de operación 2013 http://www.shcp.gob.mx/EGRESOS/PEF/programacion/programacion2013/anex o_10_catalogo_programas_et.pdf Plan Nacional de Desarrollo 2007-2012. Plan Nacional de Desarrollo 2013-2018. Programa Sectorial de Seguridad Pública 2007-2012. Programa Anual de Trabajo 2011. Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública. Programa Anual de Trabajo 2013. Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública. Reglamento del Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública. (Diario Oficial de la Federación, 26/10/09). Secretaría de Hacienda y Crédito Público (2008). Sistema de Evaluación del Desempeño. Secretaría de Hacienda y Crédito Público (2011). Manual de Programación y Presupuesto. 81 14. Anexos 82 • Anexo 1 "Descripción General del Programa". 1. Identificación del programa (nombre, siglas, dependencia y/o entidad coordinadora, año de inicio de operación); P014 Ejecución y seguimiento de acuerdos y resoluciones del Consejo Nacional de Seguridad Pública. 2. Problema o necesidad que pretende atender; Insuficiente cumplimiento de los programas, políticas y estrategias, protocolos y acciones del Sistema Nacional de Seguridad Pública por parte de las 32 entidades federativas e inadecuada priorización en la asignación de los recursos orientados a la Seguridad Pública. Según el árbol de problemas, las causas son: a) La necesidad de la ciudadanía de resolver dudas o inconsistencias en los reportes y datos contenidos en el Registro Público Vehicular, así como aspectos técnicos en materia vehicular, vía Internet. i. Falta de oportunidad en la atención a la ciudadanía por parte del Registro Público Vehicular. b) La necesidad de instrumentos jurídicos en los que se establezcan las obligaciones específicas para el cumplimiento de metas y el ejercicio de los recursos orientados a la Seguridad Pública. i. Necesidad de orientar y priorizar la programación de los recursos a los destinos marcados por la normatividad aplicable. c) La necesidad de la ciudadanía de resolver dudas o inconsistencias en los reportes y datos contenidos en el Registro Público Vehicular, así como aspectos técnicos en materia vehicular, vía telefónica. i. Aumento en la demanda del servicio de consulta telefónica para la atención de la ciudadanía que hace uso de los servicios del Registro Público Vehicular. ii. Necesidad de actualización continua en materia de Registro Público Vehicular del personal encargado de atender las llamadas del público usuario. 3. Objetivos nacionales y sectoriales a los que se vincula; El programa está vinculado con el Eje 1 Estado de Derecho y seguridad, del PND 2007-2012, ya que este programa está enfocado a revisar los avances y problemáticas que cada entidad federativa padece en su fuero interno con respecto a la seguridad. Sin embargo, se pudo identificar que en lo particular, esta alineación es mucho más visible en los Objetivos 5. Combatir la impunidad para disminuir los 83 niveles de incidencia delictiva; 7. Establecer mecanismos y procesos que permitan conocer sistemáticamente las características y patrones del fenómeno delictivo en México, y aseguren la disponibilidad de información confiable y oportuna; y 9. Generalizar la confianza de los habitantes en las instituciones públicas, particularmente en las de seguridad pública, procuración e impartición de justicia. Respectivamente, en las estrategias 5.1. Fortalecer la coordinación y cooperación entre los tres órdenes de gobierno para combatir la delincuencia; 7.2. Generar, fortalecer y coordinar los sistemas de inteligencia en el Gobierno Federal; y 9.6. Coordinar y establecer mecanismos para la transparencia y rendición de cuentas de los gobiernos estatales y municipales en el ejercicio de recursos federales. 4. Descripción de los objetivos del programa, así como de los bienes y/o servicios que ofrece; Establecer la coordinación, registro y seguimiento a los acuerdos del Consejo Nacional y las Conferencias Nacionales, con el fin de contar con información respecto del status que guardan, en este contexto, el programa no ofrece bienes y servicios. 5. Identificación y cuantificación de la población potencial, objetivo y atendida; Se identifica a la población objetivo como la de las 32 entidades federativas. Por lo mismo se omite la unidad de medida y por ello no están cuantificadas ni definidas la población objetivo y la población atendida. 6. Cobertura y mecanismos de focalización; No existe definición de la cobertura ni mecanismos de focalización 7. Presupuesto aprobado en el ejercicio fiscal sujeto a evaluación; OG 1100 Remuneraciones al personal de caracter permanente 1200 Remuneraciones al personal de caracter transitorio 1300 Remuneraciones adicionales y especiales 1400 Seguridad social 1500 Otras prestaciones sociales y economicas 2100 Materiales de administracion, emision de documentos y articulos oficiales 2200 Alimentos y utensilios 2600 Combustibles, lubricantes y aditivos 2700 Vestuario, blancos, prendas de proteccion y articulos deportivos 3100 Servicios basicos 3200 Servicios de arrendamiento 3300 Servicios profesionales, cientificos, tecnicos y otros servicios 3400 Servicios financieros, bancarios y comerciales 3500 Servicios de instalacion, reparacion, mantenimiento y conservacion 3600 Servicios de comunicacion social y publicidad 3700 Servicios de traslado y viaticos 3800 Servicios oficiales 3900 Otros servicios generales 4400 Ayudas sociales Total W00 Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública 2012 2013 Total general $46,759,011 $48,270,329 $95,029,340 $42,274,702 $42,274,702 $84,549,404 $7,038,242 $7,709,201 $14,747,443 $36,782,573 $36,606,025 $73,388,598 $117,161,707 $134,921,281 $252,082,988 $2,788,928 $2,390,961 $5,179,889 $231,500 $202,400 $433,900 $680,048 $587,959 $1,268,007 $10,000 $10,000 $20,000 $4,730,593 $6,338,855 $11,069,448 $17,833,632 $18,781,930 $36,615,562 $41,913,388 $32,889,024 $74,802,412 $307,760 $266,085 $573,845 $4,511,696 $3,918,344 $8,430,040 $650,000 $622,700 $1,272,700 $8,025,976 $9,700,337 $17,726,313 $8,222,000 $14,196,926 $22,418,926 $5,479,244 $6,264,646 $11,743,890 $8,800 $8,800 $17,600 $345,409,800 $365,960,505 $711,370,305 84 8. Principales metas de Fin, Propósito y Componentes, Fin Contribuir al fortalecimiento del Sistema Nacional de Seguridad Pública mediante la coordinación con las 32 entidades federativas para el otorgamiento del Fondo de Aportación para la Seguridad Pública (FASP), a través de la suscripción de los Convenios de Coordinación y sus respectivos Anexos Técnicos Propósito Que las 32 entidades federativas ajusten sus recursos del Fondo de Aportaciones para la Seguridad Pública (FASP) de acuerdo a los programas, políticas y estrategias, protocolos y acciones del Sistema Nacional de Seguridad Pública, atendiendo a los destinos marcados por la Ley de Coordinación Fiscal los Acuerdos del Consejo Nacional de Seguridad Pública y demás normatividad aplicable Componente Correos electrónicos ciudadanos recibidos y atendidos por el área de Atención Ciudadana vía portal de internet del Registro Público Vehicular. Convenios de Coordinación y Anexos Técnicos firmados en tiempo y forma con las 32 entidades federativas. Llamadas ciudadanas atendidas por el Centro de Atención Telefónica del Registro Público Vehicular. 9. Valoración del diseño del programa respecto a la atención del problema o necesidad. De acuerdo a la Ficha Técnica de la Evaluación, que se divide en seis temas y 51 preguntas, la valoración global de la evaluación fue de 3.75, en una escala de 1 a 10, donde 10 es la calificación máxima alcanzable, la cual se obtuvo como sigue: En la puntuación máxima se consideró solo a las preguntas donde se solicitaba valoración cuantitativa, a la cual se propusieron 4 criterios donde el 1 representa el criterio mínimo a cumplir y el 4 representa el criterio máximo a cumplir. Si se coloca esa puntuación en una escala de 1 a 10, donde 1 es la menor calificación y 10 es la máxima alcanzable se tiene que la calificación global de la evaluación es de 3.75. 85 APARTADO Diseño Planeación y Orientación a Resultados Cobertura y Focalización Operación Percepción de la Población Atendida Medición de Resultados TOTAL Puntuación Máxima 36 Valoración Preguntas Total 12 1 – 13 13 16 7 14 – 22 9 4 3 23 – 25 3 8 0 26 – 42 17 NA NA 43 NA 8 2 64 24 44 - 51 51 8 51 En la valoración no se tomó en cuenta a aquellas preguntas que se consideró no tenían aplicación dado el marco de la pregunta. 86 • Anexo 2 "Metodología para la cuantificación de las poblaciones Potencial y Objetivo". No está definida la población potencial. En el dócumentó denóminadó “Estructura Analítica del Prógrama Presupuestal” se define cómó póblación óbjetivó a la de las 32 entidades federativas, lo cual es inadecuado, ya que la población no es responsable de los acuerdos. Por lo mismo se omite la unidad de medida y por ello, no están cuantificadas ni definidas tales unidades de medida. Además, debido a que no se cuenta con algún diagnóstico del problema, no se tiene metodología para cuantificar a la población ni fuente de información alguna que señale quién o quiénes son la población objetivo del programa. Por ello se sugiere se tome en consideración la propuesta de la Evaluación Externa de Diseño realizada en 2011 por la UNAM y presentada en el anexo 2 de dicha evaluación, la cual para comodidad se repite a continuación: Se sugiere que el Área de Enfoque potencial sean todas las áreas sustantivas del Secretariado que tienen como función y/o facultad ejecutar y dar seguimiento a los acuerdos del Consejo Nacional de Seguridad Pública y que el Área de Enfoque objetivo sean las áreas sustantivas del Secretariado que tienen como función y/o facultad ejecutar y dar seguimiento a los acuerdos del Consejo Nacional de Seguridad Pública emitidos en las Sesiones efectuadas en el periodo presupuestal correspondiente. Fórmula de elegibilidad (población potencial): Donde: AEO= Área de Enfoque Objetivo As= Áreas o Unidades Responsables del Secretariado que tienen como función y/o facultad ejecutar y dar seguimiento a los acuerdos del Consejo Nacional de Seguridad Pública. Año t = Periodo en el que sesiona el Consejo Nacional de Seguridad Pública. 87 • Anexo 3 "Procedimiento para la actualización de la base de datos de beneficiarios". No aplica Justificación y sugerencia No se espera que la población reciba un beneficio directo a través de la aplicación de los recursos del programa P014. Sin embargo si es beneficiaria final de las acciones realizadas por las instancias involucradas para la ejecución de proyectos, programas y acuerdos. Se sugiere que en vez de actualizar una base de datos de beneficiarios, se contemple un mecanismo sistematizado, que contemple una base de datos que contenga, al menos, la información de las instancias involucradas, programa, acuerdo o proyecto en que están involucradas, fechas de inicio y posible conclusión de éstos o si son indefinidos; y de forma indirecta, si ello es posible, población potencial y objetivo beneficiada. Así se podría jerarquizar como el ejemplo siguiente nos muestra de forma enunciativa y no limitativa. El primer nivel del árbol se realiza conforme la metodología sugerida en el anexo 2, donde se seleccionan a las instancias involucradas en los programas, proyectos de acuerdos a ejecutar y de ahí, dependiendo de las actividades, cada instancia define su población potencial y objetivo en cada una de las acciones a realizar. Esto sin menoscabo de que se apliquen las sugerencias que sobre sistematización y automatización se realizaron a lo largo de la evaluación. 88 • Anexo 4 "Resumen Narrativo de la Matriz de Indicadores para Resultados". Fin Propósito Resumen Narrativo MIR 2013 Contribuir al accionar del Consejo Nacional de Seguridad Pública mediante el seguimiento y el cumplimiento de los acuerdos emitidos y la coordinadicion con el Sistema Nacional de Seguridad Pública El Secretariado Ejecutivo coadyuva en el seguimiento de los acuerdos emitidos por el CNSP para el cumplimiento e implementacion de los mismo. Componente Matriz de Seguimiento Actualizada Actividad Atencion a las solicitudes de informacion 89 Resumen Narrativo Mir 2011 Contribuir al fortalecimiento del Sistema Nacional de Seguridad Pública mediante la coordinación con las 32 entidades federativas para el otorgamiento del Fondo de Fin Aportación para la Seguridad Pública (FASP), a traves de la suscripción de los Convenios de Coordinación y sus respectivos Anexos Técnicos. Que las 32 entidades federativas ajusten sus recursos del Fondo de Aportación para la Seguridad Pública (FASP) de acuerdo a los programas, políticas y estrategias, Propósito protocolos y acciones del Sistema Nacional de Seguridad Pública, atendiendo a las destinos marcados por la Ley de Coordinación Fiscal los Acuerdos del Consejo Nacional de Seguridad Pública y demás normatividad aplicable. Llamadas ciudadanas atendidas por el Centro de Atención Telefónica del Registro Componente Público Vehicular Correos electrónicos ciudadanos recibidos y atendidos por el área de Atención Ciudadana vía portal de internet del Registro Público Vehicular Convenios de Coordinación y Anexos Técnicos firmados en tiempo y forma con las 32 entidades federativas. Suficiencia de personal en el Centro de Atención Telefónica del Registro Público Actividad Vehicular Se llevan a cabo reuniones con las 32 entidades federativas y un proceso de ajustes para que los recursos FASP 2011 se programen atendiendo a los destinos marcados por la Ley de Coordinación Fiscal, los acuerdos del Consejo Nacional de Seguridad Pública y demás normatividad aplicable. Capacitación a agentes telefónicos que brindan servicio al Registro Público Vehicular para mejora y actualización en el servicio Correos electrónicos ciudadanos respondidos por el Registro Público Vehicular en menos de tres días hábiles a partir de su recepción. 90 Fin Propósito Resumen Narrativo MIR 2010 Concertar con cada una de las 32 entidades federativas, que el destino de los recursos FASP 2010 se ajusten al destino marcado por la Ley de Coordinación Fiscal, la Ley General del Sistema Nacional de Seguridad Pública, a los acuerdos del Consejo Nacional Que los recursos Fondo de Aportación para Seguridad Pública (FASP) 2010 se ejerzan integamente por las 32 entidades federativas para el fortalecimiento de la Seguridad Pública en la Nación, (Art. 45 Ley de Coordinación Fiscal) de conformidad con la normat Componente Llamadas ciudadanas atendidas en el centro de contacto A fin de que los recursos Fondo de Aoración para Seguridad Pública (FASP) 2010 se ajusten al destino marcado por la Ley de Coordinación Fiscal, a los acuerdos del Consejo Nacional de Seguridad Pública y demás normatividad aplicable, se concerta con cada u Correos electrónicos ciudadanos atendidos en Registro Público Vehicular (REPUVE) Actividad Atención de llamadas ciudadanas a través de agentes telefónicos A fin de que los recursos FASP 2010 se ajusten al destino marcado por la Ley de Coordinación Fiscal, a los acuerdos del Consejo Nacional de Seguridad Pública y demás normatividad aplicable, se llevan a cabo reunones con cada una de las 32 entidades federa Capacitación a agentes telefónicos para mejora y actualización en servicio 91 • Anexo 5 "Indicadores". Por considerar que se tenía una mejor visibilidad, el formato del anexo 5 se presenta de forma transpuesta. Nombre del Programa: Modalidad: Dependencia/Entidad: Unidad Responsable: Tipo de Evaluación: Año de la Evaluación: Ejecución y seguimiento de acuerdos y resoluciones del Consejo Nacional de Seguridad Pública. P – Planeación, seguimiento y evaluación de políticas públicas Gobernación Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública. Evaluación de consistencia y resultados 2013 Nivel de objetivo Nombre del Indicador Método de Cálculo Fin Porcentaje de acuerdos cumplidos 𝑐𝑢 𝑟 𝑐𝑢 𝑟 𝑐 Propósito Componentes Actividades Porcentaje de acuerdos registrados, Porcentaje de Porcentaje de atención clasificados, y actualización de la a las solicitudes de comunicados a los matriz de seguimiento información responsables del cumplimiento 𝑟 𝑐 𝑢 𝑐𝑢 𝑟 𝑐𝑢 𝑟 𝑐𝑢 𝑟 𝑐𝑢 𝑟 100 Claro Si Si Si Si Relevante No No No No Económico Si Si Si Si Monitoreado Si Si Si Si Adecuado No No No No Definición De todos los acuerdos emitidos medirá aquellos que requieren acciones para su cumplimiento Unidad de Medida De todos los acuerdos Medirá el porcentaje emitidos por el CNSP Mide el porcentaje de de acuerdos a los que medirá el porcentaje respuesta ante las se les esta dando el de aquellos que se solicitudes de seguimiento incorporan a la matriz y información correspondiente cuentan con un estatus de seguimiento Porcentaje Porcentaje Porcentaje Porcentaje Frecuencia de Medición Anual Anual Anual Anual Líneas Base 2012 2012 2012 2012 85% en 2012, 80 % en 2013 100% en 2012 31.25% en 2012, 100% en 2013 100% en 2012, 81.25% en 2013 No disponible No disponible No disponible No disponible Metas Comportamiento del Indicador Donde 𝑐𝑢 𝑟 𝑐𝑢 𝑟 𝑐𝑢 𝑟 por el CNSP clasificados y comunicados 𝑐𝑢 𝑟 𝑟 𝑐 𝑢 Fuente: ficha técnica P014 92 • Anexo 6 "Metas del programa". Por facilidad de lectura, la tabla se presenta en forma transpuesta Nombre del Programa: Modalidad: Dependencia/Entidad: Unidad Responsable: Tipo de Evaluación: Año de la Evaluación: Nivel de objetivo Nombre del Indicador Metas Unidad de Medida Relevante Justificación Orientada a impulsar el desempeño Justificación Factible Justificación Propuesta de mejora de la meta Ejecución y seguimiento de acuerdos y resoluciones del Consejo Nacional de Seguridad Pública. P – Planeación, seguimiento y evaluación de políticas públicas Gobernación Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública. Evaluación de consistencia y resultados 2013 Fin Porcentaje de acuerdos cumplidos Propósito Componentes Actividades Porcentaje de acuerdos registrados, Porcentaje de Porcentaje de atención clasificados, y actualización de la a las solicitudes de comunicados a los matriz de seguimiento información responsables del cumplimiento 85% en 2012, 80 % en 2013 100% en 2012 31.25% en 2012, 100% en 2013 100% en 2012, 81.25% en 2013 Porcentaje Porcentaje Porcentaje Porcentaje Si No No No De nueva creación. Se estima este denominador de acuerdo a la estadística registrada en años anteriores Si El objetivo es cumplir los proyectos, programas y acuerdos De nueva creación. Se estiman los datos De nueva creación. De nueva creación. asentados de Cifras proyectadas de Acorde al conformidad con los acuerdo a los históricos replanteamiento de la registros históricos analizados matriz analizados No No No Irrelevante debido a Irrelevante debido a Irrelevante debido a problema mal definido problema mal definido problema mal definido Si Si Si Si Se conocen a detalle los componentes Se conocen a detalle los componentes Se conocen a detalle los componentes Se conocen a detalle los componentes Los programas, proyectos o acuerdos son el medio cuya finalidad última es la de reducir o controlar la violencia y la delincuencia. Es necesario ver que el acuerdo se cumpla y que su cumplimiento de lugar a ese fin último. El acuerdo cumplido se compare contra el objetivo. por ejemplo: Acuerdo de creación de unidades antisecuestro cumplido al 100% Si, Disminución del Secuestro No Por lo que debe generarse un indicador compuesto que señale tanto el cumplimiento (proceso) como el impacto Los programas, proyectos o acuerdos tienen como próposito Disminuir la violencia y la delincuencia. La fórmula debe llevar a que se pueda conocer el grado de cumplimiento (modalidad del proceso), el impacto (disminución o control del problema) y la población objetivo (tanto en instancias involucradas como entre la sociedad) beneficiada por cada proyecto, programa o acuerdo ejecutado y se sepa si se realizó de forma eficaz y eficiente y se logró el fin último a) instancias involucradas, b) personal involucrado, c) gasto realizado, d) Llevar seguimiento actividades realizadas, detallado y con e) tiempo utilizado, f) documentación metodología de probatoria de cada una seguimiento, g) de las acciones y evaluación y validación realizar análisis de actividades, h) comparativo en el documentación tiempo probatoria, i) impacto sobre el problema que se pretendía resolver 93 • Anexo 7 "Complementariedad federales". Nombre del Programa: Modalidad: Dependencia/Entidad: Unidad Responsable: Tipo de Evaluación: Año de la Evaluación: Nombre del Programa y coincidencias entre programas Ejecución y seguimiento de acuerdos y resoluciones del Consejo Nacional de Seguridad Pública. P – Planeación, seguimiento y evaluación de políticas públicas Gobernación Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública. Evaluación de consistencia y resultados 2013 Emisión y supervisión de criterios, normas, procedimientos y estándares de evaluación y control de confianza de servidores públicos de las Instituciones de Seguridad Pública Modalidad Planeación, seguimiento y evaluación de políticas públicas Dependencia/Entidad Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública Propósito Emisión y supervisión de criterios, normas, procedimientos y estándares de evaluación y control de confianza de servidores públicos de las Instituciones de Seguridad Pública Población Objetivo Centros de Evaluación y Control de Confianza Tipo de Apoyo Certificación de procesos y acreditación de los centros de evaluación y control de confianza Cobertura Geográfica Nacional Fuentes de Información MIR P013 ¿Con cuales programas federales coincide? ¿Con cuales programas P014 federales se complementa? Justificación. Son parte de una sola estrategia en materia de Seguridad Pública. 94 • Anexo 8 "Avance de las acciones para atender los aspectos susceptibles de mejora". Hasta el momento de la evaluación no se ha registrado ningún avance en las acciones para atender Aspectos Susceptibles de Mejora (ASM). 95 Justificación No se ha realizado esta acción en virtud de que se han venido realizando trabajos de rediseño y compactación de programas presupuestarios. A partir de esto se plantea que de 8 programas registrados en el año 2013, queden solo 4: 1) P014. En donde el programa P014 aglutine a los programas tipo P, 011, 012, 013 y 014 cuya denominación sería P014 Coordinación con las instancias que integran el Sistema Nacional de Seguridad Pública 2) E013 Operación del REPUVE 3) U002 4) U003 5) El Programa U006 se encuentra en proceso de análisis para su transferencia a la Subsecretaría de Prevención y Participación Ciudadana. Clave P011 P012 P013 Programa Presupuestario Operación del Sistema Nacional de Información de Seguridad Pública Desarrollo y aplicación de programas y políticas en materia de prevención del delito y promoción de la participación ciudadana Emisión y supervisión de criterios, normas, procedimientos y estándares de evaluación y Control de Confianza de los servidores públicos de las instituciones de Seguridad Pública P014 Ejecución y seguimiento de acuerdos y resoluciones del CNSP E013 Operación del REPUVE U002 U003 U006* Otorgamiento de subsidios en materia de Seguridad Pública a estados, municipios y distrito federal Otorgamiento de subsidios para Entidades Federativas para el fortalecimiento de instituciones de Seguridad Pública en materia de mando policial Programa Nacional de Prevención del Delito Se espera que en el año 2014, ya con este rediseño se de atención y se resuelvan los ASM y muchos otros problemas detectados en esta evaluación. Nombre del Programa: Modalidad: Dependencia/Entidad: Unidad Responsable: Tipo de Evaluación: Año de la Evaluación: Número Aspectos susceptibles de mejora Ejecución y seguimiento de acuerdos y resoluciones del Consejo Nacional de Seguridad Pública. P – Planeación, seguimiento y evaluación de políticas públicas Gobernación Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública. Evaluación de consistencia y resultados 2013 Actividades 1 Revi s i ón y a ctua l i za ci ón del a Reel a bora ci ón Es tructura Ana l íti ca del de l a Es tructura Proga ma dentro del proyecto Ana l íti ca del de redi s eño y compa cta ci ón Progra ma (EAP) de Progra ma s pres upues ta ri os 2014 2 El a bora r una Ma tri z de Revi s i ón y a ctua l i za ci ón del a Indi ca dores Es tructura Ana l íti ca del pa ra Res ul ta dos Proga ma dentro del proyecto cons i s tente en de redi s eño y compa cta ci ón s u l ógi ca de Progra ma s verti ca l y pres upues ta ri os 2014 hori zonta l 3 El a bora ci ón de un di a gnós ti co Revi s i ón y a ctua l i za ci ón del a que provea Es tructura Ana l íti ca del i nforma ci ón Proga ma dentro del proyecto s obre l a de redi s eño y compa cta ci ón cua nti fi ca ci ón de Progra ma s de l a pobl a ci ón pres upues ta ri os 2014 objeti vo del progra ma 4 Vi ncul a r el Revi s i ón y a ctua l i za ci ón del a progra ma a l os Es tructura Ana l íti ca del objeti vos del Proga ma dentro del proyecto Progra ma de redi s eño y compa cta ci ón Sectori a l de de Progra ma s Seguri da d pres upues ta ri os 2014 Públ i ca 5 Genera r un Revi s i ón y a ctua l i za ci ón del a documento Es tructura Ana l íti ca del na rra ti vo que Proga ma dentro del proyecto norme y regul e de redi s eño y compa cta ci ón l a s funci ones de Progra ma s del progra ma pres upues ta ri os 2014 Área responsable Fecha de Término Resultados esperados Di recci ón Genera l de Pl a nea ci ón y Área s s us ta nti va s del SESNSP que i ntervi enen en l a ejecuci ón del progra ma Di recci ón Genera l de Pl a nea ci ón y Área s s us ta nti va s del SESNSP que i ntervi enen en l a ejecuci ón del progra ma Di recci ón Genera l de Pl a nea ci ón y Área s s us ta nti va s del SESNSP que i ntervi enen en l a ejecuci ón del progra ma Di recci ón Genera l de Pl a nea ci ón y Área s s us ta nti va s del SESNSP que i ntervi enen en l a ejecuci ón del progra ma Di recci ón Genera l de Pl a nea ci ón y Área s s us ta nti va s del SESNSP que i ntervi enen en l a ejecuci ón del progra ma Defi ni ci ón de l a Novi embre del probl emá ti ca , 2013 funci ones y objeti vos del P014 Novi embre del 2013 Redi s eño de l a MIR Novi embre del Di a gnós ti co con ba s e 2013 en el redi s eño 96 Productos y/o evidencias Avance (%) Es tructura Ana l íti ca del Progra ma 35% MIR 35% Di a gnós ti co 35% Novi embre del 2013 Al i nea ci ón del progra ma Documento con l os objeti vos a l i nea dos 35% Novi embre del 2013 Documento norma ti vo Documento norma ti vo y na rra ti vo 35% Identificación del documento probatorio Observaciones • Anexo 9 "Resultado de las acciones para atender los aspectos susceptibles de mejora". Todavía no hay resultado de las acciones. Se está realizando el proyecto de rediseño y compactación de programas presupuestarios para 2014. 97 Justificación Ver justificación en el anexo 8. Supra. • Anexo 10 "Análisis de recomendaciones no atendidas derivadas de evaluaciones externas". No se ha atendido ninguna recomendación ya que no se han finalizado los trabajos de rediseño y compactación. En el año 2013 se sigue trabajando con las definiciones y problemas tal cual se tenían en años anterioresNombre del Programa: Modalidad: Dependencia/Entidad: Unidad Responsable: Tipo de Evaluación: Año de la Evaluación: Ejecución y seguimiento de acuerdos y resoluciones del Consejo Nacional de Seguridad Pública. P – Planeación, seguimiento y evaluación de políticas públicas Gobernación Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública. Evaluación de consistencia y resultados 2013 Número Aspectos susceptibles de mejora Área coordinadora Acciones a emprender 1 Reel a bora ci ón de l a Es tructura Ana l íti ca del Progra ma (EAP) Di recci ón Genera l de Pl a nea ci on redi s eño y compa cta ci ón de progra ma pres upues ta ri os 2014 Novi embre del 2014 2 El a bora r una Ma tri z de Indi ca dores pa ra Res ul ta dos cons i s tente en s u l ógi ca verti ca l y hori zonta l Di recci ón Genera l de Pl a nea ci on redi s eño y compa cta ci ón de progra ma pres upues ta ri os 2014 Novi embre del Redi s eño de l a MIR 2014 Di recci ón Genera l de Pl a nea ci on redi s eño y compa cta ci ón de progra ma pres upues ta ri os 2014 Novi embre del 2014 Di recci ón Genera l de Pl a nea ci on redi s eño y compa cta ci ón de progra ma pres upues ta ri os 2014 Di recci ón Genera l de Pl a nea ci on redi s eño y compa cta ci ón de progra ma pres upues ta ri os 2014 3 4 5 El a bora ci ón de un di a gnós ti co que provea i nforma ci ón s obre l a cua nti fi ca ci ón de l a pobl a ci ón objeti vo del progra ma Vi ncul a r el progra ma a l os objeti vos del Progra ma Sectori a l de Seguri da d Públ i ca Genera r un documento na rra ti vo que norme y regul e l a s funci ones del progra ma Productos y/o evidencias Avance (%) Es tructura Ana l íti ca del Progra ma 35% MIR 35% Di a gnós ti co con ba s e en el redi s eño Di a gnós ti co 35% Novi embre del 2014 Al i nea ci ón del progra ma Documento con l os objeti vos a l i nea dos 35% Novi embre del 2014 Documento norma ti vo Documento norma ti vo y na rra ti vo 35% Fecha de Término Resultados esperados Defi ni ci ón de l a probl emá ti ca , funci ones y objeti vos del P014 Identificación del documento probatorio Observaciones 98 Anexo 11 "Evolución de la Cobertura". En virtud que hay indefinición de la población y no existe mecanismo de recolección ni de sistematización de información, la cobertura del programa está indeterminada. Nombre del Programa: Modalidad: Dependencia/Entidad: Unidad Responsable: Tipo de Evaluación: Año de la Evaluación: Tipo de Población Pobl a ci ón potenci a l Pobl a ci ón objetivo Pobl a ci ón a tendi da Unidad de Medida Ejecución y seguimiento de acuerdos y resoluciones del Consejo Nacional de Seguridad Pública. P – Planeación, seguimiento y evaluación de políticas públicas Gobernación Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública. Evaluación de consistencia y resultados 2013 2010 2011 No Aplica 2012 2013 99 Anexo 12 "Información de la Población Atendida". 100 Nombre del Programa: Ejecución y seguimiento de acuerdos y resoluciones del Consejo Nacional de Seguridad Pública. Modalidad: P – Planeación, seguimiento y evaluación de políticas públicas Dependencia/Entidad: Gobernación Unidad Responsable:Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública. Tipo de Evaluación: Evaluación de consistencia y resultados Año de la Evaluación:2013 Total 0 a 14 años 15 a 69 años 30 a 64 años 65 años y más Ambito geográfico Total Mujeres Hombres Total Mujeres Hombres Total Mujeres Hombres Total Mujeres Hombres Total Mujeres Hombres Entidad federativa Municipio Localidad No aplica Anexo 13. Diagramas de flujo de los componentes y procesos clave Reunión Del CNSP P014 Seguimiento de Acuerdos Acuerdo ¿Por qué se va a hacer? El acuerdo debe tener como antecedente un diagnóstico previo que hace que algo sea considerado como problema digno de resolver La ejecución y el seguimiento tienen que hacerse para verificar que el acuerdo se ejecute en tiempo y de forma eficaz y eficiente Tipo de acuerdo Bases de datos ¿Qué se va a hacer? ¿Por qué se va a hacer? ¿Para qué se va a hacer? ¿Cuánto se va a hacer? ¿Dónde se va a hacer? ¿Cómo se va a hacer? ¿Cuándo se va a hacer? ¿Quién lo va hacer? ¿Con qué se va a hacer? ¿Cómo se va a evaluar? ¿Para qué se va a hacer? El acuerdo no debe tomarse como un fin en si mismo, sino como la elaboración de un mecanismo que permita la resolución de un conflicto mayor. El SESNSP mediante el programa P014 realiza la ejecución y seguimiento de los acuerdos para verificar su cumplimiento. La ley obliga ¿Cuánto se va a hacer? Dentro de las actividades del programa P014 se debe hacer lo necesario para el seguimiento y verificación del cumplimiento de los acuerdos. El SESNSP toma en cuenta el entorno y desarrolla los parámetros contra los cuales medirá el éxito o el fracaso del proyecto considerando impacto y proceso ¿Dónde se va a hacer? Esto implica el que existe un ámbito geográfico específico, ya que un acuerdo puede involucrar sólo a la federación, a la federación y entidades federativas o a los tres niveles de gobierno; asimismo puede estar involucrado sólo un poder o los tres. Así se debe especificar a los niveles de gobierno, los poderes y ámbito geográfico del acuerdo. El SESNSP identifica toda el área de influencia, instancias involucradas, actividades y recursos del acuerdo y genera mecanismos de seguimiento específicos Acuerdo Diseño de equipo Dirección del proyecto, Roles, definición de funciones, organización interna, modelo de reportes SESNSP e Instancias involucradas Asignación y Definición de actividades de cada instancia. Matriz de responsabilidades Elaboración Matriz de riesgos Elaboración Asignación de Recursos humanos Materiales Técnicos Financieros Informe al SESNSP Con documentos probatorios Actividades realizadas Mecanismos de comprobación e indicadores de gestión Se cumplió el acuerdo Fin Si ¿Cómo se va a hacer? Implica el método utilizado para resolver el problema. En cada acuerdo se señala la creación de grupos que deberán ponerse de acuerdo en cómo cumplir con dicho acuerdo El seguimiento para la ejecución del acuerdo implica verificar las acciones para su cumplimiento En el SESNSP existe un área que instrumenta y pone en marcha los mecanismos adecuados que permitan monitorear y dar seguimiento al cumplimiento de los acuerdos. En este punto es donde se llevan a cabo las actividades de planeación, operación, vigilancia, control y supervisión de la ejecución de cada acuerdo ¿Cuándo se va a hacer? En el acuerdo generalmente se señala un compromiso respecto de los tiempos límite para establecer algún mecanismo o cumplir el propio acuerdo El SESNSP, por ley, realiza las acciones para la ejecución de los acuerdos que le competen y para dar seguimiento cuando el acuerdo recae también en otras instancias, para verificar que se hagan en tiempo y de forma eficaz y eficiente. ¿Quién lo va a hacer? En el acuerdo generalmente se señalan a los integrantes responsables de ejecutar el acuerdo El SESNSP genera y sistematiza los mecanismos de supervisión y control, por acuerdo, que contiene a las instancias recursos, tiempos, acciones, responsabilidades, actividades y riesgos ¿Con qué se va a hacer? En el acuerdo generalmente no se indica qué recursos humanos, materiales, técnicos o financieros se utilizarán. El SESNSP genera los mecanismos de comunicación (formatos, cuestionarios) que permitan conocer a detalle instancias involucradas y recursos a utilizar en la ejecución del programa; así como las funciones que desempeñará cada instancia y recurso, la concurrencia y quién ejerce la dirección conjunta del proyecto. Validación y auditoría en su caso No Evaluación y seguimiento ¿Que se va a hacer? El acuerdo en sí, implica la reacción institucional a un problema de seguridad pública que se pretende resolver. El propósito del programa P014 es monitorear la ejecución y el seguimiento del acuerdo ¿Cómo se va a evaluar? De acuerdo a los parámetros de éxito o fracaso desarrollados por el SESNSP 101 Anexo 14 Gastos desglosados del programa Según el Presupuesto de Egresos de la Federación W00 Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública Capítulo OG 1000 1100 Remuneraciones al personal de caracter permanente 1200 Remuneraciones al personal de caracter transitorio 1300 Remuneraciones adicionales y especiales 1400 Seguridad social 1500 Otras prestaciones sociales y economicas Subtotal capítulo 1000 2012 2013 $46,759,011 $48,270,329 $42,274,702 $42,274,702 $7,038,242 $7,709,201 $36,782,573 $36,606,025 $117,161,707 $134,921,281 $250,016,235 $269,781,538 Total general $95,029,340 $84,549,404 $14,747,443 $73,388,598 $252,082,988 $519,797,773 2000 2100 Materiales de administracion, emision de documentos y articulos oficiales 2200 Alimentos y utensilios 2600 Combustibles, lubricantes y aditivos 2700 Vestuario, blancos, prendas de proteccion y articulos deportivos Subtotal capítulo 2000 $2,788,928 $2,390,961 $231,500 $202,400 $680,048 $587,959 $10,000 $10,000 $253,726,711 $272,972,858 $5,179,889 $433,900 $1,268,007 $20,000 $526,699,569 3000 3100 Servicios basicos 3200 Servicios de arrendamiento 3300 Servicios profesionales, cientificos, tecnicos y otros servicios 3400 Servicios financieros, bancarios y comerciales 3500 Servicios de instalacion, reparacion, mantenimiento y conservacion 3600 Servicios de comunicacion social y publicidad 3700 Servicios de traslado y viaticos 3800 Servicios oficiales 3900 Otros servicios generales Subtotal capítulo 3000 $4,730,593 $6,338,855 $17,833,632 $18,781,930 $41,913,388 $32,889,024 $307,760 $266,085 $4,511,696 $3,918,344 $650,000 $622,700 $8,025,976 $9,700,337 $8,222,000 $14,196,926 $5,479,244 $6,264,646 $345,401,000 $365,951,705 $11,069,448 $36,615,562 $74,802,412 $573,845 $8,430,040 $1,272,700 $17,726,313 $22,418,926 $11,743,890 $711,352,705 4000 4400 Ayudas sociales Total $8,800 $8,800 $17,600 $345,409,800 $365,960,505 $711,370,305 102 Anexo15. Avance de los indicadores respecto de sus metas No se contó con información suficiente para realizar este cuadro Nombre del Programa: Modalidad: Dependencia/Entidad: Unidad Responsable: Tipo de Evaluación: Año de la Evaluación: Nivel de objetivo Nombre del Indicador Frecuencia de medición Meta (año evaluado) Valor alcanzado (año evaluado) Avance (%) Justificación Ejecución y seguimiento de acuerdos y resoluciones del Consejo Nacional de Seguridad Pública. P – Planeación, seguimiento y evaluación de políticas públicas Gobernación Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública. Evaluación de consistencia y resultados 2013 Fin Porcentaje de acuerdos cumplidos Propósito Componentes Actividades Porcentaje de acuerdos registrados, Porcentaje de Porcentaje de atención clasificados, y actualización de la a las solicitudes de comunicados a los matriz de seguimiento información responsables del cumplimiento 103 Anexo 16. Instrumentos de medición del grado de satisfacción de la población atendida No aplica 104 Justificación El programa no atiende de manera directa a la población. No existen mecanismos ni cuestionarios que midan el grado de satisfacción de las instancias ejecutoras respecto de la coordinación que realiza el SESNSP sobre los acuerdos, proyectos y programas coordinados. La población objetivo del programa son las instancias ejecutoras y no se cuenta con ningún instrumento que mida el grado de satisfacción de dichas instancias. Por otro lado es el programa el que pide información y coordina instancias, pero la comunicación entre el programa y aquellas es insatisfactoria e insuficiente. La comunicación depende más de cuestiones políticas que de normatividad. Anexo 17. Principales fortalezas, oportunidades, debilidades y amenazas Nombre del Programa: Modalidad: Dependencia/Entidad: Unidad Responsable: Tipo de Evaluación: Año de la Evaluación: Ejecución y seguimiento de acuerdos y resoluciones del Consejo Nacional de Seguridad Pública. P – Planeación, seguimiento y evaluación de políticas públicas Gobernación Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública. Evaluación de consistencia y resultados 2013 Tema de evaluación: Diseño Fortaleza y Oportunidad/Debilidad o amenaza Referencia Recomendación (Pregunta) Fortaleza y Oportunidad Sistematización seguimiento acuerdos 1 Se mejoren las TI y los sistemas BI Elaboración de diagnóstico 2 Concluir proceso rediseño y compactación Alineación con el PND 2013- 2018 5 alinear programa con PND, otros temas Redefinición de indicadores 12 Se mejoren los indicadores Alineación con programas federales 13 alinear programa con otro prog. Federales Debilidad o Amenaza Definición del problema 1 Concluir proceso rediseño y compactación Objetivos insuficientemente especificados 2 Concluir proceso rediseño y compactación Justificación teórica 3 Concluir proceso rediseño y compactación Población mal definida 7 Concluir proceso rediseño y compactación Recolección de información 9 Mejorar TI y sistemas BI TI : Tecnologías de Información. BI. Business Intelligence Nombre del Programa: Modalidad: Dependencia/Entidad: Unidad Responsable: Tipo de Evaluación: Año de la Evaluación: Ejecución y seguimiento de acuerdos y resoluciones del Consejo Nacional de Seguridad Pública. P – Planeación, seguimiento y evaluación de políticas públicas Gobernación Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública. Evaluación de consistencia y resultados 2013 Tema de evalucion: Planeación y orientación a resultados Fortaleza y Oportunidad/Debilidad o Referencia Recomendación amenaza (Pregunta) Fortaleza y Oportunidad Planeación institucional 14 Sistematización y documentación Planes anuales de trabajo 15 Sistematización y documentación Evaluaciones externas 16 Sistematización y documentación Rediseño y compactación programática 17 Sistematización y documentación Sistematización de información Inadecuada definición del problema Recolección de información Oportunidad de la información Validación de la información Debilidad o Amenaza 15 Concluir proceso rediseño y compactación 20 Concluir proceso rediseño y compactación 21 Concluir proceso rediseño y compactación 22 Concluir proceso rediseño y compactación 22 Concluir proceso rediseño y compactación 105 Nombre del Programa: Modalidad: Dependencia/Entidad: Unidad Responsable: Tipo de Evaluación: Año de la Evaluación: Ejecución y seguimiento de acuerdos y resoluciones del Consejo Nacional de Seguridad Pública. P – Planeación, seguimiento y evaluación de políticas públicas Gobernación Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública. Evaluación de consistencia y resultados 2013 Tema de evaluación: Cobertura y focalización 106 Fortaleza y Oportunidad/Debilidad o Referencia amenaza (Pregunta) Fortaleza y Oportunidad Proyecto de rediseño y compactación 23 Definición adecuada de la población 25 objetivo Debilidad o Amenaza Definición de población objetivo 23 Falta de mecanismos y sistematización 24 de recolección de información Nombre del Programa: Modalidad: Dependencia/Entidad: Unidad Responsable: Tipo de Evaluación: Año de la Evaluación: Recomendación Ejecución y seguimiento de acuerdos y resoluciones del Consejo Nacional de Seguridad Pública. P – Planeación, seguimiento y evaluación de políticas públicas Gobernación Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública. Evaluación de consistencia y resultados 2013 Tema de evaluación: Operación Fortaleza y Oportunidad/Debilidad o Referencia amenaza (Pregunta) Fortaleza y Oportunidad Sistemas de información 26 a 35 Recomendación Se contemple la generación de información sistematizada para conocer con mayor detalle, la cantidad, tipo y calidad de los diagnosticos en que se basan las instancias coordinadas y ejecutoras para la selección y ejecución de proyectos y programas Debilidad o Amenaza Sistemas de información 26 a 35 Se contemple la generación de información sistematizada para conocer con mayor detalle, la cantidad, tipo y calidad de los diagnosticos en que se basan las instancias coordinadas y ejecutoras para la selección y ejecución de proyectos y programas Nombre del Programa: Modalidad: Dependencia/Entidad: Unidad Responsable: Tipo de Evaluación: Año de la Evaluación: Ejecución y seguimiento de acuerdos y resoluciones del Consejo Nacional de Seguridad Pública. P – Planeación, seguimiento y evaluación de políticas públicas Gobernación Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública. Evaluación de consistencia y resultados 2013 Tema de evaluación: Percepción de la población atendida Fortaleza y Oportunidad/Debilidad o Referencia amenaza (Pregunta) Fortaleza y Oportunidad Mejorar la definición del problema Recomendación 43 Debilidad o Amenaza Indefinición del problema Ausencia de mecanismos para medir el grado de satisfacción 43 Tema de evaluación: Medición de resultados Fortaleza y Oportunidad/Debilidad o Referencia amenaza (Pregunta) Fortaleza y Oportunidad Sistematización para medición de resultados 44 a 51 Recomendación Concluir proceso de rediseño y compactación presupuestaria Debilidad o Amenaza Indefinición del problema 44 a 51 Concluir proceso de rediseño y compactación presupuestaria 107 Anexo 18. Comparación con los resultados de la evaluación de consistencia y resultados, anterior No existe evaluación de consistencia y resultados anterior a ésta. 108 Anexo 19. Valoración final del programa De acuerdo a la Ficha Técnica de la Evaluación, que se divide en seis temas y 51 preguntas, la valoración global de la evaluación fue de 3.75, en una escala de 1 a 10, donde 10 es la calificación máxima alcanzable, la cual se obtuvo como sigue: 109 En la puntuación máxima se consideró solo a las preguntas donde se solicitaba valoración cuantitativa, a la cual se propusieron 4 criterios donde el 1 representa el criterio mínimo a cumplir y el 4 representa el criterio máximo a cumplir. Si se coloca esa puntuación en una escala de 1 a 10, donde 1 es la menor calificación y 10 es la máxima alcanzable se tiene que la calificación global de la evaluación es de 3.75. APARTADO Diseño Planeación y Orientación a Resultados Cobertura y Focalización Operación Percepción de la Población Atendida Medición de Resultados TOTAL Puntuación Máxima 36 Valoración Preguntas Total 12 1 – 13 13 16 7 14 – 22 9 4 3 23 – 25 3 8 0 26 – 42 17 NA NA 43 1 8 2 64 24 44 - 51 51 8 51 En la valoración no se tomó en cuenta a aquellas preguntas que se consideró no tenían aplicación dado el marco de la pregunta. Anexo 20. Ficha técnica con los datos generales de la instancia evaluadora y el costo de la evaluación. Nombre de la instancia evaluadora: Centro de Investigación y Docencia Económicas Nombre del coordinador de la evaluación: Gustavo Fondevila Nombres de los principales colaboradores: Arturo Arango Durán Juan Pablo Arango Orozco Nombre de la unidad administrativa responsable de dar seguimiento a la evaluación: Dirección General de Planeación del Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública Nombre del titular de la unidad administrativa responsable de dar seguimiento a la evaluación: Mtro. Oscar Joaquín Estrada López Forma de contratación de la instancia evaluadora: Adjudicación directa mediante convenio Costo total de la evaluación: $300,000.00 M.N. Fuente de financiamiento: 1; Recursos Fiscales 110
