CAPÍTULO 7 PRINCIPALES FORTALEZAS, RETOS Y RECOMENDACIONES Nombre de la dependencia y/o entidad que coordina el programa: SEDESOL Nombre del programa: Jóvenes por México. Tema de evaluación Fortaleza /Debilidad o amenaza Referencia Fortaleza: El criterio de focalización aplicado en el ejercicio 2007 (la estrategia 100 X 100) permitió concentrar mejor las acciones del programa. Esto puede propiciar un mayor impacto en los municipios atendidos, lo que a su vez, vincularía en mayor medida al programa con los objetivos estratégicos de la dependencia y los del Plan Nacional de Desarrollo 2007. Preguntas 6, 7 y 27 Recomendación Fortaleza Diseño Debilidad o Amenaza Diseño Debilidad: El problema que desea atender el programa está formulado como una escasez de proyectos, lo que no es correcto. En consecuencia, los objetivos del programa fueron redactados como la realización de proyectos, lo que no establece con claridad la contribución que el programa realiza ni los resultados que se esperan con esos proyectos. Tampoco permite sustentar que el tipo de proyectos que apoya sea el más conveniente para Jóvenes por México. Para futuras estrategias orientadas a fomentar el servicio social comunitario, realizar un nuevo análisis de problemas a partir del cual especificar correctamente el problema central que se busca atender. En caso de que en ejercicios futuros Preguntas 1, opere un programa similar a Jóvenes por 2, 3, 4, 5, 11, México, asegurar que su diseño sea consecuencia de dicho problema central 12, 13, 14 y correctamente identificado y que además quede resumido en una Matriz de Indicadores, cuyos 15, 45 y 46. objetivos sean claros y relacionados con ese problema central. Asimismo, se debería analizar con un diagnóstico los tipos de proyectos que se pueden apoyar con prestadores de servicio social y que sean adecuados para resolver o atender ese problema central. 107 FORTALEZAS, RETOS Y RECOMENDACIONES Tema de evaluación Fortaleza /Debilidad o amenaza Referencia Recomendación Debilidad o Amenaza Planeación Estratégica Debilidad: No existen planes estratégicos de corto, mediano y largo plazo. Al no contar con estos planes, el programa no tiene mecanismo alguno para incluir acciones nuevas dentro de Preguntas estrategias específicas y asignarle metas a esas actividades. Sin dichos 35, 36 y 37 planes el programa queda limitado a ejecutar las actividades que habían hecho en ejercicios anteriores, sin innovación. En caso de que el programa operara en algún ejercicio fiscal futuro, elaborar los Planes Estratégicos de corto plazo (un año), mediano plazo, (medio sexenio) y largo plazo (al menos un sexenio completo). Los planes estratégicos, generalmente especifican estrategia, acciones y metas, con un nivel progresivo de detalle. Debilidad: Los indicadores con que cuenta el programa no son adecuados para medir su progreso en términos de resultados. Es decir, no son indicadores de desempeño. En el caso de que el Programa opere en ejercicios fiscales subsiguientes, establecer un grupo de indicadores de desempeño que midan de manera adecuada los progresos del programa. Cada indicador debe contar con fichas técnicas completas, que contengan línea base para poder establecer comparaciones y conocer el avance en los resultados del programa. Preguntas 40, 41 y 42 Debilidad: No se posee una estrategia de supervisión en campo de los proyectos apoyados y las únicas fuentes de información sobre ellos son las propias instancias Preguntas ejecutoras, lo que puede sesgar la 38, 93, 94 y evaluación y el monitoreo de los proyectos. Esto dificulta la obtención 95 de datos sobre la implementación de los proyectos, la calidad de los apoyos entregados y la percepción de la población objetivo. 108 En caso de que el programa opere en ejercicios fiscales subsecuentes, procurar como estrategia que los proyectos que apoye se realicen en localidades en las cuales otras áreas de SEDESOL desarrollan trabajo de campo, o cerca de ellas. De esta manera, las labores de supervisión, monitoreo y evaluación de los proyectos apoyados, que realiza la Dirección General de Seguimiento, serían más efectivas a un menor costo. Adicionalmente, las medidas que tome la Dirección General de Seguimiento para recoger la percepción de la población objetivo del programa, si llegara a operar en un ejercicio fiscal futuro, tendrían una mayor representatividad estadística. FORTALEZAS, RETOS Y RECOMENDACIONES Tema de evaluación Fortaleza /Debilidad o amenaza Referencia Recomendación Debilidad o Amenaza Cobertura y Focalización Debilidad: JXM no tiene una definición satisfactoria de su población objetivo (en las reglas de operación menciona un grupo llamado “beneficiarios” y otro llamado “población objetivo”, lo cual es impreciso). El programa tampoco puede cuantificar y caracterizar a la población efectivamente atendida por el programa. Esto dificulta la medición de impacto y la definición de estrategias de cobertura. En caso de que el programa opere en ejercicios fiscales futuros, es preferible definir a la población objetivo como un subconjunto de los habitantes de las comunidades donde se ejecutan proyectos, formado por personas que verán alguna transformación en su vida. Además, es necesario recolectar información Preguntas 49 sobre la población que cada ejecutor pretende atender con su proyecto y la que efectivamente y 50 atendió. En ese sentido, el programa, en caso de que opere en el futuro, debería desarrollar para cada tipo de proyecto una metodología para la cuantificación de su población objetivo y atendida, así como asesorar y motivar a los ejecutores de los proyectos para realizar esas cuantificaciones. 109 FORTALEZAS, RETOS Y RECOMENDACIONES Tema de evaluación Fortaleza /Debilidad o amenaza Referencia Fortaleza: Los mecanismos de selección de beneficiarios son adecuados y contribuyen a escoger los proyectos según los criterios establecidos por el programa. Además, el tipo de apoyos y a quién se otorgan es coherente con las Reglas de Operación. Se han implementado acciones de mejora que han contribuido a los procesos operativos de selección de beneficiarios y de entrega de recursos Pregunta 57, 58, 66, 61 y 67 Fortaleza: El programa cuenta con mecanismos que permiten a los involucrados (Responsables de proyecto, Prestadores de Servicio Social) manifestar su percepción del programa. Entre esos mecanismos están los “formularios de seguimiento” y las “fichas de identificación de proyecto”, cuya información se recoge a distancia. Pregunta 39 Fortaleza / Debilidad o amenaza Referencia Recomendación Fortaleza Operación Tema de evaluación Fortaleza Percepción de la Población Objetivo 110 Fortaleza: Con base en sondeos, se puede concluir que, en general, la percepción de la población objetivo respecto al programa es buena. Si bien estos mecanismos para medir los niveles de satisfacción de Pregunta 93, la población objetivo no son los más 94 y 95. rigurosos en términos metodológicos, se consideran adecuados al presupuesto que maneja Jóvenes por México, pues mecanismos más rigurosos no serían costo- eficientes. Recomendación Referencia de la recomendación FORTALEZAS, RETOS Y RECOMENDACIONES Tema de evaluación Fortaleza / Debilidad o amenaza Referencia Fortaleza: En general, las evaluaciones externas de años anteriores han registrado buenos resultados (más no impactos) del programa en términos del cumplimiento de sus metas Pregunta 98 Recomendación Referencia de la recomendación Fortaleza Resultados Debilidad o Amenaza Resultados Debilidad: El diseño actual del programa dificulta la identificación de los impactos que busca generar en la población atendida y su medición con metodologías rigurosas. Preguntas 97 y 99 En caso de que el programa opere en ejercicios fiscales subsecuentes, es necesario: 1) Identificar con precisión el problema que se desea atender 2) Definir claramente la población objetivo 3) Aclarar los objetivos e impactos que busca el programa (Propósito y Fin) 4) Redefinir el tipo de proyectos que se apoyarán 5) Asesorar y monitorear la cuantificación de la población atendida por cada proyecto 6) Valorar el costo – beneficio de distintos tipos de evaluación. 111