Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) Resumen Ejecutivo Resumen Ejecutivo Programa de Desarrollo Humano Oportunidades. El Programa de Desarrollo Humano Oportunidades, indica que el problema de la pobreza extrema México “se presenta como una situación donde las carencias de ingreso, de educación y de salud los hogares significan un bajo capital humano de las personas, que no les permite generar un nivel ingresos suficiente para satisfacer sus necesidades básicas y por tanto acceder al pleno desarrollo sus capacidades básicas”. en de de de Del estudio diagnóstico elaborado por el Programa se deduce que el problema al que atiende el Programa es el déficit en capital humano motivado por un déficit de capacidades en educación, salud y nutrición que presentan los miembros de las familias en condiciones de pobreza extrema. Las causas y efectos del problema que el Programa identifica, están señaladas de manera clara en el diagnóstico del PDHO. El resumen narrativo de los elementos de la MIR está reflejado en las ROP. El Propósito establecido en la Matriz de Indicadores para Resultados (MIR) del Programa contribuye a alcanzar dos de los objetivos del Programa Sectorial de Desarrollo Social 2007 – 2012, dos objetivos del Plan Nacional de Desarrollo 2007-2012 y se vincula de forma indirecta con dos de las Metas de los Objetivos del Milenio. Todos los indicadores a nivel fin, propósito, componente y actividad cuentan con definición, método de cálculo, unidad de medida, frecuencia de medición, línea base, metas y comportamiento del indicador. El Programa identifica de manera clara a la población que tiene el problema como “hogares que no cuentan con los recursos suficientes para adquirir los bienes y servicios que requiere para satisfacer sus necesidades (alimentarias y no alimentarias)”. La población objetivo se menciona en las Reglas de Operación 2011 (ROP) “los hogares cuyos ingresos no exceden la línea de bienestar mínimo, así como aquellos que sin exceder la condición de pobreza, presentan características socioeconómicas y de ingreso insuficientes para invertir en el desarrollo adecuado de las capacidades de sus integrantes en materia de nutrición, salud y/o educación”; también se menciona en el Diagnóstico de la Población Potencial y Objetivo 2011. La cuantificación se realiza con base en información reciente, proveniente de encuestas públicas de levantamiento periódico, como la ENIGH, la ENOE y la ENNViH. En el Diagnóstico del PDHO dicha población está definida como los “hogares a nivel nacional que se encuentran en condición de pobreza extrema”, cuantificándola en aproximadamente 5,363,543 hogares para el año 2009, con base en su identificación a partir de la ENIGH 2006, mediante un Sistema Único de Puntajes (SUP). El Padrón de beneficiarios del PDHO se compone del Padrón Base de Beneficiarios, el cual contiene la relación de familias elegibles para el proceso de incorporación al Programa, y el Padrón Activo de Beneficiarios, que integra a las familias incorporadas al Programa y que se mantienen activas. Dicho padrón contiene las características de sus beneficiarios incluidas en sus ROP, así como el tipo de apoyos que reciben conforme los siguientes campos: Estado, Municipio, Localidad, nombre(s) y apellidos, monto del apoyo recibido por el tipo del mismo, fecha de alta y fecha de baja. Se cuenta con una planeación estratégica de mediano y largo plazo, la cual es resultado de un ejercicio de planeación institucionalizado. La planeación anual cuenta con metas de control y seguimiento de los apoyos y metas de las actividades de fortalecimiento. El programa utiliza informes de evaluaciones externas para la toma de decisiones, como se puede apreciar a partir de la elaboración de los programas de trabajo sobre Aspectos Susceptibles de Mejora para los años 2008 a 2010. Las acciones y actividades que ha implementado el programa han permitido mejorar su gestión y resultados. S72 2 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) El Programa cuenta con una estrategia de cobertura documentada, la cual incluye la definición de la población objetivo, especifica metas de cobertura anual y es congruente con el diseño del programa, sin embargo, no incluye el horizonte de mediano y largo plazo. El número de hogares beneficiarios en el año 2000 era de 2, 560, 000 y para el 2002 aumentó a 4, 240, 000, a partir del 2004 al 2007 el programa ha atenido a 5,000,000 de familias de manera anual. En el 2011 el número de familias beneficiarias ascendió a 5, 827, 318. En los últimos 10 años el número de hogares beneficiarios se ha duplicado, puesto que la incidencia del programa ahora abarca tanto zonas rurales como zonas urbanas. Los procedimientos para recibir, registrar y dar trámite a las solicitudes de apoyo corresponden a las características de la población objetivo. Sin embargo, la mayoría de los apoyos que otorga el programa no se realizan a través de solicitudes de apoyo, sino que el programa a través de la CUIS identifica quiénes serán sus beneficiarios. El programa cuenta con información sistematizada que permite conocer la demanda total de apoyos en las localidades que atiende y las características de los solicitantes, ya que utiliza la Cédula Única de Información Socioeconómica. El Programa cuenta con manuales de operación, que cumplen con estar estandarizados, sistematizados y están apegados a las ROP, sin embargo no todos se encuentran publicados. La información recibida es registrada en la base de datos, la cual está sistematizada y puede ser consultada. Los apoyos otorgados a las instancias ejecutoras son entregados en tiempo y forma. Asimismo, el programa cuenta con mecanismos de transparencia y rendición de cuentas. El programa identifica y cuantifica los gastos en los que incurre para generar los bienes y servicios que ofrece. El Programa cuenta con el instrumento Puntos Centinela a través del cual obtiene información de sus beneficiarios mediante la aplicación de 5 tipos de encuestas, entre las que se encuentra la encuesta a las titulares beneficiarias del Programa, cuyo objetivo es recabar su percepción sobre distintos aspectos operativos del Programa, así como su opinión acerca de la calidad de los servicios que reciben. El Programa cuenta con evaluaciones externas que no son de impacto, que permiten identificar uno o varios hallazgos relacionados con el Fin y/o Propósito del Programa, y tienen todas las características establecidas. El PDHO documenta sus resultados a nivel de fin y propósito con indicadores de la MIR. En la cual se muestran resultados positivos. El programa presenta hallazgos de varias evaluaciones: movilidad social intergeneracional de los jóvenes beneficiarios de Oportunidades provenientes de hogares en zonas rurales (MSI), Documento Compilatorio de la Evaluación Externa del 2008. Asimismo, presenta información de estudios o evaluaciones rigurosas nacionales o internacionales que muestran el impacto de programas similares: evaluaciones de programas en China, Brasil y Nicaragua. Los resultados del programa están documentados en seis evaluaciones derivadas de la evaluación externa 2008: 1) Evaluación de los efectos a diez años de Oportunidades en el desarrollo, educación y nutrición en niños entre 7 y 10 años de familias incorporadas desde el inicio del Programa. 2) Evaluación de impacto sobre el empleo, los salarios y la movilidad ocupacional intergeneracional del Programa Oportunidades. 3) Seguimiento de adultos jóvenes en hogares incorporados desde 1998 a Oportunidades: impactos en educación y pruebas de desempeño; 4) La vida después de S72 3 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) Oportunidades: impacto del Programa a diez años de su creación. 5) ¿Cómo se explica el impacto educativo del Programa Oportunidades? Actores, factores y procesos. 6) Padecer la pobreza: un análisis de los procesos de salud, enfermedad y atención en hogares indígenas y rurales bajo la cobertura del Programa Oportunidades. S72 4 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) Introducción El presente informe constituye “La Evaluación de Consistencia y Resultados 2011 del Programa de Desarrollo Humano Oportunidades. Dicha evaluación fue elaborada a través de un análisis documental de la información proporcionada por el Programa y se integra de 51 preguntas de acuerdo establecidas en los “Términos de Referencia, para Evaluaciones de Consistencia y Resultados 2011” emitidos por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL). El objetivo de la evaluación consiste en realizar un análisis respecto a la idoneidad del programa en el entorno económico mexicano actual, así como realizar un análisis de cohesión entre el problema que atiende, su diseño, planeación, cobertura, operación, satisfacción de los beneficiarios y resultados; el cual, permita formular propuestas para mejorar en los aspectos anteriores del programa. La presente evaluación consta de 7 apartados: el primero se encuentra constituido por 13 preguntas dedicadas a la sección de diseño, el segundo corresponde a planeación y orientación a resultados, el cual, está constituido por 9 preguntas; el tercer apartado consta de 3 preguntas destinadas a la parte cobertura y focalización; el cuarto apartado integra la parte operativa en 17 preguntas; el quinto trata, en una pregunta, la percepción de la población atendida; el último apartado relacionado con los TDR reporta la medición de resultados. Finalmente se presentan las conclusiones de la Evaluación. La presente Evaluación de Consistencia y Resultados 2011, se realizó a partir de la metodología propuesta en los Términos de Referencia, así como, entrevistas con el personal que opera el Programa. S72 5 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) IV.1 DISEÑO IV.1.1 CARACTERÍSTICAS DEL PROGRAMA Con base en información solicitada a los responsables del programa, se debe adjuntar en el Anexo 1 "Descripción General del Programa", una breve descripción de la información reportada en un máximo de dos cuartillas. Dicha descripción debe considerar los siguientes aspectos: 1. Identificación del programa (nombre, siglas, dependencia y/o entidad coordinadora, año de inicio de operación); 2. Problema o necesidad que pretende ; 3. Objetivos nacionales y sectoriales a los que se vincula; 4. Descripción de los objetivos del programa, así como de los bienes y/o servicios que ofrece; 5. 6. 7. 8. 9. Identificación y cuantificación de la población potencial, objetivo y atendida; Cobertura y mecanismos de focalización; Presupuesto aprobado en el ejercicio fiscal sujeto a evaluación; Principales metas de Fin, Propósito y Componentes, y Valoración del diseño del programa respecto a la atención del problema o necesidad. S72 6 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) IV.1.2 ANÁLISIS DE LA JUSTIFICACIÓN DE LA CREACIÓN Y DEL DISEÑO DEL PROGRAMA 1 El problema o necesidad prioritaria que busca resolver el programa está identificado en un documento que cuenta con la siguiente información: a) El problema o necesidad se formula como un hecho negativo o como una situación que puede ser revertida. b) Se define la población que tiene el problema o necesidad. c) Se define el plazo para su revisión y su actualización. Respuesta Si Nivel 4 • El programa tiene identificado el problema o necesidad que busca resolver, y • El problema cuenta con todas las características establecidas en la pregunta. Justificación: En el documento titulado Diagnóstico de la problemática social atendida por el Programa Oportunidades (Diagnóstico del PDHO), se indica que el problema de la pobreza extrema en México “se presenta como una situación donde las carencias de ingreso, de educación y de salud de los hogares significan un bajo capital humano de las personas, que no les permite generar un nivel de ingresos suficiente para satisfacer sus necesidades básicas y por tanto acceder al pleno desarrollo de sus capacidades básicas.” Al respecto, se pone énfasis en tres aspectos fundamentales: 1.La explicación del carácter cíclico de la pobreza extrema (transmisión intergeneracional); 2.el carácter multidimensional de la pobreza extrema, por lo que deben analizarse sus principales factores asociados, como “la baja escolaridad, la mala salud y la desnutrición”; y, 3.la evolución de la pobreza (1996/2006), la cual se reportó en 2006, según cifras del CONEVAL, 10.6% de los hogares de la población nacional está en condiciones de pobreza alimentaria, un 16.1% en condiciones de pobreza de capacidades y un 35.5% en condiciones de pobreza patrimonial. Dado lo anterior, se deduce que el problema al que atiende el Programa es el déficit en capital humano motivado por un déficit de capacidades en educación, salud y nutrición que presentan los miembros de las familias en condiciones de pobreza extrema. Por otra parte el Programa define dentro de la Nota de Actualización de Población Potencial y Objetivo del Programa de Desarrollo Humano Oportunidades a la población que tiene el problema como “hogares que no cuentan con los recursos suficientes para adquirir los bienes y servicios que requiere para satisfacer sus necesidades (alimentarias y no alimentarias)” y cuenta además con un Diagnóstico situacional de la Población Potencial del Programa de Desarrollo Humano Oportunidades en el que se realiza una caracterización general de la Población Potencial del PDHO. Este documento indica que el plazo para su actualización será de al menos cada dos años.tualización será de al menos cada dos años. Se sugiere redactar el problema en los siguientes términos “Bajo capital humano de los integrantes de los hogares cuyas condiciones socioeconómicas impiden el desarrollo de las mismas” S72 7 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 2 Existe un diagnóstico del problema que atiende el programa que describa de manera específica: a) Causas, efectos y características del problema. b) Cuantificación, características y ubicación territorial de la población que presenta el problema. c) El plazo para su revisión y su actualización. Respuesta Si Nivel 4 • El programa cuenta con un diagnóstico del problema, y • El diagnóstico cuenta con todas las características establecidas en la pregunta. Justificación: En el documento de Diagnóstico del PDHO, se señala como causas explicativas de la pobreza: 1) el comportamiento en el crecimiento y desarrollo económico; 2) la estructura y dinamismo de los mercados laborales, y 3) el efecto de las instituciones, la cultura y el capital social. En el mismo sentido y conforme al “déficit de capacidades básicas” en educación, salud y nutrición, se describen sus causas, características (descripción de su situación actual), evolución y efectos: •Educación. Se citan como situaciones que no permiten a las familias invertir en la educación de sus hijos: 1) el costo de oportunidad de enviar a los hijos a la escuela; 2) los costos monetarios y no monetarios de la educación; 3) la baja cobertura, calidad y pertinencia de los modelos educativos; 4) el bajo retorno esperado de la educación; 5) la baja valoración de la educación, y 6) la discriminación intrafamiliar por cuestiones de género y edad. Se incluye el análisis de: 1) el aprovechamiento académico en México en comparación con otros países de la OCDE; 2) la comparación de la asistencia escolar en áreas urbanas entre los quintiles de población más pobre y más rica; 3) el rezago en el acceso a la educación superior en comparación con otros países. •Salud y Nutrición: Se citan como causas que inhiben el acceso de las personas a una vida saludable: 1) los costos monetarios y no monetarios de atención a la salud; 2) la baja cobertura, calidad y pertinencia de los servicios de salud; 3) la baja capacidad resolutiva de los servicios de salud; 4) la infraestructura deficiente de servicios sanitarios; 5) la baja cultura de prevención de la salud y de una buena nutrición, y 6) los bajos niveles educativos. Se incluye el análisis de: 1) datos de la ENSANUT 2006 versus la ENN 1999; y 2) tasas de mortalidad infantil en México en comparación con otros países. Asimismo, se indica la evolución de la pobreza en México (1996/2006), que se reporta a nivel nacional para 2006 según el CONEVAL en: 10.6% de los hogares en condiciones de pobreza alimentaria, un 16.1% en pobreza de capacidades y un 35.5% en pobreza patrimonial. En dicho documento se incluye la cuantificación (aprox. 5 millones363 mil543 hogares en 2009) y caracterización (con base en los indicadores socioeconómicos de marginación incluidos en la ENIGH 2006) de la población potencial. De igual forma el PDHO cuenta con un Diagnóstico situacional de la Población Potencial del Programa de Desarrollo Humano Oportunidades (Diagnóstico PP 2011) en el que a abril de 2011, se cuantifican 11.95 millones de hogares en condiciones de “pobreza”. El diagnóstico, cómo documento que identifica el problema que justifica la intervención pública, así como sus principales causas y efectos y la definición de la población que tiene el problema o necesidad será revisado al menos cada dos años, y en su caso actualizado. S72 8 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 3 ¿Existe justificación teórica o empírica documentada que sustente el tipo de intervención que el programa lleva a cabo? Respuesta Si Nivel 3 • El programa cuenta con una justificación teórica o empírica documentada que sustente el tipo de intervención que el programa lleva a cabo en la población objetivo, y • La justificación teórica o empírica documentada es consistente con el diagnóstico del problema, y • Existe(n) evidencia(s) (nacional o internacional) de los efectos positivos atribuibles a los beneficios o los apoyos otorgados a la población objetivo. Justificación: Diversas investigaciones muestran que el tipo de apoyos que brinda el PDHO son adecuados para conseguir los objetivos que persigue. En el documento Programa de Educación, Salud y Alimentación (Progresa), se incluye una presentación y justificación inicial del PDHO y se afirma que, las condiciones físicas con las cuales nacen y se desarrollan los niños en una familia pobre, la edad a la que se inicia la educación escolar, el aprovechamiento escolar limitado ocasionado por las deficiencias alimentarias y de salud a las que se exponen los niños de dichas familias, y el apremio en las condiciones económicas de los hogares pobres, son condiciones que se entretejen perpetúan la pobreza de generación en generación. En este sentido, se afirma que “Durante la infancia, los niños y niñas que crecen en un contexto marcado por la pobreza reciben pocos alicientes y pocos recursos para su superación personal. Ya de jóvenes, su escasa educación y capacitación los orilla a realizar sólo tareas de baja productividad y poco rendimiento, y en consecuencia exiguamente retribuidas. Por su parte, las mujeres tienden a casarse muy jóvenes y comienzan su reproducción de inmediato, la cual se caracteriza por nacimientos numerosos y muy poco espaciados que ponen en riesgo su salud y la sobrevivencia de sus hijos.” Lo anterior es congruente con el Diagnóstico del PDHO. Respecto a los efectos positivos atribuibles a los apoyos otorgados a la población objetivo, el PDHO cuenta con evaluaciones externas por medio de las cuales se han verificado los efectos del Programa. En este sentido, dentro de las evaluaciones se incluye, por ejemplo, en la evaluación externa del 2008, un apartado en el que se analiza el efecto de Oportunidades en áreas rurales a diez años, en los términos siguientes: 1) Efectos en Desarrollo, Educación y Nutrición; 2) Efecto en Empleo, Salarios y Movilidad; 3) Seguimiento a Adultos jóvenes; 4) Efectos en la probabilidad de éxito laboral. De manera general, dicha evaluaciones muestran resultados positivos y relevantes en el desarrollo de capacidades básicas en educación, salud y nutrición. No cuenta con evidencia que señale que las intervenciones que realiza el programa sean más eficaces que otras alternativas para atender la problemática del “Bajo capital humano de los integrantes de los hogares cuyas condiciones socioeconómicas impiden acceder al pleno desarrollo de las mismas”. Lo anterior puede deberse a que el Programa ha sido de los programas pioneros en esta materia. S72 9 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) IV.1.3 ANÁLISIS DE LA CONTRIBUCIÓN DEL PROGRAMA A LOS OBJETIVOS NACIONALES Y El Propósito del programa está vinculado con los objetivos del programa sectorial, especial o institucional considerando que: a) Existen conceptos comunes entre el Propósito y los objetivos del programa sectorial, especial o institucional, por ejemplo: población objetivo. b) El logro del Propósito aporta al cumplimiento de alguna(s) de la(s) meta(s) de alguno(s) de los objetivos del programa sectorial, especial o institucional. Respuesta Si 4 Nivel 4 • El programa cuenta con un documento en el que se establece la relación del Propósito con los objetivo(s) del programa sectorial, especial o institucional, y • Es posible determinar vinculación con todos los aspectos establecidos en la pregunta, y • El logro del Propósito es suficiente para el cumplimiento de alguna(s) de la(s) meta(s) de alguno(s) de los objetivos del programa sectorial, especial o institucional. Justificación: El Propósito del Programa, definido en su MIR como “Las familias en pobreza extrema beneficiarias de Oportunidades amplían sus capacidades en educación, salud y nutrición”, se vincula, dado su carácter intersectorial, con los siguientes Planes y Programas Sectoriales: 1.Programa Sectorial de Desarrollo Social 2007-2012 (PSDS) de la Secretaría de Desarrollo Social. El Propósito del PDHO tiene congruencia con el Objetivo 1 (Desarrollar las capacidades básicas de las personas en condición de pobreza), el Objetivo 2 (Abatir el rezago que enfrentan los grupos sociales vulnerables a través de estrategias de asistencia social que les permitan desarrollar sus potencialidades con independencia y plenitud) y el Objetivo 5 (Elementos para una gestión eficiente en la política de desarrollo social). 2.Programa Sectorial de Educación 2007-2012 (PSE) de la Secretaría de Educación Pública. El Propósito del programa se vincula con el Objetivo 2 (Ampliar las oportunidades educativas para reducir desigualdades entre grupos sociales, cerrar brechas e impulsar la equidad); y, 3.Programa Sectorial de Salud 2007-2012 (PSS) de la Secretaría de Salud. En materia de salud, el Propósito del Programa se vincula con el Objetivo 2(Reducir las brechas o desigualdades en salud mediante intervenciones focalizadas en grupos vulnerables y comunidades marginadas) y con el Objetivo 5 (Garantizar que la salud contribuya al combate a la pobreza y al desarrollo social del país). El logro del Propósito es suficiente para cumplir las siguientes metas de los siguientes indicadores: a) tasa de terminación de educación básica de los jóvenes en pobreza extrema (PSDS) y b) relación becas alumnos oportunidades para educación básica (SEP). S72 10 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 5 ¿Con cuáles objetivos, ejes y temas del Plan Nacional de Desarrollo vigente está vinculado el objetivo sectorial relacionado con el programa? Eje Objetivo Tema Igualdad de oportunidades 5. Reducir la pobreza extrema y asegurar la igualdad de 1 Superación de la oportunidades y la ampliación de capacidades para que pobreza todos los mexicanos mejoren significativamente su calidad de vida y tengan garantizados alimentación, salud, educación, vivienda digna y un Programa Sectorial Objetivo Programa Sectorial de 1. Desarrollar las capacidades básicas de las personas en condición de Desarrollo Social pobreza. Programa Sectorial de 3. Disminuir las disparidades regionales a través del ordenamiento territorial e Desarrollo Social infraestructura social que permita la integración de las regiones marginadas a los procesos de desarrollo y detone las potencialidades productivas. Justificación: EL PDHO se vincula con el Plan Nacional de Desarrollo 2007-2012 con todos los objetivos sectoriales, en lo que respecta a su Eje Rector 3: Igualdad de Oportunidades, menciona como finalidad de la política social lograr el desarrollo humano y el bienestar de los mexicanos a través de la igualdad de oportunidades. En este sentido, el objetivo del Programa tiene congruencia con el apartado 3.1 Superación de la Pobreza, en lo concerniente al Objetivo 1 que plantea “Reducir significativamente el número de mexicanos en condiciones de pobreza con políticas públicas que superen un enfoque asistencialista, de modo que las personas puedan adquirir capacidades y generar oportunidades de trabajo”. Además el PDHO tiene relación con el apartado 3.3 Transformación educativa, específicamente en lo que se refiere al Objetivo 10 tendiente a “Reducir las desigualdades regionales, de género y entre grupos sociales en las oportunidades educativas”, pues plantea necesidad de apoyar a los estudiantes más rezagados a fin de que estén en condiciones de aprovechar las oportunidades que ofrece la educación. Por otro lado, dentro del apartado 3.6 Grupos Vulnerables, se indica que es obligación del Estado propiciar igualdad de oportunidades para todas las personas, y especialmente para quienes conforman los grupos más vulnerables de la sociedad, incluyendo a los adultos mayores; en este sentido, se incluye el Objetivo 17 que plantea “Abatir la marginación y el rezago que enfrentan los grupos sociales vulnerables para proveer igualdad en las oportunidades que les permitan desarrollarse con independencia y plenitud”. S72 11 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 6 ¿Cómo está vinculado el Propósito del programa con las Metas del Milenio? b) Indirecta: El logro del Propósito aporta al cumplimiento de alguna(s) de la(s) Meta(s) del Milenio. Justificación: De acuerdo con el propósito y apoyos que otorga el Programa, y en términos de lo establecido en los numerales 2.1 y 2.2 de las ROP 2011, el equipo evaluador concluye que éste se vincula de manera indirecta con los siguiente Objetivos y Metas del Milenio: •“Objetivo 1. Erradicar la pobreza extrema y el hambre”, meta “Reducir a la mitad, entre 1990 y 2015, el porcentaje de personas cuyos ingresos sean inferiores a 1 dólar por día”. El Programa se vincula de manera indirecta, pues tiene como objetivo contribuir a la ruptura del ciclo intergeneracional de la pobreza. Asimismo, se relaciona de manera indirecta con la meta “Reducir a la mitad, entre 1990 y 2015, el porcentaje de personas que padecen hambre”, ello por medio de los apoyos que otorga para la alimentación y nutrición. •“Objetivo 2. Lograr la enseñanza primaria universal”, meta “Asegurar que, para el año 2015, los niños y niñas de todo el mundo puedan terminar un ciclo completo de enseñanza primaria”. El Programa se vincula de manera indirecta, ya que contribuye en ella, a través del fomento de la inscripción, asistencia regular y terminación de la educación básica. •“Objetivo 3. Promover la igualdad de género y el empoderamiento de la mujer”, meta “Eliminar las desigualdades entre los sexos en la enseñanza primaria y secundaria, preferiblemente para el año 2005, y en todos los niveles de la enseñanza para 2010”. El Programa se vincula de manera indirecta, contribuyendo de igual forma que en lo referido en el párrafo anterior, pero además en lo que se refiere a la educación media superior. Asimismo, el PDHO tiene como prioridad fortalecer la posición de las mujeres en la familia por lo que las madres de familia son las titulares del Programa y quienes reciben las transferencias monetarias. •“Objetivo 4. Reducir la mortalidad de los niños menores de 5 años”, meta “Reducir en dos terceras partes”, entre 1990 y 2015, la mortalidad de los niños menores de 5 años”. El Programa se vincula de manera indirecta. Los resultados del programa respecto a las metas del milenio, son desarrollados en el documento “Los Objetivos de Desarrollo del Milenio en México. Informe de avances 2010.” Elaborado por el gobierno federal. S72 12 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) IV.1.4 ANÁLISIS DE LA POBLACIÓN POTENCIAL Y OBJETIVO 7 Las poblaciones, potencial y objetivo, están definidas en documentos oficiales y/o en el diagnóstico del problema y cuentan con la siguiente información y características: a) Unidad de medida. b) Están cuantificadas. c) Metodología para su cuantificación y fuentes de información. d) Se define un plazo para su revisión y actualización. Respuesta Si Nivel 4 • El programa tiene definidas las poblaciones (potencial y objetivo), y • Las definiciones cuentan con todas las características establecidas. Justificación: La Nota de Actualización de Población Potencial y Objetivo del Programa de Desarrollo Humano Oportunidades 2012 (Nota PP y PO 2012) señala que para 2011 y 2012, se parte de una definición modificada de la población potencial, identificándola como “Los hogares que, sin considerar el apoyo por parte de programas gubernamentales, no cuentan con los recursos suficientes para adquirir los bienes y servicios que requiere para satisfacer sus necesidades (alimentarias y no alimentarias)”. Bajo la definición anterior, su cuantificación resulta de la definición operativa de dicha población (hogares que perciben un ingreso inferior a la Línea de Bienestar definida por el CONEVAL, sin transferencias por programas sociales), resultando un total de 11.95 millones de hogares en condiciones de “pobreza”, de los cuales el 37.61% se encuentra en situación de pobreza extrema, para ello se utilizó información de la Encuesta Nacional Ingreso Gasto de los Hogares, ENIGH 2008. Al actualizarse con datos de ENIGH 2010 se tiene que la población potencial asciende a 14 millones de hogares, de los cuales el 59% se encuentra en pobreza moderada y el 41% en pobreza extrema. Para 2012 existen dos definiciones de población objetivo: la primera, corresponde con el diagnóstico 2011, definida como hogares con integrantes menores de 22 años o con mujeres en edad fértil; dicha población asciende a 12.7 millones de hogares, de los cuales 5.2 se encuentran en pobreza extrema, y la segunda definición corresponde al criterio de Verificación Permanente de la Condiciones Económicas de los Hogares (VPCS); de acuerdo a datos de la ENIGH 2008, habría 10.8 millones de hogares, mientras que la ENIGH 2010 la cifra asciende a 11 millones de hogares. En la Nota PP y PO 12 se establece que la cuantificación de la población potencial se realizará seis meses después de que se ponga a disposición pública la ENIGH. Mientras que la cuantificación de la población objetivo estará en función de la disponibilidad de información estadística generada por el Programa. S72 13 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 8 Existe información que permita conocer quiénes reciben los apoyos del programa (padrón de beneficiarios) que: a) Incluya las características de los beneficiarios establecidas en su documento normativo. b) Incluya el tipo de apoyo otorgado. c) Esté sistematizada e incluya una clave única de identificación por beneficiario que no cambie en el tiempo. d) Cuente con mecanismos documentados para su depuración y actualización. Respuesta Si Nivel • La información de los beneficiarios cuentan con todas las características establecidas. 4 Justificación: En el numeral 4.4 de las ROP 2011, se indica que el Padrón de beneficiarios del PDHO se conforma del Padrón Base de Beneficiarios, el cual contiene la relación de familias elegibles para el proceso de incorporación al Programa y el Padrón Activo de Beneficiarios, que integra a las familias incorporadas al Programa y que se mantienen activas. Dicho padrón contiene las características de sus beneficiarios incluidas en sus ROP, así como el tipo de apoyos que reciben conforme los siguientes campos: Estado, Municipio, Localidad, nombre(s) y apellidos, monto del apoyo recibido por tipo de apoyo, fecha de alta y fecha de baja. Con el registro en el Padrón se asigna un folio (folio familia) conformado por: la clave del estado (2 dígitos), la clave del municipio (3dígitos), la clave de la localidad (4 dígitos) y el consecutivo por localidad (5 dígitos). La información que registra el PDHO a través del padrón de beneficiarios está sistematizada pues se encuentra disponible en bases de datos informáticas. Asimismo, en términos de su depuración y actualización, cuenta con mecanismos establecidos en tres documentos: las ROP 2011, los Lineamientos Operativos del PDHO 2011 y el documento Atención de Solicitudes de Actualización del Padrón. Al respecto, la actualización y depuración de dicho padrón se realiza de manera permanente, con base en: 1) el cumplimiento de corresponsabilidades de los beneficiarios; 2) como resultado de actualizaciones que solicitan las familias beneficiarias mediante la Ficha de Atención y el Aviso de Asistencia, y la Coordinación Nacional del PDHO, responsable de la administración del padrón que notifica los cambios bimestralmente, y 3) el proceso de recertificación de familias beneficiarias. S72 14 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 9 Si el programa recolecta información socioeconómica de sus beneficiarios, explique el procedimiento para llevarlo a cabo, las variables que mide y la temporalidad de las mediciones. Justificación: El PDHO recolecta información sobre las sus características socioeconómicas y demográficas de sus beneficiarios, por medio del levantamiento de encuestas. Así lo refiere el numeral 3.4 de las ROP 2011 que indica que “La información socioeconómica se recolecta a través de una encuesta homogénea a nivel nacional para cada uno de los hogares dentro del contexto rural y urbano. En dicha encuesta se registrarán los datos sobre las características del hogar y de las condiciones socioeconómicas y demográficas de todos sus miembros. Esta información debe ser proporcionada por un informante con residencia habitual en el hogar, con al menos 15 años de edad y que conozca los datos de sus integrantes”. Respecto a la actualización de la información, esta se realiza de manera permanente, con base en: 1) el cumplimiento de corresponsabilidades de los beneficiarios; 2) como resultado de actualizaciones que solicitan las familias beneficiarias mediante la Ficha de Atención y el Aviso de Asistencia, y la Coordinación Nacional del PDHO, responsable de la administración del padrón la cual notifica los cambios bimestralmente, y 3) el proceso de recertificación de familias beneficiarias S72 15 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) IV.1.5 ANÁLISIS DE LA MATRIZ DE INDICADORES PARA RESULTADOS 10 ¿En el documento normativo del programa es posible identificar el resumen narrativo de la Matriz de Indicadores para Resultados (Fin, Propósito, Componentes y Actividades)? Respuesta Si Nivel 4 • Algunas de las Actividades, todos los Componentes, el Propósito y el Fin de la MIR se identifican en las ROP o documento normativo del programa. Justificación: El Fin identificado en la MIR del Programa como “Contribuir a la ruptura del ciclo intergeneracional de la pobreza extrema, favoreciendo el desarrollo de las capacidades en educación, salud y nutrición de las familias beneficiarias de Oportunidades” se identifica de la misma forma en el numeral 2.1 de las ROP 2011. Respecto al Propósito definido como “Las familias en pobreza extrema beneficiarias de Oportunidades amplían sus capacidades en educación, salud y nutrición”, si bien no se encuentra establecido de manera directa en la ROP 2011, tiene que ver con los objetivos específicos citados en el numeral 2.2 de dicho documento normativo. Respecto a los componentes definidos como: “Familias beneficiarias con niños y jóvenes que cumplieron su corresponsabilidad en educación básica y media superior con apoyos educativos emitidos”, “Familias beneficiarias, que cumplieron su corresponsabilidad, con el Paquete Básico Garantizado de Salud (PBGS) provisto” y “Familias beneficiarias que cumplieron su corresponsabilidad en salud con apoyos alimentario y nutricional emitidos”; todos ellos se relacionan directamente con los numerales de las ROP 2011 en los que se especifican y caracterizan los apoyos que el PDHO brinda (numerales: 3.5.1, 3.5.1.1, 3.5.1.2, 3.5.1.3, 3.5.2, 3.5.2.1, 3.5.2.2, 3.5.2.3, 3.5.2.4, 3.5.3, 3.5.3.1 y 3.5.3.2), así como en lo referente al numeral 3.6.2. Corresponsabilidades, en el que se establece el cumplimiento de las corresponsabilidades de las familias beneficiarias que resulta necesario para el logro de los objetivos que persigue el Programa. En la MIR se definen 10 actividades (véase anexo 4), entre ellas, 1) Certificación de la asistencia de los becarios en educación básica. 2) Prestación de servicios de salud, 3) Certificación del cumplimiento de corresponsabilidades en salud de las familias beneficiarias, etc., las cuales están identificadas en las ROP 2011. S72 16 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 11 Las Fichas Técnicas de los indicadores del programa cuentan con la siguiente información: a) b) c) d) e) f) g) h) Nombre. Definición. Método de cálculo. Unidad de Medida. Frecuencia de Medición. Línea base. Metas. Comportamiento del indicador (ascendente, descendente, regular ó nominal). Respuesta Si Nivel 4 • Del 85% al 100% de las Fichas Técnicas de los indicadores del programa tienen las características establecidas. Justificación: Todas las Fichas Técnicas de los indicadores del Programa cuentan con el nombre, definición y unidad de medida de los mismos, así como con su frecuencia de medición, línea base (con su valor y año) y metas (sexenales, intermedias del sexenio y para el ciclo presupuestario en curso). Respecto al comportamiento de los indicadores, dentro de las Fichas Técnicas de los mismos se cuenta con los resultados para el ejercicio fiscal 2011, en los periodos enero-mayo y enero-junio. Adicionalmente se informa que en 6 de ellos el comportamiento ha sido ascendente, en 25 regular y sólo en 3 de ellos el comportamiento registrado ha sido descendente, en este último caso los indicadores son: •“Prevalencia de desnutrición crónica infantil, entendida como baja talla para la edad, de la población beneficiaria de Oportunidades” •“Prevalencia de diarrea aguda infantil en la población beneficiaria de Oportunidades” •“Prevalencia de anemia en mujeres de 12 a 49 años de edad embarazadas y beneficiarias del Programa Oportunidades” S72 17 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 12 Las metas de los indicadores de la MIR del programa tienen las siguientes características: a) Cuentan con unidad de medida. b) Están orientadas a impulsar el desempeño, es decir, no son laxas. c) Son factibles de alcanzar considerando los plazos y los recursos humanos y financieros con los que cuenta el programa. Respuesta Si Nivel 4 • Del 85% al 100% de las metas de los indicadores del programa tienen las características establecidas. Justificación: Dentro de las Fichas Técnicas de los indicadores del PDHO, todos los indicadores tienen identificadas las metas programadas con su unidad de medida De las 34 metas indicadas en dichas Fichas Técnicas, sólo una de ellas (a nivel Propósito, la relacionada con el indicador denominado “Porcentaje de becarios de secundaria que transitan a educación media superior”) se considera que no ha rebasado sistemáticamente la meta propuesta. Por otro lado, para tres metas a nivel propósito no es posible saber si están orientadas a impulsar el desempeño,: “Prevalencia de desnutrición crónica infantil, entendida como baja talla para la edad, de la población beneficiaria de Oportunidades”, “Prevalencia de diarrea aguda infantil en la población beneficiaria de Oportunidades”; “Prevalencia de anemia en mujeres de 12 a 49 años de edad embarazadas y beneficiarias del Programa Oportunidades”); de acuerdo a la información disponible. Respecto a la factibilidad de que las metas planteadas sean alcanzadas, se considera que dos de las 34 no se lograrán, ellas relacionadas con los indicadores a nivel de Propósito: “Porcentaje de becarias en educación media superior con respecto a la composición por sexo de la matricula nacional” y “Porcentaje de becarias en educación básica con respecto a la composición por sexo de la matricula nacional”. Por otro lado, para tres de las 34 no es posible saberlo con base en la información disponible: “Prevalencia de desnutrición crónica infantil, entendida como baja talla para la edad, de la población beneficiaria de Oportunidades”; “Prevalencia de diarrea aguda infantil en la población beneficiaria de Oportunidades” y “Prevalencia de anemia en mujeres de 12 a 49 años de edad embarazadas y beneficiarias del Programa Oportunidades”. S72 18 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) IV.1.6 ANÁLISIS DE POSIBLES COMPLEMENTARIEDADES Y COINCIDENCIAS CON OTROS 13 ¿Con cuáles programas federales y en qué aspectos el programa evaluado podría tener complementariedad y/o coincidencias? Justificación: En razón del análisis del propósito, población objetivo, tipos de apoyo otorgados y cobertura del Programa con respecto a otros programas federales similares, se encontraron las siguientes complementariedades y/o coincidencias: El PDHO se complementa con otros Programas que atienden a la misma población (hogares en pobreza extrema) pero de apoyos diferentes: •Seguro Popular •Programa Caravanas de la Salud •Programa de Apoyo Alimentario •Programa de Abasto Rural •Programa de Abasto Social de Leche a cargo de Liconsa, S.A. de C.V •Programa Nacional de Becas y Financiamiento •Educación Inicial y Básica •Programa de Albergues Escolares Indígenas •Programa de Vivienda Rural •Programa de Ahorro, Subsidio y Crédito para la Vivienda "Tu Casa” •Programa Hábitat •Programa de Desarrollo de Zonas Prioritarias •Programa 3x1 para Migrantes •Programa de Opciones Productivas •Fondo de Microfinanciamiento a Mujeres Rurales No se encontraron coincidencias respecto a que los componentes sean similares o iguales y además atiendan a la misma población objetivo. Tampoco se encontraron coincidencias en razón de que los objetivos a que atiende el PDHO y otros Programas sean similares. El Programa cuenta con documentación en la que se muestran las interacciones con otros Programas, tales como con el Programa Nacional de Becas para la Educación Superior (PRONABES), entre otros. S72 19 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) IV.2 PLANEACIÓN Y ORIENTACIÓN A RESULTADOS IV.2.1 INSTRUMENTOS DE PLANEACIÓN 14 La Unidad Responsable del programa cuenta con un plan estratégico con las siguientes características: a) Es resultado de ejercicios de planeación institucionalizados, es decir, sigue un procedimiento establecido en un documento. b) Contempla el mediano y/o largo plazo. c) Establece los resultados que quieren alcanzar, es decir, el Fin y el Propósito del programa. d) Cuenta con indicadores para medir los avances en el logro de sus resultados. Respuesta Si Nivel • El plan estratégico tiene dos de las características establecidas. 2 Justificación: En el documento Hacia dónde va la Coordinación Nacional del Programa de Desarrollo Humano Oportunidades: una planeación de mediano plazo, se describe el Plan Estratégico de la Coordinación Nacional del Programa de Desarrollo Humano Oportunidades, que define los objetivos y estrategias que guían la toma de decisiones en el mediano plazo (abarca la presente administración). Así, la planeación estratégica del PDHO contempla únicamente el periodo 2007-2012 y no incluye el largo plazo ya que no se trasciende a la actual administración federal. La planeación estratégica contempla dentro de la misión el Fin del PDHO identificado en su MIR como “Coordinar acciones interinstitucionales para contribuir a la ruptura intergeneracional de la pobreza extrema, mediante el desarrollo de las capacidades básicas de las familias y su acceso a mejores oportunidades de desarrollo económico y social”. Respecto al Propósito del PDHO, dicha planeación estratégica lo contempla como uno de los objetivos que persigue, es decir, como “Incrementar las capacidades básicas de las familias en situación de pobreza mediante una triada estratégica de acciones integrales en educación, salud y alimentación, con estrecha colaboración entre las instituciones y sectores involucrados, así como con la participación de los tres órdenes de gobierno.” No se puede establecer que el plan estratégico es resultado de un ejercicio de planeación institucionalizado, debido a que no se cuenta con un documento que muestre el procedimiento seguido para elaborarlo. Igualmente, la planeación estratégica no cuenta con indicadores para medir los avances en el logro de los resultados que se pretenden alcanzar. Con base en los anteriores se sugiere que el programa adopte las siguientes recomendaciones: 1. Elaborar un plan estratégico con visión de largo plazo, y que cuente con indicadores que permitan valorar el alcance de sus metas tanto de mediano como de largo plazo. 2. Establecer el procedimiento para la elaboración de la planeación estratégica, el cual debe contener por lo menos: los participantes, plazos de elaboración y revisión, área responsable de su elaboración y autorización, así como las especificaciones del producto a realizar. S72 20 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 15 El programa cuenta con planes de trabajo anuales para alcanzar sus objetivos que: a) Son resultado de ejercicios de planeación institucionalizados, es decir, siguen un procedimiento establecido en un documento. b) Son conocidos por los responsables de los principales procesos del programa. c) Tienen establecidas sus metas. d) Se revisan y actualizan. Respuesta Si Nivel • Los planes de trabajo anuales tienen tres de las características establecidas. 3 Justificación: En el documento Plan Operativo de los Programas de Desarrollo Social, Ramo 20, con fecha de enero de 2011, cuyo propósito es integrar las principales acciones de la SEDESOL, se incluyen las principales líneas estratégicas del PDHO. El Plan Operativo incluye información de los componentes alimentario y educativo, por lo que no contempla el referente a salud. Por tanto, no cuenta con un plan de trabajo anual que incluya los tres componentes del Programa. Respecto a las metas, se incluyen las relacionadas con acciones operativas y trámites entre otras, y las mismas incluyen la descripción de los procesos. El Plan Operativo de Trabajo es resultado de un ejercicio de planeación institucionalizado, ya que de manera anual la Subsecretaría de Prospectiva, Planeación y Evaluación elabora el Plan Operativo de los Programas de Desarrollo Social de acuerdo a lo establecido en el reglamento interno de la SEDESOL. Sin embargo, a partir de la información disponible, no se tiene evidencia de que se revisen y actualicen durante el ejercicio fiscal. El Plan Operativo es conocido por las Delegaciones de la SEDESOL ya que es enviado junto con las metas a cumplir por entidad federativa de manera anual durante el mes de enero. Se recomienda que el Programa elabore un plan de trabajo anual que incluya por lo menos las metas establecidas para los indicadores de la MIR, así como las acciones que considere relevante implementar durante el año para mejorar su desempeño. S72 21 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) IV.2.2 DE LA ORIENTACIÓN HACIA RESULTADOS Y ESQUEMAS O PROCESOS DE 16 El programa utiliza informes de evaluaciones externas a) De manera regular, es decir, uno de los elementos para la toma de decisiones sobre cambios al programa son los resultados de evaluaciones externas. b) De manera institucionalizada, es decir, sigue un procedimiento establecido en un documento. c) Para definir acciones y actividades que contribuyan a mejorar su gestión y/o sus resultados. d) De manera consensada, participan operadores, gerentes y personal de la unidad de planeación y/o evaluación. Respuesta Si Nivel 4 • El programa utiliza informes de evaluación externa y tiene todas las características establecidas. Justificación: El PDHO utiliza de manera regular las evaluaciones externas como uno de los elementos para la toma de decisiones sobre los cambios al Programa. Ello se verifica por medio de la elaboración de los documentos de seguimiento a Aspectos Susceptibles de Mejora (ASM) derivados de Evaluaciones Externas para los ejercicios fiscales 2007 a 2010, de acuerdo con los procedimientos establecidos en los Mecanismos para el seguimiento de los aspectos susceptibles de mejora derivados de informes y evaluaciones a los programas presupuestarios de la Administración Pública Federal, emitido por la Secretaria de Hacienda y Crédito Público, la Secretaría de Función Pública y el Consejo Nacional de Evaluación de la Política Social. Las actividades y acciones emprendidas a partir de los ASM provenientes de evaluaciones externas han permitido mejorar la gestión y resultados del programa. Dichas acciones y actividades son, entre otras: el desarrollo de los términos de referencia del proyecto/estudio de evaluación sobre los talleres comunitarios para el autocuidado de la salud, el desarrollo de los términos de referencia del proyecto/estudio de evaluación sobre la baja demanda de atención institucional al parto en la población indígena y la utilización de la razón becarios/matrícula como un indicador. Dado lo anterior, es decir, en razón de que el programa ha atendido recomendaciones de evaluaciones externas, se concluye que el PDHO utiliza las evaluaciones de manera regular. De manera consensada participan operadores del Programa, personal de la unidad de planeación, así de la unidad de evaluación en la implementación de soluciones derivadas de los ASM. S72 22 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 17 Del total de los Aspectos Susceptibles de Mejora (ASM) clasificados como específicos y/o institucionales de los últimos tres años, ¿qué porcentaje han sido solventados acorde con lo establecido en los documentos de trabajo y/o institucionales? Respuesta Si Nivel 4 • Del 85 al 100% del total de los ASM se han solventado y/o las acciones de mejora están siendo implementadas de acuerdo con lo establecido en los documentos de trabajo e institucionales. Justificación: De acuerdo con los documentos de Seguimiento a aspectos susceptibles de mejora derivados de informes y evaluaciones, entre los años 2008 y 2010 el PDHO tuvo 22 recomendaciones. Al respecto, se han atendido 20 de ellas al 100%, 2 al 70 % y lo que implica que se tiene un cumplimiento del 97.2%. Al periodo 2007-2008 corresponden el ASM Referente a la Elaboración de un Programa Estratégico de corto, mediano y largo plazo muestra un avance de 70%; respecto a las otras 3 recomendaciones: “Se sugiere elaborar un documento o manual operativo para sistematizar los mecanismos para el establecimiento de indicadores y metas” muestra un avance de 70%, los dos restantes “Elaborar un diagnóstico actualizado y adecuado de la problemática que sustenta la razón de ser del Programa” y “Fortalecer algunos elementos de la Matriz de Indicadores de Resultados …”) muestran un avance del 100%. El periodo 2008-2009 tuvo 17 ASM, en los cuales se tuvo un avance del 100% para todos los casos. Las acciones y actividades relacionadas con los mismos son, entre otras: el desarrollo de los términos de referencia del proyecto/estudio de evaluación sobre la baja demanda de atención institucional al parto en la población indígena, el desarrollo del análisis de factibilidad y reconocimiento, en su caso, a la labor realizada por las vocales, el desarrollo de los términos de referencia para la elaboración del documento con el análisis de la revisión de procesos y el desarrollo de los términos de referencia del proyecto/estudio de evaluación sobre los talleres comunitarios para el autocuidado de la salud. En el periodo 2009-2010 se tuvo un ASM referente a actualizar la cuantificación de la población potencial con la información disponible más reciente, con un avance de 100%. S72 23 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 18 ¿Con las acciones definidas en los documentos de trabajo e institucionales, que a la fecha se han implementado, provenientes de los Mecanismos para el seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones a los programas presupuestarios de la Administración Pública Federal de los últimos tres años, se han logrado los resultados establecidos? Justificación: Se considera que la mayoría de las acciones definidas para los ASM, para los cuales se tiene progreso documentado, han sido pertinentes en cuanto han permitido alcanzar los resultados establecidos, por ejemplo, para el ASM: “Actualizar la cuantificación de la población potencial con la información disponible más reciente”, se estableció como acción “Actualizar la cuantificación de la población potencial del PDHO”, que dio como resultado el Diagnóstico situacional de la Población Potencial del Programa de Desarrollo Humano Oportunidades. O bien, con respecto a la operatividad del programa, el ASM “Fortalecer y explorar alternativas novedosas de capacitación al personal de los sectores de salud y educación en los temas relevantes para la operación del Programa”, se estableció la actividad Desarrollo e implementación de la Estrategia de Capacitación para el Personal de los Sectores Salud y Educación y Validación en campo de materiales multimedia, lo cual permite mejorar el conocimiento que sobre el Programa tiene el personal de los sectores Salud y Educación. Por otro lado, el ASM “Incentivar en la población beneficiaria el uso de las Cartillas Nacionales de Salud”, establece como acción a emprender “Diseñar acciones de promoción en el uso de la Cartilla Nacional entre la población beneficiaria” dando como resultado: Las mujeres embarazadas asisten a las consultas de control prenatal con la Cartilla Nacional de Salud correspondiente. Por lo tanto, se considera que no se cumple completamente con la recomendación, sino sólo de manera parcial, puesto que se excluye la población infantil menor a cinco años, que utilizan cartillas de vacunación, Sin embargo, el programa señala que actualmente la cartilla de salud es considerada como un aspecto relevante para los procedimientos de salud. S72 24 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 19 ¿Qué recomendaciones de la(s) evaluación(es) externa(s) de los últimos tres años no han sido atendidas y por qué? Justificación: En la Evaluación Específica de Desempeño 2009 se recomienda “reforzar la operación de Jóvenes con Oportunidades y realizar un estudio específico para identificar y comprender las situaciones que limitan el impacto del componente educativo en cuanto al otorgamiento de los incentivos de Jóvenes con Oportunidades y el porcentaje de becarias en la educación media superior.” Para lo cual el PDHO, señala de acuerdo al Documento de Posición Institucional de la EED 2009, que “A finales de 2008 y comienzos de 2009 el Programa Oportunidades realizó el diseño, implementación y formalización de nuevos procesos a través de convenios modificatorios, así como gestiones con la institución liquidadora contratada para realizar la distribución de los apoyos de Jóvenes con Oportunidades. De esta manera, durante el primer semestre de 2009 la formalización de cuentas del apoyo Jóvenes con Oportunidades se suspendió; reanudándose a partir de julio de 2009 con un cambio en la modalidad de entrega de los apoyos que permitió agilizar el trámite, brindar una atención más rápida y disminuir el costo de dicha atención y servicio. Los ajustes anteriores al diseño y operación del apoyo Jóvenes con Oportunidades tuvieron el efecto mencionado sobre las solicitudes para recibir dicho apoyo por parte de los jóvenes beneficiarios que fue registrado por el indicador en mención.” Por lo cual consideró no atender la recomendación. En la Evaluación Específica de Desempeño 2010 se sugiere las siguientes recomendaciones: 1) “La coexistencia Oportunidades y PAL a nivel de localidad; se sugiere eliminar esta coexistencia, dejar a PAL sólo en localidades rurales marginadas sin acceso a servicios y establecer a nivel de las secretarías (SEDESOL, Salud y SEP), una estrategia intergurbernamental para mejorar la cobertura y calidad de los servicios de salud y educación, con el fin de que el aumento en asistencia a los servicios de salud se traduzca realmente en un aumento de capacidades.” Se considera que el programa no puede atender la recomendación debido a que es una recomendación de carácter interinstitucional. Actualmente, derivado del proceso de selección y definición de ASM 2012, esta recomendación han sido incorporadas, para genera un plan de trabajo el mes de abril 2012. 2) Aclarar en las ROP que su población potencial y objetivo es la pobreza extrema y estructural. El Programa señala en su posicionamiento institucional que: “… en diciembre de 2009 el CONEVAL publica la “Metodología para la Medición Multidimensional de la Pobreza en México”, por lo que la Coordinación Nacional del Programa de Desarrollo Humano Oportunidades ajustó el mecanismo de identificación de familias a la nueva medición. Si bien, el ajuste a dicho mecanismo considera como referente para la metodología de focalización a la línea de la canasta alimentaria de la medición multidimensional, el mecanismo sigue considerando que su población objetivo debe incluir a hogares en condición de pobreza sin posibilidad de poder invertir en el desarrollo de las capacidades de los miembros del hogar. En este sentido, como lo establece el evaluador, el Programa de Desarrollo Humano Oportunidades no modificó la población objetivo pero sí buscó alinear la definición a los nuevos términos establecidos en dicha medición.” S72 25 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 20 A partir del análisis de las evaluaciones externas realizadas al programa y de su experiencia en la temática ¿qué temas del programa considera importante evaluar mediante instancias externas? Justificación: El Programa ha tenido distintos tipos de evaluación para documentar sus resultados, tanto de aspectos relacionados con el propósito, como con resultados específicos de sus componentes y tipo de apoyos que otorga, sin embargo, no cuenta con una evaluación de procesos, la cual demuestre si los procesos están orientados a conseguir los resultados esperados a nivel propósito. Por lo que se recomienda la realización de la misma. Se recomienda realizar una evaluación que permita medir el efecto del apoyo que reciben los jóvenes con oportunidades al concluir sus estudios, tomando en cuenta si el mismo ha permitido que una mayor cantidad de jóvenes beneficiarios concluyan su grado escolar, comparando el antes y después de la existencia del mismo. Asimismo sería deseable medir la efectividad del apoyo respecto al costo del mismo, con el objeto de tener elementos más solidos para evaluar su pertinencia. Otros temas relevantes que se considera importante sean evaluados mediante instancias externas son: La calidad de la oferta de bienes y servicios tanto de los servicios educativos como de salud. El logro de los objetivos del programa se basa en que los beneficiarios cumplan sus corresponsabilidades para incrementar sus capacidades en salud y educación, sin embargo, esto tiene el supuesto de que los bienes y servicios que se ofrecen de salud y educación son de calidad y efectivamente incrementan las capacidades de los beneficiarios. El nivel de la calidad educativa predice de mejor forma el éxito económico de un país que el número de años de educación (OCDE, 2010). Por ello es relevante analizar la calidad de los bienes y servicios tanto educativos como de salud. Pertinencia de los montos de los apoyos. La metodología para fijar los montos de los apoyos, así como la pertinencia de los montos seleccionados para diferentes tipos de beneficiarios es un tema de interés que sería deseable analizar. Efectos de la bancarización en la población beneficiaria de Oportunidades. Se han precisado los medios en que se podrán realizar los depósitos en cuentas bancarias personalizadas (entrega directa, tarjeta pre pagada o tarjeta de débito), es deseable que se analicen los efecto de utilizar esta bancarización en la entrega de apoyos monetarios para los beneficiarios. S72 26 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) IV.2.3 DE LA GENERACIÓN DE INFORMACIÓN 21 El Programa recolecta información acerca de: a) La contribución del programa a los objetivos del programa sectorial, especial o institucional. b) Los tipos y montos de apoyo otorgados a los beneficiarios en el tiempo. c) Las características socioeconómicas de sus beneficiarios. d) Las características socioeconómicas de las personas que no son beneficiarias, con fines de comparación con la población beneficiaria. Respuesta Si Nivel • El programa recolecta información acerca de todos de los aspectos establecidos. 4 Justificación: El PDHO recolecta información acerca su contribución a los objetivos de los programas sectoriales de la Secretaría de Desarrollo Social, de la Secretaría de Educación Pública y de la Secretaría de Salud establecidos para el periodo 2007-2012 lo anterior se verifica por medio de la información sistematizada con que cuenta el Programa en términos de los montos de inversión que otorga por tipo de apoyo. El Padrón de beneficiarios del PDHO se compone del Padrón Base de Beneficiarios, el cual contiene la relación de familias elegibles para el proceso de incorporación al Programa, y el Padrón Activo de Beneficiarios, que integra a las familias incorporadas al Programa y que se mantienen activas. Dicho padrón contiene las características de sus beneficiarios incluidas en sus ROP, así como el tipo de apoyos que reciben conforme los siguientes campos: Estado, Municipio, Localidad, nombre(s) y apellidos, monto del apoyo recibido por el tipo del mismo, fecha de alta y fecha de baja. Respecto a la información anterior, el padrón de beneficiarios del PDHO está sistematizado pues se encuentra disponible en bases de datos informáticas, y su depuración y actualización cuenta con mecanismos establecidos en tres documentos: las ROP 2011, los Lineamientos Operativos del PDHO 2011 y el documento Atención de Solicitudes de Actualización del Padrón. Al respecto, la actualización y depuración de dicho padrón se realiza de manera permanente, con base en: 1) el cumplimiento de corresponsabilidades de los beneficiarios; 2) como resultado de actualizaciones que solicitan las familias beneficiarias mediante la Ficha de Atención y el Aviso de Asistencia; y la Coordinación Nacional del PDHO, responsable de la administración del padrón, notifica los cambios bimestralmente. , y 3) el proceso de recertificación de familias beneficiarias. Respecto a las características socioeconómicas de las personas que no son beneficiarias, es debido a que el programa aplica la CUIS en todos los hogares de las localidades de nueva incorporación y que esta información es utilizada para la selección de los beneficiarios, se puede considerar que cuenta con información sistematizada de hogares que son y no son beneficiarios del Programa. La recertificación es también una forma de recolectar información socioeconómica de los beneficiarios. S72 27 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 22 El programa recolecta información para monitorear su desempeño con las siguientes características: a) Es oportuna. b) Es confiable, es decir, está validada por quienes las integran. c) Está sistematizada. d) Es pertinente respecto de su gestión, es decir, permite medir los indicadores de Actividades y Componentes. e) Está actualizada y disponible para dar seguimiento de manera permanente. Respuesta Si Nivel 4 • La información que recolecta el programa cuenta con todas las características establecidas. Justificación: El Programa recolecta información para monitorear su desempeño de manera oportuna y confiable. Se considera que es oportuna pues la periodicidad con la que se actualiza e informa es trimestral y permite presentar los informes de monitoreo a distintas dependencias u organismos; mientras que es confiable debido a que está validada por el personal del Programa que integra la información. La información recolectada está sistematizada pues se concentra a través de bases de datos disponibles en sistemas informáticos (Reporte de Avance de Indicadores). Dichos sistemas están actualizados (con una periodicidad bimestral/trimestral según la frecuencia de medición de los indicadores) y se encuentran disponibles para el seguimiento del de los apoyos otorgados por el Programa. Respecto a la medición de los indicadores a nivel de actividades y componentes, la información es pertinente respecto a su gestión; sin embargo, el Reporte de Avance de Indicadores presentado únicamente incluye los indicadores a nivel componente. La información está actualizada y disponible para dar seguimiento de manera permanente, ya que contiene la información más reciente de acuerdo a la periodicidad establecida para cada tipo de información. S72 28 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) IV.3 COBERTURA Y FOCALIZACIÓN IV.3.1 ANÁLISIS DE COBERTURA 23 El programa cuenta con una estrategia de cobertura documentada para atender a su población objetivo con las siguientes características: a) Incluye la definición de la población objetivo. b) Especifica metas de cobertura anual. c) Abarca un horizonte de mediano y largo plazo. d) Es congruente con el diseño del programa. Respuesta Si Nivel • La estrategia de cobertura cuenta con dos de las características establecidas. 2 Justificación: El Programa no cuenta con un documento único en el cual establezca la estrategia de cobertura del Programa, sin embargo, a partir del documento de “Propuesta de Atención del Programa de Desarrollo Humano Oportunidades y Programa de Apoyo Alimentario” dentro del Apartado “Estrategia de atención a la pobreza extrema” correspondiente a Oportunidades, así como, el “Acuerdo por el que se da a conocer el monto asignado y la distribución de la población objetivo del Programa de Desarrollo Humano Oportunidades para el ejercicio fiscal”, el cual se publica anualmente, se puede establecer a la misma estrategia de cobertura. Debido a que el Programa no atiende a demanda, se considera que una estrategia de cobertura basada en la selección de localidades, de las cuales posteriormente se selecciona a familias al interior de las mismas, es congruente con el diseño del Programa. De acuerdo a CONEVAL, la población objetivo es aquella que el programa tiene planeado o programado atender para cubrir la población potencial, y que cumple con los criterios de elegibilidad establecidos en su normatividad. En este sentido, ninguno de los dos documentos establece dicha definición, sin embargo, el acuerdo especifica metas de cobertura anuales por entidad federativa, pero, no abarcan un horizonte de mediano y largo plazo. Se recomienda establecer en un único documento y ampliar la estrategia de cobertura del Programa, la cual debe definir la población objetivo, abarcar el mediano y largo plazo, establecer metas anuales para el cumplimiento de los anteriores. Para ello es necesario incorporar lo señalado en el procedimiento de selección de localidades. S72 29 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 24 ¿El programa cuenta con mecanismos para identificar su población objetivo? En caso de contar con estos, especifique cuáles y qué información utiliza para hacerlo. Justificación: El mecanismo que utiliza el Programa para identificar a su población objetivo consiste en dos etapas de acuerdo a los ROP: La primera consiste en la “Selección de localidades” (punto 3.3 de las ROP) tanto rurales, como urbanas susceptibles de ser atendidas, para lo cual se toma como referencia, el índice de rezago social establecido por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL), así como el índice de marginación determinado por el Consejo Nacional de Población (CONAPO) e información estadística generada por el INEGI o la SEDESOL u otras instituciones para priorizar la atención de aquellas localidades con hogares en condición de pobreza no cubiertos por el Programa. Posteriormente se realiza una validación de las condiciones de accesibilidad y capacidad de atención de los servicios de educación y salud con el objeto de permitir la operación de forma integral a los componentes del Programa. La segunda etapa es la “Identificación de hogares”, para ello se aplica en las localidades o zonas previamente seleccionadas la Cédula Única de Información Socioeconómica (CUIS), la cual es una encuesta homogénea a nivel nacional que considera las condiciones socioeconómicas, y se califica con una metodología que permite determinar la condición de elegibilidad del hogar e incorporarlo al programa. Para determinar la condición de elegibilidad se utiliza un algoritmo que permite estimar el ingreso a través de un conjunto de variables socioeconómicas y demográficas de los hogares que pueden, las cuales se encuentran ajustadas de acuerdo al tamaño de la localidad (rural y urbana) en la que habitan. Una vez estimado el ingreso, se identifican los hogares cuyas condiciones socioeconómicas y demográficas son similares a las condiciones de los hogares con ingresos inferiores a los necesarios para alcanzar un nivel de bienestar mínimo o de bienestar económico, el cual es establecido en la “Nota técnica sobre los criterios que permiten determinar la permanencia de las familias en Oportunidades”. S72 30 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 25 A partir de las definiciones de la población potencial, la población objetivo y la población atendida, ¿cuál ha sido la cobertura del programa? Justificación: El número de hogares beneficiaras en el año 2000 era de 2,560,000 y para el 2002 aumentó a 4,240,000, a partir del 2004 al 2007 el programa ha atenido a 5,000,000 de familias de manera anual. En el 2011 el número de familias beneficiarias ascendió a 5,827,318. En los últimos 10 años el número de hogares beneficiarios se ha duplicado. El Programa tiene presencia en todas las entidades federativas, Veracruz es la entidad con mayor número de hogares beneficiarios en 2011 al concentrar el 11.62 % (670,659), seguida de Chiapas con el 11.51% (618,795), Puebla con un 8.32% (485,040), Estado de México con el 7.88 (459,141), y Oaxaca con el 7.83 (456,421), estas cinco entidades concentran el 46.16%. Las entidades con menor cantidad de hogares beneficiarios son: Baja California con el 0.31% (17,838), Colima con el 0.37% (21,809) y el Distrito Federal con el 0.38% (22.260). El total de personas beneficiarios es 25,701,448 de los cuales 13,433,731 (52.3%) son mujeres y 12,267,717 (47.7%) son hombres. Por rango de edad, la proporción de integrantes de familias beneficiarias mujeres es mayor en los rangos de edad que van de 15 a 29 años (51.7% del total de integrantes de familias beneficiados), de 30 a 64 años (55.6%) y de 65 años y más (52.4%); por lo que el único rango en que el número de hombres es superior al de las mujeres es el que va de los 0 a los 14 años con un 50.5% de participación. S72 31 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) IV.4 OPERACIÓN IV.4.1 ANÁLISIS DE LOS PROCESOS ESTABLECIDOS EN LAS ROP O NORMATIVIDAD 26 Describa mediante Diagramas de Flujo el proceso general del programa para cumplir con los bienes y los servicios (Componentes), así como los procesos clave en la operación del programa. Justificación: La operación del programa para el otorgamiento de los apoyos inicia con la selección de las localidades susceptibles de recibir el apoyo, para tal fin se utiliza información del índice de marginación y el índice de rezago social, así como otra información estadística relevante generada por INEGI, SEDESOL, priorizando aquellas localidades con hogares en condiciones de pobreza no cubiertos por el programa. Posteriormente, se valida las condiciones de accesibilidad y capacidad de atención de los servicios de salud y educación con el objeto de garantizar una atención integral a las familias. Una vez seleccionada la localidad, se identifica a las familias elegibles mediante el levantamiento de información socioeconómica y demográfica de los hogares en su domicilio, utilizando para esto la Cédula Única de Identificación Socioeconómica (CUIS), que se aplica mediante un dispositivo móvil. Mediante una metodología lineal, se clasifica la información recabada a las familias para estimar el ingreso mediante un conjunto de variables socioeconómicas y demográficas, que permiten identificar a los hogares que cumplen con las condiciones de pobreza y conformar el padrón de beneficiarios de acuerdo a las prioridades establecidas y la cobertura disponible. Posteriormente, se inicia el proceso de incorporación de las familias, que consiste en identificar a la titular, generalmente la madre de familia, quien deberá asistir a una reunión para hacerle entrega de una constancia de incorporación al programa y que posteriormente la titular entregue la documentación solicitada por el programa (CURP, Actas de nacimiento, entre otros) para formalizar su incorporación y conformar un expediente. Una vez incorporada al programa el personal de Oportunidades organizará a las titulares de familia para conformar los comités de promoción Comunitaria, los cuales estarán conformados por vocales de Educación, Salud, Nutrición y vigilancia elegidas por las mismas titulares. A continuación para la entrega de apoyo, la Coordinación Nacional genera los listados de los apoyos económicos, alimenticios y útiles escolares, que deberán entregarse a las familias. Estos listados y la transferencia de recursos son enviados a instituciones liquidadoras, empresas distribuidoras, y autoridades educativas de las entidades federativas para que hagan entrega de las tarjetas de débito, tarjetas prepagada, planillas, entre otros, esto en periodos bimestrales. También, el programa otorga servicios de salud y becas a los menores de 21 años para que asistan a la primaria, secundaria y nivel medio superior, para lo cual deben entregar los formatos de asistencia a las clínicas de salud y a los sistemas de educación, esto constituye el proceso de entrega de corresponsabilidades, el cual se lleva acabo bimestralmente durante su permanencia en el programa. Por último, a las familias se les vuelve a aplicar el CUIS en un periodo que oscila entre 3 y 6 años para recertificar a la familia beneficiaria y determinar si permanece o no dentro del programa. S72 32 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 27 Solicitud de Apoyos ¿El programa cuenta con información sistematizada que permite conocer la demanda total de apoyos y las características de los solicitantes? (socioeconómicas en el caso de personas físicas y específicas en el caso de personas morales) Respuesta Si Nivel 4 • El programa cuenta con información sistematizada que permite conocer la demanda total de apoyos y las características de los solicitantes. • Existe evidencia de que la información sistematizada es valida, es decir, se utiliza como fuente de información única de la demanda total de apoyos. Justificación: El Programa de Desarrollo Humano Oportunidades (PDHO) no atiende a demanda; sino que aplica un método de selección de familias. El cual tiene dos etapas, la primera consiste en la selección de localidades y otra que permite la selección de familias al interior de las mismas Adicionalmente, establece una meta de familias a ser beneficiarias, el cual para el presente año ascendió a 5 millones 800mil por lo cual únicamente se acota a la misma. El programa cuenta con información sistematizada que permite conocer la demanda total de apoyos en las localidades que atiende y las características de los solicitantes, ya que para identificar e incorporar a los hogares susceptibles de recibir el apoyo, utiliza el Cuestionario Único de Información Socioeconómica (CUIS), a través del que se registran: el domicilio, las condiciones de la comunidad, el tipo y las condiciones de vivienda , los integrantes del hogar, la situación de derechohabiencia, discapacidad, educación, número de hogares, condición laboral, tipo de negocio que le gustaría emprender, situaciones de embarazo y lactancia, entre otras. La forma en la que se levanta la información del CUIS es por medio de un dispositivo móvil, que contiene las preguntas precargadas, los posibles códigos de respuesta y los criterios utilizados. Posteriormente, los cuestionarios son evaluados para determinar que hogares cumplen con las características para ser beneficiarios. Una vez identificadas las familias a ser incorporadas y utilizando el padrón de beneficiarios se produce un escenario, donde se calcula los diferentes apoyos a entregar en salud, educación y apoyos monetarios. La información recolectada y procesada en el CUIS y el padrón de beneficiarios actual constituye la única fuente de información para conocer la demanda total de apoyos y las características de los beneficiarios, por lo que se concluye que la información sistematizada es válida. S72 33 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 28 Los procedimientos para recibir, registrar y dar trámite a las solicitudes de apoyo cuentan con las siguientes características: a) Corresponden a las características de la población objetivo. b) Existen formatos definidos. c) Están disponibles para la población objetivo. d) Están apegados al documento normativo del programa. Respuesta Si Nivel 4 • El programa cuenta con procedimientos para recibir, registrar y dar trámite a las solicitudes de apoyo, y • Los procedimientos cuentan con todas las características descritas. Justificación: El Programa de Desarrollo Humano Oportunidades (PDHO) no opera con solicitudes de apoyo; sino que aplica un método de selección de familias. El cual tiene dos etapas, la primera consiste en la selección de localidades y la otra que permite la selección de familias al interior de las mismas. En este sentido, establece una meta de hogares a ser beneficiarios de acuerdo a su presupuesto. Los procedimientos para la selección de familias se encuentran establecidos en el "Manual de procedimientos para la operación de programa 2005", “procedimiento para la Identificación de localidades", "Cuestionario Único de Información Socioeconómica, manual del Entrevistador". “procedimiento para el Levantamiento de información socioeconómica" e “Instructivo para el promotor social del procesos de recolección de información socioeconómica”. Se observa que existe correspondencia con las características de la población objetivo, ya que, establece de manera adecuada la recolección de información socioeconómica en los hogares susceptibles de ser incorporados al Programa. El Programa cuenta con un formato único denominado "Cuestionario Único de Información Socioeconómica" (CUIS), el cual es se puede considerar equivalente a una solicitud de apoyo. La información capturada en este cuestionario se realiza a través de dispositivos móviles. Debido a que el Programa no opera con solicitudes de apoyo; sino que aplica un método de selección de familias, se considera que el procedimiento para el recepción, registro y trámite de solicitudes de apoyo se encuentra disponible para los beneficiarios, debido a que se les informa a las autoridades locales durante el operativo de campo, así como a los beneficiarios durante el levantamiento de la entrevista. Los procedimientos están apegados al documento normativo, ya que no se encontró ninguna discordancia entre estos y las reglas de Operación Actualmente el Programa se encuentra desarrollando procedimientos más específicos para la recepción, registro y trámite de solicitudes. S72 34 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 29 El programa cuenta con mecanismos documentados para verificar el procedimiento para recibir, registrar y dar trámite a las solicitudes de apoyo con las siguientes características: a) Son consistentes con las características de la población objetivo. b) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras c) Están sistematizados. d) Están difundidos públicamente. Respuesta Si Nivel 2 • Los mecanismos para verificar el procedimiento para recibir, registrar y dar trámite a las solicitudes de apoyo tienen dos de las características establecidas. Justificación: Con base en el “Instructivo para el promotor social del proceso de recolección de información socioeconómica” se puede establecer que existe un mecanismo de verificación para la recepción, registro y trámite de solicitudes de apoyo, el cual se basa en la revisión del correcto llenado de las “constancias de evaluación socioeconómica” generadas en el operativo de campo, conforme a lo establecido en el “instructivo de llenado del formato de constancia de recolección de información socioeconómica”. El mecanismo de verificación es consistente con las características de la población objetivo debido a que permite el cotejar que se haya realizado el levantamiento de información socioeconómica en los hogares. El mecanismo se encuentra estandarizado debido a que el instructivo es de aplicación obligatoria para el levantamiento de información realizado por la Coordinación Nacional del Programa. No es posible determinar que el mecanismo se encuentre sistematizado ya que no se tiene evidencia de que la información recolectada sea capturada en un sistema informático. Debido a que el “Instructivo para el promotor social del procesos de recolección de información socioeconómica” no se encuentra publicado, se considera que el mecanismo no se encuentra difundido públicamente. Se recomienda sistematizar la información del mecanismo de verificación y hacer público el “Instructivo para el promotor social del proceso de recolección de información socioeconómica”. Si bien se considera que existe un mecanismo para verificar el procedimiento de registro, recepción y tramité de las solicitudes de manera general, es deseable establecer mecanismos de verificación para cada procedimiento y hacer explícitos los mismos en cada manual de procedimientos. S72 35 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 30 Selección de beneficiarios y/o proyectos Los procedimientos del programa para la selección de beneficiarios y/o proyectos tienen las siguientes características: a) Incluyen criterios de elegibilidad claramente especificados, es decir, no existe ambigüedad en su redacción. b) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras. c) Están sistematizados. d) Están difundidos públicamente. Respuesta Si Nivel 3 • Los procedimientos para la selección de beneficiarios y/o proyectos tienen tres de las características establecidas. Justificación: Los procedimientos para la selección de beneficiarios se encuentran establecidos en el “Procedimiento de análisis de la información socioeconómica de familias” el cual establece que la identificación de hogares susceptibles de ser incorporados al Programa se realiza a través de la aplicación del sistema único de puntajes, el cual aplica la metodología y valora los criterios establecidos en la “Nota técnica sobre los criterios que permiten determinar la permanencia de las familias en Oportunidades”. Se considera que los criterios de elegibilidad establecidos en la Nota Técnica se encuentran claramente especificados. Debido a que la Coordinación Nacional es la única instancia responsable de la recolección, captura, procesamiento, resguardo y análisis de la información socioeconómica de las familias, y que la Coordinación aplica el procedimiento descrito en el documento "Análisis de la Información Socioeconómica de Familias" se considera que el procedimiento es estandarizado. Los procedimientos están sistematizados, debido a que se encuentran en una base de datos que conjunta la información de los dispositivos móviles después de ser sincronizados. De esta manera la información se incorpora al sistema "Encuestas de Características Socioeconómicas de los Hogares", para la evaluación de mediante la metodología de focalización, utilizando el Sistema Único de Puntajes, el cual lo realiza de forma automática. Los procedimientos antes señalados, no se encuentran difundido públicamente, ya que el Programa se encuentra desarrollando procedimientos más específicos para la selección de beneficiarios. S72 36 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 31 El programa cuenta con mecanismos documentados para verificar el procedimiento de selección de beneficiarios y/o proyectos y tienen las siguientes características: a) Permiten identificar si la selección se realiza con base en los criterios de elegibilidad y requisitos establecidos en los documentos normativos. b) Están estandarizados, es decir son utilizados por todas las instancias ejecutoras. c) Están sistematizados. d) Son conocidos por operadores del programa responsables del proceso de selección de beneficiarios y/o proyectos. Respuesta Si Nivel 4 • Los mecanismos para verificar la selección de beneficiarios y/o proyectos tienen todas las características establecidas. Justificación: Los procedimientos para la identificación y focalización de las familias se llevan a cabo mediante el sistema "Encuestas de Características Socioeconómicas de los Hogares". Este sistema determina y clasifica de manera automática a las familias que cumplen con los criterios de elegibilidad. El mecanismo para verificar el procedimiento de selección de beneficiarios permite identificar que la selección se realiza con base en los criterios de elegibilidad, de esta manera se comparan los resultados del Sistema Único de Puntajes, con los reportados mediante otros sistemas, para ver la correspondencia de los resultados, posteriormente se consolidan en la base de datos, de acuerdo al documento "Análisis de la Información Socioeconómica de Familias". El procedimiento se encuentra estandarizado debido a que la Coordinación Nacional es la única responsable de evaluar y verificar los procedimientos de selección de beneficiarios. El procedimiento se encuentra sistematizado debido a que sus resultados se encuentran en una base de datos del sistema "Encuestas de Características Socioeconómicas de los Hogares". Los mecanismos son conocidos por los operadores de Oportunidades responsables del proceso de selección de beneficiarios, debido a que ellos son los encargados de aplicar el mecanismo de acuerdo con el procedimiento descrito en el documento "Análisis de la Información Socioeconómica de Familias", en el cual se describen las actividades, reportes generados y los responsables para cada etapa de la selección de beneficiarios. Se recomienda establecer de manera explicita o referenciada los mecanismos de verificación de cada procedimiento dentro de los manuales de procedimientos respectivos S72 37 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 32 Tipos de apoyos Los procedimientos para otorgar los apoyos a los beneficiarios tienen las siguientes características: a) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras. b) Están sistematizados. c) Están difundidos públicamente. d) Están apegados al documento normativo del programa. Respuesta Si Nivel 3 • Los procedimientos para otorgar los apoyos a los beneficiarios tienen tres de las características establecidas. Justificación: Los procedimientos para otorgar los apoyos a los beneficiarios están estandarizados, debido a que se cuenta con manuales de operación y guías para las Instancias ejecutoras que participan el en la operación del Programa. En materia de salud se cuenta con las Manual para el Suministro y control del complemento Alimenticio, Cartillas de salud, y formatos de talleres, formatos para el cumplimiento de corresponsabilidades, entre otros. En materia de educación, se cuenta con el manual "Distribución y Recuperación de Formatos de Certificación de Inscripción de Becarios", y para la entrega de apoyos, el Manual de medios, el Manual de integración de Becarios, entre otros. Los procedimientos para otorgar los apoyos están sistematizados, pues el programa cuenta con un sistema de seguimiento para consultar la información de los apoyos entregados y la situación de las familias incorporadas al Programa (Sistema de Consulta de Información para la Operación de Oportunidades), así como con el Sistema Integral de Información para la Operación de Oportunidades (SIIOP) que permite dar seguimiento a la incorporación de las familias, la administración del padrón y el seguimiento de corresponsabilidad a los servicios de salud y educación, además de contar con el registro de los apoyos entregados en formatos en papel establecidos. No todos los manuales para otorgar los apoyos se encuentran publicados, solo se encuentra disponible el documento "Manual Operativo de Distribución y Recuperación de Formatos de Certificación de Inscripción de Becarios". Los manuales de procedimientos para otorgar los apoyos están apegados a las ROP 2011, ya que estos manuales contienen el marco normativo que las rige y sobre el cual se basan, pudiendo constatar que el procedimiento cumple con las normas vigentes. S72 38 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 33 El programa cuenta con mecanismos documentados para verificar el procedimiento de entrega de apoyos a beneficiarios y tienen las siguientes características: a) Permiten identificar si los apoyos a entregar son acordes a lo establecido en los documentos normativos del programa. b) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras. c) Están sistematizados. d) Son conocidos por operadores del programa. Respuesta Si Nivel 4 • Los mecanismos para verificar el procedimiento de entrega de apoyos a beneficiarios tienen todas las características establecidas. Justificación: El mecanismo para verificar el procedimiento para la entrega de apoyo a beneficiarios se integra por los siguientes componentes: "Sistema Integral de Información para la Operación de Oportunidades" (SIIOP), el cual calcula los apoyos monetarios y genera los listados de liquidación, guías y manuales, que describen los procedimientos seguidos para la entrega de estos y sus montos, así como los informes financieros, transferencias a instituciones liquidadoras, listados de apoyos entregados en salud, educación y monetarios; y por, el “ Sistema de Consulta de Información para la Operación de Oportunidades” permite identificar si los apoyos son entregados en los plazos establecidos por la norma. Por otra parte, en el documento "Entrega de Medios para el Retiro de Apoyos", se establece que, en la entrega de apoyos en forma directa o cuenta de ahorro o tarjeta pre-pagada o tarjeta de débito las instituciones liquidadoras tienen mecanismos documentados para comprobar la entrega a los beneficiarios, lo cual permite verificar el procedimiento para la entrega de apoyos. Los sistemas de las instituciones liquidadoras también coadyuvan para verificar la entrega de apoyos a los beneficiarios. Estos componentes del mecanismo, permiten identificar si los apoyos a entregar son acordes a lo establecido en la norma, debido a que el SIIOP calcula de manera automática los apoyos a entregar y obliga a que sean entregados a las familias que forman parte del padrón de beneficiarios. Los mecanismos para verificar el procedimiento de entrega de apoyos están estandarizados ya que de acuerdo con el documento "Entrega de Medios para el Retiro de Apoyos", la entrega de apoyos y verificación debe realizarse de la misma forma en todo el país y las instituciones liquidadoras son las que emiten los comprobantes de la entrega de apoyos. Asimismo los apoyos a entregar y entregados se registran el "Sistema de Consulta de Información para la Operación de Oportunidades". Este mismo mecanismo esta sistematizado y es conocido por operadores del programa, ya que utilizan las tecnologías de información y son utilizados directamente por los operadores del programa. Se recomienda establecer de manera explicita o referenciada los mecanismos de verificación de cada procedimiento dentro de los manuales de procedimientos respectivos S72 39 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 34 Ejecución Los procedimientos de ejecución de obras y/o acciones tienen las siguientes características: a) b) c) d) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras. Están sistematizados. Están difundidos públicamente. Están apegados al documento normativo del programa. Respuesta Si Nivel 3 • Los procedimientos de ejecución de obras y/o acciones tienen tres de las características establecidas. Justificación: Los procedimientos identificados en el "Manual de procedimientos para la operación de programa 2005" están estandarizados, ya que para la entrega de Becas para los menores de 21 años que aún sigan estudiando, el programa Oportunidades ha elaborado una serie de guías y manuales de apoyo para la repartición y recuperación de formatos de certificación de los alumnos de primaria, secundaria y educación superior nombrado "Distribución y Recuperación de Formatos de Certificación de Inscripción de Becarios". Para la entrega de identificaciones, para la entrega masiva de planillas y la entrega de apoyos en efectivo se elaboró la guía "Canje Masivo de Planillas de Etiquetas con Elementos de Seguridad: cambió por conclusión de vigencia"; y "Modalidades y medios de Entrega de Apoyos” para la entrega de Tarjetas de débito, cuentas de ahorro, tarjetas pre-pagadas o entrega directa del apoyo, y finalmente para la entrega y distribución de suplementos alimenticios esta el "Manual para el suministro y Control del complemento Alimenticio" y "Entrega de Medios para el Retiro de Apoyos". Además de contar con los registros de los medios (tarjetas de débito, ahorro, entre otros) y apoyo alimenticio. Los procedimientos del programa están sistematizados, al contar con el Sistema Integral de Información para la Operación de Oportunidades, el cual, administra el padrón de beneficiarios, da seguimiento al cumplimiento de la corresponsabilidad de las familias, da seguimiento a la incorporación de familias al programa y calcula los apoyos monetarios para la entrega a las familias, también se cuenta con el “Sistema de Consulta de Información para la Operación de Oportunidades” que contiene los datos de los integrantes de la familia, cumplimientos, apoyos entregados cronológicamente, fechas de pago, entre otros Para la entrega de apoyos se cuenta con formatos impresos para registrar los suplementos alimenticios entregados a las familias, con su instructivo. También cuenta con el formato para el registro de "Citas de Talleres para el autocuidado de la salud", entre otros El programa no tiene publicados todos los manuales de los procedimientos para la ejecución de las acciones en la página de internet, los únicos disponibles son; Manual Operativo de Distribución y Recuperación de Formatos de Certificación de Inscripción de Becarios, Manual Operativo del C o m p o n e n t e d e A d u l t o s M a y o r e s . http://www.oportunidades.gob.mx/Portal/wb/Web/manuales_de_procedimientos_para_la_operacion_del S72 40 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 35 El programa cuenta con mecanismos documentados para dar seguimiento a la ejecución de obras y acciones y tienen las siguientes características: a) Permiten identificar si las obras y/o acciones se realizan acorde a lo establecido en los documentos normativos del programa. b) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras. c) Están sistematizados. d) Son conocidos por operadores del programa. Respuesta Si Nivel 4 • Los mecanismos para dar seguimiento a la ejecución de obras y/o acciones tienen todas las características establecidas. Justificación: Entrega de apoyos alimenticios El Programa mecanismo de verificación se encuentra estandarizado debido a que cuenta que para registro y entrega de suplementos alimenticios se cuenta con el formato "Registro de sobres de complemento alimenticio SISPA-SS-12P" el cual describe donde deberá ser utilizado, quien es el responsable del llenado, y la forma en que debe llenarse, por lo que también se considera que es conocido por los operadores del Programa. Asimismo cuenta con los formatos SISPA-SS-I "informe de actividades de Unidad Médica", SISPA-SS-II Y SISPA-SS-20p "registro de actividades del Agente Comunitario de Salud". También cuenta sistematizado, debido a que la información del mecanismo se encuentra en el sistema "cubo de Prestación de Servicios" el cual permite dar seguimiento a la entrega de suplementos, de esta manera el mecanismos permite identificar que la entrega de apoyos alimenticios se realiza acorde a lo establecido en las ROP 2011 del Programa Entrega de apoyos en efectivo El mecanismo para verificar que los apoyos en efectivo son entregados a los beneficiarios consiste en que la conciliación de los comprobantes de pago realizados por las instancias liquidadoras contra lo autorizados por el Programa, el mecanismo permite verificar que la entrega de apoyos se realiza conforme a lo establecido en las ROP. El mecanismo esta sistematizado debido a que sus resultados se encuentran en el "Sistema de Información para la Operación de Oportunidades" (SIOO)”. Asimismo, es estandarizado ya que la única instancia encargada del mismo es la Coordinación Nacional de Oportunidades. El mecanismo es conocido por los operadores del Programa y las instancias liquidadoras ya que de esta manera recibe el pago por la contraprestación de sus servicios esta última. Se recomienda documentar de mejor manera el procedimiento relacionado a la validación de información de los archivos de conciliación. Asimismo, se recomienda establecer de manera explicita o referenciada los mecanismos de verificación de cada procedimiento dentro de los manuales de procedimientos respectivos. S72 41 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) IV.4.2 MEJORA Y SIMPLIFICACIÓN REGULATORIA 36 ¿Cuáles cambios sustantivos en el documento normativo se han hecho en los últimos tres años que han permitido agilizar el proceso de apoyo a los solicitantes? Justificación: En el 2011 se modificaron los numerales 3.5.1.1 Becas educativas y 4.2.2 certificación de inscripción en los planteles educativos, las modificaciones permitieron otorgar becas educativas a menores inscritos en 1° y 2° de primaria, cuyas familias habitan en localidades con poblaciones menores a 2500 habitantes. También en este año se modificaron los numerales 4.1.2 “Procedimientos de incorporación” y 4.4 “Actualización permanente del padrón de Beneficiarios”. Estas modificaciones permitieron aceptar los documentos migratorios para acreditar la identidad y datos personales de los beneficiarios. Además se agregó un artículo transitorio para aclarar la vigencia de los formatos de "Notificación de Incorporación " y "Ficha de Atención". En el 2010 se realizó una precisión en el numeral 3.6.2 “Corresponsabilidades”, para el otorgamiento del Apoyo Infantil Vivir Mejor, el cual establece que podrá considerarse, además del acta de nacimiento, cualquier otro documento oficial que haga constar plena, jurídica y fehacientemente la edad de las personas. También en el 2010 en el numeral 4.3.1 se precisan los medios en que se podrán realizar los depósitos en cuentas bancarias personalizadas (entrega directa, tarjeta pre pagada o tarjeta de débito, incluyendo mecanismos de identificación biométrica). En el 2009 se eliminó el numeral 4.2.4. “Componente Jóvenes con Oportunidades” para la acumulación de puntos del apoyo a jóvenes con Oportunidades, Se modificó el tamaño de las localidades en donde aplica el apoyo para adultos mayores, de localidades con 2,500 habitantes a 10,000 dentro del numeral 3.4.2.4 “Apoyo a Adultos Mayores”. También en el numeral 3.5.3. "Obligaciones" se incluyó la posibilidad de considerar para el cumplimiento de corresponsabilidades la participación de los integrantes de las familias de 15 a 60 años, en actividades comunitarias en casos de brotes epidémicos. S72 42 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) IV.4.3 ORGANIZACIÓN Y GESTIÓN 37 ¿Cuáles son los problemas que enfrenta la unidad administrativa que opera el programa para la transferencia de recursos a las instancias ejecutoras y/o a los beneficiarios y, en su caso, qué estrategias ha implementado? Justificación: Actualmente los beneficiarios de Oportunidades han migrado en su totalidad a un sistema de cuentas personalizado, basado en la entrega directa, tarjeta pre-pagada o tarjeta de débito, en este sentido, no se tiene suficiente evidencia solida para saber los efectos positivos o negativos de este hecho, por tanto, dada la importancia del mismo, se considera conveniente documentar los efectos a gtravés de una evaluación externa. S72 43 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) IV.4.4 EFICIENCIA Y ECONOMÍA OPERATIVA DEL PROGRAMA 38 Eficiencia y eficacia El programa identifica y cuantifica los gastos en los que incurre para generar los bienes y los servicios (Componentes) que ofrece y los desglosa en los siguientes conceptos: a) Gastos en operación: Directos e Indirectos. b) Gastos en mantenimiento: Requeridos para mantener el estándar de calidad de los activos necesarios para entregar los bienes o servicios a la población objetivo (unidades móviles, edificios, etc.). Considere recursos de los capítulos 2000 y/o 3000. c) Gastos en capital: Son los que se deben afrontar para adquirir bienes cuya duración en el programa es superior a un año. Considere recursos de los capítulos 5000 y/o 6000 (Ej: terrenos, construcción, equipamiento, inversiones complementarias). d) Gasto unitario: Gastos Totales/población atendida (Gastos totales=Gastos en operación + gastos en mantenimiento). Para programas en sus primeros dos años de operación se deben de considerar adicionalmente en el numerador los Gastos en capital. Respuesta Si Nivel 2 • El programa identifica y cuantifica los gastos en operación y desglosa dos de los conceptos establecidos. Justificación: De acuerdo al Cuarto Informe Trimestral 2011 de los programas de subsidios del Ramo Administrativo 20, Desarrollo Social, el programa identifica los gastos de mantenimiento necesarios para la entrega de los bienes y servicios, que para al mes de diciembre de año 2011 ascienden a 120 millones 221 mil 668 pesos en el rubro del capítulo 2000 referente a materiales y suministros, y 1,792 millones 669 mil 256 pesos para el rubro de servicios generales capítulo 3000, para el capítulo 5000 se ejercieron 11 millones 582 mil 100 pesos. S72 44 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 39 Economía ¿Cuáles son las fuentes de financiamiento para la operación del programa y qué proporción del presupuesto total del programa representa cada una de las fuentes? Justificación: El programa Oportunidades recibe un presupuesto asignado por la federación a través de varias instancias. De acuerdo al Presupuesto de Egresos de la Federación para el ejercicio fiscal 2011 en el anexo 16, se destinaron para el sector salud 5,123 millones 600 mil pesos, lo que significa el 7.80% del presupuesto, para la educación pública 24,662 millones 061 mil 021 pesos, esto es el 37.55%, y para el desarrollo social 35,899 millones 649 mil 849 pesos, el 54.65% del presupuesto total asignado. S72 45 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) IV.4.5 SISTEMATIZACIÓN DE LA INFORMACIÓN 40 Las aplicaciones informáticas o sistemas institucionales con que cuenta el programa tienen las siguientes características: a) Cuentan con fuentes de información confiables y permiten verificar o validar la información capturada. b) Tienen establecida la periodicidad y las fechas límites para la actualización de los valores de las variables. c) Proporcionan información al personal involucrado en el proceso correspondiente. d) Están integradas, es decir, no existe discrepancia entre la información de las aplicaciones o sistemas. Respuesta Si Nivel 4 • Los sistemas o aplicaciones informáticas del programa tienen todas las características establecidas. Justificación: El programa cuenta con varios sistemas informáticos como el SIMID el cual permite realizar consultas sobre los medios generados: como hacer búsquedas por familia, folio o integrante, fase de incorporación, situación de la familia, institución liquidadora; búsquedas por los datos del titular, identificación del integrante, entre otros. Otro programa con el que PDHO cuenta es el: Sistema de Inventario y Digitalización del Expediente Documental para la creación, mantenimiento y consulta del almacén electrónico, con la información del contenido documental en los almacenes en las coordinaciones estatales, en este sistema se pueden hacer búsquedas por folio, localidad, nombre del titular, clave oficial, para lo cual se elaboraron Manuales para su instalación en las dependencias y operación. También se cuenta con la guía para el "Sistema de Control de Archivos" el cual busca hacer un mejor uso de los grandes volúmenes de documentación que resguarda el programa. Asimismo, PDHO cuenta con: el Sistema Integral para la Certificación Electrónica de Corresponsabilidad (SICEC) el cual permite realizar el registro de corresponsabilidad de los beneficiaros directamente en las escuelas y unidades de salud, el programa permite hacer la búsqueda de las responsabilidades mediante filtros; localidad, folio, nombre, fecha de nacimiento, edad, sexo, CURP, entre otros. Además para cada sistema se han elaborado manuales de operación los cuales permiten tener un uso adecuado de cada uno de estos por las diferentes instancias. Por lo anterior se puede concluir que la información es confiable y permite verificar o validar la información capturada. S72 46 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) IV.4.6 CUMPLIMIENTO Y AVANCE EN LOS INDICADORES DE GESTIÓN Y PRODUCTOS 41 ¿Cuál es el avance de los indicadores de servicios y de gestión (Actividades y Componentes) y de resultados (Fin y Propósito) de la MIR del programa respecto de sus metas? Justificación: De acuerdo al informe de cuarto trimestre 2011 los indicadores de componente tuvieron los siguientes avances: •Porcentaje de becarias en educación media superior con respecto a la composición por sexo de la matricula nacional presento un avance de 2.06 representando el 68.67% de la meta prevista •Porcentaje de becarias en educación básica con respecto a la composición por sexo de la matricula nacional alcanzo 0.54 de 1 previsto, lo que represento un 54% •Porcentaje de becarios de primaria que transitan a secundaria tiene un 89.56 de 80 previsto esto represento el 111.95% •Tasa de terminación de educación básica de los jóvenes beneficiarios de Oportunidades se alcanzó un avance de 111.26% al terminar el periodo pasando la meta prevista •Porcentaje de becarios de secundaria que transitan a educación media superior tenía una meta prevista de 55% y alcanzo 64.46% lo que represento un 117.20 •Niños que reciben becas de educación básica y media superior presento 5,910,144 de niños de una meta fijada en 6,186,205 quedando abajo de la meta al alcanzar 95.54% •Porcentaje de becarios de educación media a los que se les emitieron los apoyos monetarios de becas educativas, alcanzó un avance de 98.44 % lo que representa un 100.45 % •Porcentaje de becarios de educación básica a los que se les emitieron los apoyos monetarios de becas educativas, alcanzó un avance de 98.86 % lo que representa un 100.88 % •Porcentaje de adultos mayores beneficiarios que cumplieron sucorresponsabilidad en salud a los que se les emitió el apoyo monetario", que tenía una meta de 90% y alcanzó 93.86 % lo que represento un 104.29 % de la meta propuesta •Porcentaje de cobertura de atención prenatal a mujeres alcanzó 104.23% de la meta prevista lo que representa 99.02% de 95% •Para el indicador "Porcentaje de cobertura de atención en salud a familias beneficiarias" se tenía una meta de 95.00% y se alcanzó 98.39% lo cual represento un 103.57% para el periodo. •En cuanto al "Porcentaje de familias beneficiarias a las que se les emitió apoyo monetario para alimentación", se alcanzó 99.62% en el periodo teniendo una meta de 97.00% y alcanzando 99.61% para este trimestre •El indicador de "Porcentaje de cobertura de niños con suplemento." tenía una meta 85.00% del total de suplementos a entregar en el año del cual se entrego un 77.11% lo cual represento un 90.72% del total de suplementos a entregar. •En el indicador "Porcentaje de niños beneficiarios que están en control nutricional, " se programó una meta de 95.00% que alcanzó 98.56%, lo cual represento 103.75% con respecto a la meta al periodo. •El indicador “Porcentaje de cobertura de mujeres embarazadas con suplemento” tiene una meta de 90% para el total de mujeres embarazadas con suplemento, para el cual tiene un avance de 92.26 alcanzando el 83.03% en el periodo. •Razón de recursos entregados respecto a los costos directos de las transferencias monetarias se programó una meta de 3% que alcanzó 2.03%, lo cual represento 67.67% con respecto a la meta al periodo S72 47 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) IV.4.7 RENDICIÓN DE CUENTAS Y TRANSPARENCIA 42 El programa cuenta con mecanismos de transparencia y rendición de cuentas con las siguientes características: a) Las ROP o documento normativo están disponibles en la página electrónica de manera accesible, a menos de tres clics. b) Los resultados principales del programa son difundidos en la página electrónica de manera accesible, a menos de tres clics.ión presentados ante el Instituto Federal de Acceso a la Información Pública (IFAI). c) Cuenta con un teléfono o correo electrónico para informar y orientar tanto al beneficiario como al ciudadano en general, disponible en la página electrónica, accesible a menos de tres clics. d) La dependencia o entidad que opera el Programa no cuenta con modificación de respuesta a partir de recursos de revisión presentados ante el Instituto Federal de Acceso a la Información Pública (IFAI). Respuesta Si Nivel 4 • Los mecanismos de transparencia y rendición de cuentas tienen todas las características establecidas. Justificación: Las ROP son accesibles a tres clics dentro de su página de internet, para acceder a ellas es necesario dar clic en la liga "¿Sabes cómo opera Oportunidades y el programa de Apoyo Alimentario?", después dar clic "Ver Reglas de Operación 2011", ya en la página de "reglas de operación 2011" dar click en la liga "Programa de Desarrollo Humano Oportunidades", por último dar click en la liga "Reglas de Operación del Programa de Desarrollo Humano Oportunidades 2011" Alternativamente se puede ir a la sección "enlaces de interés", después a la página de "Reglas de operación" escoger el año que se desea consultar, y posteriormente en la pagina Programa de desarrollo Humano Oportunidades volver a escoger Reglas de Operación Oportunidades. La página de internet del programa difunde noticias sobre los apoyos entregados, la asignación de recursos a las familias e impactos positivos del programa; no obstante, no se tiene de manera accesible un documento formal que destaque los principales logros. Cuenta con un teléfono o correo electrónico para informar y orientar tanto al beneficiario como al ciudadano en general, disponible en la página electrónica, accesible a menos de tres clicks. En la página "http://www.oportunidades.gob.mx/Portal/wb/Web/contacto_" se publica la dirección física del programa, el teléfono 01 800 500 50 50 gratuito, una liga para escribir al programa "Atención ciudadana" y el correo electrónico "[email protected] para la orientación y se encuentran disponibles en menos de tres clics De acuerdo a la Dirección Jurídico Consultivo de Oportunidades, el Programa no cuenta con modificación de respuesta a partir de recursos de revisión presentados ante el Instituto Federal de Acceso a la Información Pública (IFAI) S72 48 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) IV.5 PERCEPCIÓN DE LA POBLACIÓN ATENDIDA IV.5 PERCEPCIÓN DE LA POBLACIÓN ATENDIDA 43 El programa cuenta con instrumentos para medir el grado de satisfacción de su población atendida con las siguientes características: a) Su aplicación se realiza de manera que no se induzcan las respuestas. b) Corresponden a las características de sus beneficiarios. c) Los resultados que arrojan son representativos. Respuesta Si Nivel 4 • Los instrumentos para medir el grado de satisfacción de la población atendida tienen todas las características establecidas. Justificación: La Coordinación Nacional del Programa de Desarrollo Humano Oportunidades cuenta con el instrumento Puntos Centinela con el que se obtiene información mediante la aplicación de 5 tipos de encuestas, entre las que se encuentra la encuesta a las titulares beneficiarias del Programa, cuyo objetivo es recabar su percepción sobre distintos aspectos operativos del Programa, así como su opinión acerca de la calidad de los servicios que reciben. El instrumento dirigido a titulares beneficiarias corresponde a las características de sus beneficiarios, debido a en tanto fueron aplicadas en sus domicilios y los temas versaron sobre la satisfacción con diversos aspectos de relacionados con los trámites y atención recibidas por parte del Programa. Se considera que el instrumento dirigido a titulares beneficiarias no induce respuestas debido a que las preguntas diseñadas para obtener información de la satisfacción se encuentran elaboradas en términos neutros. Los resultados que se obtienen son representativos, debido a que Puntos Centinela obtiene información mediante un muestreo probabilístico y estratificado, en la que cada entidad es un subconjunto de la población (estrato) y utilizan un muestreo por conglomerados bietápico donde la unidad primaria de muestreo es la localidad y la unidad secundaria es la familia beneficiaria, y en el caso del Distrito Federal se realizó un muestreo aleatorio simple. Se recomienda establecer en la nota técnica mayor información sobre el criterio utilizado para determinar el valor del efecto del diseño, así como, el criterio para entrevistar sólo a 5 familias en las localidades de la muestra. Asimismo, es importante señalar la forma de seleccionar los 5 hogares entre los 10 asignados. S72 49 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) IV.6 MEDICIÓN DE RESULTADOS IV.6 MEDICIÓN DE RESULTADOS 44 ¿Cómo documenta el programa sus resultados a nivel de Fin y de Propósito? a) Con indicadores de la MIR. c) Con información de estudios o evaluaciones rigurosas nacionales o internacionales que muestran el impacto de programas similares. Justificación: El PDHO documenta sus resultados a nivel de fin y propósito con indicadores de la MIR. El indicador de fin utiliza información de estudios o evaluaciones que no son de impacto: 1) la Base de datos de las encuestas de incorporación y/o recertificación de las familias, 2) Encuesta de Características Socioeconómicas de los Hogares y 3) Padrones de beneficiarios del Programa; a nivel de Propósito: Los indicadores relacionados con la 1) tasa de terminación de educación básica (IP1), 2) becarios de primaria que transitan a secundaria (IP2), 3) becarios de secundaria que transitan a educación media superior (IP3) y 4) composición por sexo de becarias en educación básica (IP4) y 5) composición por sexo de becarias en educación media superior (IP5), se calculan con información del Sistema Institucional de Información para la Operación del Programa Oportunidades. Asimismo, el cálculo de los dos últimos indicadores utiliza información de CONAPO. Con respecto a los indicadores relacionados con la 1) prevalencia de desnutrición crónica infantil (IP6); 2) prevalencia de diarrea aguda infantil (IP7); y 3) prevalencia de anemia en mujeres de 12 a 49 años de edad embarazadas (IP8), su cálculo requiere de información de la ENSANUT. Además, para el primer indicador se utiliza información de la Encuesta Nacional de Nutrición 1999 y para el segundo, información de CONAPO. El programa presenta hallazgos de varias evaluaciones: movilidad social intergeneracional de los jóvenes beneficiarios de Oportunidades provenientes de hogares en zonas rurales (MSI), Documento Compilatorio de la Evaluación Externa del 2008. Asimismo, presenta información de estudios o evaluaciones rigurosas nacionales o internacionales que muestran el impacto de programas similares: evaluaciones de programas en China, Brasil y Nicaragua. Los resultados del programa están documentados en seis evaluaciones derivadas de la evaluación externa 2008: 1) Evaluación de los efectos a diez años de Oportunidades en el desarrollo, educación y nutrición en niños entre 7 y 10 años de familias incorporadas desde el inicio del Programa. 2) Evaluación de impacto sobre el empleo, los salarios y la movilidad ocupacional intergeneracional del Programa Oportunidades. 3) Seguimiento de adultos jóvenes en hogares incorporados desde 1998 a Oportunidades: impactos en educación y pruebas de desempeño; 4) La vida después de Oportunidades: impacto del Programa a diez años de su creación. 5) ¿Cómo se explica el impacto educativo del Programa Oportunidades? Actores, factores y procesos. 6) Padecer la pobreza: un análisis de los procesos de salud, enfermedad y atención en hogares indígenas y rurales bajo la cobertura del Programa Oportunidades. S72 50 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 45 En caso de que el programa cuente con indicadores para medir su Fin y Propósito, inciso a) de la pregunta anterior, ¿cuáles han sido sus resultados? Respuesta Si Nivel • Hay resultados positivos del programa a nivel de Fin y de Propósito. 3 Justificación: Hay resultados positivos del Programa a nivel de Fin y Propósito. A nivel de Fin, en el año 2000 el valor del indicador quinquenal de fin era de 1.24, en el 2005 de 2.49 y en la actualidad la MIR-2011 no contiene información. Por otra parte no se considera que el indicador sea suficiente para indicar un resultado debido a: 1. Diferencia en la escolaridad promedio entre padres e hijos de familias beneficiarias. Este indicador supone que la escolaridad de los padres es constante, lo cual pudiese no ocurrir, ya que existen otros programas que contribuyen con su escolaridad, como se indica en los derechos de las familias beneficiarias de oportunidades donde las familias beneficiarias tienen derecho de decidir voluntariamente su participación en las acciones del INEA o de los organismos estatales de educación de adultos (ROP-2011). 2. Diferencia en la escolaridad promedio entre padres e hijos de la población nacional. Hay dos efectos que generan deficiencias para conocer la verdadera diferencia de la escolaridad entre hijos de 20 años de familias no beneficiarias respecto a la escolaridad de sus padres a los 20 años (indicador idóneo): A) Subestimación del indicador de fin. El mezclar a los padres e hijos con y sin oportunidades hace que el promedio de las diferencias tienda a ser positiva (suponiendo un gran número de personas en pobreza). B) Sobreestimación del indicador de fin. Dado a que la escolaridad máxima que pueden tener los niños de 20 años, a esa edad, es tercero de licenciatura y los padres pueden llegar a tener la carrera terminada (quinto o cuarto año de licenciatura) o más; se está sobreestimando el indicador (la diferencia en la escolaridad promedio entre hijos y padres de la población nacional se hace negativa). Respecto al nivel de propósito la información que se utiliza para el cálculo de los indicadores a nivel permite una actualización anual y se considera que posee los elementos mínimos. Sin embargo, estos indicadores permiten una mayor eficiencia para comparar entre años, si la cobertura (o sus cambios) del Programa son constantes. Con respecto a educación, en el 2010 sus valores fueron: a) IP1=67.55; b) IP2= 81.87; c) IP3= 56.28; d) IP4=, 0.65; e) IP5= 1.46. Con respecto a salud y nutrición, los indicadores son quinquenales y su valor en el año 2006 fue de: a) IP6= 26.8; b) IP7=13; c) IP8= 20.7. S72 51 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 46 En caso de que el programa cuente con evaluación(es) externa(s) que no sea(n) de impacto y que permite(n) identificar hallazgo(s) relacionado(s) con el Fin y el Propósito del programa, inciso b) de la pregunta 44, dichas evaluaciones cuentan con las siguientes características: I. Se compara la situación de los beneficiarios en al menos dos puntos en el tiempo, antes y después de otorgado el apoyo. II. La metodología utilizada permite identificar algún tipo de relación entre la situación actual de los beneficiarios y la intervención del Programa. III. Dados los objetivos del Programa, la elección de los indicadores utilizados para medir los resultados se refieren al Fin y Propósito y/o características directamente relacionadas con ellos. IV. La selección de la muestra utilizada garantiza la representatividad de los resultados entre los beneficiarios del Programa. Respuesta Si Nivel 4 • El programa cuenta con evaluación(es) externa(s), que no son de impacto, que permite(n) identificar uno o varios hallazgos relacionados con el Fin y/o el Propósito del programa, y tiene(n) todas las características establecidas. Justificación: El Programa cuenta con evaluaciones externas que no son de impacto, que permiten identificar uno o varios hallazgos relacionados con el Fin y/o Propósito del Programa, y tienen todas las características establecidas. La movilidad social intergeneracional de los jóvenes beneficiarios de Oportunidades provenientes de hogares en zonas rurales (MSI) utiliza información del ENCEL 2007 y encuestas de seguimiento a migrantes aplicadas en el 2008. El Documento Compilatorio de la Evaluación Externa 2008 (DCEE) contiene el resultado de evaluaciones de corto y largo plazo. Se considera que la metodología utilizada para desarrollar las evaluaciones MSI y DCEE aporta algún tipo de información con respecto a la situación actual de los beneficiarios y la intervención del Programa. MSI analiza el efecto de la exposición en el tiempo de los beneficiarios del Programa sobre la posibilidad de que los jóvenes se muevan a ocupaciones mejor calificadas que la de sus jefes de hogares. El DCEE presenta los resultados de 14 estudios y tres trabajos complementarios (incluyendo la MSI) los cuales contienen información respecto a la situación actual de los beneficiarios y la intervención del Programa. La MSI mide los resultados relacionados con el fin del Programa, ya que analiza su efecto en la ruptura intergeneracional de la pobreza. El DCEE indica que las evaluaciones y estudios tuvieron grandes líneas temáticas sobre los efectos del Programa en nutrición, salud, educación, inserción laboral y aspectos relacionados con la operación. Con respecto a la MSI utiliza la ENCEL, la cual tiene un marco muestral seleccionado específicamente para la evaluación del Programa. Por otro lado, el DCEE tiene evaluaciones que también utilizaron la ENCEL y en otros generaron sus propias muestras. S72 52 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 47 En caso de que el programa cuente con evaluación(es) externa(s), diferente(s) a evaluaciones de impacto, que permite(n) identificar uno o varios hallazgos relacionados con el Fin y/o el Propósito del programa, ¿cuáles son los resultados reportados en esas evaluaciones? Justificación: La evaluación de movilidad social intergeneracional de los jóvenes beneficiarios de Oportunidades provenientes de hogares en zonas rurales (MSI). A) en beneficiarios hay un 40% de movilidad hacia mejores ocupaciones que el jefe de hogar y un 47% que sigue en ocupación de habilidad similar. B) En los casos de mujeres y mujeres indígenas existe una mayor movilidad entre generaciones a mejoras ocupacionales. C) El mayor efecto en movilidad intergeneracional se da a través de educación. D) Los jóvenes que han sido beneficiarios del programa reciben hasta 44% más ingresos que aquellos que no son beneficiarios. Documento Compilatorio de la Evaluación Externa del 2008 (DCEE). Nutrición: A) Aumento inicial de los niños que fueron atendidos por el Programa en sus primeros tres años de vida en el desempeño lingüístico y en la capacidad cognitiva, diez años después. B) Reducción de problemas de conducta de los niños que fueron atendidos por el Programa. C) Las estadísticas descriptivas mostraron que la prevalencia de desnutrición en los beneficiarios se redujo considerablemente en los últimos años. D) El Programa puede lograr que los niños menores de dos años alcancen una prevalencia de anemia 10% menor mediante suplementos e ingestión adecuados. E) La prevalencia de talla baja cayó en las localidades de muy alta marginación en 4.9 puntos porcentuales y en las localidades de alta marginación 10.3 puntos porcentuales. Salud: A) Los beneficiarios tienen una mayor probabilidad de llevar al centro de salud a sus hijos cuando estos presentan síntomas de alguna enfermedad. B) La probabilidad de embarazo en la adolescencia y juventud temprana es significativamente mayor en las jóvenes con menor tiempo de exposición al Programa. C) Los resultados más significativos encontraron mejoras en la salud infantil y en los métodos de planeación familiar. D) La mayoría de las unidades visitadas tenían una capacidad reducida para ofrecer servicios de salud adecuados a los usuarios y enfrentaba una importante carencia de insumos básicos. E) Las familias beneficiarias, en general, demostraron un mejor conocimiento sobre su estado de salud y una mejor disposición a participar en campañas de salud preventiva. Educación: A) Los jóvenes que llevan más tiempo en el Programa alcanzan mayores grados de escolaridad. B) La brecha entre hijos/hijas y padres/madres en la trayectoria escolar fue dos años mayor en los beneficiarios en comparación con los no beneficiarios. C) Los efectos más notables en la educación, se observaron en las mujeres y en los indígenas. D) Para incentivar las trayectorias educativas es necesario tener fácil acceso a los centros educativos. E) Una parte importante de los becarios del Programa se ubicó en los deciles altos de puntuación de la prueba ENLACE-2007. S72 53 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 48 En caso de que el programa cuente con información de estudios o evaluaciones nacionales e internacionales que muestran impacto de programas similares, inciso c) de la pregunta 44, dichas evaluaciones cuentan con las siguientes características: I. Se compara un grupo de beneficiarios con uno de no beneficiarios de características similares. II. La(s) metodología(s) aplicadas son acordes a las características del programa y la información disponible, es decir, permite generar una estimación lo más libre posible de sesgos en la comparación del grupo de beneficiarios y no beneficiarios. III. Se utiliza información de al menos dos momentos en el tiempo. IV. La selección de la muestra utilizada garantiza la representatividad de los resultados. Respuesta Si Nivel • La evaluación de impacto tienen todas las características establecidas. 4 Justificación: En general, las evaluaciones de impacto tienen todas las características Los tres estudios comparan un grupo de beneficiarios con uno de no beneficiarios de características similares: 1) Para evaluar el impacto que tiene el Programa de transferencia de dinero a estudiantes de primaria de China (PC) en el abandono escolar, se entrevistó en un primer momento a 1507 estudiantes y de esos se eligieron los 300 estudiantes más pobres para darles o no el apoyo (150 estudiantes para el grupo de tratamiento y 150 para el grupo de control) en un municipio pobre al noroeste de China, además, se utilizó el resto de alumnos como un segundo grupo de control. Para evaluar el impacto del programa de Nicaragua (PN) se seleccionaron los habitantes de 21 comarcas con el Programa y de 21 comarcas sin el programa, ambas pobres. La evaluación del programa de Brasil (Bolsa Familia) (PB) utilizó información de escuelas con alumnos en el Programa y sin alumnos en el Programa. En general, las metodologías aplicadas permiten realizar una estimación lo más libre posible de sesgos en la comparación del grupo de beneficiarios y no beneficiarios. Sí, PC utiliza modelos probit para identificar el efecto en una variable dicotómica, así como su contraste con otros modelos. Sí, los investigadores hicieron todo lo posible para eliminar el sesgo, independientemente de que la selección de las comarcas fue un evento público, lo cual podría generar sesgo en el comportamiento del grupo de control. Sí, para PB, se utilizaron variables dicotómicas para poder suplir información de las características de los estudiantes y sus hogares, y de las escuelas y de los profesores y poder estimar un modelo de efectos fijos. Se utiliza información de al menos dos momentos en el tiempo. Sí para PC, ya que parte de una línea basal cuando 1507 alumnos entran al séptimo grado en el 2009 y se compara la información después de un año de intervención del Programa. Sí para PN ya que se contrastan los resultados después de uno y dos años de operación del Programa. Se utiliza un censo de las escuelas de 1998 a 2005. Finalmente, la selección de la muestra garantiza la representatividad de los resultados. PC, dado a que el Programa toma en cuenta sólo una región muy pobre para analizar el efecto del programa, la estimación puede tener sesgo. Para PN, la muestra garantiza representatividad debido a que se realizó un sorteo entre las comarcas participantes estratificando de acuerdo a su grado de marginación. Para PB, la muestra garantiza la representatividad, ya que se toma el censo de las escuelas de Brasil. S72 54 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 49 En caso de que el programa cuente con información de estudios o evaluaciones nacionales e internacionales que muestran impacto de programas similares ¿qué resultados se han demostrado? Justificación: No se cuenta con información de estudios o evaluaciones nacionales e internacionales que muestran impacto de programas similares al de Oportunidades. Sin embargo, de acuerdo a la evaluación externa 2008, Tomo I, Capítulo I, de las 19 evaluaciones revisadas por Engle y colaboradores, los cálculos en esas evaluaciones sugieren que las intervenciones en el desarrollo de la primera infancia tienen un impacto significativo y sustancial sobre determinados resultados en edades preescolar y escolar. S72 55 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 50 En caso de que el programa cuente con evaluaciones de impacto, inciso d) de la pregunta 44, con qué características de las siguientes cuentan dichas evaluaciones: I. Se compara un grupo de beneficiarios con uno de no beneficiarios de características similares. II. La(s) metodología(s) aplicadas son acordes a las características del programa y la información disponible, es decir, permite generar una estimación lo más libre posible de sesgos en la comparación del grupo de beneficiarios y no beneficiarios. III. Se utiliza información de al menos dos momentos en el tiempo. IV. La selección de la muestra utilizada garantiza la representatividad de los resultados. Respuesta Si Nivel • La evaluación de impacto tiene todas las características establecidas. 4 Justificación: Las evaluaciones de impacto tiene todas las características. De las seis evaluaciones analizadas: En general todas utilizaron grupos de intervención temprana del Programa, grupos de intervención tardía del Programa y grupos sin intervención del Programa. Las metodologías aplicadas son acordes a las características del programa. Las tres primeras evaluaciones son cuantitativas y las otras tres cualitativas. La primera (E1) utiliza un modelo lineal para medir diferencias simples; la segunda (E2) un modelo probit multinomial ordenado; la tercera (E3) estimadores de parejamiento por puntaje de propensión con dobles diferencias; la cuarta (E4) lleva a cabo trabajo etnográfico de campo en varias microrregiones; la quinta (E5) utilizó informes analíticos basados en investigaciones etnográficas; y la sexta (E6) trayectorias de atención e historias reproductivas elaboradas con trabajo etnográfico. Todos ellos, acorde a la información que poseían y al planteamiento realizado. Se considera que las metodologías para adaptar la información disponible fueron lo más libre posible de sesgos. Por ejemplo, para no generar sesgo: E1 utiliza aparejamiento para solucionar la falta de asignación aleatoria de exposición a Oportunidades. E2 no explora efectos de largo y corto plazo. E3 tomó nuevas localidades del Encel 2007 para crear submuestrras y corregir la falta de información, dado a que muchos de hogares de control, en el 2003 se incorporaron al Programa a finales de ese año y en el 2004. E4 realizó la selección de los hogares beneficiarios y no beneficiarios de acuerdo con un criterio para contar con individuos de larga exposición al Programa. E5 utilizó municipios mixtos en términos etnolingüísticos. E6 consideró diferentes criterios por región. Sin embargo, cabe señalar que las evaluaciones 1, 2 y 4 indican la posibilidad de sesgo en función de diversos componentes. Para el cálculo de los estimadores de ninguna evaluación se utilizan paneles. Todas las evaluaciones toman grupos de control y de tratamiento en función del tiempo en el que han estado expuestos al programa. Con excepción de las evaluaciones 4, 5 y 6, las demás utilizan muestras que tiene representatividad de los datos, sin embargo se enfrentan a diversas problemáticas como son la pérdida de información y los que no hubo seguimiento a las personas que migraron de la localidad. E3 no se considera representativa por tener un planteamiento cualitativo. S72 56 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) 51 En caso de que se hayan realizado evaluaciones de impacto que cumplan con al menos las características señaladas en los incisos a) y b) de la pregunta anterior, ¿cuáles son los resultados reportados en esas evaluaciones? Respuesta Si Nivel 4 • Se reportan efectos positivos del programa en variables relacionadas con el Fin y el Propósito del programa. • Se reportan efectos positivos del programa en aspectos adicionales al problema para el que fue creado. Justificación: E1. A) Impacto positivo en la reducción de problemas conductuales y el mejoramiento en las capacidades verbales y lingüísticas. B) No se encontró evidencia de impactos significativos en otros indicadores de capital humano para niños en edad escolar relacionados con cognición, estado nutricional y logros educativos. C) Ganancias en estatura al comparar niños que reciben los beneficios desde 1998 contra niños que no habían recibido los beneficios para 2005. E2. A) Efecto en la probabilidad de obtener empleo sólo en la medida en que incrementa la probabilidad de tener mayor escolaridad. B) El diseño del Programa no permite inferir un efecto sobre cuestiones laborales de forma directa, sino sólo a través de forma indirecta al mejorar los niveles de educación y de salud. E3. A) Existen impactos importantes y positivos en la escolaridad de los jóvenes. B) Al dividir la muestra por sexo se observan impactos ligeramente más fuertes en las mujeres que en los hombres. C) No se encontró ningún impacto del Programa en la inscripción a la universidad. D) Hay un impacto en los grados de escolaridad de las mujeres indígenas. D) El grupo de mayor exposición al Programa tiene 10% más puntaje de matemáticas que el grupo de menor exposición al Programa. E4. A) Las poblaciones indígenas enfrentan muchas más dificultades que las mestizas para mantenerse en el Programa en calidad de beneficiarios. B) La calidad de los servicios de salud y educación se considera deficiente. C) Impacto en la escolaridad. D) El Programa contribuye a disminuir la desigualdad de género y la desigualdad étnica. E5. A) Incremento de las trayectorias educativas de niños y jóvenes, y dicho impacto es mayor en el caso de los indígenas. B) En los estados analizados existe una brecha educativa en contextos urbanos y rurales. C) El Programa incide en la asistencia y prolongación escolar, y sus ex becarios salen con relativamente mayores capacidades (y titulación de estudios) que posibilitan empleos bajo condiciones ligeramente mejores. E6. A) El Programa ha contribuido en el acercamiento de sus beneficiarios al sistema médico del Estado. Sin embargo, los recursos tanto humanos como materiales siguen siendo insuficientes para atender la demanda de atención médica. B) Las zonas con mayores grados de marginación son también aquellas en donde los servicios públicos de salud son más deficientes. S72 57 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) Conclusiones La presente evaluación señala diversas áreas de oportunidad que de ser atendidas permitirán mejorar el diseño, planeación, cobertura y focalización, operación y medición de resultados. Respecto al apartado de diseño la principal fortaleza del Programa de Desarrollo Humano Oportunidades, es la correcta identificación del problema ya que se indica que el problema de la pobreza extrema en México “se presenta como una situación donde las carencias de ingreso, de educación y de salud de los hogares significan un bajo capital humano de las personas, que no les permite generar un nivel de ingresos suficiente para satisfacer sus necesidades básicas y por tanto acceder al pleno desarrollo de sus capacidades básicas. La clara definición del problema está reflejada en la identificación de su población potencial y población objetivo, así como en la delimitación de causas y efectos. Sin embargo, la redacción del problema puede mejorar, se sugiere redactar el problema en los siguientes términos “Bajo capital humano de los integrantes de los hogares cuyas condiciones socioeconómicas impiden el desarrollo de las mismas”. El fin, propósito, los componentes y las actividades del programa están alineados a las ROP; también reflejan su contribución al Programa Sectorial de Desarrollo Social, al Plan Nacional de Desarrollo y se puede determinar un vínculo indirecto a las Metas del Milenio. No obstante, se recomienda que el programa documente de manera institucional su vínculo con las Metas del Milenio. Respecto a la planeación, la principal fortaleza del Programa es que cuenta con Programas operativos anuales y que los mismos son conocidos por las delegaciones de la SEDESOL. Asimismo, cuenta con un plan estratégico que cuenta con metas anuales, permite conocer los resultados que el programa busca lograr y define las características de la población objetivo. El programa utiliza informes de evaluaciones externas para la toma de decisiones, como se puede apreciar a partir de la elaboración de los programas de trabajo sobre Aspectos Susceptibles de Mejora para los años 2008 a 2010. Las acciones y actividades que ha implementado el programa han permitido mejorar su gestión y resultados. El Programa cuenta con una estrategia de cobertura documentada, la cual incluye la definición de la población objetivo, especifica metas de cobertura anual y es congruente con el diseño del programa, sin embargo, no incluye el horizonte de mediano y largo plazo. . El número de hogares beneficiaras en el año 2000 era de 2,560,000 y para el 2002 aumentó a 4,240,000, a partir del 2004 al 2007 el programa ha atenido a 5,000,000 de familias de manera anual. En el 2011 el número de familias beneficiarias ascendió a 5,827,318. En los últimos 10 años el número de hogares beneficiarios se ha duplicado puesto que el programa ha expandido su cobertura en zonas rurales y urbanas. Los procedimientos para recibir, registrar y dar trámite a las solicitudes de apoyo corresponden a las características de la población objetivo, se encuentran estandarizados, y sistematizados. El programa cuenta con información sistematizada que permite conocer la demanda total de apoyos en las localidades que atiende y las características de los solicitantes, ya que utiliza la Cédula Única de Información Socioeconómica. El Programa cuenta con manuales de operación, que cumplen con estar estandarizados, sistematizados y están apegados a las ROP, sin embargo no todos se encuentran publicados. La información recibida es registrada en la base de datos, la cual está sistematizada y puede ser consultada. Los apoyos otorgados a las instancias ejecutoras son entregados en tiempo y forma. Asimismo, el programa cuenta con mecanismos de transparencia y rendición de cuentas. El programa identifica y cuantifica los gastos en los que incurre para generar los bienes y servicios que ofrece. El Programa cuenta con el instrumento Puntos Centinela a través del cual obtiene información de sus beneficiarios mediante la aplicación de 5 tipos de encuestas, entre las que se encuentra la encuesta a las titulares beneficiarias del Programa, cuyo objetivo es recabar su percepción sobre distintos aspectos operativos del Programa, así como su opinión acerca de la calidad de los servicios que reciben. El PDHO documenta sus resultados a nivel de fin y propósito con indicadores de la MIR. De la misma forma el programa presenta hallazgos de varias evaluaciones y estudios rigurosos nacionales o internacionales que muestran el impacto de programas similares: evaluaciones de programas en China, Brasil y Nicaragua. S72 58 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) En síntesis, el Programa muestra resultados positivos en todos los aspectos abordados en la presente evaluación. S72 59 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) Bibliografía P. FUENTE TITULO AUTOR AÑO 1 Diagnósticos Diagnóstico de la Programa de Desarrollo 2009 problemática social Humano Oportunidades atendida por el Programa Oportunidades 1 Documentos oficiales Nota de Actualización de Programa de Desarrollo 2011 Población Potencial y Humano Oportunidades Objetivo del Programa de Desarrollo Humano Oportunidades FECHA DATOS.PUB. 1 Matriz de Indicadores para Matriz de indicadores para Programa de Desarrollo 2011 Resultados (MIR) 1 ROP o documento normativo resultados del Programa de Desarrollo Humano Oportunidades. Humano Oportunidades. Reglas de Operación del Programa de Desarrollo Humano Oportunidades. SEDESOL 2011 2 Diagnósticos Diagnóstico de la Programa de Desarrollo 2009 problemática social Humano Oportunidades atendida por el Programa Oportunidades 2 Documentos oficiales Nota de Actualización de Población Potencial y Objetivo del Programa de Desarrollo Humano Oportunidades Nota de Actualización de 2011 Población Potencial y Objetivo del Programa de Desarrollo Humano Oportunidades 2 Matriz de Indicadores para Matriz de indicadores para Matriz de indicadores Resultados (MIR) 2 ROP o documento normativo 2011 resultados del Programa de Desarrollo Humano Oportunidades. para resultados del Programa de Desarrollo Humano Oportunidades. Reglas de Operación del Programa de Desarrollo Humano Oportunidades Programa de Desarrollo 2011 Humano Oportunidades 3 Diagnósticos Diagnóstico de la Programa de Desarrollo 2009 problemática social Humano Oportunidades atendida por el Programa Oportunidades 3 ROP o documento Reglas de Operación del Programa de Desarrollo Humano Oportunidades normativo SEDESOL 2011 4 Matriz de Indicadores para Matriz de indicadores para Programa de Desarrollo 2011 Resultados (MIR) 4 Programas Sectoriales, Especiales y/o Institucionales 4 ROP o documento normativo resultados del Programa de Desarrollo Humano Oportunidades. Humano Oportunidades. Programa Sectorial de Desarrollo Social SEDESOL 2007 Reglas de Operación del Programa de Desarrollo Humano Oportunidades. SEDESOL 2011 5 Matriz de Indicadores para Matriz de indicadores para Programa de Desarrollo 2011 Resultados (MIR) 5 Plan Nacional de Desarrollo (PND) resultados del Programa de Desarrollo Humano Oportunidades. Humano Oportunidades. Plan Nacional de Desarrollo 2007-2012 Presidencia de la República1 2007 S72 60 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) FUENTE P. 5 Programas Sectoriales, Especiales y/o Institucionales 5 ROP o documento normativo TITULO AUTOR AÑO Programa Sectorial de Desarrollo Social 20072012 SEDESOL 2007 Reglas de Operación del Programa de Desarrollo Humano Oportunidades. SEDESOL 2011 6 Matriz de Indicadores para Programa de Desarrollo Humano Oportunidades. 6 Objetivos y Metas del Los Objetivos de Desarrollo del Milenio en México Presidencia de la República 2011 Plan Nacional de Desarrollo 2007-2012 Presidencia de la República 2007 Reglas de Operación del Programa de Desarrollo Humano Oportunidades. SEDESOL 2011 6 Plan Nacional de Desarrollo (PND) 6 ROP o documento normativo 7 Diagnósticos Diagnóstico de la Programa de Desarrollo 2009 problemática social Humano Oportunidades atendida por el Programa Oportunidades 7 Documentos oficiales Nota de Actualización de Población Potencial y Objetivo del Programa de Desarrollo Humano Oportunidades Nota de Actualización de 2011 Población Potencial y Objetivo del Programa de Desarrollo Humano Oportunidades 7 ROP o documento Reglas de Operación del Programa de Desarrollo Humano Oportunidades. SEDESOL normativo 2011 8 Padrón de beneficiarios Padrón de beneficiarios del Programa de Desarrollo 2011 PDHO Humano Oportunidades 8 ROP o documento Reglas de Operación del Programa de Desarrollo Humano Oportunidades. SEDESOL 9 Padrón de beneficiarios Padrón Base de Beneficiarios PDHO Programa de Desarrollo 2011 Humano Oportunidades 9 ROP o documento Reglas de Operación del Programa de Desarrollo Humano Oportunidades. Programa de Desarrollo 2011 Humano Oportunidades. normativo normativo DATOS.PUB. Matriz de indicadores 2011 para resultados del Programa de Desarrollo Humano Oportunidades. Resultados (MIR) Milenio FECHA 2011 10 Matriz de Indicadores para Matriz de indicadores para Programa de Desarrollo 2011 Resultados (MIR) 10 ROP o documento normativo resultados del Programa de Desarrollo Humano Oportunidades. Humano Oportunidades. Reglas de Operación del Programa de Desarrollo Humano Oportunidades. Programa de Desarrollo 2011 Humano Oportunidades. 11 Fichas técnicas Fichas técnicas de los Programa de Desarrollo 2011 indicadores del Programa Humano Oportunidades. de Desarrollo Humano Oportunidades. 12 Fichas técnicas Fichas técnicas del Programa de Desarrollo Humano Oportunidades Programa de Desarrollo 2011 Humano Oportunidades 12 Matriz de Indicadores para Matriz de indicadores para Programa de Desarrollo 2011 Resultados (MIR) resultados del Programa de Desarrollo Humano Oportunidades. Humano Oportunidades S72 61 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) P. FUENTE TITULO AUTOR AÑO 13 Documentos oficiales Documento Interacciones Programa de Desarrollo 2011 Humano Oportunidades. 13 ROP o documento Reglas de Operación del Programa de Desarrollo Humano Oportunidades. SEDESOL 2011 Reglas de Operación Varios Programas SEDESOL 2011 normativo 13 ROP o documento normativo FECHA DATOS.PUB. 14 Matriz de Indicadores para Matriz de indicadores para Programa de Desarrollo 2011 Resultados (MIR) 14 Sistemas o herramientas de planeación 15 Documentos oficiales resultados del Programa de Desarrollo Humano Oportunidades. Humano Oportunidades. acia dónde va la Programa de Desarrollo 2007 Coordinación Nacional del Humano Oportunidades Programa de Desarrollo Humano Oportunidades: una planeación de mediano plazo Plan Operativo de los Programas de Desarrollo Social, Ramo 20 SEDESOL 2011 15 Matriz de Indicadores para Matriz de indicadores para Programa de Desarrollo 2011 Resultados (MIR) resultados del Programa de Desarrollo Humano Oportunidades. Humano Oportunidades. 16 Documentos derivados de Seguimiento a los Mecanismos de los ASM Programa de Desarrollo 2011 aspectossusceptibles de Humano Oportunidades mejoraclasificados comoinstitucionales, derivados deinformes y evaluacionesexternas 2008 16 Documentos derivados de Seguimiento a los Mecanismos de los ASM Programa de Desarrollo 2009 aspectossusceptibles de Humano Oportunidades mejoraclasificados comoinstitucionales, derivados deinformes y evaluacionesexternas 2009 16 Documentos derivados de Seguimiento a los Mecanismos de los ASM Programa de Desarrollo 2010 aspectossusceptibles de Humano Oportunidades. mejoraclasificados comoinstitucionales, derivados deinformes y evaluacionesexternas 2010 17 Documentos derivados de Seguimiento a los Mecanismos de los ASM Programa de Desarrollo 2008 aspectossusceptibles de Humano Oportunidades mejoraclasificados comoinstitucionales, derivados deinformes y evaluacionesexternas 2008 17 Documentos derivados de Seguimiento a los Mecanismos de los ASM Programa de Desarrollo 2009 aspectossusceptibles de Humano Oportunidades. mejoraclasificados comoinstitucionales, derivados deinformes y evaluacionesexternas 2009 17 Documentos derivados de Seguimiento a los Mecanismos de los ASM Programa de Desarrollo 2010 aspectossusceptibles de Humano Oportunidades mejoraclasificados comoinstitucionales, derivados deinformes y evaluacionesexternas 2010 S72 62 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) FUENTE P. TITULO AUTOR AÑO FECHA DATOS.PUB. 18 Documentos derivados de Seguimiento a los Mecanismos de los ASM Programa de Desarrollo 2010 aspectossusceptibles de Humano Oportunidades mejoraclasificados comoinstitucionales, derivados deinformes y evaluacionesexternas 2010 18 Documentos derivados de Seguimiento a los Mecanismos de los ASM Programa de Desarrollo 2009 aspectossusceptibles de Humano Oportunidades. mejoraclasificados comoinstitucionales, derivados deinformes y evaluacionesexternas 2009 18 Documentos derivados de Seguimiento a los Mecanismos de los ASM Programa de Desarrollo 2008 aspectossusceptibles de Humano Oportunidades. mejoraclasificados comoinstitucionales, derivados deinformes y evaluacionesexternas 2008 19 Informes de evaluaciones Evaluación Específica de Evelyne Eugenia externas Desempeño 2010-2011 19 Informes de evaluaciones Evaluación Específica de Iliana Yachine Arroyo externas 2011 Rodriguez Ortega, Hospital Infantil de Mexico 2009 Desempeño 2008-2009 19 Informes de evaluaciones Evaluación Específica de Gerardo Ordoñez Barba, 2010 externas 20 ROP o documento normativo 21 Programas Sectoriales, Especiales y/o Institucionales 21 Programas Sectoriales, Especiales y/o Institucionales 21 Programas Sectoriales, Especiales y/o Institucionales 21 ROP o documento normativo 22 Bases de datos y/o Sistemas de información Desempeño 2009-2010 El Colegio de la Frontera Norte Reglas de Operación del Programa de Desarrollo Humano Oportunidades. SEDESOL 2011 Programa Sectorial de Desarrollo Social SEDESOL 2007 Programa Sectorial de la Secretaría de Salud Secretaría de Salud 2007 Secretaría de Educación Pública Programa Sectorial de Salud 2007 Reglas de Operación del Programa de Desarrollo Humano Oportunidades. SEDESOL 2011 Reporte de Avance de Indicadores Programa de Desarrollo 2011 Humano Oportunidades. 22 Matriz de Indicadores para Matriz de indicadores para Programa de Desarrollo 2011 Resultados (MIR) resultados del Programa de Desarrollo Humano Oportunidades. Humano Oportunidades. 23 Matriz de Indicadores para Matriz de indicadores para Programa de Desarrollo 2011 Resultados (MIR) resultados del Programa de Desarrollo Humano Oportunidades. Humano Oportunidades. 24 Documentos oficiales Nota técnica sobre los Programa de Desarrollo 2011 criterios que permiten Humano Oportunidades. determinar la permanencia de las familias en Oportunidades 24 Documentos oficiales Cédula Única de Información SEDESOL 2011 S72 63 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) P. FUENTE TITULO AUTOR AÑO FECHA DATOS.PUB. Socioeconómica 24 ROP o documento Reglas de Operación del Programa de Desarrollo Humano Oportunidades. SEDESOL 25 Padrón de beneficiarios Padrón de Beneficiarios del Programa de Desarrollo Humano Oportunidades. Programa de Desarrollo 2011 Humano Oportunidades. 25 ROP o documento Reglas de Operación del Programa de Desarrollo Humano Oportunidades. SEDESOL normativo normativo 2011 2011 26 Manuales de operación Nota Técnica, Muestra de Dirección General de titulares, Puntos centinela, Atención y Operación Bimestre marzo-abril 2011 2011 26 Manuales de operación "Manual Operativo para Dirección General de laEntrega-Recuperación de Padrón y Liquidación Formatos" 2011 26 Manuales de Criterios de Ordenamiento y Clasificación del Expediente Documental del Padron de Beneficiarios procedimientos 26 Manuales de procedimientos 26 Manuales de procedimientos 26 Manuales de procedimientos 26 Manuales de procedimientos 26 Manuales de Criterios Normativos para Dirección General de la Atención de la Demanda Atención y Operación, Ciudadana en Direccion de Atención Oportunidades Ciudadana 2011 Manual para el Suministro Secretaría de Salud y control del Complemento Alimenticio 2009 Entrega de Medios para el Dirección General de Retiro Padrón y liquidación 2011 Documento Rector, Puntos Dirección General de Centinela Atención y Operación 2011 Revisión de Duplicados Dirección General de Padrón y liquidación 2011 Manual Operativo para la Dirección General de Correlación Masiva de Padrón y liquidación Datos 2008 Revisión de Posibles Duplicados 2008 procedimientos 26 Manuales de procedimientos 26 Manuales de procedimientos 26 Manuales de procedimientos 26 Manuales de procedimientos 26 Manuales de procedimientos 26 Manuales de procedimientos Dirección General de 2010 Padrón y liquidación Criterios de Ordenamiento y Clasificación del Expediente Documental del Padron de Beneficiarios Dirección General de Padrón y liquidación Selección de Localidades Dirección de Información 2011 Geoestadística Nota técnica sobre el modelo lineal de Focalización Programa de Desarrollo 2007 Humano Oportunidades Manual del Cuestionario SEDESOL Único de Informacón Socioeconómico (CUIS) y Anexo Oportunidades 2010 Manual Operativo de Dirección General de integración y Organización Padrón y liquidación del Expediente Documental del Padron de Beneficiarios 2007 S72 64 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) FUENTE P. 26 Manuales de procedimientos 26 Manuales de procedimientos 26 Manuales de TITULO AUTOR AÑO riterios de Ordenamiento y Dirección General de Clasificación del Padrón y liquidación Expediente Documental del Padron de Beneficiarios 2011 Manual de Procedimientos de la Coordinación Nacional del Programa de Desarrollo Humano Oportunidades 2007 Coordinación Nacional del Programa de Desarrollo Humano Oportunidades Entrega de Medios para el Dirección General de Retiro de Apoyos Padrón y liquidación 2011 "Procedimiento de Dirección General de Levantamiento de HuellaY Padrón y liquidación Entrega de Monedero Electrónico" 2011 Manual para el Sedesol entrevistador, Cuestionario Único de Información Socioeconómica 2011 Atención de Solicitudes de Dirección General de Actualización de Padrón Padrón y liquidación 2010 "Manual Operativo de Dirección General de Integración y Organización Padrón y liquidación del Expediente Documental del Padrón de Beneficiarios" 2007 Integración del Padron de Dirección General de Becarios, Ciclo Escolar Padrón y liquidación 2011 - 2012, Manual Operativo para la EntregaRecuperación de Formatos 2011 Canje Masivo de Planillas de Etiquetas con Elementos de Seguridad: cambio por conclusión de vigencia Coordinación Nacional del Programa de Desarrollo Humano Oportunidades 2009 Entrega de Identificación Definitiva Coordinación Nacional del Programa de Desarrollo Humano Oportunidades 2009 Migración de Instituciones Coordinación Nacional Liquidadoras a BANSEFI del Programa de Abono Cuenta Desarrollo Humano Oportunidades 2009 26 Normatividad Reglas de Operación 2011 27 Manuales de Criterios de Ordenamiento Dirección General de y Clasificación del Padrón y liquidación Expediente Documental del Padron de Beneficiarios 2010 27 Otros Manual para el SEDESOL entrevistador, Cuestionario Único de Información Socioeconómica 2011 27 ROP o documento Reglas de Operación del Programa de Desarrollo Humano Oportunidades. 2011 procedimientos 26 Manuales de procedimientos 26 Manuales de procedimientos 26 Manuales de procedimientos 26 Manuales de procedimientos 26 Manuales de procedimientos 26 Manuales de procedimientos 26 Manuales de procedimientos 26 Manuales de procedimientos procedimientos normativo SEDESOL SEDESOL. FECHA S72 DATOS.PUB. 65 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) P. FUENTE 28 Manuales de TITULO AUTOR AÑO Criterios de Ordenamiento Dirección General de y Clasificación del Padrón y liquidación Expediente Documental del Padron de Beneficiarios 2010 Manual para el SEDESOL entrevistador, Cuestionario Único de Información Socioeconómica 2011 28 Pá¡gina de Internet Pagina Electronica de PDHO SEDESOL 2011 28 ROP o documento Reglas de Operación del Programa de Desarrollo Humano Oportunidades. SEDESOL 2011 procedimientos 28 Manuales de procedimientos normativo 29 Manuales de operación Guía para el registro de Dirección General de expedientes de Padrón en Padrón y Liquidación el Sistema de Control de Archivos (SICA) 2006 29 Manuales de operación Integración del Padron de Dirección General de Becarios, Ciclo Escolar Padrón y liquidación 2011 - 2012, Manual Operativo para la EntregaRecuperación de Formatos 2011 29 Manuales de operación Manual para el SEDESOL entrevistador, Cuestionario Único de Información Socioeconómica 2011 29 Manuales de Criterios de Ordenamiento Dirección General de y Clasificación del Padrón y liquidación Expediente Documental del Padron de Beneficiarios 2010 Reglas de Operación del Programa de Desarrollo Humano Oportunidades. 2011 procedimientos 29 ROP o documento normativo SEDESOL 30 Manuales de operación Criterios de Ordenamiento Dirección General de y Clasificación del Padrón y liquidación Expediente Documental del Padron de Beneficiarios 2011 30 Manuales de Criterios de Ordenamiento Dirección General de y Clasificación del Padrón y liquidación Expediente Documental del Padron de Beneficiarios 2010 Manual de Procedimientos Dirección General de de la Coordinación Padrón y liquidación Nacional del Programa de Desarrollo Humano Oportunidades 2007 Criterios Normativos para Dirección General de la Atención de la Demanda Atención y Operación, Ciudadana en Direccion de Atención Oportunidades Ciudadana 2011 Manual Operativo de Dirección General de integración y Organización Padrón y liquidación del Expediente Documental del Padron de Beneficiarios 2007 procedimientos 30 Manuales de procedimientos 30 Manuales de procedimientos 30 Manuales de procedimientos FECHA S72 DATOS.PUB. 66 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) P. FUENTE 30 ROP o documento normativo TITULO Reglas de Operación del Programa de Desarrollo Humano Oportunidades. AUTOR SEDESOL AÑO Criterios de Ordenamiento Dirección General de y Clasificación del Padrón y liquidación Expediente Documental del Padron de Beneficiarios 2010 31 Manuales de Criterios de Ordenamiento Dirección General de y Clasificación del Padrón y liquidación Expediente Documental del Padron de Beneficiarios 2011 Manual Operativo de Dirección General de integración y Organización Padrón y liquidación del Expediente Documental del Padron de Beneficiarios 2007 Manual de Procedimientos de la Coordinación Nacional del Programa de Desarrollo Humano Oportunidades Coordinación Nacional del Programa de Desarrollo Humano Oportunidades 2011 Criterios Normativos para Dirección General de la Atención de la Demanda Atención y Operación, Ciudadana en Direccion de Atención Oportunidades Ciudadana 2011 Reglas de Operación del Programa de Desarrollo Humano Oportunidades. SEDESOL 2011 Dirección General de Padrón y Liquidación Manual Operativo para 2011 laEntrega-Recuperación de Formatos 31 Manuales de procedimientos 31 Manuales de procedimientos 31 Manuales de procedimientos 31 ROP o documento normativo 32 Manuales de procedimientos 32 Manuales de procedimientos 32 Manuales de procedimientos Integración del Padron de Dirección General de Becarios, Ciclo Escolar Padrón y liquidación 2011 - 2012, Manual Operativo para la EntregaRecuperación de Formatos 2011 Entrega de Medios para el Dirección General de Retiro de Apoyos Padrón y liquidación 2011 32 Pá¡gina de Internet Pagina Electronica 33 Manuales de operación Entrega de Medios para el Dirección General de Retiro de Apoyos Padrón y liquidación 2011 33 Manuales de operación "Manual Operativo para Dirección General de laEntrega-Recuperación de Padrón y Liquidación Formatos" 2011 33 Manuales de Integración del Padron de Dirección General de Becarios, Ciclo Escolar Padrón y liquidación 2011 - 2012, Manual Operativo para la EntregaRecuperación de Formatos 2011 Criterios de Ordenamiento Dirección General de y Clasificación del Padrón y liquidación Expediente Documental del Padron de Beneficiarios 2011 procedimientos 33 Manuales de procedimientos 33 Pá¡gina de Internet Pagina Electronica DATOS.PUB. 2011 31 Manuales de operación procedimientos FECHA Programa de Desarrollo 2011 Humano Oportunidades Programa de Desarrollo 2011 Humano Oportunidades S72 67 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) P. FUENTE TITULO AUTOR AÑO 34 Manuales de operación Entrega de Medios para el Dirección General de Retiro de Apoyos Padrón y liquidación 2011 34 Manuales de Integración del Padron de Dirección General de Becarios, Ciclo Escolar Padrón y liquidación 2011 - 2012, Manual Operativo para la EntregaRecuperación de Formatos 2011 "Manual Operativo para Dirección General de laEntrega-Recuperación de Padrón y Liquidación Formatos" 2011 procedimientos 34 Manuales de procedimientos 34 Pá¡gina de Internet Pagina Electronica Programa de Desarrollo 2011 Humano Oportunidades 34 ROP o documento Reglas de Operación del Programa de Desarrollo Humano Oportunidades. Programa de Desarrollo 2011 Humano Oportunidades. normativo 35 Manuales de operación Integración del Padron de Dirección General de Becarios, Ciclo Escolar Padrón y liquidación 2011 - 2012, Manual Operativo para la EntregaRecuperación de Formatos 2011 35 Manuales de Entrega de Medios para el Dirección General de Retiro de Apoyos Padrón y liquidación 2011 procedimientos 35 Manuales de Pagina Electronica procedimientos 35 Manuales de procedimientos 35 Manuales de procedimientos 35 ROP o documento Integración del Padron de Dirección General de Becarios, Ciclo Escolar Padrón y liquidación 2011 - 2012, Manual Operativo para la EntregaRecuperación de Formatos 2011 "Manual Operativo para Dirección General de laEntrega-Recuperación de Padrón y Liquidación Formatos" 2011 Reglas de Operación del 2011 Programa de Desarrollo Humano Oportunidades. Reglas de Operación del Programa de Desarrollo Humano Oportunidades. SEDESOL 2011 Reglas de Operación del Programa de Desarrollo Humano Oportunidades. SEDESOL 2008 Reglas de Operación del Programa de Desarrollo Humano Oportunidades. SEDESOL 2010 Reglas de Operación del Programa de Desarrollo Humano Oportunidades. SEDESOL 2009 38 Documentos oficiales informe Trimestral 2011 de SEDESOL los programas de subsidios del Ramo Administrativo 20, 2011 38 ROP o documento Reglas de Operación del Programa de Desarrollo Humano Oportunidades. Programa de Desarrollo 2011 Humano Oportunidades. Ley federal de Presupuesto y Responsabilidad Hacendaria Camara de Diputados del H Congreso de la Union 36 ROP o documento normativo 36 ROP o documento normativo 36 ROP o documento normativo 36 ROP o documento normativo normativo 39 Documentos oficiales DATOS.PUB. Programa de Desarrollo 2011 Humano Oportunidades Reglas de Operación del Programa de Desarrollo Humano Oportunidades. normativo FECHA 2011 S72 68 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) FUENTE P. 39 ROP o documento normativo 40 Bases de datos y/o Sistemas de información 40 ROP o documento normativo TITULO Reglas de Operación del Programa de Desarrollo Humano Oportunidades. AUTOR SEDESOL AÑO DATOS.PUB. 2011 istema integral para la PDHO certificación electrónica de corresponsabilidad 2011 Reglas de Operación del Programa de Desarrollo Humano Oportunidades. 2011 SEDESOL FECHA 41 Matriz de Indicadores para Matriz de indicadores para Programa de Desarrollo 2011 Resultados (MIR) resultados del Programa de Desarrollo Humano Oportunidades. Humano Oportunidades. 42 Pá¡gina de Internet Página electrónica PDHO SEDESOL 2011 43 Documentos oficiales Puntos Centinelas 2011 PDHO 44 Informes de evaluaciones Evaluación Específica de Gerardo Ordoñez Barba 2010 externas Desempeño 2009-2010 44 Matriz de Indicadores para Matriz de indicadores para Programa de Desarrollo 2011 Resultados (MIR) resultados del Programa Humano Oportunidades. de Desarrollo Humano Oportunidades. 44 Otros Evaluación Específica de Desempeño 2010-2011 Evelyne Eugenia Rodriguez Ortega, Hospital Infantil de México 2011 45 Matriz de Indicadores para Matriz de indicadores para Programa de Desarrollo 2011 Resultados (MIR) 45 ROP o documento normativo resultados del Programa de Desarrollo Humano Oportunidades. Humano Oportunidades. Reglas de Operación del Programa de Desarrollo Humano Oportunidades. Programa de Desarrollo 2011 Humano Oportunidades. 46 Informes de evaluaciones Evaluación Específica de Evelyne Eugenia externas Desempeño 2010-2011 2009 Rodriguez Ortega, Hospital Infantil de México 46 Informes de evaluaciones Evaluación Específica de Gerardo Ordoñez Barba, 2010 externas Desempeño 2009-2010 El colegio de la Frontera Norte 47 Informes de evaluaciones Evaluación Específica de Evelyne Eugenia externas 47 Otros Rodriguez Ortega, Hospital Infantil de México Evaluación Específica de Desempeño 2009-2010 Gerardo Ordoñez Barba, 2010 El colegio de la Frontera Norte 48 Informes de evaluaciones Evaluación de los efectos a Stefano M. Bertozzi, externas 48 ROP o documento normativo 2011 Desempeño 2010-2011 2008 diez años de Coordinador del Grupo Oportunidades en el Asesorde la Evaluación desarrollo, educación y CuantitativaCentro de nutrición en niños entre 7 y Investigaciónen 10 años de familias Evaluación y incorporadas desde el EncuestasINSP inicio del Programa Matriz de indicadores para Programa de Desarrollo 2011 resultados del Programa Humano Oportunidades. de Desarrollo Humano S72 69 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) FUENTE P. TITULO AUTOR AÑO FECHA DATOS.PUB. Oportunidades. 48 ROP o documento normativo Reglas de Operación del Programa de Desarrollo Humano Oportunidades. SEDESOL 2011 49 Informes de evaluaciones A diez años de externas Stefano M. Bertozzi, 2008 intervención en zonas Programa de Desarrollo rurales (1997, 2007) Humano Oportunidades. Evaluación externa del Programa Oportunidades 2008 49 Matriz de Indicadores para Matriz de indicadores para Matriz de indicadores Resultados (MIR) 49 ROP o documento normativo para resultados del Programa de Desarrollo Humano Oportunidades. Reglas de Operación del Programa de Desarrollo Humano Oportunidades. SEDESOL 2011 Stefano M. Bertozzi, Coordinador del Grupo Asesorde la Evaluación CuantitativaCentro de Investigaciónen Evaluación y EncuestasINSP 2008 50 Informes de evaluaciones A diez años de externas intervención en zonas rurales (1997, 2007) Evaluación externa del Programa Oportunidades 2008 51 Informes de evaluaciones A diez años de externas 2011 resultados del Programa de Desarrollo Humano Oportunidades. intervención en zonas rurales (1997, 2007) Evaluación externa del Programa Oportunidades 2008 Stefano M. Bertozzi, 2008 Programa de Desarrollo Humano Oportunidades.Coordina dor del Grupo Asesorde la Evaluación CuantitativaCentro de Investigaciónen Evaluación y S72 70 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) Formato del Anexo 17 “Principales Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones" IV.1 DISEÑO FORTALEZAS Y/U OPORTUNIDADES Preg. El Programa identifica de manera clara el Problema que pretende atender, y delimita acciones concretas para su resolución. Eldiagnóstico identifica el problema que justifica la intervención pública, así como sus principales causas y efectos y la definición de la población que tiene el problema o necesidad y es revisado al menos cada dos años, y en su caso actualizado. El programa muestra de forma clara su alineación y aportación al Plan Sectorial de Desarrollo Social asimismo y al Plan Nacional de Desarrollo. El Programa cuenta con un Padrón de beneficiarios que es adecuado y corresponde a los lineamientos de Padrón de Beneficiarios El Programa define adecuadamente su Fin, Propósito, sus componentes y actividades, así como cuenta con metas, línea base, unidad de medida. 1 No Aplica Recomendación 2 No aplica 4 No aplica 8 No aplica 12 No aplica DEBILIDADES Y/O AMENAZAS Preg. Recomendación La redacción del problema no es suficientemente clara. 1 El Programa no documenta de forma institucional la vinculación existente entre su propósito y las Metas del Milenio. 6 Redactar el problema en los siguientes términos “Bajo capital humano de los integrantes de los hogares cuyas condiciones socioeconómicas impiden el desarrollo de las mismas” Documentar su vinculación con las Metas del Milenio IV.2 PLANEACIÓN Y ORIENTACIÓN A RESULTADOS FORTALEZAS Y/U OPORTUNIDADES EL documento estratégico del PDHO contempla el mediano plazo, objetivos para el fin y el propósito. El programa cuenta con un documento que incluye la descripción y monto de los componentes del programa por tipo de apoyo alimentario y educativo. El PDHO utiliza de manera regular las evaluaciones externas como uno de los elementos para la toma de decisiones sobre los cambios al Programa. El padrón de beneficiarios del PDHO está sistematizado, recolecta información acerca su contribución a los objetivos de los programas sectoriales, contiene las características de sus beneficiarios, y las características socioeconómicas de las personas que no son beneficiarias. El Programa recolecta información para monitorear su desempeño de manera oportuna y confiable, sistematizada, es pertinente respecto a su gestión y está actualizada y disponible para dar seguimiento de manera permanente. DEBILIDADES Y/O AMENAZAS EL documento estratégico del PDHO no cuenta con indicadores para medir los avances en el logro de los resultados. Preg. Recomendación 14 no aplica 14 no aplica 16 no aplica 21 no aplica 22 no aplica Preg. Recomendación 14 Incluir en el documento estratégico del PDHO indicadores para medir los avances en el logro de los resultados. S72 71 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) No es posible establecer que el documento estratégico del PDHO sea resultado de un ejercicio de planeación institucionalizado. El plan de trabajo anual no incluye acciones relevantes a implenetar durante el año para mejorar su desempeño. El plan de trabajo anual no incluye metas para los indicadores de la MIR 14 Documentar que el proceso de creaciónd el Plan Estratégico sea resultado de un ejercicio de planeación institucionalizado. 15 Elaborar un plan de trabajo anual que incluya las acciones que 15 considere relevante implementar durante el año para mejorar su desempeño. Elaborar un plan de trabajo anual que incluya por lo menos las metas establecidas para los indicadores de la MIR. IV.3 COBERTURA Y FOCALIZACIÓN FORTALEZAS Y/U OPORTUNIDADES Preg. El programa cuenta con mecanismos establecidos para identificar su población objetivo En los últimos 10 años el número de hogares beneficiarios se ha duplicado. Recomendación 24 no aplica 25 no aplica IV.4 OPERACIÓN FORTALEZAS Y/U OPORTUNIDADES La recepción de solicitudes de apoyo se efectúa a través de las instancias ejecutoras, mediante de la CUIS, aunque la CUIS no es una solicitud de apoyo como tal Los procedimientos de ejecución de obras se encuentran estandarizados, sistematizados, y cuentan con mecanismos de verificación. Los procedimientos para el otorgamiento de los apoyos se encuentran estandarizados, sistematizados y publicados. El procedimiento de selección se encuentra estandarizado y sistematizado, asimismo se encuentras especificados en las reglas de operación, y se encuentra publicado. El programa cuenta con información sistematizada que permite conocer la demanda total de apoyos DEBILIDADES Y/O AMENAZAS No se cuenta con un mecanismo que verifique la recepción, registro y trámite de solicitudes dentro de los manuales de procedimientos. El mecanismo para la la recepción de solicitudes no se encuentra sistematizado. El procedimiento para entrega de apoyos no se encuentra establecido de manera explícita. Los procedimientos de ejecución de obras no se encuentran publicados Preg. Recomendación 26 No aplica 26 No aplica 26 No aplica 26 No aplica 26 No aplica Preg. Recomendación 29 Establecer de manera explicita o referenciada los mecanismos 29 para la recepción, registro y trámite de solicitudes dentro de los manuales de procedimientos. Sistematizar el mecanismo de la recepción de solicitudes 33 Establecer de manera explícita o referenciada los mecanismos de verificación del procedimiento de entrega de apoyos. 35 Publicar los procedimientos de ejecución de obras. IV.5 PERCEPCIÓN DE LA POBLACIÓN ATENDIDA FORTALEZAS Y/U OPORTUNIDADES El Programa cuenta con el instrumento Puntos Centinelas a través del cual obtiene información de sus beneficiarios mediante la aplicación de 5 tipos de encuestas, entre las que se encuentra la encuesta a las titulares beneficiarias del Programa, cuyo objetivo es recabar su percepción sobre distintos aspectos operativos del Programa, así como su opinión acerca de la calidad de los servicios que reciben. Preg. Recomendación 43 no aplica S72 72 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) IV.6 MEDICIÓN DE RESULTADOS FORTALEZAS Y/U OPORTUNIDADES El PDHO documenta sus resultados a nivel de fin y propósito con indicadores de la MIR. El Programa cuenta con evaluaciones externas que no son de impacto, que permiten identificar uno o varios hallazgos relacionados con el Fin y/o Propósito del Programa, y tienen todas las características establecidas. El programa presenta hallazgos de varias evaluaciones: movilidad social intergeneracional de los jóvenes beneficiarios de Oportunidades provenientes de hogares en zonas rurales (MSI), Documento Compilatorio de la Evaluación Externa del 2008. Asimismo, presenta información de estudios o evaluaciones rigurosas nacionales o internacionales que muestran el impacto de programas similares: evaluaciones de programas en China, Brasil y Nicaragua. Los resultados del programa están documentados en seis evaluaciones derivadas de la evaluación externa 2008. Preg. Recomendación 44 no aplica 45 no aplica 47 no aplica 48 no aplica 49 no aplica S72 73 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) Formato del Anexo 19 “Valoración Final del programa" TEMA IV.1 DISEÑO NIVEL JUSTIFICACIÓN 3,89 El programa cumple con la definición del problema, la delimitación e identificación de la población potencial y población objetivo; dentro de sus ROP se encuentra la lógica vertical de la Matriz de Indicadores. El programa permite establecer su vinculación con los Programas Sectoriales de Desarrollo Social, Salud y Educación, así como, con el Plan Nacional de Desarrollo. Sus indicadores cumplen con las características evaluadas. IV.2 PLANEACIÓN Y ORIENTACIÓN A RESULTADOS 3,50 El programa cuenta con un plan estratégico y con planes de trabajo que IV.3 COBERTURA Y FOCALIZACIÓN 2,00 La estrategia de cobertura de Oportunidades es congruente con el diseño del IV.4 OPERACIÓN 3,42 El Programa cuenta con manuales de procedimientos y mecanismos de presentan áreas de oportunidad, asimismo, utiliza las evaluaciones externas para mejorar su desempeño, atendiendo las recomendaciones en ellas establecidas . Programa y establece metas anuales de cobertura, sin embargo, no define a la población objetivo, ni abarca un horizonte de mediano y largo plazo. verificación de los mismos, además, los indicadores establecidos en su matriz muestran resultados positivos y cuentan con mecanismos de transparencia y rendición de cuentas. IV.5 PERCEPCIÓN DE LA POBLACIÓN ATENDIDA 4,00 El Programa recolecta información de la percepción de los beneficiarios a IV.6 MEDICIÓN DE RESULTADOS 3,80 El programa documenta sus resultados a través de los indicadores de la MIR, TOTAL 3,43 En general el programa presenta buenos resultados en todos los aspectos, través del instrumento Puntos Centinelas. La aplicación del instrumento no induce las respuestas, se corresponde a las características de los beneficiarios y sus resultados son representativos. evaluaciones externas tanto de impacto como otro tipo de resultados, asi como evaluaciones de impacto de programas similares . siendo el de mayor áreas de oportunidad el referente a la cobertura y focalización. NOTA: El Nivel se establece en un rango de 0-4 y sólo considera las preguntas binarias con nivel de respuesta definido (no se toman en cuenta para el cálculo las preguntas en las que se respondió No Aplica). S72 74 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) FORMATO DE ANEXOS ANEXOS Anexo Solicitado Nombre del Archivo Formato Anexo 1 Descripción General del Programa Anexo 2 Metodología para la cuantificación de las poblaciones Potencial y Objetivo 1. Anexo 1 Descripcion Libre General del Programa.docx 2. Anexo 2 Metodologia para Libre la cuantificacion de las poblaciones Potencia y Objetivo.docx Anexo 3 3. Anexo 3 Procedimiento Libre Procedimiento para la actualización de la base de datos para la actualizacion de la de beneficiarios base de datos de beneficiarios.docx Anexo 4 4. Anexo 4 Resumen Libre Resumen Narrativo de la Matriz de Indicadores para Narrativo de la Matriz de Resultados Indicadores para Resultados.docx Anexo 5 5. Anexo 5 Indicadores.xlsx Definido Indicadores Anexo 6 6. Anexo 6 Metas del Definido Metas del programa programa.xlsx Anexo 7 7. Anexo 7 Definido Complementariedad y coincidencias entre programas Complementariedad y federales coincidencias entre programas federales.xlsx Anexo 8 8. Anexo 8 Avance de las Definido Avance de las acciones para atender los aspectos acciones para atender los susceptibles de mejora aspectos susceptibles de mejora.xlsx Anexo 9 9. Anexo 9 Resultado de las Libre Resultado de las acciones para atender los aspectos Acciones para Atender los susceptibles de mejora Aspectos Susceptibles de Mejora.docx Anexo 10 10. Anexo 10 Análisis de Libre Análisis de recomendaciones no atendidas derivadas de Recomendaciones no evaluaciones externas atendidas Derivadas de Evaluaciones.docx Anexo 11 11. Anexo 11 Evolucion de la Definido Evolución de la Cobertura cobertura.xlsx Anexo 12 12. Anexo 12 Informacion de Definido Información de la Población Atendida la poblacion atendida.xlsx Anexo 13 13. Anexo 13 Diagramas de Libre con Diagramas de flujo de los Componentes y procesos flujo de los componentes y instrucciones claves procesos claves.pdf 14. Anexo 14 Gastos Anexo 14 Libre con desglosados del Gastos desglosados del programa instrucciones programa.pdf 15. Anexo 15 Avance de los Definido Anexo 15 indicadores respecto a sus Avance de los Indicadores respecto de sus metas metas.xlsx Anexo 16 16. Anexo 16 Instrumentos Libre Instrumentos de Medición del Grado de Satisfacción de de medicion del grado de S72 75 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) la Población Atendida Anexo 18 Comparación con los resultados de la Evaluación de Consistencia y Resultados anterior Anexo 20 Ficha Técnica con los datos generales de la instancia evaluadora y el costo de la evaluación satisfaccion de la poblacion atendida.docx 18. Anexo 18 Comparación Libre con los resultados de la Evaluación de Consistencia y Resultados anterior.docx 20. Anexo 20 Ficha tecnica Definido y lo de los datos generales de la llena CONEVAL instancia evaluadora y el costo de la evaliacion.xlsx S72 76 Evaluación de Consistencia y Resultados 2011-2012 Programa de Desarrollo Humano Oportunidades (PDHO) ADJUNTOS Preg. Nombre del Archivo 0 0.2 Tabla de contenido PDHO.docx 50 Anexo 50.1.docx 51 Anexo 51.1.docx S72 77