EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL Enero – Noviembre 2006 INFORME METODOLÓGICO Segundo Informe -Final- EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 ÍNDICE GLOSARIO .............................................................................................................. 1 PRESENTACIÓN ....................................................................................................... 2 CAPÍTULO 1 INTRODUCCIÓN ................................................................................ 3 1.1 Antecedentes............................................................................................. 3 1.2 Objetivos del Programa................................................................................. 6 1.3 Cobertura del Programa ................................................................................ 6 1.4 Operación del Programa ................................................................................ 7 1.5 Resultados de Evaluaciones Externas anteriores ................................................... 9 1.5.1 Evaluación 2004....................................................................................... 9 1.5.2 Evaluación 2005-2006 ............................................................................... 11 CAPÍTULO 2 MARCO TEÓRICO CONCEPTUAL........................................................... 13 2.1 Modelo Conceptual de Desarrollo Social ............................................................ 13 2.2 Organizaciones Formales de Soporte ................................................................ 14 2.3 Capital Social ............................................................................................ 15 2.4 Desarrollo de Capacidades ............................................................................ 18 2.5 Marco Institucional ..................................................................................... 19 CAPÍTULO 3 OBJETIVOS DE LA EVALUACIÓN EXTERNA .............................................. 21 3.1 Objetivo General........................................................................................ 21 3.2 Objetivos Específicos................................................................................... 21 CAPÍTULO 4 METODOLOGÍA ............................................................................... 23 4.1 Racional del Estudio.................................................................................... 23 4.2 Componentes de la evaluación ....................................................................... 24 4.2.1 Diseño ................................................................................................. 24 4.2.1.1 Diagnóstico de la situación inicial.......................................................... 25 4.2.1.2 Lógica vertical de la Matriz de Marco Lógico ............................................. 25 4.2.1.3 Lógica horizontal de la Matriz de Marco Lógico.......................................... 26 4.2.1.4 Modificaciones al Diseño de los Programas ............................................... 26 4.2.2 Financiera o de Costos.............................................................................. 26 4.2.3 Cobertura y Focalización ........................................................................... 27 4.2.3.1 Cobertura ...................................................................................... 27 4.2.3.2 Focalización.................................................................................... 27 4.2.4 Contribución del PCS a la construcción y/o fortalecimiento del Capital Social ........... 29 4.2.5 Equidad de género. Contribución del PCS al bienestar, la equidad, la igualdad y la no discriminación de las mujeres. .............................................................................. 30 4.2.6 Meta análisis del PCS................................................................................ 31 4.2.7 Profundización en el tema “aportación de las Organizaciones de la Sociedad Civil” .... 31 4.3 Fuentes de información................................................................................ 32 4.3.1 Información Institucional........................................................................... 32 4.3.2 Información de Evaluaciones Anteriores ......................................................... 33 4.3.3 Información de Campo.............................................................................. 33 4.4 Procesamiento de Información ....................................................................... 33 4.5 Presentación de resultados y conclusiones y recomendaciones ................................. 34 4.5.1 Presentación de resultados ........................................................................ 34 4.5.2 Conclusiones y Recomendaciones................................................................. 34 BIBLIOGRAFÍA ....................................................................................................... 35 INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2005 PRIMER INFORME i EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 GLOSARIO AREP Agentes Responsables de la Ejecución de los Proyectos INDESOL Instituto Nacional de Desarrollo Social OSC Organizaciones de la Sociedad Civil PCS Programa de Coinversión Social Programa Programa de Coinversión Social RO Reglas de Operación SEDESOL Secretaría de Desarrollo Social INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 1 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 PRESENTACIÓN De conformidad con los términos del contrato celebrado entre el Instituto Nacional de Desarrollo Social y Covarrubias y Asociados, S. C., para desarrollar las tareas de Evaluación Externa del Programa de Coinversión Social 2006, se presenta el Primer Informe, el cual contiene la metodología a seguir en los distintos componentes de la evaluación y en la generación de cada uno de los productos. El presente documento profundiza sobre cada uno de los temas que integran la evaluación y desarrolla los aspectos metodológicos que se emplearán durante la misma, para lo cual se toma como base el Anexo 3 del contrato objeto de esta evaluación. Para lograr lo anterior el presente documento se divide en cuatro capítulos. En el capítulo primero, a manera de introducción, se presentan los principales rasgos del Programa y las recomendaciones de las evaluaciones 2004 y 2005-2006. En el segundo capítulo se expone el marco teórico conceptual que sustenta el análisis de los diversos componentes de la evaluación, especialmente en los apartados de diseño e impacto. En el capítulo tres se formulan los objetivos de la evaluación externa, a partir de los cuales se define su contenido, en tanto que en el cuarto capítulo se presenta la metodología a seguir para evaluar el cumplimiento de estos objetivos. Éste último capítulo se divide en diversos apartados relativos a los componentes particulares a evaluar, tanto con trabajo de gabinete como de campo. INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 2 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 CAPÍTULO 1 INTRODUCCIÓN La evaluación de los programas sociales es un instrumento promotor de la eficiencia de las políticas públicas. Las principales ventajas del ejercicio de evaluación son que permite medir los efectos de un programa, verificar el cumplimiento de las metas establecidas, favorecer la transparencia de las acciones realizadas y adecuar su implementación. Con esto se contribuye a una mejor toma de decisiones en materia de orientación y operación de los Programas y a una mayor efectividad en la asignación de los recursos destinados a la disminución de la pobreza. El Gobierno Federal ha expresado su determinación de que la evaluación de sus políticas y programas sea parte inseparable de la gestión pública. Conforme a los criterios y lineamientos que ha emitido el Consejo Nacional de Evaluación de la Política Social, la evaluación externa del Programa de Coinversión Social, a cargo del Indesol, es normada, coordinada y supervisada por la Dirección General de Evaluación y Monitoreo de los Programas Sociales, dependiente de la Secretaría de Desarrollo Social. La evaluación externa de programas sociales contribuye a: ● Retroalimentar el diseño de los programas, permitiendo su mejoramiento, readecuación o reorientación. ● Rendir cuentas sobre el uso de recursos públicos y fomentar una cultura de resultados en la gestión publica. ● Incrementar la efectividad de la política social. ● Diseminar el conocimiento sobre el impacto de distintas herramientas de desarrollo social y promover el debate informado sobre políticas públicas. 1.1 ANTECEDENTES El Plan Nacional de Desarrollo 2001-2006 establece que la política de desarrollo social del gobierno federal para ese período tiene como objetivos lo siguiente: ● Mejorar los niveles de educación y bienestar de las y los mexicanos INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 3 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 ● Acrecentar la equidad y la igualdad de oportunidades ● Impulsar la educación para el desarrollo de las capacidades personales y de iniciativa individual y colectiva ● Fortalecer la cohesión y el capital social ● Lograr un desarrollo social y humano en armonía con la naturaleza ● Ampliar la capacidad de respuesta gubernamental para fomentar la confianza ciudadana en las instituciones El Programa Nacional de Desarrollo Social 2001-2006 considera cuatro objetivos fundamentales que el Ejecutivo Federal, por medio de la SEDESOL, se ha propuesto alcanzar: ● Reducir la pobreza extrema ● Generar la igualdad de oportunidades para los grupos más pobres y vulnerables ● Apoyar el desarrollo de las capacidades de las personas en condición de pobreza ● Fortalecer el tejido social fomentando la participación y el desarrollo comunitario Para lograr lo anterior habrá de establecer alianzas con las organizaciones de la sociedad civil (OSC) e instituciones que coadyuven en su cumplimiento. El Instituto Nacional de Desarrollo Social, como órgano desconcentrado de la SEDESOL, en el marco del Programa Nacional de Desarrollo Social 2001-2006, opera el Programa de Coinversión Social (PCS). Cabe recordar que éste surge en el año 1993 con el nombre Fondo de Coinversión Social, operado por la Unidad de Concertación Social de la SEDESOL. Desde 1995 el PCS es administrado por el INDESOL. En el año 2003 se integran al PCS los Programas de Investigación para el Desarrollo Local y Capacitación y Fortalecimiento Institucional a cargo del INDESOL, constituyendo el actual Programa de Coinversión Social. Con base en las recomendaciones de la evaluación externa 2004, a principios del 2005 se modificaron las Reglas de Operación del PCS, reduciéndose a tres grandes líneas las INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 4 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 vertientes y haciendo posible el direccionamiento e integración de las acciones, basado en la conjunción de esfuerzos de los operadores del Programa. Dichas vertientes son: a) Desarrollo Humano y Social. Proyectos dirigidos al desarrollo de capacidades, la ampliación de oportunidades y acciones de protección para mejorar las condiciones de vida de la población en pobreza y vulnerabilidad, el desarrollo comunitario y su integración a la vida productiva y social, así como el fortalecimiento del capital social, entendido como las redes, las normas y la confianza que facilitan la cooperación y la acción colectiva para lograr intereses comunes. b) Fortalecimiento y Profesionalización Institucional. Proyectos dirigidos a mejorar las capacidades, conocimientos, habilidades y metodologías para el desarrollo social, la gestión y organización de los actores sociales, la participación ciudadana en las políticas públicas, así como promover la articulación entre ellos y con los tres órdenes de gobierno, para generar sinergias, mayor concurrencia de recursos e impacto social. c) Investigación para el Desarrollo Social. Proyectos que generen y difundan conocimientos, instrumentos, diagnósticos, propuestas y recomendaciones, entre otros, para fortalecer el diseño, instrumentación y evaluación de políticas públicas en materia de desarrollo social. Con especial énfasis en aquellos ligados al fortalecimiento de las acciones de fomento de las actividades de las OSC, el conocimiento sobre la perspectiva de género en la política social y la participación de los municipios en la gestión social municipal, en el marco de la Ley General de Desarrollo Social. Los recursos financieros del PCS complementan los recursos humanos, materiales y financieros que aportan los Agentes Responsables de la Ejecución de los Proyectos (AREP), para la realización del proyecto que presentan. Dicha aportación es entendida como coinversión. Por otra parte, se consideran Actores Sociales a las Organizaciones de la Sociedad Civil (OSC), instituciones académicas de educación superior o de investigación y gobiernos municipales que presentan proyectos, y por AREP a los actores sociales apoyados por el PCS. INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 5 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 El Programa de Coinversión Social (PCS) asume el compromiso señalado en el Plan Nacional de Desarrollo 2001-2006 de fortalecer la cohesión y el Capital Social. En este sentido, impulsa la alianza entre gobierno y sociedad civil mediante la corresponsabilidad, el respeto, la autonomía y la confianza en beneficio de los grupos de población más pobres y vulnerables. 1.2 OBJETIVOS DEL PROGRAMA El objetivo general del Programa es “fomentar el desarrollo social de la población en situación de pobreza, exclusión, marginación, desigualdad por género o vulnerabilidad social, a través de la coinversión y corresponsabilidad del gobierno y la sociedad civil, y la promoción de la igualdad de condiciones y oportunidades entre hombres y mujeres” Los objetivos específicos son: a) Fortalecer las acciones de los actores sociales para el desarrollo social de la población objetivo en situación de pobreza, exclusión, marginación, desigualdad por género o vulnerabilidad social. b) Fortalecer y ampliar el capital social para el desarrollo de la población en situación de pobreza, exclusión, marginación, desigualdad por género o vulnerabilidad social. c) Favorecer la promoción y defensa de los derechos económicos, sociales y culturales de la población objetivo del Programa de Coinversión Social. d) Fortalecer las políticas públicas de desarrollo social mediante la generación de conocimientos en la materia, que conduzca a la mejora de condiciones de vida de la población objetivo del Programa de Coinversión Social. 1.3 COBERTURA DEL PROGRAMA El PCS tiene cobertura a nivel nacional, enfocándose a brindar apoyo a los proyectos que benefician, directa o indirectamente, a la población en situación de pobreza, vulnerabilidad, marginación, desigualdad de género o exclusión social. El Programa es operado por el INDESOL a nivel central y por las delegaciones federales de la SEDESOL en las entidades federativas. En el 2005 el INDESOL apoyó a nivel nacional 1,130 INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 6 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 proyectos con una aportación federal autorizada a proyectos del PCS de $194,739,238. Del total de proyectos, 1,037 se asignaron a OSC e instituciones académicas y 93 a gobiernos municipales, Asimismo, 455 proyectos incidieron en alguna de las 263 microregiones establecidas por la SEDESOL. El resumen numérico por vertiente se presenta a continuación: de los 1,130 proyectos apoyados 818 fueron a través de la vertiente desarrollo humano y social, 248 mediante la vertiente en fortalecimiento y profesionalización institucional y 64 a través de la vertiente de investigación. Para 2006 se estima apoyar por medio del PCS un total de 950 proyectos, de los cuales el 44 por ciento será apoyado por el INDESOL y el resto a través de las delegaciones federales de la SEDESOL en los diferentes estados. Las diferentes convocatorias que se publican, señalan los criterios de selección y las características de los proyectos que pueden participar en las mismas. En este sentido, existen criterios de focalización geográfica y temática señalados en cada convocatoria, con lo cual se define su cobertura. 1.4 OPERACIÓN DEL PROGRAMA En el 2005 se emitieron 23 convocatorias de las cuales, 15 se operaron a nivel central, 7 fueron operadas por las Delegaciones estatales de la SEDESOL y la convocatoria de Promoción General fue operada por INDESOL y las delegaciones federales de la SEDESOL, conforme al lugar de incidencia del proyecto. En el siguiente cuadro se detalla el número de proyectos por convocatoria: INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 7 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 Convocatoria Total Proyectos Apoyados Promoción general 522 Promoción de la equidad de género para el desarrollo social y humano 64 Promoción de la asistencia social hacia el desarrollo social 59 Desarrollo Regional 53 Investigación para el desarrollo social 51 Profesionalización y fortalecimiento de las organizaciones de la sociedad civil 38 Fortalecimiento de organizaciones indígenas y campesinas para el desarrollo social 30 Fortalecimiento a iniciativas ciudadanas en materia de incidencia en políticas públicas de desarrollo social 26 Fortalecer las capacidades ciudadanas en materia de prevención de la violencia, así como para el diseño y operación de iniciativas a favor de opciones pacíficas por la equidad de genero y el desarrollo social en ciudad Juárez, Chihuahua Fortalecimiento de refugios para mujeres, sus hijas e hijos victimas de violencia, así como sus centros externos 20 14 Fortalecimiento a iniciativas ciudadanas en materia de educación y promoción de los derechos humanos en el Distrito Federal 14 Investigación para el fortalecimiento de la política social 13 Fortalecimiento y consolidación de proyectos que generen oportunidades de ingreso para mujeres de áreas rurales (1 y 2) Fomento a la cultura de la participación ciudadana en el monitoreo y capacidad de denuncia frente a los delitos electorales en los programas sociales 18 11 Consolidación de los centros de promoción para la infancia en situación de calle 10 Fortalecimiento de iniciativas ciudadanas para la atención de la infancia en casa hogar 11 Promoción General (SL) 10 Prevención de riesgos en la calidad de vida de las y los jóvenes en situación de vulnerabilidad 9 Reserva especial de la biosfera de la Mariposa Monarca 9 Fomento de iniciativas ciudadanas en materia de atención y asistencia a la población migrante 9 Promoción general 2 (Deligación Zacatecas) 7 INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 8 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 Total Proyectos Apoyados Convocatoria Gestión Social Municipal 93 1,130 El desarrollo del Programa comprende las siguientes etapas operativas: Dictaminaci ó n de Proyectos y Difusi ón de Resultados Emisi ó n y Difusi ó n de Convocatorias Presentaci ó n y Recepci ón de Proyectos Validación ón de Proyectos ((3.1) (3.2) (3.3) Ajuste de Proyectos Suscripción del Instrumento Jurídico Ministración de Recursos Federales Ejercicio del Recurso (3.5) (3.6) (3.7) (3.8) Seguimiento y Evaluaci ó n Cierre (3.9) (3.4) (3.10) Las Reglas de Operación y los Lineamientos Específicos del Programa describen cada una de las etapas, mismas que serán analizadas en el desarrollo de la evaluación 2006. 1.5 RESULTADOS DE EVALUACIONES EXTERNAS ANTERIORES De conformidad con los Términos de Referencia, en el desarrollo de la Evaluación 2006 deberán tomarse en cuenta las experiencias de las dos evaluaciones anteriores, cuyos resultados arrojaron las siguientes fortalezas, retos y recomendaciones: 1.5.1 EVALUACIÓN 2004 Diseño. ● El PCS está alineado y guarda congruencia con la Política Nacional para Superar la Pobreza definida a partir de la “Estrategia Contigo”, y se sustenta a través de su objetivo rector de fortalecer la cohesión y el capital social, este objetivo define INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 9 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 políticamente los elementos esenciales del PCS hacia el fomento de la corresponsabilidad social y el fortalecimiento del capital social. ● Que el PCS deje de atender a la población rural en las vertientes social, económica y fortalecimiento institucional que en alguna medida ya son atendidas por el Programa de Fondos Regionales de Combate a la Pobreza. ● Reconfigurar la ubicación del PCS en la Política Nacional para Superar la Pobreza, como un Programa transversal que pueda complementarse dentro de los cuatro ejes de la “Estrategia Contigo”. Es decir, darle una perspectiva más amplia y no limitar lo a sólo dos vertientes. Operación. ● El sistema informático es un sistema integral, pues, en términos generales, recopila la información recabada en la solicitud de registro de proyectos del Programa, procede a registrar la validación de los mismos, permite incorporar el proceso de dictaminación, controla la asignación de recursos financieros emitiendo documentos, cheques para las ministraciones, da seguimiento a los proyectos, evalúa el avance y cumplimiento de los mismos. ● Alinear el instructivo de llenado de convocatorias a los lineamientos específicos. ● Alinear y definir de forma clara los objetivos de las vertientes y convocatorias. ● Alinear las células de dictaminación y su instructivo de llenado. Cobertura. ● La Cobertura de beneficiarios primarios y secundarios y de proyectos del PCS en el 2004 es congruente con lo establecido en las Reglas de Operación, para las 32 entidades del País. ● Mejorar el nivel de cobertura municipal en las entidades que presentan regular o baja. ● Mejorar el nivel de cobertura estatal en las entidades que presentan regular o baja. INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 10 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 Focalización. ● El Programa focalizar los recursos a partir de que las convocatorias son emitidas con estudios previos ● El PCS debería focalizar construyendo activos sociales e institucionales en el largo plazo. Impacto ● Existe un pleno cumplimiento de los compromisos asumidos por los AREP con los beneficiarios. ● El Programa contribuye al fortalecimiento y crecimiento de las redes sociales al ser instancias de trabajo conjunto entre las organizaciones y alguno de los tres órganos de gobierno. ● El INDESOL debe impulsar el autosostenimiento de las OSC, así como la participación de los beneficiarios en el sostenimiento del proyecto. 1.5.2 EVALUACIÓN 2005-2006 Diseño ● El Programa apoya a organizaciones civiles, las cuales contribuyen al desarrollo de la comunidad en aquellos espacios donde los programas gubernamentales de atención directa a la población objetivo no llegan o no son efectivos. ● Las modificaciones aplicadas a las RO 2005 permiten al Programa alinear con mayor precisión las convocatorias emitidas con los objetivos general y específicos. ● Las modificaciones a las RO favorecen el seguimiento, evaluación y transparencia del Programa. ● Existe imprecisión sobre las características de la población objetivo, la cobertura territorial, las metas por vertiente y la naturaleza de las convocatorias emitidas. INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 11 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 ● No existe una definición clara entre beneficiarios directos y beneficiarios indirectos, que concertada con las Organizaciones de la Sociedad Civil les permita identificar adecuadamente a su población objetivo. Operación ● El Programa ha operado de forma regular durante el año pasado y el actual, ya que se han cumplido o se están cumpliendo las metas fijadas para ambos años. ● Se ha logrado el objetivo de promover la corresponsabilidad del sector social en las acciones de política social, ya que al mes de agosto de 2005, del costo total de proyectos, el 40.0% ha sido aportado por los actores sociales. ● El Sistema Integral de Gestión de Proyectos del PCS (SIGEPPCS), como núcleo central del control de su operación, proporciona elementos de apoyo a la operación, registro y sistematización de las tareas de índole operativa, señaladas en los lineamientos del Programa. ● Se fortalece la equidad de género, puesto que la atención por parte de los proyectos se da casi por igual entre hombres y mujeres. ● El SIGEPPCS no cuenta con aplicaciones informáticas para apoyar la fase de “cierre del proyecto”, además de módulos que permitan la explotación de la información almacenada en su base de datos, tampoco genera reportes ejecutivos que proporcionen información ágil e indicativa. Asimismo no tiene actualizados los manuales de usuarios. ● El Sistema Integral de Gestión de Proyectos del PCS (SIGEPPCS) no permite determinar la distribución territorial de las “acciones o zonas de impacto” apoyada. INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 12 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 CAPÍTULO 2 MARCO TEÓRICO CONCEPTUAL En el ámbito de la evaluación, el marco teórico conceptual es una herramienta que permite esquematizar la forma en que teóricamente funciona el Programa, de tal manera que el diseño y resultados del mismo se puedan contrastar con éste a fin de establecer la conveniencia de las acciones realizadas y lo que se dejó de hacer. 2.1 MODELO CONCEPTUAL DE DESARROLLO SOCIAL La teoría sobre desarrollo social no se encuentra unificada en un solo modelo teórico, sino que se nutre de diversas líneas de investigación enfocadas a explicar los elementos que subyacen a la condición de marginación, pobreza, discriminación, exclusión o vulnerabilidad de personas, grupos y comunidades y los mecanismos a través de los cuales se pueden superar éstos. Un elemento ampliamente aceptado en la teoría sobre desarrollo social es la premisa de que las organizaciones de la sociedad civil (OSC) pueden intervenir eficazmente en el desarrollo social de individuos, grupos y comunidades a fin de ayudarlas a superar su condición de marginación, pobreza, discriminación, exclusión o vulnerabilidad social, al ser capaces de coordinar una gran cantidad de acciones para las cuales los programas centralizados serían imposibles de aplicar debido a la gran heterogeneidad de los problemas que enfrenta esta población objetivo. Los programas de desarrollo social centralizados son efectivos cuando atienden una problemática que es común a grandes segmentos de población debido a las economías de escala que existen en la atención de grandes grupos de población, como es el caso de los apoyos para la nutrición de la población infantil, en el cual el tratamiento que se le da a los infantes es homogéneo. Sin embargo, cuando existen problemas sociales específicos, para los cuales el Gobierno no puede estar creando multiplicidad de pequeños programas para su atención, la opción de delegar a las organizaciones de la sociedad civil la atención de estas problemáticas específicas que son, desde el punto de vista conceptual, no solamente válidos, sino indispensables, ya que ningún programa centralizado, por bien diseñado que estuviera, podría ser tan efectivo para resolver problemas particulares entre regiones, INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 13 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 ciudades, zonas rurales, barrios, grupos de población o personas. Las problemáticas sociales particulares solamente pueden atenderse efectivamente con soluciones particulares, lo cual puede ser más probable de alcanzar a través de la participación de las organizaciones de la sociedad civil apoyadas por el Gobierno. A continuación se señalan los principales elementos conceptuales de la teoría sobre desarrollo social basada en la creencia de que las organizaciones de la sociedad civil pueden intervenir eficazmente en el desarrollo social de individuos, grupos y comunidades a fin de ayudarlas a superar su condición de marginación, pobreza, discriminación, exclusión o vulnerabilidad: 2.2 ORGANIZACIONES FORMALES DE SOPORTE La característica de este tipo de organizaciones reside en contar con personal calificado y con experiencia para resolver eficazmente los problemas sociales específicos que presentan ciertas comunidades, grupos o personas debido a su flexibilidad para ajustarse a las circunstancias y tradiciones locales, y su autonomía para responder rápidamente a las demandas sociales. Estas organizaciones tienen que ser creadas en aquellos espacios donde los programas centralizados no son eficaces para atender la problemática social presentada. Una forma característica de una organización formal de soporte es la organización de la sociedad civil (OSC). Keating (1998) señala que las organizaciones formales de soporte son de suma importancia en los modelos de desarrollo social debido a que estas organizaciones cuentas con personal calificado en áreas del desarrollo social (psicólogos, sociólogos, médicos, abogados, contadores, trabajadores sociales, etc.), cuentan con la confianza de las personas de la comunidad y pueden recibir recursos del gobierno central perfectamente fiscalizados por una procuraduría ciudadana. La organización civil también tiene como cualidad aislar las presiones políticas coyunturales a las que por lo general se encuentran sometidas las instituciones públicas (municipales, estatales o federales), las cuales pueden seguir su propia estrategia en función de intereses personales. INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 14 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 2.3 CAPITAL SOCIAL El capital social es la capacidad de acción colectiva que hacen posible ciertos componentes sociales, como las normas y las redes, con el fin de obtener beneficios comunes. Existen diversas formas de utilización del capital social para lograr metas tales como protegerse contra el riesgo, construir bienes públicos, explotar sosteniblemente bosques comunes o vender colectivamente cosechas para negociar buenos precios. A un mayor alcance de los objetivos de la acción colectiva corresponde una mayor complejidad de la infraestructura social necesaria para hacerla posible (Flores y Rello, 2003). La distinción entre fuentes endógenas y exógenas para generar capital social permite vislumbrar cómo, dependiendo de quién lo detenta y la forma en que lo canaliza, el capital social puede contribuir a combatir la exclusión social y la pobreza (Flores y Rello, 2003). Las fuentes internas o endógenas se refieren a las normas que rigen las relaciones intragrupales. Para efectos del análisis del PCS se consideran como fuentes internas aquellas relaciones que se tejen al interior de la comunidad atendida por la OSC. Las fuentes externas se refieren a las relaciones que entablan las comunidades con su entorno social que le son útiles para combatir su situación de marginación o pobreza. En este caso se consideran fuentes externas “el Capital Social Público o Gubernamental”, es decir el PCS que ha puesto en marcha INDESOL y las Organizaciones de la Sociedad Civil (OSC) que son los Agentes Responsables de la Ejecución de los Proyectos (AREP) (Véase Esquema 2). FUENTES DE GENERACIÓN DE CAPITAL SOCIAL PARA LA SUPERACIÓN DE LA POBREZA CAPITAL SOCIAL GUBERNAMENTAL FUENTES EXTERNAS (EXÓGENAS) FUENTES INTERNAS (ENDÓGENAS) ORGANIZACIONES DE LA SOCIEDAD CIVIL COMUNIDAD INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 15 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 La movilización de recursos externos a las comunidades para sus proyectos de desarrollo ha sido el resultado de largos proceso del fortalecimiento de su capital social endógeno y exógeno. El capital social comunitario es frágil y de difícil construcción, sobre todo aquel que puede ir más allá de reportar a los campesinos beneficios puntuales, para acometer tareas tan vastas y complejas como el desarrollo regional o local. Para que el capital social pueda impulsar el desarrollo tiene que ser sostenible y tiene que expresarse mediante formas organizativas complejas. Se necesita una sinergia entre capital social y política gubernamental, la que tiene que crear nuevas instituciones y espacios de diálogo y concertación con los actores sociales (Flores y Rello, 2003). El Estado debería ser una de las fuentes esenciales de los recursos necesarios para impulsar el capital social de los pobres y dar un salto cualitativo hacia el desarrollo. El Capital Social Público o Gubernamental incluye a las instituciones gubernamentales y establece sinergia con el capital social civil que está constituido por las normas, valores, redes, asociaciones y organizaciones que estimulan el trabajo conjunto. El estado también debe cumplir con las funciones de regulador, facilitador, asociativista y estratega. Las Organizaciones de la Sociedad Civil o del llamado Tercer Sector han tenido la esencial función de intermediar o ser corredores de capital social. En un mundo globalizado, en el que los pobres se encuentran desconectados de las principales redes de oportunidades, estas organizaciones intermedias o puentes adquieren una importancia inusitada. La conexión con el mercado y el sector privado también representa una considerable fuente de recursos para enriquecer la acción colectiva y transformarla en procesos de desarrollo (DíazAlbertini, 2003). Las redes sociales de los pobres son uno de sus principales recursos para enfrentar el riesgo y la vulnerabilidad; por ello, los agentes externos deben encontrar formas de complementar estos recursos y no simplemente sustituirlos (Woolcock y Narayan, 2000). La mayoría de los estudiosos del tema distingue entre tres tipos de capital social (Robinson, Siles y Schmid 2003): INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 16 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 ● Capital social de unión (bonding social capital). ● Capital social de vinculación (linking social capital). ● Capital social de aproximación (brinding social capital). El capital social de unión existe en relaciones socialmente estrechas (contacto personal frecuente o compromisos para toda la vida) que se caracterizan por intensos sentimientos de conexión (preocupación, afecto e interés). Ejemplo de esto son los familiares, las parejas, los vecinos o amigos cercanos. Este tipo de capital social abunda en las comunidades de bajos ingresos de los países en desarrollo. El capital social de vinculación existe en relaciones sociales medianamente estrechas y se caracteriza por sentimientos de conexión moderada (confianza, respeto, compañerismo). Ejemplo de esto son los colegas, compañeros de trabajo, club o equipo deportivo. Este tipo de capital social podríamos asociarlo más a las relaciones que tejen las OSC. El capital social de aproximación existe en las relaciones asimétricas entre personas y se caracteriza por sentimientos asimétricos de conexión. Ejemplo de esto son las relaciones entre un empleador y un empleado, un profesor y un estudiante, el gobernante y el ciudadano, etc. Se considera que el capital social de aproximación es más característico del Estado. TIPOS DE CAPITAL SOCIAL UNIÓN (BONDING) VINCULACIÓN (LINKING) APROXIMACIÓN* (BRINDING) ACTOR SOCIAL COMUNIDAD COMUNIDAD/ ORGANIZACIONES SOCIEDAD CIVIL (OSC) COMUNIDAD/ OSC/ GOBIERNO TIPO DE RELACIÓN HORIZONTAL HORIZONTAL/ VERTICAL VERTICAL *”Que tiende puentes” INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 17 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 En resumen, las relaciones verticales podrían facilitar la construcción de la confianza mutua, de redes densas y de normas de reciprocidad efectivas que son indispensables para el desarrollo sostenible (Díaz-Albertini, 2003). La propuesta es que los vínculos verticales deben contribuir a: i) enriquecer las expectativas y perspectivas de los pobres, fortaleciendo así la confianza. ii) empoderar a las organizaciones sociales para que construyan y puedan hacer cumplir normas y desarrollar proyectos de desarrollo; y por último iii) integrar a los diversos sectores sociales mediante eslabonamientos que permitan la construcción de consensos alrededor del desarrollo sostenible 2.4 DESARROLLO DE CAPACIDADES Una de las fuentes más importantes del desarrollo social está identificado con el conjunto de capacidades y habilidades que posean las comunidades, grupos o personas, por lo cual es importante elevar las capacidades en un sentido amplio, que no se reduzca solamente a la educación formal, sino que incluya también una mejor salud y nutrición, a fin de que los individuos puedan mejorar su nivel de vida, y también su convivencia social. Sen (1996) establece que la falta de habilidades o capacidades de algunos individuos o grupos para desempeñar ciertas actividades es lo que los mantiene en condición de pobreza, marginación o vulnerabilidad social, en tanto que el mercado poco puede hacer por incorporarlos, ya que éste premia a los más calificados y excluye a los menos capaces, mediante el proceso natural de competencia. Para este autor, hablar de libertad o posibilidad de elegir entre diversas opciones cuando no se tiene la capacidad realmente de acceder a estas posibilidades, no tiene ningún sentido. Un individuo, grupo o comunidad que no tenga las capacidades para incorporarse al mercado de trabajo y tomar del mercado bienes y servicios, verán en la libertad de elegir un derecho imposible de ejercer. En este caso, la libertad será irrelevante debido a su incapacidad para ejercerla. En cierta manera, para Amartya Sen la consecución del INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 18 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 desarrollo se fundamenta en el ensanchamiento de las libertades del individuo de manera que le permitan llevar la vida que éste considere digna vivir. 2.5 MARCO INSTITUCIONAL Parte integral del desarrollo social es el respeto a los derechos humanos, políticos y económicos, de comunidades, grupos y personas en el marco de las garantías que otorga el Estado. Una de las tareas de los gobiernos que pretenden promover el desarrollo social es asegurar a las personas, grupos y comunidades sus derechos humanos, civiles, políticos y económicos a fin de que estas personas no sufran la marginación o discriminación por su condición o por pertenecer a alguna minoría o contar con capacidades diferentes. Estos derechos tienen que ser asumidos y promovidos por parte de los gobiernos en todos sus niveles. En la Declaración Universal de los Derechos Humanos (1948) se establece en su artículo 1 que “Todos los seres humanos nacen libres e iguales en dignidad y derechos y, dotados como están de razón y conciencia, deben comportarse fraternalmente los unos con los otros” y en el artículo 2 se establece que “Toda persona tiene todos los derechos y libertades proclamados en esta Declaración, sin distinción alguna de raza, color, sexo, idioma, religión, opinión política o de cualquier otra índole, origen nacional o social, posición económica, nacimiento o cualquier otra condición.” A fin de que estos principios se cumplan, en el artículo 30 de la misma se establece que “Nada en esta Declaración podrá interpretarse en el sentido de que confiere derecho alguno al Estado, a un grupo o a una persona, para emprender y desarrollar actividades o realizar actos tendientes a la supresión de cualquiera de los derechos y libertades proclamados en esta Declaración”. Por otra parte, la promoción y protección de los derechos económicos promueve un mayor intercambio, al definir claramente la propiedad, la remuneración por un servicio prestado y la capacidad para enajenar un valor o un nuevo recurso. Como lo señala Weingast (1995), los derechos económicos son fundamentales para incrementar el volumen de transacciones en la economía y con ello lograr un incremento en los ingresos de la población en general. INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 19 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 En cuanto a los derechos políticos, de acuerdo con Rawls (1995), en una sociedad plural donde existe una gran diversidad de grupos y minorías con creencias diferentes, los derechos políticos le permiten a individuos, grupos o comunidades coexistir dentro de los límites de las instituciones democráticas que se fundamenta en la concepción política de la justicia, la cual es a su vez el centro de un consenso traslapado de doctrinas razonables y generales. En virtud de lo anterior, la política de desarrollo social debe de poner énfasis en la promoción y cumplimiento de los derechos humanos, políticos y económicos de las personas, grupos o comunidades en condición de pobreza, marginación, exclusión, discriminación o vulnerabilidad a fin de alcanzar una convivencia amónica entre todos los miembros de la sociedad. INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 20 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 CAPÍTULO 3 OBJETIVOS DE LA EVALUACIÓN EXTERNA En este capítulo se presentan el objetivo general y los objetivos específicos de la evaluación, los cuales servirán de guía para el desarrollo de la metodología. 3.1 OBJETIVO GENERAL Analizar el diseño, focalización, resultados y, de contar con algún estudio adicional que lo permita, analizar la importancia del trabajo de los AREP con la población objetivo del Programa de Coinversión Social, así como la satisfacción de los beneficiarios del PCS, ofreciendo un panorama integral de su funcionamiento que permita la toma de decisiones para mejorar su operación, así como sus resultados. 3.2 OBJETIVOS ESPECÍFICOS Los objetivos específicos de la evaluación externa del Programa se presentan a continuación: a) Evaluar el diseño del Programa conforme a la metodología del Marco Lógico, particularmente su lógica vertical y horizontal. b) Verificar y analizar el avance en el cumplimiento de metas financieras o de costos del 2006. c) Actualizar el análisis de cobertura y focalización al 15 de noviembre de 2006, determinando en qué medida las acciones del Programa se han enfocado a mejorar el bienestar de la población objetivo y cómo ha cambiado la tendencia en el tiempo. d) Analizar el avance en el cumplimiento de metas financieras, físicas y de resultados del Programa al 15 de noviembre de 2006. e) En caso de contar con algún estudio adicional que lo permita, determinar si persisten deficiencias para la mejora en el grado de satisfacción de los agentes responsables de la ejecución de los proyectos. En caso de existir éstas, emitir aseveraciones de los factores causales y recomendaciones para acciones futuras. INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 21 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 f) En caso de contar con algún estudio adicional que lo permita, analizar la contribución del PCS a la construcción y/o fortalecimiento del capital social. g) En caso de contar con algún estudio adicional que lo permita, identificar los mecanismos exitosos para el incremento del bienestar, la equidad, la igualdad y la no discriminación de las mujeres. h) Actualizar en caso de ser necesario el meta análisis del Programa realizado a junio de 2006. i) Revisar y actualizar el planteamiento de las fortalezas y debilidades de la evaluación, con base en los nuevos resultados generados. INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 22 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 CAPÍTULO 4 METODOLOGÍA Las evaluaciones al Programa se han concentrado en temas específicos como el diseño, operación, cobertura, focalización y normatividad, entre otros. Asimismo han permitido la toma de decisiones basada en las recomendaciones hechas por los evaluadores, para mejorar la calidad, eficacia y eficiencia del Programa, pero sobre todo mejorar las acciones del INDESOL para incidir en su población objetivo. Covarrubias y Asociados, S.C. buscará que la presente evaluación aporte las herramientas, recomendaciones y resultados precisos y profundos que permitan encausar no sólo las acciones del INDESOL, sino también las de las propias organizaciones de la sociedad civil en Políticas Públicas, en las cuales éstas fortalezcan el Capital Social y al mismo tiempo se vean beneficiadas de ellas y de los programas gubernamentales. 4.1 RACIONAL DEL ESTUDIO Covarrubias y Asociados S.C. utilizará una metodología de evaluación basada en métodos de tipo cuantitativo y cualitativo. La evaluación de los programas y políticas sociales a través del análisis cuantitativo y cualitativo de información es importante, ya que: ● Retroalimenta el diseño de los programas permitiendo su mejoramiento, readecuación o reorientación. ● Favorece la rendición de cuentas para la sociedad al permitir que se identifique la relevancia, eficiencia e impacto de los programas y acciones de política social. ● Contribuye a incrementar la efectividad de la política social y la calidad de los programas. ● Amplía el conocimiento y promueve la investigación sobre diversos temas de desarrollo social. Acorde a lo solicitado en los términos de referencia, Covarrubias y Asociados S.C. cumplirá con cada uno de los requerimientos esperados para la evaluación del Programa. INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 23 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 Se emitirán puntuales recomendaciones sobre los siguientes aspectos, considerando el periodo de 1° de julio al 15 de noviembre de 2006. Se retomarán aspectos de un primer momento, comprendido entre enero de 2005 hasta junio de 2006 para referencia y/o cierre de la evaluación, de modo tal que el informe final considere todo el periodo analizado (2005-2006). La propuesta metodológica y estratégica de desarrollo de la evaluación del Programa de Coinversión Social (PCS) para el ejercicio 2006, recupera cada uno de los requerimientos planteados por el Instituto y los estructura en una metodología que considera siete componentes de análisis y una estrategia de desarrollo en el tiempo, que permitirán cumplir en tiempo y forma con cada uno de los productos solicitados. La propuesta metodológica para la evaluación del Programa de Conversión Social, comprende los siguientes componentes de evaluación: ● Diseño ● Financiera o de Costos ● Cobertura y focalización ● Contribución del PCS a la construcción y/o fortalecimiento del Capital Social ● Equidad de género. Contribución del PCS al bienestar, la equidad, la igualdad y la no discriminación de las mujeres ● Meta Análisis del PCS ● Profundización en el tema “Aportación de las Organizaciones de la Sociedad Civil” 4.2 COMPONENTES DE LA EVALUACIÓN 4.2.1 DISEÑO La evaluación de diseño se realizará con base en la metodología del Marco Lógico. Dicho marco lógico, se utilizará como eje rector de la evaluación de diseño y de resultados. INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 24 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 Se analizará el diseño del Programa con base en el marco lógico del PCS y en las Reglas de Operación vigentes. Dicho análisis de gabinete permitirá responder cada una de las siguientes cuestiones: 4.2.1.1 Diagnóstico de la situación inicial ● ¿El problema o necesidad que da origen al Programa está bien identificado? ● ¿La población potencial y objetivo han sido bien definidas en función del problema/necesidad que dio origen al PCS? 4.2.1.2 Lógica vertical de la Matriz de Marco Lógico Se analizará cómo operan las relaciones de causa-efecto entre los distintos niveles de objetivos, con lo cual se contestarán las siguientes preguntas: ● ¿Son las actividades diseñadas las suficientes y necesarias para producir los componentes (productos) del Programa? ● ¿Son los componentes (productos) del Programa los necesarios y suficientes para el logro del resultado (propósito)? ● ¿El resultado (propósito) del Programa está lógicamente alineado con el fin (impacto)? ● ¿Cuál es la relación entre el fin (impacto) y el Programa Nacional de Desarrollo Social? ● En caso de ser pertinente la incorporación del enfoque de género, ¿éste fue incorporado en la definición del resultado y/o componentes, y/o en los procesos involucrados en la producción o provisión de los bienes y servicios de los componentes? ● ¿Se consideran válidos los supuestos del Programa tal como se plantean en la Matriz de Marco Lógico?; ¿para cuáles de esos supuestos se deberían construir y cuantificar indicadores que den cuenta del cumplimiento de los mismos? ● Considerando el análisis y evaluación realizado en este punto, ¿se valida en su totalidad la lógica vertical de la Matriz de Marco Lógico del Programa? INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 25 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 4.2.1.3 Lógica horizontal de la Matriz de Marco Lógico ● ¿Existen indicadores adecuados para medir el desempeño del Programa a nivel de impactos, resultados y productos? Al respecto, se analizará la calidad y pertinencia de los indicadores existentes considerando los objetivos del Programa y se identificarán los ámbitos relevantes en que no se presentan indicadores. Así mismo, se propondrán los indicadores faltantes y necesarios para la evaluación, o en su caso las mejoras necesarias. ● En caso de ser pertinente la incorporación del enfoque de género, ¿se presentan indicadores para medir los efectos que ha tenido el Programa en la situación de hombres y mujeres? ● ¿Se han identificado los medios de verificación?, ¿Permiten éstos verificar los indicadores definidos? ● Considerando el análisis y la evaluación realizada en este apartado, ¿se valida en su totalidad la lógica horizontal de la Matriz de Marco Lógico del Programa? 4.2.1.4 Modificaciones al Diseño de los Programas ● Se analizarán las modificaciones a las ROP vigentes en relación con los dos años anteriores. ¿Por qué se dieron estos cambios?, ¿En qué medida los cambios registrados responden a retos o recomendaciones específicas de evaluaciones anteriores? 4.2.2 FINANCIERA O DE COSTOS Para el caso especifico de la operación financiera y análisis de costos, la evaluación contendrá: ● Costo-Efectividad en función de los costos y gastos unitarios. Se actualizará el análisis de eficacia (relación metas-tiempo, distinguiendo entre metas programadas y ejecutadas) y de eficiencia (relación entre metas, tiempos y costos) al 15 de noviembre de 2006. INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 26 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 ● Actualización del análisis previo de metas financieras y físicas de acuerdo al techo presupuestal 2006 y planes de implementación, a nivel nacional y por estado. Para lo anterior se utilizará el promedio nacional como parámetro La evaluación identificará aquellos estados con un retraso o avance significativo en el logro de sus metas. Se comparará el cumplimiento de las metas del 2006 respecto al 2005. 4.2.3 COBERTURA Y FOCALIZACIÓN 4.2.3.1 Cobertura En el caso específico de Cobertura, se determinará la cobertura alcanzada al 15 de noviembre de 2006 y su variación con los dos años inmediatos anteriores, analizando las siguientes variables a nivel nacional, entidad federativa y municipio. ● Proyectos y beneficiarios/as apoyados por vertiente. ● Se actualizará el análisis previo utilizando la información definitiva al 15 de noviembre de 2006 respecto a los lugares donde está operando el Programa y a quiénes está llegando realmente, presentando y especificando resultados a nivel nacional y por entidad federativa. ● La evaluación actualizará el número de obras y/o acciones, así como el número de municipios, beneficiarias o beneficiarios directos según sea pertinente, comparando las metas y avances. ● Se actualizará al 15 de noviembre de 2006, en su caso, la variación de la cobertura con respecto a los dos años anteriores por tipo de apoyo, tomando como referencia dos cortes de información, el primero a diciembre y el segundo a junio de cada año. 4.2.3.2 Focalización. Se actualizará el análisis, en caso de ser posible, al 15 de noviembre de 2006 respecto a la medida en que los recursos y las acciones del Programa se han dirigido a las zonas más marginadas del país, atendiendo las siguientes características: INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 27 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 ● Utilizando el índice de marginación del Consejo Nacional de Población (CONAPO) a nivel municipal y los registros financieros o de inversión del Programa, se compararán las cifras del 2003 al 2006 integrando dos cortes de información, uno a diciembre y otro a junio de cada año. Se utilizará la proyección de población de CONAPO del 2004 para medir el tamaño de la población correspondiente a cada nivel de marginación. En su caso, el análisis será desglosado por vertiente o tipo de apoyo ● En caso de que exista otro estudio que sirva como insumo, se actualizarán los siguientes aspectos relativos al grado de satisfacción de Agentes Responsables de la Ejecución de los Proyectos (AREP): Conocimiento del INDESOL. Identificación del PCS entendimiento de la forma en que opera y el tipo de apoyos que otorga. Opinión de los AREP sobre el cumplimiento de los objetivos del Programa. Opinión de los AREP sobre la transparencia y acceso a la información del PCS. Opinión de los AREP sobre la accesibilidad al PCS, su difusión, cercanía de las oficinas para pedir información y realizar trámites, horarios de atención, entre otros, para solicitar los apoyos. Atención recibida por parte de los operadores del PCS en el INDESOL y en las Delegaciones Federales de la SEDESOL. Oportunidad de respuesta a los trámites de solicitud de apoyo. Opinión sobre los tiempos de entrega de los apoyos. Opinión de los AREP sobre los apoyos obtenidos. La institución evaluadora deberá determinar en qué medida persisten deficiencias señaladas por los beneficiarios en evaluaciones anteriores, analizando si las medidas correctivas propuestas fueron adecuadas y si se implementaron de acuerdo a lo planeado. INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 28 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 4.2.4 CONTRIBUCIÓN DEL PCS A LA CONSTRUCCIÓN Y/O FORTALECIMIENTO DEL CAPITAL SOCIAL En caso de que exista otro estudio que lo permita se actualizarán, mediante información de campo, los siguientes aspectos: ● La generación de una cultura de confianza, corresponsabilidad y reciprocidad en las acciones del PCS que permitan construir y/o fortalecer instancias de trabajo conjunto entre los AREP, el INDESOL y las y los beneficiarios de los proyectos. ● La generación de confianza mediante procesos de cooperación, ayuda mutua y solidaridad en las comunidades y grupos de atendidos por los proyectos. ● El desarrollo de procesos de formación para consensar, asumir y respetar las normas y valores cívicos. ● La promoción de la participación colectiva en la solución de los problemas comunitarios. ● Cumplimiento de los compromisos asumidos por los AREP con la población beneficiaria de los proyectos. ● Participación de las y los beneficiarios en las decisiones sobre la implementación, ejecución y evaluación del proyecto. ● La incidencia de los contenidos del Programa de Capacitación a Distancia en el desarrollo de una cultura institucional entre los servidores públicos, que favorezca la calidad de vida de la población. ● Recuperación de experiencias de asociacionismo, saberes, conocimientos y habilidades, socialmente útiles, de las comunidades y población atendida. ● Integración de los AREP en redes comunitarias y de otros actores sociales. ● Identificar la presencia de prácticas de exclusión y discriminación por parte de los AREP en el desarrollo de los proyectos. INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 29 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 4.2.5 EQUIDAD DE GÉNERO. CONTRIBUCIÓN DEL PCS AL BIENESTAR, LA EQUIDAD, LA IGUALDAD Y LA NO DISCRIMINACIÓN DE LAS MUJERES. Por lo que se refiere al tema de equidad de género, tal y como lo solicita el Instituto, la evaluación profundizará en los siguientes aspectos: ● Identificar y determinar cómo, las Reglas de Operación y Lineamientos Específicos han incorporado las recomendaciones sobre perspectiva de género elaboradas por la Dirección de Seguimiento de Género y de Equidad adscrita al INDESOL. ● Identificar las diferencias en el diseño de las convocatorias específicas de género y el resto de las convocatorias del PCS, en términos de perspectiva de género. ● Identificar y determinar la creación de instancias de atención a las mujeres o grupos de mujeres a partir de los proyectos o estudios apoyados por el PCS. En caso de que exista otro estudio que lo permita se actualizarán, mediante información de campo, los siguientes aspectos: ● Identificar la generación de procesos (de capacitación, atención, etc.) que atiendan las necesidades específicas de las mujeres, a partir de los proyectos o estudios apoyados por el PCS. ● Identificar la percepción de las beneficiarias de las diferentes convocatorias del PCS respecto a: La pertinencia de los contenidos y/o materiales desarrollados por los proyectos (utilidad para satisfacer sus necesidades, oportunidad, accesibilidad y viabilidad). Los conocimientos y habilidades adquiridos y aplicados por las beneficiarias a su entorno social. Cambios en los niveles de participación en procesos de capacitación a partir del desarrollo del proyecto. Cambios en la toma de decisiones a nivel familiar y/o comunitario a partir del desarrollo del proyecto. INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 30 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 ● A partir de lo anterior, se buscará identificar los mecanismos exitosos para el incremento del bienestar, la equidad, la igualdad y la no discriminación de las mujeres 4.2.6 META ANÁLISIS DEL PCS. Se actualizará con datos al 15 de noviembre de 2006 el análisis del Programa realizado a junio de 2006. Este análisis buscará identificar los aspectos donde se ha logrado un entendimiento exhaustivo y coherente del Programa con base en evidencia rigurosa, y las áreas que no han sido exploradas suficientemente o en las que se ha obtenido evidencia mixta de desempeño. Con base en lo anterior, se revisarán las fortalezas, retos y recomendaciones emitidas por los evaluadores de, 2004 y 2005 del Programa y se propondrá una agenda para evaluaciones futuras. Además, se realizará un análisis de la relación entre Convocatorias y las atribuciones y obligaciones del INDESOL 4.2.7 PROFUNDIZACIÓN EN EL TEMA “APORTACIÓN DE LAS ORGANIZACIONES DE LA SOCIEDAD CIVIL” En caso de que exista otro estudio que lo permita, se actualizarán los siguientes aspectos: ● Se actualizará el modelo de medición de Capital Social, definiendo las variables que la integran y los pesos que dichas variables tienen en el modelo. ● Se determinarán mecanismos de causalidad para que el Programa incida en políticas públicas fundamentadas en la importancia del capital social. ● Además se analizarán los siguientes aspectos: Identificar los beneficios otorgados por las OSC en la comunidad a través del proyecto Identificar los beneficios otorgados por las OSC en los beneficiarios a través del proyecto Identificar las aportaciones de las OSC en el capital social de las comunidades INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 31 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 4.3 FUENTES DE INFORMACIÓN Entre las principales fuentes de datos que se han identificado, para propósitos de la evaluación del PCS en el 2006, se encuentran las siguientes: 4.3.1 INFORMACIÓN INSTITUCIONAL Se requerirá información de planeación programática y de ejercicio presupuestal y financiero proporcionado directamente por el Instituto Nacional de Desarrollo Social, así como de otras fuentes nacionales de carácter oficial (SEDESOL, CONAPO, INEGI), y otras relacionadas con la política social en México, entre otros. Los documentos base serán los siguientes: ● Datos administrativos del Programa. ● Documentos del Programa (ROP, Lineamientos Específicos, POAs, MML, entre otros) ● Datos de Marginación de CONAPO ● Ley de Planeación, en sus artículos 3, 4 y 5. ● Plan Nacional de Desarrollo 2001-2006 ● Programa Nacional de Desarrollo Social 2001-2006. Superación de la pobreza: una tarea contigo. En el terreno operativo, a partir de información institucional registrada en sistemas y registros de tipo institucional, se obtendrán datos sobre los apoyos otorgados y su distribución según: vertiente, convocatoria y otros criterios de agrupación seguidos en el PCS. A partir de información registrada en los sistemas de apoyo a la operación financiera y presupuestal y referencias de carácter oficial (SEDESOL, CONAPO, INEGI), se efectuarán algunos análisis de indicadores que dan cuenta de la cobertura alcanzada por el Programa, nivel de cumplimiento de los objetivos generales y particulares (metas programáticas), la distribución de recursos, el ejercicio y la eficiencia del gasto, entre otros. INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 32 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 4.3.2 INFORMACIÓN DE EVALUACIONES ANTERIORES Complementando la información institucional, se recurrirá a documentos de evaluaciones anteriores, que proporcionen información, líneas base de análisis y puntos de vista, los cuales sin duda alguna plantean contribuciones importantes que ayudan a tener una visión ampliada acerca de la operación del Programa. De esta forma se podrán recopilar sugerencias y recomendaciones vertidas con anterioridad y evitar rutas que no contribuyan a la evaluación. En específico, esta revisión de evaluaciones anteriores contribuirá al desarrollo, como parte de la evaluación, de un Meta Análisis del PCS. 4.3.3 INFORMACIÓN DE CAMPO En caso de existir otro estudio que lo permita, se analizarán e incorporarán los resultados de ese estudio en la presente evaluación externa respecto a las percepciones de las diferentes figuras operativas sobre el seguimiento y aplicación de las Reglas de Operación del Programa en sus respectivos ámbitos de influencia, una cobertura especifica en diferentes temas de los Agentes Responsables de la Ejecución de los Proyectos (AREP), además de la percepción respecto del impacto que ha tenido el programa en los beneficiarios. 4.4 PROCESAMIENTO DE INFORMACIÓN Para el caso de las fuentes de información interna, el procesamiento se efectuará con herramientas compatibles con sistemas de información de tipo institucional y/o en hojas de cálculo, tal y como a la fecha se ha proporcionado información. Para el caso de la información de campo, recolectada mediante el desarrollo de un trabajo de campo de alcance nacional consistente en la aplicación de un cuestionario, su procesamiento se efectuará en el paquete estadístico Statistical Package for Social Sciences (SPSS). Se realizará una consulta de la información de origen externa (SEDESOL, CONAPO, INEGI) acerca de los niveles de marginación y otros indicadores de tipo sociodemográfico. INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 33 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 4.5 PRESENTACIÓN DE RESULTADOS Y CONCLUSIONES Y RECOMENDACIONES 4.5.1 PRESENTACIÓN DE RESULTADOS La información presentará resultados a nivel nacional, entidad federativa y municipio, por convocatoria y, en su caso, desagregada por sexo. En cada una de las aseveraciones que se realicen acerca del funcionamiento del Programa, se indicará la fuente de información utilizada (análisis de gabinete, trabajo cualitativo, encuesta representativa, no representativa u otra fuente de información). 4.5.2 CONCLUSIONES Y RECOMENDACIONES Como parte de las conclusiones, se incluirán, entre otros puntos: ● La opinión sobre permanencia, readecuación o conclusión del Programa. ● Las medidas necesarias para subsanar las posibles deficiencias existentes. Tomando en cuenta los resultados encontrados, Covarrubias y Asociados: Actualizará, en caso de ser necesario, las fortalezas y retos del Programa en cada uno de los criterios a evaluar, de acuerdo a los formatos establecidos en los Anexos “B” y “C” de los términos de referencia, en los cuales se especificará cada fortaleza y reto en forma concisa, incluyendo la evidencia empírica que la sustenta e indicando si proviene de un análisis de gabinete, trabajo cualitativo, encuesta representativa, no representativa u otra fuente de información; asimismo, estarán en orden de importancia descendente (de mayor a menor) en cada uno de los componentes antes mencionados. Además, para cada reto se indicará la o las recomendaciones de Covarrubias y Asociados para solventarlo. Las recomendaciones se enfocarán al ámbito de acción y decisión del Programa y estarán cuidadosamente analizadas para garantizar su viabilidad y efectividad para enfrentar el reto. Como parte de este ejercicio, se verificará en qué medida los principales retos identificados en evaluaciones anteriores se han corregido o todavía persisten. INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 34 EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 Enero a Noviembre de 2006 BIBLIOGRAFÍA Adams, Dale y J. D. von Pischke (1992) ‘Microenterprise Credit Programs: Déja Vu’ World Development, vol. 20, No. 10, pp. 1463-1470. Banco Mundial (1990) Informe sobre el desarrollo mundial: la pobreza. Washington, D.C. Blair, John (1991) Urban and Regional Economics, IRWIN. Boston. Denison (1985) Trends in American Growth 1929-1982. The Brookings Institution, Washington, D.C. Johannison, Bengt. y A. Nilsson (1989), “Community Entrepreneurship - Networking for Local Development.” Journal of Entrepreneurship and Regional Development. Vol. 1, No 1, pp 1-19. Plan Nacional de Desarrollo 2001-2006. Poder Ejecutivo Federal. Presidencia de la República. México, 2001. Programa Nacional de Desarrollo Social 2001-2006. Superación de la pobreza: una tarea Contigo. Oportunidad/Capacidad/Seguridad/Patrimonio/Equidad. México, 2001. Polèse, Mario (1998) Economía Urbana y Regional: Introducción a la Relación Entre Territorio y Desarrollo. Libro Universitario Regional. Costa Rica. Robison, L. y S. Hanson (1995) ‘Social Capital and Economic Cooperation’ Journal of Agricultural and Applied Economics, Vol. 27, No. 1, pp. 43-58. Romer, Paul (1986). ‘Increasing returns and long rung growth: Journal of political Economy 94 (1002-1037). Storper, M. (1997) The Regional World: Territorial Development in a Global Economy. Guilford. New York. Weingast, Barry (1995) The Economic Role of Political Institutions. Journal of Law, Economics, and Organization, Vol 11 No 1. INSTITUTO NACIONAL DE DESARROLLO SOCIAL EVALUACIÓN EXTERNA DEL PROGRAMA DE COINVERSIÓN SOCIAL 2006 PRIMER INFORME 35