C E N T R O D E I N V E S T I G A C I O N E S E C O N Ó M I C A S , U.A.N.L. UNIVERSIDAD AUTÓNOMA DE NUEVO LEÓN FACULTAD DE ECONOMÍA CENTRO DE INVESTIGACIONES ECONÓMICAS “EVALUACIÓN DE LOS PROGRAMAS DE LA CONAZA EN EL AÑO 2002” MARZO 2003 Documento Final CONAZA 2002 RESUMEN EJECUTIVO En este documento se presenta una evaluación de los programas de la CONAZA en el año 2002, incluyendo el Programa de Vinculación y Transferencia de Tecnología, el Plan Acuario y el Programa para el Desarrollo de los Habitantes del Semidesierto con base en la información de gabinete proporcionada por la misma institución y la información recabada en campo del 29 de noviembre de 2002 al 4 de enero del 2003. En julio de 2002 los recursos del Programa de Desarrollo para los Habitantes del Semidesierto se reasignaron a los Estados. Por lo tanto, son éstos los encargados de ejercer los recursos siguiendo las bases, principios y normativa establecida por SEDESOL. Los principales objetivos de la evaluación son: medir los beneficios que generan los programas en términos del nivel de vida de la población que atienden, la cobertura y la focalización de los programas, así como la transparencia, eficiencia y el grado con que se cumplen las Reglas de Operación de los programas. Los resultados más importantes del estudio son: (i) que un 20% de las localidades o colonias reportadas como beneficiarias del Plan Acuario no habían recibido agua y aproximadamente un 36% de las obras del Programa para el Desarrollo de los Habitantes del Semidesierto (PDHS) no habían iniciado al momento de hacer la visita de campo, (ii) que se destina una proporción muy baja de recursos a los municipios considerados con alta o muy alta marginación por CONAPO, situación que no es consistente con el grado de prioridad que se supone deben tener, (iii) que la mayor parte de las obras reportadas como existentes en la visita de campo no habían sido terminadas o estaban recién concluidas debido al retrazo de los recursos, (iv) que la mayor parte de los expedientes técnicos cuenta con los documentos requeridos, aunque por lo general se omiten las fechas de inicio y terminación de obras por razones obvias, (v) los índices que se emplean para medir la eficiencia y transparencia con que operan los programas de la CONAZA se incrementaron de 0.43 en el año 2001 a 0.58 en el año 2002 y de 0.94 en el año 2001 a 0.98 en el año 2002, respectivamente, (vi) la CONAZA ha reorientado su inversión destinando mayores recursos hacia los proyectos productivos en detrimento de los recursos destinados para infraestructura social básica, (vii) sería recomendable que se haga la evaluación de los programas una vez que las obras hayan concluido y haya Documento Final CONAZA 2002 transcurrido el tiempo suficiente como para notar algún impacto sobre el bienestar de la población atendida, (viii) hacer un diseño de muestreo en donde se considere la estratificación por Estado y programa, para que sea posible obtener resultados científicamente válidos para cada programa, línea de acción y Estado, (ix) se sugiere que, al momento de asignar la evaluación a la institución responsable, sea la institución contratante (SEDESOL) quien proporcione de manera directa y expedita toda la información y documentación requerida para la adecuada evaluación de los programas. Documento Final CONAZA 2002 INDICE Capítulo I Las Bases de la Evaluación 1.1 Objetivos de la evaluación 1.2 Las fuentes de información 1.3 Metodología de la evaluación 1.3.1 Proceso de muestreo de los programas 1.3.1.1 Plan Acuario 1.3.1.2 Programa para el Desarrollo de los Habitantes del Semidesierto Capítulo II Evaluación de la Operación de los Programas 2.1 Descripción operativa 2.1.1 Operación del Plan Acuario 2.1.2 Operación del Programa para el Desarrollo de los Habitantes del Semidesierto 2.1.3 Operación del Programa de Vinculación Científica y Transferencia de Tecnología 2.2 Grado de satisfacción 2.3 Cobertura y focalización 2.4 Evaluación del proceso de operación 2.4.1 Proceso de solicitud de la obra 2.4.2 Apego de los expedientes técnicos a la mecánica de operación 2.4.3 Revisión en campo de la eficacia 2.4.4 Eficiencia 2.4.5 Transparencia 2.5 Resultados de las entrevistas a delegados Capítulo III Evaluación de inversión 3.1 Evaluación de los beneficiarios 3.2 Beneficios económicos y sociales 3.2.1 Beneficios sociales 3.2.2 Beneficios económicos: análisis costo-beneficio 3.3 Comparación estructural de la inversión 3.4 Pertinencia de los Programas Capítulo IV Programa Plan Acuario 4.1 Descripción 4.2 Resultados de la evaluación de gabinete 4.3 Grado de satisfacción 1 1 2 3 3 4 6 6 7 7 8 10 16 17 20 22 23 26 29 30 30 43 44 50 52 55 57 58 60 Documento Final CONAZA 2002 Capítulo V Programa de Vinculación Científica y Transferencia de Tecnología 5.1 Descripción 5.2 Evaluación de los procesos de operación 5.3 Encuestas a las instituciones asociadas 62 63 65 Capítulo VI Cumplimiento de recomendaciones y escenario prospectivo 6.1 Cumplimiento de recomendaciones 6.2 Escenario prospectivo 66 67 Conclusiones y recomendaciones Consideraciones sobre el diseño de muestreo 68 71 ANEXOS Documento Final CONAZA 2002 CAPÍTULO I LAS BASES DE LA EVALUACIÓN 1.1. Objetivos de la evaluación Realizar la evaluación de resultados de los programas de la CONAZA, a través de metodologías y procedimientos que analicen su impacto, eficiencia, eficacia, costo, beneficio, calidad, distribución equitativa y transparente de los recursos asignados con el propósito de mejorar sus acciones y garantizar la confiabilidad del cumplimiento de los objetivos de los programas en ejecución. 1.2. Las fuentes de información • El Sector Alimentario en México, INEGI (1999). • Evaluación de los Programas de la Comisión Nacional de la Zonas Áridas, 2001, Nuevo León, Facultad de Economía, UANL. • Evaluación del programa “Establecimiento de Praderas, 1998, Nuevo León” Facultad de Agronomía, UANL. • “Evaluación de los programas de pastoral social de la Iglesia Católica de Monterrey, N.L.: contribución al alivio de la pobreza”. José de Jesús Salazar Cantú. Facultad de Economía, UANL, División de Estudios Superiores. Noviembre de 1999. • Índices de Marginación 2000, Indicadores sociodemográficos. Consejo Nacional de Población en: http://www.conapo.gob.mx • Manual de procedimientos aplicables a los programas y obra pública de la CONAZA. • Convenio de coordinación y asignación de recursos. • Decreto de presupuesto de la Federación 2002. • Información de campo levantada por la Universidad Autónoma de Nuevo León en Diciembre 2002 y Enero del 2003. • Página electrónica de la Comisión Nacional de las Zonas Áridas en: http://www.conaza.gob.mx • Reglas de Operación de la CONAZA (2002). • Informes del Plan Acuario 2002. 1 Documento Final CONAZA 2002 • Expedientes Técnicos de los proyectos de la CONAZA 2002. • Manual de Procedimientos Aplicables a los Programas y Obra Pública de la CONAZA, Mayo de 2002. 1.3. Metodología de la evaluación Por medio de una encuesta dirigida a los beneficiarios de las obras, se busca obtener la información necesaria para realizar la evaluación. El cuestionario consta de dos partes; una de carácter general que se emplea para obtener los datos requeridos en el cálculo de los índices de marginación y otra de carácter específico, adecuada para cada línea de acción, que se utiliza para medir el impacto que pueden tener las distintas obras realizadas dentro del Programa de Desarrollo para los Habitantes del Semidesierto sobre el ingresos de los beneficiarios y su nivel de marginación. Ver cuestionarios en el Anexo V. El índice de marginación total esta compuesto por cuatro indicadores que se construyeron para medir el bienestar de la población en aspectos específicos como la alimentación, el acceso al agua, la calidad de la vivienda, la educación, el ingreso y la riqueza. Estos cuatro aspectos fueron considerados e incorporados en el proceso de diseño de la primera parte de la encuesta. Ver Anexo I para la explicación detallada sobre la construcción de los índices. Es importante notar que la primera parte del cuestionario permite conocer las condiciones generales de vida en la comunidad. En contraste, la segunda parte del cuestionario se dirige a la medición de los cambios en el nivel de vida de la comunidad que los beneficiarios atribuyen de manera directa a la obra. De esta forma, en principio es posible entonces hacer una estimación del impacto de los cambios citados sobre los ingresos, la riqueza e incluso los índices de marginación, independientemente de que se cuente con un grupo de comunidades en donde no existen obras, que se usó como grupo de control. Es necesario aclarar que el diseño de muestreo proporcionado por la empresa García-Berumen no consideró el uso de grupos de control. La evaluación del Programa Plan Acuario se realiza de manera similar, considerando un cuestionario sobre los aspectos generales que miden el nivel de marginación de la comunidad y otro 2 Documento Final CONAZA 2002 encaminado a la medición del impacto del programa y el grado de satisfacción de los beneficiarios. Ver cuestionarios en el anexo V. Por su naturaleza, los proyectos de vinculación y transferencia de tecnología no tienen delimitados con claridad un número específico de beneficiarios y el cumplimiento de sus objetivos requiere el transcurso de varios años para medir el impacto de la adopción de tecnología. En consecuencia, el Programa de Vinculación y Transferencia de Tecnología es evaluado mediante la supervisión de los expedientes y entrevistas a los encargados de los proyectos; debido a que el total de proyectos es de 50, se hará una revisión completa de este universo. 1.3.1. Proceso de muestreo de los programas Para cumplir con las reglas para la evaluación externa, la metodología del proceso de muestreo fue diseñada por la empresa de consultoría García-Berumen. Esta empresa desarrolló la metodología que a continuación se describe para cada uno de los programas. 1.3.1.1 Plan Acuario (PA) El marco de muestreo se conformó con la totalidad de municipios y localidades en que opera el programa acuario, conociendo en cada uno de ellos el número de beneficiarios del programa, que asciende a alrededor de 623,000.1 La muestra se seleccionó a través de un esquema probabilístico. En la primera etapa de muestreo se seleccionaron 15 municipios con probabilidad proporcional al número de beneficiarios, ordenando el universo por entidad y número de beneficiarios de cada uno de los municipios. En cada uno de los 15 municipios seleccionados en la muestra se seleccionaron 2 localidades con probabilidad proporcional al número de beneficiarios en cada una de ellas. 1 Según la empresa de consultoría García-Berumen, aunque de acuerdo con los reportes de SEDENA del 2002 solamente se atendió a 356,197 habitantes. 3 Documento Final CONAZA 2002 Para cada localidad en muestra se deberá hacer una selección sistemática de 15 beneficiarios con un esquema aleatorio con lo que se obtendrían 450 entrevistas. La probabilidad de selección de cualquier beneficiario, Pb, esta dada por: Pb = 15Ci 2Cij 15 450 ∗ * = C Ci Cij C donde, C: es el total de beneficiarios en la totalidad de municipios en el programa Ci: es el total de beneficiarios en el i-ésimo municipio Cij: es el total de beneficiarios en la j-ésima localidad del i-ésimo municipio lo que produce un diseño de muestra autoponderada de beneficiarios. 1.3.1.2 Programa para el Desarrollo de los Habitantes del Semidesierto (PDHS) El marco de muestreo se conformó con la información de 16 entidades en las que opera el programa.2 En la siguiente tabla 1.3.1.2.1 se detalla el número de proyectos, acciones, municipios, localidades y beneficiarios. Este marco de muestreo permite la selección de la primera etapa de muestreo de entidades a través de un esquema probabilístico. En esta etapa de muestreo se seleccionaron 10 entidades con probabilidad proporcional al número de beneficiarios a que atiende cada una de ellas. En la segunda etapa se deberá seleccionar un municipio en cada uno de los 10 Estados en la muestra con probabilidad proporcional al número de beneficiarios, y en cada municipio se seleccionarán con el mismo criterio dos localidades. 2 El marco muestral proporcionado no consideró que para el 2002, Guanajuato, Querétaro y Tlaxcala, ya no eran entidades susceptibles de apoyo del PDHS y en cambio excluyó a Baja California Norte que se incorporó en este año. 4 Documento Final Clave 1 3 5 8 10 11 13 15 19 20 22 24 26 28 29 32 CONAZA 2002 Tabla 1.3.1.2.1 Marco Muestral para el PDHS Nombre Proyectos Acciones Municipios Localidades Beneficiarios Aguascalientes 4 8 9 68 8,785 Baja California Sur 1 1 5 27 8,837 Coahuila 4 12 12 51 5,788 Chihuahua 3 9 18 34 5,002 Durango 4 11 9 43 12,475 Guanajuato 1 1 5 30 3,923 Hidalgo 4 10 15 24 8,807 México 4 13 16 31 15,666 Nuevo León 3 12 5 31 3,591 Oaxaca 4 10 42 72 6,774 Querétaro 1 1 7 30 6,777 San Luis Potosí 4 8 12 22 3,874 Sonora 1 1 6 28 14,280 Tamaulipas 4 10 9 44 5,245 Tlaxcala 1 1 8 17 1,240 Zacatecas 4 14 20 87 8,714 Total 47 122 198 639 119,778 Fuente: García-Berumen, Octubre del 2002 En cada una de las 20 localidades seleccionadas en la muestra se deben hacer 25 entrevistas a beneficiarios seleccionados mediante un esquema aleatorio a partir de listados o registros de beneficiarios que se tengan a nivel local. La probabilidad de selección de cualquier beneficiario, Pb, esta dada por: Pb = 10Ci 1Cij 2C ijk 25 500 ∗ = * * C Ci Cij Cijk C donde, C: es el total de beneficiarios en el marco de muestreo Ci: es el total de beneficiarios en el i-ésimo Estado Cij: es el total de beneficiarios en el j-ésimo municipio del i-ésimo Estado Cijk: es el total de beneficiarios en la k-ésima localidad del j-ésimo municipio en el i-ésimo estado lo que produce un diseño de muestra autoponderada de beneficiarios. 5 Documento Final CONAZA 2002 CAPÍTULO II EVALUACIÓN DE LA OPERACIÓN DE LOS PROGRAMAS 2.1 Descripción operativa Para realizar la evaluación se utilizaron los expedientes técnicos de las obras seleccionadas mediante la metodología de muestreo que se indicó en el capítulo anterior. Se tomaron las 19 obras resultantes del diseño de muestreo elaborado por García-Berumen pero solamente se nos proporcionaron 15 de los expedientes correspondientes, a los cuales se agregan los expedientes de 12 reemplazos3, que se revisaron para verificar que fueron llenados conforme lo indican las Reglas de Operación. En los términos de referencia para la evaluación externa de los programas de la CONAZA, se especifica que esta dependencia atiende prioritariamente a las comunidades rurales de las zonas áridas y semiáridas del país que viven en pobreza extrema. En particular, los estados que se encuentran dentro de la cobertura de CONAZA son: Aguascalientes, Baja California, Baja California Sur, Coahuila, Chihuahua, Durango, Hidalgo, Estado de México, Nuevo León, Oaxaca, Sonora, San Luis Potosí, Tamaulipas y Zacatecas. A excepción de los estados de Baja California y México, la CONAZA en coordinación con la Secretaría de la Defensa Nacional atiende con acciones del Plan Acuario a la población en condiciones de pobreza extrema de las comunidades rurales de las zonas áridas y semiáridas de los Estados anteriormente mencionados, además de Guanajuato, Querétaro y Tlaxcala. La atención consiste en abastecer de agua para uso humano en forma gratuita, mediante camiones cisterna, a las comunidades que carecen de fuentes permanentes de abastecimiento de agua. 2.1.1 Operación del Plan Acuario En la página 15 del Diario Oficial de la Federación, con fecha 3 de julio de 2002, se publica la mecánica de operación del Plan Acuario. A continuación se transcriben: “La CONAZA proporciona los recursos financieros a cada Delegación Regional, de acuerdo a la Solicitud de requerimientos que envían las zonas militares de cada Entidad Federativa correspondiente, a fin de que estos 3 Sólo se incluyen 14 obras como reemplazo debido que en Baja California sólo se realizó una obra hasta julio de 2002. 6 Documento Final CONAZA 2002 recursos sean destinados al mantenimiento preventivo y correctivo de los camiones cisterna del Programa. En las zonas militares donde no exista representación de la CONAZA, el recurso financiero se canalizará directamente a éstas, con base en la petición realizada a la CONAZA. Cada zona militar que opera los camiones cisterna se encargará de distribuir el agua a las comunidades rurales seleccionadas para ser beneficiadas, aportando el combustible, lubricantes y operadores.” 2.1.2 Operación del PDHS En el año 2002, los Gobiernos de los Estados, bajo la supervisión de la CONAZA, son los encargados de ejecutar las obras del Programa de Desarrollo para los Habitantes del Semidesierto, así como de elaborar las propuestas y los expedientes técnicos correspondientes. La CONAZA se encarga entonces de revisar la documentación y validarla para que se liberen los recursos financieros y posteriormente verificar que se cumpla con la ejecución de las obras de acuerdo con el convenio de reasignación de fondos de la CONAZA suscrito en julio de 2002 y de las Reglas de Operación establecidas en el Diario Oficial publicadas el 3 de julio de 2002. En la página 13 del Diario Oficial de la Federación, con fecha 3 de julio de 2002, se establece el contenido mínimo de los expedientes técnicos de las obras, acciones y proyectos autorizados para el PDHS. La participación de los habitantes de la localidad con alguna obra o proyecto del PHSD inicia con la formación de un comité Pro-Obra, considerado en las Reglas de Operación como una obligación de los beneficiarios, integrado por un grupo de habitantes de la comunidad. Este comité establece la forma en que la comunidad realiza su aportación al proyecto, que generalmente consiste en mano de obra y materiales de construcción. Adicionalmente, se encarga de supervisar la ejecución de la obra. 2.1.3 Operación Programa de Vinculación Científica y Transferencia de Tecnología (PVCYTT) En el Diario Oficial de la Federación, referido anteriormente, se publica la mecánica de operación del Programa de Vinculación Científica y Transferencia de Tecnología. Que establece lo siguiente: 7 Documento Final CONAZA 2002 Con base en los proyecto de investigación y de transferencia de tecnología que hayan sido autorizados, de acuerdo a lo establecido en el Manual de Procedimientos Aplicables a los Programas y Obra Pública de la CONAZA, se iniciará el proceso de formalización referido. Las instituciones asociadas serán las encargadas de llevar a cabo los proyectos, apegándose a los Convenios Generales y Acuerdos Específicos de Colaboración Científica y Tecnológica, así como a los expedientes técnicos a que se refiere el Manual antes citado. La CONAZA supervisará el cumplimiento de la ejecución de los proyectos del Programa, de acuerdo a los lineamientos establecidos en dicho Manual, con lo cual se integrarán los informes sobre el cumplimiento de las metas establecidas y del avance presupuestal, que la CONAZA presenta a las diversas instancias que en el cumplimientos de sus funciones, así lo solicitan. 2.2 Grado de satisfacción El grado de satisfacción de los beneficiaros se puede medir tanto de manera objetiva como subjetiva. En el primer caso, se trata de establecer la contribución que tienen los programas para mejorar el nivel de vida de la población, calculando los cambios que generan en los índices de alimentación, vivienda, educación y acceso al agua de los beneficiarios. En el segundo caso, se solicita a los beneficiarios de una opinión explícita sobre el apoyo que recibieron, otorgándole una calificación a elegir entre: Muy bueno, Bueno, Regular, Malo y Muy malo. Con relación al Plan Acuario se incluyeron preguntas en la encuesta para estimar el cambio en el nivel de vida y de las 373 entrevistas se obtuvieron 197 respuestas válidas para la pregunta “¿Su ingreso económico cambió por el programa?” de las cuales sólo 7 respondieron afirmativamente y de éstas sólo una cuantificó el cambio. El Programa DHS fue operado por los Estados y dada la falta de capacitación para inegrar expedientes se retrazó el inicio de obras, por lo tanto al momento de realizar el trabajo de campo nos encontramos que las obras en el mejor de los casos recién habían sido concluidas o estaban por concluirse o no se habían iniciado. Por esta razón no fue posible que los entrevistados respondieran 8 Documento Final CONAZA 2002 las preguntas relacionadas al primer indicador del grado de satisfacción; sin embargo el segundo método si se aplicó. Para el Programa de Vinculación Científica y Transferencia de Tecnología no se obtuvieron los indicadores de satisfacción ya que no se realizaron encuestas a beneficiarios (ver capítulo I). Dentro de la encuesta de trabajo de campo, se incluye una sección que permite captar el cambio percibido en los beneficios y la opinión de los beneficiarios respecto al programa. En el siguiente cuadro se presentan los resultados generales para cada uno de los programas: Plan Acuario (PA) y Programa para el Desarrollo de los Habitantes del Semidesierto (DHS). Tabla 2.2.1 Calificación por tipo de programa ¿Cómo calificaría el programa? Desarrollo para los Frecuencia Habitantes del % Semidesierto Plan Acuario Frecuencia % Muy malo Malo Regular Bueno Muy bueno Total 11 2 27 70 18 128 8.59 1.56 21.09 54.68 14.06 100 2 15 58 150 38 263 0.76 5.7 22.05 57.03 14.44 100 Fuente: Cálculos propios con información recabada de las encuestas del 2002 Podemos mencionar que los beneficiados por algún programa de la CONAZA o del Plan Acuario están satisfechos con los programas ya que en ambos casos las respuestas Bueno y Muy bueno suman más del 68 % de los beneficiarios. Es importante notar que únicamente 128 (28.26%) de los 453 beneficiarios entrevistados del Programa DHS contestaron la pregunta, en tanto que sólo 263 (70.51%) de los 373 beneficiarios entrevistados del Plan Acuario hicieron lo propio. Además de la calificación otorgada por los beneficiarios, factores como la atención que reciben de los funcionarios es importante para determinar el grado de satisfacción. En el siguiente cuadro se presentan los resultados correspondientes a la pregunta “¿Cuál fue el trato que recibieron de CONAZA/SEDENA? 9 Documento Final CONAZA 2002 Tabla 2.2.2 Opinión de los beneficiarios del trato recibido ¿Cuál fue el trato que recibieron Muy malo Malo Regular Bueno Muy bueno Total de... ¿ Desarrollo para los Frecuencia Habitantes del % Semidesierto 2 4 24 66 11 107 1.86 3.73 22.42 61.68 10.28 100 2 10 46 153 34 245 0.81 4.08 18.77 62.44 13.87 100 (CONAZA) Plan Acuario Frecuencia (SEDENA) % Fuente: Cálculos propios con información recabada de las encuestas del 2002 En ambos programas más del 70% de los entrevistados otorgaron calificaciones satisfactorias. En este caso sólo respondieron 107 (23.6%) beneficiarios del DHS y 245 (65.6%) del Plan Acuario. Es importante hacer notar que debido a la poca respuesta de los entrevistados (la no respuesta), no es posible presentar resultados confiables para niveles más desagregados como localidades, municipios, líneas de acción o estados. 2.3 Cobertura y focalización De acuerdo con el Cierre del ejercicio del 2002 la población atendida por la CONAZA asciende a 360,896 personas. Esta cifra supera en más de un 200% a la cifra correspondiente en el año anterior. Cabe aclarar que el número de beneficiarios presentado en los expedientes técnicos de las obras pocas veces coincide con el número real; esto sucede porque la cifra del expediente es generalmente la población total de la localidad de acuerdo con el XII Censo General de Población y Vivienda 2000, mientras que el número real de beneficiarios es el mencionado por los entrevistados que viven en la localidad el día en que se llevó a cabo la entrevista. 2.3.1. Plan Acuario Como resultado de la evaluación del año 2000, llevada a cabo en el año 2001, la CONAZA atendiendo las recomendaciones señaladas resolvió depurar el listado de beneficiarios de sus 10 Documento Final CONAZA 2002 programas, entre ellos el Plan Acuario. De esta depuración resultó un padrón de beneficiarios que es 57.2% del correspondiente al año 2001. De acuerdo con los criterios de elegibilidad para las comunidades susceptibles de atención del Plan Acuario señalados en las Reglas de Operación, la cobertura de este programa en el año 2002 sería de 100% por definición, con lo cual obviamente no importa el nivel de desagregación considerado. No obstante, en este programa el universo no se encuentra delimitado de manera clara y objetiva. Ver página 14 del Diario Oficial de la Federación con fecha 3 de julio de 2002. Se recomienda establecer criterios claros, precisos y objetivos para determinar el universo de atención de este programa. Es pertinente aclarar que el Plan Acuario brinda atención también en colonias marginadas ubicadas en las zonas urbanas, para las cuales el único índice de marginación existente es el correspondiente al municipio. Generalmente, estas colonias se encuentran por arriba de la media. Esta situación incorpora un sesgo en el cálculo de la focalización. Tabla 2.3.1.1 Focalización del Plan Acuario Grado de marginación Población atendida por grado de marginación MUY ALTO ALTO MEDIO BAJO MUY BAJO 0.10% 22.74% 18.97% 8.66% 49.53% Fuente: Cálculos propios con información de CONAPO 2000 y Plan Acuario 2002 De acuerdo con estos resultados, se puede ver que el 77% de la población atendida por el Plan Acuario se encuentra en niveles de marginación media, baja y muy baja. Esto índica una focalización inadecuada del programa. 11 Documento Final CONAZA 2002 2.3.2. Programa de Desarrollo para los Habitantes del Semidesierto La discrepancia entre la información, en cuanto a la población beneficiada, proporcionada por el Cierre del ejercicio 2002, los expedientes técnicos y los datos proporcionados por los entrevistados nos impide generar un diagnóstico certero acerca de la cobertura comprobada con el trabajo de campo. Por este motivo se utilizaron varias medidas para determinar la cobertura. Es pertinente mencionar que las estimaciones de cobertura sólo consideran aquellas localidades donde efectivamente existía obra realizada o en proceso. Tabla 2.3.1 Datos para la estimación de cobertura del PDHS, considerando las 7 localidades en la muestra con obra. (1) Población atendida según expedientes 1,122 (2) Población atendida según Cierre 2002 2,379 (3) Población atendida según expedientes y trabajo de campo 948 (4) Población atendida según Cierre 2002 y trabajo de campo 1,269 Fuente: Expedientes del 2002 e información Cierre 2002 En la tabla 2.3.1 se presenta la información que se utilizó para realizar las estimaciones de cobertura; la primera columna es la suma de la población atendida según los expedientes técnicos. La segunda columna incluye la suma de los beneficiarios reportados por el Cierre del 2002 del DHS. La tercer columna está construida con las respuestas a la pregunta “¿Cuántas personas fueron beneficiadas?”, en el caso donde la respuesta fue “Todos los habitantes” se sustituyeron por el dato presentado en los expedientes técnicos. La última columna está calculada de manera similar a la columna tres pero cuando los entrevistados respondieron “Todos los habitantes” se sustituyó con la información presentada por el Cierre 2002. Tabla 2.3.2 Estimaciones de cobertura promedio por localidad para el PDHS Cobertura 1 Cobertura 2 (Columna 3/Columna 1) x 100 (Columna 4/Columna 2) x 100 84.49% 53.34% Fuente: Cálculos propios 12 Documento Final CONAZA 2002 La tabla 2.3.2 presenta los resultados acerca de la cobertura promedio por localidad, un detalle que no puede pasar desapercibido es la diferencia que existe entre estos valores; basados en la evaluación realizada para la CONAZA en 2000 el resultados correspondiente a Cobertura 2 (53.34%) es el más creíble. No fue posible estimar la cobertura a nivel de entidad federativa debido a la carencia de observaciones. Las dos razones por las cuales no se cuenta con observaciones suficientes para hacer un análisis más detallado son: primero, que el diseño de muestreo que se nos proporcionó no consideró la estratificación por entidad federativa y menos por municipio, y segundo, en muchas localidades no se encontró obra y por lo tanto no se puede decir que existen beneficiarios en términos reales. Sin embargo, con el propósito de complementar este análisis, se calculó la cobertura con base en la información de gabinete correspondiente al Cierre del Ejercicio 2002 y el Universo de acción de la CONAZA tal como se define en las Reglas de Operación. Estos cálculos se presentan en la tabla 2.3.3. Es pertinente aclarar que la información contenida en esta tabla no se corroboró en campo. Sin embargo, con base en la cobertura promedio por localidad (53.34%) se puede calcular una cobertura estimada, misma que se presenta en la última columna de la tabla 2.3.3. Tabla 2.3.3 Cálculo de cobertura por Entidad Federativa para el PDHS Cobertura Cobertura Universo Estado Cierre 2002 Estimada (beneficiarios) (beneficiarios) % % 1. Aguascalientes 25,107 178,995 14.0 7.5 2. Baja California Norte 50,000 202,869 24.6 13.1 3. Baja California Sur 3,606 68,989 5.2 2.8 4. Chihuahua 20,958 312,837 6.7 3.6 5. Coahuila 13,355 233,515 5.7 3.1 6. Durango 8,812 234,966 3.8 2.0 7. Estado de México 173,351 277,335 62.5 33.3 8. Hidalgo 60,385 586,658 10.3 5.5 9. Nuevo León 7,980 223,668 3.6 1.9 10. Oaxaca 30,395 475,639 6.4 3.4 11. San Luis Potosí 21,457 406,413 5.3 2.8 12. Sonora 22,176 306,955 7.2 3.9 13. Tamaulipas 4,332 203,117 2.1 1.1 14. Zacatecas 9,581 490,942 2.0 1.0 Nacional 451,495 4,202,898 10.7 5.7 Fuente: Cálculos propios con información de las Reglas de Operación y del Cierre 2002 13 Documento Final CONAZA 2002 Se estima que en el año 2001 la cobertura de las programas de CONAZA, PNI y PAZA, fue de 3.5% en el año 2001. Por lo tanto, la cobertura se incrementó casi en un 100%, aún y cuando se compara la población que se estima realmente fue atendida en el año 2002 contra la población reportada en los documentos revisados en gabinete en el año 2001. No se realizó una estimación de la cobertura a nivel más desagregado para el año 2001. Con la información de gabinete se verificó que las comunidades apoyadas por el PDHS se encuentren dentro de los parámetros de elegibilidad. También se encontró que en este año el 33.4% de los recursos se destinó a atender comunidades con alta o muy alta marginación. En comparación con los resultados del 2000, el porcentaje de la inversión destinado a comunidades con alta o muy alta marginación se redujo. Tabla 2.3.3 Distribución de la Población y de la inversión por grado de marginación para el total de los municipios atendidos por PDHS Grado de Distribución de la población Distribución de la inversión Marginación total (%) ejercida en el 2002 (%) Muy bajo 64.94 15.02 Bajo 13.95 20.66 Medio 7.44 30.92 Alto 10.16 31.12 Muy alto 3.51 2.28 Fuente: Cálculos propios con información de la CONAPO La tabla anterior presenta evidencia de que la distribución de los gastos de inversión en el 2002 no son consistentes con el grado de marginación de los estados atendidos. La población de Muy Alta marginación sólo recibe un 2.28% de la inversión ejercida. Si bien, en principio es posible emplear los índices de marginación resultantes de la información recabada mediante la encuesta en campo para medir la focalización del programa, esto tendría una serie de inconvenientes. En primer lugar, se tendría que hacer una clasificación arbitraria del grado de marginación que se atribuye a las localidades. En consecuencia, la focalización del programa podría ser mejor o peor que la obtenida al emplear los índices de CONAPO dependiendo del criterio empleado para definir el grado de marginación. Cualquier resultado que se obtenga sería controversial. En segundo lugar, en este estudio solamente se calcula índices de marginación para 14 Documento Final CONAZA 2002 las localidades muestreadas y no para el universo de acción de la CONAZA. De cualquier forma tendrían que ser los índices de CONAPO los que se usen como referencia para clasificar las localidades de acuerdo con su grado de marginación y establecer que localidades merecen atención prioritaria. 2.3.3. Programa de Vinculación Científica y Transferencia de Tecnología El programa es de reciente creación, se inició en el año 2000 con 3 proyectos, al año siguiente se ejecutaron 14 proyectos y para el año 2002 se alcanzaron 50 proyectos. La aportación de la CONAZA en este programa fue de $5,645,000.00 pesos en el año 2002,4 cifra que representa aproximadamente 4.9% de la inversión total de la CONAZA en el mismo año. Si se considera el universo de acción de la CONAZA, la cobertura del programa que atendió a 7,160 beneficiarios sería 0.15%. Esta cifra es exigua a nivel nacional y no puede variar de manera importante a nivel de entidad federativa o para el promedio de las localidades, solamente sería relevante en las pocas localidades que recibieron atención de este programa. Es importante resaltar que dadas las características de este programa, que busca dar solución definitiva a problemas específicos de las comunidades generando conocimientos y tecnologías que una vez probadas exitosamente pueden ser replicadas en mayor escala, no parece adecuado evaluarlo bajo los mismos criterios que se emplean al evaluar los otros programas. La investigación es un bien público,5 una vez que se desarrolla un producto de investigación los costos de provisión adicional son relativamente bajos. En cuanto a la focalización de los recursos aplicados dentro del programa se puede observar en la tabla 2.3.3.1 que solamente el 45% de éstos se aplica de acuerdo con el criterio de elegibilidad de las comunidades establecido en las Reglas de Operación de la CONAZA. A pesar de este resultado, en comparación con el PDHS y el PA este programa tiene mejores medidas de focalización. 4 Las instituciones asociadas aportan aproximadamente una cantidad igual a la aportada por la CONAZA. Se entiende que los bienes públicos son aquellos en donde no existe rivalidad en el consumo y el costo de exclusión es muy alto. 5 15 Documento Final CONAZA 2002 Tabla 2.3.3.1 Focalización del Programa de Vinculación Científica y Transferencia de Tecnología Grado de marginación Distribución de recursos por grado de marginación % MUY ALTO ALTO MEDIO BAJO MUY BAJO 0.11 44.64 17.92 19.19 18.13 Fuente: Cálculos propios con información de CONAPO 2000 y PVCYTT 2002 Vale la pena aclarar que en algunos proyectos del programa no fue posible establecer el municipio beneficiado. Por citar un par de ejemplos, los proyectos: Edición de la Monografía “La Conquista del Desierto” y “Publicación de Escenarios Climatológicos”. 2.4. Evaluación del cumplimiento de las Reglas de Operación Es conveniente aclarar que no es posible hacer una evaluación del Plan Acuario en estos términos, ya que simplemente no existen expedientes sobre la operación de este programa. En las Reglas de Operación no se señala de manera explicita que la integración de expedientes sea un requisito. Por la naturaleza de este programa, solamente se hacen informes sobre los resultados en donde se concentran datos sobre la población atendida, metros cúbicos de agua distribuidos, etc. La operación de los programas de CONAZA se realiza siguiendo ciertos procesos, los cuales serán evaluados con base en una serie de índices que fueron construidos en el año 2001 y modificados de acuerdo con las necesidades del presente estudio. Estos índices se refieren al proceso de solicitud (ISO), a la veracidad (IVER), a la realización de obra (IRO) y a la evaluación de la solicitud de la obra (IES). Al evaluar estos procesos, se pretende hacer lo propio con la eficiencia, la transparencia y el apego a las Reglas de Operación que caracterizan a los programas. Las modificaciones a los índices, que tuvieron que hacerse en el presente estudio, se debieron expresamente a limitantes de información en los expedientes. No se recomienda hacer modificaciones sustanciales a estos índices con el propósito de mantener la comparabilidad con estudios anteriores y futuros. Sin embargo, es 16 Documento Final CONAZA 2002 conveniente construir índices adicionales que complementen a los presentes, siempre y cuando la información lo permita. Es preciso recordar que la muestra considerada para el PDHS fue de 19 localidades (2 localidades para cada uno de los 10 Estados, exceptuando Baja California donde sólo se atendió a una localidad), al momento de calcular algunos índices se empleó también la información contenida en los expedientes técnicos correspondientes a los 15 reemplazos seleccionados de manera aleatoria. Se solicitó entonces un total de 34 expedientes, de los cuales 7 no fueron proporcionados, 4 correspondientes a la muestra original y 3 a los reemplazos. Por tanto, se empleó la información contenida en 27 expedientes técnicos. Para el Programa de Vinculación Científica y Transferencia de Tecnología se revisaron los expedientes técnicos y los convenios generales de colaboración, para verificar que cumplieran con lo estipulado en el Manual de Procedimientos Aplicables a los Programas y Obra Pública de la CONAZA, los resultados se presentan en la sección 5.2. 2.4.1 Proceso de solicitud de la obra En la página 11 del Diario Oficial de la Federación, con fecha 3 de julio de 2002, se especifica la forma en que deben presentarse las solicitudes para los PDHS. De acuerdo con la metodología empleada en el año 2000, el proceso de solicitud se evalúa tomando en cuenta tres aspectos: la diferencia entre la fecha de firma del acta de solicitud y la fecha programada de inicio de la obra, la razón de expedientes con acta de solicitud fechada y expedientes técnicos, y el porcentaje de solicitudes que son iniciativa de los beneficiarios. En el año 2000, mediante entrevistas con los delegados, se obtuvo el porcentaje de solicitudes que son iniciativa de los beneficiarios. Este índice se modificó para la presente evaluación debido a que ahora los Estados son quienes ejercen los recursos y en la mayoría de los casos reciben las solicitudes de la obras a través de diversas instituciones. Por lo tanto, es difícil establecer de quien fue la iniciativa de presentar una solicitud. 17 Documento Final CONAZA 2002 El índice sobre el proceso de solicitud (ISO) es un promedio aritmético construido con base en dos índices, cada uno de los cuales corresponde a uno de los aspectos que si se pueden considerar en la presente evaluación. El índice correspondiente al primer aspecto de la evaluación se obtiene de la siguiente manera: primero, se define la variable DIFij= diferencia, en meses, que existe entre la fecha del acta de solicitud de la obra i y la fecha del acta de inicio de la obra i que se efectuó en el estado j. Enseguida, se construye la función discreta Aij (DIFij) que se presenta a continuación: 1 0.75 Aij ( DIFij ) = 0.50 0.25 0 si si si si si DIFij ≤ 2 meses 2 < DIFij ≤ 5 meses 5 < DIFij ≤ 8 meses 8 < DIFij ≤ 12 meses DIFij > 12 meses entonces, el índice correspondiente al parámetro I para el Estado j es: nj ÍndiceISO 1 j = ∑A ij i =1 nj donde nj es el número de expedientes técnicos revisados del Estado j. La elaboración del índice correspondiente al otro aspecto requiere la definición de la siguiente variable: 1 Bij = 0 si si el expediente técnico tiene acta de solicitud fechada el expediente técnico no tiene acta de solicitud fechada Entonces, el índice para el estado j es 18 Documento Final CONAZA 2002 nj ∑B ij ÍndiceISO 2 j = i =1 nj Una vez calculados estos dos indicadores, el índice sobre el proceso de solicitud (ISO) para el Estado j se obtiene como sigue: ISO j = ÍndiceISO 1 j + ÍndiceISO 2 j 2 Interpretación del índice ISO: Entre más apegado al manual de operaciones sea el proceso de solicitud y más rápida sea la autorización del proyecto, más cercano estará el indicador a la unidad. En contraparte, un índice más cercano a cero sería indicativo de un menor nivel de apego al manual y/o menor rapidez en la atención de la solicitud. Es importante hacer notar que ningún expediente tiene la fecha del acta de inicio, por lo tanto no es posible calcular el primer aspecto del índice ISO. En estas condiciones, el índice ya no es comparable directamente con los calculados en pasadas evaluaciones. Se está dejando de lado una parte muy importante de la evaluación, la rapidez con la que son atendidas las solicitudes. Por tanto, el índice ISO se reducirá al índice ISO2, es decir ahora el indicador ISO será el cociente de expedientes técnicos con Acta de solicitud fechada en relación al total de los expedientes. Vale la pena mencionar que si bien algunas obras no habían iniciado cuando se revisó los expedientes (diciembre del 2002), y naturalmente no tenían fecha de inicio, no existe explicación por la cual se haya encontrado esta carencia en “todas” las actas de inicio. Sería recomendable exigir expresamente en las Reglas de Operación que cada documento del expediente sea fechado y se defina un funcionario responsable de cumplir con este ordenamiento, de manera que sea posible dar seguimiento a los tiempos con que se ejecutan los procesos. No debería ser aceptable que se integre un expediente con actas o documentos que no tienen fechas. 19 Documento Final CONAZA 2002 Los resultados del índice de proceso de la solicitud, por Estado, para cada uno de los programas son: Tabla 2.4.1.1 Resultados del índice para el Programa de Desarrollo para los habitantes del Semidesierto B. C. CHIH. HGO. MEX. SON. ZAC. Expedientes revisados 1 3 8 9 4 2 Índice ISO 0 0.66 0.63 0 1 1 PROMEDIO PONDERADO 0.48 Fuente: Cálculos propios 2.4.2 Apego de los Expedientes Técnicos a la Mecánica de Operación En el año 2002 se especifica en las Reglas de Operación (página 13), dentro del apartado correspondiente a la mecánica de operación, los elementos mínimos que tienen que estar contenidos en los expedientes técnicos. Para evaluar que los expedientes técnicos cumplan con apego a la mecánica de operación, se revisó que los 27 expedientes muestreados cumplieran con los requisitos establecidos. En este caso particular, se tomaron los 27 expedientes porque simplemente se trata de corroborar que su contenido sea completo. % DE EXPEDIENTES TÉCNICOS QUE ELEMENTO LOS PRESENTARON 1.- Carátula 100% 2.-Cédula 100 % a) Beneficiarios 100 % b) Inversión total 100% c) Inversión autorizada 100% d) Inversión ejercida 0% e) Fecha programada de inicio y terminación 74% 74% f) Fechas reales de inicio y terminación 11% 11% g) Fecha de entrega recepción real 0% 20 Documento Final CONAZA 2002 Al igual que como ocurrió en la evaluación del 2000, se encontró que hay fallas en la elaboración de las cédulas de presentación, especialmente por la falta de datos de inversión real ejercida y fechas. Lo anterior implica que el haber transferido las obligaciones de la ejecución de los recursos, llenado de expedientes y realización de las obras a los gobiernos estatales, no solucionó el problema de carencia de información en los expedientes técnicos (recomendación hecha en la evaluación del 2000). % DE EXPEDIENTES TÉCNICOS QUE LOS ELEMENTO PRESENTARON 3.-Localización del ejido 100% 4.-Infraestructura 96% 5.- Aspectos geofísicos 89% 6.- Localización de la obra 67% 7.- Acta de solicitud de la obra 52% a) Fecha 48% b) Acta de aceptación de la obra 59% c) 59% Fecha d) Acta constitutiva del Comité Pro-Obra 59% e) 59% Fecha 8.- Convenio de concertación 59% a) Fecha 41% 9.-Padrón de beneficiarios 70% 10.-Presupuesto programático 100% 11.-Descripción del proyecto 41% 12.-Proyecto de la obra 59% 13.-Memoria de cálculo 70% 14.-Programa de ejecución físico-financiera 93% 15.-Impacto socioeconómico 96% 21 Documento Final CONAZA 2002 16.-Dictamen de validación 96% 17.-Dictamen de factibilidad e impacto socioeconómico 100% Nota: Estos resultados corresponden a los 27 expedientes analizados. En la sección 2.1.2 se hace una explicación sobre la forma en que se integra el Comité Pro-Obra y sus funciones. Al revisar los expedientes, se encontró que 59% contaba con acta y fecha de constitución del mismo. Es inaceptable que haya expedientes (41%) en donde no exista registro de que los beneficiarios cumplen con uno de los requisitos que se les establecen. En el cuestionario no se hacen preguntas a los beneficiarios en relación con la operación del Comité Pro-Obra. Si se desea evaluar el funcionamiento de estos Comités, sería necesario agregar una sección sobre este asunto en el cuestionario. 2.4.3 Revisión en campo de la eficacia El índice de veracidad (IVER) de un programa establece la relación que existe entre las obras que han sido reportadas como realizadas y las obras que realmente se realizaron. Es decir, el número de obras reportadas (Or) durante la visita a campo entre el número de obras programadas (Op) multiplicado por 100. Es importante hacer notar que las obras reportadas no necesariamente están terminadas, se trata simplemente de aquellas obras en las cuales los beneficiarios aceptaron la existencia de una obra o una acción encaminada a su realización. Se definen las siguientes variables: Op = obras programadas Or = obras reportadas Índice de veracidad para obras = (Or/Op)x100 Con la información obtenida a través de los expedientes técnicos y el trabajo de campo se obtuvo lo siguiente: Op = 196 6 Or = 12 Coincide con el total de obras seleccionadas; ya que en los informes aparecen como realizadas al 100%. 22 Documento Final CONAZA 2002 Resultados del cálculo. Índice de veracidad para obras = (12/19)x100 = 63.2% Con estos resultados podemos observar que el índice de veracidad en la información referente número de obras reportadas de CONAZA es de un 63.2%, lo que significa que 1.3 de cada 3 obras no se está realizando. 2.4.4 Eficiencia La eficiencia del PDHS se mide evaluando el proceso de realización de las obras, mismo que se hace mediante la construcción de un índice que considera el tiempo que tarda la construcción de la obra, y la presencia de los siguientes datos o documentos en los expedientes técnicos: acta de entrega-recepción fechada, lista de beneficiarios,7 memoria de cálculo y programa de ejecución físico-financiero. Los parámetros considerados para la creación de este índice son: I. La diferencia entre el periodo de realización de la obra de acuerdo con las fechas programadas y el periodo que comprende las fechas asentadas en el acta de inicio y el acta de terminación. En los casos que no especifican días de inicio y/o terminación se toma el primer día del mes mencionado. II. El apego de los expedientes revisados a la parte correspondiente en las Reglas de Operación. El índice sobre la realización de obra (IRO) es un promedio aritmético construido con base en dos índices, cada uno de los cuales corresponde a uno de los parámetros mencionados. La formación del índice correspondiente al parámetro I requiere la definición de las variables: FIP = Fecha de inicio programada FIR = Fecha de inicio real FFP = Fecha final programada FFR = Fecha final real TP = Tiempo programado = FFP-FIP TR = Tiempo real = FFR-FIR 7 Para los proyectos con más de 25 beneficiarios sólo es necesario incluir el número de beneficiarios. Manual de procedimientos aplicables a los programas y obra pública de la CONAZA. 23 Documento Final CONAZA 2002 y la función discreta Gij que se explica a continuación: 1 0.8 0.6 Gij = 0.4 0.2 0 si si si si si si TR − TP ≤ 1semana 1 < TR − TP ≤ 3 semanas 3 < TR − TP ≤ 5 semanas 5 < TR − TP ≤ 7 semanas 7 < TR − TP ≤ 9 semanas TR − TP > 9semanas Entonces, el índice correspondiente al parámetro I para el Estado j es : nj ÍndiceIRO 1 j = ∑G ij i =1 nj en donde nj es el número de expedientes técnicos revisados del Estado j. La elaboración del índice correspondiente al parámetro II se realiza creando una función que toma distintos valores dependiendo de la cantidad de los siguientes elementos que contenga el expediente técnico: 1.-Acta de entrega-recepción fechada 3.-Memoria de cálculo 2.-Lista de beneficiarios 4.-Programa de ejecución físico-financiero La función discreta Hij que se explica a continuación: H ij 1 0 . 75 = 0 . 50 0 . 25 0 si si si tiene tiene tiene 4 elementos 3 elementos 2 elementos si si tiene tiene 1 elementos 0 elementos 24 Documento Final CONAZA 2002 El índice para el Estado j es : nj ÍndiceIRO 2 j = ∑H ij i =1 nj en donde nj es el número de expedientes técnicos revisados en ese Estado. Al agregar dentro de este índice la evaluación del listado de beneficiarios, memoria de cálculo y el programa de ejecución físico-financiera se verifica el apego al manual de operaciones así como el conocimiento total de los elementos de las obras. El índice sobre el proceso de realización de obras (IRO) para el Estado j se obtiene como sigue: IRO j = ÍndiceIRO1 j + ÍndiceIRO 2 j 2 La interpretación del índice IRO es la siguiente: entre más cercano a la unidad se encuentra el índice, mejor se están ejecutando las obras. Debido a que únicamente 3 expedientes cuentan con las fechas reales, no es pertinente calcular el primer parámetro del índice IRO. Por lo tanto, el IRO será calculado usando solamente el segundo parámetro. Así, no se puede establecer una medida sobre el cumplimiento del programa en los tiempos acordados, tal como se señala en los términos de referencia. Nuevamente, se recomienda exigir que los expedientes se integren con documentos fechados, de otra forma no es posible evaluar este punto adecuadamente. Simplemente se establece una medida sobre el grado en que los expedientes tienen ciertos documentos, que en caso de contar con fechas, servirían para medir lo que se pretende. Tal parece que debido a la reasignación de fondos hacia los Estados, quienes ahora se encargan de ejecutar las obras y llenar los expedientes, se desconociera las recomendaciones hechas con antelación resultado de evaluaciones previas. Sería conveniente establecer una medida de eficiencia que considerase la tasa de retorno de los proyectos u obras que efectúa la CONAZA. En particular, el grado en que aquellos proyectos más 25 Documento Final CONAZA 2002 rentables, de acuerdo con este criterio, reciben una proporción mayor de los recursos. Es importante subrayar que en los proyectos de índole social, los costos se identifican con relativa facilidad pero no los beneficios. Este tipo de análisis requiere de un cálculo de beneficios a través del tiempo, por lo cual resulta indispensable la maduración de los proyectos, situación que no se presenta en este caso. Los resultados obtenidos se muestran en la siguiente tabla: Tabla 2.4.4.1 Programa de Desarrollo para los habitantes del Semidesierto Expedientes revisados Índice IRO B. C. CHIH. HGO. MEX. SON. ZAC. 1 3 8 9 4 2 0.75 0.58 0.59 0.47 0.75 0.63 PROMEDIO PONDERADO 0.58 Fuente: Cálculos propios La puntualidad se define como el porcentaje de obras que se iniciaron en la fecha programada. La estimación del tiempo de retraso se hace a través de la diferencia que existe entre la fecha de inicio programada y el acta de inicio de la obra. Debido a la falta de fechas en los expedientes técnicos fue imposible realizar las estimaciones referentes a la puntualidad. 2.4.5 Transparencia En los Términos de Referencia para la evaluación, se plantea que por transparencia se entiende si los procesos de selección de los proyectos o beneficiarios son claros, precisos y objetivos, evitando la discrecionalidad de los apoyos. En respuesta concreta a esta necesidad, la transparencia con la que opera el PDHS se estimó considerando el proceso de evaluación de la solicitud, y aprobación en su caso de la obra. En particular, se trata de constatar que los criterios de elegibilidad de los proyectos y beneficiarios cumplen con lo establecido en las Reglas de Operación, páginas 11 y 12. Para medir la transparencia se emplea el índice sobre el proceso de la solicitud de la obra (IES) considerando aspectos como: la cantidad de solicitudes con dictámenes de factibilidad e impacto 26 Documento Final CONAZA 2002 socioeconómico y la presencia de variables socioeconómicas como referencia para evaluar las solicitudes. Se esperaría que la presencia de dictámenes de factibilidad e impacto socioeconómico, llevados a cabo de manera adecuada, sean garantía de que en la comunidad existan las condiciones físicas necesarias para la realización de la obra, así como la viabilidad técnica y rentabilidad social de los proyectos. Así mismo, se supondría que al tomar en cuenta variables socioeconómicas para evaluar las solicitudes, se elija a las comunidades que por sus condiciones son acreedoras a recibir los apoyos y se encuentren en condiciones para aportar mano de obra y/o materiales de la región que requiere el proyecto. El índice sobre el proceso de evaluación de la solicitud de la obra (IES) es un promedio aritmético construido con base en tres índices, cada uno de los cuales corresponde a uno de los parámetros mencionados anteriormente. La elaboración del índice correspondiente al parámetro I requiere la creación de una función discreta Cij que se explica a continuación: 1 si el expediente técnico tiene dictamen de factibilid ad Cij = 0 si el expediente técnico no tiene dictamen de factibilid ad El índice para el Estado j es entonces: nj ÍndiceIES 1 j = ∑C ij i =1 nj en donde nj es el número de expedientes técnicos revisados del Estado j. El índice correspondiente al parámetro II se obtiene a partir de la función discreta Dij que se explica a continuación: Dij Contingencia 1 Si utilizan variables socioeconómicas para decidir en la realización de la obra 0 Si no utilizan variables socioeconómicas para decidir en la realización de la obra 27 Documento Final CONAZA 2002 Entonces el índice para el Estado j es : nj ÍndiceIES 2 j = ∑D ij i =1 nj en donde nj es el número de expedientes técnicos revisados del Estado j. Una vez calculados los 2 indicadores, se puede computar el índice sobre el proceso de evaluación de la solicitud de la obra (IES) para el Estado j de la siguiente forma: IES j = ÍndiceIES1 j + ÍndiceIES 2 j 2 La interpretación del índice sería la siguiente: si IESj es igual a 1, el Estado j tendría el valor más alto posible de confiabilidad y efectividad en el proceso de evaluación de solicitudes. En contraste, un valor cercano a cero, sería indicativo de la más baja confiabilidad y efectividad en la evaluación de las solicitudes. Los resultados, por Estado, para cada uno de los programas son los siguientes: Tabla 2.4.5.1 Programa de Desarrollo para los habitantes del Semidesierto B. C. CHIH. HGO. MEX. SON. ZAC. Expedientes revisados 1 3 8 9 4 2 Índice IES 1 1 1 0.94 1 1 PROMEDIO PONDERADO 0.98 Fuente: Cálculos propios Lo anterior nos revela que el proceso de evaluación de la solicitud de la obra es confiable y efectivo, pues el índice promedio general es muy cercano a 1. De hecho, en 5 de los 6 Estados el índice alcanzó el valor más alto. Es importante aclarar que la transparencia no garantiza que los recursos se asignen de manera correcta. De hecho, los resultados de la focalización del programa, encontrados en el capítulo 2.3, 28 Documento Final CONAZA 2002 indican que a pesar de la existencia de dictámenes factibilidad y un proceso de selección de obras donde se toma en cuenta variables socioeconómicas, se destina una proporción alta de los recursos a municipios que tienen niveles de marginación relativamente bajos. 2.5 Resultados de las entrevistas a delegados Como parte de esta evaluación se invitó a los delegados a que dieran su punto de vista y generaran ideas para la solución de problemas en campo y del funcionamiento administrativo. Para el caso del PDHS a partir de julio del año 2002 los Estados son los encargados de ejercer los recursos y de realizar funciones como el llenado de los expedientes. Con relación a lo anterior, los delegados mencionaron que los Estados no cuentan con la infraestructura necesaria para llevar acabo el ejercicio de los recursos. También informaron que en los Estados no se tiene conocimiento sobre la adecuada conformación de los expedientes. En general, mencionan que el personal de los Estados no tiene la experiencia necesaria para aplicar los recursos. Producto de las entrevistas telefónicas con los delegados señalan dos puntos importantes que deben ser considerados. El primero es que los Estados hacen cambios de localidad beneficiada u obra y no notifican con oportunidad a la delegación correspondiente de CONAZA; el segundo es que en ocasiones la elección de las comunidades a beneficiar se realiza por criterios diferentes a los que establece la CONAZA. Esto impacta negativamente al cumplimiento de las Reglas de Operación, en tanto no se respeta el Manual de Procedimientos Aplicables a los Programas de Obra Pública de la CONAZA, elaborado en Mayo del 2002. Finalmente, los delegados mencionaron que con el sistema anterior trabajaban con una mayor facilidad, eficiencia, transparencia y rapidez. 29 Documento Final CONAZA 2002 CAPÍTULO III EVALUACIÓN DE LOS GASTOS EN INVERSIÓN 3.1 Evaluación de los beneficiarios 3.1.1 Perfil socioeconómico de los beneficiarios En las 826 viviendas encuestadas (373 para el Plan Acuario y 453 para el Desarrollo de los Habitantes del Semidesierto) se encontró una población total de 3,506 personas, de las cuáles el 48.7% (1,707) pertenecían al sexo femenino. Sólo un 26.2% (919) indicó estar estudiando al momento de la entrevista, mientras que el 31.4% (1,102) de los habitantes trabajan o ayudaban en la labor. El 48.1% (1,688) de los habitantes estaban radicando en localidades que contaban con el programa Plan Acuario (PA). Por otro lado, para el programa Desarrollo para los Habitantes del Semidesierto (DHS) se observaron 1,818 personas (51.9%). Con el propósito de aclarar la composición de la muestra, con respecto al número de beneficiarios, en la tabla 3.1.1 se presenta la distribución del total de beneficiarios encontrados en las 826 viviendas encuestadas, por Estado (14) y programa de la CONAZA (PA y DHS), desglosando por líneas del programa DHS, Agua Potable (P002), Control de la Desertificación (P003) y Proyectos Pecuarios (P005). Es necesario aclarar que no se presenta el perfil socioeconómico de los beneficiarios del PVCYTT, debido a que al momento de realizar el estudio no se contaba con un marco muestral, de los beneficiarios de dicho programa, que permitiera la selección de una muestra probabilística. Por lo tanto, los resultados que a continuación se presentan corresponden exclusivamente a beneficiarios de los programas PA y DHS. La edad promedio de los habitantes fue de 29.23 años, el valor mínimo fue de 1 año y como máximo 100 años. En la figura 3.1.1 se presenta la distribución de la edad de las 3,506 personas que estaban radicando en el total de viviendas encuestadas (826). Esta figura muestra claramente que la mayoría de los beneficiarios eran relativamente jóvenes, la mediana observada fue 24 años. 30 Documento Final CONAZA 2002 Al considerar solamente a los 1,688 beneficiarios del Plan Acuario se tiene que los valores de la edad son menores, obteniéndose una media y mediana de 26.7 y 22 años, respectivamente. Tabla 3.1.1 Distribución del total de personas (3,506) en la muestra de 826 viviendas encuestadas en 44 Localidades, por Estado y tipo de programa de la CONAZA Plan Estado 1. Aguascalientes Acuario Desarrollo para los Habitantes del Semidesierto Proyectos Pecuarios Agua Potable Control de la Desertificación Total 71 71 2. Baja California 205 205 262 3. Chihuahua 179 4. Coahuila 64 64 5. Durango 149 149 6. Guanajuato 193 193 7. Hidalgo 139 8. México 83 300 99 289 100 538 140 529 9. Oaxaca 141 141 10. Querétaro 75 75 11. San Luis Potosí 116 111 12. Sonora 128 170 13. Tamaulipas 124 14. Zacatecas 309 Total (Porcentaje) 1,688 (48.15%) 338 111 298 124 519 210 953 (27.18%) 725 (20.68%) 140 (3.99%) 3,506 100% Fuente: Cálculos propios con información recabada de las encuestas del 2002 31 Documento Final CONAZA 2002 Figura 3.1.1. Histograma para la edad del beneficiario de los programas PA y DHS. La comparación estadística, mediante la prueba de Mann-Whitney, mostró que las medianas de la edad del beneficiario, en ambos programas de la CONAZA (PA y DHS), son significativamente diferentes (Zcal = -6.7, p < .001), siendo la mayor mediana para los beneficiarios de Programa DHS con valor de 27 años, ver tabla 3.1.2. En esta tabla también se muestran las estadísticas descriptivas para la edad de los beneficiarios de los programas Proyectos Pecuarios (PP), Agua Potable (AP) y Control de la Desertificación (CD). La prueba de Kruskal-Wallis no detectó diferencias estadísticamente significativas entre las medianas de la edad de los beneficiarios de las tres líneas de acción (PP, AP y CD) que componen la muestra de los habitantes del semidesierto, (χ2cal = 4.96, p = 0.084). 32 Documento Final CONAZA 2002 Tabla 3.1.2 Estadísticas descriptivas para la edad del beneficiario, por programa y línea de acción de la CONAZA No. de Valor Valor Desviación Programa o línea de acción Media Mediana de la CONAZA personas Mínimo Máximo Estándar Plan Acuario 1,682 1 100 26.77 22.0 19.68 Desarrollo para los Habitantes 1,813 1 98 31.51 27.0 21.17 Proyectos Pecuarios 949 1 98 32.61 28.0 21.60 Agua Potable 724 1 85 30.09 26.0 20.56 Control de la Desertificación 140 1 93 31.43 25.0 21.00 3,495 1 100 29.23 24.0 20.60 del Semidesierto Total Fuente: Cálculos propios con información recabada de las encuestas del 2002 El 94.3% (779) de las viviendas tenía como jefe de familia a un hombre, el 4.5% (37) tenía a una mujer y el restante 1.2% (10) no identificó a un miembro de la vivienda en esta categoría. Los porcentajes de jefes de familia por Género, para cada Programa y línea de acción de la CONAZA se presentan en la tabla 3.1.3, en donde resalta el hecho de que no existe vivienda beneficiada con la línea de acción Control de la Desertificación (P003) cuyo jefe de familia sea una mujer. Tabla 3.1.3 Frecuencias absolutas y porcentajes de jefes de familia por género para el total de viviendas, por programa y por línea de programa de la CONAZA Sexo del Jefe de Familia Femenino Masculino Sin Jefe Total de Fr % fr % fr % Viviendas 37 4.48 779 94.31 10 1.21 826 Plan Acuario 19 5.09 351 94.10 3 0.80 373 Desarrollo de los Habitantes del Semidesierto 18 3.97 428 94.48 7 1.55 453 Programas Pecuarios (P005) 12 4.94 227 93.42 4 1.65 243 Agua Potable (P002) 6 3.43 167 95.43 2 1.14 175 Control de la Desertificación (P003) 0 0.00 34 97.14 1 2.86 35 TOTAL → ↓ Programa o línea Fuente: Cálculos propios con información recabada de las encuestas del 2002 33 Documento Final CONAZA 2002 Tabla 3.1.4 Distribución del número de personas en la vivienda, total y por programa Programa para el Desarrollo de los Total Plan Acuario (PA) (PA y PDHS) Habitantes del Semidesierto (PDHS) Personas en fr % %A Fr % %A Fr % %A la vivienda 1 12 3.22 3.22 15 3.31 3.31 27 3.27 3.27 2 49 13.14 16.35 78 17.22 20.53 127 15.38 18.64 3 65 17.43 33.78 92 20.31 40.84 157 19.01 37.65 4 92 24.66 58.45 118 26.05 66.89 210 25.42 63.08 5 52 13.94 72.39 70 15.45 82.34 122 14.77 77.85 6 44 11.80 84.18 38 8.39 90.73 82 9.93 87.77 7 21 5.63 89.81 24 5.30 96.03 45 5.45 93.22 8 10 2.68 92.49 11 2.43 98.45 21 2.54 95.76 9 16 4.29 96.78 5 1.10 99.56 21 2.54 98.31 10 12 3.22 100 2 0.44 100 14 1.69 100 Total 373 100 453 100 826 100 Fuente: Cálculos propios con información recabada de las encuestas del 2002 Tabla 3.1.5 Distribución del total de viviendas (826) en la muestra, por Estado, tipo de programa y línea de acción de la CONAZA Plan Estado Acuario 1. Aguascalientes 2. Baja California 3. Chihuahua 4. Coahuila 5. Durango 6. Guanajuato 7. Hidalgo 8. México 9. Oaxaca 10. Querétaro 11. San Luis Potosí 12. Sonora 13. Tamaulipas 14. Zacatecas 15 Total (Porcentaje) Desarrollo para los Habitantes del Semidesierto Proyectos Pecuarios Agua Potable Control de la Desertificación 50 45 15 30 30 30 25 75 75 25 25 30 15 30 30 30 73 25 43 25 373 (45.16%) 243 (29.42%) 35 50 175 (21.18%) 35 (4.24%) Total 15 50 70 15 30 30 130 135 30 15 80 73 30 123 826 (100%) Fuente: Cálculos propios con información recabada de las encuestas del 2002 34 Documento Final CONAZA 2002 El número de personas que habitaban la vivienda fluctuó de 1 a 10. La tabla 3.1.4 proporciona las frecuencias absolutas (fr), porcentajes (%) y los porcentajes acumulados observados (% A) del número de personas que habitaban la vivienda, para el total (826) y por programa de la CONAZA, 373 viviendas para PA y 453 viviendas para PDHS. La tabla 3.1.5 proporciona la distribución del total de viviendas en la muestra (826), por Estado y Programa o línea de acción de la CONAZA. En esta tabla se observa que solamente un Estado en la muestra (Estado de México) con 35 viviendas encuestadas, recibió del programa DHS la línea de acción Control de la Desertificación (P003), contrastando con el hecho de que fueron nueve los Estados que contaron con este tipo de programa en el 2002, ver tabla 3.3.1. Al considerar las obras de la línea de acción de Infraestructura Productiva o Agua Potable (P002), la muestra incluye cinco Estados mientras que la CONAZA implementó este tipo de obras en 11 Estados. Con respecto a obras pertenecientes a Infraestructura Productiva o Pecuarios-Agrícolas (P005), la muestra contiene solamente cinco de 12 Estados del país que recibieron esta clase de beneficios, ver tabla 3.3.1. Esta distribución errática y desproporcionada de las viviendas en la muestra a través de los Estados por tipo de programa y línea de acción se debe a que en el diseño de muestreo usado no se estratificó ni por Estado ni por línea de acción de la CONAZA. Debido a esto, el análisis por Estado estará muy limitado, especialmente cuando el objetivo sea comparar líneas de acción del programa DHS, P002, P003 y P005. Con el propósito de proporcionar información relevante sobre la muestra final, en el Anexo II se presenta la tabla 1, en donde se observa la distribución del número de viviendas en la muestra (826), para cada uno de los 14 Estados incluidos en el estudio (12 para Plan Acuario, 5 para Proyectos Pecuarios, 5 para Agua Potable y un Estado para Control de la Desertificación), ubicando a los 22 Municipios y las 44 Localidades beneficiadas con programa o línea de acción de la CONAZA. El promedio de personas por vivienda fue 4.24, 2.18 del sexo masculino y 2.07 del femenino. El promedio de estudiantes y trabajadores por vivienda fue 1.11 y 1.34 respectivamente. La composición del número de personas, por sexo, estudiantes y trabajadores, no es la misma para viviendas de los programas considerados (PA y DHS), es decir las diferencias observadas son estadísticamente significativas de acuerdo a lo reportado por la prueba de Mann – Whitney, α = .05. Solamente para la variable trabajadores por vivienda, el promedio menor fue para el Plan Acuario 35 Documento Final CONAZA 2002 (1.30), en el resto de las variables los promedios más bajos se encontraron en viviendas pertenecientes al programa Desarrollo para los Habitantes del Semidesierto (ver tabla 3.1.6). Tabla 3.1.6 Promedio por vivienda para las variables total de personas, personas del sexo masculino, personas del sexo femenino, personas estudiando, personas que trabajan en la labor, por programa de la CONAZA y resultados de la prueba de Mann – Whitney PROGRAMA DE LA CONAZA Personas Masculinos Femeninos Estudiantes Trabajadores Plan Acuario (n1 = 373) 4.53 2.31 2.22 1.25 1.30 Desarrollo para los Habitantes del Semidesierto (n2 = 453) 4.01 2.07 1.94 1.00 1.37 Estadístico Z y valor de p(1) -3.11, .002 -2.17, .030 -2.65, .008 -2.28, .023 Total (n = 826) 4.24 2.18 2.07 1.11 -2.05, .040 1.34 (1) de la prueba de Mann - Whitney Fuente: Cálculos propios con información recabada de las encuestas del 2002 Independientemente del número de personas que residen en la vivienda, se calcularon los promedios de edad por vivienda y sus estadísticos descriptivos, la información se presenta en la tabla 3.1.7. Una vez más se observa que se tienen poblaciones relativamente jóvenes, ya que la mediana general fue de 29.36 años y de 25.5 y 32.6 años para viviendas de los programas PA y DHS respectivamente. Tabla 3.1.7 Edad promedio de los habitantes de la vivienda, total y por programa de la CONAZA, (PA y DHS) Programa de la CONAZA n Media Plan Acuario 373 30.94 25.50 16.65 Desarrollo para los Habitantes del Semidesierto 453 36.14 32.60 16.96 826 33.79 29.36 17.01 Total Mediana Desviación Estándar Fuente: Cálculos propios con información recabada de las encuestas del 2002 36 Documento Final CONAZA 2002 Aproximadamente el 70% (1,211) de los beneficiarios que proporcionaron información sobre sus estudios (3,161) tienen una escolaridad de primaria o menos y solamente el 8.3% (262) cuenta con escolaridad superior a secundaria (ver figura 3.1.2). 60 52.5 50 Porcentaje 40 30 21.8 20 17.4 10 4.7 1.4 0 Ninguna Primaria Secundaria Técnica 2.2 Preparatoria Profesional Escolaridad del beneficiario Figura 3.1.2 Porcentajes de beneficiarios de acuerdo a su escolaridad máxima, PA y PDHS Se utilizó la χ2 de Pearson y la χ2 de Razón de Verosimilitud como estadísticos de prueba, para contrastar la hipótesis nula: La distribución de la escolaridad máxima de los beneficiarios es la misma en los dos programas de la CONAZA, (PA y DHS). Ambos estadísticos resultaron altamente significativos con valores de 32.29 y 33.46 respectivamente, (p < .001). Por lo tanto se rechaza la hipótesis nula de igualdad de distribuciones y se concluye que se tienen dos distribuciones multinomiales diferentes, una para cada programa de la CONAZA, (ver tabla 3.1.8). 37 Documento Final CONAZA 2002 Tabla 3.1.8 Frecuencias absolutas y porcentajes para la escolaridad máxima de los beneficiarios de los Programas de la CONAZA, PA y DHS Desarrollo para los Habitantes del Semidesierto Plan Acuario Escolaridad Máxima Total (PA y PDHS) fr % Fr % fr % 1. Ninguna 264 17.45 287 17.42 551 17.43 2. Primaria 826 54.59 834 50.61 1660 52.52 3. Secundaria 335 22.14 353 21.42 688 21.77 4. Técnica 23 1.52 21 1.27 44 1.39 5. Preparatoria o Normal 48 3.17 102 6.19 150 4.75 6. Profesional o más 17 1.12 51 3.09 68 2.15 1,513 100 1,648 100 3,161 100 Total Fuente: Cálculos propios con información recabada de las encuestas del 2002 Al contrastar la hipótesis nula: La distribución de la escolaridad máxima de los beneficiarios de las tres líneas de acción (Proyectos Pecuarios, Agua Potable y Control de la Desertificación) es la misma, no se encontró significancia estadística. Los valores de los estadísticos de prueba obtenidos fueron 9.97 (p = .444) y 10.69 (p = .382) para la χ2 de Pearson y la χ2 de Razón de Verosimilitud, respectivamente. Se concluye que se tiene solamente una distribución polinomial para la escolaridad máxima de los beneficiarios del Programa DHS, (ver tabla 3.1.9). Tabla 3.1.9 Frecuencias absolutas y porcentajes para la escolaridad máxima de los beneficiarios de Programa DHS, por línea de acción Agua Potable (P002) Proyectos Pecuarios (P005) Escolaridad 1. Ninguna 2. Primaria 3. Secundaria 4. Técnica 5. Preparatoria o Normal 6. Profesional o más Total Control de la Desertificación (P003) Desarrollo para los Habitantes del Semidesierto fr % fr % fr % fr % 135 457 197 11 54 29 15.29 51.76 22.31 1.25 6.12 3.28 131 319 128 9 39 21 20.25 49.30 19.78 1.39 6.03 3.25 21 58 28 1 9 1 17.80 49.15 23.73 0.85 7.63 0.85 287 834 353 21 102 51 17.42 50.61 21.42 1.27 6.19 3.09 883 100 647 100 118 100 1,648 100 Fuente: Cálculos propios con información recabada de las encuestas del 2002 38 Documento Final CONAZA 2002 Al estudiar la relación de la escolaridad del beneficiario con su grado de participación trabajando en la labor, por Programa de la CONZA y Género del habitante, se encontró que solamente para las mujeres beneficiarias del Plan Acuario, las diferencias observadas no resultaron estadísticamente significativas, (χ2cal1.= 1.97, p = .578 y χ2cal2.= 2.07, p = .558). Encontrándose que el 11.5% de las beneficiarias del Plan Acuario trabajan en la labor, sin importar su nivel máximo de escolaridad. Contrario a lo anterior, las mujeres radicando en localidades que se beneficiaron con el Programa DHS mostraron asociación lineal positiva y altamente significativa entre las variables nivel máximo de escolaridad y participación en el trabajo de la labor, (χ2cal1.= 14.34, p = .002 y χ2cal2.= 15.30, p = .002). Solamente el 5% de las beneficiarias del PDHS sin escolaridad tienen participación en el trabajo de campo, mientras que el 19% de las mujeres que cuentan con secundaria como escolaridad máxima participan en estas actividades. Los beneficiarios del sexo masculino, para ambos programas (PA y DHS), mostraron relación altamente significativa, entre el nivel máximo de escolaridad y su participación en el trabajo desarrollado en la labor, (ver tabla 3.1.10). La figura 3.1.3 muestra el comportamiento de dichas variables, por Programa y Género del beneficiario, en donde se observan las grandes diferencias en participación de esta actividad, entre géneros. Además, resulta claro que para beneficiarios del sexo masculino, el valor máximo de participación se alcanza en el nivel de primaria, 58% para PA y 66% para PDHS. Una conclusión que se deriva de este análisis es que para aumentar la participación de la mujer en el trabajo de la labor, en localidades beneficiadas con obras del PDHS, es necesario que se incremente su nivel de escolaridad, al menos hasta secundaria. Este hecho es relevante ya que el 54% de las beneficiarias del PDHS cuentan con escolaridad inferior a secundaria. Se estima que el incremento en participación en el trabajo de la mujer que actualmente no tiene escolaridad sería del 14%, (ver figura 3.1.3 (b)). 39 Documento Final CONAZA 2002 Tabla 3.1.10 Resultado de las pruebas de homogeneidad de distribución, por Programa de la CONAZA y Género del beneficiario Programa de la CONAZA Género (1) 2 2 calculada Estadística de Prueba , χ χ (2) Plan Acuario Femenino Pearson (n PA = 1441) (n11 = 716) Razón de Verosimilitud (3) Valor de p 1.97 .578 2.07 .558 Masculino Pearson 20.52 .000 (n12 = 725) Razón de Verosimilitud 20.69 .000 Desarrollo para los Femenino Pearson 14.34 .002 Habitantes del Semidesierto (n21 = 750) Razón de Verosimilitud 15.30 .002 (n DHS = 1583) Masculino Pearson 39.41 .000 (n22 = 833) Razón de Verosimilitud 39.08 .000 2 2 (1) Con tres grados de libertad; (2) Chi cuadrada de Pearson = χ 1; (3) Chi cuadrada de R.V. = χ 2 Fuente: Cálculos propios con información recabada de las encuestas del 2002 .7 .66 .62 .58 .6 .53 .48 .5 .4 .36 .3 .2 .11 .1 .14 .13 .08 Género Femenino Masculino 0.0 Ninguna Secundaria Primaria Proporción que trabaja en la labor Proporcción que trabaja en la labor .7 .6 .48 .5 .4 .37 .3 .19 .2 .1 (a) Plan Acuario Género Femenino .05 Masculino 0.0 Ninguna Más de Secundaria .17 .12 Secundaria Primaria Más de Secundaria (b) Programa DHS Figura 3.1.3 Proporción de habitantes que trabajan en la labor, por programa de la CONAZA, (PA y DHS), por Género y Escolaridad del beneficiario En el 28.1% de las viviendas se contaba con familiar(es) trabajando en otra(s) localidad(es). Para viviendas en donde se afirmó tener al menos un familiar trabajando fuera de la localidad se encontró que el promedio para esta variable fue 2.42 familiares. La comparación de parámetros de centralidad de los programas de la CONAZA, PA y DHS, no mostró diferencias estadísticamente significativas (ver tabla 3.1.11). 40 Documento Final CONAZA 2002 Tabla 3.1.11 Resultado de la prueba de Mann – Whitney para las variables familiares trabajando fuera de la comunidad, cuartos en la vivienda y m2 de construcción de la vivienda Familiares trabajando Número de cuartos m2 de construcción fuera de la comunidad en la vivienda de la vivienda Programa de la CONAZA PA DHS Estadístico Z(1) Valor de p(1) Total (1) n(2) Media D. E. 83 82 2.61 2.23 -0.614 0.539 2.42 2.38 2.08 356 431 2.24 787 165 N Media 2.77 3.02 -3.159 0.002 2.91 D. E. n Media D. E. 1.36 1.30 309 386 83.17 92.00 1.33 695 86.11 90.63 -0.934 0.350 88.62 88.15 de la prueba de Mann – Whitney. (2) Cuando tenían al menos un familiar trabajando fuera de la comunidad Fuente: Cálculos propios con información recabada de las encuestas del 2002 Los resultados de la prueba de Mann – Whitney indican que la distribución del número de cuartos por vivienda no fue la misma para ambos programas de la CONAZA (PA y DHS), (Zcal = -3.159, p = .002), encontrándose que el promedio mayor fue para viviendas asociadas al programa DHS con 3.02 cuartos. El total de metros cuadrados de construcción no mostró diferencias significativas entre los programas, con un promedio general de 88.62 m2 (ver tabla 3.1.11). El 95.9% de las viviendas tienen energía eléctrica, 75.3% cuentan con cocina separada de los otros cuartos, 14.0% tienen piso de tierra, y en sólo un 7.6% de las viviendas ha habido cambios materiales en los últimos dos años, (ver tabla 3.1.12). El 75% de las viviendas cuentan con fosa séptica o letrina, encontrándose diferencias significativas entre los programas, 78.0% para DHS y 71.4% para PA. Con respecto a contar con agua entubada en la casa, el 70.4% de las viviendas cuentan con este servicio, existiendo diferencias altamente significativas entre los dos programas, 48.8% y 87.9% para PA y DHS respectivamente. 41 Documento Final CONAZA 2002 Tabla 3.1.12 Porcentaje de respuestas afirmativas, total, por programa de la CONAZA y valor de p de la prueba exacta de Fisher n % Total % PA % DHS Valor de p ¿Tiene familiares trabajando fuera de su comunidad? 825 21.8 24.2 19.9 .150 ¿El piso de su casa es de tierra? 819 14.0 15.1 13.0 .419 ¿La cocina esta separada de los otros cuartos? 821 75.3 75.8 74.8 .807 ¿Tiene fosa o letrina en su casa? 813 75.0 71.4 78.0 .034 ¿Tiene agua entubada en su casa? 813 70.4 48.8 87.9 .001 En los últimos dos años ¿Ha habido cambios en 753 su casa? 7.6 8.1 7.2 .678 ¿Tiene energía eléctrica en su casa? 95.9 94.5 97.1 .073 Pregunta 813 Fuente: Cálculos propios con información recabada de las encuestas del 2002 Tabla 3.1.13 Número de horas al día que tiene agua entubada en su casa, total y por programa de la CONAZA, (PA y DHS) Desviación Programa de la CONAZA n Media Mediana Estándar Plan Acuario 370 5.79 0.0 9.02 Desarrollo para los Habitantes del Semidesierto 453 11.35 5.0 10.74 823 8.85 3.0 10.38 Total Fuente: Cálculos propios con información recabada de las encuestas del 2002 El promedio de horas al día que en la vivienda se tiene agua entubada es 8.85 (mediana de 3), existiendo diferencias altamente significativas entre ambos programas, 5.79 y 11.35 horas para PA y DHS respectivamente (ver tabla 3.1.13). Al analizar esta variable considerando los cuatro tipos de programas se encontraron diferencias altamente significativas (p < .001), de acuerdo con la prueba de Kruskal - Wallis. En la tabla 3.1.14 se observa que los valores medios más bajos se encontraron en Control de la Desertificación (0.96 horas), no mostrando diferencia significativa del Plan Acuario (5.79 horas). 42 Documento Final CONAZA 2002 Tabla 3.1.14 Horas al día que tiene agua entubada en su casa, por tipo de programa y línea de acción de la CONAZA Tipo de programa o línea de acción aplicado a la comunidad N Media (1) Mediana Desviación Estándar PA = Plan Acuario 370 5.79 c 0.0 9.02 PP = Proyectos Pecuarios 243 13.28 a 10.0 10.52 AP = Agua Potable 175 10.76 b 4.0 10.89 CD = Control de la Desertificación 35 0.96 c 1.0 0.97 823 8.85 3.0 10.38 Total (1) Medias con la misma letra no son estadísticamente diferentes, α = .05, según la prueba de Mann - Whitney. Fuente: Cálculos propios con información recabada de las encuestas del 2002 3.2 Beneficios económicos y sociales En esta sección, se presentan los resultados más relevantes acerca de las comparaciones de los índices de marginación calculados con la información generada por las encuestas de campo. Estos índices están formados por índices de: analfabetismo, vivienda, agua potable, drenaje, ingreso, riqueza, alimentación y disponibilidad de otros servicios.8 Para darle una mejor interpretación a los resultados de la tabla 3.2.2, en la tabla 3.2.1 se presentan los significados de los índices utilizados para medir el grado de marginación. Tabla 3.2.1 Nombre y definición de los diez índices considerados en el estudio Índice Definición Analfabeta Porcentaje de personas mayores a los 7 años de edad sin instrucción. Porcentaje de las viviendas donde el piso es de tierra. Piso Personas Número de personas por cuarto. Porcentaje de viviendas sin energía eléctrica. Energía Porcentaje de viviendas sin drenaje. Drenaje Porcentaje de viviendas sin agua entubada en le terreno de la vivienda. Agua 1 Disponibilidad de agua por horas. Agua 2 Alimento Porcentaje de familias donde las calorías consumidas son menores a las requeridas. Porcentaje de familias con ingreso menor a la media. Ingresos Porcentaje de familias con riqueza menor a la media. Riqueza Fuente: Cálculos propios con información recabada de las encuestas del 2002 8 La metodología para el cálculo de estos índices se detalla en el anexo metodológico. 43 Documento Final CONAZA 2002 La tabla 3.2.2 muestra las estadísticas descriptivas de los índices estimados por comunidad (43, dado que se eliminó de este análisis a la localidad Puerta el Arenal, por contar con sólo 3 observaciones que además mostraban inconsistencias), estos resultados muestran que en promedio para todas las comunidades del Plan Acuario y el PDHS; el nivel de analfabetismo es del 16.79 %, el 14.47% de las viviendas tiene piso de tierra, en promedio hay 1.6 personas por cuarto, 4.16% de las viviendas no disponen de energía eléctrica, 26.93% de las viviendas no cuentan con drenaje, 37.27% viviendas no cuentan con agua entubada en sus terrenos, sólo cuentan con servicios de agua durante 16.22 (valor del índice Agua2 = 67.60) horas por día en promedio, 51.78 % de las familias consumen menos calorías de las requeridas por localidad, 73.98 de las familias tiene ingresos menores al promedio y en cuanto a la riqueza el 62.55 % de tiene un ingreso menor al promedio. Tabla 3.2.2 Estadísticas Descriptivas de los Diez Índices Analizados, considerando las localidades de los programas de la CONAZA, DHS y PA Valor Mínimo Valor Máximo Media Mediana Tercer Cuartil Analfabeta 2.86 44.83 16.79 8.66 12.22 16.27 22.35 Piso 0.00 53.33 14.47 12.42 6.66 12.00 20.00 Personas 0.76 2.46 1.61 0.35 1.41 1.50 1.85 Energía 0.0 28.60 4.16 7.17 .00 .00 8.00 Drenaje 0.0 100.00 26.93 25.38 8.00 15.38 42.30 Agua 1 0.0 100.00 37.27 42.52 .00 12.00 91.66 Agua 2 0.00 100.00 67.60 34.26 42.50 83.69 95.37 Alimento 12.50 84.00 51.78 20.86 34.61 53.33 71.42 Ingresos 0.00 95.80 73.98 21.04 71.40 76.00 88.00 Riqueza 26.70 92.00 62.55 17.39 52.00 66.70 73.30 Índice Desviación Primer Estándar Cuartil (n = 43) Fuente: Cálculos propios con información recabada de las encuestas del 2002 3.2.1 Beneficios sociales La comparación de los índices entre localidades por tipo de programa (Plan Acuario y Programa de Desarrollo para los Habitantes del Semidesierto) esta detallada por los resultados de la siguiente 44 Documento Final CONAZA 2002 tabla. Los factores son el resultado de la combinación lineal de los diez índices señalados anteriormente, previamente estandarizados, tienen media 0 y varianza 1. Tabla. 3.2.1.1 Resultado de la comparación de programas de la CONAZA, por factor o componente principal(1) n Media D.E. tcal Valor de p(2) Plan Acuario 25 0.095 1.0840 0.73 0.469 Desarrollo para los Habitantes del Semidesierto 18 -0.132 0.8831 Plan Acuario 25 0.323 1.0718 2.67 0.011 Desarrollo para los Habitantes del Semidesierto 18 -0.448 0.6940 Plan Acuario 25 0.160 1.1041 1.25 0.219 Desarrollo para los Habitantes del Semidesierto 18 -0.223 0.8119 Plan Acuario 25 0.054 0.9942 0.42 0.679 Desarrollo para los Habitantes del Semidesierto 18 -0.075 1.0318 Componente Programa de la CONAZA Factor 1 Factor 2 Factor 3 Factor 4 (1) Los detalles y resultados de la construcción de los factores o componentes se presentan en el Anexo I. (2) De la prueba t de Student para contrastar las medias de dos poblaciones, muestras independientes. Fuente: Cálculos propios con información recabada de las encuestas del 2002 Estos resultados muestran que al comparar el Plan Acuario con el PDHS sólo hay significancia en el factor 2 (segundo componente) al 95% de confianza (α= 0.05); sin embargo, si se usa 99% de confianza ningún factor es significativo, (α= 0.01). Este resultado es conveniente pues nos hace ver que en cuanto al nivel de marginación las muestras del Plan Acuario y las del PDHS son muy similares. Algo similar sucede cuando se hacen comparaciones por línea de acción pues sólo es significativo el factor 2 al 95% de confianza y ninguno de los factores es significativo al 99%. Estos resultados son 45 Documento Final CONAZA 2002 verificables en la tabla 3.2.2.2; en ella se muestran los resultados de las comparaciones entre líneas de acción. Tabla 3.2.1.2 Resultado de los Análisis de Varianza para los Componentes Principales o Factores, considerando línea de acción como grupo Factor 1 Fuente de Variación Suma de Cuadrados GL Entre Grupos 7.473564 3 Dentro de Grupos 34.526435 39 Total 42 42 Cuadrado Medio 2.491188 0.885293 F 2.81 Valor de p 0.051 Cuadrado Medio 2.734016 0.866614 F 3.15 Valor de p 0.035 Cuadrado Medio 1.279365 0.978510 F 1.31 Valor de p 0.285 Cuadrado Medio 0.509202 1.037753 F 0.49 Valor de 0.690 Factor 2 Fuente de Variación Suma de Cuadrados GL Entre Grupos 8.202050 3 Dentro de Grupos 33.797949 39 Total 42 42 Factor 3 Fuente de Variación Suma de Cuadrados GL Entre Grupos 3.838095 3 Dentro de Grupos 38.161904 39 Total 42 42 Factor 4 Fuente de Variación Suma de Cuadrados GL Entre Grupos 1.527606 3 Dentro de Grupos 40.472393 39 Total 42 42 (n = 43) Fuente: Cálculos propios con información recabada de las encuestas del 2002 Los resultados generados por los factores encontrados muestran, a través del factor 2, que tanto las comunidades entrevistadas en el Plan Acuario como las atendidas a través del Control de la Desertificación tienen un mayor grado de marginación comparándolas con las comunidades atendidas por las líneas de acción de Agua Potable y Proyectos Pecuarios. Es importante recordar que estos resultados son válidos al 95% de confianza. 46 Documento Final CONAZA 2002 Tabla 3.2.1.3 Medias y Desviaciones Estándar para los Componentes Principales o Factores Factor 1 Programa de la CONAZA Factor 2 Factor 3 n Media D.E. Media Plan Acuario 25 0.095 1.0840 0.323 Proyectos Pecuarios 10 -0.465 0.5182 -0.680 0.6224 -0.416 0.8585 0.106 1.0951 Agua Potable 6 0.714 -0.336 0.6470 -0.228 0.3963 -0.461 1.0460 Control de la Desertificación 2 -1.005 1.1332 0.7242 0.372 D.E. Media Factor 4 D.E. Media D.E. 1.0718 0.160 1.1041 0.054 0.9942 0.8045 0.758 1.2194 0.174 0.6958 Fuente: Cálculos propios con información recabada de las encuestas del 2002 Al considerar las 18 localidades muestreadas, pertenecientes al programa de Desarrollo de los Habitantes del Semidesierto, se encontró que la hipótesis nula de normalidad en la distribución del factor (o componente principal) no se rechaza, para ninguno de los cuatro factores, de acuerdo a lo reportado por la prueba de Kolmogorov-Smirnov para normalidad (ver tabla 3.2.1.4). Tabla 3.2.1.4 Resultados de la prueba de Kolmogorov-Smirnov para normalidad en los componentes principales o factores para el PDHS Factor 1 Factor 2 Factor 3 Factor 4 Media -0.132 -0.449 -0.223 -0.076 Desviación Estándar 0.883 0.694 0.812 1.032 Kolmogorov-Smirnov Z 0.758 0.627 0.549 0.630 Valor de p (bilateral) 0.613 0.826 0.924 0.823 (n = 18) Fuente: Cálculos propios con información recabada de las encuestas del 2002 Por lo tanto, se utilizó el análisis de varianza paramétrico para probar la hipótesis nula de igualdad de medias, en cada uno de los componentes principales. El modelo empleado fue el diseño factorial con dos factores, sin interacción, siendo los factores Obra con dos niveles (con obra y sin obra en la localidad) y Programa con tres niveles (Agua Potable, Proyectos Pecuarios y Control de la Desertificación). Los resultados de estos análisis se presentan en la tabla 3.2.1.5. En esta tabla se observa que para los cuatro factores (componentes) no se rechaza la hipótesis nula de que la media del componente de las localidades con obra es igual a la media del componente de las localidades en donde no se tiene obra. Con respecto a Programa, se encontró significancia estadística solamente en el componente 1 (p = .006). Las medias del factor 1 se presentan en la tabla 3.2.1.3, en donde, al 47 Documento Final CONAZA 2002 considerar el Programa DHS, se observa que el promedio más grande (mayor grado de marginación) es 0.714 el cuál está asociado a la línea de acción P002 (Infraestructura Social Básica o Agua Potable). Por otro lado, la media más pequeña (menor grado de marginación) es -1.005 para la línea de acción P003 (Control de la Desertificación). Estas medias (0.714 y –1.005) son estadísticamente diferentes, además al emplear la prueba de rango múltiple de Tukey, resulta que la media asociada a la línea de acción P005 (Infraestructura Productiva o Proyectos Pecuarios), -0.465, muestra significancia estadística con la media de P002 pero no de la media de P003. Por lo tanto se concluye que las obras de Agua Potable se asignan a localidades con mayor grado de pobreza, mientras que, tanto las localidades del programa de Control de la Desertificación como aquellas donde se beneficiaron por Proyectos Pecuarios no alcanzan promedios de niveles de marginación tan bajos como los niveles de las comunidades que se benefician con obras de Infraestructura Social Básica (Agua Potable). Por lo tanto sería recomendable analizar ambos, el procedimiento de asignación de las obras y su distribución en las tres líneas de acción del Programa DHS. Tabla 3.2.1.5 Análisis de Varianza para los componentes principales (factores), considerando el tipo de programa y la situación de la obra en la localidad Factor 1 Fuente de Variación G L Factor 2 Factor 3 Factor 4 F Valor de p F Valor de p F Valor de p F Valor de p Modelo 3 5.31 0.012 1.59 0.237 1.32 0.308 0.61 0.618 Obra 1 0.28 0.608 0.26 0.615 0.27 0.611 0.65 0.432 Programa 2 7.47 0.006 2.37 0.130 1.94 0.180 0.46 0.640 Error 14 Total corregido 17 R2 (%) 53.2 25.40 22.00 11.60 (n = 18) Fuente: Cálculos propios con información recabada de las encuestas del 2002 Los diez índices no mostraron suficiente evidencia para que la hipótesis nula de distribución normal se rechazara, con α = 0.01. Solamente en dos de ellos (Agua 1 y Energía) se encontró significancia estadística al trabajar con un 95% de confianza (α = 0.05), ver tabla 3.2.1.6. Debido a estos resultados y a que los estadísticos F del análisis de varianza son robustos se efectuaron los análisis de los diez índices con el modelo de dos factores. 48 Documento Final CONAZA 2002 Tabla 3.2.1.6 Resultados de la prueba de Kolmogorov-Smirnov para normalidad en los diez índices analizados Analfabeta Personas Agua 1 Agua 2 Drenaje Media 16.985 1.445 15.806 55.747 25.005 Desviación Estándar 6.363 0.292 30.544 40.006 22.089 Kolmogorov-Smirnov Z 0.492 0.705 1.418 1.093 0.907 Valor de p (bilateral) 0.969 0.703 0.036 0.183 0.383 Energía Piso Alimento Ingresos Riqueza Media 2.988 13.525 47.182 72.172 59.339 Desviación Estándar 4.422 10.295 21.064 15.560 17.186 Kolmogorov-Smirnov Z 1.534 0.875 0.566 0.648 0.579 Valor de p (bilateral) 0.018 0.428 0.906 0.795 0.891 (n = 18) Fuente: Cálculos propios con información recabada de las encuestas del 2002 Tabla 3.2.1.7 Análisis de varianza para los diez índices, considerando el tipo de programa y la situación de la obra en la localidad Fuente de Variación Modelo Obra Programa Error Total corregido R2 (%) GL 3 1 2 14 17 Analfabeta F Sig. 3.86 0.033 2.23 0.158 4.35 0.034 45.3 29.00 Piso Fuente de Variación GL Modelo 3 Obra 1 Programa 2 Error 14 Total 17 2 (n=18) R (%) F 2.08 1.13 2.95 30.90 Agua 1 F Sig. 1.90 0.176 0.19 0.666 2.85 0.091 Sig. 0.148 0.305 0.085 Alimento F Sig. 0.41 0.751 0.51 0.485 0.23 0.797 8.00 Agua 2 F Sig. 1.21 0.341 0.27 0.612 1.80 0.202 20.60 Ingresos F Sig. 1.89 0.178 0.46 0.509 2.36 0.131 28.80 Drenaje F Sig. 1.50 0.259 0.89 0.360 1.87 0.190 24.30 Riqueza F Sig. 2.93 0.071 0.09 0.770 4.24 0.036 38.50 Energía F Sig. 1.05 0.399 0.70 0.415 1.45 0.268 18.40 Personas F Sig. 1.64 0.226 0.17 0.684 2.12 0.157 26.00 Fuente: Cálculos propios con información recabada de las encuestas del 2002 49 Documento Final CONAZA 2002 Al analizar los diez índices con el modelo factorial, se encontró que en las medias asociadas a los dos niveles del factor Obra, con y sin, no mostraron diferencias significativas. Por otro lado, en el factor Programa se encontraron diferencias significativas (α = 0.05), en las medias de sus tres niveles, en sólo dos de los índices, Analfabetismo y Riqueza, ver tabla 3.2.1.7. 3.2.2 Beneficios económicos: análisis costo-beneficio Plan Acuario Aunque no es la única manera de hacer un análisis costo beneficio del Plan Acuario, se hace una aproximación considerando la información disponible tanto para los costos como para los beneficios. El Plan Acuario contó con un presupuesto de $5,375,449 pesos para el año 2002 y distribuyó 1,227,792 m3 de agua en el mismo periodo. Esto significa que el costo de distribución de un metro cúbico de agua en el Plan Acuario es $4.38. El agua que distribuye la SEDENA es gratuita y para consumo humano, consecuentemente no tiene un precio de mercado. Es muy difícil estimar la demanda de un bien para el cual no existe mercado, y por consecuencia cuantificar los beneficios del Plan Acuario en términos monetarios. Sin embargo, se puede tomar como referencia de su valor, el precio que tendría comprar una cantidad similar de agua en algún mercado colateral que se caracterice por la escasez. La SEDENA distribuye cada mes un promedio de 1.3 m3 de agua a las familias beneficiarias. Un metro cúbico de agua en el Área Metropolitana de Monterrey, considerando un consumo reducido, tendría un precio aproximado de $4.6. Este monto sería el mínimo que se podría tomar como beneficio, en términos monetarios, de contar con un metro cúbico de agua en Monterrey. Por ejemplo, solamente como referencia, la razón beneficio-costo en este caso sería al menos de 1.05 (Beneficio/Costo). Este resultado debe de tomarse con cautela, algunos investigadores en este campo sugieren que en aquellos estudios en los cuales el componente más importante de los beneficios no puede ser cuantificado de manera objetiva, los análisis de beneficio costo carecen de relevancia.9 9 Sassone, P. G. y W. A. Schaffer. 1978. Cost-Benefit Analysis: A Handbook. Academic Press. 50 Documento Final CONAZA 2002 Programa de Desarrollo para los Habitantes del Semidesierto Las principales razones por las cuales no fue posible realizar una evaluación beneficio costo del PDHS en el año 2002 son las siguientes: Al momento de realizar el trabajo de campo una alta proporción de las obras, a pesar de estar reportadas como existentes, aún no se habían terminado. En consecuencia, la mayor parte de las observaciones corresponden a localidades en donde simplemente no existen beneficios que medir. Para ejemplificar, solamente 86 de los 243 entrevistados que corresponden a infraestructura productiva (proyectos pecuarios) contestaron a la pregunta: ¿considera que el programa lo ha beneficiado? Más aún, solo 28 de estos 86 individuos contestaron afirmativamente. Las pocas observaciones disponibles para hacer una evaluación corresponden a localidades en donde las obras apenas fueron concluidas o llevaban un avance sustantivo al momento de realizar el trabajo de campo. Sin embargo, se desprende del análisis de las respuestas de los entrevistados, generalmente dispuestos a evaluar cualitativamente los programas pero incapaces de precisar en que consiste el beneficio, ya que aún no ha transcurrido suficiente tiempo como para que perciban los beneficios de las obras. Sus respuestas corresponden muy probablemente a factores no relacionados directamente con los programas, como podrían ser la situación particular del entrevistado, los apoyos de otras instituciones o las expectativas que genera la obra. Originalmente para la evaluación del ejercicio 2002 se propuso capturar el cambio en el índice de marginación, provocados por el cambio en el ingreso derivado de la implementación de las obras; además se pretendía encontrar el valor de la producción, agrícola y pecuaria, debido al incremento en la productividad como consecuencia de la realización de la obra. Debido a las razones presentadas en los párrafos anteriores no se pudo completar la evaluación beneficio-costo. 51 Documento Final CONAZA 2002 Es posible realizar dos tipos de análisis costo-beneficio: ex ante y ex post. En ambos casos, es necesario contar con información específica que permita calcular flujos de costos y beneficios. El propósito del presente estudio era recabar la información necesaria, mediante la aplicación del cuestionario, para realizar un análisis ex post. Desafortunadamente, los expedientes técnicos no contienen la información requerida para hacer un análisis ex ante. Incluso, no se recomienda exigir que los expedientes contengan un análisis de beneficio costo ex ante, dados los costos de hacerlo en relación con los montos de los proyectos. Programa de Vinculación Científica y Transferencia de Tecnología No se hace una medición de los beneficios del programa por varias razones: primero, en este programa no es fácil identificar a los beneficiarios (ver lista de proyectos en el Anexo 6), segundo, como ocurrió en el PDHS, la mayoría de los proyectos no se habían concluido o no habían madurado. Por citar un par de ejemplos, en los proyectos “Transferencia de Tecnología para la Conservación de Áreas Reforestadas en los Sistemas de Captación de Agua” y “Transferencia de Tecnología sobre Sistemas de Captación de Agua de Lluvia en Techos” entre la fecha de conclusión y la fecha de evaluación no se registró lluvia de manera que fuese posible cuantificar algún beneficio. 3.3 Comparación estructural de la inversión En el año 2002 la Comisión Nacional de las Zonas Áridas modificó la estructura de sus programas de tal manera que desaparecen las diferencias entre el PAZA y el PNI; para el caso del PDHS, son ahora los Gobiernos estatales y municipales quienes ejercen y deciden en que localidades y municipios se realizarán las obras. Los cuadros que se presentan a continuación se crearon con información del Cierre de ejercicios enero 2002–enero 2003. Hasta este momento se han contemplado la mayoría de los cambios en la asignación de recursos que realizaron los Estados. 52 Documento Final CONAZA 2002 El gasto total registrado hasta enero del 2003 ascendió a $105,038,0850 pesos. La tabla 3.3.1 presenta la asignación del gasto durante el pasado ejercicio; en el estado de Hidalgo se realizó un gasto del $12,762,837 lo cual es equivalente al 12.15 % del gasto total; en niveles de inversión por estado le siguen el estado de México con $11,149,891 (10.62%). El estado con la menor inversión fue Sonora con $3,012,000, esta gasto apenas representa el 2.27% del total. La línea de acción a la que se asignó una mayor inversión fue Infraestructura Social Básica donde se destinaron $43,397,837; es conveniente recordar que en esta línea de acción se incluyen los proyectos que facilitan el acceso al agua potable, y estos a su vez son los proyectos que tienden a disminuir en mayor medida los niveles de marginación (resultado presentado en Evaluación CONAZA 2000). Tabla 3.3.1 Inversión total por línea de acción y por Estado Estado Infraestructura Social Básica P002 ($) Control de la Desertificación P003 ($) Infraestructura Productiva P005 ($) Total por Estado ($) Ags. B. C. N. B. C. S. Chih. Coah. Dgo. Edomex. Hgo. N. L. Oax. S. L. P. Son. Tamps. Zac. Total por línea de acción 0 0 1,242,790 5,070,423 4,152,124 3,365,634 4,575,325 3,866,978 4,169,000 1,858,263 7,880,734 0 4,095,313 5,121,253 45,397,837 (43.22%) 389,999 4,000,000 0 653,598 0 509,383 226,886 900,000 0 4,746,700 0 3,012,000 0 692,387 15,130,953 (14.41%) 4,259,651 0 2,485,466 3,363,144 5,078,000 2,944,485 6,347,680 7,995,859 2,319,154 2,000,000 2,357,278 0 2,775,666 2,582,913 44,509,295 (42.37%) 4,649,650 4,000,000 3,728,256 9,087,165 9,230,124 6,819,502 11,149,891 12,762,837 6,488,154 8,604,963 10,238,012 3,012,000 6,870,979 8,396,553 105,038,085 (100%) Fuente: Cálculos propios con información recabada de las encuestas del 2002 La distribución que se muestra en la tabla 3.3.1 señala que en el 2002 solamente el 43.22% de los recursos de la CONAZA se asignan a los proyectos de Infraestructura Social Básica. Los cuales están asociados a la población de más alta marginación como se encontró en la evaluación para el año 2000. Se observa en la evaluación correspondiente al 2001 que la CONAZA mejoró la asignación de los recursos en este sentido. Sin embargo, en el 2002 esta asignación se deteriora. 53 Documento Final CONAZA 2002 En la siguiente tabla se presenta la inversión promedio por proyecto para cada Estado, por línea de acción. Tabla 3.3.2 Gasto de inversión promedio por proyecto para cada línea de acción Estado Aguascalientes Baja California Norte Baja California Sur Chihuahua Coahuila Durango Estado de México Hidalgo Nuevo León Oaxaca San Luis Potosí Sonora Tamaulipas Zacatecas Infraestructura Social Básica P002 ($) 0 0 310,697.50 140,845.08 159,697.08 112,187.80 269,136.76 154,679.12 173,708.33 116,141.44 271,749.45 0 141,217.69 189,676.04 Control de la Desertificación P003 ($) 55,714.14 4,000,000.00 0 72,622.00 0 84,897.17 22,688.60 64,285.71 0 66,854.93 0 40,702.70 0 115,397.83 Infraestructura Productiva P005 ($) 99,061.65 0 69,040.72 64,675.84 158,687.50 65,433.00 91,995.36 216,104.30 165,653.86 125,000.00 130,959.89 0 213,512.77 67,971.38 Fuente: Cálculos propios con información recabada de las encuestas del 2002 La tabla 3.3.3 muestra la inversión promedio por beneficiario. En general durante el ejercicio 2002 se gastaron $255.63 pesos por beneficiario y fue Zacatecas el Estado que invirtió más en cada uno de ellos ($1,450.43); mientras que el Estado de menor inversión fue el Estado de México con ($66.49). En la sección sobre Cobertura y Focalización del Capítulo II, se mencionan las discrepancias entre el número de beneficiaros reportados por los expedientes técnico, el Cierre 2002 y las respuestas de los entrevistados; los resultados presentados en la tablas 3.3.1 y 3.3.3 son generados con la información proporcionada por el Cierre del Ejercicio 2002. Es conveniente hacer esta aclaración puesto que el número real de beneficiarios no está disponible. 54 Documento Final CONAZA 2002 Tabla 3.3.3 Inversión total por beneficiario Estado Infraestructura Social Básica P002 ($) Control de la desertificación P003 ($) Infraestructura Productiva P005 ($) Total por Estado ($) Ags. B. C. N. B. C. S. Chih. Coah. Dgo. Edomex. Hgo. N. L. Oax. S. L. P. Son. Tamps. Zac. Promedio por línea de acción 0 0 544 2,107 927 478 136 223 808 359 731 0 1,124 1,251 473 97 80 0 8,488 0 485 7 124 0 11,778 0 136 0 1,618 129 210 0 1,879 221 759 4,078 62 220 1,108 279 823 0 1,850 2,037 225 191 80 1,034 514 826 774 66 210 894 676 750 136 1,335 1,450 256 Fuente: Cálculos propios con información recabada de las encuestas del 2002 3.4 Pertinencia de los programas En el Plan Nacional de Desarrollo se ha propuesto una visión de México para el año 2025, donde entre otras cosas se busca una mayor cobertura educativa, un incremento significativo en el nivel de vida y la desaparición de la pobreza extrema. En este Plan también se menciona la necesidad de perfeccionar las políticas y los programas sociales, pues la mayoría de las personas y familias en México encuentran todavía la esperanza de alcanzar un mejoramiento económico en las diversas políticas sociales. Como podemos ver el Plan Nacional de Desarrollo pone mucho énfasis en la educación y en la mejora del nivel de vida. Para lograr esto, es necesario que las políticas y los programas sociales cumplan con sus objetivos. Si se piensa en la educación como un motor que impulse el desarrollo del país, es necesario atacar las necesidades básicas de nuestros niños y jóvenes a través de los programas sociales. 55 Documento Final CONAZA 2002 Los Programas de la Comisión Nacional de Zonas Áridas buscan participar en el desarrollo del país transformando las zonas áridas en un lugar de oportunidades, donde la forma de vivir sea más digna y con mejor futuro, haciendo esfuerzos conjuntos para revertir la marginación de las comunidades rurales de las zonas áridas. Los programas de la CONAZA van acorde con los propósitos del Programa Nacional de Desarrollo, pues atacan problemas de la población que se encuentra en extrema pobreza. En la medida que hacen posible que la población en estos lugares pueda satisfacer sus necesidades básicas como son el tener acceso al agua, a una vivienda digna y a una buena alimentación, se podrá esperar que los niños y jóvenes que habitan en estos lugares se mantengan por más tiempo en la escuela y tengan mejor aprovechamiento. Para alcanzar las metas del Plan Nacional de Desarrollo, es necesario mejorar la focalización de los programas. No se justifica que un porcentaje importante de los recursos se destinen hacia grupos de población de mediana, baja y muy baja marginación, cuando todavía no se ha logrado atender a los grupos de población con mayores carencias. 56 Documento Final CONAZA 2002 CAPTIULO IV PROGRAMA DEL PLAN ACUARIO 4.1. Descripción El Programa Plan Acuario, operado de manera coordinada por la CONAZA y la Secretaría de la Defensa Nacional, tiene como objetivo el abasto gratuito de agua para consumo humano a la población en pobreza extrema de las comunidades rurales del desierto y semidesierto del país, utilizando camiones cisterna para proporcionar este servicio en aquellos lugares donde es prohibitivamente costoso hacerlo de otra forma. Toda vez que este Programa es operado en coordinación con la Secretaría de la Defensa Nacional, otro de sus objetivos es el de participar en la aplicación del “Plan DN III” y en los programas emergentes contra la sequía, entre otros. El presupuesto que la CONAZA asigna para la operación del Programa Plan Acuario, se destina al mantenimiento preventivo y correctivo de los camiones cisterna con que opera, mismos que son de su propiedad, y por su parte la SEDENA aporta el combustible y el personal operativo que se encarga de distribuir el agua. De manera similar, la SEDENA a través de las zonas militares y las delegaciones CONAZA se encargan de determinar las comunidades beneficiarias considerando los siguientes criterios de elegibilidad: la detección de las localidades con mayor carencia del líquido, las unidades disponibles por área de influencia, así como la disponibilidad de combustible y otros insumos para cubrir las rutas diseñadas. Por lo que se refiere al aspecto programático-presupuestal, la SEDENA informa mensualmente sobre el cumplimiento de las metas programadas y el avance financiero durante los primeros 5 días del mes siguiente, con el fin de que la CONAZA esté en condiciones de informar sobre la operación del Programa a la Unidad de Coordinación Sectorial de la SEDESOL y a las dependencias que en cumplimiento de funciones así lo requieran. 57 Documento Final CONAZA 2002 Los Estados que fueron atendidos en el 2002 por este programa son: Aguascalientes, Baja California, Coahuila, Chihuahua, Durango, Hidalgo, Nuevo León, Oaxaca, Sonora, San Luis Potosí, Tamaulipas, Zacatecas, Guanajuato, Querétaro y Tlaxcala. 4.2 Resultados de la evaluación de gabinete La evaluación consistió en un estudio de gabinete con la información proporcionada por la CONAZA. Esta hace referencia a los informes del mes de Enero a Diciembre del 2002 de los siguientes estados: Aguascalientes, Baja California, Coahuila, Chihuahua, Durango, Hidalgo, Nuevo León, Oaxaca, Sonora, San Luis Potosí, Tamaulipas, Zacatecas, Guanajuato, Querétaro y Tlaxcala. Estado Ags. B. C. N. Coah. Chih. Dgo. Gto. Hgo. N. L. Oax. Qro. S. L. P. Son. Tamps. Tlax. Zac. Total Tabla 4.2.1 Plan Acuario: Resultados para el año 2002 No. Localidades No. Habitantes m3 Distribuidos m3 Distribuidos por Habitante 110 26,260 4,350 0.166 29 15,821 12,873 0.814 138 32,170 16,736 0.520 27 19,463 9,344 0.480 63 29,775 7,309 0.245 63 15,317 6,416 0.419 144 20,798 4,339 0.209 131 26,552 1,645 0.062 39 2,685 865 0.322 70 36,609 8,383 0.229 137 42,091 9,971 0.237 29 25,734 5,686 0.221 69 18,662 3,592 0.192 34 12,585 1,115 0.089 137 31,676 9,692 0.306 1,221 356,197 102,316 0.287 Fuente: Informes del Plan Acuario (varios estados), CONAZA, 2002 Cabe mencionar que para la realización de este reporte no se nos proporcionó información sobre el número de camiones usados para cubrir las necesidades de agua para cada Estado. Debido a lo anterior, no fue posible conocer la eficiencia con que se usan los camiones, por ejemplo: el número de habitantes por camión y el número de m3 por camión. 58 Documento Final CONAZA 2002 En la tabla 4.2.1 se presentan los resultados obtenidos del estudio de gabinete en relación a las variables número de localidades atendidas, número de habitantes atendidos, metros cúbicos distribuidos y los metros cúbicos distribuidos por habitante. Esta última variable ayudará a conocer sobre la eficiencia en la distribución del agua. Con la información proporcionada en la tabla 4.2.1, se muestra que el Estado donde se atiende a un mayor número de habitantes es San Luis Potosí, mientras que en Oaxaca se atiende a un menor número de habitantes. Sin embargo, la distribución del agua en Oaxaca tiene una eficiencia mayor que en San Luis Potosí, lo cual significa que en Oaxaca se distribuye más agua por habitante que en San Luis Potosí. Respecto a la eficiencia de la distribución del agua, se observa que en Baja California la distribución se da con mayor eficiencia, mientras que en Nuevo León la distribución es menos eficiente. Tabla 4.2.2 Plan Acuario: Resultados para el año 2001 Estado Tamaulipas Zacatecas Queretaro Sonora Chihuahua Aguascalientes Nuevo León Oaxaca Hidalgo Guanajuato Durango México Total Plan Acuario Resultados del mes de Diciembre Habitantes M3 distribuidos atendidos por por camión camión 3390.4 437.14 1258.0 594.13 3138.2 490.91 3060.0 782.50 11017.9 1765.00 2509.8 366.36 2753.4 202.73 294.5 86.00 3918.1 633.33 1744.4 881.25 5096.6 322.91 3510.9 545.45 3528.4 622.56 M3 distribuidos por habitante 0.129 0.472 0.156 0.256 0.160 0.146 0.074 0.292 0.162 0.505 0.063 0.155 0.176 Fuente: Informes del Plan Acuario (varios Estados). CONAZA, diciembre de 2001 La tabla 4.2.2 muestra la información del Plan Acuario proporcionada para el año 2001, en ella se presenta el número de habitantes atendidos por camión, m3 distribuidos por camión y m3 distribuidos por habitante. Cuando se hace la comparación con el año anterior (2001), en lo referente a eficiencia (definida como metros cúbicos distribuidos por habitantes) se puede notar que en el año 2002 se distribuyeron 0.287 m3 por habitante, mientras en el 2001 sólo 0.176 m3 por habitante. Lo anterior 59 Documento Final CONAZA 2002 significa que el aumento en la eficiencia fue de 63%. Sin embargo, el número de habitantes atendidos se redujo en 43%. Se indagó con los funcionarios de la CONAZA buscando una explicación a esta reducción, señalándose que en el 2002 se hizo una depuración del padrón de beneficiarios del Plan Acuario eliminando los casos en donde se detectó doble contabilidad. 4.3 Grado de satisfacción Dentro de la encuesta de trabajo de campo, se incluye una sección que permite captar el cambio percibido en los beneficios y la opinión de los beneficiarios respecto al programa. En el siguiente cuadro se presentan los resultados generales para el programa Plan Acuario. Tabla 4.3.1 Calificación otorgada al Plan Acuario ¿Cómo calificaría el programa? Plan Acuario Frecuencia % Muy malo Malo Regular Bueno Muy bueno Total 2 15 58 150 38 263 0.76 5.7 22.05 57.03 14.44 100 Fuente: cálculos propios con información de las encuestas 2002 Podemos mencionar que los beneficiados el Plan Acuario están satisfechos con los las respuestas Bueno y Muy bueno suman más del 70% de los beneficiarios. Es importante notar que sólo 263 (70.5%) de los 373 beneficiarios entrevistados del Plan Acuario respondieron a la pregunta. Además de la calificación otorgada por los beneficiarios, factores como la atención que reciben de los elementos del ejercito son importantes para determinar el grado de satisfacción. En el siguiente cuadro se presentan los resultados correspondientes a la pregunta “¿Cuál fue el trato que recibieron de SEDENA?” Tabla 4.3.2 Trato recibido por elementos del ejército. ¿Cuál fue el trato que recibieron Muy malo Malo Regular Bueno Muy bueno Total de SEDENA ? Plan Acuario Frecuencia (SEDENA) % 2 10 46 153 34 245 0.81 4.08 18.77 62.44 13.87 100 Fuente: cálculos propios con información de las encuestas 2002 60 Documento Final CONAZA 2002 En este caso sólo respondieron 245 (65.6%) beneficiarios. Al considerar la doble estratificación acerca sobre el trato recibido por la SEDENA y la calificación otorgada al programa se encontraron los resultados de la tabla 4.3.3. En esta tabla se muestra que 151 (62.13%) individuos de 243 que respondieron, consideran que el trato del SEDENA y la calificación del programa son buenos lo cual índica un alto grado de satisfacción de los beneficiarios. Tabla 4.3.3 Doble estratificación por trato y calificación del programa. ¿Cuál fue el trato recibido por la SEDENA? TOTAL Malo o muy Regular Bueno o Muy Malo bueno Malo o muy 9 1 3 13 malo ¿Cómo Regular 2 21 32 55 calificaría al Bueno o Muy programa? 1 23 151 175 bueno 12 45 186 243 Total Fuente: cálculos propios con información de las encuestas 2002 Es importante hacer notar que debido a la poca respuesta de los entrevistados (la gran proporción de no respuesta), no es posible presentar resultados confiables para niveles más desagregados como localidades, municipios, líneas de acción o estados. 61 Documento Final CONAZA 2002 CAPÍTULO V PROGRAMA DE VINCULACIÓN Y TRANSFERENCIA DE TECNOLOGÍA 5.1. Descripción Este Programa consiste en transferir tecnologías que promuevan el desarrollo sustentable y el mejoramiento de la calidad de vida de los habitantes rurales en pobreza extrema de las zonas áridas y semiáridas de nuestro país, mediante convenios de colaboración científica y tecnológica y/o acuerdos específicos que la CONAZA establezca con instituciones asociadas. Los recursos con los que cuenta el Programa de Vinculación y Transferencia de Tecnología son económicos, estipulados en un Acuerdo Específico de Colaboración con la(s) Institución(es) Asociada(s), donde se define el monto y las características de los mismos. El apoyo en especie que aporte la Institución Asociada deberá ser única y exclusivamente el correspondiente a la utilización de sus instalaciones y equipo, así como de personal especializado, para actividades concretas que conlleven a una buena ejecución de los proyectos que se realicen, además el apoyo de los beneficiarios (localidades) que por lo general también aportan mano de obra y materiales para la ejecución. Las principales características que deben tener los proyectos son las siguientes. • Que utilicen sistemas de captación de agua de lluvia como detonantes del desarrollo en las comunidades rurales de las zonas áridas y semiáridas. • Que fomenten el uso de tecnologías alternativas sustentables y la conservación de suelo y agua en las comunidades rurales de las zonas áridas y semiáridas secas. • Que resuelvan alguna problemática de la Entidad en las áreas de operación, capacitación, transferencia de tecnología, productividad y divulgación. 62 Documento Final CONAZA 2002 5.2. Evaluación de los procesos de operación El objetivo de la evaluación de los procesos es determinar si realmente son adecuados para el funcionamiento de los programas, además de constatar que cumplan con el manual técnico que indica los procedimientos necesarios para llevar a cabo los proyectos. Los elementos que deben contener los expedientes de los programas son: • Convenio general de colaboración entre instituciones: o Nombre del proyecto o Nombre de instituciones • Expediente Técnico: o Nombre del proyecto o Nombre de instituciones o Nombre de los responsables de cada institución o Lugares donde se llevó a cabo el proyecto o Tiempo de duración del proyecto o Metas del proyecto o Desglose de aportaciones Con trabajo de gabinete se revisó todos los expedientes de los programas de Vinculación y Transferencia de Tecnología. En esta evaluación se considerará la totalidad de proyectos realizados hasta el 28 de Febrero de 2003, esta cantidad asciende a 50. Se revisaron 50 expedientes correspondientes a los estados de Aguascalientes, Chihuahua, Coahuila, Durango, Hidalgo, Nuevo León, San Luis Potosí, Tamaulipas, Tlaxcala, Oaxaca y Zacatecas. En la figura 5.2.1 se muestra la distribución de expedientes por Estado. Los Estados con mayor número de proyectos son Aguascalientes (14%) y Nuevo León (14%); y los que tienen menos número son Durango (6%) y Tlaxcala (2%). 63 Documento Final CONAZA 2002 Figura 5.2.1 Distribución de Expedientes por Estado Oaxaca 8% Aguascalientes 14% Zacatecas 10% Tlaxcala 2% Chihuahua 8% Tamaulipas 8% San Luis Potosí 10% Coahuila 16% Nuevo León 14% Hidalgo 4% Durango 6% Fuente: Cálculos propios con Información de Expedientes 2002 El primer elemento con que deben contar los expedientes es el convenio general de colaboración entre la institución o instituciones asociadas y la CONAZA. Se encontró que 100% de los expedientes cuentan con convenio y de estos todos cumplen con el nombre del proyecto, el nombre de las instituciones asociadas, lugares donde se lleva acabo el proyecto, tiempo de duración del proyecto, metas del proyecto y desglose de aportaciones. Lo anterior significa que del total de expedientes de los proyectos de investigación científica y transferencia de tecnología, 100% cuentan con convenio de colaboración entre instituciones asociadas, pero el resto tiene todos los elementos con que debe contar un convenio. Lo mismo sucede en el caso de los expedientes técnicos, pues todos los proyectos que contaban con expedientes técnicos contenían la totalidad de elementos necesarios. En las siguientes tablas se presenta un desglose detallado sobre los expedientes de los proyectos de investigación científica y transferencia de tecnología; como se mencionó son 50 proyectos en total, de los cuales 31 son realizados en asociación con Universidades y Centros de Investigación. Esto quiere decir que el 62% de los proyectos se realizan en asociación con instituciones educativas. Otra información relevante presentada en esta tabla es el desglose de las aportaciones, donde CONAZA aporta el 50% del monto total de los recursos de los proyectos (11,274,795) de los cuales al 28 de Febrero del 2003 se reporta un avance financiero del 100%. De la totalidad de proyectos (50), 10 son de Agua, 28 de Actividad Productiva, 7 de Capacitación y 5 de Educación. En el Anexo 6 se presenta la lista completa de proyectos. 64 Documento Final CONAZA 2002 Tabla 5.2.1 Presupuesto en los proyectos de vinculación científica y transferencia de tecnología Proyectos: No. Expedientes con Universidades y Centros de Investigación 31 con otras instituciones 19 Totales 50 Aportaciones: de CONAZA de asociados Totales Pesos $5,645,000 $5,629,795 $11,274,795 Fuente: CONAZA 5.3 Encuesta a las instituciones asociadas Con el fin de conocer más sobre la eficiencia de los proyectos de Vinculación y Transferencia de Tecnología, se aplicó una encuesta a las instituciones asociadas que realizaron estos proyectos de manera conjunta con la CONAZA. Se aplicó la encuesta a las instituciones que colaboraron para realizar los 50 proyectos. La mecánica para recolectar la información fue la siguiente: se les contactó vía telefónica, se les envió la encuesta por fax y en algunas ocasiones por correo electrónico, y se les pidió que la respondieran a la brevedad posible por esas mismas vías. Como resultado de las encuestas aplicadas a las Instituciones Asociadas en proyectos de Vinculación y Transferencia de Tecnología, se encontró que el 86% de los proyectos iniciaron en la fecha acordada, el 68% terminó en la fecha establecida, ningún proyecto sufrió modificaciones en el presupuesto ni retrazo de fondos durante su realización, 5,272 personas de las localidades se beneficiaron con los proyectos, 29% de los proyectos fueron agrícolas (atendiendo 879 hectáreas); en el 22% de los proyectos se contrató personal de la localidad (contratando 130 trabajadores), en promedio trabajaron 7.2 semanas y se les pagó 500 pesos por semana. Como sugerencia para posteriores estudios, sería conveniente que en el expediente de los programas de Vinculación y Transferencia de Tecnología, se incluyera el número telefónico y correo electrónico de alguna persona que conozca bien el proyecto y además tenga el tiempo suficiente para contestar la encuesta. 65 Documento Final CONAZA 2002 CAPITULO VI CUMPLIMIENTO DE RECOMENDACIONES Y ESCENARIO PROSPECTIVO 6.1 Cumplimiento de recomendaciones En el documento Evaluación de los programas de la CONAZA en el año 2001, realizado exclusivamente con información de gabinete, se hicieron las siguientes recomendaciones y señalamientos: “Aproximadamente un 36% de los recursos del PNI y del PAZA se destinan a la atención de municipios calificados con alta o muy alta marginación de acuerdo con los índices de CONAPO. Si se considera prioridad atender a las comunidades que se encuentran en estos municipios, se les debería dedicar una proporción más elevada de los recursos.” “Aún existe una gran oportunidad para mejorar en la elaboración de los expedientes técnicos y en el apego a las Reglas de Operación. Si bien la mayor parte de los expedientes cuenta con los documentos requeridos, por lo general se omiten las fechas.” “La información proporcionada en los informes del Plan Acuario para Diciembre del 2001 no es homogénea, en general se presentan datos mensuales y acumulados por camión sobre costos del combustible y reparaciones, kilómetros recorridos, comunidades y población atendida, así como litros de agua distribuidos. Sin embargo, es común que en los reportes de casi todos los estados se omita alguno o varios de estos elementos, lo cual limita seriamente su evaluación. Sería recomendable que se elaboren reportes estandarizados que incluyan esta información completa.” En los resultados de la evaluación del año 2002 no se muestra avance alguno con respecto a estas recomendaciones y señalamientos. Sin embargo, es importante considerar que las recomendaciones y señalamientos de la evaluación del año 2001 se redactaron en Diciembre del año 2002. Es decir, después de que se recabó la información de gabinete y justo cuando se realizaba el trabajo de campo para la evaluación del año 2002. No es posible entonces esperar que se compruebe si hubo algún avance sobre las recomendaciones realizadas. 66 Documento Final CONAZA 2002 6.2 Escenario prospectivo del programa Con la información recabada en el trabajo de campo no es posible realizar un análisis prospectivo. Algunas de las razones son las siguientes: 1. Al momento de la encuesta, las obras no habían tenido el tiempo suficiente para mostrar su impacto. Dado que un alto porcentaje de las obras recién concluían o se acababan de iniciar o no se habían iniciado. 2. El diseño de muestreo limitó drásticamente el número de observaciones al no considerar como criterio de estratificación el programa o línea de inversión (proyecto pecuario, agua potable, control de la desertificación). Por lo tanto se tuvieron muy pocas observaciones válidas para efectuar el análisis. Por ejemplo, del control de la desertificación se tuvieron programadas sólo 2 localidades encontrándose una sin obra (San Mateo Xoloc, Mpio. de Tepozotlán, Edo. de México) y con obra la localidad de Dolores del mismo municipio. En este programa se obtuvieron solamente 4 observaciones con respuesta válida de 35 posibles. En el caso de Agua Potable se programó muestrear 6 localidades encontrándose que solamente 3 tenían obra y de las 175 observaciones posibles solamente 33 respondieron a la pregunta ¿Su ingreso económico cambió por el programa? y de éstos sólo uno respondió afirmativamente (ver Anexo IV). En resumen, el futuro de los programas puede verse amenazado por evaluaciones fuera de tiempo, que resultan de la inadecuada definición de los periodos de evaluación. Para evitar lo anterior, las evaluaciones deben contemplar el tiempo de maduración de las obras para que los beneficios se manifiesten y sean perceptibles para la mayoría de los beneficiarios. Es necesario reconocer que las obras pueden requerir de diferentes periodos de maduración. Adicionalmente, se sugiere que sea la institución contratante (SEDESOL) quien proporcione de manera directa y expedita toda la información y documentación requerida para la adecuada evaluación de los programas. Lo cual debería de llevarse a cabo al momento de asignar la evaluación a la institución responsable. 67 Documento Final CONAZA 2002 CONCLUSIONES Y RECOMENDACIONES En julio del 2002 los recursos del Programa de Desarrollo para los Habitantes del Semidesierto se descentralizaron a los Estados. Por lo tanto, son éstos los encargados de aplicar los recursos siguiendo las bases, principios y normativa establecida por CONAZA. La información del Cierre del Ejercicio 2002 indicaba que la población atendida por CONAZA se incrementaría en más de un 200% con respecto al año anterior. Sin embargo, esta cifra no toma en cuenta la discrepancia existente entre el número de beneficiarios encontrados en campo, los registrados en los expedientes técnicos y los registrados en el Cierre del Ejercicio 2002. De acuerdo con la información de campo, se pudo establecer que cerca de un 20% de las localidades o colonias reportadas como beneficiarias del Plan Acuario no habían recibido agua y aproximadamente un 36% de las obras del Programa de Desarrollo para los Habitantes del Semidesierto (PDHS) no habían iniciado al momento de hacer la visita. Más aún, se encontró que el número de beneficiarios del PDHS encontrados en la visita de campo es aproximadamente un 64% de los registrados en el Cierre del Ejercicio y poco más de un 84% de los registrados en expedientes técnicos. Un 33% de los recursos del PDHS se destinan a la atención de municipios calificados con alta o muy alta marginación de acuerdo con los índices de CONAPO. Al igual que se encuentra en la evaluación del 2001, se destina una proporción cada vez menor de los recursos para atender a las comunidades que se encuentran en los municipios que se supondría son prioritarios. En contraste, el índice que se emplea para medir la transparencia en la operación de los programas alcanza un valor cercano a la unidad (0.98), en virtud de que prácticamente todos los expedientes técnicos cuentan con dictámenes de factibilidad y una evaluación socioeconómica. Esto es completamente inconsistente, indicativo de que se hace un gran esfuerzo por cumplir con el proceso pero no con su objetivo. Algunos delegados regionales de CONAZA manifestaron en las entrevistas telefónicas que Estados y Municipios hacen cambios de obra o localidad de acuerdo con criterios distintos a los empleados por la CONAZA. 68 Documento Final CONAZA 2002 Aproximadamente el 68% de los entrevistados que califican cualitativamente los programas de la CONAZA, tanto el Plan Acuario como el Programa para el Desarrollo de los Habitantes del Semidesierto, consideran que son Buenos o Muy Buenos. Al revisar la operación de los proyectos de vinculación científica y transferencia de tecnología, se encuentra que, una vez revisados los expedientes del proyecto, el 100% de los expedientes se integran de manera completa con expediente técnico y convenio general y específico de colaboración. Dentro de este conjunto, la totalidad de los expedientes cumplen con las especificaciones requeridas. La inversión en los proyectos de vinculación científica y transferencia de tecnología asciende a $11,274,795 pesos, de los cuales un 50% son aportados por la CONAZA y el 50% restante por las instituciones asociadas. En el 2002, una mayor proporción de los recursos del PDHS se asignó hacia proyectos productivos, dejando solamente un 43% de la inversión total para los proyectos de inversión en infraestructura social básica, que de acuerdo con los resultados del presente estudio están más asociados a la población con mayor marginación. La totalidad de las cédulas de presentación en los expedientes técnicos del PDHS revisados carecen de fechas de entrega – recepción reales (lo cual es explicable porque a la fecha de la revisión todavía no se habían terminado algunas obras) y el monto total de la inversión ejercida. Esto es consecuencia lógica de que la mayor parte de las obras no hayan sido terminadas al momento en que se realizaron los trabajos de gabinete y campo. El índice empleado para medir la eficiencia en la operación de los programas arroja un valor de 0.58 para el año 2002, en comparación con los valores de 0.43 y 0.58 obtenidos en los años 2001 y 2000, respectivamente. Sin embargo, es conveniente señalar que los índices no son comparables porque se tuvo que modificar la construcción de los índices por no contar con la información señalada. Al momento de realizar el trabajo de campo una alta proporción de las obras aún no se habían terminado. En consecuencia, la mayor parte de las observaciones corresponden a localidades en donde simplemente no existen beneficios que medir y por lo tanto no se puede hacer con ellas un análisis beneficio-costo. Es importante mencionar que los recursos se transfirieron en el último 69 Documento Final CONAZA 2002 cuatrimestre del año, ya que la firma de convenios de coordinación y reasignación se efectuó el 4 de julio o sea a principios del semestre del año. Las pocas observaciones disponibles para hacer una evaluación beneficio-costo corresponden a localidades en donde las obras apenas fueron concluidas al momento de realizar el trabajo de campo. Sin embargo, se desprende del análisis de las respuestas de los entrevistados, generalmente dispuestos a evaluar los programas pero incapaces de precisar en que consiste el beneficio recibido, que aún no ha transcurrido suficiente tiempo como para que perciban los beneficios de las obras. Esto se corrobora con información objetiva recabada en campo, ya que al hacer análisis de varianza no se encuentran diferencias significativas al comparar los índices de marginación correspondientes a las localidades en donde se realizó obra y las localidades en donde no se realizó obra. Se deriva del análisis que para promover una mayor participación de la mujer en las actividades de campo, objetivo planteado por la CONAZA en el PDHS, es necesario que mejore su nivel educativo. Preferentemente, que se alcance un nivel de secundaria, estimándose el incremento en 14% al compararlo con quienes carecen de educación. Recomendaciones 1) Revisar el proceso mediante el cual se asignan las obras, ya que se destina un porcentaje muy bajo de los recursos a las localidades con alta y muy alta marginación. No basta con hacer que los expedientes técnicos contengan una evaluación socioeconómica, es preciso que sirva para establecer cuales son las obras y localidades prioritarias. 2) Otorgar los recursos a quienes se encargan de ejecutar las obras con mayor celeridad para evitar el retrazo de las mismas. 3) Realizar la evaluación de los programas cuando haya transcurrido tiempo suficiente como para que las obras se encuentren terminadas y operando. De otra forma, la evaluación arrojará como resultado que las obras (inconclusas o recién terminadas) no tienen impacto alguno sobre el bienestar de la población beneficiaria. 70 Documento Final CONAZA 2002 4) Hacer un diseño de muestreo en donde se considere la estratificación por Estado y programa, para que sea posible obtener resultados científicamente válidos para cada programa, línea de acción y Estado. Ver las consideraciones para el diseño de muestreo que se presentan en la siguiente sección. 5) Se sugiere que, al momento de asignar la evaluación a la institución responsable, sea la institución contratante (SEDESOL) quien proporcione de manera directa y expedita toda la información y documentación requerida para la adecuada evaluación de los programas. Consideraciones sobre el diseño de muestreo 1. Independientemente de quién realizará el diseño de muestreo, se recomienda que el marco muestral completo y detallado le sea proporcionado a la institución que realizará el estudio. Esta información debería de estar disponible desde que se le asigna el proyecto a la institución. En esta ocasión la información del marco muestral se proporcionó de manera parcial, fragmentada y mucho después de iniciada la investigación. 2. Se recomienda que se proporcione, además del nombre, la ubicación específica de las localidades y o colonias, incluyendo sus coordenadas geográficas. Lo anterior evitará confusión de localidades debido a similitud de los nombres y cercanía física. 3. Si una empresa de consultoría decidirá sobre el tamaño de la muestra a usar y los detalles de la misma, se recomienda establecer fecha límite para la entrega del diseño de muestreo. Lo ideal sería que la propuesta de muestreo estuviera lista al momento de asignar la investigación a la institución. En esta ocasión se recibió el diseño final, dos meses después de lo programado inicialmente. 71 Documento Final CONAZA 2002 4. En caso de que los investigadores participantes tengan su propuesta de diseño de muestreo y que no estén de acuerdo, total o parcialmente, con lo recomendado por la empresa de consultoría, debería de someterse a juicio de expertos externos ambas propuestas. En este caso la propuesta de la institución consideraba cuatro diseños de muestreo, dos para la evaluación del 2001 y dos para la del 2002, una doble estratificación, por Estado y por Programa (Línea) de la CONAZA, además de seleccionar con probabilidades proporcionales a la inversión ejercida. Por otro lado la empresa de consultoría, considerando solamente la evaluación del 2002 proporcionó dos diseños de muestreo, para el Desarrollo de los Habitantes del Semidesierto y para el Programa Acuario, utilizando muestreo por conglomerados multietápico con probabilidades proporcionales al número de beneficiarios. Es necesario aclarar que en el estudio Evaluación del Programa de Atención a Zonas Áridas y de los Programas Normales de la CONAZA realizado por la Facultad de Economía de la UANL en el 2001, se tenía un total de 3,922 beneficiarios reportados en los expedientes de 43 obras, mientras que al realizar la entrevista personal se encontraron 1,586, es decir solamente se encontró un 40.4% del total de beneficiarios indicados por la CONAZA. 5. Se recomienda analizar la distribución de los recursos y los tamaños de muestra de la investigación ya que de acuerdo con la CONAZA, en el 2002 se ejercieron 110 millones de pesos, el 95.1% ejercidos por el programa Desarrollo para los Habitantes del Semidesierto (DHS) y el resto (4.9%) por el Programa Acuario. Sin embargo, al considerar la distribución de la muestra, que se usa para evaluar dichos proyectos, la empresa de consultoría considera el 52.6% de la muestra para el programa DHS y el resto (47.4%) para el Programa Acuario. 72