Evaluación FONART 2004 Capítulo 2 Metodología de la evaluación En este capítulo se expresa la importancia que tiene la evaluación, sus objetivos y la metodología diseñada para asegurar una mayor confiabilidad y precisión de la información y datos recabados en las diferentes etapas. 2.1. Objetivo de la evaluación Las evaluaciones externas de los programas de apoyo gubernamental tienen como principal finalidad el constituirse en una herramienta de planeación; en el caso del FONART (de acuerdo con los Términos de Referencia) se planteó como objetivo general de su evaluación el siguiente: “Analizar el diseño, operación, focalización, resultados (impacto) y satisfacción de los beneficiarios de los programas, ofreciendo un panorama integral de su funcionamiento. Se requiere de información que permita la toma de decisiones, de tal forma que una adecuación a los programas mejore sus resultados de forma general. Por lo tanto, los resultados, conclusiones y recomendaciones que se desprendan de este trabajo, deberán ser consistentes y ofrecer la posibilidad de inferir el desarrollo de los programas en el corto plazo. Además, es necesario que se identifiquen las fortalezas en cada tema, así como las debilidades, para las que deberá incluirse al menos una propuesta para su adecuación”. 2.2. Propósito y alcances de la evaluación El propósito de la presente evaluación es ofrecer un panorama general e integral del funcionamiento y resultados obtenidos por los programas de Capacitación y Asesoría Técnica, Adquisición de Artesanías, Organización de Concursos y Otorgamiento de Créditos del FONART en su ejercicio 2004. Es importante mencionar que la utilidad que tiene la evaluación es proporcionar información sobre los principales resultados o impactos intermedios obtenidos por los programas del FONART en su ejercicio 2004. Específicamente, se busca determinar el cumplimiento de sus objetivos, metas físicas y financieras, cobertura, focalización y mecánica operativa; así como evaluar la participación de los diferentes agentes involucrados en su ejecución (artesanos, funcionarios operativos y directivos). Esto tiene la finalidad de generar las conclusiones y recomendaciones que permitan eficientar la operación e incrementar los impactos de los programas del Fondo. La presente evaluación tuvo como principales fuentes de información la encuesta aplicada a una muestra representativa de beneficiarios de los cuatro programas, al igual que una serie de entrevistas semi-estructuradas que fueron aplicadas a funcionarios involucrados en la Informe Final 12 Evaluación FONART 2004 planeación, operación, seguimiento y control de los programas. A través de lo anterior se generó una serie de indicadores que permitieron conocer los principales resultados alcanzados por las acciones del Fondo. 2.3. Metodología de la evaluación La evaluación externa del FONART 2004 tuvo un enfoque global al integrar los diferentes sectores y niveles de información disponibles, los cuales incluyeron la supervisión y evaluación de los procesos, de los costos-beneficios y de los resultados e impactos intermedios, todo esto en congruencia con los objetivos y metas establecidas para este ejercicio. Con la finalidad de dar cumplimiento a lo antes señalado, la evaluación se sustentó en la implementación de una metodología mixta, que combinó los métodos cuantitativo y cualitativo para la medición de los resultados e impactos intermedios de los programas del Fondo. La evaluación cualitativa se basó en tres vertientes de información: 1) Observación directa de la operación de los programas por parte de los evaluadores; 2) Revisión de documentos relacionados con la actividad artesanal en general y con la operación del grupo de programas en lo particular; y 3) Entrevistas semi-estructuradas al personal involucrado en la planeación, operación, control y supervisión de los programas dentro del FONART . La evaluación cuantitativa de los resultados o impactos intermedios se realizó mediante el análisis de una muestra estadística de la población beneficiada durante el ejercicio 2004, buscando conocer los cambios generados en el corto plazo en las condiciones socio económicas de los artesanos como consecuencia de los apoyos otorgados por el FONART . La integración de los enfoques cuantitativo y cualitativo genera ventajas importantes al permitir la conducción del análisis de diferentes niveles. Finalmente, esta combinación de metodologías permitió la obtención de distintas perspectivas sobre la importancia de los indicadores generados durante el proceso de evaluación. Es importante establecer una diferenciación de la presente evaluación externa respecto a la realizada en años anteriores, toda vez que en este estudio no se analizaron los impactos finales del grupo de programas del Fondo, sino que se orientó a los resultados o impactos intermedios, debido principalmente al poco tiempo de maduración que tenían los apoyos otorgados al momento de realizarla. Esta situación se acordó con los responsables del proceso tanto del FONART como de la SEDESOL. 2.4. Diseño de la muestra La muestra de beneficiarios a encuestar fue diseñada conforme a lo establecido en los Términos de Referencia, utilizando una precisión del 4.8% y una confiabilidad del 95%. El Informe Final 13 Evaluación FONART 2004 marco de muestreo utilizado para los cuatro programas del Fondo fue de 3,668 beneficiarios, mismo que se presenta en el cuadro 2.4.1. Cuadro 2.4.1. Acciones y artesanos beneficiarios por programa, FONART 2004 Programa Capacitación y Asesoría Técnica Adquisición de Artesanías Organización de Concursos Otorgamiento de Créditos Total Acciones Artesanos 2,044 2,202 379 397 5,022 1,549 1,363 366 390 3,668 Fuente: UNICEDER, S. C., con base en el Padrón de Beneficiarios proporcionado por la Dirección de Informática del FONART al corte del 4 de enero de 2004. En general, el Fondo, al 4 de enero de 2005, había realizado un total de 5,022 acciones en beneficio de 3,668 artesanos; sin embargo, es importante destacar que la información del cuadro 2.4.1. es incompleta en lo referente al Programa de Otorgamiento de Créditos, pues falta incluir las acciones apoyadas durante el periodo de octubre a diciembre de 2004, mismas que significan más del 50% de lo programado. No obstante lo anterior, considerando lo avanzado del calendario de evaluación para la determinación del tamaño y selección de la muestra, se partió del universo antes descrito con la finalidad de cumplir con los tiempos acordados para la evaluación. Es importante destacar que se optó por utilizar como universo del FONART al número de artesanos beneficiados, y no la cantidad de acciones apoyadas, debido a que se requiere determinar la experiencia del beneficiario en el ejercicio 2004, independientemente del número de ocasiones en que participó, ya que es frecuente que en los programas de Adquisición de Artesanías y de Capacitación y Asesoría Técnica un artesano tenga de 2 hasta 20 participaciones. Teniendo en consideración lo anterior, el primer paso para la determinación de la muestra fue la depuración del padrón de beneficiarios, del cual se derivó el concentrado por programa y por estado, mismo que se presenta en el cuadro 2.4.2. Cuadro 2.4.2. Artesanos beneficiarios por programa por estado Clave 1 2 3 4 5 6 7 8 Estado Aguascalient es Baja California Baja California Sur Campeche Coahuila de Zaragoza Colima Chiapas Chihuahua Concursos Adquisición Capacitación Créditos 1 2 92 0 0 0 0 0 0 1 32 0 6 39 0 0 0 1 30 0 0 0 0 0 19 41 6 0 26 122 1 1 Informe Final Total 95 0 33 45 31 0 66 150 14 Evaluación FONART 2004 Cuadro 2.4.2. Artesanos beneficiarios por programa por estado (continuación) Clave Estado 9 Distrito Federal 10 Durango 11 Guanajuato 12 Guerrero 13 Hidalgo 14 Jalisco 15 Estado de México 16 Michoacán de Ocampo 17 Morelos 18 Nayarit 19 Nuevo León 20 Oaxaca 21 Puebla 22 Querét aro de Arteaga 23 Quintana Roo 24 San Luis Potosí 25 Sinaloa 26 Sonora 27 Tabasco 28 Tamaulipas 29 Tlaxcala 30 Veracruz-Llave 31 Yucatán 32 Zacat ecas Sin datos de localización Total General Concursos Adquisición Capacitación Créditos 5 87 48 14 1 0 0 0 39 45 70 98 15 223 0 79 1 71 115 2 9 57 143 32 62 114 294 40 55 57 228 0 15 6 17 0 0 1 0 0 0 3 0 0 6 56 28 103 69 287 282 19 0 10 78 0 7 1 16 0 1 22 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 0 0 0 3 19 22 1 7 82 45 1 2 11 0 0 6 1 2 0 11 1 0 0 366 1,363 1,549 390 Total 154 1 252 317 189 241 510 340 38 1 3 193 657 88 24 23 1 1 1 0 45 135 13 9 12 3,668 Fuente: UNICEDER, S. C., con base en el Padrón de Beneficiarios proporcionado por la Dirección de Informática del FONART al corte del 4 de enero de 2005. Una vez determinada la población atendida por el Fondo, se procedió a calcular el tamaño de muestra óptimo por programa con base en la siguiente ecuación, la cual tiene como fundamento los Términos de Referencia para la evaluación en su ejercicio 2004 y Sharon L. Lohr, 1999, pág. 39: Pr [ │p-P│ ≤ d ] ≥ 1 – α Donde: P= p= d= Valor del porcentaje real de interés Porcentaje que estima la encuesta M áxima diferencia aceptable entre valor real, P, y su estimación, p, proveniente de la muestra 1 – α = Confianza requerida en la precisión La expresión anterior, con un error y confianza del 4.8% y 95%, respectivamente, condujo a la siguiente fórmula para el cálculo del tamaño de muestra por programa: Informe Final 15 Evaluación FONART 2004 P*(1-P) 2 d 0.5 * 0.5 0.25 1.96 * = 1.96 * = 3.8416 * 108.5 = 416.84 0.048 2 0.0023 n0 ≥ k2 * El tamaño de muestra óptimo requerido para lograr en cada programa estimaciones con un error de 4.8% y una confianza del 95% es de 417 beneficiarios. A este tamaño de muestra se le aplicó el factor de corrección por finitud de los programas, con base en el universo de cada uno: Factor de finitud no n = 1+ f Donde: n = Tamaño de muestra corregido N = Tamaño del universo del Programa no = Tamaño de muestra inicial f = Es la fracción de muestreo dada por: n0/N Con base en la fórmula anterior y la información del padrón de beneficiarios se procedió a determinar el factor de finitud para cada Programa del Fondo: Concursos 417 417 = 194.9 1 + 366 Créditos 417 417 = 201.5 1 + 390 Adquisición 417 417 = 319.3 1 + 1,363 Capacitación 417 417 = 328.6 1 + 1,549 Tomando en consideración que la selección de la muestra se realizó en varias etapas, método polietápico (siendo la primera la selección de los estados a evaluar, posteriormente se distribuyó la muestra en dichos estados, y finalmente se seleccionaron en éstos a los artesanos por programa), se obtiene una menor eficiencia de muestreo; esperándose un efecto de diseño de entre 1.3 y 1.5, por lo que se aplicó el valor máximo a la muestra una vez corregida por el factor de finitud de los programas, con la finalidad mejorar la eficiencia del muestreo, cuadro 2.4.3. Cuadro 2.4.3. Determinación del tamaño de muestra por Programa Programa Concursos Créditos Adquisición Capacitación Total Universo Muestra original Factor de finitud 366 417 194.9 390 417 201.5 1,363 417 319.3 1,549 417 328.6 3,668 Efecto de diseño Muestra final 1.5 292 1.5 302 1.5 479 1.5 493 1,566 Fuente: UNICEDER, S. C., con base en la metodología de muestreo establecida en los Términos de Referencia para la evaluación. Informe Final 16 Evaluación FONART 2004 Una vez determinado el tamaño de muestra por programa, se procedió a la selección de los estados que concentran el mayor número de artesanos, optándose por una selección por representación proporcional. Esto debido a las limitantes de información que caracterizan a los padrones de beneficiarios, principalmente el del Programa de Capacitación y Asesoría Técnica que no registró el monto del apoyo por acción, no pudiéndose determinar el monto que recibieron los estados beneficiados. Del total de beneficiarios, 87% se concentra en doce entidades, cuadro 2.4.4., lo cual proporciona un alto nivel de representatividad para los fines de la evaluación. Cuadro 2.4.4. Estados seleccionados para evaluación Clave 7 8 9 11 12 13 14 15 16 20 21 30 Total Estado Chiapas Chihuahua Distrito Federal Guanajuato Guerrero Hidalgo Jalisco Estado de México Michoacán de Ocampo Oaxaca Puebla Veracruz-Llave Concursos Adquisición Capacitación 19 41 6 26 122 1 5 87 48 39 45 70 15 223 0 1 71 115 9 57 143 62 114 294 55 57 228 6 56 28 69 287 282 7 82 45 313 1,242 1,260 Créditos 0 1 14 98 79 2 32 40 0 103 19 1 389 Total 36 150 154 252 317 189 241 510 340 193 657 135 3,204 Fuente: UNICEDER, S. C., con base en el Padrón de Beneficiarios proporcionado por la Dirección de Informática del FONART al corte del 4 de enero de 2005. Cabe señalar que inicialmente se había elegido al estado de Aguascalientes; sin embargo, no se garantizaba la cobertura de la muestra para el Programa de Organización de Concursos, por lo que se sustituyó por Chiapas (previa autorización de la Dirección de Padrones de la SEDESOL), sin que esto afectara la muestra del resto de programas ni la representatividad. La siguiente etapa para la selección de la muestra fue su distribución por programa y por estado, con base en la representación proporcional de cada uno, obteniéndose lo siguiente: Cuadro 2.4.5. Distribución muestral por estado y por programa Concursos Estado Chiapas Chihuahua Distrito Federal Guanajuato Guerrero Hidalgo Jalisco Adquisición Artesanos Muestra Artesanos 19 26 5 39 15 1 9 18 24 5 36 14 1 8 41 122 87 45 223 71 57 Capacitación Créditos Muestra Artesanos Muestra Artesanos Muestra 16 47 33 17 86 27 22 Informe Final 6 1 48 70 0 115 143 2 1 19 27 0 45 56 0 1 14 98 79 2 32 0 1 11 76 61 1 25 Muestra por estado 36 73 68 156 161 74 111 17 Evaluación FONART 2004 Cuadro 2.4.5. Distribución muestral por estado y por programa (continuación) Concursos Estado Estado de México Michoacán de Ocampo Oaxaca P uebla Veracruz-Llave Total por Programa Adquisición Artesanos Muestra Artesanos Capacitación Créditos Muestra por Muestra Artesanos Muestra Artesanos Muestra estado 44 294 115 40 31 248 62 58 114 55 6 69 7 51 6 64 7 57 56 287 82 22 22 111 32 228 28 282 45 89 11 110 18 0 103 19 1 0 80 15 1 162 119 300 58 313 292 1,242 479 1,260 493 389 302 1,566 Fuente: UNICEDER, S. C., con base en la metodología de muestreo y el Padrón de Beneficiarios proporcionado por la Dirección de Informática del FONART al corte del 4 de enero de 2005. Después de establecer el tamaño de muestra se procedió a la elección de los artesanos a encuestar, para lo cual se utilizó la selección sistemática aleatoria, que consistió, en primera instancia, en generar los listados estatales derivados de los padrones depurados en la anterior etapa del muestreo. Posteriormente se procedió al ordenamiento alfabético de los registros con base en el apellido paterno, materno y nombre del artesano beneficiado, para después numerar los registros del 1 hasta n por estado y por programa. La siguiente etapa consistió en generar un factor denominado k, mismo que resultó de dividir el tamaño de la población total (universo de atención) entre el tamaño de la muestra por estado y programa. Después se generó un número aleatorio inferior o igual a este factor, siendo el primer registro seleccionado para la muestra, posteriormente se le sumó el valor de k, obteniéndose el segundo registro, y así sucesivamente hasta completar el tamaño de muestra. En los casos en que se obtuvo un resultado decimal de n + k, se aplicó el método de redondeo tradicional, es decir: Si n + k = 2.4 se redondea a 2 Si n + k = 3.6 se redondea a 4 Si n + k = 2.5 se redondea a 3 Si n + k = 3.5 se redondea a 3 El siguiente paso fue la selección de un número de reemplazos igual al 20% del tamaño de la muestra, para lo cual se utilizó el mismo procedimiento arriba descrito. El procedimiento y la memoria de cálculo utilizados en este proceso se presentan en el Anexo A de este informe. 2.5. Resultados del trabajo de campo realizado Los resultados del trabajo de campo realizado se presentan en este apartado de acuerdo con la selección de los estados, lo cual permite realizar un análisis sobre el cumplimiento de la muestra y su comportamiento en cada entidad. Informe Final 18 Evaluación FONART 2004 En general, la muestra del Programa de Otorgamiento de Créditos se cubrió totalmente; sin embargo, en el estado de Jalisco y el Distrito Federal no fue as í, complementándose con los reemplazos obtenidos del resto de las entidades. Cabe señalar que esto no tiene implicaciones importantes, ya que el análisis de inferencias se realizó por programa y no por estado, cuadro 2.5.1. La situación de mayor realce en el estado de Jalisco fue la de unos artesanos que están registrados en el municipio de Tlaquepaque pero viven en Coroneo, Guanajuato (información que fue capturada erróneamente y que ya fue corregida por el personal del Programa); en este último estado, en el municipio del mismo nombre, aunque la muestra se cubrió en su totalidad, la dificultad estuvo en la localización de los beneficiarios, pues en el registro de direcciones aparecieron con “domicilio conocido”. Cuadro 2.5.1. Muestra del Programa de Otorgamiento de Créditos por entidad federativa Núm. 1 2 3 4 5 6 7 8 9 10 11 12 Total Estado Chiapas Chihuahua Distrito Federal Guanajuato Guerrero Hidalgo Jalisco Estado de México Michoacán Oaxaca Puebla Veracruz Encuestas reali zadas Muestra 0 1 11 76 61 1 25 31 0 80 15 1 302 0 1 9 76 70 1 10 34 0 84 16 1 302 % realizado Encuestas faltantes 0 100.0 81.8 100.0 114.8 100.0 40.0 109.7 0.0 105.0 106.7 100.0 100.0 0 0 2 0 -9 0 15 -3 0 -4 -1 0 0 % faltante 0 0.0 18.2 0.0 -14.8 0.0 60.0 -9.7 100.0 -5.0 -6.7 0.0 0.0 Fuente: UNICEDER, S. C., con base en los resultados del trabajo de campo de la evaluación del FONART 2004. Con relación al Programa de Capacitación y Asesoría Técnica, al igual que en el de Otorgamiento de Créditos, la muestra se cubrió al 100%, presentándose dificultades en el Estado de M éxico y Distrito Federal, por lo que tal muestra se cubrió con reemplazos en el resto de las entidades, cuadro 2.5.2. Al respecto, en el Distrito Federal se detectaron registrados artesanos en la Delegación Venustiano Carranza, pero pertenecen al municipio del mismo nombre en el estado de Chiapas. Asimismo, en Ixtapan de la Sal, Estado de M éxico no se pudo localizar a los artesanos que aparecían con domicilio conocido, ya que la comunidad donde viven es Ixtapan del Oro (información que fue capturada erróneamente en ambos casos y que ya fue corregida por el personal del Programa). Informe Final 19 Evaluación FONART 2004 Cuadro 2.5.2. Muestra del Programa de Capacitación por entidad federativa Núm. 1 2 3 4 5 6 7 8 9 10 11 12 Estado Encuestas reali zadas Muestra Chiapas Chihuahua Distrito Federal Guanajuato Guerrero Hidalgo Jalisco Estado de México Michoacán Oaxaca Puebla Veracruz 2 1 19 27 0 45 56 115 89 11 110 18 493 Total 2 0 9 27 0 47 60 112 92 11 115 18 493 % realizado Encuestas faltantes 100.0 0.0 47.4 100.0 0.0 104.4 107.1 97.4 103.4 100.0 104.5 100.0 100.0 % faltante 0 1 10 0 0 -2 -4 3 -3 0 -5 0 0 0.0 100.0 52.6 0.0 100.0 -4.4 -7.1 2.6 -3.4 0.0 -4.5 0.0 0.0 Fuente: UNICEDER, S. C., con base en los resultados del trabajo de campo de la evaluación del FONART 2004. Respecto al Programa de Adquisición de Artesanías, no se alcanzó a cubrir la muestra, es decir, se tuvo un 2.3% de no respuesta. En este caso los problemas detectados para localizar a los beneficiarios fueron diversos, no obstante, esta proporción no es significativa para el cálculo de los indicadores a utilizar, ya que no repercute en la representatividad obtenida y en las inferencias del análisis, cuadro 2.5.3. Cuadro 2.5.3. Muestra del Programa de Adquisición de Artesanías por entidad federativa Núm. 1 2 3 4 5 6 7 8 9 10 11 12 Total Estado Chiapas Chihuahua Distrito Federal Guanajuato Guerrero Hidalgo Jalisco Estado de México Michoacán Oaxaca Puebla Veracruz Muestra 16 47 33 17 86 27 22 44 22 22 111 32 479 Encuestas % realizado reali zadas 15 93.8 50 106.4 26 78.8 17 100.0 85 98.8 27 100.0 18 81.8 43 97.7 22 100.0 20 90.9 113 101.8 32 100.0 468 97.7 Encuestas faltantes 1 -3 7 0 1 0 4 1 0 2 -2 0 11 % faltante 6.3 -6.4 21.2 0.0 1.2 0.0 18.2 2.3 0.0 9.1 -1.8 0.0 2.3 Fuente: UNICEDER, S. C., con base en los resultados del trabajo de campo de la evaluación del FONART 2004. El Programa de Organización de Concursos fue el que menor cumplimiento de la muestra observó, comportamiento que fue previsto desde la etapa de diseño muestral, al no contar con un número suficiente de beneficiarios para completar el 20% de reemplazos. Informe Final 20 Evaluación FONART 2004 De las 261 encuestas levantadas, 89% corresponde a artesanos de la muestra, mientras que el resto fueron reemplazos, mismos que pueden clasificarse como sigue: 1. Reemplazos seleccionados desde el diseño muestral. 2. Artesanos ganadores de concursos que no se habían incluido en la base original proporcionada para la evaluación, a los cuales se encuestó previa autorización del FONART ; sin embargo, no fue posible completar el número de encuestas propuesto, cuadro 2.5.4. Cuadro 2.5.4. Muestra del Programa de Organización de Concursos por entidad federativa Núm. 1 2 3 4 5 6 7 8 9 10 11 12 Total Estado Chiapas Chihuahua Distrito Federal Guanajuato Guerrero Hidalgo Jalisco Estado de México Michoacán Oaxaca P uebla Veracruz Encuestas realizadas Muestra 18 24 5 36 14 1 8 58 51 6 64 7 292 17 8 11 35 11 1 8 45 47 9 63 6 261 % realizado Encuestas faltantes 94.4 33.3 220.0 97.2 78.6 100.0 100.0 77.6 92.2 150.0 98.4 85.7 89.4 1 16 -6 1 3 0 0 13 4 -3 1 1 31 % f altante 5.6 66.7 -120.0 2.8 21.4 0.0 0.0 22.4 7.8 -50.0 1.6 14.3 10.6 Fuente: UNICEDER, S. C., con base en los resultados del trabajo de campo de la evaluación del FONART 2004. Con relación a la muestra total, se alcanzó una eficiencia del 97.3%, con una proporción global de no respuesta del 2.7%, lo cual se encuentra dentro de los parámetros aceptables de representatividad para realizar inferencias válidas sobre el Fondo, cuadro 2.5.5. Cuadro 2.5.5. Concentrado de la muestra por entidad federativa Núm. 1 2 3 4 5 6 7 8 9 10 11 12 Total Estado Chiapas Chihuahua Distrito Federal Guanajuato Guerrero Hidalgo Jalisco Estado de México Michoacán Oaxaca P uebla Veracruz Muestra 36 73 68 156 161 74 111 248 162 119 300 58 1,566 Encuestas realizadas 34 59 55 155 166 76 96 234 161 124 307 57 1,524 % realizado Encuestas faltantes 94.4 80.8 80.9 99.4 103.1 102.7 86.5 94.4 99.4 104.2 102.3 98.3 97.3 2 14 13 1 -5 -2 15 14 1 -5 -7 1 42 % f altante 5.6 19.2 19.1 0.6 -3.1 -2.7 13.5 5.6 0.6 -4.2 -2.3 1.7 2.7 Fuente: UNICEDER, S. C., con base en los resultados del trabajo de campo de la evaluación del FONART 2004. Informe Final 21 Evaluación FONART 2004 2.6. Bitácora de reemplazos Al final de la etapa de campo se recolectó un total de 1,524 encuestas, de las cuales 81% corresponde a artesanos de la muestra presentada al FONART y la Dirección de Evaluación de la SEDESOL, el restante 19% corresponde a reemplazos. Cuadro 2.6.1. Concentrado general por tipo de artesano encuestado Estado Chiapas Chihuahua Distrito Federal Guanajuato Guerrero Hidalgo Jalisco México Michoacán Oaxaca Puebla Veracruz Total Total Reemplazo Muestra 31 47 40 134 138 62 55 210 139 83 248 52 1,239 Total 3 12 15 21 28 14 41 24 22 41 59 5 285 34 59 55 155 166 76 96 234 161 124 307 57 1,524 Fuente: UNICEDER, S. C., con base en los resultados del trabajo de campo de la evaluación del FONART 2004. Es importante destacar que el número de encuestas realizadas por estado varía en algunas entidades en comparación con el tamaño de muestra seleccionado, como resultado de las deficiencias de información que caracterizaron al padrón de beneficiarios, entre otros aspectos ajenos a la entidad evaluadora. Esta situación no fue exclusiva de algún programa ya que estuvo presente en los cuatro, aunque con mayor recurrencia se presentó en el de Capacitación y Asesoría Técnica. Respecto al cumplimiento de la muestra por programa, destaca el levantamiento del 100% de las encuestas propuestas para Capacitación y Asesoría Técnica, y Créditos, en los cuales la proporción de reemplazos se mantuvo igual o menor al 20%. 2.7. Problemática para la localización de los artesanos y la aplicación de la encuesta del FONART 2004 Los problemas para la ubicación de los artesanos a encuestar se debieron, principalmente, a la falta de información precisa de sus domicilios, en el mejor de los casos, ya que se presentaron muchas situaciones en las cuales el beneficiario no vivía en la comunidad, en el municipio e incluso en el estado reportado. En lo que respecta a la aplicación de los cuestionarios correspondientes, el problema general fue la falta de claridad de los artesanos encuestados para proporcionar información Informe Final 22 Evaluación FONART 2004 precisa referida a los costos de producción, volúmenes de venta y a las utilidades derivadas de su actividad artesanal. Asimismo, en las regiones indígenas de los estados visitados la limitante fue el idioma, debido a que algunos artesanos hablan solamente su dialecto y en algunos casos muy poco español, sobretodo en personas de edad avanzada, lo cual repercutió en el tiempo promedio de aplicación de la encuesta. Por otra parte, se encontró a beneficiarios (en algunos estados como el Distrito Federal, M ichoacán y Jalisco), que son menores de edad o no se dedican a la actividad artesanal. En dichos casos algunas preguntas del cuestionario, referentes al taller o actividad artesanal, no fueron aplicables. A continuación se presenta un resumen por cada uno de los estados considerados en la muestra encuestada, acerca de los problemas más importantes observados durante la fase de campo de la evaluación. 2.7.1. Estado de Chiapas En el estado de Chiapas los principales problemas en la ubicación de los artesanos beneficiarios del FONART se debieron a dos factores principales: Por una parte, en el caso de los municipios de Ocosingo y San Juan Chamula, la dirección de los artesanos a encuestar estaba reportada en la cabecera municipal y como “domicilio conocido”, y dado que son ciudades grandes fue difícil su localización. En el último municipio mencionado otra de las dificultades consistió en que los artesanos de la muestra no radican en la cabecera municipal, como se tiene registrado en el padrón de beneficiarios, sino que viven en otras comunidades, que si bien pertenecen al mismo municipio están muy alejadas y el acceso es difícil. Asimismo, frecuentemente los artesanos se trasladan a otras ciudades dificultando su localización; en el caso específico de las mujeres, la finalidad de dicho traslado era para recibir el apoyo de Oportunidades del Gobierno Federal. En lo que se refiere a la aplicación de la encuesta, en el caso de las artesanas, la respuesta a la pregunta 15 (referente a quién toma las decisiones en el hogar) dependía de las circunstancias, ya que al cuestionársele frente al esposo argumentaban que la toma de decisiones era realizada por ambos o él, mientras que si la encuestada se encontraba sola mencionaba que dicha tarea era realizada por ella exclusivamente. Por otro lado, al incidir sobre cuál era el ingreso mensual de los miembros del hogar, con frecuencia declaraban un ingreso menor, debido a su temor de no volver a ser apoyados en ejercicios subsiguientes del FONART si se mencionaba un ingreso mayor. Las preguntas relacionadas al nivel familiar (activos y servicios) constantemente generó desconfianza en los beneficiarios, por ser, a razón de ellos, una forma en que el gobierno vigila el desarrollo de su vivienda y posteriormente retirarles el apoyo, y a pesar de Informe Final 23 Evaluación FONART 2004 explicarles el sentido de los indicadores de impacto que se esperaban construir con esta información en particular, frecuentemente hacían alusión a su descontento. 2.7.2. Estado de Chihuahua Los problemas más importantes para la localización de los artesanos se presentaron en los municipios de Bocoyna y Guachochi, esto debido a que no se contó con los datos precisos de su ubicación, además de que no cuentan con alguna organización que en algún momento dado pudiera auxiliar. Cabe destacar también que la mayoría de los beneficiarios de la muestra pertenecen a la etnia Tarahumara, que por sus costumbres se dificultó aún más su ubicación dado que viven en la sierra y muchas de sus comunidades no son conocidas, ya que se mueven constantemente de acuerdo a las condiciones climáticas. Otro factor que es importante señalar, de acuerdo con los comentarios de los pobladores de las comunidades visitadas en Chihuahua, es que algunos tarahumaras beneficiarios del FONART se cambian de nombre según el lugar en que se encuentren, lo cual hace virtualmente imposible su rastreo y localización. En esta entidad no se presentaron problemas graves en la aplicación de la encuesta, salvo algunos casos en los cuales los artesanos no entendían las preguntas o eran renuentes a responder, principalmente en lo relacionado a los activos con que cuentan en sus hogares y el nivel de ingreso mensual. 2.7.3. Distrito Federal La principal dificultad fue el cambio de domicilio por parte de los beneficiarios, en segundo lugar se encontraron problemas como: direcciones incompletas, al no contar con el número de casa, edificio y/o departamento; direcciones incorrectas, ya que algunos beneficiarios no viven en los domicilios especificados o la dirección no pertenece a la delegación especificada; así como direcciones y teléfonos de otro estado de la república. En el caso del Programa de Capacitación, cerca de una cuarta parte de la muestra no cuenta con dirección específica, ya que únicamente señala la delegación. Sólo en dos casos no se pudo aplicar la encuesta porque uno de los beneficiarios se encontraba fuera del país y el otro no accedió a la entrevista. Lo anterior se debió a que los talleres de capacitación en Iztapalapa se realizaron como parte de una terapia de rehabilitación para personas de la calle que tienen problemas de drogadicción y alcoholismo, lo cual dificultó su ubicación y la aplicación del cuestionario, dado que las artesanías no son una actividad productiva para ellos. Asimismo, en la Delegación Coyoacán se capacitó a alumnos del CECATI, es decir, tampoco se dedican a las artesanías. Informe Final 24 Evaluación FONART 2004 2.7.4. Estado de Guanajuato En esta entidad se complicó la localización de los artesanos puesto que solamente se contó con el nombre de la calle y en algunos casos el beneficiario no vivía en el domicilio reportado, además algunas localidades donde se encuestó son ciudades grandes en las cuales es más difícil que los artesanos se conozcan entre sí. En el municipio de Salamanca se encuestó a beneficiarios del Programa de Concursos, Compras y Créditos. El problema más importante se presentó con aquéllos cuya dirección estaba reportada como “domicilio conocido”; sin embargo, se acudió al Centro de Capacitación del FONART donde se proporcionaron las direcciones, incluyendo a los beneficiarios que estaban reportados en el municipio de Salamanca que viven en Irapuato. Otros casos sobresalientes son el de un artesano beneficiario del Programa de Concursos que vive en el municipio de Celaya y en la información proporcionada por el FONART se reporta como del municipio de Villagrán. Asimismo, una beneficiaria reportada en el municipio de Juventino Rosas que vive en Coroneo, el error en este caso se encuentra en el municipio, ya que la localidad tiene el mismo nombre. Las dificultades en el cuestionario se presentaron en los cuadros referidos a los productos que venden, debido a su gran diversidad y en sus costos de producción, ya que la mayoría son productores grandes que desconfían o creen que es un tipo de fiscalización. En el caso del Programa de Concursos, el problema se debió a que algunos de los beneficiarios no se dedican a la actividad artesanal, porque son beneficiarios que tomaron un curso organizado por el FONART y al final se realizó un concurso entre los mismos alumnos, razón por la cual no se aplicaron las preguntas correspondientes a los costos de producción y volúmenes de venta. 2.7.5. Estado de Guerrero Específicamente en el municipio de Xochistlahuaca, de un total de 15 beneficiarios que constituían la muestra, 13 están reportados en el padrón con domicilio en la cabecera municipal; sin embargo, de acuerdo con la información proporcionada por las autoridades municipales y artesanos de la localidad, seis tienen su domicilio en rancherías del mismo municipio, tales como: Arroyo Pájaro, Arroyo Montaña, Rancho del Cura, Guadalupe Victoria y Cruz Larga. El acceso a dichas comunidades es difícil por tratarse de una zona de montaña, además, el periodo de aplicación de la encuesta coincidió con la época en que se realiza la molida de caña, actividad en la cual se emplean algunas de las artesanas de la muestra. La principal dificultad para encuestar a las artesanas del municipio de Xochistlahuaca fue el dialecto, ya que todas hablan amuzgo y muy poco español, además de que no están acostumbradas a este tipo de actividades. Asimismo, esto repercutió en que el tiempo promedio por encuesta fuera de hasta 90 minutos en promedio, situación que les incomodó. Informe Final 25 Evaluación FONART 2004 2.7.6. Estado de Hidalgo Los beneficiarios de los municipios de Jacala de Ledezma y Tepetitlán no presentaron problemas para su ubicación, ya que, a excepción de uno, todos eran conocidos en la comunidad; sin embargo, cuatro radican actualmente en Estados Unidos y uno cambió de domicilio. Cabe señalar que en el municipio de Tenango de Doria se encontraron seis casos donde los artesanos no fueron ubicados en la localidad en donde están registrados. Dada la situación anterior, se recurrió a las autoridades municipales para su ubicación, confirmando el desconocimiento de estas personas, por lo que se procedió a reemplazarlos. En esta entidad se aplicó el cuestionario a 19 menores de edad que desconocen muchos aspectos socioeconómicos, tanto del hogar como de la actividad artesanal. En dichos casos se procedió a complementar la información con la intervención de sus padres o tutores. 2.7.7. Estado de Jalisco En esta entidad dos artesanos de la comunidad de Ajijic del municipio de Chapala no pudieron ser encuestados porque son indígenas huicholes que viven de manera temporal en el domicilio reportado, la mayor parte del tiempo se encuentran en sus lugares de origen. No se pudo ubicar a un artesano que está reportado en el municipio de Tala, se localizó la dirección pero dicha persona es desconocida en ese lugar. En el municipio de Tlaquepaque, para el caso específico del Programa de Capacitación, de un total de 32 beneficiarios que están considerados en la muestra, 16 tienen dirección como “domicilio conocido”, uno vive en el municipio de Sayula y dos más no viven en la dirección proporcionada y no se tuvo información adicional. Por otra parte, siete artesanos que fueron reportados como del municipio de Tlaquepaque se localizaron y encuestaron en el municipio de Coroneo, Guanajuato. Algunos artesanos se mostraron inconformes con la aplicación de la encuesta, debido a que, según ellos no se les proporcionó un curso de capacitación formal; afectando la obtención de información específica. 2.7.8. Estado de México La muestra de beneficiarios a encuestar en el municipio de M etepec era de 27 artesanos, de los cuales se pudo ubicar a 23, dado que tres personas no son conocidas por los habitantes de esa localidad, y las calles o colonias referidas en el padrón no pertenecen a la cabecera municipal, mientras que uno no pudo ser encuestado por problemas de salud. Informe Final 26 Evaluación FONART 2004 En lo que corresponde al municipio de Toluca, se presentó el caso de un artesano reportado en la Calle Independencia 37 de dicha ciudad; sin embargo, dicha dirección no existe y no se localizó en el número telefónico reportado. Asimismo, una beneficiaria estaba reportada en el padrón como de la comunidad de Santa M aría Zozoquipa, pero ella vive en Santa Ana Tlapaltitlán. En el municipio de San Felipe del Progreso, la mayoría de las artesanas que están reportadas con domicilio en la cabecera municipal, en realidad viven en otras localidades como: Ejido La Estación y Ejido La Cabecera, entre otros. En la comunidad de San Pedro Tecomatepec del municipio de Ixtapan de la Sal no se tuvieron problemas de ubicación, debido a que se contó con la colaboración del personal capacitador del FONART . El principal problema en este municipio fue que los artesanos no manejan bien sus costos de producción, y éste se incrementa debido a que las ventas no son periódicas, por lo que fue difícil hacer una estimación. Por otro lado, se tiene que la mayor parte de los artesanos no sabe que los apoyos vienen del FONART , y esto hace que se cree un ambiente de desconfianza al momento de presentarse a evaluar algo que ellos desconocen. En M alinalco se contó con la colaboración del personal de la Casa de la Cultura para la localización de los beneficiarios de la muestra, por lo que se tuvieron algunos contratiempos al momento de tratar de localizar a los artesanos, ya que algunos tenían otras actividades o sus talleres los tienen en otro lugar. En este municipio no se presentaron problemas durante la aplicación de la encuesta, ya que los artesanos cuentan con un nivel de estudios más alto y viven en un municipio turístico, por lo que la información proporcionada fue de mejor calidad, ya que también los materiales que compran para su taller son de mayor valor, y las cantidades de productos que venden son menores pero de alto valor económico. 2.7.9. Estado de Michoacán En el municipio de Aquila algunas beneficiarias no se localizaron en la comunidad reportada porque trabajan o estudian en otros municipios de la entidad. En el caso de los artesanos reportados en la comunidad La Ticla, la mayoría vive en la población llamada M aruata. Asimismo, no se pudo localizar a la beneficiaria reportada en la comunidad Las Jaras del municipio de Angangueo. En la comunidad de Santa Fe de la Laguna, del municipio de Quiroga, se localizaron algunos beneficiarios del Programa de Capacitación que estaban reportados con domicilio en los municipios de Uruapan y Pátzcuaro. En dicha comunidad se complicó la aplicación Informe Final 27 Evaluación FONART 2004 del cuestionario, debido a que muchos de los beneficiarios son niños que no se dedican a la actividad artesanal. Todos los artesanos de la muestra (seis) que aparecen con domicilio en Carácuaro de M orelos, del municipio del mismo nombre, tienen su domicilio en Capula, municipio de M orelia. En Santa Clara del Cobre el problema de la ubicación de los artesanos radicó en que la gran mayoría son niños de entre 10 y 14 años, que participaron en el Programa de Concursos a través de la Escuela de Artesanos de la localidad. Además, algunos no se pudieron localizar aún contando con el apoyo del personal del M useo del Cobre, debido a que en ocasiones se cambian de nombre para poder participar con más piezas en los concursos. La situación descrita en el párrafo anterior no permitió obtener información exacta, ya que los niños no se dedican exclusivamente a la actividad artesanal, sino que la toman como una actividad extracurricular. 2.7.10. Estado de Puebla En la Ciudad de Puebla se encontraron cinco casos donde no fue posible ubicar a los artesanos, encuestándose a nueve de los 14 registrados en la muestra, debido a lo siguiente: • • • • Dos no viven en la dirección registrada. Uno se encuentra en un curso en la ciudad de M éxico. Uno falleció. Uno no tiene un horario fijo donde se le pueda localizar a una hora determinada. El principal problema en la entidad respecto al cuestionario fue la falta de claridad del artesano para proporcionar información. 2.7.11. Estado de Oaxaca El principal problema en lo que se refiere a la ubicación de los artesanos de la región de Valles Centrales fue las direcciones con “domicilio conocido” en ciudades grandes como el caso de Oaxaca de Juárez y Santa M aría Atzompa, aunque cabe destacar que en el primero de los casos dicha dificultad se solucionó solicitando información al responsable del Centro de Acopio del FONART en la entidad. Aunado a esto, frecuentemente los artesanos salían a otras ciudades y no se encontraban en su domicilio, en el caso de las mujeres, era para recibir el apoyo del Programa Oportunidades. De un total de 22 beneficiarios reportados con domicilio en la comunidad de San Andrés Chicahuaxtla, seis no viven en dicho lugar, lo cual dificultó su ubicación, pues son de las comunidades de Santo Domingo del Estado, San Gabriel, San Isidro y Tlaxiaco. Informe Final 28 Evaluación FONART 2004 El principal problema que afectó la aplicación de la encuesta en esta última comunidad fue que la mayoría de las beneficiarias hablan triqui y muy poco español, sobretodo considerando que dichas beneficiarias son de edad avanzada, con un promedio de 50 años. En tal caso, se solicitó el apoyo de personal de la presidencia municipal para realizar la traducción, lo cual repercutió en el tiempo promedio por encuesta. Otro aspecto que vale la pena señalar es que algunas de las beneficiarias de esta localidad manifestaron que las piezas que elaboran, tales como huipiles, fajas y servilletas no las comercializan sino que las utilizan ellas mismas. En estos casos fue difícil determinar la dinámica de producción y los costos de la materia prima. En el municipio de San Juan Colorado no fue posible localizar a la beneficiaria del Programa de Capacitación, debido a que se encontraba de viaje, por lo que fue reemplazada por otra beneficiaria del municipio de Santa M aría Huazolotitlán, ya que, de acuerdo con el padrón de beneficiarios, en el municipio de San Juan Colorado no se capacitó a otras personas en el año 2004. 2.7.12. Estado de Veracruz Llave En esta entidad no existieron problemas respecto a la localización de los beneficiarios, ya que de acuerdo a la muestra éstos se encontraron en comunidades bien definidas. Uno de los problemas detectados es que hubo beneficiarios que son menores de edad, que no tienen claridad en los costos de producción de sus piezas. 2.8. Estados y programas con mayores problemas de localización En el cuadro 2.8.1. se presenta la información específica por estado y por programa en los que se detectó la mayor parte de los problemas de localización de la muestra, así como el número correspondiente de artesanos. Cabe señalar que, pese a no contar con información completa y correcta, la UNICEDER se dio a la tarea, conjuntamente con el Fondo y las instancias estatales, de localizar a algunos de los artesanos; sin embargo, no se tuvo la información suficiente para encontrarlos a todos. De acuerdo con los resultados de la evaluación, la gran mayoría de los artesanos de la muestra recibieron los apoyos del FONART (95.9%), pero existen confusiones en el registro de sus domicilios que, en algunos casos, quedan fuera de la responsabilidad del Fondo, pues los artesanos proporcionan domicilios que no son correctos y en otros casos no se registran adecuadamente. Informe Final 29 Evaluación FONART 2004 Cuadro 2.8.1. Relación de artesanos muestreados con deficiencias en la información del domicilio Programa Estado Jalisco Créditos Compras Municipio Tlaquepaque Localidad Tlaquepaque Guanajuato Salamanca Oaxaca Oaxaca de J. P uebla Domingo Arenas Guanajuato Guanajuato Salamanca Oaxaca Ocotlán de M. Guanajuato Salamanca Oaxaca de J. Domingo Arenas Guanajuato Salamanca Ocotlán de M. México Toluca Guanajuato Toluca P átzcuaro P átzcuaro Santa Maria Huiramangaro Capacitación Michoacán México Capacitación Distrito Federal Jalisco Uruapan Uruapan Carácuaro Carácuaro De Morelos Ixtapan de la Sal Ixtapan de la Sal Venustiano Carranza Venustiano Carranza Coyoacán Iztapalapa Coyoacán Iztapalapa Tlaquepaque Tlaquepaque Tonalá Guanajuato Dolores Hidalgo Capacitación P uebla Zautla Venustiano Carranza Chiapas Ocosingo Concursos Chihuahua Bocoyna Tzintzuntzan Michoacán Morelia Oaxaca Oaxaca de J. Tonalá Dolores Hidalgo Zautla Venustiano Carranza Ocosingo Bocoyna Tzintzuntzan Morelia Oaxaca de J. Número de artesanos 7 13 33 3 2 1 1 1 1 Observación Viven en Coroneo, Gto. Reportados con domicilio conocido. Reportados con domicilio conocido. Reportados con domicilio conocido. Reportados con domicilio conocido. Vive en Dolores Hidalgo, Gto. Reportado con domicilio conocido. Reportado con domicilio conocido. Reportado con domicilio conocido. No vive en la dirección 1 proporcionada. Los artesanos fueron ubicados en la 9 localidad de Santa Fe de la Laguna del municipio de Quiroga. 1 Los artesanos fueron ubicados en la 9 localidad de Santa Fe de la Laguna, municipio de P átzcuaro. Los artesanos fueron ubicados en la 2 comunidad de Capula Municipio de Morelia. Los artesanos fueron ubicados en la 4 comunidad de Capula Municipio de Morelia. Los artesanos no fueron ubicados ya que en la zona no se realizan 6 artesanías de fibras vegetales y la dirección reportada es domicilio conocido. Los artesanos son del municipio de Venustiano Carranza en el Estado 9 de Chiapas, no de la delegación Venustiano Carranza, Distrito Federal. 5 Reportados con domicilio conocido. 5 Reportados con domicilio conocido. 1 11 14 1 8 El artesano vive en el municipio de Sayula, Jalisco. Reportados con domicilio conocido. Reportados con domicilio conocido. Reportado con domicilio conocido. Reportados con domicilio conocido. 1 Reportado con domicilio conocido. 1 1 1 1 1 Reportado con domicilio conocido. Reportado con domicilio conocido. Reportado con domicilio conocido. Reportado con domicilio conocido. Reportado con domicilio conocido. Fuente: UNICEDER, S. C., con base en los resultados del trabajo de campo de la evaluación del FONART 2004. Informe Final 30 Evaluación FONART 2004 2.9. Análisis de la muestra Con relación a la muestra diseñada para la evaluación, es importante indicar que se tomó como universo de atención a los artesanos apoyados cuyo registro en el padrón se realizó al 4 de enero de 2004, lo cual repercutió negativamente en la muestra del Programa de Organización de Concursos, ya que prácticamente se realizó un censo, dado el número de artesanos que se tenían registrados a esa fecha. Aunado a esto, fue en este programa donde se detectó la mayor proporción de “no respuesta”, debido a diferentes situaciones que no permitieron localizar a los artesanos de algunos lugares como M etlatonoc en Guerrero y Bocoyna y Guachochi en Chihuahua, entre otros aspectos, ya mencionados. Con base en lo anterior, se añadió otro listado de ganadores de concursos que no se habían registrado, el cual fue proporcionado por el área del Programa de Organización de Concursos, logrando obtener una mayor cobertura de beneficiarios en la muestra, mismos que se incorporaron como reemplazos, cubriéndose 89.4% de la misma. Se cubrió 97.3% de la muestra total, proporción que permite tener un resultado eficiente con relación a las inferencias obtenidas. También se cubrió satisfactoriamente la representatividad en los programas de Otorgamiento de Créditos, Capacitación y Adquisición, no así en el de Organización de Concursos. Informe Final 31