EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 1. ¿El problema o necesidad prioritaria al que va dirigido el programa está correctamente identificado y claramente definido? Respuesta: No. El problema está identificado correctamente aunque no está definido con claridad. De acuerdo con las Reglas de Operación, el FONART “surge como una respuesta a la necesidad de promover la actividad artesanal del país y contribuir así a la generación de un mayor ingreso familiar de los artesanos y, en consecuencia, al desarrollo socioeconómico de diversas regiones de alta y muy alta marginación”.1 El Objetivo General que establecen es “apoyar a los artesanos de México que viven en condiciones de pobreza y que preservan técnicas y diseños tradicionales…” Este problema a resolver presenta una inconsistencia entre el problema identificado y el objetivo del Programa: por un lado, promover la actividad artesanal del país y contribuir así a la generación de un mayor ingreso familiar de los artesanos; y por otro, apoyar a los artesanos de México que viven en condiciones de pobreza y que preservan técnicas y diseños tradicionales. La dualidad genera confusión en la definición del problema y en el diseño del Programa. Por ello, se sugiere definir entre los objetivos estratégicos del FONART el fomento y la comercialización de las artesanías con un enfoque dirigido a todos los artesanos que cumplan con los requisitos de promover la actividad artesanal del país preservando técnicas y colores tradicionales y, adicionalmente, establecer un programa específico que atienda a los artesanos en situación de pobreza, cuyas vertientes de atención serían las que operan hoy en FONART (capacitación, financiamiento, adquisición y concursos). De esta manera, las Reglas de Operación normarían, en su caso, al “Programa de Atención a Artesanos en Pobreza”, lo que daría claridad al diseño del Programa. Por otra parte, los elementos que se refieren al fomento y comercialización de los artesanos en general bajo una perspectiva comercial, requerirían lineamientos particulares. Con esta diferenciación de objetivos, población beneficiaria y focalización, el FONART podrá atender ambas dimensiones del problema que le dio origen. 1 FONART, Reglas de Operación 2007, Apartado 1: Presentación, párrafo 1, p. 2. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 11 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 2. ¿Existe un diagnóstico actualizado y adecuado, elaborado por el programa, la dependencia o entidad, sobre la problemática detectada que sustente la razón de ser del programa? Respuesta: No. El FONART no cuenta con un diagnóstico que otorgue sustento a la existencia del programa. De esa carencia se deriva que el problema al que va dirigido el Programa ha sido bien identificado, aunque no ha podido definirse correctamente. En las Reglas de Operación se indica que se busca “promover la actividad artesanal del país y contribuir así a la generación de un mayor ingreso familiar de los artesanos”. No se especifica, sin embargo, qué proporción de los artesanos están en condiciones de desventaja económica, si esos artesanos son los que preservan las técnicas tradicionales, ni qué proporción de la población artesanal requiere de los apoyos del FONART. El FONART se constituye en el año 1974 con un objetivo definido: “atender a las etnias que habitan en el país y los innumerables grupos mestizos regionales que también contribuyen a enriquecer este panorama, con el objeto de fomentar su actividad artesanal.”2 En 1995 es sectorizado a la SEDESOL, sin contar con un diagnóstico de causas-efectos y fin-medios; es decir, sin establecer una nueva ruta estratégica, por lo que continúa bajo la lógica que operaba anteriormente. Cabe mencionar que la actual administración del FONART ha iniciado la tarea de generar un diagnóstico sobre la problemática que existe entre los artesanos del país, con el propósito de dirigir de forma eficaz y eficiente los esfuerzos del Fondo. 3 Algunos elementos relevantes que podrían apuntar a un diagnóstico se pueden encontrar en las evaluaciones externas realizadas al Programa. Además de considerar el diseño, el cumplimiento a las Reglas de Operación y la cobertura y focalización del programa, las evaluaciones han contemplado trabajo de campo con grupos de beneficiarios, que revela en buena medida la situación y los retos que enfrenta el FONART. De igual manera, el Informe de Rendición de Cuentas 2000-2006 Tercera Etapa que preparó el FONART con motivo del cambio de administración federal, contiene datos y análisis que deberán considerarse para la elaboración del diagnóstico. 2 FONART, Reglas de Operación 2007, Apartado 2: Antecedentes, p. 3. Información obtenida mediante la entrevista realizada al Ing. Pablo Tapie Vizuet, Director de Operación del FONART. 3 ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 12 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 3. ¿El Fin y el Propósito del programa están claramente definidos? Respuesta: Sí. El Fin y el Propósito del Programa establecidos en la Matriz de Indicadores Modificada al cierre de 2007,4 están claramente definidos y se encuentran correctamente expresados de acuerdo con la Metodología de Marco Lógico. De acuerdo a ésta, el Fin “es un objetivo superior a cuyo logro el proyecto contribuirá de manera significativa. Dicho objetivo corresponderá a la solución de un problema de desarrollo que se ha detectado y que ha sido considerado el problema principal”.5 El Fin del FONART expresado en la Matriz modificada es “contribuir al incremento del ingreso de los artesanos en situación de pobreza”, por lo que deja claro que el problema de desarrollo identificado en el sector artesanal es el deteriorado nivel de ingresos de gran número de artesanos, problema al que busca contribuir a su solución. Por su parte, el Propósito “es el resultado esperado una vez finalizada la ejecución del proyecto. Es la consecuencia directa que se espera ocurrirá como resultado de disponer de los bienes o servicios que producirá el proyecto”.6 En este caso, el Propósito del Programa del FONART está formulado de la siguiente manera en la Matriz modificada: “artesanos en situación de pobreza fortalecidos en su ciclo productivo”. Se pretende fortalecer el ciclo productivo de los artesanos pobres con apoyos en capacitación, financiamiento, adquisición y concursos y se asume que, al alcanzar mayor eficiencia en su ciclo productivo, lograrán mejorar sus niveles de ingreso. Cabe indicar que esta nueva redacción del Fin y el Propósito permitió subsanar dos deficiencias que tenía la Matriz de Indicadores original del FONART respecto a la claridad de los términos utilizados en la redacción. Por un lado, a nivel de Fin eliminó la referencia al término de “calidad de vida” de los artesanos y se enfocó sólo al ámbito de los ingresos. Respecto al Propósito, originalmente la Matriz para definir a su población objetivo utilizaba la expresión “prioritariamente tradicionales”, que dejaba indeterminada a dicha población, ya que de acuerdo con sus Reglas de Operación, apartado 4.2, la población que atenderá FONART debe estar en condición de pobreza y ser artesano tradicional. 4 La Matriz original del FONART fue modificada con base en las recomendaciones de la institución evaluadora y de CONEVAL, lo que da lugar a una nueva versión de Matriz de Indicadores para el ejercicio 2007, misma que es evaluada en este apartado de Diseño. 5 Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES), Metodología de Marco Lógico, Boletín número 15, 2004, p. 14. 6 Ibíd, p. 15. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 13 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 4. ¿El Fin y el Propósito corresponden a la solución del problema? Respuesta: Sí. De acuerdo con lo planteado en la Matriz de Indicadores modificada del FONART, se infiere que el problema al cual pretende dar solución el programa es el bajo nivel de ingresos de un gran número de artesanos,7 por lo que el Fin y el Propósito establecidos sí contribuyen a la solución del mismo. Al fortalecer el ciclo productivo de los artesanos (Propósito) se presume que éstos mejorarán su nivel de ingresos (Fin del Programa), ya que tendrán elementos para generar artesanías de calidad y mecanismos para colocarlas en el mercado, con ello los artesanos tendrán mejores ingresos que le permitirán mejorar su calidad de vida. 7 Es preciso recordar que la elaboración de la Matriz de Indicadores del FONART no contó con la formulación de los árboles de problemas y de soluciones, los cuales constituyen un paso previo elemental para la creación de una matriz sólida; de ahí que únicamente se pueda inferir el problema que intenta resolver el programa. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 14 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 5. ¿El programa cuenta con evidencia de estudios o investigaciones nacionales y/o internacionales que muestren que el tipo de servicios o productos que brinda el programa es adecuado para la consecución del Propósito y Fin que persigue el programa? De no ser así, el evaluador deberá investigar y, de existir, presentar dicha evidencia. Respuesta: Sí. A nivel nacional, en el estudio de evaluación externa 2006 del FONART8 fueron entrevistados 741 artesanos beneficiarios del Fondo; se concluyó que 72 por ciento se encuentra en situación de pobreza, que va desde pobreza alimentaria (37.2 por ciento), de capacidades (11.3 por ciento) y patrimonial (23.3 por ciento). A pregunta expresa sobre el impacto en su nivel de vida a partir del contacto con el FONART, 53 por ciento indicó que ha percibido una mejoría notoria, 32 por ciento han tenido más ventas y por lo tanto más ingresos, 8 por ciento han recibido conocimientos técnicos para mejorar sus productos y 5 por ciento han obtenido dinero para comprar su material. Además, 89 por ciento de los entrevistados tienen como principal fuente de ingreso la actividad artesanal, siendo el FONART su principal comprador. Con esto se observa que los servicios que proporciona el programa sí permiten la mejoría de las condiciones productivas de los artesanos y la mejora de su calidad de vida. A nivel internacional, la evaluación de la UNESCO sobre su Plan de Acción Decenal para el Desarrollo de la Artesanía en el Mundo (1990-1999)9 recomendó dar énfasis al perfeccionamiento de los artesanos, sobre todo en diseño y control de calidad; promoción y comercialización de la artesanía y financiación de proyectos de artesanía. Indicó que los trabajadores artesanales deben adaptar sus productos y mejorar su capacidad de producción y con ello mejorarán su calidad de vida, pues podrán continuar con una fuente de autoempleo estable y remunerado. Asimismo, considera que los artesanos tienen un escaso acceso a las fuentes de financiamiento, lo que es negativo en términos macroeconómicos, pues el sector artesanal consume una gran cantidad de trabajo pero no de capital, por lo que sería el medio ideal para combatir el desempleo y la pobreza en los países en desarrollo. La existencia de programas que financien la producción artesanal permitirá una mayor generación de ingresos y de empleos, lo que disminuirá el desempleo y la pobreza en las regiones donde habitan los artesanos. Ello muestra que los servicios que brinda el programa a través de sus cuatro vertientes son adecuados para la consecución del Propósito y Fin. 8 Alternativas en Economía, Evaluación externa del programa del FONART 2006. UNESCO, Evaluación del Programa de la UNESCO para el Fomento de la Artesanía 1990-1998, Informe de Evaluación Final, enero de 2000. 9 ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 15 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 6. Con base en los objetivos estratégicos de la dependencia y/o entidad que coordina el programa, ¿a qué objetivo u objetivos estratégicos está vinculado o contribuye el programa?* La Secretaría de Desarrollo Social (SEDESOL), dependencia que coordina el programa, tiene como objetivo principal “contribuir al desarrollo humano sustentable a través del desarrollo de capacidades básicas de educación, salud y nutrición que permitan una mayor igualdad de oportunidades de ingreso y superación, en especial para la población en condiciones de pobreza.”10 El FONART se vincula al objetivo número 2 dirigido a “Abatir el rezago que enfrentan los grupos sociales vulnerables a través de estrategias de asistencia social que les permita desarrollar sus potencialidades con independencia y plenitud”11, ya que otorga diversos apoyos a los artesanos cuyas familias se encuentran en condición de pobreza. Con ello se mejora la calidad y el diseño de la producción artesanal para adaptarla a las necesidades y requerimientos del consumidor; también se apoya la comercialización, lo que contribuye a que los artesanos mejoren sus ingresos. También se vincula al objetivo número 3, relativo a “Disminuir las disparidades regionales a través de un patrón territorial ordenado y una infraestructura social que permita la integración de las regiones marginadas a los procesos de desarrollo y detonar las potencialidades productivas”12, ya que prioritariamente se atienden localidades con alta y muy alta marginación, lo que permitirá que tiendan a reducir su brecha respecto a las regiones más desarrolladas del país. Ante la dispersión geográfica de este tipo de localidades, el Fondo facilita el acceso a los mercados por parte de los artesanos, mediante la adquisición de la producción en sus centros de acopio y casas de artesanías de los gobiernos estatales. 10 SEDESOL, Programa Sectorial de Desarrollo Social, 2007-2012, “Objetivos Generales de la Secretaría de Desarrollo Social y su concordancia con el Plan Nacional de Desarrollo”, p. 21. 11 Ibidem, p. 29. 12 Ibidem, p. 32. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 16 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 7. Con base en lo anterior, analizar y evaluar si existe una relación lógica del programa con los objetivos nacionales del Plan Nacional de Desarrollo.* Los objetivos nacionales considerados en el Plan Nacional de Desarrollo 2007-2012 a los cuales se encuentra alineado el programa del FONART, son el 5 y 6, relativos a “Reducir la pobreza extrema y asegurar la igualdad de oportunidades y la ampliación de capacidades para que todos los mexicanos mejoren significativamente su calidad de vida y tengan garantizados alimentación, salud, educación, vivienda digna y un medio ambiente adecuado para su desarrollo tal y como lo establece la Constitución”, y “Reducir significativamente las brechas sociales, económicas y culturales persistentes en la sociedad, y que esto se traduzca en que los mexicanos sean tratados con equidad y justicia en todas las esferas de su vida, de tal manera que no exista forma alguna de discriminación”. Estos objetivos nacionales se articulan en torno al eje 3, “Igualdad de oportunidades”, Objetivo 1 “Reducir significativamente el número de mexicanos en condiciones de pobreza con políticas públicas que superen un enfoque asistencialista, de modo que las personas puedan adquirir capacidades y generar oportunidades de trabajo” 13 El programa del FONART otorga herramientas a los artesanos para que su producción tenga calidad, preserve las tradiciones y acceda al mercado. Esto genera una fuente propia y sustentable de empleo e ingresos, con lo que podrán tener acceso a los bienes básicos y mejorar su calidad de vida. Asimismo, el programa y sus vertientes tienen una relación lógica con el objetivo nacional del Plan Nacional de Desarrollo 2007-2012 de reducir significativamente las brechas sociales, económicas y culturales persistentes en la sociedad, pues al brindar a los artesanos elementos para mejorar sus ingresos, el FONART contribuye a reducir las brechas sociales y económicas para avanzar en la construcción de una sociedad más justa e igualitaria. 13 Poder Ejecutivo Federal, Plan Nacional de Desarrollo 2007-2012, “Desarrollo Humano Sustentable, Objetivos Nacionales”, México, 2007, en www.presidencia.gob.mx ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 17 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 8. ¿Las Actividades del programa son suficientes y necesarias para producir cada uno de los Componentes? Respuesta: Sí. Las actividades establecidas en la Matriz de Indicadores modificada del FONART son suficientes para garantizar la consecución de los componentes, al mismo tiempo que son necesarias para lograrlos. Las actividades contenidas en la Matriz de Indicadores modificada sufrieron importantes cambios respecto a las señaladas en la Matriz original, por lo que es pertinente hacer los siguientes comentarios: a) Se eliminó de la redacción del nombre de las actividades la referencia a la población objetivo del Programa (que ya está definida en el Propósito del Programa), tal como se sugirió por parte de la institución evaluadora. b) Las actividades de la Matriz modificada son las sustanciales para el logro de los componentes, por lo que se eliminaron algunas que podían clasificarse en una actividad genérica amplia y se pusieron sólo las elementales para el logro de los componentes. c) La Matriz modificada superó la ausencia de actividades dirigidas a la selección de beneficiarios que se encontraba en la Matriz original, tal como se sugirió. d) Fue redactada con precisión la primera actividad del componente de capacitación, dado que se clarificó la posibilidad de detección de necesidades de capacitación por parte del FONART, lo cual también fue recomendado por los evaluadores. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 18 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 9. ¿Los Componentes son necesarios y suficientes para el logro del Propósito? Respuesta: Sí. Los componentes expresados en la Matriz de Indicadores modificada, al igual que en la Matriz original, sí son necesarios y suficientes para el logro del propósito, especialmente en la lógica integral que tiene el programa. Los componentes 1 capacitación y 2 financiamiento contribuyen al fortalecimiento técnico del proceso productivo y al otorgamiento de los recursos económicos para la producción. Por otro lado, el componente 3 adquisición también es relevante dado que cierra el ciclo, pues tras la capacitación y el financiamiento el artesano tiene acceso al mercado vía la red de comercialización del FONART, y eso lo beneficia ya que puede vender sus artesanías en mejores condiciones de precio e incrementar sus ingresos. Finalmente, el componente 4 concursos artesanales genera incentivos para que el artesano elabore artesanías de calidad que puedan ser premiadas y posteriormente consideradas en las líneas regulares de producción. Estos componentes fueron fortalecidos en la Matriz modificada al seguir los cambios sugeridos a la Matriz original: a) El orden en que son presentados los componentes en la Matriz modificada fueron cambiados en función del orden que guardan en el ciclo productivo: capacitación, financiamiento, adquisición y concursos. b) La redacción de los componentes también cambió, ya que en la versión de la Matriz Modificada ya no se integra de forma reiterativa a la población que el FONART atenderá con sus componentes, lo cual era innecesario ya que en el Propósito se definió dicha población. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 19 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 10. ¿Es claro y lógico que el logro del Propósito contribuye al logro del Fin? Respuesta: Sí. A diferencia de la Matriz original, el Propósito sí contribuye claramente al logro del Fin en la Matriz modificada. Esto se debe a que fue eliminada la inconsistencia entre el alcance del Propósito y la magnitud del Fin, pues mientras el primero buscaba el “fortalecimiento en su ciclo productivo”, el Fin pretendía “contribuir al mejoramiento de la calidad de vida de los artesanos a través del fortalecimiento del ciclo productivo”. Con la nueva redacción es claro y lógico que al fortalecer el ciclo productivo de los artesanos (Propósito), se contribuirá al incremento en el nivel de ingreso de los mismos (Fin). De esta forma, el Fin fue acotado a la dimensión económica, tal como se sugirió. Asimismo, el Propósito también estuvo sujeto a modificaciones, pues se estableció que el Programa atenderá a artesanos en situación de pobreza, lo que va de la mano de la sugerencia de separar el Programa de apoyo a artesanos en pobreza de otras acciones encaminadas a los artesanos tradicionales que fomentan la artesanía, expresada en el apartado de Resultados de esta misma evaluación. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 20 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 11. Considerando el análisis y la evaluación realizados en este punto, ¿la lógica vertical de la matriz de indicadores del programa es clara y se valida en su totalidad? Es decir, ¿la lógica interna del programa es clara? Respuesta: Sí. La lógica vertical de la Matriz de Indicadores modificada del FONART se valida en su totalidad, ya que cada nivel del resumen narrativo es consistente con el logro del siguiente, como se detalla a continuación. a) A nivel de Actividades, las señaladas son necesarias y suficientes para el logro de los Componentes, pues en la Matriz modificada se establecieron aquellas Actividades que son elementales para el logro de los componentes y que contribuyen a la lógica secuencial de la propia Matriz. b) Los Componentes de la Matriz modificada son indicados para alcanzar el Propósito, dado que cada uno presenta elementos para lograr el fortalecimiento del ciclo productivo de los artesanos en situación de pobreza. c) El Propósito está claramente definido y establece con precisión la población que atenderá el Programa, al considerar que los artesanos en situación de pobreza son los que recibirán los apoyos de las vertientes del FONART. d) En el nivel de Propósito a Fin se encontró consistencia en la magnitud del mismo y el impacto del Propósito, es decir, hay una relación lógica y clara entre el alcance del Propósito y el logro del Fin. Cabe mencionar que, de conformidad con la metodología de Marco Lógico, en el análisis de la lógica vertical de la Matriz debe incluirse a los Supuestos, pues si se realizan las Actividades y sus Supuestos entonces se logran los Componentes, y si se realizan éstos y sus Supuestos entonces se logra el Propósito y así hasta llegar al Fin. 14 Por lo tanto, se sugiere modificar el orden de las preguntas de este cuestionario para que la pregunta 20 se incluya en la lógica vertical y no en la horizontal. 14 ILPES, Metodología de Marco Lógico, Boletín número 15, 2004, p. 30. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 21 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 12. Si no es así, proponer los cambios que deberían hacerse en el diseño del programa y en su lógica interna. Estos cambios deberían reflejarse en la matriz de indicadores definitiva del programa.* Se sugirieron los siguientes cambios para cada uno de los niveles de la Matriz original del FONART, los cuales fueron atendidos por FONART, lo que dio lugar a la Matriz de Indicadores modificada: a) Fin: la sugerencia consistió en acotarlo únicamente a la dimensión de los ingresos de los artesanos, de forma tal que quedara expresado como: “Contribuir al mejoramiento del nivel de ingreso de los artesanos”. b) Propósito: se sugirió modificar la redacción para determinar con claridad el tipo de artesanos que atiende el Programa, enfocando dicha población únicamente a la condición de pobreza. c) Componentes: en los cuatro Componentes se propuso eliminar de su redacción la referencia al tipo de artesano que atendería el programa; asimismo, cambiar el orden de los Componentes de acuerdo al ciclo productivo: capacitación, financiamiento, adquisición y concursos. d) Actividades: la propuesta del evaluador consistió en: Modificar el orden de las Actividades de acuerdo al cambio propuesto en los Componentes. En cuanto a la redacción, eliminar la referencia al tipo de artesanos que atiende el Programa, puesto que el sujeto al que se dirige el FONART se define en el Propósito. Para observar el resto de las recomendaciones en materia de Actividades, véase el Anexo VI, que contiene la Matriz de Indicadores del FONART modificada con base en las recomendaciones propuestas por la institución evaluadora. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 22 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 13. En términos de diseño, ¿existen indicadores para medir el desempeño del programa a nivel de Fin, Propósito, Componentes y Actividades e insumos? Respuesta: Sí. Se presenta un indicador de eficacia que mide el porcentaje de artesanos Fin beneficiados por el FONART que incrementaron sus ingresos derivados de la actividad artesanal; este indicador sí mide el desempeño del Fin acotado en la Matriz modificada a la variable de ingresos del artesano. Hay cuatro indicadores de eficacia que miden el porcentaje de artesanos que aplican lo aprendido en la capacitación; que incrementan su producción Propósito tras el financiamiento; que ampliaron su mercado, y que declaran mejora en la calidad de su producción tras participar en los concursos. Todos ellos miden adecuadamente el desempeño del Programa a nivel del Propósito. Este nivel cuenta con cuatro indicadores de eficacia (uno por componente) que miden el número de artesanos que recibieron el apoyo de la vertiente, Componentes respecto al número de artesanos programado para recibir el apoyo. Todos ellos reflejan adecuadamente el desempeño del FONART a nivel de componente. De los 19 indicadores de actividades siete son de eficacia, once son de eficiencia y uno es de economía. En la actividad transversal 0.1 el indicador de eficacia propuesto debe Actividades replantearse para medir el desempeño de dicha actividad (establecer convenios con entidades e instituciones que fomentan la artesanía), pues aunque la cobertura del programa es nacional no todas las entidades de la República tienen tradición artesanal, por lo que quizá algunas entidades no celebren convenios con el FONART. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 23 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 14. ¿Todos los indicadores son claros, relevantes, económicos, adecuados y monitoreables? Respuesta: Sí. Los Indicadores de la Matriz Modificada cumplen con las características señaladas para ser considerados buenos indicadores. Esto representa un avance importante respecto a los indicadores de la Matriz original, donde los de Fin y Propósito carecían de relevancia para medir lo establecido en el resumen narrativo; incluso, algunos indicadores a nivel de Componentes no eran adecuados para ese nivel del resumen. En la Matriz de Indicadores modificada, el indicador del Fin es claro, económico, relevante, adecuado y monitoreable, ya que pretende medir el aumento de ingresos de los artesanos derivado de la actividad artesanal, reflejando de forma absoluta al resumen narrativo; por otro lado, cabe reconocer que es un indicador económico pues sus resultados se derivarán de la Cédula Socioeconómica que el FONART debe realizar para caracterizar a sus poblaciones objetivo y atendida. Los cuatro indicadores de Propósito son claros, relevantes, adecuados y monitoreables, así como económicos, pues su elaboración requerirá de un estudio muestral cada año para determinar el avance del Programa con base en los datos registrados de la Cédula de Información Socioeconómica, lo cual reduce los costos de su elaboración. Los cuatro indicadores de los Componentes se refieren a lo que genera el programa, son claros, relevantes, económicos, monitoreables y adecuados; para fortalecerlos se puede plantear que la comparación no se realice respecto a la población programada, sino a la brecha que existe entre la población atendida y la que tiene la necesidad. Los indicadores de las Actividades, en estricto sentido metodológico, no resultan adecuados, pues ahí debe señalarse el costo de cumplir con la actividad; sin embargo, en esta etapa de la adaptación del modelo de la Matriz de Indicadores puede considerarse que están bien estos indicadores mientras no se logre que el presupuesto llegue al punto de desagregación requerido. Los indicadores son claros, relevantes económicos y monitoreables, pues el FONART ya ha generado algunos de estos indicadores en el pasado. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 24 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 15. De no ser el caso, la institución evaluadora, en coordinación con el programa, deberá proponer los indicadores faltantes y necesarios para cada ámbito de acción o las modificaciones a los indicadores existentes que sean necesarias.* Las modificaciones que se propusieron a la Matriz de Indicadores original, y que fueron retomadas en la Matriz modificada, fueron las siguientes: a) Fin: modificar el resumen narrativo para vincularlo al mejoramiento en el nivel de ingresos de los artesanos, y mantener el indicador que tiene la Matriz original. b) Propósito: los indicadores de Propósito deben vincularse con la idea de que al fortalecer el ciclo productivo se consolidan las capacidades del artesano para obtener mejores oportunidades de vinculación al mercado. Por lo tanto, se propuso medir la consolidación de los artesanos con base en cuatro indicadores: el primero (incluido en la Matriz original del FONART a nivel de Propósito) se refiere a la capacitación “(Nº de artesanos que producen con las técnicas enseñadas en la capacitación / Nº de artesanos capacitados)*100”. El segundo se referirá al financiamiento “(No. de artesanos que incrementaron su producción / No. de artesanos financiados)*100”, el tercero referido a adquisición “(Ventas que se realizan a FONART por parte del artesano / Ventas totales)*100”. El cuarto referido a concursos: “No. de artesanos que diversificaron sus compradores / No. de artesanos participantes en concursos”. c) Componentes: se sugirió que todos los indicadores que se tienen como parte del ejercicio presupuestario se ubicaran a nivel de las Actividades. d) Actividades: se propuso utilizar como indicadores los relativos al ejercicio presupuestal y que actualmente se encuentran a nivel de Componentes, y modificar el indicador de la actividad transversal 0.1 para que no refleje el número de convenios firmados sino cuántos de ellos se cumplen adecuadamente. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 25 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 16. ¿Los indicadores incluidos en la matriz de indicadores tienen identificada su línea de base y temporalidad en la medición? Respuesta: No. Todos los indicadores de la Matriz modificada cuentan con temporalidad de medición, aunque no todos tienen línea base. Al igual que en la Matriz de Indicadores Original y en las fichas técnicas de los indicadores incluidos en ella, todos los indicadores de la Matriz modificada cuentan con temporalidad de medición, que va de plazos de tres años en el caso del indicador de Fin; anual, en el caso de los indicadores de Propósito y para el indicador de la Actividad transversal, y trimestral para los indicadores de Componentes y de Actividades. Asimismo, el indicador de Fin, los de Componentes y los de Actividades cuentan con una línea base, donde se establece el valor de referencia que será utilizado para medir el avance del indicador, así como el año en que dicho valor fue calculado. Únicamente los indicadores de Propósito carecen de la línea basal, ya que son indicadores nuevos, cuya información para ser calculados debe derivarse de la aplicación de la cédula socioeconómica, por lo que se espera que en 2008 se genere por primera vez la información necesaria para su cálculo y con ello pueda realizarse la línea de base para los indicadores de este nivel del resumen narrativo. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 26 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 17. ¿El programa ha identificado los medios de verificación para obtener cada uno de los indicadores? Respuesta: Sí. Igual que en la Matriz de Indicadores original del FONART, tanto en la Matriz de Indicadores modificada como en las fichas técnicas de los indicadores se señalan los medios de verificación. En el caso de la Matriz modificada los medios de verificación son más específicos que los que señalaba la Matriz original, donde como medios de verificación se señalaba a los “archivos documentales” o “informes” para obtener la información que se requiere para calcular cada uno de los indicadores; ahora se hace referencia específica al “Informe trimestral de resultados” para el cálculo de los indicadores de Componentes y Actividades, así como a la información de las Cédulas Socioeconómicas y a un estudio muestral que se realizará para obtener los indicadores de Propósito y de Fin. Asimismo, en la ficha técnica de los indicadores se especifican las unidades encargadas de generar la información para el cálculo de los indicadores, lo que da mayor certeza de la responsabilidad al interior del FONART respecto de las unidades que participarán en la generación de los indicadores. Cabe recordar que los medios de verificación, tal como lo marca la metodología de la Matriz de Marco Lógico, tienen como finalidad contribuir a la transparencia, de ahí la importancia de que sean accesibles para todo público.15 Para avanzar en dicho sentido, sería conveniente publicar en la página Web de la entidad los indicadores y las tablas de información con las cuales se conforma el indicador. 15 Julio Córdoba, Capacitación en Metodología de Marco Lógico: Evaluadores Externos, 5 a 7 de septiembre de 2007. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 27 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 18. Para aquellos medios de verificación que corresponda (por ejemplo encuestas), ¿el programa ha identificado el tamaño de muestra óptimo necesario para la medición del indicador, especificando sus características estadísticas como el nivel de significancia y el error máximo de estimación? Respuesta: Sí. Esta pregunta será contestada bajo dos interpretaciones que se explican a continuación: primera, analizar si el Programa ha empleado encuestas para evaluar su desempeño y si éstas han identificado el tamaño de muestra óptimo. Segunda, responder considerando si la Matriz de Indicadores tiene como medio de verificación alguna encuesta. Las evaluaciones externas de los últimos cuatro años del FONART incluyeron una encuesta con la finalidad de evaluar el cumplimiento de las Reglas de Operación y la satisfacción del beneficiario, a partir de la cual se generaban indicadores de desempeño, no para la medición de indicadores en particular. El tamaño de la muestra y las características estadísticas, como el nivel de significancia y el error máximo de estimación, eran propuestos por la empresa encuestadora en su diseño muestral, para ser evaluado, corregido y autorizado por la Dirección General de Padrones de la SEDESOL. Aunque en la Matriz de indicadores modificada del FONART no se especifica que algún indicador tendrá como medio de verificación una encuesta, se puede inferir que los indicadores a nivel de Propósito (porcentaje de artesanos capacitados que aplican en su producción las técnicas enseñadas con respecto a los artesanos capacitados; porcentaje de artesanos financiados que incrementaron su producción con respecto al total de artesanos financiados; porcentaje de artesanos beneficiados por adquisición que ampliaron mercado con respecto a los artesanos beneficiados por adquisición, y porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos con respecto al total de artesanos concursantes), únicamente podrán ser determinados con base en una encuesta que deberá realizarse de forma anual. Por lo tanto, el tamaño de la muestra y las características estadísticas, como el nivel de significancia y el error máximo de estimación, en su momento serán propuestos y validados por las instancias mencionadas anteriormente. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 28 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 19. ¿De qué manera el programa valida la veracidad de la información obtenida a través de los medios de verificación?* Esta pregunta no está claramente formulada, ya que podría interpretarse que se refiere a cómo valida el Programa la información obtenida de terceros, o bien cómo el Programa valida la información que publicará como medio de verificación. Se contesta bajo la segunda óptica. Con el propósito de comprobar que los datos generados en los registros administrativos del programa son correctos, el FONART realiza conciliaciones entre lo reportado en los registros financieros de la Dirección de Administración y Finanzas y los archivos físicos que tiene la Dirección de Operación. De acuerdo a sus funciones, la Dirección de Operación mantiene en papel los formatos que amparan y sirven de evidencia de la entrega de los apoyos a los artesanos, mientras que en la Dirección de Finanzas se mantiene documentación sobre la ejecución de los recursos para brindar esos apoyos. Al final, ambos registros -físicos y contables- deben coincidir, lo que valida la veracidad de la información generada. Cabe indicar que este mecanismo de conciliación es reciente en el FONART, pues inició en 2006 y se ha mantenido durante 2007; de acuerdo a lo indicado por las autoridades del Fondo, se pretende utilizarlo de forma permanente. La información conciliada entre ambas áreas es posteriormente entregada a las distintas áreas de control y fiscalización, quienes revisan las evidencias y la calidad de dicha información. 16 16 Información obtenida mediante entrevista realizada al Director de Operación del FONART. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 29 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 20. ¿Se consideran válidos los supuestos del programa tal como figuran en la matriz de indicadores? Respuesta: Sí. De acuerdo con la Metodología del Marco Lógico, en la gestión de proyectos el equipo debe “identificar los riesgos en cada nivel de objetivos: Actividad, Componente, Propósito y Fin. Por ello estos riesgos se expresan como supuestos que tienen que cumplirse para que se logre el nivel siguiente en la jerarquía de objetivos.”17 En la Matriz de Indicadores del FONART original no todos los supuestos constituían un riesgo, ya que el programa debería tener control sobre los mismos; además, había otros supuestos que en realidad se desprendían de actividades que el programa mismo debe realizar y al establecerlos como supuestos se podía asumir que el programa no está funcionando como debiera; tal es el caso del supuesto del propósito “los artesanos conocen la convocatoria del concurso”, puesto que para que los artesanos conozcan la convocatoria el FONART debe realizar labores de difusión. Por lo tanto, se sugirió eliminar dichos supuestos así como eliminar todos aquellos que se repetían, pues los supuestos no pueden ser los mismos para cada nivel del resumen narrativo. Asimismo, se sugirió mantener el supuesto “existe disponibilidad de materias primas para la producción de artesanías tradicionales y de calidad”, aunque se dijo que debería ser monitoreado, pues si el diagnóstico del Programa prevé la escasez de algunas materias primas, entonces se necesita generar un programa para la sustentabilidad de las mismas. Con base en dichas recomendaciones, la Matriz modificada del FONART tiene supuestos validos que, aunados a cada elemento del resumen narrativo, permiten la consecución del Propósito y Fin del Programa. 17 Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES), Metodología de Marco Lógico, Boletín número 15, 2004, p. 27. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 30 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 21. Considerando el análisis y evaluación realizado en este punto, ¿la lógica horizontal de la matriz de indicadores se valida en su totalidad? Respuesta: Sí. La lógica horizontal de la Matriz de Indicadores modificada del FONART se valida en su totalidad, debido a que realizó los cambios sugeridos que le permitieron subsanar sus deficiencias en las áreas señaladas a continuación: • Todos los indicadores de la Matriz modificada son claros, relevantes, económicos, adecuados y monitoreables. Este es un cambio relevante respecto a la Matriz original, donde los indicadores no eran relevantes ni adecuados (además de costosos) para medir el nivel de resumen narrativo de Fin y Propósito, así como de Componentes. • Los indicadores están bien ubicados, es decir, corresponden al nivel del resumen narrativo que pretenden medir; esto se debe a que los indicadores que en la Matriz original estaban a nivel de Componentes y que se referían al ejercicio presupuestario, fueron ubicados en la Matriz modificada a nivel de Actividades. • Los indicadores tienen línea base en las fichas técnicas, a excepción de los de Propósito que serán calculados a partir de 2008. • Tanto en la Matriz de Indicadores como en las fichas técnicas de los indicadores se señalan los medios de verificación. • En la columna de Supuestos se eliminó la repetición de los mismos en los diferentes niveles de la matriz. • Los supuestos son consistentes para la realización del objetivo del nivel inmediato superior (el análisis de los supuestos se vincula a la lógica vertical). • Los supuestos establecidos en la Matriz modificada sí significan riesgos en cada nivel de objetivos, pues se eliminaron aquéllos que en realidad eran factores que el Programa debe de controlar, pues de otra manera existiría un alto grado de inviabilidad del propio Programa en su conjunto. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 31 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 22. Si no es así, proponer los cambios que deberían hacerse a la lógica horizontal de la matriz de indicadores (indicadores, medios de verificación y supuestos).* Los cambios propuestos a la Matriz de Indicadores original del FONART, y que fueron reflejados en la Matriz modificada para validar su lógica horizontal, fueron: 1. Para los indicadores: • Fin. Modificar el resumen narrativo del Fin para mantener el indicador ya establecido en la Matriz. • Propósito. Vincular los indicadores con la idea de que al fortalecer el ciclo productivo se consolidan las capacidades del artesano para obtener mejores oportunidades en el mercado. • Componentes. Los indicadores referidos al ejercicio presupuestario deben reubicarse al nivel de las Actividades. Retomar los indicadores a nivel de Componente que miden el número de artesanos que reciben el apoyo de la vertiente, respecto al número de artesanos programado para recibir el apoyo. • Actividades. Poner como indicadores los de ejercicio del presupuesto y que actualmente se encuentran a nivel de Componentes. Mantener los indicadores de las Actividades de los Componentes 1, 2, 3 y 4. 2. Respecto a los Medios de Verificación se sugirió señalarlos de forma precisa en todos los indicadores; en el futuro los medios de verificación deben ser publicados y de acceso libre para garantizar la transparencia. 3. Para los Supuestos, se planteó eliminar los que no constituyen un riesgo así como los que se repiten, y dejar únicamente los que son consistentes para la realización del objetivo del nivel inmediato superior. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 32 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 23. ¿La población que presenta el problema y/o necesidad (población potencial), así como la población objetivo están claramente definidas? Respuesta: No. La población potencial no está claramente definida. Además no existe en las Reglas de Operación, y ello se expresa en la Matriz de Indicadores, la definición de la población objetivo. La población potencial del programa, con base en la definición señalada en los términos de referencia del CONEVAL, son “aquellos productores que están en condiciones de pobreza […], prioritariamente en localidades marginadas […], que por su dispersión geográfica están en desventaja para acceder a los mercados de artesanías. Se trata de artesanos tradicionales que preservan formas, colores y materiales del arte popular, así como artesanos que desarrollen nuevas técnicas y diseños”.18 El problema principal de esta definición es que no determina exactamente a qué artesanos se refiere, si sólo es a los artesanos que se encuentran en situación de pobreza, o si son los “tradicionales que preservan formas, colores…”, o son ambos. Cabe resaltar que, en el caso en que la población potencial sean los artesanos pobres que preservan los diseños y técnicas tradicionales, no todos los artesanos en condiciones de pobreza son los que preservan la tradición artesanal, ni todos los artesanos que siguen las tradiciones son los que se encuentran en pobreza. En el apartado 4.2 de las Reglas de Operación del FONART se define una población objetivo, aunque según las definiciones del CONEVAL ésta sería la población potencial; por tanto, no existe en sentido estricto una definición de población objetivo.19 Del Propósito de la Matriz modificada puede inferirse que la población objetivo son los “artesanos en situación de pobreza”, pero esta definición se contrapone a lo señalado en Reglas de Operación. Se sugiere que el Programa defina en las Reglas de Operación que su población potencial son los artesanos en situación de pobreza sin dar más especificaciones que conducen a contradicciones. 18 FONART, Reglas de Operación 2007, apartado 4.2, p. 4 De acuerdo con el CONEVAL la población objetivo es “aquella población que el programa tiene planeado o programado atender en un periodo dado de tiempo, pudiendo corresponder a la totalidad de la población potencial o a una parte de ella”. Ver CONEVAL, SHCP, SFP, Modelo de términos de referencia para la Evaluación de Consistencia y Resultados, p. 3, 2007. 19 ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 33 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 24. ¿El programa ha cuantificado y caracterizado ambas poblaciones, según los atributos que considere pertinentes? (En el caso de individuos, en términos de edad, sexo, nivel socio-económico - señalar quintil de ingreso si corresponde-, principales características de la actividad económica que desempeña -rama de actividad, condición de empleo, etc.-, condición indígena u otros atributos que sean pertinentes). Respuesta: No. El FONART ha realizado esfuerzos por conformar un padrón de artesanos a nivel nacional para determinar la población potencial del programa, mediante convenios de cooperación con algunas entidades de la República para que éstas inicien el proceso de empadronamiento de los artesanos que se ubican en su territorio y posteriormente proporcionen al FONART los datos de ese padrón estatal. En los padrones estatales se consignan los datos generales de los artesanos (nombre, dirección, estado civil, sexo, etcétera), así como la rama de la artesanía a la que se dedica. No se incluyen elementos para caracterizar la situación socioeconómica del artesano. La recomendación para el FONART es anexar una cédula socioeconómica a las solicitudes de los artesanos que cumpla con la Norma para la Asignación de los Niveles de Pobreza de los Hogares Beneficiarios de los Programas de la Secretaría de Desarrollo Social. En cuanto a la población objetivo, el FONART no ha cuantificado a dicha población mediante un estudio particular sobre sus características. Únicamente cuenta con los datos que genera su padrón de beneficiarios, que incluye algunos datos de los artesanos que participan en las vertientes del FONART (nombre, dirección, rama artesanal, etcétera), integrado al padrón una vez que se brindaron los servicios que presta el Programa. En las Reglas de Operación del FONART no existe un apartado en el que se indique que la institución debe generar algún instrumento que le permita cuantificar y caracterizar a sus poblaciones potencial ni objetivo; únicamente indica que debe crear un padrón de beneficiarios que cuente con datos esenciales de los artesanos y, en su caso, de las recuperaciones realizadas de financiamientos.20 Se sugiere que, dado lo costoso que podría resultar para el FONART elaborar un censo de artesanos para medir la población potencial y caracterizarla, continuar con los esfuerzos de colaboración con los estados para la conformación de un padrón artesanal, mismo que deberá contener la cédula de información socioeconómica de los mismos. 20 FONART, Reglas de Operación 2007, apartado 5.2, p. 8. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 34 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 25. ¿Cuál es la justificación que sustenta que los beneficios que otorga el programa se dirijan específicamente a dicha población potencial y objetivo?* El FONART responde a la necesidad de promover la actividad artesanal del país y de esta forma contribuir a la generación de un mayor ingreso familiar de los artesanos y, en consecuencia, al desarrollo socioeconómico de diversas regiones de alta y muy alta marginación, aunque no se define con claridad la población objetivo del programa. Es decir, se asume el supuesto genérico de que los artesanos del país se encuentran en condiciones de pobreza y que el mecanismo para mejorar su calidad de vida es generar una fuente de autoempleo estable, en este caso la producción y venta de artesanías, mediante el cual se genere un ingreso mayor y con ello mejore la calidad de vida del artesano, su familia y su comunidad. En el marco de la estrategia integral de combate a la pobreza del Gobierno Federal, el FONART ejecuta acciones dirigidas a impulsar el desarrollo productivo y la apertura de canales de comercialización de los productos elaborados por las comunidades artesanales de las zonas urbanas, rurales e indígenas, para integrarlas a los beneficios del avance económico y social del país. Para ello, despliega un proceso integral para el desarrollo productivo de los artesanos; en primer lugar, realiza actividades de capacitación para mejorar y actualizar las técnicas tradicionales en cada rama artesanal, con objeto de preservar dichas técnicas y generar procesos productivos eficaces y eficientes. En segundo lugar, ante la ausencia de medios de financiamiento a los artesanos, el FONART financia sus actividades, con lo que el artesano puede iniciar su proceso de producción sin tener que pagar intereses. En tercero, ya que el artesano cuenta con su producción, el FONART genera espacios para la comercialización, mediante la adquisición de las artesanías y el pago de un precio justo acorde al mercado. Finalmente, se incentiva la creatividad de los artesanos mediante concursos, donde el artesano obtiene recursos extra vía los premios por la elaboración de piezas artesanales de calidad y la promoción de sus productos en los mercados nacional e internacional. Con ello se intenta cubrir el doble objetivo de mejorar las condiciones de vida de los artesanos que viven en pobreza y en localidades con altos niveles de marginación, al tiempo que se preserva la técnica tradicional en la elaboración de las artesanías. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 35 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 26. ¿La justificación es la adecuada? Respuesta: Sí. Pese a que el FONART no cuenta con un estudio específico sobre las condiciones socioeconómicas de los artesanos en el país, de acuerdo con el Cuestionario de Hogares aplicado en la Evaluación Externa 2006 del FONART, 21 72.0 por ciento de los artesanos entrevistados presentan niveles de pobreza: 32.7 por ciento está en situación de pobreza alimentaria; 11.3 por ciento presenta pobreza de capacidades, y 23.3 por ciento está en condiciones de pobreza patrimonial. La justificación de un programa que combata la pobreza y fomente la conservación de la tradición cultural de nuestro país a través de las artesanías, es adecuada. Por otro lado, las actividades que realiza el FONART para combatir la pobreza entre los artesanos también se justifican. De acuerdo con las investigaciones de la UNESCO, se puede considerar que los artesanos tienen difícil acceso a las fuentes de financiamiento, lo que es negativo en términos macroeconómicos pues el sector artesanal consume una gran cantidad de trabajo pero no de capital, por lo que el fomento a la producción de artesanías constituye un medio excelente para combatir el desempleo y la pobreza en los países en desarrollo. Eso es precisamente lo que hace el FONART: brinda financiamiento y capacitación, abre el mercado e incentiva a los artesanos con la finalidad de que cuenten con una fuente de empleo autosustentable y con ello se combata la pobreza entre los productores artesanales. 21 Alternativas en Economía, Evaluación Externa Fondo Nacional para el Fomento de las Artesanías EneroDiciembre, Quinto Informe Tomo I, Marzo 2007. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 36 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 27.- ¿Los criterios y mecanismos que utiliza el programa para determinar las unidades de atención (regiones, municipios, localidades, hogares y/o individuos, en su caso) son los adecuados? (Señalar los principales mecanismos). Respuesta: No. El FONART aplica los criterios señalados por la SEDESOL (la pobreza considerada en tres aspectos: alimentaria, de capacidades y patrimonial); respecto a las unidades de atención de las localidades marginadas, se establecen a través de los criterios que aplica CONAPO para la clasificación de las localidades por grados de marginación, con la finalidad de llegar a la población objetivo dispersa geográficamente que está en desventaja para acceder a los mercados de artesanías. 22 En las Reglas de Operación también se establecen fuentes de información de carácter oficial sobre “Niveles de Marginación” y “Grados de Marginación” en los ámbitos estatal, municipal y de localidad de CONAPO. Sin embargo, al no tener una Cédula de Información Socioeconómica con la que el Programa pueda determinar si el artesano está o no en situación de pobreza, no existe forma de saber si es o no pobre el artesano apoyado, por lo que no se cumple con uno de los criterios básicos que debe cumplir el artesano para recibir los apoyos del FONART. No obstante, antes de resolver los criterios y mecanismos para determinar las unidades de atención, el FONART debe solucionar su dualidad conceptual y operativa: por un lado, su pertenencia al sector de desarrollo social y participación en los programas de combate a la pobreza; por otro, el rescate y fomento de la artesanía como icono de la cultura nacional en un ambiente de competitividad y participación en los mercados. 22 Respecto a los criterios utilizados, ver FONART, Reglas de Operación 2007, Apartado 4.2, p. 4. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 37 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 28.- ¿Existe información actualizada y sistematizada que permita conocer quiénes reciben los apoyos del programa (padrón de beneficiarios), cuáles son las características socio-económicas de la población incluida en el padrón de beneficiarios y con qué frecuencia se levanta la información? Respuesta: No. Aunque existe información actualizada y sistematizada que permite conocer quiénes reciben los apoyos del FONART, ésta no presenta datos sobre las características socioeconómicas de los artesanos atendidos. El FONART cuenta con un Padrón de Beneficiarios que, de acuerdo a las Reglas de Operación 2007, apartado 5.2, contiene los siguientes datos: nombre del beneficiario, estado civil (en su caso, nombre del cónyuge), sexo, clave de la entidad, municipio y localidad, Registro Federal de Contribuyentes, Clave Única del Registro de Población, fecha de nacimiento y domicilio y, en su caso, las recuperaciones realizadas de financiamientos. Por otro lado, el Padrón de Beneficiarios no cuenta con información sobre las características socioeconómicas de los beneficiarios. Sin embargo, la Evaluación Externa del Ejercicio Fiscal 2006 recabó, mediante muestreo, dichas características de la población beneficiaria.23 La frecuencia con que se levanta la información en el Padrón de FONART es anual, porque se refiere a la población atendida en el año. Los artesanos beneficiados se integran al padrón ex post, es decir, el FONART no cuenta con un padrón de beneficiarios permanente integrado a partir del levantamiento de una cédula socioeconómica que permita ubicar su situación de pobreza. El padrón se integra por demanda: los artesanos beneficiados por cualquiera de las cuatro vertientes se integran a partir de la solicitud de capacitación, financiamiento, compra o participación en el concurso. Por ello se sugiere levantar y anexar una cédula socioeconómica a su solicitud para agregar en el padrón, lo que permitiría complementar el padrón de artesanos que el Fondo ha venido construyendo a partir de sus beneficiarios de los últimos años, apoyado en los acuerdos con algunas entidades federativas que han levantado un padrón de artesanos. De esta forma el padrón de beneficiarios será fortalecido y se apegará a lo establecido en los “Lineamientos normativos para la integración, operación y mantenimiento de los padrones de beneficiarios” emitidos por la Subsecretaría de Prospectiva, Planeación y Evaluación de la SEDESOL. 23 Evaluación Externa del FONART, enero-diciembre 2006. Quinto Informe Diseño, Cobertura y Focalización, Operación, Resultados y Percepción de los Beneficiarios. Tomo I Marzo 26, 2007 Alternativas en Economía (Consultar II.2.2.2. Características de los artesanos atendidos, 2003-2006). ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 38 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 29. ¿El diseño del programa se encuentra correctamente expresado en sus ROP o normatividad correspondiente? Respuesta: No. El principal desfase entre las Reglas de Operación y el diseño del programa se encuentra en la ausencia de una definición clara de la población objetivo. Eso incide de forma importante en el diseño del programa, pues esa misma debilidad quedó plasmada en la Matriz de Indicadores original del FONART, ya que representa un factor que ha estado presente en la operación del Fondo desde que fue sectorizado a Desarrollo Social. Aunada a esta ausencia de definición de la población objetivo, está la inexistente caracterización de la misma, con lo que las metas del FONART se establecen a través de la disponibilidad presupuestal y no de las necesidades de su población. Otra deficiencia de las Reglas de Operación se debe a la cobertura nacional del programa, cuando la realidad indica que sólo algunos estados de la República tienen vocación artesanal; por ello debería restringirse la cobertura a estas zonas, es decir, establecer en las Reglas de Operación que las unidades de atención deben estar en función de las localidades con tradición y vocación artesanal. Por lo tanto, dado que la Matriz modificada ya dio un paso importante al establecer como su población objetivo a los artesanos en situación de pobreza, se sugiere que las Reglas de Operación rijan para un programa específico de atención de artesanos en situación de pobreza y que todos los elementos referentes al fomento y la comercialización de las artesanías en México sean parte de los objetivos estratégicos del FONART y de programas del Fondo que no requieran de Reglas de Operación. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 39 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 30. ¿Existe congruencia entre las ROP o normatividad aplicable del programa y su lógica interna? Respuesta: No. No existe congruencia entre las Reglas de Operación y su lógica interna principalmente por la falta de precisión al definir su población objetivo, así como en su caracterización y cuantificación. Adicionalmente, las Reglas de Operación del FONART no reflejan adecuadamente la lógica interna del programa pues dejan fuera elementos importantes para el funcionamiento del Fondo. En primer lugar, el Fin y Propósito de la Matriz de Indicadores modificada del FONART no están contenidos en los objetivos generales y específicos de las Reglas de Operación, por lo que es necesario readecuar estos últimos. Asimismo, existe una deficiencia en el apartado 4.3.1.4 referente al tipo de apoyo que se otorga en el financiamiento a la producción, ya que los artesanos pueden recibir hasta 10 mil pesos de financiamiento y éste puede ser recurrente, siempre que el artesano cubra sus adeudos anteriores, aunque no se precisan dos aspectos fundamentales: en primer lugar, cuál es el monto mínimo de financiamiento que pueden recibir los artesanos (por ejemplo, las Reglas de Operación de 2006 señalaban que dicho monto era de 2 mil pesos); en segundo, cuál es el monto máximo de financiamiento, pues el artesano puede recibir hasta 10 mil pesos en una solicitud de financiamiento y recibir “n” veces montos similares mientras cubra sus adeudos, porque no hay un número máximo de préstamos que le puede hacer el FONART. Otro elemento que debe reforzarse en las Reglas de Operación de 2007 es el contenido en el apartado 4.4.1.1 sobre los criterios de elegibilidad de los beneficiarios, pues sólo se señalan los referentes a las vertientes de adquisición, capacitación y concursos, dejando a un lado los de financiamiento. Incluso en la mecánica de operación del financiamiento (apartado 6.3 de las Reglas) sólo se señalan documentos genéricos que debe proporcionar el solicitante (llenado de solicitud y credencial del IFE o CURP), aunque no se especifican otros requisitos, lo que haría suponer que cualquier artesano que solicite el financiamiento será aceptado en el Programa. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 40 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 31. Como resultado de la evaluación de diseño del programa, ¿el diseño del programa es el adecuado para alcanzar el Propósito antes definido y para atender a la población objetivo? Respuesta: No. El principal problema del diseño del programa se refiere a que no existe una definición acertada de la población objetivo, como se señala en la respuesta a la pregunta 23. En las Reglas de Operación del FONART, apartado 4.2, se define una población objetivo, aunque en realidad esta definición corresponde a la población potencial. De acuerdo a los lineamientos del CONEVAL, la población objetivo debe ser “aquella población que el programa tiene planeado o programado atender en un periodo dado de tiempo, pudiendo corresponder a la totalidad de la población potencial o a una parte de ella”.24 Por lo tanto, es difícil suponer que el diseño sea adecuado si no se ha determinado a quiénes se quiere atender. Por otro lado, el Propósito de la Matriz modificada “artesanos en situación de pobreza fortalecidos en su ciclo productivo”, permite intuir que esa es la definición de la población objetivo del FONART (artesanos en situación de pobreza) aunque no resulta del todo claro, además que dicha definición de población presenta inconsistencias respecto a la población potencial señalada en las Reglas de Operación, en el sentido de que los artesanos que atiende el Fondo, de acuerdo a las Reglas, son los que preservan técnicas y diseños tradicionales y están en situación de pobreza, mientras que la definición de la Matriz modificada sólo busca atender a los artesanos en condición de pobreza. Cabe señalar que, como se comentó en preguntas anteriores, las vertientes de atención, es decir “los servicios o productos que entrega el Programa”, están correctamente diseñados para alcanzar el Propósito. 24 CONEVAL, SHCP, SFP, Modelo de términos de referencia para la Evaluación de Consistencia y Resultados, 2007, p. 3. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 41 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 32.- ¿Con cuáles programas federales podría existir complementariedad y/o sinergia?* Con base en el análisis del Anexo 17 del Presupuesto de Egresos de la Federación para el Ejercicio Fiscal 2007, entre los programas sujetos a Reglas de Operación solamente el Programa Nacional de Arte Popular, a cargo de CONACULTA, tiene complementariedad con el FONART, ya que ofrece a los artesanos apoyos en materia de capacitación y asistencia técnica, promoción y difusión, y de comercialización. Su primer componente es similar al del FONART en materia de capacitación, aunque CONACULTA no focaliza a la población con base en niveles de pobreza, sino que atiende a los artesanos en general. Con el FONAES podría tener complementariedades dado que otorga financiamiento a población rural, campesinos e indígenas y grupos de áreas urbanas del sector social, que a través de un proyecto productivo, demuestre su capacidad organizativa, productiva y empresarial y que tengan escasez de recursos para implementar sus proyectos productivos. La Comisión Nacional para el Desarrollo de los Pueblos Indígenas tiene un programa de Fomento y Desarrollo de las Culturas Indígenas, en el cual la población objetivo podría ser la misma que la de FONART, aunque su objetivo es contribuir e impulsar los procesos culturales que incidan en la creatividad, fortalecimiento y rescate del patrimonio cultural de los pueblos y comunidades indígenas, por lo que pudiera existir complementariedad e incluso sinergia. Aunque no se encuentra entre los programas señalados en el Anexo 17 del Presupuesto de Egresos de la Federación, la Secretaría de Economía opera el Programa de Apoyo de Diseño Artesanal (PROADA), que tiene como objetivo propiciar la comercialización de las artesanías proporcionando a sus productores asesoría y asistencia técnica en diseño, procesos productivos y comercialización, a través de seminarios y talleres, a fin de que sus productos se coloquen en los mercados nacional e internacional en mejores condiciones de competitividad. Con este programa también existe complementariedad, pues los componentes del programa no son los mismos que los del FONART y tampoco focaliza en términos de pobreza. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 42 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 33.- ¿Con cuáles programas federales podría existir duplicidad?* No se ha encontrado algún programa federal con el que pueda existir duplicidad, ya que el FONART en su objetivo general plantea que atenderá “a los artesanos de México que preservan técnicas y diseños tradicionales, y que viven en condiciones de pobreza...” En contraste, otros programas dirigidos a artesanos no expresan la condicionante de la situación de pobreza. Adicionalmente, los componentes del FONART no son los mismos que los de otros programas, donde el elemento principal está en la capacitación y en la comercialización, mientras que el FONART amplía su campo de acción a todo el ciclo productivo al brindar financiamiento, adquirir directamente las artesanías y patrocinar concursos para fomentar la producción artesanal. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 43 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 34. ¿El programa cuenta con información en la que se hayan detectado dichas complementariedades y/o posibles duplicidades? Respuesta: No. A pesar de que en el apartado 5.1 (Coordinación Institucional) de las Reglas de Operación del FONART se señala que el Fondo “establecerá los mecanismos de coordinación necesarios para garantizar que sus Programas y acciones no se contrapongan, afecten o presenten duplicidades con otros Programas y acciones del Gobierno Federal [con el fin de] potenciar el impacto de los recursos, fortalecer la cobertura de las acciones, explotar la complementariedad y reducir gastos administrativos”, el FONART no cuenta con un mecanismo específico que le permita determinar las duplicidades con otros programas federales. Por tal razón, la información sobre posibles duplicidades se tendría que desprender de su funcionar cotidiano. En el caso de las complementariedades, por ejemplo, se detectó que las casas de las artesanías de los gobiernos estatales tenían acciones parecidas a las del FONART, a partir de lo cual se formalizaron convenios de cooperación para reducir costos y mejorar la eficacia en las acciones de apoyo a los artesanos. 25 Por tanto, se recomienda mantener comunicación con los programas con los que puede existir sinergia o complementariedad (señalados en la respuesta a la pregunta 32) e iniciar mecanismos de cooperación con las dependencias o entidades que operan dichos programas para que se impulsen acciones sinérgicas en beneficio de los artesanos del país. 25 Información obtenida mediante entrevista realizada al Director de Operación del FONART. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 44