6. AGENDA DE INVESTIGACIÓN PARA EVALUACIONES FUTURAS De acuerdo a los Términos de Referencia de la evaluación 2005 a continuación se presenta una agenda de Investigación para evaluaciones futuras derivada de las conclusiones obtenidas de cada uno de los apartados de la evaluación. DISEÑO Identificar los aspectos donde se ha logrado un entendimiento exhaustivo y coherente del Programa en todas las evaluaciones anteriores, Las evaluaciones de diseño del período 2001-2004 señalan lo adecuado del diseño del programa para la atención del grupo de jornaleros Agrícolas. Se señala lo adecuado del programa para subsanar las principales carencias de los grupos familiares involucrados, otorgando ayudas a los miembros de ella según sus necesidades. Áreas que no han sido exploradas suficientemente Tipos de apoyo. Algunas evaluaciones señalan lo vasto de los tipos de apoyo, lo cual dificulta el análisis. En éste sentido sería interesante proponer en investigaciones futuras que se analice el impacto por tipo de apoyo en el grupo, y si es necesario reducir la variedad de tipos de apoyo. Dependiendo del resultado del análisis se verá la posibilidad de rediseñar el programa. Respecto a los indicadores de resultados requeridos en las reglas de operación es necesario clarificar el proceso por medio del cual se recaban, ordenan, y se consultan para mejora la operación del programa, y esto debiera quedar explícito en un documento de diseño1. En próximas investigaciones podrían revisarse los indicadores de resultados y como incorporarlos para dar retroalimentación al programa. En la sección de diseño se encuentra una propuesta de cuales indicadores serían necesarios incluir. 1 En la sección de diseño se proponen algunos indicadores. 290 Áreas en las que se ha obtenido evidencia mixta de desempeño. En las primeras evaluaciones se señalaba la necesidad de cambios en reglas de operación, algunos de ellos fueron incorporados y dieron lugar a nuevas Reglas que permitieron mejorar la focalización del grupo atendido. En este sentido se presenta discrepancia en las evaluaciones, ya que algunas de ellas consideraron (principalmente 2003) que el diseño del programa, sobre todo en el aspecto del registro de la información no era adecuado. Sin embargo en 2004 y 2005 se reconoce que el registro ha mejorado, aunque persiste la gran variedad de apoyos. FOCALIZACIÓN Y COBERTURA Entendimiento exhaustivo y coherente del Programa en todas las evaluaciones anteriores De acuerdo con los datos disponibles, Se puede concluir que el programa realiza esfuerzos en el sentido de afectar lo menos posible los montos de inversión destinados a las zonas de expulsión. Los montos para zonas de expulsión iban en aumento hasta 2005; no obstante, esto no quiere decir que hayan crecido en números absolutos sino que el destino de la inversión federal a las zonas de expulsión es relevante para el PAJA2.. Para fortalecer la evidencia empírica de que para el PAJA son vitales las acciones y proyectos destinados a las zonas de expulsión, a pesar de la disminución de los recursos; se puede observar en el apartado de Focalización que la mayor parte del presupuesto total con que cuenta el programa y lo que se destina a zonas de alta marginación se aplica casi invariablemente a las zonas de expulsión. Las tendencias descritas indican que durante estos años se han destinado en promedio la mayor parte del total de los recursos a municipios de muy alta marginación, y alta 2 Esta es la evidencia empírica del modelo de regresión que se presenta para el análisis de la inversión federal y el grado de marginación. 291 marginación. Esta distribución de los recursos indica el cumplimiento de una correcta focalización, es decir, destinar la mayor parte de los recursos a los municipios de mayor marginación. Las áreas que no han sido exploradas suficientemente Para que una localidad resulte beneficiaria del PAJA debe cumplir con los criterios establecidos en las reglas de operación, a pesar de eso observamos que al unir los indicadores de marginación CONAPO a nivel municipio hay presencia de algunos que no están considerados como de alta marginación. Lo anterior cambia al explorar la clasificación a nivel localidad y esto es fácilmente explicable debido a la heterogeneidad de las localidades que componen a un municipio y la desigualdad que comúnmente se observa aún en unidades territoriales pequeñas dentro de algunas zonas del país. El nivel de análisis que recomendamos utilizar es el de localidad, pues al ser el más desagregado es el que nos dará mayor información respecto a las condiciones de vida a las que se enfrentan los beneficiarios. Áreas en las que se ha obtenido evidencia mixta de desempeño. La focalización ha sido un aspecto que dio lugar a opiniones encontradas en las evaluaciones. En la de 2001 No se concluyó si los recursos del PRONJAG se destinaron a las zonas más pobres del país. La evaluación de 2002 señaló que en los registros de la SEDESOL se encontró un cumplimiento insatisfactorio y desigual en cuanto a la cobertura de la población objetivo y a la focalización. La razón era que en ese año la población jornalera no estaba correctamente descrita, en el sentido de sus niveles de ingresos y acceso a los activos. Sin embargo, en el análisis propio se advierte que el programa tenía correctamente focalizada a la población por zonas. Los evaluadores dejaron por sentado que, ante la falta de elementos estadísticos no existía una correcta focalización, ya que como ocurría en el caso de Veracruz se dejaban fuera importantes zonas de concentración de jornaleros. No bastaba, pues, definir a la población objetivo, ni clasificarla en migrante o local sino que era necesario considerar su ubicación y concentración espaciales. La 292 evaluación de 2003 concluyó que el PAJA era un programa focalizado que atendía la problemática económica, social y productiva de un segmento de la población agrícola con ingresos y condiciones de vida sumamente precarias. Al respecto, debe señalarse que los objetivos del PAJA eran compatibles con los objetivos establecidos en el Plan Nacional de Desarrollo, en el sentido de que está destinado a reducir los efectos de la pobreza extrema. Adicionalmente, tanto su diseño focalizado como su cobertura respecto a un grupo social de condición más pobre, era consistente con las recomendaciones internacionales en materia de combate a la pobreza, pues consideraba la extensión del fenómeno y las divergencias. A partir de los niveles de marginación municipal del CONAPO, se aprecia que la mayor parte de los municipios atendidos por el PAJA son de un muy alto nivel de marginación; le siguen aquellos con alto, medio y bajo nivel de marginación: 54%, 42%, 4% y 0.2%, respectivamente. En términos de localidades atendidas, las de muy alto y alto grado de marginación son las mayoritarias (47% cada una de ellas), mientras que sólo 6% y menos de 1% corresponden a localidades de mediana y baja marginación. Un patrón similar se observa en cuanto a la población atendida por el PAJA; esto es, el 15% de la población estimada por CONAPO como perteneciente a municipios de muy alta marginación en 2004 fue atendida; 11% corresponde a población en municipios de alta marginación y sólo 2.5% y 1.7% a los de marginación media y baja, respectivamente. La focalización del PAJA ha sido, pues, adecuada, según los evaluadores, aunque no se cubren totalmente los lugares con presencia de jornaleros. En conclusión, la tendencia de atención a beneficiarios en las zonas de expulsión se concentra en más de un 90% en zonas de marginación con índices “muy alto" y “alto” para todos los años; en 2005 estos rubros reportan el 95% de beneficiarios en dichas zonas. 293 OPERACIÓN Entendimiento exhaustivo y coherente del Programa en todas las evaluaciones anteriores En lo que se refiere a la promoción social se reconoce en cada una de las evaluaciones la importancia de una red de promoción social plenamente identificada con los objetivos del programa. En términos de operatividad se concide en que se han mostrado avances significativos en la capacitación del personal de promoción social, que además de dar forma a los principales procesos (detección de necesidades, ejecución de proyectos) y que la red de promoción social además es capaz de generar información para alimentar a los diversos sistemas que se han implementado tales como el SIIPSO y el SIBCI, además de otros que alimentan las bases de los indicadores de resultados. Se reconoce en todas ellas compromiso social de los promotores y la aceptación gradual del programa por parte de los jornaleros y productores. Es muy notable que a pesar de la serie de recomendaciones que año con año se han hecho, no se ha dado la debida importancia a los bajos salarios, las cargas de trabajo, los aumentos en la rotación de personal, y las condiciones de trabajo generales en las que operan los promotores sociales3. Estas condiciones generan que se dificulte el logro de las metas programadas por el PAJA Otro aspecto Operativo que se encuentra en todas las evaluaciones es el que se refiere a la respuesta de las autoridades estatales y los productores. Se considera que esta es escasa ante la solicitud de apoyos. Sin embargo la fuerza de la afirmación a lo largo de los años ha ido disminuyendo. 3 Es controversial que siendo el trabajo de la red de promoción social el reconocimiento del grupo y la gestión por mayores apoyos, como por ejemplo guarderías o Centros De Atención a la Infancia para sacar a los niños jornaleros del campo, no puedan contar con Seguro Social que les permita dejar seguros a sus propios hijos. 294 También en la aplicación de las reglas de operación, las evaluaciones por lo general expresan que en términos de la selección de beneficiarios ésta se lleva a cabo adecuadamente.4 Áreas que no han sido exploradas suficientemente En la evaluación de 2004 se diagnostica que las condiciones de cooperación se deben a una cultura de participación interinstitucional poco desarrollada, lo cual no depende de la operación del programa sino de factores externos que afectan el alcance de objetivos. En próximas investigaciones se recomienda explorar que estrategias pueden llevarse a cabo para mejorar la difusión de las acciones que el programa realiza y como definir una mejor estrategia de comunicación social con el objetivo de aumentar la sensibilidad de las instituciones y los participantes en el programa, y continuar con las labores de promoción social. Esto puede hacerse investigando como es que lo hacen otros programas similares en otros países. (tal como el Farm Worker Program, en Estados Unidos de Norteamérica). Aunque la evolución de la contraloría social ha sido favorable a medida que se ha logrado sensibilizar a una mayor cantidad de jornaleros para que participen en las decisiones y conformen sus comités, el mayor nivel de participación y contraloría se lleva a cabo en las localidades ya que en los albergues o en las UT donde se encuentra población migrante, la consolidación de este tipo de procesos es más difícil debido a que el jornalero tiene poca identificación con el programa, con los promotores sociales y en general poco arraigo con los procesos del lugar al cual llega para trabajar en los campos de cultivo. Sería parte de la agenda de investigación correspondiente a este tema abordar en próximas evaluaciones que tipo de estrategias utilizan Otros programas de este tipo en otros países para dar solución a este problema y proponer una estrategia que integre al jornalero (sobre todo al migrante) en las actividades de la comunidad, ya que forma parte de sus capacidades, las cuales son necesarias para obtener un mayor grado de desarrollo humano. 4 Son sólo algunos casos aislados en que las percepciones de los beneficiarios indican que los promotores aplican sus propios criterios para el otorgamiento del apoyo. Esto puede explicarse porque la cantidad de recursos es limitada y no puede favorecerse a todos los jornaleros de la población, ni tampoco puede favorecerse a la misma familia varios años. 295 Por otra parte, Al analizar los Programas Operativos Anuales se percibe que se cuenta con una estructura descriptiva en cuanto a la aplicación del gasto y el avance físico de los proyectos,5 pero no se cuenta con una estructura que describa como se miden los resultados, cuáles son los métodos de recolección de la información y los procesos por los cuales se determinan. Debemos añadir que la solicitud de apoyos al interior del programa también contaba con deficiencias de las que se hace mención en las evaluaciones de 2002, 2003 y 20046 y se incluyeron como reto y recomendación. Estas condiciones generaban retrasos y cancelaciones en las ejecuciones de los proyectos, que posteriormente podían verse reflejados como sub-ejercicios afectando la calidad operativa del programa. A partir de 2004 el SIIBSO es una “plataforma informática que funciona en tiempo real”7, con lo cual el problema de los tiempos en la ministración de recursos parece haberse superado. Puede deberse a ello que el alcance de las metas en 2004 y 2005 fue favorable. El funcionamiento del SIIBSO y la gestión de recursos puede verificarse en campo en próximas evaluaciones. Áreas en las que se ha obtenido evidencia mixta de desempeño. Aunque en cada una de las evaluaciones se menciona la dificultad de contar con la cooperación interinstitucional y de que los apoyos lleguen en tiempo y forma para atender oportunamente a la población jornalera, también se muestra evidencia de que hay algunos estados en donde el modelo de cooperación interinstitucional ha funcionado bien, incluso sin la existencia de acuerdos por escrito.8 En otro aspecto en el que los hallazgos muestran evidencias mixtas de desempeño es en referente a la identificación del beneficiario. En el 2001 se recomendaba contar con un método de categorización del beneficiario del programa, lo cual se expresa en las Reglas de operación de 2002, pues en ellas se menciona que se atendería al núcleo familiar en 5 El análisis cuidadoso de las metas físicas y financieras se encuentra en el apartado correspondiente. Ver Entrevistas a Operadores Estatales 2004. 7 Comentarios del programa de Atención a Jornaleros Agrícolas. 8 Caso del estado de Morelos en 2004. Entrevista a Abel Salgado, representante Estatal. 6 296 extrema pobreza, preferentemente con tradición migratoria y que fueran también preferentemente jefes de familia. En 2003 se atiende a jornaleros agrícolas en condiciones de extrema pobreza en su carácter de locales o migrantes. En la contraloría social las evaluaciones iniciales (2002, 2003) mencionan la necesidad de un control más estricto de los gastos de recursos. Alguna de ellas reportó que el registro de los datos estaba concebido para que nadie se diera cuenta de si los recursos estaban bien o mal gastados.9 Sin embargo el meta-análisis muestra que este tipo de aseveración puede ser derivado de la dificultad de comprender un programa que atiende necesidades muy heterogéneas, por lo que su organización, productos y resultados tienden a ser así, heterogéneos, haciendo difícil un análisis más estandarizado. la comprensión de este proceso condujo a las evaluaciones de 2004 y 2005 a no apoyar las afirmaciones mencionadas. Dado el minucioso proceso que sigue la detección de necesidades y el otorgamiento de los proyectos, con el acuerdo de los comités de jornaleros los incentivos para que se lleve a cabo un uso indebido del recurso, son pocos. RESULTADOS Entendimiento exhaustivo y coherente del Programa en todas las evaluaciones anteriores, Las convergencias de los análisis hechos en las evaluaciones anteriores señalan que el impacto de la intervención del programa es positivo, es decir, las condiciones de vida de la población atendidas son mejores que la población con las mismas características (jornalera) pero que no reciben apoyo del programa. En las evaluaciones de 2003 y 2004 se confirma que el impacto es positivo sobre todo en las principales líneas de acción tales como vivienda, salud, educación y cultura. 9 Evaluación Externa al Programa Jornaleros Agrícolas 2002. 297 En lo que se refiere a enfoque de género, de acuerdo a las evaluaciones externas, el mayor impacto para las mujeres se encontró en atención a la salud y seguridad social (en un patrón parecido al de los hombres). En las zonas intermedias y de expulsión el impacto no marca patrones claros. la participación de las mujeres es mayor en términos relativos en atención y seguridad social (o sea demandan y usan más este tipo de apoyos), que la de los hombres. Las áreas que no han sido exploradas suficientemente A pesar de que la normatividad del Programa define que dentro de su población objetivo enfatizará su atención en la población más vulnerable del grupo: mujeres, hijos menores de jornaleros agrícolas y ancianos, no incluyen la perspectiva de género como una de sus prioridades, al menos de manera enunciativa en los documentos de diseño. En un futuro alguna evaluación podría retomar la conveniencia de rediseñar el programa para mencionar la importancia de los proyectos dirigidos exclusivamente a la mujer ya que la población femenina presenta buenos impactos y es, por mucho, de entre el grupo de jornaleros la que mejor se relaciona con el programa. El Programa de Atención a Jornaleros Agrícolas, es un programa que evidentemente apoya ámbitos necesarios en la formación de capital humano (educación) y capital físico (construcción de viviendas y mejoramiento de albergues), sin embargo, es necesario fomentar proyectos que motiven el acercamiento a actividades productivas en el sector ganadero y en el sector de comercio y servicios. Esto permitirá la diversificación de actividades del jornalero y lo guiará a un mejoramiento de sus ingresos. En evaluaciones futuras podría hacerse un análisis de impacto exclusivamente de la vertiente de empleo capacitación y productividad, par comprobar su efectividad y su impacto positivo en la población atendida. 298 La dificultad para elaborar el meta-análisis en el componente de resultados se debió fundamentalmente a que las preguntas hechas en los cuestionarios que aplicaron los evaluadores no siempre estaban enfocadas a medir el impacto. En evaluaciones futuras debe incluirse el análisis de impacto por vertiente y sostenibilidad de las acciones con instrumentos similares cada tres años, para dar lugar a que los cambios operativos puedan modificar los impactos si así se desea. Y para que haya un criterio de comparación equiparable al realizar el comparativo. Áreas en las que se ha obtenido evidencia mixta de desempeño No se registra ninguna discrepancia en cuanto a los impactos. Todas las evaluaciones señalan que estos son positivos. PERCEPCIÓN DE LOS BENEFICIARIOS Entendimiento exhaustivo y coherente del Programa en todas las evaluaciones anteriores, Queda claro que el beneficiario percibe que el programa hace una importante contribución al mejoramiento de sus condiciones de vida. En cada una de las evaluaciones existe evidencia de que el programa ha incrementado el nivel de vida de los jornaleros agrícolas y de que ellos tienen la percepción de que viven mejor con la atención del programa que sin él. Otro punto de convergencia en los análisis de percepción del beneficiario de las evaluaciones externas es en la alta valoración de parte de los beneficiarios en tres acciones principales: • Vivienda • Salud 299 • Alimentación Vivienda Generalmente los jornaleros, sobre todo los locales, perciben la presencia del PAJA a partir de la ayuda en las modificaciones a sus viviendas. Las respuestas fueron congruentes para mujeres y hombres. Salud Aunque las acciones llevadas a cabo en el ámbito de salud por parte del PAJA son valoradas (sobre todo entre los jornaleros locales en zonas de expulsión y entre jornaleros migrantes en zonas de atracción). Debe mencionarse que llegan a existir ciertas confusiones ya que algunos jornaleros consideran a estas acciones como parte de los programas de asistencia social del IMSS y del SSA. Eso puede remediarse con una adecuada estrategia de comunicación, la cual aparece explicada en la sección de conclusiones del apartado. Alimentación Las acciones en alimentación son también altamente valoradas por la población atendida en general. La ayuda en despensas para la población local y migrante, las cocinas para la población migrante, etc. Al igual que en Salud llega a ocurrir que se confunda la presencia del programa con otras instituciones que colaboran, tales como DICONSA. Las áreas que no han sido exploradas suficientemente Los resultados en los análisis de percepción no han sido tan halagadores como se esperaría, en particular hablando de la población migrante. El grado de desconocimiento del programa puede afectar (y de hecho es mencionado en varias evaluaciones externas) 300 los resultados del análisis de percepción y traducirse en una baja valoración de los apoyos. Como respuesta a esta limitante la evaluación externa de 2001 midió la percepción de este grupo en base al nivel de utilización de los apoyos que en todo caso fue alta. Se propone que en próximas evaluaciones se diseñen instrumentos que permitan medir la percepción del beneficiario migrante no sólo en términos de su conocimiento del programa sino en términos de la utilización de los apoyos del mismo. En próximas evaluaciones se sugiere explorar la sustentabilidad del programa asociada a la formación y desarrollo de capacidades para la autoorganización entre los jornaleros Agricolas. Dado que el diseño de los instrumentos de encuesta en la evaluaciones fue distinto, lo cual propició que los evaluadores midieran de diferente manera la percepción del beneficiario, se sugiere que en el futuro los Términos de Referencia de cada evaluación externa sean muy explícitos en la determinación del tipo de información se debe obtener respecto de la percepción del beneficiario. Para medir el avance o retroceso de la calidad de las acciones debe además implementarse un mismo tipo de cuestionario (con las mismas preguntas) durante varios períodos de análisis para que esto permita obtener datos estandarizados y se facilite su interpretación. Los aspectos que se sugiere se exploren en evaluaciones futuras son: • focalización y accesibilidad de las acciones • percepción de los beneficiarios de la adecuación de las respuestas del programa (beneficios, forma de operación) a su problema social • Participación (intensidad, grado, características, canales y mecanismos) • Identificación de problemas y demandas de las poblaciones beneficiarias. Al igual que la evaluación de resultados la evaluación de la percepción del beneficiario deberá realizarse periódicamente, mediante encuestas comparables, para identificar si hay algún cambio a través del tiempo y dando espacio para que algún cambio operativo que se lleve a cabo genere resultados. 301 Aunque ha quedado demostrado que el beneficiario considera positivas las acciones del programa en las tres vertientes principales: Vivienda, Salud y alimentación, la vertiente de Educación es un caso importante digno de análisis en próximas evaluaciones ya que existe aún un número relativo de niños que deberían estar en las escuelas y que en lugar de ello se encuentra en los campos de trabajo o en sus localidades sin poder recibir instrucción por falta de recursos. Se recomienda explorar cómo puede trabajar el programa para generar mayor asistencia a la escuela de parte de los niños jornaleros. También la valoración que dan los jornaleros a los proyectos de capacitación y empleo, y de las pláticas a las que asisten las mujeres. Áreas en las que se ha obtenido evidencia mixta de desempeño. No se registran divergencias en los análisis de las evaluaciones. Los resultados han sido coincidentes. 302