PAJA METAEVALUACION

Secretaría de Desarrollo Social
Meta Evaluación 2007-2012 del
Programa de Atención a Jornaleros Agrícolas
Informe Final
Institución a cargo del proyecto:
Universidad Autónoma de Chiapas
Centro Universidad - Empresa
Coordinador General:
Jorge Mario Soto Romero
Responsable Administrativo
Alfredo Martínez de la Torre
Investigadores:
Rosalva Pineda Juárez
Alida Marcela Gutiérrez Landeros
Javier Jerónimo Cipriano
Martín Jiménez López
Rafael Torres Cruz
Tuxtla Gutiérrez, Chiapas
23 de octubre de 2012
Resumen Ejecutivo
La presente Metaevaluación 2007-2012 del Programa de Atención a Jornaleros Agrícolas
(PAJA) tiene como objetivo analizar los avances y logros en materia de evaluación y
monitoreo durante el período 2007-2012, así como identificar áreas de oportunidad que
permitan al programa obtener mejores resultados.
Así, los principales resultados en materia de evaluación son los siguientes:
Principales fortalezas y oportunidades:
El programa atiende a un grupo altamente vulnerable, al margen de las oportunidades
del desarrollo.
Se cuenta con un documento de diagnóstico y con actualizaciones en la cuantificación de
sus poblaciones potencial y objetivo.
Los apoyos otorgados se encuentran directamente relacionados con las características de
la población objetivo.
El PAJA promueve la participación e inclusión de los jornaleros agrícolas en la planeación
de obras de infraestructura para su beneficio.
Los beneficiarios opinan que los proyectos del programa mejoran su calidad de vida,
facilitan su estancia laboral y les evitan riesgos.
Principales debilidades y amenazas:
El problema focal no está correctamente reflejado en los objetivos general y específico,
subsistiendo algunas ambigüedades e inconsistencias.
El PAJA no documenta con evidencia nacional o internacional que una intervención de su
tipo sea eficaz para atender la problemática de los jornaleros agrícolas.
No cuenta con un plan estratégico de mediano y largo plazo.
Los indicadores de Fin y Propósito no aportan información sobre el logro de los objetivos,
ni se cuenta con información acerca del impacto del programa sobre la vulnerabilidad y
exclusión social de los jornaleros agrícolas y sus familias.
El peso político y social de la comunidad local respecto a la población migrante incide en
las prioridades de atención que las autoridades locales otorgan a las necesidades de
infraestructura de los jornaleros agrícolas.
Hallazgos sustantivos y metodológicos relevantes de otros programas similares:
La provisión de apoyos similares a los que entrega el PAJA como es la transferencia
económica y el desayuno pueden ser efectivos para aliviar condiciones de vulnerabilidad
en la población que presenta carencias.
Programas con apoyos similares a los del PAJA como el Child Maintenance Grant de
Namibia, que entrega subvenciones económicas no condicionadas a familias en situación
de alta vulnerabilidad, y el Experimento de Desayunos Escolares en Zonas Rurales
realizado en Jamaica, muestran ser efectivos para reducir la incidencia de la pobreza más
1
severa, aumentar en el logro académico, incrementar en la asistencia escolar y mejorar
los indicadores de talla y el peso.
En ambos casos las evaluaciones permitirían confirmar que los apoyos del programa
garantizan un impacto en la atenuación de las condiciones de vulnerabilidad de un sector
carenciado como son los jornaleros agrícolas y sus hogares.
Agenda de evaluación propuesta:
2013: Diagnóstico y propuesta de atención
2014: Evaluación de Diseño.
2015 y2016: Evaluación de Impacto.
2017: Evaluación de Procesos.
2018: Evaluación de Consistencia y Resultados.
Sugerencias para la elaboración de la evaluación de impacto
Para evaluar el impacto en la salud, educación, nutrición y alimentación, condiciones de
vida y oportunidades de los jornaleros agrícolas se sugiere aplicar un modelo de
estimación por diferencia simple, utilizando el modelo “sólo después” con grupo de
comparación. El grupo de tratamiento consistiría de hogares en campos agrícolas
atendidos por el programa, y el de comparación se haría con hogares en campos no
atendidos.
Para hacer las estimaciones e inferencias causales se propone un método mixto de
evaluación, con técnicas cuantitativas y cualitativas sustentadas en encuestas,
entrevistas, levantamientos propios y registros oficiales.
Para medir los impactos y efectos a nivel de Fin y Propósito se sugiere estimar la brecha
de la medición de las carencias sociales conforme a la metodología del Coneval para
medir pobreza multidimensional y definir un conjunto de indicadores que abarque todos
los apoyos que entrega el programa. Es aconsejable utilizar una metodología alejada de la
base de percepción, pues no contribuye a la medición de los resultados del programa. Los
indicadores deben permitir medir la diferencia en la vulnerabilidad por carencias sociales
entre beneficiario y no beneficiario. El Propósito debe incorporar un conjunto de
indicadores que contemplen los diversos apoyos otorgados por el PAJA: educación, salud,
vivienda, servicios de infraestructura social básica, seguridad alimentaria y en todos los
casos deben medirse por comparación con un grupo de no beneficiarios.
Además de los rubros principales considerados, la valoración de elementos del contexto
como la migración y el empoderamiento resultan útiles para comprender en forma más
amplia los alcances reales del PAJA.
Por otro lado, los principales resultados en materia de monitoreo se presentan a
continuación:
Propuesta para mejorar los resúmenes narrativos:
Fin: Contribuir a la disminución de la vulnerabilidad de los jornaleros agrícolas y sus
familias.
2
Propósito: La población jornalera agrícola y sus familias disminuyen su vulnerabilidad y
carencias mediante la promoción y el acceso a educación, salud, asistencia social,
vivienda, alimentación y cohesión social.
Propuesta para mejorar los indicadores
Fin: Diferencia en la vulnerabilidad por carencias sociales entre beneficiarios y no
beneficiarios.
Propósito: se consideraría una propuesta para construir un índice de vulnerabilidad de los
jornaleros agrícolas, integrado por los siguientes indicadores:
o Diferencia de la población de seis a dieciocho años que no cuenta con la
educación básica obligatoria y no asiste a un centro de educación formal, entre
beneficiarios y no beneficiarios.
o Diferencia en el acceso efectivo a servicios de salud entre la población beneficiaria
y no beneficiaria.
o Diferencia en la calidad y espacios de la vivienda de la población entre
beneficiarios y no beneficiarios.
o Diferencia en la disposición efectiva de servicios básicos en la vivienda de la
población beneficiaria y no beneficiaria.
o Diferencia en el nivel de inseguridad alimentaria en los hogares de la población
beneficiaria y no beneficiaria.
Finalmente, las principales conclusiones y recomendaciones complementarias del
metaevaluador son las siguientes:
El problema focal y su expresión concreta en los objetivos del programa no está
correctamente definida, pues subsisten algunas ambigüedades e inconsistencias
importantes que se reflejan en las Reglas de Operación 2012, el Diagnóstico 2010 y la
Nota sobre población potencial y población objetivo 2011. Esta complicación representa
un problema conceptual que se traduce en el diseño del programa.
Adicionalmente, el objetivo específico se enfoca a la ampliación de capacidades lo cual no
es correspondiente con un programa como el PAJA que por las características de
migración de la población objetivo, no puede asegurarse una suministración de apoyos
sostenida en el largo plazo al mismo conjunto de personas.
Se recomienda alinear conceptualmente las definiciones del diseño con el fin y propósito
del programa, introduciendo el concepto de vulnerabilidad así como en los objetivos
general y específico.
La discusión de estos temas y las definiciones que se derivan implican mucho más que los
cambios en la redacción de documentos técnicos y normativos, pues implican mover el
foco de atención, para dar consistencia y congruencia lógica al programa.
Complementariamente, la inconsistencia conceptual entraña dificultades para el diseño y
en consecuencia, para la operación y medición de resultados del PAJA.
3
Índice de contenidos
1.
INTRODUCCIÓN ..................................................................................................................... 6
2.
DESCRIPCIÓN DEL PROGRAMA ............................................................................................... 7
2.1
ANTECEDENTES Y OBJETIVOS ......................................................................................................... 7
2.2
PROBLEMA FOCAL Y ÁRBOL DE PROBLEMAS ...................................................................................... 8
2.3. POBLACIÓN POTENCIAL Y OBJETIVO ..................................................................................................... 10
2.4. APOYOS OTORGADOS. ...................................................................................................................... 10
2.5. EVOLUCIÓN DE LA COBERTURA ........................................................................................................... 12
3.
EVALUACIÓN ....................................................................................................................... 13
3.1. PRINCIPALES HALLAZGOS DE LAS EVALUACIONES.................................................................................... 14
3.1.1. Evaluación de Consistencia y Resultados 2007 (ECR 2007) .........................................................................14
3.1.2. Evaluación Específica de Desempeño 2008 (EED 2008) ..............................................................................16
3.1.3. Evaluación Específica de Monitoreo de Obra Pública 2002-2007 (EEMOP 2002-2007) .............................. 18
3.1.4. Evaluación Específica de Desempeño 2009-2010 (EED 2009-2010)............................................................21
3.1.5. Evaluación Específica de Desempeño 2009-2010 (EED 2010-2011)............................................................23
3.1.6. Evaluación de Consistencia y Resultados 2011-2012 (ECR 2011-2012) ......................................................25
3.2. ANÁLISIS DE EVALUACIONES DE RESULTADOS O DE IMPACTO EN EL ÁMBITO NACIONAL O INTERNACIONAL DE
PROGRAMAS SIMILARES ........................................................................................................................... 27
3.2.1. Child Maintenance Grant, Namibia .............................................................................................................27
3.2.2. Experimento de desayunos escolares en zonas rurales, Jamaica ............................................................... 31
3.3. AGENDA DE EVALUACIÓN PARA EL PERÍODO 2013-2018 ....................................................................... 34
3.3.1 2013: Diagnóstico y propuestas de atención ............................................................................................... 35
3.3.2. 2014: Evaluación de Diseño ........................................................................................................................36
3.3.3. 2015 – 2016: Evaluación de Impacto ..........................................................................................................37
3.3.4. 2017: Evaluación de Procesos .....................................................................................................................38
3.3.5. 2018: Evaluación de Consistencia y Resultados ..........................................................................................39
3.4. ANÁLISIS DE VIABILIDAD Y PERTINENCIA PARA APLICAR UNA EVALUACIÓN DE IMPACTO AL PROGRAMA ............ 40
3.4.1. Pertinencia de la evaluación .......................................................................................................................40
3.4.2. Aspectos a evaluar ......................................................................................................................................41
3.4.3 Metodologías y fuentes de información ......................................................................................................43
3.4.4. Viabilidad técnica y financiera.....................................................................................................................47
3.5 PRINCIPALES FORTALEZAS, OPORTUNIDADES, DEBILIDADES, AMENAZAS Y RECOMENDACIONES ....................... 48
3.6. REFLEXIONES Y RECOMENDACIONES COMPLEMENTARIAS DEL METAEVALUADOR ......................................... 52
4.
MONITOREO ....................................................................................................................... 56
4.1. INTRODUCCIÓN ............................................................................................................................... 56
4.2. ANÁLISIS HISTÓRICO DE LA MATRIZ DE INDICADORES PARA RESULTADOS 2007-2012................................. 57
4.2.1. Principales cambios de la Matriz de Indicadores 2007-2012 ......................................................................57
4.2.2. Análisis 2008-2009 ......................................................................................................................................57
4.2.3. Análisis 2009-2010 ......................................................................................................................................60
4.2.4. Análisis 2010-2011 ......................................................................................................................................62
4.2.5. Análisis 2011-2012 ......................................................................................................................................64
4.3. PRINCIPALES COMENTARIOS A LA MATRIZ DE INDICADORES 2007-2012 .................................................. 66
4.3.1. Fin ............................................................................................................................................................... 67
4.3.2. Propósito .....................................................................................................................................................70
4.3.3. Componentes ..............................................................................................................................................74
4.3.4. Comentarios generales ............................................................................................................................... 75
4.4. ANÁLISIS DEL RESUMEN NARRATIVO DE LA MATRIZ DE INDICADORES PARA RESULTADOS 2012 ..................... 78
4.4.1. Análisis de la MIR 2012 y vínculo con las Reglas de Operación ...................................................................78
4.4.2. Propuesta de mejoras para MIR 2013: Fin y Propósito ...............................................................................80
4.5. ANÁLISIS DE LOS INDICADORES DE LA MIR 2012................................................................................... 81
4
4.5.1. Indicadores de la MIR 2012 .........................................................................................................................81
4.5.2. Propuesta de mejoras para MIR 2013: Indicadores ....................................................................................82
5.
CONCLUSIONES ................................................................................................................... 87
6.
BIBLIOGRAFÍA...................................................................................................................... 89
7.
ANEXOS............................................................................................................................... 94
7.1. ANEXO 1 “SÍNTESIS DE EVALUACIONES 2007-2012”. ........................................................................... 94
7.2. ANEXO 2 “SÍNTESIS DE EVALUACIONES DE PROGRAMAS SIMILARES INTERNACIONALES”. .............................. 94
7.3. ANEXO 3. “AGENDA DE EVALUACIÓN” ................................................................................................ 94
7.4. ANEXO 4. “FODA”.......................................................................................................................... 94
7.5. ANEXO 5. “ANÁLISIS HISTÓRICO Y PROPUESTAS DE MEJORA DE LA MIR” ................................................... 94
5
1. Introducción
Conforme a los Lineamientos Generales para la Evaluación de los Programas Federales de la
Administración Pública Federal (Lineamientos), el numeral vigésimo cuarto, define a las
evaluaciones complementarias como aquellas que no se encuentran previstas en el
Programa Anual de Evaluación (PAE), y cuya aplicación está a consideración de las
necesidades que identifiquen las dependencias o entidades.
En este sentido, al ser interés particular de la Sedesol contar con información acerca del
desempeño y resultados de los Programas Sociales, y con base en la información disponible
de evaluación y monitoreo, se plantea una evaluación complementaria, denominada
“Metaevaluación 2007-2012 para el Programa de Atención a Jornaleros Agrícolas (PAJA)”.
El objetivo general de la evaluación es analizar los avances y logros en materia de evaluación
y monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad en
dichos temas, que permitan al programa obtener mejores resultados. Este objetivo general
posteriormente se desarrollará en una serie de objetivos específicos, a los cuales se les da
cumplimiento formal en los diversos apartados del documento.
El desarrollo de la metaevaluación del PAJA comienza con la descripción general del
programa a partir de lo establecido en diversos documentos normativos y técnicos básicos,
así como las evaluaciones externas recientes. Inicia con una presentación general,
deteniéndose luego en aspectos centrales como los objetivos, el problema focal que se busca
revertir y las relaciones de causa y efecto asociadas a dicho problema.
Posteriormente, en el apartado de Evaluación se presenta una síntesis de cada una de las
evaluaciones externas que se realizaron al programa en el período 2007-2012; se analizan
evaluaciones de resultados o impacto de programas similares al PAJA; se propone una
agenda de evaluación para el periodo 2013-2018; se enuncian las principales fortalezas,
oportunidades, debilidades, amenazas y recomendaciones derivadas de las evaluaciones
realizadas al programa, y se exponen las conclusiones y recomendaciones más relevantes del
equipo metaevaluador.
En el apartado de Monitoreo, se hace un análisis de la evolución de la Matriz de Indicadores
para Resultados (MIR) del programa durante el período 2007-2012. El análisis histórico
identifica los principales cambios en los resúmenes narrativos y en los indicadores que
componen la Matriz, que surgieron como resultado a las observaciones y recomendaciones
de diversas instancias normativas y fiscalizadoras, así como de evaluaciones externas
realizadas al programa. Asimismo, se incluye una serie de recomendaciones del equipo
metaevaluador para mejorar la matriz hacia el inicio de la próxima administración federal.
Finalmente, se presentan las conclusiones y recomendaciones resultantes de la
metaevaluación y se incluye una serie de anexos que refiere el contenido del documento.
6
2. Descripción del Programa
En este apartado se presenta una descripción general del programa a partir de lo establecido
en diversos documentos básicos, tales como las Reglas de Operación del Programa (ROP)
2012, el Diagnóstico del Programa de Atención a Jornaleros Agrícolas, 2010 (en adelante el
Diagnóstico), la Nota de Actualización de la Población Potencial y Objetivo del Programa de
Atención a Jornaleros Agrícolas, 2011 (en adelante la Nota), así como las evaluaciones
externas recientes. Inicia con una presentación general, deteniéndose luego en aspectos
centrales como los objetivos, el problema focal que se busca revertir y las relaciones de causa
y efecto asociadas a dicho problema. Posteriormente, se describen los diferentes apoyos que
otorga el programa a sus beneficiarios, se identifica y cuantifica la población potencial y
objetivo, y se da cuanta de la evolución de la cobertura durante los años recientes.
2.1 Antecedentes y objetivos
El Programa de Atención a Jornaleros Agrícolas (PAJA) inició sus operaciones en 1990.
Actualmente depende de la Secretaría de Desarrollo Social (Sedesol), con clave programática
S065, y está a cargo de la Dirección General de Atención a Grupos Prioritarios (DGAGP).
En las Reglas de Operación del Programa (ROP) 2012 se señala que éste se encuentra
enmarcado en el Plan Nacional de Desarrollo 2007-2012 (PND), como parte del Eje 3
“Igualdad de Oportunidades” en su Objetivo 17, y en el Objetivo 2 del Programa Sectorial de
Desarrollo Social (PSDS) que establece: “Abatir la marginación y el rezago de los grupos
vulnerables para proveer igualdad en las oportunidades, permitiéndoles desarrollarse con
independencia y plenitud”. De igual forma, el PND identifica que la falta de seguridad laboral
y los bajos ingresos inherentes al trabajo de los jornaleros agrícolas provocan que la
migración sea necesaria para la búsqueda de ingresos monetarios que aseguren su
supervivencia. En la Estrategia Vivir Mejor del Gobierno Federal, el programa se enmarca en
la línea de acción 3.2. “Construcción de una Red de Protección Social” que brinda asistencia a
personas o grupos en condiciones de vulnerabilidad, específicamente a los jornaleros
agrícolas.
En este contexto, su documento normativo destaca que el programa contribuye a abatir el
rezago que enfrenta este grupo de población mediante la articulación de acciones con los
tres niveles de gobierno y los sectores social y privado con el fin de generar la igualdad de
oportunidades y la ampliación de sus capacidades.
De acuerdo con las ROP el objetivo general del PAJA es contribuir a la protección social de los
jornaleros agrícolas y los integrantes de su hogar. Su objetivo específico está definido como
“Contribuir a la ampliación de capacidades de los jornaleros agrícolas y los integrantes de su
hogar, otorgando apoyos en alimentación, salud, infraestructura, educación e información, y
promoviendo su acceso a los servicios básicos”.
7
2.2 Problema focal y árbol de problemas
En la Nota del PAJA, el problema focal que aborda el programa se define como las familias
jornaleras presentan condiciones de vulnerabilidad y exclusión social mucho mayores que
otros grupos de población trabajadora. Las causas principales que se identifican están
asociadas a la breve permanencia de los jornaleros en sus localidades de destino, debido a la
alta movilidad dentro de las zonas de trabajo y la gran diversidad étnica que conforma al
sector jornalero, existe en esta población escasa organización, desconocimiento de sus
derechos, falta de regulación en sus relaciones laborales e insuficiente inspección laboral,
aspectos que conducen frecuentemente a la violación de sus derechos laborales y humanos.
En este sentido, la Nota resalta que en el Diagnóstico se identifican como principales causas
del problema: 1) las precarias condiciones de trabajo y de vida; 2) la carencia de servicios e
infraestructura básica y, 3) las insuficientes opciones laborales en los lugares de origen,
aspectos que finalmente repercuten en la alta vulnerabilidad y exclusión social de las familias
jornaleras.
La falta de oportunidades y las condiciones adversas que enfrentan los jornaleros agrícolas
tienen fuertes efectos negativos sobre el desarrollo de los trabajadores y de sus familias.
Entre los principales efectos de la problemática se identifican: 1) la migración; 2) el trabajo
infantil y, 3) el deterioro de la salud, todos los cuales contribuyen a una transmisión
intergeneracional de la pobreza.
A continuación se presenta el árbol de problemas que el programa construyó en torno al
problema focal.
8
Fuente: Sedesol (2010) Diagnóstico del Programa de Atención a Jornaleros Agrícolas.
Nota: Algunos conceptos del problema focal que aparecen originalmente en el Diagnóstico de 2010 fueron redefinidos en la Nota de Actualización
de la población potencial y Objetivo del PAJA 2011, sin que se afectara la esencia del análisis.
9
2.3. Población potencial y objetivo
La Nota 2011 define a la población potencial del PAJA como el total de jornaleros agrícolas y
los integrantes de sus hogares (familia). La cuantificación se sustentó en la Encuesta Nacional
de Jornaleros Agrícolas (ENJO) 2009 realizada por la Universidad de Chapingo a solicitud de la
DGAGP, previa convocatoria de un equipo de especialistas y expertos para la realización de
los instrumentos para la medición de las condiciones socioeconómicas de este grupo
poblacional. El número de jornaleros agrícolas estimados con los datos de la ENJO fue poco
más de 2 millones. Por su parte, la población potencial (jornaleros agrícolas y sus familias)
fue cuantificada en 5.2 millones de personas aproximadamente.
En cuanto a la población objetivo, las ROP 2012 señalan que es la población jornalera agrícola
integrada por mujeres y hombres de 16 años o más que laboran como jornaleros agrícolas,
así como los integrantes de su hogar, y precisa —tanto en el Diagnóstico 2010 como en la
Nota sobre Población Potencial y Objetivo— que son los que se encuentran en las regiones de
atención agrícola, ya sea de forma permanente o temporal.
El Diagnóstico señala que existen 175 regiones de atención jornaleras, a las que pertenecen
1,095 municipios y 118,079 localidades distribuidas en 27 estados del país. En la Nota se
establece que para 2012 se estima una población objetivo de 219,116 personas (jornaleros
agrícolas y sus familias), equivalente a 46,425 hogares. La cuantificación se determina por
dos vertientes: meta sectorial del padrón acumulado, que se determina como porcentaje
anual sobre la población potencial (este método es independiente del presupuesto) y por la
meta de cobertura: número de personas que conforman un hogar con al menos un
integrante en el padrón de beneficiarios programados para recibir el componente
alimentario, de salud o educativo, o el componente para el tránsito migratorio.
2.4. Apoyos otorgados.
Los apoyos del PAJA se dividen en tres modalidades, de acuerdo con las ROP 2012:
1. Apoyos directos a la población jornalera agrícola
a) Apoyos alimenticios a los niños y niñas. Consisten en hasta dos alimentos diarios con
costo de la dieta por un monto máximo de $480.00 mensuales por niño o niña.
b) Estímulos para la asistencia y permanencia escolar. Apoyos económicos a los padres o
tutor que cumplan con la corresponsabilidad de asistencia regular de los niños de hogares
jornaleros, incluidos los niveles: preescolar, primaria y secundaria. Los montos mensuales
varían por nivel y grado, en secundaria además se considera el sexo. En preescolar la
ayuda es de $128.00, mientras que en primaria el apoyo inicia en primer grado con
$128.00 y termina en el sexto con $300.00, pasando en los grados intermedios de
segundo a quinto por $139.00; $150.00; $175.00 y, $225.00, los que pueden entregarse en
forma directa, en unidades de trabajo o por medio electrónico. En la secundaria el primer
10
grado representa un estímulo mensual a la permanencia escolar de $440.00 para hombres
y $466.00 para mujeres; en segundo los montos son de $465.00 y $515.00 y en tercer
grado de $490.00 y $565.00.
c) Apoyo económico al arribo. Un apoyo económico de $800.00 al jefe o jefa del hogar
jornalero por un máximo de tres ocasiones en el ejercicio fiscal cuando notifiquen su
condición de migrante.
2. Acciones para el desarrollo de la población jornalera agrícola
a) Servicios de acompañamiento a la población jornalera agrícola. Consisten en acciones
de atención, información y orientación. Se otorgan apoyos temporales de alojamiento,
alimentación y almacenamiento de pertenencias.
b) Acciones de promoción y participación social. Acciones para el fortalecimiento de
habilidades y competencias sociales de la población jornalera, como promoción de los
derechos humanos, derechos del niño y derechos laborales; educación para la protección
contra la explotación y abuso sexual de los menores; violencia de género; migración;
hábitos saludables; saneamiento básico; contraloría social; desarrollo personal; cuidados
de la salud; cuidado del medio ambiente; educación para aminorar los daños provocados
por desastres naturales, entre otros.
c) Apoyos especiales para contingencias. Se otorga a quienes sufran contingencia
individual o colectiva durante el proceso migratorio en forma de transportación de
regreso a su lugar de origen, pago de servicios médicos y sanitarios, y gastos funerarios.
d) Acciones para potenciar el desarrollo. Promoción de la vinculación con otras
instituciones para que tengan acceso a los apoyos de otros programas, como el de
Desarrollo Humano Oportunidades (PDHO) y del Desarrollo de Zonas Prioritarias (PDZP).
e) Estudios e investigaciones. Su objetivo es generar información actualizada útil para el
diseño de políticas públicas y la atención de esta población.
3. Acceso a servicios de vivienda
a) Apoyos para infraestructura. Subsidios para la construcción, rehabilitación, ampliación,
acondicionamiento y equipamiento de infraestructura para atender a la población
jornalera agrícola en las subregiones de atención jornalera. Los proyectos de
infraestructura cubren los rubros de 1) desarrollo infantil (ludotecas, centros de atención
especial, guarderías y estancias, unidades móviles, entre otras); 2) atención a la salud
(unidades de atención médica para primer nivel fijas o móviles); 3) espacios para la
estancia temporal (como albergues, vivienda temporal, infraestructura social básica, entre
otros) 4) infraestructura para la atención de la población jornalera agrícola (mesas de
atención temporales, ventanillas, entre otras), 5) de atención, alojamiento temporal e
información (incluye Unidades de Servicios Integrales –USI- y mesas de atención
permanentes, entre otros).
11
Las ROP estipulan que las acciones referidas a los incisos 1 y 2 de esta última vertiente de
apoyos, se realizarán preferentemente con recursos del Programa para el Desarrollo de
Zonas Prioritarias o de otros programas federales y estatales. Las Unidades de Servicios
Integrales y los albergues comunitarios son los únicos inmuebles que podrán ser
administrados por Sedesol. Los demás deberán atenderse por las organizaciones o
dependencias competentes como son: Productores, IMSS, SS, SEP, CONAFE, entre otros.
2.5. Evolución de la cobertura
La última evaluación de Consistencia y Resultados del PAJA nos ofrece datos de la cobertura
durante el período 2000 a 2011. En 2011, la cobertura de jornaleros agrícolas fue de 625,881,
con relación a la población objetivo, en este año la cobertura representó el 99.52%. En el
período de 2007 a 2011, el PAJA ha beneficiado a un total de 2’916,180 jornaleros agrícolas
(Cuadro 1).
Cuadro 1. Cobertura del PAJA 2000-2011
Tipo de
Población
Potencial
(PP)
Objetivo
(P.O.)
Atendida
(P.A.)
P.A. X 100
P.O
Tipo de
Población
Potencial
(PP)
Objetivo
(P.O.)
Atendida
(P.A.)
P.A. X 100
P.O
Unidad
de
Medida
2000
2001
2002
2003
2004
2005
Personas
2,595,644
2,595,644
2,595,644
2,595,644
2,595,644
2,595,644
Personas
753,285
761,000
713,977
677,874
588,759
596,815
Personas
753,285
678,834
722,936
528,302
578,992
619,873
%
100.00
89.20
101.25
77.94
98.34
103.86
Unidad
de
Medida
2006
2007
2008
2009
2010
2011
Personas
2,595,644
2,595,644
2,595,644
2,595,644
3,282,632
3,282,632
Personas
558,946
556,382
638,824
662,055
662,055
628,891
Personas
613,744
585,842
650,277
524,492
529,688
625,881
%
109.80
105.29
101.79
79.22
80.01
99.52
Fuente: Elaboración propia con base en ECR 2011-2012, Anexo 11
12
3. Evaluación
En este apartado se presenta una síntesis de cada una de las evaluaciones externas que se
realizaron al programa en el período 2007-2012. La síntesis se enfoca en la metodología y los
principales resultados; identifica las fortalezas, oportunidades, debilidades y amenazas más
relevantes, y enuncia las recomendaciones que los evaluadores derivaron en su momento de
las evaluaciones —el Anexo 1 facilita una visión esquemática de este ejercicio.
Para establecer un punto de referencia con otras experiencias a nivel internacional,
posteriormente se muestra una síntesis de evaluaciones de resultados o impacto aplicadas a
programas, proyectos o intervenciones públicas que son similares por algunos de sus
objetivos, componentes o poblaciones atendidas. Se trata de obtener información útil para
valorar en qué medida las acciones del programa han obtenido resultados en otras
realidades, así como de analizar y aprovechar aquellos aspectos del esquema metodológico
aplicado en estos casos para próximas evaluaciones al programa. El Anexo 2 posibilita una
visión sintética de las evaluaciones a intervenciones similares a la que nos ocupa.
A continuación, se propone una agenda de evaluación para el período 2013-2018, que
pretende ser una guía para orientar los ejercicios que deberán hacerse al programa conforme
a la normatividad en la materia. La agenda propuesta plantea los objetivos para cada
evaluación y el período de duración, señala los componentes específicos para analizar, hace
una justificación de cada ejercicio con base en necesidades o recomendaciones identificadas
en esta metaevaluación, y propone un conjunto de insumos necesarios para llevar a cabo las
evaluaciones durante todo el período. La esquematización de la propuesta puede observarse
en el Anexo 3.
Dada la importancia de corroborar en los hechos los cambios que las intervenciones públicas
son capaces de imprimir en la realidad que buscan revertir, este apartado incorpora una
propuesta más detallada para someter al programa a una evaluación de impacto. Se
describen la metodología y las fuentes de información necesarias para llevar a cabo este tipo
de evaluación, de acuerdo con la naturaleza de las variables específicas a medir así como de
las características específicas del programa. La propuesta se acompaña de un análisis de
pertinencia y de viabilidad técnica y financiera.
En este apartado se incorpora un resumen de las fortalezas, oportunidades, debilidades y
amenazas (FODA) del programa, identificadas en cada evaluación analizada, acompañadas de
sus recomendaciones y propuestas asociadas. Cabe señalar que sólo se presentan aquellos
elementos que, a juicio del metaevaluador, son relevantes en términos de su importancia e
implicaciones para el desempeño del programa, así como vigentes, en el sentido que la
situación que les dio origen lo sigue siendo en alguna medida. El FODA completo de forma
esquemática se presenta en el Anexo 4.
Finalmente, se incorpora una sección de conclusiones y recomendaciones del
metaevaluador, que si bien en su mayoría se construyen sobre el análisis de las evaluaciones
13
antes revisadas, en algunos casos llegan a resultados distintos al replicar los ejercicios
metodológicos de forma más amplia y rigurosa. Estas conclusiones y recomendaciones se
enfocan principalmente en aspectos asociados al diseño, la cobertura y los impactos del
programa, y son responsabilidad exclusiva del metaevaluador.
3.1. Principales hallazgos de las evaluaciones
En este apartado se presenta una síntesis de cada una de las evaluaciones externas que se
realizaron al programa en el período 2007-2012. La síntesis se enfoca en la metodología y los
principales resultados. El Anexo 1 facilita una visión esquemática de este ejercicio.
Cabe señalar que los resultados aquí presentados reflejan lo encontrado en cada evaluación
en el momento en que estas se llevaron a cabo, y no expresan la opinión del equipo
metaevaluador. Asimismo, es necesario enfatizar que, conforme a la normatividad
respectiva, los principales hallazgos y recomendaciones de las evaluaciones externas se
incorporaron en un mecanismo de seguimiento y derivaron en aspectos susceptibles de
mejora, que en su momento fueron atendidos por los responsables de los programas. Sin
embargo, por el diseño del propio mecanismo de seguimiento y la naturaleza de los
problemas que les dieron origen, algunos hallazgos y recomendaciones importantes pueden
seguir siendo vigentes a la fecha en que se realiza la presente metaevaluación. En los casos
en que esto ocurra, a juicio del metaevaluador, dichos hallazgos y recomendaciones, se
retomarán en el análisis FODA de la sección 3.5.
3.1.1. Evaluación de Consistencia y Resultados 2007 (ECR 2007)
La evaluación se realizó para mostrar la consistencia del Programa en cuanto a seis temas
fundamentales: 1) diseño, 2) planeación estratégica, 3) cobertura y focalización, 4)
operación, 5) percepción de la población objetivo y 6) resultados. Se basó en un trabajo de
gabinete apoyado en la información proporcionada por la dependencia. Estuvo a cargo de la
Organización de las Naciones Unidas para la Agricultura y la Alimentación (FAO) bajo la
coordinación de Guillermo Chávez Zárate. Se concluyó en marzo de 2007. A continuación se
presentan los aspectos más relevantes de la misma.
Metodología
Trabajo de gabinete con base en los términos de referencia emitidos por la Sedesol para el
programa; elaborados en apego a los Lineamientos emitidos por el Coneval y al Modelo de
Términos de Referencia para la Evaluación de Consistencia y Resultados emitidos por la
SHCP, la SFP y el Coneval.
Valoración técnica
No aplica.
14
Diseño
El problema se halla correctamente identificado y definido, pero no cuenta con un
documento denominado diagnóstico, con carácter global y visión nacional, cuya
intención sea soportar la acción del gobierno.
El Fin y Propósito no están claramente definidos y no corresponden a la solución del
problema. Está alineado con el Plan Nacional de Desarrollo 2007-2012 y el Programa
Sectorial de Desarrollo Social 2007-2012.
Las lógicas vertical y horizontal de la Matriz de Indicadores para Resultados no son claras
ni válidas.
No todos los indicadores son claros, relevantes, económicos, adecuados y
monitoreables.
La población potencial y objetivo no están claramente definidas ni cuantificadas.
El diseño no se expresa en las ROP y la Matriz de Indicadores para Resultados (MIR).
Es complementario con 15 Programa Federales siempre que garantice la adecuada
coordinación inter e intrainstitucional para evitar un riesgo de duplicidad latente.
Planeación Estratégica
No cuenta con planes estratégicos en los que se establezca los resultados que busca
alcanzar para el corto, mediano y largo plazos, pero sí con algunos instrumentos de corto
plazo como el Programa Operativo Anual; IV Informe Trimestral y ROP todos de 2007.
No tiene indicadores, metas, estrategias y políticas detallados; los que hay son dispersos,
incompletos y desarticulados.
No cuenta con un número limitado y suficiente de indicadores que se orienten a
resultados.
Cobertura y focalización
No existe un método claro y sistemático para cuantificar la población potencial y
objetivo.
La población atendida en 2007 fue 535,643 jornaleros agrícolas (9.08% de la Población
Potencial y 20.36% de la Población Objetivo).
No cuenta con una estrategia de cobertura para el corto, mediano y largo plazos.
Operación
Cuenta con procedimientos adecuados para seleccionar a los beneficiarios.
Cumple con los criterios de elegibilidad, monto y entrega de apoyos de las ROP.
La coordinación y colaboración con otros programas federales es embrionaria,
discontinua y poco efectiva pero sigue siendo una necesidad y prioridad.
Percepción de la población objetivo
No cuenta con instrumentos para medir el grado de satisfacción de los beneficiarios.
Resultados
15
Recolecta información parcial que podría ser útil para el Fin y el Propósito, pero éstos no
son adecuados.
No ha tenido evaluaciones de impacto.
3.1.2. Evaluación Específica de Desempeño 2008 (EED 2008)
La evaluación se realizó para reportar los resultados y productos del programa, mediante el
análisis de los indicadores; identificar avances en los aspectos susceptibles de mejora
derivados de las evaluaciones externas y las acciones establecidas para atenderlos; mostrar
los avances en materia de cobertura e identificar las principales fortalezas y retos del
programa. Se basó en un trabajo de gabinete y únicamente con base en la información
contenida en el Sistema de Evaluación del Desempeño (SED) y la proporcionada por el
Coneval. Estuvo a cargo de El Colegio de la Frontera Norte, A.C., (COLEF) bajo la coordinación
de René Martín Zenteno Quintero. A continuación se presentan los aspectos más relevantes
de la misma.
Metodología
Trabajo de gabinete y únicamente con base en la información contenida en el SED y la
proporcionada por el Coneval.
Valoración técnica
No aplica.
Indicadores
Dos de tres indicadores de resultados seleccionados están por arriba de la meta, con
39.5 y 383 puntos porcentuales: “Población jornalera atendida” y “Porcentaje de
jornaleros agrícolas migrantes atendidos” (incluidos miembros de sus familias). Destacan
observaciones del evaluador respecto del nombre equivocado para el primero por su
método de cálculo, que arroja un porcentaje. Para el segundo, destaca una
inconsistencia en el método de cálculo (probable causa del disparo). El indicador
“Permanencia en el aula de niños jornaleros” queda debajo de su meta por 13.4 puntos
porcentuales; sugiere cambiar el nombre por “Grado de permanencia en el aula de los
niños jornaleros migrantes”, con base en la definición del indicador.
Cuatro de cinco indicadores de gestión se encuentran por arriba de su meta en rangos de
2.2 a 256.4 puntos porcentuales: “Implementación de proyectos de infraestructura”;
“Dotación de despensas”; “Apoyos educativos”, y “Promedio de convenios suscritos por
productor agrícola que demanda jornaleros”. En el último caso se presenta un avance
porcentual siendo un indicador de promedio, lo cual es inconsistente. El indicador
eficiencia de la red social quedó 1.2 puntos porcentuales debajo de su meta.
Los indicadores estratégicos son débiles; los de gestión son adecuados para valorar el
funcionamiento, pero debe diseñarse un indicador para medir acceso a servicios
educativos.
16
La valoración de los indicadores señala que sólo un indicador de resultados permite
conocer el aporte al mejoramiento de las condiciones de vida y trabajo de los
beneficiarios, pero los de gestión sí ofrecen visión de la operación del programa con
resultados satisfactorios en la mayoría.
Se reportan principales resultados de la ECR 2007.
Cobertura
Las poblaciones potencial y objetivo están definidas y cuantificadas. La primera registra
2’595,644 jornaleros agrícolas migrante o local y sus familias. La segunda se cuantificó en
638,824 jornaleros.
De acuerdo con los datos disponibles, la evolución de la cobertura registraba el siguiente
comportamiento (Cuadro 2).
AÑO
2007
2008
Cuadro 2. Cobertura del PAJA 2007-2008
Población
Población
Población
Potencial (PP)
Objetivo (PO)
Atendida (PA)
2,595,644
585,842
2,595,644
638,824
650,277
Fuente: Elaboración propia con base en el Informe de la EED 2008
La evolución de la cobertura se mantiene por arriba de su meta; sin embargo, no ha
logrado un crecimiento sostenido de beneficiarios; tampoco ha disminuido
significativamente, y el presupuesto no ha sido incrementado sustancialmente de 2004 a
2008.
Aspectos susceptibles de mejora
Referente a los Aspectos Susceptibles de Mejora (ASM) se encontró que era necesario
realizar un documento de Planeación Estratégica que incluyera metas de mediano y
largo plazo; expresar en forma congruente el diseño del Programa en las ROP y la MIR;
cuantificar la población potencial y objetivo; especificar indicadores de resultados en
relación a la población objetivo en la MIR, y realizar evaluación de satisfacción de la
población atendida.
Las acciones definidas se reflejan en acciones de solución orientadas a:
1. Elaboración del documento de líneas estratégicas de la DGAGP.
2. Análisis de la viabilidad de las metas establecidas en el documento de proyección de
metas y presupuesto 2008-2012
3. Rediseño de la MIR vinculada a las ROP 2009.
4. Estimar la población potencial y objetivo de acuerdo a información de INEGI y la que
levanta el programa para sus padrones de beneficiarios.
5. Elaboración del Documento Estimación de la Población Potencial del PAJA con base
en la Encuesta Nacional de Empleo (ENE) 2003 y la ENJO 2003-2004.
6. Desarrollo de la Metodología para la delimitación de zonas de atención de la
población jornalera agrícola nacional mediante un análisis de las áreas de cultivo.
17
7. Inclusión de indicadores de eficiencia y resultados respecto de la PO en la MIR 2009.
8. Estrategia de seguimiento físico del programa en la que se mide satisfacción en una
muestra de beneficiarios.
No es posible valorar avances porque muchas acciones se encuentran en proceso.
3.1.3. Evaluación Específica de Monitoreo de Obra Pública 2002-2007 (EEMOP 2002-2007)
La evaluación se realizó en 2009 para supervisar la obra pública ejecutada de 2002 a 2007 del
Programa en cuanto a su planeación, aprobación, ejecución, operación y percepción de los
resultados, con el fin de que las recomendaciones retroalimenten las acciones del programa
para el logro de resultados y, en particular, de la puesta en marcha de la operación continua
y satisfactoria, así como de la permanencia de dicha obra pública. Se basó tanto en un
trabajo de gabinete como de campo. Estuvo a cargo de la Universidad Autónoma
Metropolitana, bajo la coordinación de Carola Conde Bofil. A continuación se presentan los
aspectos más relevantes de la misma.
Metodología
La evaluación se basó tanto en trabajo de campo como de gabinete y se dirigió a monitorear
obra pública porque se considera que la nueva infraestructura para el servicio de la sociedad
o de las personas en situación de pobreza y marginación, es de interés general, contribuye a
la generación de bienes públicos y por consecuencia, representa un mayor impacto social.
Esta evaluación consideró cinco programas de Sedesol junto con el PAJA.
La metodología consistió en:
Depurar las bases de datos recibidas de los programas para establecer un marco
muestral que correspondiera con la definición de obra pública establecida para esta
evaluación.
Obtener una muestra de proyectos (mediante un esquema probabilístico, bietápico y
por conglomerados).
Definir los instrumentos para el levantamiento en campo y sus instructivos, tales
como guías de entrevista al responsable del programa en la delegación de la Sedesol,
la autoridad municipal o local; cédula de vivienda del PAJA (CV PAJA); cédula del
responsable de operación de la obra (CROO); cédula de la encuesta a beneficiarios.
Efectuar el levantamiento en campo: llevar a cabo las entrevistas al responsable del
programa en la delegación de la Sedesol, a la autoridad municipal o a la instancia
ejecutora; revisar los expedientes técnicos de las obras; localizar las obras y realizar
su verificación física; llenar las cédulas del responsable de operación de la obra y de
los beneficiarios; recopilar la evidencia fotográfica.
Codificar, capturar, validar, procesar la información.
Analizar la información documental y de campo.
Sistematizar los hallazgos.
Redactar las recomendaciones, propuestas e informes
18
El programa reportó entre 2002 y 2007 un total de 7,476 acciones apoyadas, de las cuales se
descartaron 2,132 cuya unidad de medida no correspondía a obras de construcción física
nueva y 3,975 proyectos porque su tipología correspondía a reconstrucción, rehabilitación,
equipamiento y servicios complementarios de diversos tipos de infraestructura (viviendas
transitorias y permanentes, canchas, aulas, cocinas, comedores, etc.), construcción de
lavaderos y fogones con más de 3 años de antigüedad, además de identificarse acciones que
no correspondían a construcción física (becas, despensas, equipamiento, proyectos
productivos, etc). Así, el marco muestral quedó conformado por 1,369 proyectos distribuidos
en 192 municipios en 18 entidades del país. El tamaño de la muestra determinado para el
estudio fue de 50 obras, distribuidas en 36 localidades de 10 municipios de 9 estados.
La muestra se calculó con base en la fórmula para poblaciones finitas ajustada por un factor
que mide el efecto de diseño utilizado (muestreo bietápico de conglomerados). En la primera
etapa se seleccionaron 10 conglomerados (municipios) por muestreo aleatorio proporcional
al tamaño, es decir, a mayor número de obras en un municipio mayor probabilidad de ser
seleccionado y en la segunda etapa se eligieron, de manera aleatoria simple, 50 obras
distribuidas –de igual manera– según el tamaño de los conglomerados seleccionados en la
primara etapa. En la segunda etapa la muestra se afijó de manera proporcional a la
importancia de cada uno de los conglomerados, es decir, proporcionalmente con respecto al
número de obras. El tipo de muestreo utilizado para este tipo de estudios es el de
proporciones, ya que lo que importa en este caso es si el individuo entrevistado presenta un
determinado atributo, por ejemplo, el que esté satisfecho o no con la obra realizada en la
comunidad. Como resultado con este método el tamaño de la muestra con un error máximo
de +8% es de 150 beneficiarios, en cada obra se entrevistarían a 3 beneficiarios.
Valoración técnica
No aplica.
Planeación
Se da prioridad a las obras de infraestructura para jornaleros locales en contra de
obras para jornaleros migrantes, lo que se explica por el peso político y social de la
comunidad local ante la autoridad local frente a los migrantes.
Aunque se detectan cuatro criterios principales para la priorización de las obras
(diagnóstico situacional de las localidades; migración del municipio y la localidad;
volumen de población efectiva en la unidad de trabajo y, existencia de obras previas
en la unidad de trabajo) los Responsables del Programa en las Delegaciones no
disponen de conceptos claros y específicos para priorizar la selección de las obras.
La dinámica del programa ha resultado incluyente para los jornaleros pues más de 4/5
partes de los encuestados comentaron que sabía que la comunidad había participado
en decidir qué hacer y cómo empezar.
Se identificó que 6 de cada 10 obras cuentan con acta de Asamblea Comunitaria lo
que muestra el impulso a la organización y participación social de la población
jornalera en la identificación de sus necesidades y demandas.
19
Aprobación
Las obras inconclusas o modificadas se deben al incumplimiento de las aportaciones
inferiores por parte de los productores agrícolas o beneficiarios.
La insuficiencia presupuestaria obliga al reajuste de metas y construcción en fases.
Los criterios para elegir beneficiarios fueron: pobreza, carencia de infraestructura,
ingresos familiares provenientes de actividades agrícolas y ser jefes o jefas de familia.
Los criterios de elegibilidad de beneficiarios se cumplen satisfactoriamente.
La ubicación de las obras por lo regular está cercana a las hectáreas de cultivo.
Ejecución
Se encontró 94.3% de los Expedientes Técnicos de Obra (ETO). Todos incluían
estructura financiera y meta.
En 12.1% de obras existió variación en el costo total aprobado y el presupuesto
ejercido difirió 29.9% de los ETO.
En 84.4% de las obras seleccionadas en la muestra se encontró que en promedio
fueron ejecutadas en 6.5 meses.
71.2% del presupuesto fue federal; casi una cuarta parte fue de aportaciones de los
beneficiarios y 4.5% correspondió a estados y municipios. Casi la totalidad del
presupuesto federal se ejerció en su totalidad.
En la modalidad de ejecución de obras, en 88% de los ETO se encontró
documentación pertinente o se especificó qué procedimiento se siguió. Con base en
ello cerca de la mitad de las obras fueron asignadas por invitación restringida. Del
total de la muestra, poco más de una tercera parte fue ejecutada por licitación
pública y sólo 16.2% fue construida por adjudicación directa.
El reporte de avance físico y financiero fue de 56.4% de las obras, lo que denota
actividad media en las labores de seguimiento.
Operación
La totalidad de las obras de la muestra existen y se encuentran donde se reporta en la
base de datos.
Del total de obras de vivienda de la muestra, menos de la mitad cuenta con
electricidad; 9 de cada 10 no tienen servicio de drenaje, más de 3/5 partes no tiene
agua potable y 85% no dispone de gas.
Tres de cada 10 viviendas muestran deterioro. La situación es menos deficiente en la
infraestructura educativa, recreativa y módulos sanitarios.
De las obras evaluadas con la cédula de edificación se encontró que 87.5% de las
obras se encontraba en operación.
No se da uso distinto para los fines con que se construyó la obra.
98.0% de las obras de vivienda de la muestra se encuentran habitadas.
De acuerdo con los beneficiarios, 65.1% de las obras han recibido mantenimiento.
Percepción de resultados
20
No se percibe un sentido de crítica sobre la utilidad de las obras por parte de los
beneficiarios ya que las consideran muy útiles o útiles a pesar de las condiciones de
deterioro.
La calificación de satisfacción en promedio es de 9.3, o 9 de cada 10 beneficiarios se
encuentra satisfecho con los servicios obtenidos.
90% se considera satisfecho con los servicios obtenidos por medio de las obras.
19.5% de los jornaleros las considera útil y otro 79.1% las valora de mucha utilidad.
Sólo 4.8% considera que las obras no están en buen estado.
La valoración de la calidad del mantenimiento fue alta pues 93.7% consideró que es
positiva.
3.1.4. Evaluación Específica de Desempeño 2009-2010 (EED 2009-2010)
La evaluación se realizó para reportar los resultados y productos del programa, mediante el
análisis de los indicadores; identificar avances en los aspectos susceptibles de mejora
derivados de las evaluaciones externas y las acciones establecidas para atenderlos; mostrar
los avances en materia de cobertura e identificar las principales fortalezas y retos del
programa. Se basó en un trabajo de gabinete, únicamente con base en la información
contenida en el SED y la proporcionada por el Coneval. Estuvo a cargo de El Colegio
Mexiquense bajo la coordinación de Israel Banegas González. A continuación se presentan
los aspectos más relevantes de la misma.
Metodología
Trabajo de gabinete y únicamente con base en la información contenida en el SED y la
proporcionada por el Coneval.
Valoración técnica
No aplica.
Indicadores
De los dos indicadores de resultados sólo uno presenta meta y cumplimiento:
permanencia en el aula de la población beneficiaria infantil de 6 a 14 años (meta de 99.9%
y avance de 99.9%); el otro no puede medirse en tanto que no cuenta con valor de meta
ni de resultado: porcentaje de percepción de los jornaleros agrícolas en el mejoramiento
de sus condiciones de vida.
De los indicadores de gestión, tres superan su meta en rangos de 86, 23 y 22 puntos
porcentuales: número de beneficiarios en el padrón activo de beneficiarios; población
infantil de 6 a 14 años que recibió apoyo económico, y proyectos de apoyos
complementarios aprobados. Los indicadores de porcentaje de cobertura de gestores y el
de porcentaje de beneficiarios con acciones para la igualdad de oportunidades y
ampliación de capacidades quedan debajo de su meta por 20 y 30 puntos porcentuales.
21
Los indicadores de resultados no permiten una valoración de avances; el indicador de fin
tiene medición bienal y aún no se mide; el de propósito no es factible de analizar. El
carácter migratorio de los jornaleros complica cuantificar el propósito mediante la
permanencia en el aula. El componente de promoción y participación social debe
fortalecerse con indicadores que cuantifiquen avances en conformación de la red social.
Los indicadores de servicios y gestión seleccionados cubren los objetivos y componentes
del programa y mantienen una relación clara y congruente con las ROP. En 2009, los
valores de este conjunto de indicadores tuvieron un desempeño satisfactorio; se lograron
y superaron las metas. El indicador de Fin aún no ha sido medido. El de Propósito puede
mejorarse.
No cuenta con evaluaciones de impacto.
Hallazgos relevantes:
1. El Diagnóstico del programa contribuye a clarificar el problema por resolver; de ello
se elaboró el árbol de problemas y los objetivos de la MIR 2009, así como nuevos
elementos para cuantificar la PP y PO.
2. El Diagnóstico señala que los problemas que enfrentan los jornaleros agrícolas,
requieren la coordinación y concertación interinstitucional para converger en
acciones de educación, salud, derechos humanos y laborales, así como de vinculación
a proyectos y acciones de desarrollo local.
3. El Diagnóstico identificó factores de vulnerabilidad de jornalero: estacionalidad de
empleo y patrón de ingreso favorece migración y accidentes.
4. La EEMOP constató la existencia de la totalidad de las obras de equipamiento del
programa.
5. En 2009 se desarrolló la ENJO para cuantificar y caracterizar a población jornalera
agrícola, analizar su situación y su mercado laboral.
6. Se hizo una propuesta de regionalización para conformar el Sistema de Regiones de
Atención a la Población Jornalera Agrícola (Regiones Jornaleras) como unidad mínima
de planeación y diagnóstico de atención a la población objetivo.
Cobertura
La población potencial y objetivo están cuantificadas.
De acuerdo con los datos disponibles, la evolución de la cobertura registraba el siguiente
comportamiento (Cuadro 3).
AÑO
Cuadro 3. Cobertura PAJA 2007-2009
PP
PO
PA
2007
2,595,644
556,382
585,842
2008
2,595,644
638,824
650,277
2009
2,595,644
662,065
524,492
Fuente: Elaboración propia con base en Informe de la EED 2009-2010
22
Desde 2000, la población potencial se mantiene constante, mientras la población
atendida no ha tenido un incremento real por la dificultad de medir el fenómeno.
Aspectos susceptibles de mejora
Referente a los ASM se encontró que se debía contar con una agenda de evaluación de
resultados; actualizar y difundir los diagnósticos de los problemas sociales que atienden
los programas y continuar mejorando la MIR.
Los avances en los ASM están orientados a: realizar un diagnóstico del Programa e
identificar el problema que se pretende resolver; revisar los apoyos que otorgan y
evaluar la concentración de esfuerzos en los de mayor impacto; mejorar el diseño del
Programa en las ROP y la MIR; definir claramente la población potencial y la objetivo de
acuerdo al problema a resolver y a las restricciones institucionales; cuantificar dichas
poblaciones; mejorar la información de los padrones y bases de datos para conocer el
tipo de apoyos que reciben; realizar un documento de Planeación Estratégica con metas
de mediano y largo plazo; definir metas viables para los indicadores de acuerdo a la
población atender; evaluar la satisfacción de la población atendida; especificar
indicadores de resultados en relación a la PO en la MIR, y revisar la estructura y
actividades de operación del Programa para mejorar la eficiencia operativa, se tiene que
sólo este último es el único específico al Programa que registra un avance de 85%.
3.1.5. Evaluación Específica de Desempeño 2009-2010 (EED 2010-2011)
La evaluación se realizó para reportar los resultados y productos del programa, mediante el
análisis de los indicadores; identificar avances en los aspectos susceptibles de mejora
derivados de las evaluaciones externas y las acciones establecidas para atenderlos; mostrar
los avances en materia de cobertura e identificar las principales fortalezas y retos del
programa. Se basó en un trabajo de gabinete y únicamente con base en la información
contenida en el SED y la proporcionada por el Coneval. Estuvo a cargo de la Consultora C-230
S.C. bajo la coordinación de Raúl Abreu Lastra. A continuación se presentan los aspectos más
relevantes de la misma.
Metodología
Trabajo de gabinete y únicamente con base en la información contenida en el SED y la
proporcionada por el Coneval.
Valoración técnica
No aplica.
Indicadores
De los tres indicadores de resultados (estratégicos), sólo el “Porcentaje de jornaleros
agrícolas/integrantes de hogar que perciben mejora en condiciones de vida”, con meta de
50% y con un avance del 56%, supera su meta con 6 puntos porcentuales; los otros
23
quedan debajo con 20 puntos porcentuales: “Permanencia en el aula de la población
infantil beneficiaria respecto a la población infantil inscrita en los servicios educativos” y
“Población jornalera agrícola beneficiada”.
Dos de cinco indicadores de gestión superan su meta con 98 y 42 puntos porcentuales:
“Proyectos de infraestructura aprobados en beneficio de la población objetivo por PAJA o
PDZP” y “Monto federal programado en proyectos de infraestructura con beneficio a
población beneficiaria”. Los tres restantes quedan debajo de la meta, con 35, 20 y 29
puntos porcentuales: “Niños hasta 18 años que recibieron apoyos económicos a través de
PAJA u Oportunidades”; “Porcentaje de regiones con servicios de acompañamiento,
atención y acciones para el desarrollo de habilidades” y “Cobertura de la entrega de
apoyos económicos para el desarrollo de capacidades”.
La valoración de los indicadores es que la mayoría de ellos no cumple con las metas, lo
que evidencia la necesidad de mejorar la planeación del PAJA y adecuar las metas a la
capacidad instalada. El Fin debe medirse con un método diferente a la percepción; el
indicador de propósito, “Permanencia escolar de niños por edades de 6 a 18 años”, debe
desagregarse para conocer la diferencia por cortes de edad; sería deseable que se
diferenciaran los apoyos de PDHO y PDZP.
No se cuenta con evaluación de impacto para identificar la contribución del PAJA a la
protección social de jornaleros agrícolas.
Hallazgos relevantes:
Se diseñó una estrategia que se basa en subregiones para la atención, la planeación y
focalización.
Se incrementó el número de becas para mantener a los niños en las escuelas; se
planificaron y calendarizaron acciones de promoción social; se canalizaron apoyos a través
de otros programas, como Oportunidades y PDZP.
Cobertura
La población potencial y objetivo están identificadas y cuantificadas.
De acuerdo con los datos disponibles, la evolución de la cobertura registraba el siguiente
comportamiento (Cuadro 4).
AÑO
Cuadro 4. Cobertura del PAJA 2007-2010
PP
PO
PA
Estados
atendidos
2007
2,595,644
556,382
585,842
2008
2,595,644
638,824
650,277
18
2009
2,595,644
662,065
524,492
24
2010
2,595,644
662,065
529,688
26
Fuente: Elaboración propia con base en Informe de la EED 2010-2011
24
Se han afinado los instrumentos para cuantificar la población objetivo con el diseño de la
ENJO. La cobertura se ha redefinido a través de Regiones de atención de la población
jornalera agrícola. El número de estados se ha incrementado de 2008 a 2010.
Aspectos susceptibles de mejora
En 2008-2009, el avance en los ASM fue de 100% en la definición de MIR, líneas base y
solidez de los indicadores. Queda pendiente la actualización de la PP y la PO que tiene un
avance de 85%. Para 2011, se definió como ASM: establecer metas factibles y retadoras
para alcanzar la MIR.
En el avance de ASM en 2011 el programa implementó cambios en las ROP para incrementar
el número de alimentos diarios disponibles para niños y niñas de la PO e incrementar el tope
de edad para recibirlos; se ha redefinido la cobertura del programa; se actualizó el manual de
programación y se elaboró un documento de planeación estratégica y táctica.
3.1.6. Evaluación de Consistencia y Resultados 2011-2012 (ECR 2011-2012)
La evaluación se realizó para mostrar la consistencia del Programa en cuanto a seis temas
fundamentales: 1) diseño, 2) planeación estratégica, 3) cobertura y focalización, 4)
operación, 5) percepción de la población objetivo y 6) resultados. Se basó en un trabajo de
gabinete apoyado en la información proporcionada por la dependencia. Estuvo a cargo del
Fondo de Fomento y Desarrollo de la Investigación Científica y Tecnológica de la Universidad
Autónoma del Estado de México, bajo la coordinación de Fernando Butler Silva. A
continuación se presentan los aspectos más relevantes de la misma.
Metodología
Análisis de gabinete de la información proporcionada por el Programa y la información
obtenida en reuniones de trabajo con sus operadores para responder las 51 preguntas que
integran la evaluación, realizar el FODA y formular las conclusiones conforme a los Términos
de Referencia emitidos por el Coneval para la Evaluación de Consistencia y Resultados.
Valoración técnica
No aplica.
Diseño
El problema está claramente identificado y definido correctamente, y cuenta con un
diagnóstico que describe las causas, efectos y características del problema.
El programa está vinculado al Plan Nacional de Desarrollo y al Programa Sectorial de
Desarrollo Social.
La PP y PO están definidas y cuantificadas. La PO corresponde a jornaleros agrícolas que
se encuentran en las regiones de atención agrícola, ya sea de forma permanente o
temporal. La PO se cuantifica con base en metas de dichas regiones, y asciende a
662,055 jornaleros agrícolas.
25
La metodología de cuantificación considera muestreos aleatorios con base en la ENIGH y
la ENJO para la población potencial y la objetivo y depende de los reportes del programa.
La Matriz de Indicadores para Resultados está identificada en las Reglas de Operación.
Todos los indicadores cuentan con ficha técnica con los requisitos establecidos, pero sólo
ocho tienen metas factibles de alcanzar.
Cuenta con un padrón de beneficiarios directos.
Existe complementariedad con 10 programas federales.
Planeación y orientación a resultados
Existe un Plan Estratégico que define su fin y propósito pero no contempla resultados a
mediano y largo plazo.
Tiene plan de trabajo sólo para 2011 y, por tanto, sólo contempla indicadores y metas
para ese año.
Utiliza los resultados de las evaluaciones externas para la toma de decisiones; define
acciones y actividades que contribuyan a mejorar la gestión.
Se han solventado del 85 al 100% de los aspectos susceptibles de mejora.
Cobertura y focalización
No existe una estrategia de cobertura de mediano y largo plazo.
La población atendida a 2011 fue de 625,881, o el 99.53% de la Población Objetivo de
ese año.
Operación
Cuenta con procedimientos adecuados para seleccionar beneficiarios y/o proyectos,
otorgar apoyos y ejecutar obras y acciones.
Cumple con los criterios de elegibilidad, monto y entrega de apoyos.
Percepción de la población atendida
Cuenta con un instrumento que permite medir la percepción del entrevistado, pero que
no tiene representatividad.
Medición de resultados
Reporta resultados de Fin y Propósito
Cuenta con evaluaciones externas que permiten identificar hallazgos sobre el fin y el
propósito, pero no tiene evaluación de impacto.
Uno de los principales hallazgos es que los apoyos otorgados para la permanencia
escolar en los niños de familias de jornaleros agrícolas son relevantes para la educación y
calidad de vida.
Con respecto al monitoreo, se desprende que 9 de cada 10 beneficiarios están
satisfechos con los servicios obtenidos.
26
3.2. Análisis de evaluaciones de resultados o de impacto en el ámbito nacional o
internacional de programas similares
Para establecer un punto de referencia con otras experiencias a nivel internacional, se
muestra una síntesis de evaluaciones de resultados o impacto aplicadas a programas,
proyectos o intervenciones públicas que son similares, ya sea por algunos de sus objetivos,
componentes o poblaciones atendidas. Se trata de obtener información útil para valorar en
qué medida las acciones del programa han obtenido resultados en otras realidades, así como
de analizar y aprovechar aquellos aspectos del esquema metodológico aplicado en estos
casos para próximas evaluaciones al programa. Es de destacar que dada la inexistencia de
experiencias íntegramente similares al PAJA a nivel nacional e internacional, la evaluación y
el experimento en seguida presentados tienen un grado de alcance particular por lo que la
comparabilidad debe circunscribirse a los componentes concretos de la transferencia
económica1 y la provisión del desayuno a menores2. El Anexo 2 posibilita una visión sintética
de las evaluaciones a intervenciones similares a la que nos ocupa.
3.2.1. Child Maintenance Grant, Namibia
Nombre de la Evaluación: Measuring the impact of social cash transfers on poverty and
inequality in Namibia, 2009.
Objetivos de la Evaluación: Conocer el impacto del programa en la pobreza y desigualdad.
Características similares o tipos de apoyo que entrega el programa
Se trata de un programa focalizado que entrega una subvención al padre biológico de niños
menores de 18 años cuyo esposo(a): 1) reciba una subvención por ancianidad o discapacidad;
2) haya fallecido; o 3) esté sentenciado a prisión por tres meses o más. La línea de ingreso
requerida es de menos de mil dólares de Namibia. Si bien se requiere el comprobante de
inscripción en la escuela del niño si tiene más de siete años, no se trata de un programa
condicionado ya que éste sólo sirve como prueba de que el niño está vivo. La subvención
puede mantenerse hasta que el hijo tenga 21 años si fue registrado antes de que cumpliera
18 y con la condición de que continúe en la preparatoria.
El valor de la subvención es de 200 dólares para el primer niño y de 100 para los adicionales,
hasta un máximo de seis niños registrados. Existen otros apoyos similares como el Foster
Care Grant (Subvención para el cuidado de niños adoptados), Special Maintenance Grant
(Subvención para niños discapacitados o con VIH) y Place of Safety Allowance (Pensión para
niños cuidados por una institución).
1
2
El PAJA la otorga como incentivo para que los hijos de los jornaleros asistan a la escuela.
Cabe señalar que el PAJA otorga hasta dos alimentos al día a los hijos de los jornaleros agrícolas.
27
Metodología utilizada
Se utilizó información de la Encuesta de Ingreso-Gasto de los Hogares de Namibia que
fue levantada entre septiembre de 2003 y agosto de 2004. Por razones pragmáticas
se prefirió utilizar la información del gasto debido a problemas para registrar ingreso
no monetario, particularmente en un país tan desigual como Namibia. No obstante,
también se estimaron modelos utilizando la información del ingreso de los hogares,
así como un híbrido que consideró el dato más alto (ingreso o gasto) para los distintos
rubros.
Se consideraron tres variables dependientes, la incidencia de pobreza (P0), la brecha
de pobreza (P1) y la severidad de la pobreza o brecha de pobreza al cuadrado (P2), a
partir del Índice Foster Greer Thorbecke. Se tienen dos líneas de pobreza: la de
pobreza severa definida por aquel adulto cuyo gasto anual es inferior a 2,217.72
dólares de Namibia y la línea de pobreza fijada en 3,149.4 dólares.
El análisis del impacto sobre la pobreza de las transferencias es descriptivo y estático
y asume que no generan externalidades, efectos de equilibrio general o cambios en el
comportamiento.
Se utilizó también un modelo Probit multivariado para determinar los factores que
contribuyen a que los hogares se encuentren en pobreza. Se controló por el impacto
de otros factores como la región, estado civil, género, educación, edad y condición de
empleo del jefe de hogar, tamaño del hogar, número de miembros del hogar
empleados, número de niños y ancianos para determinar el impacto de la
transferencia sobre la probabilidad de ser pobre para ambas líneas de pobreza.
Adicionalmente, se utilizaron modelos Tobit para censurar el valor de la variable
dependiente en los casos en que ésta fue la brecha de pobreza y de la severidad de la
pobreza.
Por su parte, en la evaluación también se estimaron coeficientes de Gini tomando
información de los ingresos y gastos de los hogares, así como un modelo híbrido.
Valoración técnica
La evaluación presenta un alto grado de validez interna debido a que la evaluación de
impacto del programa sobre la pobreza controló por características socioeconómicas
de los hogares y definió al grupo de comparación en función de estas mismas
características. Asimismo, también cuenta con un alto grado de validez externa
debido a que se utilizó una muestra representativa del conjunto de la población a
partir de una encuesta de ingreso-gasto.
Se utilizó información del gasto debido a problemas para registrar ingreso no
monetario. También se utilizó un método híbrido en donde se registró la cifra más
alta en cada rubro, ya fuera de ingreso o de gasto.
Resultados
En el año 2009-2010, los programas de subvenciones infantiles representaron 0.93% del
gasto total, lo que equivale a 0.31% del PIB de Namibia.
28
Utilizando el gasto como variable dependiente:
Reduce la incidencia de pobreza severa en 22% y en 10% para la línea de pobreza total.
Reduce la brecha de pobreza severa en 35.2% y en 23.2% para la línea de pobreza total.
Reduce la severidad de la pobreza severa en 44.7% y en 33% para la línea de pobreza
total.
Utilizando el método híbrido entre ingreso y gasto:
Reduce la incidencia de pobreza severa en 23.9%.
Reduce la brecha de pobreza severa en 37.5% y en 24.7% para la línea de pobreza total.
Reduce la severidad de la pobreza severa en 47.5% y en 35% para la línea de pobreza
total.
Controlando por región, estado civil, género, educación, edad, estado de empleo del jefe
de hogar, número de personas empleadas en el hogar y número de niños y de adultos
mayores que habitan en el mismo hogar, se encontró que las subvenciones para niños
no tienen un impacto significativo al 5% en la probabilidad de ser pobre en cualquiera de
las dos líneas de pobreza; al 10% de significancia, sí tienen un efecto de reducir en
18.86% la probabilidad de ser pobre, considerando la línea de pobreza más alta.
Controlando por las mismas variables, en el caso de la brecha de pobreza, las
transferencias tienen un efecto de reducir la proporción en 0.0728 para la línea de
pobreza severa y 0.0368 para la línea de pobreza total, aunque a un nivel de significancia
del 10%. En el caso de la severidad de la pobreza, las transferencias reducen la
proporción al cuadrado en 0.0368 para la línea de pobreza severa y en 0.0350 para la
línea de pobreza total, con un nivel de significancia de 5%.
Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y
Recomendaciones
Fortalezas/Oportunidades: El programa efectivamente reduce la incidencia, brecha y
severidad de la pobreza en cualquier combinación de variables como gasto o como ingresogasto. Las transferencias tienen un efecto positivo en la reducción de la pobreza total o
pobreza severa.
Debilidades/Amenazas: De acuerdo a la encuesta utilizada, sólo 13.18% de los hogares
elegibles reciben la transferencia. La composición del hogar, por número de miembros, la
condición de empleo del jefe de familia y diversas variables socioeconómicas del hogar,
influye significativamente en el resultado del estado nutricio del menor.
Conclusiones y recomendaciones del evaluador
El programa de subvenciones a los niños ha tenido el efecto de reducir 10% el número de
individuos pobres, considerando la línea superior de pobreza y el impacto para los más
pobres (línea de pobreza extrema) ha sido superior, con una reducción de 22%. Asimismo,
utilizado las medidas del Índice Foster Greer Thorbecke, queda claro que el programa tiene
mayores impactos en los más pobres de los pobres, es decir, que hay una correlación
negativa entre la severidad de la pobreza y las transferencias de ingreso sociales, aun
29
después de controlar por varios factores, incluyendo la región, estructura de los hogares y
nivel educativo del jefe de hogar.
Sin embargo, a diferencia del impacto sobre la pobreza, el efecto sobre la desigualdad no es
muy grande debido al sesgo que tienen los hogares que tienen altos ingresos. Otro de los
principales hallazgos es que existen altos errores de inclusión y exclusión, por lo que los
autores recomiendan calibrar el mecanismo de focalización del programa.
Si bien el programa de subvenciones a los niños no es condicionado, el hecho de que
requiera un certificado para darlos de alta, puede tener el efecto de que los tutores
consideren que se trata de un requisito para recibir el apoyo. Asimismo, también puede
tener el efecto de que los tutores de aquellos niños que no asisten a la escuela no los
registren pensando que se trata de un requisito indispensable.
Observaciones generales y recomendaciones del metaevaluador
En general, los programas de transferencias de ingresos, ya sean condicionadas o no
condicionadas, tienen impactos en la reducción del número de hogares en pobreza (P0), la
brecha de pobreza (P1) y en el efecto que tiene la transferencia de ingreso dependiendo de
qué tan alejadas estén de la línea de pobreza (P2). Asimismo, estos programas tienen un
efecto sobre la desigualdad, el cual puede variar en su magnitud, dependiendo de la
desigualdad inicial que exista en el país, así como del monto de las transferencias a la
población con menores ingresos y de la cantidad de hogares que las reciben.
Asimismo, al analizar los escasos recursos que Namibia dedica para transferencias a
población infantil vulnerable, con base en la evaluación se remarca la importancia de
desarrollar una política integral para atender a los grupos vulnerables, que defina de manera
más clara los objetivos de las transferencias, establezca sus prioridades en la planeación del
desarrollo y fije metas consistentes, se determine el nivel apropiado para ajustar las
transferencias regularmente mediante un índice.
Si bien el programa no es estrictamente condicionado, pues sólo requiere el certificado de
inscripción a la escuela para el alta en el programa, pudiera tener efectos de
comportamiento similares a los de la condicionalidad.
La característica de no condicionalidad del apoyo para los beneficiarios del programa puede
tener un efecto inmediato en la disminución de la vulnerabilidad del menor, sin embargo, se
valora de forma positiva que el PAJA haga una combinación del apoyo con la asistencia
escolar junto con la transferencia económica al jefe de familia para evitar que los menores
integrantes de su hogar se dediquen a la actividad jornalera para contrarrestar una
proclividad a reproducir la actividad económica del jefe de familia en el momento actual y en
el futuro.
30
3.2.2. Experimento de desayunos escolares en zonas rurales, Jamaica
Nombre de la Evaluación: Nutrition and education: a randomized trial of the effects of
breakfast in rural primary school children. 1998
Objetivos de la Evaluación: Determinar el efecto de proveer un desayuno escolar sobre la
asistencia escolar, estado nutricional y logro educativo en aritmética, ortografía y lectura; si
el estado nutricional o la edad del niño modifican el efecto; y si el niño gastó menos dinero
en la escuela si se le daba el desayuno.
Cabe señalar que en este caso no se trata de la evaluación de un programa, sino de un
experimento desarrollado en escuelas rurales de Jamaica para valorar los posibles efectos de
los desayunos escolares en la nutrición y la educación.
Características similares o tipos de apoyo que entrega el programa
Se otorgó un desayuno a niños de entre segundo y quinto grado de primaria que incluye un
sándwich de queso o un pan y leche saborizada equivalentes a entre 576 y 703 kilocalorías y
27.1 gramos de proteína. Al grupo de control se le dio un cuarto de naranja que sirvió como
placebo ya que provee 18 kilocalorías y 0.4 gramos de proteína. Todas las comidas se
sirvieron antes de empezar clases en todos los días de escuela en cuartos o en momentos
distintos.
Metodología utilizada
El experimento se llevó acabo en una zona rural montañosa de Jamaica poblada con familias
pobres y cuyas escuelas estaban lejanas de sus hogares. Se escogieron 16 escuelas primarias
y se pesó y registró la edad de todos los niños de segundo a quinto de primaria. Se
seleccionaron 407 niños cuyo peso para la edad estaba igual o por debajo de una desviación
estándar de las Estadísticas del Centro Nacional de Salud. Se escogió un grupo de control
compuesto por 407 niños con un rango de edad de más-menos 3 meses, del mismo sexo,
escuela y clase, pero con pesos para la edad igual o mayor a una desviación estándar de la
misma referencia. Se excluyeron niños que estaban repitiendo el año escolar. Se utilizó la
Prueba de Amplio Rango de Logro Educativo que evalúa lectura, ortografía y aritmética. La
asistencia escolar se recopiló a partir de los registros escolares. Se les administró un
cuestionario para conocer su estatus socioeconómico (calidad de la vivienda y número de
posesiones), la cantidad de dinero que llevaban a la escuela y el tipo de desayuno que habían
comido en casa el día de la entrevista. Se les tomaron medidas de su peso y altura para la
edad tomando como referencia el puntaje Z de las Estadísticas del Centro Nacional de Salud,
así como el índice de masa corporal. Se les asignó de manera aleatoria a grupos con
desayuno y de control. Estas medidas se volvieron a tomar al final del año escolar. Se
utilizaron regresiones múltiples controlando por las mediciones iniciales de los niños, edad,
sexo y grupo nutricional. El puntaje obtenido en el hogar se introdujo paso a paso para
controlar por posibles efectos del estado socioeconómico, así como efectos de interacción
entre la edad, sexo, estado nutricional y estado socioeconómico y el grupo de tratamiento.
Se hicieron regresiones separadas para la estatura, peso e índice de masa corporal.
31
Valoración técnica
En general, el diseño metodológico de dobles diferencias es adecuado y consistente con el
tipo de evaluación realizada debido a que se contó con una línea base de las características
socioeconómicas de los hogares de los niños y de sus medidas antropométricas, así como con
un grupo de control. La validez interna del estudio es alta debido al diseño experimental
aleatorio y a que se minimizaron las diferencias entre el grupo de tratamiento y de control al
conseguir que los niños pertenecieran a la misma escuela y tuvieran medidas
antropométricas iniciales, edad, sexo, grupo nutricional y características socioeconómicas
similares. Si bien el cuarto de naranja que se le otorgó al grupo de control no es un placebo
verdadero, la diferencia en el aporte nutricional respecto al sándwich y al vaso de leche es lo
suficientemente amplia como para poder adjudicar los resultados al efecto del tratamiento.
Una ventaja adicional del estudio es que duró un año, por lo que, de acuerdo a sus propios
autores, se trató de la primera prueba aleatoria y controlada de largo plazo para medir el
efecto de los desayunos escolares.
Sin embargo, dado que no se utilizó un muestreo probabilístico, la validez externa del estudio
es baja, es decir, no es posible generalizar sus resultados a una población.
Resultados
El estado nutricio original del niño no estuvo relacionado al cambio en su logro académico.
Hubo un beneficio significativo del desayuno en el logro educativo en aritmética y la
interacción entre tratamiento y grado escolar señala que este beneficio se observó
principalmente en los niños más jóvenes (segundo y tercer año). No hubo resultados
significativos en lectura y ortografía. Los niños que recibieron el desayuno tuvieron más
asistencia a la escuela de manera significativa. Adicionalmente, también mejoraron de
manera significativa su peso, estatura e índice de masa corporal. Los niños en el grupo de
tratamiento incrementaron 0.25 centímetros en promedio su estatura en los ocho meses que
duró el periodo de intervención, equivalente a un mes de crecimiento para niños en este
rango de edad considerando la estadística de referencia. Puede afirmarse que de continuar el
tratamiento durante toda la primaria crecerían 2.4 centímetros adicionales, lo que equivale a
un tercio de la desviación estándar de la estatura para la edad de un niño de 11 años. El
incremento en peso fue equivalente a entre dos y tres meses en relación a la población de
referencia. No hubo efectos significativos del desayuno en la cantidad de dinero que el niño
lleva a la escuela (transferencia de ingreso de la familia).
Resumen de Análisis de
Recomendaciones
Fortalezas,
Oportunidades,
Debilidades,
Amenazas
y
Fortalezas/Oportunidades: El incremento en aritmética puede deberse al alivio de del
hambre de corto plazo que proporciona el desayuno o a la mejora en el estado nutricio de los
niños. El ascenso en la asistencia escolar también puede tener un efecto en el largo plazo en
32
el progreso del logro educativo. Se registró un incremento promedio en la estatura y el peso
corporal del grupo en tratamiento.
Debilidades/Amenazas: El grupo de niños desnutridos no se benefició más del desayuno que
el grupo de niños adecuadamente nutridos. Esta anomalía puede deberse a que el grado de
desnutrición de los niños en esta condición no era muy alto. No se observó una modificación
de las transferencias familiares. No se presentaron resultados significativos en el
aprovechamiento de lectura y ortografía.
Conclusiones y recomendaciones del evaluador
Los niños que recibieron los desayunos mostraron mejoras pequeñas, pero estadísticamente
significativas en la asistencia escolar, así como en su estado nutricional, en comparación a los
del grupo de control. Los niños más pequeños (de segundo y tercer grados de primaria)
mejoraron sus resultados en aritmética, equivalentes a un 30% del progreso anual promedio.
Dado que los niños que asisten a escuelas en mejores condiciones, tienen resultados
superiores, es de esperar que este resultado, en conjunción con una mejora en las
condiciones de las escuelas, pudiera ser mayor. Adicionalmente, el efecto positivo en los
resultados en aritmética pudiera también incrementarse como resultado del incremento en
la asistencia escolar.
Por otra parte, los niños reportaron que continuaron tomando sus desayunos habituales en
casa y trayendo la misma cantidad de dinero, por lo que el desayuno no constituye una
transferencia de ingreso.
Los autores recomendaron focalizar los apoyos en los niños desnutridos con comidas
escolares donde los recursos son tan limitados que no sean suficientes para alimentar a
todos los niños. Los niños más jóvenes son los que se benefician más de las comidas
escolares y también pueden ser considerados como población objetivo. Asimismo,
recomiendan la adopción de intervenciones integrales que incluyan componentes en salud,
nutrición y educación para que se maximicen los retornos a la inversión.
Observaciones generales y recomendaciones del metaevaluador
La evaluación destaca el papel muy positivo que pueden jugar los desayunos institucionales
en la nutrición de los niños rurales en edad escolar, lo cual se ha confirmado en una amplia
serie de estudios internacionales. Lo anterior, a pesar de que los desayunos no estén
fortificados con micronutrientes, además, se esperaría que el efecto fuera mayor si éstos se
fortificaran. En este sentido, los resultados de esta evaluación muestran que los Apoyos
Alimenticios a los niños y niñas que otorga el PAJA podrían estar dando resultados similares a
esta evaluación. Se recomienda a la Sedesol que explore las posibles sinergias,
complementariedades y ventajas de especialización entre el PAJA, el conjunto de programas
alimentarios federales y los programas de desayunos escolares a cargo de los gobiernos
estatales, particularmente en las localidades rurales con alta concentración de desnutrición y
pobreza.
33
Por otro lado, con base en la evaluación, se destaca la importancia de intervenciones
integrales que incluyen salud, componentes nutricionales y educativos, para mayor beneficio
de los niños.
3.3. Agenda de evaluación para el período 2013-2018
A continuación, se propone una agenda de evaluación para el período 2013-2018, que
pretende ser una guía para orientar los ejercicios que deberán hacerse al programa conforme
a la normatividad en la materia. La agenda propuesta plantea los objetivos para cada
evaluación y el período de duración, señala los componentes específicos para analizar, hace
una justificación de cada ejercicio con base en necesidades o recomendaciones identificadas
en esta metaevaluación, y propone un conjunto de insumos necesarios para llevar a cabo las
evaluaciones durante todo el período. La esquematización de la propuesta puede observarse
en el Anexo 3.
La agenda sugerida empieza con un Diagnóstico y propuestas de atención, a implementarse
en el año 2013. Tiene como propósito identificar, definir y especificar de forma clara y
rigurosa la problemática focal que se pretende resolver a través del programa, así como
analizar, valorar y seleccionar las estrategias y mecanismos de atención que resulten más
adecuados. Este estudio deberá cumplir cabalmente con los criterios y requisitos mínimos
establecidos en los Lineamientos generales para la elaboración de diagnósticos de cuyos
resultados se obtienen propuestas de atención de Programas de Desarrollo Social, publicados
el 7 de mayo de 2009, e incorporar asimismo las metodologías y mejores prácticas en la
materia. Los resultados de este ejercicio pretenden brindar una base sólida de datos, análisis
y estrategia para anclar sólidamente el diseño, la operación y los resultados del programa
durante la siguiente administración federal, y de manera inmediata informar los cambios que
se pretendan hacer durante el primer año de la misma.
Para el año 2014 se propone una Evaluación de diseño. El ejercicio deberá analizar la
justificación de la creación y diseño del programa, especificar su vinculación con la
planeación sectorial y nacional, valorar la consistencia entre su diseño y la normatividad
aplicable, así como identificar posibles complementariedades y/o coincidencias con otros
programas federales. Esta evaluación deberá proveer información y análisis que
retroalimente el diseño conceptual y operativo del programa, así como los resultados que se
deben esperar del mismo. De forma inmediata, se pretende que sirva para valorar los
cambios que se hayan hecho al programa del primer al segundo año de la gestión, y generar
recomendaciones para refinarlos hacia el tercer año.
Posteriormente, para 2015 y 2016 se recomienda una Evaluación de impacto, para identificar
los cambios en la situación de la población objetivo del programa que se reflejan a través de
los indicadores de resultados, y que son propiamente atribuibles a su intervención. Conforme
a los estándares en la materia, se deberán utilizar metodologías rigurosas y fuentes de
información confiables con representatividad nacional; para ello, se propone la combinación
34
de enfoques cuantitativos y cualitativos así como el levamiento de información en campo a
través de diversos instrumentos, los cuales se describen a mayor detalle en la sección
subsecuente. La evaluación de impacto propuesta busca estimar en qué medida el programa
está alcanzando sus objetivos y qué condiciones y factores pueden afectar sus logros, de
forma tal que el programa pueda consolidar elementos clave de diseño y operación, o en su
caso, cambiarlos para mejorar su efectividad. Por sus características y complejidad se
recomienda que la evaluación comprenda dos años —entre 18 y 24 meses, para ser más
precisos— a efecto de poder realizar mediciones basales y de seguimiento.
En el año 2017 se plantea hacer una Evaluación de procesos. Se pretende realizar un análisis
sistemático de la operación del programa mediante trabajo de campo y de gabinete, con la
finalidad de conocer cómo sus procesos —traducidos en sus Componentes, productos o
entregables— conducen al logro de los objetivos y metas a nivel de Propósito. Asimismo, se
busca detectar los problemas operativos que enfrenta el programa y las buenas prácticas que
realiza, de manera que se puedan detectar áreas de oportunidad y emitir las
recomendaciones correspondientes. A través de una serie de preguntas específicas que
descomponen la operación y la aplicación de técnicas especializadas para el mapeo y análisis
de procesos, se pretende valorar el funcionamiento y la organización del programa,
permitiendo así conocer los factores que sustentan la implementación y hacer ejercicios
comparativos para la medición y la mejora de su gestión en el tiempo.
Finalmente, para el año 2018 se propone una Evaluación de consistencia y resultados. Este
ejercicio plantea una concatenación lógica de objetivos para analizar los aspectos más
importantes del programa, incluyendo la lógica y congruencia de su diseño, los instrumentos
de planeación y de orientación hacia resultados, la estrategia de cobertura y los avances
presentados, los principales procesos establecidos en las ROP y en la normatividad aplicable,
los sistemas de información y sus mecanismos de rendición de cuentas, los instrumentos
para medir el grado de satisfacción de los beneficiarios y sus resultados, así como los logros
respecto a la atención del problema para el que fue creado. El propósito de esta evaluación
sería contar con una visión integral y comprensiva de cómo ha sido, qué tan bien ha
funcionado y cuáles han sido los logros del programa al cierre de la administración federal, a
manera que la siguiente pueda tener una sólida base para tomar decisiones informadas.
A continuación se presentan los detalles básicos de cada una de las evaluaciones propuestas,
en el año y secuencia en que corresponden.
3.3.1 2013: Diagnóstico y propuestas de atención
Objetivos
Fundamentar la permanencia y justificar las eventuales modificaciones sustantivas al
programa, a partir de la identificación del problema que se busca resolver así como la
caracterización y análisis detallado de los aspectos principales del mismo. Esto en
congruencia con los Lineamientos generales para la elaboración de diagnósticos de cuyos
35
resultados se obtienen propuestas de atención de programas de desarrollo social
publicado en el Diario Oficial de la Federación (DOF) el 7 de mayo de 2009.
Plantear posibles alternativas de solución y seleccionar la más apropiada, a efecto de
mejorar el diseño, la operación y los resultados del programa.
Periodo de ejecución
3 a 4 meses.
Componentes a evaluar
Identificación del problema
Caracterización del problema
Experiencias de atención a la problemática
Propuesta de diseño
Marco de actuación de la propuesta
Proyecciones financieras y metas para la solución propuesta
Previsiones para la integración y operación de padrones
Cuantificación de las poblaciones potencial y objetivo
Justificación e importancia
Inconsistencias importantes en el Diagnóstico 2010, particularmente en torno de:
La identificación, caracterización y magnitud del problema focal.
La cuantificación de la población potencial y objetivo.
El problema definido y su traducción en el objetivo general del Programa.
Adicionalmente, el diagnóstico no incluye una propuesta de atención que:
Revise otras experiencias nacionales e internacionales para atender el problema;
Especifique, valore y seleccione las alternativas de atención, y
Proponga elementos de rediseño así como proyecciones y previsiones para mejorar
sustancialmente el desempeño del programa.
Insumos necesarios
Metodologías robustas de planeación estratégica y marco lógico.
Información de censos, conteos y encuestas nacionales.
Información estadística interna de carácter operativo y financiero, actualizada y
confiable.
Estudios y evaluaciones nacionales e internacionales sobre programas similares.
3.3.2. 2014: Evaluación de Diseño
Objetivo general:
36
El objetivo general es evaluar mediante trabajo de gabinete y apoyado en información
proporcionada por el programa, el diseño del programa. Lo anterior con el fin de que las
recomendaciones puedan retroalimentar el diseño y mejorar la gestión del programa.
Objetivos Específicos
Analizar el diseño del programa.
Identificar y analizar su vinculación con la planeación sectorial y nacional.
Analizar la consistencia entre su diseño y la normatividad aplicable.
Identificar posibles complementariedades y/o coincidencias con otros programas.
Periodo de ejecución
3 a 4 meses.
Componentes a evaluar
Características del programa
Contribución a los objetivos estratégicos
Matriz de indicadores,
Población potencial y objetivo
Vinculación con las ROP, y
Coincidencias, complementariedades y duplicidades con otros programas.
Justificación e importancia
Valorar la integración del marco conceptual y normativo construido con el Diagnóstico;
Valorar el análisis para la selección de la alternativa de intervención, basado en la revisión
de experiencias internacionales y nacionales;
Constatar la correspondencia entre las ROP y la MIR.
Insumos necesarios
Diagnóstico del programa.
Estudios y evaluaciones nacionales e internacionales sobre programas similares.
Información estadística interna actualizada y confiable.
3.3.3. 2015 – 2016: Evaluación de Impacto
Objetivo
Identificar con metodologías rigurosas la contribución, atribuible a la ejecución del
programa, en la reducción de la vulnerabilidad y exclusión social de los jornaleros
agrícolas, así como otras variables asociadas (educación, salud, nutrición e ingreso).
Periodo de ejecución
18 a 24 meses.
37
Componentes a evaluar
Valoración sobre los efectos e impactos esperados, incluyendo los indicadores de Fin y
Propósito de la MIR, así como otras mediciones complementarias:
Efectos sobre el ingreso, consumo y ahorro de los hogares.
Impactos en la alimentación de las familias.
Impactos en la nutrición, salud y educación de poblaciones por grupos etarios.
Justificación e importancia
El Programa no se ha sometido a una evaluación rigurosa de impacto, por lo que se
desconoce en qué medida cumple con los objetivos establecidos.
Insumos necesarios
Metodologías robustas y de probada eficacia para medir las variables de interés.
Levantamiento de información nacional representativo, con líneas basales y de
seguimiento.
Análisis cualitativo para entender mejor los procesos mediante los cuales los productos se
convierten a resultados
Información estadística interna actualizada y confiable.
Padrones de localidades beneficiarias.
3.3.4. 2017: Evaluación de Procesos
Objetivo
El objetivo de esta evaluación consiste en realizar un análisis sistemático, mediante trabajo
de campo y de gabinete, sobre la operación del programa con la finalidad de conocer cómo
se conducen al logro de la meta a nivel propósito, así como detectar los problemas
operativos a los que se enfrenta y las buenas prácticas que se realizan, de manera que se
puedan emitir recomendaciones que permitan mejorar su gestión.
Periodo de ejecución
6 a 9 meses.
Componentes a evaluar
Operación del programa.
Identificación y clasificación de los procesos.
Análisis y medición de atributos de los procesos.
Análisis global de la operación del programa.
Justificación e importancia
Evaluar si la operación del programa favorece el logro de la metas a nivel de Propósito, ya
que, de existir un diseño adecuado, la correcta operación del programa permitiría el logro de
38
las metas de cada Componente establecido en la matriz de indicadores del programa y, por
lo tanto, el logro del Propósito.
Insumos necesarios
Metodologías adecuadas para análisis y reingeniería de procesos.
Información estadística interna de carácter operativo y financiero, actualizada y confiable.
3.3.5. 2018: Evaluación de Consistencia y Resultados
Objetivo
Su objetivo consiste en evaluar mediante trabajo de gabinete y apoyado en información
proporcionada por el programa, la fortaleza del programa en cuanto a su diseño, planeación
estratégica, cobertura y focalización, operación, percepción de la población objetivo y
resultados. Lo anterior, con el fin de que las recomendaciones de este análisis puedan
retroalimentar el diseño y la gestión del programa, para incidir positivamente en su
desempeño.
Periodo de ejecución
6 meses
Componentes a evaluar
Diseño
Planeación Estratégica
Cobertura y Focalización
Operación
Percepción de la Población Objetivo
Resultados.
Justificación e importancia
Se considera pertinente analizar el programa de forma global y sistemática, al menos una
vez durante cada administración, a efecto de valorar la consistencia y los resultados del
mismo.
Insumos necesarios
Diagnóstico del programa.
Estudios y evaluaciones nacionales e internacionales sobre programas similares.
Información interna estadística, operativa y financiera actualizada y confiable.
Matrices de indicadores de resultados.
Informes de evaluaciones anteriores.
Conocimiento y experiencia en planeación estratégica, metodología de marco lógico,
indicadores de desempeño, y diseño de programas y proyectos de desarrollo.
Conocimiento y experiencia en intervenciones de desarrollo rural.
39
3.4. Análisis de viabilidad y pertinencia para aplicar una evaluación de impacto al programa
Dada la importancia de corroborar en los hechos los cambios que las intervenciones públicas
son capaces de imprimir en la realidad que buscan revertir, este apartado incorpora una
propuesta más detallada para someter al programa a una evaluación de impacto. Se
describen la metodología y las fuentes de información necesarias para llevar a cabo este tipo
de evaluación, de acuerdo con la naturaleza de las variables específicas a medir así como de
las características específicas del programa. La propuesta se acompaña de un análisis de
pertinencia y de viabilidad técnica y financiera.
3.4.1. Pertinencia de la evaluación
Desde su creación en 1990, el PAJA no ha sido sometido, mediante un ejercicio de evaluación
robusto y riguroso, a la comprobación de los efectos e impactos que sus diversos apoyos
pueden ejercer en los jornaleros agrícolas y sus familias. La modificación de las condiciones
de vulnerabilidad de este grupo social requiere de ser observada para fortalecer y consolidar
la alternativa de intervención que el PAJA representa en sí mismo. De entrada, por ejemplo,
debe considerarse que, si de acuerdo con el diseño actual, el programa busca contribuir a la
protección social de los jornaleros agrícolas y los integrantes de su hogar mediante la entrega
de apoyos para la salud, alimentación y becas escolares destinados a los jornaleros agrícolas
y sus familiares, debería considerarse una medición de los efectos de tales apoyos en los
integrantes del hogar jornalero.
Si bien el argumento anterior por sí mismo podría justificar la realización de una evaluación
de resultados o impacto, existen otras razones que también apuntan en esa dirección.
Primero, algunos de los efectos e impactos deseados del programa son observables sólo en el
largo plazo. Las condiciones propias y de contexto de los hogares beneficiarios y sus
miembros pueden cambiar a lo largo del tiempo; de hecho, se espera que pase por el
progreso secular del país, sus regiones y las localidades, al margen del programa. Ello implica
que algunos de los cambios puedan incidir sobre la significancia y magnitud de los efectos del
programa sobre diversas variables de interés. Por otro lado, los cambios en el resumen
narrativo y los indicadores de la matriz de indicadores para resultados de 2007 a la fecha,
pueden requerir estimaciones que no se hayan realizado anteriormente. Es decir, es posible
que ante cambios en los niveles de Fin y Propósito, se sustente con más fuerza la necesidad
de hacer evaluaciones de impacto.
Cabe mencionar que el comportamiento en la cobertura del programa y la variación de su
población potencial, así como la característica de los jornaleros agrícolas en tanto población
emigrante que se emplea en una actividad estacional, puede generar una serie de
complicaciones metodológicas para realizar las evaluaciones, sin embargo, eso no obsta para
40
que se busque medir el efecto real del programa en los beneficiarios mediante la utilización
de un modelo ad hoc como el de diferencia simple con un solo levantamiento.
Finalmente, a lo largo de los años se ha dejado de lado la estimación de los efectos e
impactos del programa en relación con otras iniciativas federales y estatales destinadas a
abatir la vulnerabilidad en ciertos sectores sociales. Esto representa un área de oportunidad
muy relevante, tanto en el sentido de poder estimar los resultados de la actuación conjunta
de los programas, como de comparar el costo-efectividad y las ventajas y desventajas de
cada uno de ellos —o al menos de los principales— en ciertos nichos de población y variables
de interés.
Por lo anterior, y en virtud de la importancia de conocer en qué medida el PAJA está
logrando sus objetivos, así como las condiciones internas y externas que pueden influir en
ello, el equipo metaevaluador recomienda que se realice una evaluación de impacto rigurosa,
que permita identificar y medir los resultados del programa en los niveles de Fin y Propósito.
3.4.2. Aspectos a evaluar
En principio, se recomienda que los aspectos a evaluar de forma prioritaria sean aquellos que
correspondan con los indicadores a nivel de Fin y Propósito de la MIR. De este modo, se
alinea de manera más adecuada el sistema de monitoreo con el sistema de evaluación,
dando consistencia y estabilidad a las mediciones de desempeño. Por otro lado, se puede
tener información sobre el impacto diferenciado que cada componente aporta al Fin del
programa y con ello tomar decisiones de política pública adecuadas o dirigidas a mejorar los
resultados deseados.
En el caso del PAJA, se recomienda que las evaluaciones de efectos e impactos en los
principales tipos de beneficiarios (grupos etarios e indígenas), con una combinación
adecuada de métodos y fuentes de información, consideren algunos de los siguientes
aspectos, que no pretenden ser exhaustivos sino inicialmente sólo indicativos:
Educación:
o Logro escolar (general):
 Escolaridad promedio
 Permanencia
 Aprendizaje (pruebas estandarizadas)
 Continuidad y completitud de trayectorias educativas
Salud:
o Uso y efecto de servicios:
 Servicios preventivos y de control (visitas)
 Índice de fecundidad (control natal)
o Enfermedades:
 Morbilidad (incidencia)
41
 Convalecencia (duración)
Alimentación y nutrición:
o Puntaje Z (medidas antropométricas)3
o Prevalencia de anemia
Condiciones de vida y oportunidades:
o Vivienda (condiciones y servicios básicos de la misma)
o Pobreza multidimensional extrema (bienestar y carencias sociales)
o Escolaridad intergeneracional
o Movilidad laboral intergeneracional
o Salarios
o Migración
o Empoderamiento (individual, comunitario, género)
La vulnerabilidad, se integra con indicadores que forman parte del umbral del índice de
privación social definido por el Coneval, podría medirse a partir de un levantamiento de
información específica, acorde con el marco conceptual establecido por dicho Consejo cuyos
contenidos esenciales se orientan a la medición de las carencias sociales, a saber:
Rezago educativo
Acceso a servicios de salud
Acceso a seguridad social
Calidad y espacios de la vivienda
Seguridad
Servicios básicos de la vivienda
Acceso a la alimentación
Al centrarse en estas dimensiones e indicadores se busca asimismo alinear mejor las
evaluaciones de impacto del programa con el sistema de monitoreo, particularmente en los
niveles de fin y propósito.
3
Las mediciones antropométricas se usan para evaluar el estado nutricional de individuos y grupos de
población, y sirven como referencia evaluar el impacto de programas de nutrición y ayuda alimentaria. Las
mediciones antropométricas que comúnmente se utilizan en este tipo de programas son índices referidas a la
talla, el peso y la edad, particularmente la talla para la edad (T/E), peso para la edad (P/E), peso para la talla
(P/T) y el índice de masa corporal para la edad (IMC/E). Cada índice se registra como un puntaje Z—referido en
desviaciones estándar—que describe en qué medida y en qué dirección se desvía la medición antropométrica
de un individuo del promedio de su sexo establecido por la OMS en los Patrones de Crecimiento Infantil de
2006. El puntaje Z de un individuo se pueden utilizar para clasificar su grado de desnutrición y también se puede
calcular una media de puntaje Z para determinar el estado nutricional de un grupo de población. Con base en lo
anterior, se recomienda que durante la etapa de diseño de la evaluación del programa se decida cuáles de la
cuatro índice se utilizarán, o si aplicará el conjunto completo. Como mínimo, recomienda usar el índice de talla
para la edad, que es una referencia muy común de desnutrición y resulta muy fácil de medir en campo.
42
3.4.3 Metodologías y fuentes de información
Para evaluar el impacto de un programa con el alcance de PAJA, es necesario combinar
métodos, técnicas y fuentes de información diversas. Independientemente de las
aproximaciones particulares que se tomen —esto es, cuantitativas y cualitativas, encuestas y
entrevistas, levantamientos propios y registros oficiales, etc.— la evaluación deberá partir de
un diseño de investigación robusto y adecuado para las variables de interés y los grupos de
aplicación, que preferentemente hayan sido probadas en estudios similares.
La estrategia metodológica propuesta para la evaluación de impacto considera tres
elementos clave: la mezcla de métodos cualitativos y cuantitativos, un enfoque cuasiexperimental a lo largo del estudio, y la utilización de estudios de caso. Las características y
relevancia de estos elementos de diseño se desarrollan a continuación.
Cuantitativo y cualitativo
Debido a la cantidad, diversidad y complejidad de los aspectos a estudiar del programa, es
necesario establecer una estrategia metodológica compuesta, con procedimientos de acopio
de información y técnicas analíticas tanto cuantitativas como cualitativas adecuadas para
cada uno de estos aspectos. El propósito es asegurar que se obtengan y examinen
apropiadamente todos los datos requeridos, para lograr resultados válidos, generar
conclusiones sólidas y proponer recomendaciones útiles. Así, el diseño se debe ubicar dentro
de las evaluaciones de métodos mixtos (mixed-methods evaluation), vertiente que
consideramos la más rica y adecuada para evaluar al PAJA.4 Este tipo de investigación
evaluativa permite integrar no sólo aquellos datos y observaciones cuantitativas
comúnmente utilizadas en la evaluación de programas y proyectos sociales para medir
fenómenos relevantes “objetivos” y “regulares”, estimando asimismo su variabilidad y grado
de generalización, sino también para otros datos y observaciones cualitativas que reflejan
percepciones subjetivas y formas de interacción de los actores, que permiten entender mejor
y describir en profundidad dichos fenómenos.5
En la evaluación del PAJA, los análisis a partir de datos y técnicas tanto cualitativas como
cuantitativas se deben diseñar con rigor lógico y metodológico buscando maximizar su
validez para hacer inferencias descriptivas y causales en torno de los fenómenos, variables y
condiciones que se busca apreciar y entender. La vertiente cuantitativa resulta más adecuada
para observaciones relativamente abundantes o con “números grandes”, que normalmente
se derivan de censos o encuestas. Por otro lado, la vertiente cualitativa se utiliza para
observaciones relativamente escasas o con “números pequeños”, con datos obtenidos a
4
Para un mayor desarrollo sobre las características de las evaluaciones de métodos mixtos, véase: Frechtling
and Sharp (1997). En el caso mexicano, entre los ejemplos más relevantes de este acercamiento metodológico
son las evaluaciones recientes del Programa de Desarrollo Humano Oportunidades, que combinan diversas
metodologías y técnicas tanto cuantitativas como cualitativas.
5
Para un mayor desarrollo sobre las características básicas, utilización y complementación de las metodologías
cuantitativas y cualitativas, véase: Cortés (2002); y King, Keohane & Verba (1994, pp. 3-7).
43
partir de grupos de enfoque, entrevistas y observación en sitio, entre otras técnicas. Estas
vertientes se encuentran en los extremos opuestos del compromiso —en el sentido de tradeoff— que cualquier investigación con tiempo y recursos limitados se ve obligada a hacer en
cuanto a amplitud y profundidad de las observaciones.
Se recomienda que la vertiente cuantitativa se oriente principalmente hacia la medición y
valoración de las intervenciones y sus efectos, mientras que la cualitativa se utilice para
describir los contextos en que dichas intervenciones y efectos ocurren, así como para
entender los significados que los diversos actores involucrados les otorgan. Sin pretender
simplificar excesivamente sus diferencias, es evidente que la evaluación necesita contar con
ambas perspectivas para cumplir con su fin de ser útil para la toma de decisiones y la mejora
del programa.
Se pretende que las metodologías cuantitativas y cualitativas no sólo se complementen
funcionalmente hablando —en el sentido de que lo que no se hiciera o lograra con unas se
consiguiera con las otras— sino que además se integraran —en el sentido de que lo que se
logre o consiga con unas sirva para informar, extender y refinar lo obtenido a través de las
otras. Dicha complementación e integración se debe hacer de manera formal y explícita
tanto en los estudios de caso como en los modelos estadísticos.
Enfoque cuasi-experimental
Con el enfoque cuasi-experimental no sólo se estiman y aprecian los valores de las variables
de interés asociados a la intervención del programa, sino también de la comparación con los
valores que se hubieran dado en ausencia de la misma —esto es, el escenario contrafactual.
La intención es identificar y estimar mejor los cambios y las diferencias que se pueden
atribuir propiamente a la intervención del programa, y no confundirlos con aquellos que se
pueden derivar de otros factores internos o externos a la problemática social, y que son
ajenos al programa.
Si bien los enfoques cuasi-experimentales y los contrafactuales más en general son
comúnmente utilizados para estimaciones de impacto con base en técnicas cuantitativas y
bases de datos grandes, en términos metodológicos son igualmente aplicables a los análisis
con base en técnicas cualitativas, que normalmente emplean datos obtenidos a partir de
grupos de enfoque, entrevistas y observación en sitio. Esto es porque la lógica inferencial del
diseño es la que proporciona su validez interna, y no el uso de una técnica de recolección y
tratamiento de datos en particular; así, dicha lógica simplemente debe ser explicada y
formalizada de manera clara y precisa.
En cuanto al detalle de la vertiente cuantitativa, para la evaluación de impacto del PAJA se
sugiere el uso de modelos de estimación por diferencia simple o diferencia de promedios,
con grupo de tratamiento y de comparación —esto es, un modelo “solo después” con grupo
de comparación. Ésta es una aproximación que suele arrojar resultados robustos para
programas que ya se encuentran en operación y con coberturas con poco crecimiento —
44
como es el caso del PAJA— en los cuales resulta difícil o muy complejo utilizar
aproximaciones de dobles diferencias o promedio de diferencias.6
En el caso del PAJA, el grupo de tratamiento consistiría de hogares en campos agrícolas
atendidos por el programa, y el de comparación se haría con hogares en campos no
atendidos. La información que se requiere para realizar las estimaciones se puede obtener de
encuestas propias con representatividad nacional para la población objetivo, tanto atendida
como no atendida. En consideración de las características de los hogares beneficiarios y los
distintos apoyos que entrega el PAJA, se recomienda valorar la pertinencia de que la
encuesta a levantar considere estratos distintos para jornaleros residentes y para migrantes,
así como para jornaleros con contrato fijo, semifijo o eventual.
En lo que toca a los estudios de caso, que implican sustancial trabajo cualitativo, estos
pueden diseñarse con un enfoque comparativo —incluyendo casos de tratamiento y casos de
comparación— procurando que la lógica y procedimientos de selección de los casos replicase
en lo posible lo que se haría en la vertiente cuantitativa de la evaluación. Por otro lado,
también se alienta a seguir utilizando métodos cualitativos en la evaluación, especialmente
para identificar los mecanismos de las relaciones causales así como los factores ambientales
relevantes que no pueden ser identificados o especificados a través de los modelos
estadísticos. Entre otros aspectos a examinar, se pueden considerar la influencia de las
motivaciones y expectativas, aspectos culturales y la inclusión social, entre otros, que pueden
incidir sobre los resultados del programa, así como servir para identificar otros no esperados.
Estudios de caso
La evaluación propuesta para el PAJA se caracteriza también por un uso amplio de estudios
de caso a profundidad en campos agrícolas atendidos y no atendidos, a efecto de obtener
una visión más comprensiva y detallada del impacto del programa, así como de las
condiciones que afectan su desempeño. Dentro de los campos, se propone enfocar el análisis
primordialmente a captar el impacto en las comunidades y hogares. La selección de los
campos específicos de tratamiento y comparación se plantea hacer considerando una
variabilidad en las condiciones relevantes, tales como regiones geográficas, tipos de cultivo y
tamaño.
6
Luego de un par de reuniones de trabajo con el personal de la DGEMPS y de la DGAGP, en las cuales se revisó
la información disponible, los comportamientos típicos de los hogares y la estrategia de cobertura del
programa, el equipo metaevaluador exploró diversas alternativas para modelo de dobles diferencias, con
unidades de análisis a nivel de campo agrícola y de hogar. Sin embargo, se consideró que no era factible
implementar este tipo de aproximaciones, en virtud de que a nivel de campo no se prevé que hay suficientes
casos de campo que hoy estuvieran sin tratamiento pero se fueran a atender en el corto plazo —para generar el
“antes”— y a nivel de hogar porque podría haber complicaciones serias para las observaciones de
seguimiento— lo necesario para el “después”. Para mayores detalles sobre los modelos antes citados, véase:
Baker, Judy (2000) Evaluación del impacto de los proyectos de desarrollo en la pobreza. Manual para
profesionales. Banco Mundial; Ravallion, Martin (2001) The Mystery of the Vanishing Benefits: An Introduction
to Impact Evaluation; The World Bank Economic Review, Vol. 15, No. 1, 115-140 y ,Cohen Ernesto y Franco
Rolando (2006) Evaluación de proyectos sociales, México ,Siglo XXI
45
En la evaluación propuesta, los estudios de caso podrán buscar la combinación e integración
de diversos métodos y técnicas tanto cualitativas como cuantitativas, a efecto de lograr una
apreciación más informada y sólida de los actores, procesos y condiciones a analizar. Entre
las herramientas empleadas se puede incluir, por la parte cuantitativa, el análisis de datos de
dependencias federales y estatales del sector agropecuario, de programas de la propia
Sedesol, así como registros administrativos de los propios campos. Por la parte cualitativa, se
pueden utilizar grupos de enfoque, entrevistas semi-estructuradas con actores clave, así
como la observación en sitio. En todos los estudios se deberán utilizar las mismas
herramientas para recolección y análisis de datos, a efecto de asegurar la mayor
comparabilidad y aprovechamiento de la información posible, esto con algunas variaciones
según lo ameriten las condiciones particulares y de acuerdo a la metodología sugerida.7
El enfoque de los estudios será etnográfico, explicativo, comparativo y contrafactual, para
poder hacer inferencias descriptivas y causales relacionadas con el impacto del PAJA, tanto
entre campos de tratamiento como de comparación.8
Etapas de una evaluación de impacto
Las mejores prácticas en materia de evaluaciones de impacto (véase Baker 2000) indican que
los pasos para realizar este tipo de proyectos se pueden agrupar en dos rubros: la
preparación de la evaluación y su implementación. A continuación se presentan los aspectos
de cada rubro:
Preparación de la evaluación
1.
Tomar la decisión sobre la realización del evaluación
2.
Definir los objetivos de la evaluación
3.
Examinar la disponibilidad de datos
4.
Diseñar la evaluación
5.
Formar el equipo de evaluación
6.
Levantar información de campo (en caso de ser necesario)
a.
Diseñar y seleccionar la muestra
b.
Elaborar instrumentos para recopilar datos
c.
Capacitar al personal de trabajo en campo
d.
Elaborar pruebas piloto
e.
Recopilar la información
f.
Administrar datos
Implementación de la evaluación
7
Para una elaboración sobre el uso de estudios de caso en la investigación evaluativa, véase: Morra y
Friedlander, 2001.
8
Para mayores detalles sobre este tipo de aproximaciones metodológicas, véase: Sherman y Strang, 2004.
46
7.
8.
9.
10.
Recopilar datos (ex-post) a la implementación con una periodicidad alineada a las
variables de análisis
Analizar los datos
Redactar el reporte de resultados y analizarlos con las autoridades y otros
interesados
Incorporar los resultados en el diseño del evaluación
3.4.4. Viabilidad técnica y financiera
La viabilidad técnica radica en la capacidad de la institución para generar información y
procesarla adecuadamente con propósitos evaluativos. En este sentido, la discusión anterior
así como la experiencia en evaluación social en México, hacen patente que se puede alcanzar
este objetivo, desde el punto de vista estrictamente técnico. Es importante insistir que
cualquier evaluación de impacto requiere que con anterioridad (de 1 a 2 años), se revisen las
bases de datos disponibles, generar aquellas que se requieran, y/o en su caso realizar los
levantamientos nacionales y/o específicos. La información generada deberá cumplir los
requerimientos de veracidad, estructura y suficiencia que requiere la evaluación de impacto.
Es importante insistir que cualquier evaluación de impacto se beneficia si con anterioridad se
verifican, actualizan, complementan y sistematizan las bases de datos disponibles. En el caso
del PAJA, se sugiere revisar y mejorar la información disponible sobre los jornaleros agrícolas,
la ENJO, los padrones, a efecto de contar los insumos necesarios para conformar los grupos
de tratamiento y comparación.
Sobre la viabilidad financiera de la evaluación de impacto propuesta, cabe mencionar que el
monto de recursos públicos que se destina anualmente al programa y lo que se ha gastado
en los últimos años, justifica la realización de evaluaciones rigurosas para medir sus
resultados. Este tipo de evaluaciones son especialmente valiosas en la medida que permiten
saber si el programa está efectivamente cumpliendo con sus objetivos y contribuyendo a
resolver el problema focal que justifica su propia existencia. Además, permiten identificar
fortalezas y debilidades que brindan información útil para modificar el diseño, la cobertura y
la operación del programa, a manera de incrementar sus logros.
Para el programa, el costo de una evaluación como la que se propone podría ser bajo en
comparación con el costo derivado de las deficiencias de diseño, cobertura, focalización y
operación que suelen tener las iniciativas sociales en México y en otros países, respecto de
las cuales no hay razón lógica para que el PAJA esté exento. Finalmente, también existe un
costo intrínseco en no conocer los resultados del PAJA, pues los tomadores de decisiones no
tienen una forma verificable, objetiva y transparente de saber si es conveniente ampliar la
cobertura, incrementar el monto de los apoyos, o invertir más en alguna vertiente y recortar
otra, entre otras decisiones con implicaciones financieras importantes, cuyos eventuales
costos directos y de oportunidad seguramente exceden por mucho los de realizar una
evaluación de impacto rigurosa. De tal forma, las evaluaciones de impacto de un programa
47
de alcance nacional y con una duración como la del PAJA, prácticamente se deben considerar
ex ante como financiera viables y por demás convenientes; en todo caso, lo correcto es
buscar diseños apropiados y asegurar los recursos suficientes para que cumplan cabalmente
su propósito.
En complemento a lo anterior, cabe mencionar que el PAJA tuvo un presupuesto en 2012 de
290.7 millones de pesos. La provisión presupuestal así como la importancia del objetivo
general del programa, crean la necesidad y justifican la conveniencia de conocer en que
medida estos recursos públicos tienen efectos en las condiciones que dieron origen al
programa.
Como ya fue mencionado, aunque las evaluaciones de impacto pueden demandar recursos
importantes, en ningún caso son comparables con los recursos que se podrían consumir por
operar un programa que no presenta efectos y puede ser sujeto de un rediseño para estar
alineado con la planeación de la política social. Por el contrario, estos recursos destinados a
elaborar evaluaciones de impacto pueden dar indicios para fortalecer dicha política. Como
una estimación preliminar, el equipo metaevaluador considera que el rango de costo para
una evaluación de impacto del PAJA podría ir de 2.5 a 3 millones de pesos que, comparados
con el presupuesto de los dos ejercicios fiscales que comprendería dicho ejercicio, representa
aproximadamente 0.43% a 0.51% del total.
Se reconoce que en las ROP, año con año se incluyen cláusulas que ponen un tope sobre el
uso de recursos destinados a la evaluación. No obstante, una evaluación metodológicamente
robusta y con una justificación adecuada sobre la decisión de llevarse a cabo, debería tener
un canal financiero asegurado. En este caso, se propone modificar las ROP para que los
aspectos financieros no sean una limitante para llevar a cabo un estudio de esta naturaleza—
especialmente en programas con presupuesto moderado (comparado con otros con
presupuesto amplio) como el PAJA.
3.5 Principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones
En este apartado se incorpora un resumen de las fortalezas, oportunidades, debilidades y
amenazas (FODA) del programa identificadas en cada evaluación analizada, acompañadas de
sus recomendaciones y propuestas asociadas. Cabe señalar que sólo se presentan aquellos
elementos que, a juicio del metaevaluador, son relevantes, en términos de su importancia e
implicaciones para el desempeño del programa, así como vigentes, en el sentido que la
situación que les dio origen lo sigue siendo en alguna medida. El FODA completo de forma
esquemática se presenta en el Anexo 4.
48
PRINCIPALES FORTALEZAS, DEBILIDADES Y RECOMENDACIONES PARA
EL PROGRAMA DE ATENCIÓN A JORNALEROS AGRÍCOLAS.
Tema de
evaluación
Diseño
Diseño
Diseño
Diseño
Diseño
Operación
Operación
Aspecto Identificado
Referencia
Recomendación
Referencia de la recomendación
Fortalezas
El programa atiende a un
grupo altamente vulnerable,
ECR07-PAJAal margen de las
FAO pp. 129
oportunidades del desarrollo.
Se cuenta con un documento
de diagnóstico y con
ECR11- PAJAactualizaciones de la
UAEM pp.78
medición de sus poblaciones
potencial y objetivo.
El propósito del programa
está vinculado con los
ECR11- PAJAobjetivos del Plan Nacional de
UAEM pp.78
Desarrollo y al Programa
Sectorial de Desarrollo Social
Los apoyos otorgados se
encuentran directamente
EED10/11-PAJArelacionados con las
C230 pp. 13
características de la población
objetivo.
Las fichas técnicas de los
indicadores del programa
cuentan con nombre,
definición, método de cálculo,
ECR11- PAJAunidad de medida, frecuencia
UAEM pp.78
de medición, línea base,
metas y establecen el
comportamiento del
indicador.
El programa cuenta con
aplicaciones informáticas y/o
sistemas institucionales
ECR11- PAJAadecuados, así como con
UAEM pp.78
procedimientos adecuados y
documentados para la
ejecución de obras y acciones
La operación del programa se
EDD08-PAJArealiza conforme a la
COLEF NTE
normatividad establecida.
pp.19
49
Los indicadores de gestión
EDD08-PAJAmuestran un cumplimiento
Operación
COLEF NTE
satisfactorio de la metas
pp.19
programadas
El PAJA promueve la
participación e inclusión de
EEMOP09-PAJAOperación
los jornaleros agrícolas en la
UAM pp. 24
planeación de obras que son
para su beneficio.
Se han logrado acuerdos de
colaboración
EDD08-PAJAOperación
interinstitucionales y
COLEF NTE
convenios con los
pp.19
productores.
Percepción de Existen instrumentos para
ECR11- PAJAla población
medir el grado de satisfacción
UAEM pp.79
atendida
de su población atendida.
Los beneficiarios opinan que
los proyectos de vivienda del
Percepción de
programa mejoran su calidad EEMOP09-PAJAla población
de vida, les facilitan su
UAM
atendida
estancia laboral y les evitan
riesgos de salud.
Oportunidades
Diseño
El programa alienta la
investigación social sobre la ECR07-PAJAproblemática
de
los FAO pp. 129
jornaleros agrícolas.
Debilidades
Diseño
El problema focal no está
correctamente traducido en
los objetivos general y
específico, subsistiendo
algunas ambigüedades e
inconsistencias importantes.
RECOMENDACIÓN DEL
METAEVALUADOR:
Se recomienda revisar la definición
del problema focal, y hacer una
correcta definición de objetivos de
conformidad con los criterios
técnicos establecidos en la
metodología de marco lógico y los
Lineamientos de Coneval
correspondientes.
50
Diseño
El programa no define qué se
debe entender por “exclusión
social” ni por “condiciones de
vulnerabilidad”.
Diseño
No existe evidencia nacional o
internacional de que la
intervención del PAJA en
forma de paquete integral sea
más eficaz para atender la
problemática de los
jornaleros agrícolas que
alternativas separadas para la
atención a la población
vulnerable o excluida.
Diseño
Existen problemas con la
lógica vertical de la Matriz de
Indicadores de Resultados.
El programa no cuenta con un
Planeación y Plan Estratégico de mediano y
orientación a largo plazo, ni con metas más
resultados
allá de un año a nivel de Fin y
Propósito.
No se cuenta con información
acerca del impacto del PAJA
sobre la vulnerabilidad y
exclusión social de los
Planeación y jornaleros, ni respecto del
orientación a costo-efectividad de las
resultados
diferentes intervenciones o
apoyos del mismo para
atender la problemática de
los jornaleros agrícolas y sus
familias.
ECR 11- PAJAUAEM pp.79
Se recomienda que el Programa
defina y delimite el alcance de lo
que debe entenderse por
“condiciones de vulnerabilidad” y
“exclusión social” en la dinámica
del Programa
ECR 11- PAJAUAEM pp.8
Recomendación del
metaevaluador: evaluar de forma
rigurosa las ventajas o desventajas
del modelo de atención a
jornaleros agrícolas del PAJA, en
particular en lo que toca a la
integralidad y supuestas
economías de alcance en la
prestación de los apoyos para
disminuir la vulnerabilidad y
exclusión social de los
beneficiarios.
ECR 11- PAJAUAEM pp.79
Se recomienda revisar las
actividades y componentes de la
matriz de indicadores de
resultados.
Recomendación del
metaevaluador: se recomienda
ED 07-PAJA- desarrollar una planeación
FAO-pp.48; ECR estratégica de mediano y largo
11- PAJA- UAEM plazo, que contemple las metas e
pp.79
indicadores para medir el avance
del cumplimiento de los objetivos.
Se aconseja evaluar el costoeficiencia de algunos apoyos del
programa.
ECR 11- PAJAUAEM pp.79
Recomendación del
metaevaluador: realizar una
evaluación de impacto del
programa, de acuerdo al horizonte
y características del PAJA.
51
No pudo establecerse la
existencia de una estrategia
Cobertura y de cobertura que abarque el
focalización
mediano y largo plazo,
incluso la cobertura no ha
crecido sustancialmente
ECR 11- PAJAUAEM pp.80
Se recomienda ampliar la
estrategia de cobertura del
Programa para que abarque el
mediano y largo plazo.
Recomendación del
metaevaluador:
Construir indicadores que midan la
contribución del PAJA a la
Los indicadores de Fin y
protección social y a la ampliación
Propósito no cumplen con los
de las capacidades de los
ED 07-PAJAelementos mínimos
jornaleros agrícolas y sus familias,
Medición de
FAO-pp.10; ECR
necesarios para aportar
si se mantienen dichos objetivos a
resultados
11- PAJA- UAEM
información sobre el
nivel de Fin y Propósito.
pp.80
cumplimiento del Fin del
Alternativamente, se sugiere
Programa.
revisar y adecuar los objetivos del
programa y desarrollar indicadores
pertinentes para medirlos, esto
implica introducir el concepto de
vulnerabilidad
Amenazas
El peso político y social que
tiene la comunidad ante las
autoridades locales respecto
El PAJA debe mantener un
a la población migrante –que
compromiso con la población
permanece por un lapso
migrante que es aún más
EEMOP
09Planeación/O determinado y regresa a sus
vulnerable que la local, por lo que
PAJA- UAM pp.
peración
hogares ubicados en otros
la infraestructura debe asumirse
92
estados del país– incide en la
como un aspecto central de la
prioridad de atención a las
agenda con los jornaleros
necesidades de
agrícolas
infraestructura de los
jornaleros agrícolas
3.6. Reflexiones y recomendaciones complementarias del metaevaluador
En esta sección se desarrollan una serie de reflexiones y recomendaciones complementarias
del equipo metaevaluador sobre la situación actual del programa, que si bien construyen
sobre el análisis de las evaluaciones antes revisadas, en algunos casos llegan a resultados
distintos al replicar los ejercicios metodológicos de forma más amplia y rigurosa. Estas
reflexiones y recomendaciones se enfocan principalmente en aspectos asociados al diseño
del programa, y son responsabilidad exclusiva del metaevaluador.
52
Las definiciones del problema focal de los programas sociales deben hacerse conforme a lo
establecido en los Lineamientos generales para la elaboración de diagnósticos de cuyos
resultados se obtienen propuestas de atención de Programas de Desarrollo Social, así como
en los Lineamientos y criterios generales para la definición, identificación y medición de la
pobreza de Coneval. Asimismo, la literatura y las buenas prácticas en la materia, detallan las
formas en que se puede desarrollar dicha definición (como ejemplo, véase Aldunate y
Córdoba 2011).9 Sin embargo, un análisis riguroso de los diversos elementos de diseño del
programa señala cuestiones que, en opinión del equipo metaevaluador, no están resueltas
adecuadamente y pueden incidir de forma significativa sobre su efectividad.
De inicio, el problema focal no es consistente con el objetivo general del programa, ni este
último lo es con el objetivo específico. Conforme a los criterios de diseño, el problema focal
debe describir correctamente la situación que justifica la existencia del programa, y es
analíticamente el contrario exacto del objetivo general, que se plantea como el problema
solucionado. Asimismo, dicho objetivo general se divide en objetivos específicos, que lo
desagregan al abordar diversos aspectos puntuales del problema focal —esto es, se va de lo
general a lo particular. Sin embargo, en el caso del PAJA, el problema focal que aparece en el
Diagnóstico 2010, no corresponde con el objetivo general que aparece en las ROP 2012, ni
este a su vez con el objetivo específico, como se puede ver a continuación:
Problema focal actual: Las familias jornaleras presentan condiciones de vulnerabilidad y
exclusión social.
Objetivo general actual: Contribuir a la protección social de los jornaleros agrícolas y los
integrantes de su hogar.
Objetivo específico actual: Contribuir a la ampliación de capacidades de los jornaleros
agrícolas y los integrantes de su hogar, otorgando apoyos en alimentación, salud,
infraestructura, educación e información y promoviendo su acceso a los servicios básicos.
En opinión del equipo metaevaluador, esta situación va más allá de un mero inconveniente
en la redacción, pues refleja inconsistencias reales y relevantes en el diseño y operación del
programa. En primer lugar, no queda claro por qué el objetivo central o general del
programa—lo que se entiende en todo caso como Propósito— debe girar en torno a la idea
de protección social, concepto ausente en la definición del problema focal. En segundo lugar,
el objetivo específico recupera el concepto de ampliación de capacidades que tampoco
resulta claro, pues en principio debe descomponer en partes el objetivo general. Se trata
entonces de tres conceptos distintos, que pueden requerir lógicas de intervención también
distintas; además, esta situación no permite apreciar cuál debía ser el estándar para juzgar la
contribución del programa. Así, es necesario resolver estas inconsistencias conceptuales, por
sus posibles repercusiones en el desempeño del programa, tomando en cuenta lo siguiente:
9
Aldunate, E. y Julio Córdoba (2011) “Formulación de programas con la metodología de marco lógico”,
Manuales de la CEPAL 68, Abril, Santiago de Chile.
53
Primero, el concepto de ‘vulnerabilidad’ del problema focal no se traduce de forma
automática en la expresión en positivo del objetivo general, que se refiere a la
‘protección social’. Esto es porque el segundo concepto es más amplio y rebasa a lo que
podría aplicarse al programa, pues entraña acciones de aseguramiento y de asistencia
social. Si bien algunas acciones del PAJA se orientan a la asistencia social, el
aseguramiento tiene incluso un carácter de obligatoriedad que el programa está lejos de
sostener.
Segundo, la ‘exclusión social’ del problema focal tampoco se retoma en los objetivos, y no
se define en los documentos normativos y técnicos del programa. Sin embargo, algunas
acciones del programa efectivamente pueden favorecer la inclusión social.
Tercero, el concepto de ‘ampliación de capacidades’ contenido en el objetivo específico,
si bien se asocia con los apoyos para la educación, salud y alimentación, no corresponde a
un programa como el PAJA que, por las características de la población objetivo,
altamente migrante, no puede asegurar una oferta sostenida en el largo plazo al mismo
conjunto de personas. La ampliación de capacidades es observable sólo después de que
se han aplicado las intervenciones correspondientes por un período largo a un grupo
específico de beneficiarios; en todo caso, haría falta asegurar la continuidad de los
servicios y apoyos dirigidos a las capacidades básicas, antes y después de que los
beneficiarios fueran apoyados por el PAJA.
Cuarto, la incorporación de cuatro conceptos distintos entre el problema focal y los
objetivos del programa es posible señalar que no queda claro cuál es el problema que el
PAJA busca resolver mediante su conjunto de apoyos. Ello con base en la idea de que el
problema focal debe describir correctamente la situación que justifica la existencia del
programa.
Con base en lo anterior, el equipo metaevaluador recomienda a la Sedesol redefinir el
problema focal y los objetivos del PAJA para fortalecer la consistencia lógica de su diseño y
mejorar sus resultados. En opinión del equipo metaevaluador, y considerando el enfoque del
programa y las características de la población objetivo, ello implica definirse por la
vulnerabilidad, que es el concepto aplicable más consistente.
En esta línea, el Fin del programa debería estar orientado a contribuir a la disminución de la
vulnerabilidad de los jornaleros agrícolas y sus familias. Para la consecución del Propósito, se
requiere del desdoblamiento del objetivo específico en los componentes necesarios para
conseguirlo, bajo una lógica causal jerárquica orientada a disminuir las carencias sociales que
definen la vulnerabilidad de los jornaleros agrícolas. De ese modo, el PAJA debería
proponerse, para el logro de su Propósito, disminuir las carencias de acceso a la
alimentación, la educación, los servicios de salud, la seguridad social y la calidad y espacios
de la vivienda de los hogares jornaleros agrícolas, así como promover su inclusión social,
particularmente en materia de derechos humanos, de los niños, laborales, equidad de
género, participación política, protección civil y medio ambiente, entre otros.
Cabe señalar que los cambios propuestos tendrían efectos más allá de redefinir el diseño
conceptual del programa. Se deberían reflejar también en la reorientación y alineación de
54
diversos aspectos operativos, incluyendo la definición y articulación de algunos apoyos y
requisitos de elegibilidad; en una nueva especificación de los indicadores de resultados a
nivel de Fin y Propósito, así como en el planteamiento de las evaluaciones de impacto, entre
otros cambios relevantes asociados.
Finalmente, es menester enfatizar que todas las conclusiones y recomendaciones antes
expuestas respetan los elementos básicos del diseño y la lógica interna actuales del
programa, especificados en las ROP 2012, el Diagnóstico, la Nota y otros documentos
oficiales. Por lo tanto, y basándose en los resultados del presente trabajo, el equipo
metaevaluador sólo propone mejorar la consistencia de dichos elementos básicos del
programa, a efecto de mejorar su desempeño. Un análisis más amplio de la adecuación del
diseño, operación y resultados del programa queda fuera del alcance de esta
metaevaluación, y sería en su caso objeto de otro estudio.
55
4. Monitoreo
4.1. Introducción
En 2007, la Sedesol elaboró la Matriz de Indicadores para Resultados de los programas
federales a su cargo con la finalidad de mejorar su diseño y de cumplir con los Lineamientos
Generales para la Evaluación de los Programas Federales de la Administración Pública
Federal,10 que establecen que los programas federales deben contar con una MIR.
Desde entonces, la MIR es usada por la Sedesol y por otros actores, como la SHCP, la SFP, el
Coneval e incluso, el H. Congreso de la Unión, para dar seguimiento a los resultados
alcanzados por los programas federales, lo que la convierte en el principal instrumento para
monitorear el desempeño de dichos programas en el Gobierno Federal.11
La MIR de los programas federales de la Sedesol se ha ido modificando año con año,
principalmente con tres objetivos: 1) mejorar el diseño de los programas, 2) contar con
mejores indicadores de resultados y de gestión para monitorear su desempeño, y 3) mejorar
su alineación con las ROP. Para ello, la Sedesol ha tomado en consideración los comentarios y
propuestas de mejora emitidos por actores como el Coneval, la SHCP y los evaluadores
externos que han evaluado los programas.
Este documento tiene como objetivo analizar la MIR 2012 del Programa de Atención a
Jornaleros Agrícolas, para generar propuestas de mejora para la elaboración de la MIR 2013,
especialmente de los niveles de Fin y Propósito, poniendo especial atención en los
indicadores de resultados.
Para lo anterior, en la primera parte se hace un análisis de los cambios que se han
implementado a la MIR de 2007 a 2012, para ello se identifican los comentarios que diversos
actores han emitido a la MIR para el mismo periodo. Posteriormente, se valora el resumen
narrativo de la MIR 2012, analizando su correspondencia con las ROP de ese año, y se
10
Diario Oficial de la Federación. 30 de marzo de 2007.
La Ley General de Desarrollo Social establece en el Art. 77 que el Coneval antes de aprobar los indicadores de
resultados, gestión y servicios de los programas sociales, los someterá a la consideración de la SHCP y a la
Cámara de Diputados por conducto de la ASF, para que emitan las recomendaciones que en su caso estime
pertinentes, para esta aprobación, se toman los indicadores de la MIR.
Asimismo, los Lineamientos para la revisión, actualización, calendarización y seguimiento de la Matriz de
Indicadores para los programas presupuestarios 2012 establecen en el numeral 13 que la SHCP, la SFP y el
Coneval, en el ámbito de sus respectivas competencias y considerando las disposiciones aplicables, deberán
emitir las recomendaciones a las MIR y sus indicadores que consideran convenientes. También, estos
Lineamientos establecen como uno de sus objetivos específicos registrar los avances en la consecución de las
metas de los indicadores de los programas presupuestarios durante el ejercicio fiscal 2012 para dar
cumplimiento a los informes sobre la Situación Económica, las Finanzas Públicas y la Deuda Pública (informe
trimestral a cargo de la SHCP enviado al Congreso de la Unión), de conformidad con el artículo 107 de la Ley de
Presupuesto y Responsabilidad Hacendaria.
11
56
realizan propuestas de mejora. Por último, se valoran los indicadores de Fin y Propósito de la
MIR 2012 y se emiten propuestas de mejora.
4.2. Análisis histórico de la Matriz de Indicadores para Resultados 2007-2012
En este apartado se hace un análisis de la evolución de la Matriz de Indicadores para
Resultados (MIR) del programa durante el período 2007-2012. Se identifican los principales
cambios en los resúmenes narrativos y en los indicadores asociados a los mismos, que
surgieron como respuesta a las observaciones y recomendaciones de instancias como la
Auditoría Superior de la Federación (ASF), la Secretaría de Hacienda y Crédito Público (SHCP),
la Secretaría de la Función Pública (SFP), el Coneval y los evaluadores externos del programa.
La secuencia de cambio se presenta en los niveles de Fin, Propósito y algunos casos de
Componentes, para todos los años comprendidos en el período. Al final de la sección se
presenta una propuesta para mejorar los resúmenes narrativos y los indicadores para la MIR
del año 2013. Un esquema del análisis histórico de la MIR y de las propuestas de mejora se
presenta en el Anexo 5.
4.2.1. Principales cambios de la Matriz de Indicadores 2007-201212
En esta sección se hace un resumen de los principales cambios de la MIR del PAJA de 2007 a
2012, enfocándose en el resumen narrativo de los niveles de Fin, Propósito y Componentes y
en los indicadores de Fin y de Propósito. Los cambios se presentan primero del resumen
narrativo y posteriormente de los indicadores para cada año.
4.2.2. Análisis 2008-2009
Resumen narrativo
De 2008 a 2009, se modificó el resumen narrativo a nivel de Fin; no obstante, se mantuvieron
en la redacción múltiples objetivos. En 2008, el Fin contaba con dos objetivos 1) mejorar las
condiciones de vida, y 2) mejorar las condiciones de trabajo. En 2009, el número de objetivos
identificados eran tres 1) abatir el rezago, 2) generar la igualdad de oportunidades, y 3)
ampliar sus capacidades. En ambos años no era posible identificar a cuál de estos objetivos
se buscaba contribuir con el logro del Propósito, además de que no se tenía claridad sobre lo
que éstos representaban, puesto que no se estableció una definición para “rezago social” o
para “ampliación de capacidades”. De acuerdo con la Metodología de Marco Lógico (MML), a
nivel de Fin debe establecerse el objetivo a cuyo logro contribuye el programa de manera
más directa y significativa.
12
Al no contar con la MIR 2007, el análisis se realiza a partir de 2008.
57
En este periodo el Propósito se modificó; sin embargo, la sintaxis siguió sin ser congruente
con lo que establece la MML, debido a la existencia de dos objetivos,13 1) a generar la
igualdad de oportunidades, y 2) ampliación de sus capacidades. Este último concepto es
ambiguo, puesto que no se establece su definición. Derivado de lo anterior, el Propósito no
se consideró apropiado.
Para 2009, dada la poca claridad de los objetivos de Fin y de Propósito, no fue posible
determinar si el logro del Propósito contribuye al logro del Fin.
Por último, a nivel de Componentes, de 2008 a 2009, se modificaron los Componentes 1 y 3,
y se mantuvo el Componente 2 de la MIR 2008. Los tres componentes de la MIR 2009
cumplieron con la sintaxis establecida en la MML; sin embargo, no era posible determinar
cuáles eran los bienes y servicios entregados en “apoyos complementarios”, “acciones de
promoción y participación social” y “Servicio y apoyos de Coordinación y Concertación”.
Debido a esto y a la existencia de múltiples objetivos en el Propósito, no era posible
determinar si los Componentes en su conjunto son los necesarios y suficientes para el logro
del Propósito (Cuadro 5).
Cuadro 5. Resúmenes Narrativos de Fin, Propósito y Componentes de la MIR del PAJA
2008-2009
Resumen
narrativo
2008
Fin
Contribuir a mejorar las condiciones de vida
y de trabajo de la población jornalera
agrícola.
Propósito
Componentes
La población jornalera agrícola tiene un
mayor acceso a servicios educativos y de
infraestructura básica.
2009
Contribuir a abatir el rezago que enfrentan
los jornaleros agrícolas y sus familias
mediante acciones orientadas a generar la
igualdad de oportunidades y la ampliación
de sus capacidades.
Que la población jornalera agrícola y sus
familias cuenten con condiciones para la
igualdad de oportunidades y la ampliación
de sus capacidades.
Apoyos en efectivo y en especie entregados.
Apoyos económicos y complementarios
entregados.
Acciones de promoción y participación social
realizadas.
Acciones de promoción y participación social
realizadas.
Apoyos en infraestructura y equipamiento
realizados.
Servicio y apoyos de Coordinación y
Concertación Interinstitucional entregados.
Fuente: MIR del PAJA 2008 y 2009
13
La MML establece que el Propósito debe ser un objetivo único.
58
Indicadores
A nivel de Propósito, de 2008 a 2009, desaparecieron los dos indicadores propuestos, lo cual
se consideró adecuado por tratarse de indicadores de cobertura que corresponden a nivel de
Componentes, y se integra un indicador de percepción de mejora de las condiciones de vida.
Al respecto, los indicadores de percepción no son metodológicamente adecuados para medir
resultados, debido a que dan cuenta de los bienes y servicios que otorga el programa y no de
los resultados permanentes alcanzados.
A nivel de Propósito, de 2008 a 2009, se integraron dos indicadores de cobertura y se
mantuvo el indicador de permanencia en el aula de la población beneficiaria con
modificaciones en el nombre del indicador, de manera que fuera congruente con la fórmula
de cálculo. Los tres indicadores no se consideraron adecuados para nivel de Propósito debido
a que, por una parte, el indicador de cobertura no mide un aspecto relevante del Propósito, y
por otra, la permanencia en el aula era un requisito para que los beneficiarios puedan recibir
los apoyos; por tanto, más que un logro del programa, se medía la corresponsabilidad de los
beneficiarios (Cuadro 6).
Asimismo, el indicador de población jornalera agrícola beneficiada es absoluto, por lo que se
debe tener en cuenta que por sí mismo proporcionaba poca información sobre la cobertura
alcanzada si no se tiene una variable de referencia con la cual comparar el desempeño del
programa.
Cuadro 6. Indicadores de Fin y Propósito de las MIR del PAJA 2008-2009
Indicadores
2008
Población jornalera atendida.
(Total de población jornalera atendida /
población jornalera potencial) * 100
Fin
2009
Porcentaje de percepción de los jornaleros
agrícolas en el mejoramiento de sus
condiciones de vida.
(Número de jornaleros agrícolas que
perciben mejoría en sus condiciones de vida/
Número de jornaleros agrícolas
entrevistados)*100
Porcentaje de jornaleros agrícolas migrantes
atendidos. (Incluidos los miembros de sus
familias)
Propósito
(Total de jornaleros agrícolas migrantes
atendidos/Total de jornaleros agrícolas
migrantes programados)*100
Permanencia en el aula de los niños
jornaleros.
Permanencia en el aula de la población
beneficiaria infantil de 6 a 14 años.
(Número de niños jornaleros migrantes de 6
a 14 años que permanecen en el aula
durante su estancia en el campo
agrícola/Total de niños jornaleros de 6 a 14
años inscritos en instituciones
(Población infantil de 6 a 14 años
beneficiaria del programa, que asiste
regularmente a los servicios educativos /
Población infantil de 6 a 14 años inscrita en
los servicios educativos)*100
59
educativas)*100
Población jornalera agrícola beneficiaria.
Población jornalera agrícola beneficiaria.
Porcentaje de población jornalera agrícola
beneficiaria.
(Población agrícola beneficiaria/ población
jornalera agrícola objetivo)*100
Fuente: MIR del PAJA 2008 y 2009
4.2.3. Análisis 2009-2010
Resumen narrativo
De 2009 a 2010, se modificó el resumen narrativo a nivel de Fin; no obstante, se mantuvieron
en la redacción múltiples objetivos: 1) protección social, 2) generar la igualdad de
oportunidades, y 3) ampliar sus capacidades. No era posible identificar a cuál de estos
objetivos se buscaba contribuir con el logro del Propósito, además de que no se tenía
claridad sobre lo que éstos representaban puesto que no se estableció en la MIR ni en las
ROP de ese año una definición para “protección social” o para “ampliación de capacidades”.
De acuerdo con la MML, a nivel de Fin, debe establecerse el objetivo a cuyo logro contribuye
el programa de manera más directa y significativa.
Para este periodo el Propósito se modificó; sin embargo, la sintaxis siguió sin ser congruente
con lo que establece la MML debido a la existencia de tres objetivos14 1) mejorar condiciones
de alimentación, 2) mejorar condiciones de educación, y 3) mejorar las condiciones de salud.
Derivado de lo anterior, el Propósito no se consideró apropiado.
Para 2010, dada la poca claridad de los objetivos de Fin y de Propósito, no era posible
determinar si el logro del Propósito contribuye al logro del Fin.
Por último, para 2010 se modifican los Componentes; sin embargo, no era posible
determinar cuáles eran los bienes y servicios entregados en “apoyo entregado para
infraestructura” (no especifica si se refiere a un apoyo económico o en especie), ni en
“Servicios de acompañamiento otorgados y acciones realizadas para el desarrollo de
habilidades personales en beneficio de la población jornalera” (no especifica a qué se
refieren los servicios ni las acciones).
14
La MML establece que el Propósito debe ser un objetivo único.
60
Asimismo, los Componentes 2 y 3 no cumplieron con la sintaxis establecida en la MML, que
indica que deben redactarse como bienes y servicios ya entregados (Cuadro 7).
Debido a lo anterior, y a la existencia de múltiples objetivos en el Propósito, no era posible
determinar si los Componentes en su conjunto eran los necesarios y suficientes para mejorar
las condiciones de alimentación, educación y salud.
Cuadro 7. Resúmenes Narrativos de Fin, Propósito y Componentes de la MIR del PAJA 2010
Resumen
narrativo
2010
Fin
Contribuir a la protección social de los jornaleros agrícolas y sus familias, mediante acciones
orientadas a generar igualdad de oportunidades y ampliación de sus capacidades.
Propósito
Que la población jornalera agrícola y sus familias mejoren sus condiciones de alimentación,
educación y salud.
Apoyo económico para el desarrollo de capacidades.
Componentes
Apoyo entregado para la infraestructura.
Servicios de acompañamiento otorgados y acciones realizadas para el desarrollo de
habilidades personales en beneficio de la población jornalera.
Fuente: MIR del PAJA 2010
Indicadores:
A nivel de Fin, se mantuvo un indicador de percepción. Como se mencionó anteriormente,
los indicadores de percepción no son metodológicamente adecuados para medir resultados,
debido a que dan cuenta de los bienes y servicios que otorga el programa, no de los
resultados permanentes alcanzados.
A nivel de Propósito, para 2010, se eliminó un indicador de cobertura. Los dos indicadores
que permanecen no se consideraron adecuados para nivel de Propósito. Por una parte, el
indicador de cobertura no mide un aspecto relevante del Propósito, y por otra, la
permanencia en el aula era un requisito para que los beneficiarios pudieran recibir los
apoyos; por tanto, más que un logro del programa, medía la corresponsabilidad de los
beneficiarios.
Asimismo, el indicador de población jornalera agrícola beneficiada era absoluto, por lo que se
debe tener en cuenta que por sí mismo proporciona poca información sobre la cobertura
alcanzada si no se tiene una variable de referencia con la cual comparar el desempeño del
programa (Cuadro 8).
61
Cuadro 8. Indicadores de Fin y Propósito de la MIR 2010 del PAJA 2010
Indicadores
2010
Porcentaje de jornaleros agrícolas o integrantes del hogar que perciben mejoría en sus
condiciones de vida respecto de los entrevistados.
Fin
Propósito
(Número de jornaleros agrícolas o integrantes del hogar del Programa que perciben mejoría
en sus condiciones de vida / Número de jornaleros agrícolas o integrantes del hogar
entrevistados)*100
Permanencia en el aula de la población beneficiaria infantil de 6 a 18 años.
(Población infantil de 6 a 18 años beneficiaria del Programa que asiste regularmente a los
servicios educativos / Población infantil de 6 a 18 años inscrita en los servicios
educativos)*100
Población jornalera agrícola beneficiada.
Fuente: MIR del PAJA 2010
4.2.4. Análisis 2010-2011
Resumen narrativo
De 2010 a 2011, se modificó el resumen narrativo a nivel de Fin, de manera que se tuvo un
objetivo único al cual contribuye el programa, lo cual se consideró pertinente debido a que
cumplía con la sintaxis de la MML. No obstante, la definición para “protección social” no era
clara, por lo que el objetivo siguió siendo ambiguo.
En este periodo, el Propósito se modificó de manera que se tuvo el objetivo único de ampliar
las capacidades. Si bien hubo una mejora al cumplir con la sintaxis establecida en la MML, el
Propósito era ambiguo debido a la falta de una definición en la MIR de “ampliar
capacidades”, por lo que no era posible determinar los alcances del resultado que el
programa esperaba alcanzar en la población objetivo.
Para 2011, dada la poca claridad de los objetivos de Fin y de Propósito, no era posible
determinar si el logro del Propósito contribuía al logro del Fin.
A nivel de Componentes para 2011, tampoco era posible determinar si éstos eran los
suficientes y necesarios para el logro del Propósito, debido a la falta de la definición de
“ampliar capacidades”. Asimismo, en la redacción del Propósito se mencionaba “mediante
apoyos en alimentación, salud, infraestructura, educación e información, así como con la
promoción de su acceso a los servicios básicos”; sin embargo, estos bienes y servicios no se
veían reflejados en los Componentes.
Si bien los Componentes cumplen con la redacción establecida en la MML, en el Componente
2, no era claro si se refería a un apoyo económico o en especie, y en el Componente 3 no era
62
claro cuáles eran los bienes y servicios entregados en “Servicios de acompañamiento
otorgados y acciones realizadas para el desarrollo de habilidades personales en beneficio de
la población jornalera”.
Cuadro 9. Resumen narrativo a nivel de Fin, Propósito y Componentes de la MIR del paja
2011
Resumen
narrativo
Fin
Propósito
2011
Contribuir a la protección social de los jornaleros agrícolas y sus familias.
Que la población jornalera agrícola y sus familias amplíen sus capacidades mediante apoyos
en alimentación, salud, infraestructura, educación e información, así como con la promoción
de su acceso a los servicios básicos.
Apoyo económico directos a la población jornalera agrícola.
Componentes
Apoyo entregado para la infraestructura.
Servicios de acompañamiento otorgados y acciones realizadas para el desarrollo de
habilidades personales en beneficio de la población jornalera.
Fuente: MIR del PAJA 2011
Indicadores
A nivel de Fin, se mantuvo un indicador de percepción. Como se mencionó anteriormente,
los indicadores de percepción no son metodológicamente adecuados para medir resultados,
debido a que dan cuenta de los bienes y servicios que otorga el programa, no de los
resultados permanentes alcanzados.
A nivel de Propósito, para 2011 permanecieron los indicadores de la MIR 2010, los cuales no
se consideraron adecuados para nivel de Propósito. Por una parte, el indicador de cobertura
no mide un aspecto relevante del Propósito y, por otra, la permanencia en el aula es un
requisito para que los beneficiarios puedan recibir los apoyos; por tanto, más que un logro
del programa, se medía la corresponsabilidad de los beneficiarios.
Asimismo, el indicador de población jornalera agrícola beneficiada era absoluto, por lo que se
debe tener en cuenta que por sí mismo proporciona poca información sobre la cobertura
alcanzada si no se tiene una variable de referencia con la cual comparar el desempeño del
programa (Cuadro 10).
63
Cuadro 10. Indicadores del Fin y Propósito de la MIR del PAJA 2011
Indicadores
2011
Porcentaje de jornaleros agrícolas o integrantes del hogar que perciben mejoría en sus
condiciones de vida respecto de los entrevistados.
Fin
(Número de jornaleros agrícolas o integrantes del hogar que perciben mejoría en sus
condiciones de vida/ Población jornalera agrícola o integrantes del hogar entrevistados)*100
Permanencia en el aula de la población beneficiaria infantil de 6 a 18 años, durante el
periodo de medición.
Propósito
(Población infantil de 6 a 18 años beneficiaria del Programa que asiste regularmente a los
servicios educativos / Población infantil de 6 a 18 años inscrita en los servicios
educativos)*100
Población jornalera agrícola beneficiada
Fuente: MIR del PAJA 2011
4.2.5. Análisis 2011-2012
Resumen narrativo
De 2011 a 2012, se mantuvo el resumen narrativo a nivel de Fin, de manera que se tiene un
objetivo único al cual contribuye el programa; esto se considera pertinente debido a que
cumple con la sintaxis de la MML. No obstante, la definición de “protección social” establecida
en las ROP y que se asume que usa el programa en la MIR no es clara por lo que el objetivo
sigue siendo ambiguo. Esto debido principalmente a la diferencia entre dicha definición y lo
que se establece en la literatura especializada del término de protección social. Esto se
retomará con mayor detalle en la sección de Análisis del resumen narrativo de la Matriz de
Indicadores para Resultados 2012.
Para este periodo el Propósito se mantuvo, de manera que se tiene un objetivo único de
ampliar las capacidades, lo cual es consistente con la sintaxis establecida por la MML. Sin
embargo, la definición de “ampliar capacidades” establecida en las ROP 2012 no es clara en
cuanto a qué se refiere con “extensión de las libertades”, por lo que el Propósito siguió
siendo ambiguo y no era posible determinar los alcances del resultado que el programa
espera alcanzar en la población objetivo. Esto se retomará con mayor detalle en la sección de
Análisis del resumen narrativo de la Matriz de Indicadores para Resultados 2012.
Para 2012, dada la poca claridad de los objetivos de Fin y de Propósito, no era posible
determinar si el logro del Propósito contribuye al logro del Fin.
Por último, a nivel de Componentes tampoco era posible determinar si estos son los
suficientes y necesarios para el logro del Propósito debido a la falta de la definición de
64
“ampliar capacidades”. Asimismo, en la redacción del Propósito se menciona que “mediante
apoyos en alimentación, salud, infraestructura, educación e información, así como con la
promoción de su acceso a los servicios básicos”; sin embargo, estos bienes y servicios no se
veían reflejados en los Componentes (Cuadro 11).
Si bien los Componentes cumplen con la redacción establecida en la MML, en el Componente
2, no es claro si se refiere a un apoyo económico o en especie, y en el Componente 3 no es
claro cuáles son los bienes y servicios entregados en “Servicios de acompañamiento
otorgados y acciones realizadas para el desarrollo de habilidades personales en beneficio de
la población jornalera”. Esto se retomará con mayor detalle en la sección de Análisis del
resumen narrativo de la Matriz de Indicadores para Resultados 2012.
Cuadro 11. Resúmenes Narrativos de Fin, Propósito y Componentes de la MIR del PAJA
2012
Resumen
narrativo
Fin
Propósito
2012
Contribuir a la protección social de los jornaleros agrícolas y sus familias.
Que la población jornalera agrícola y sus familias amplíen sus capacidades mediante apoyos
en alimentación, salud, infraestructura, educación e información, así como con la promoción
de su acceso a los servicios básicos.
Apoyos económicos directos a la población jornalera agrícola.
Componentes
Apoyo entregado para la infraestructura.
Servicios de acompañamiento otorgados y acciones realizadas para el desarrollo de
habilidades personales en beneficio de la población jornalera.
Fuente: MIR del PAJA 2012
Indicadores
A nivel de Fin se mantuvo un indicador de percepción. Como se mencionó anteriormente, los
indicadores de percepción no son metodológicamente adecuados para medir resultados
debido a que dan cuenta de los bienes y servicios que otorga el programa, no de los
resultados permanentes alcanzados.
A nivel de Propósito, para 2012 se mantuvieron los indicadores de la MIR 2011, los cuales no
se consideran adecuados para dicho nivel. Por una parte, el indicador de cobertura no mide
un aspecto relevante del Propósito, y por otra, la permanencia en el aula es un requisito para
que los beneficiarios puedan recibir los apoyos; por tanto, más que un logro del programa, se
mide la corresponsabilidad de los beneficiarios (Cuadro 12) .
Asimismo, el indicador de población jornalera agrícola beneficiada era absoluto, por lo que se
debe tener en cuenta que por sí mismo proporciona poca información sobre la cobertura
65
alcanzada si no se tiene una variable de referencia con la cual comparar el desempeño del
programa. Esto se retomará con mayor detalle en la sección de Análisis del resumen
narrativo de la Matriz de Indicadores para Resultados 2012.
Cuadro 12. Indicadores del Fin y Propósito de la MIR del PAJA 2012
Indicadores
2012
Porcentaje de jornaleros agrícolas o integrantes del hogar que perciben mejoría en sus
condiciones de vida respecto de los entrevistados
Fin
(Número de jornaleros agrícolas o integrantes del hogar que perciben mejoría en sus
condiciones de vida/ Población jornalera agrícola o integrantes del hogar entrevistados)*100
Permanencia en el aula de la población beneficiaria infantil de 6 a 18 años durante el periodo
de medición.
Propósito
(Población infantil de 6 a 18 años beneficiaria del Programa que asiste regularmente a los
servicios educativos / Población infantil de 6 a 18 años inscrita en los servicios
educativos)*100
Población Jornalera Agrícola Beneficiada.
Fuente: MIR del PAJA 2011
4.3. Principales comentarios a la Matriz de Indicadores 2007-2012
En esta sección se hace un resumen de los principales comentarios emitidos a la MIR del
PAJA de 2007 a 2012 por evaluadores externos, los cuales fueron rescatados de la
documentación proporcionada para esta Meta evaluación.15 Los comentarios se presentan
primero a nivel del Fin, posteriormente del Propósito, después de los Componentes y
finalmente se presentan los comentarios que se identificaron como generales. Los resultados
aquí presentados reflejan lo encontrado en la citada evaluación en el momento en que se
llevó a cabo y no necesariamente siguen vigentes o reflejan la opinión del Metaevaluador.
15
Para el PAJA se revisaron los siguientes documentos proporcionados al Meta-evaluador:
Comentarios a la MIR emitidos por el Coneval
Evaluación de Consistencia y Resultados 2011 del Programa de Atención a Jornaleros Agrícolas
Evaluación de Diseño 2007 del Programa de Atención a Jornaleros Agrícolas
Evaluación Específica de Desempeño 2008-2009 del Programa Atención a Jornaleros Agrícolas
Evaluación Específica de Desempeño 2009-2010 del Programa Atención a Jornaleros Agrícolas
Evaluación Específica de Desempeño 2010-2011 del Programa Atención a Jornaleros Agrícolas
Histórico de Aspectos Susceptibles de Mejora
Informe de sesiones de mesa técnica de revisión de indicadores del Programa Atención a Jornaleros
Agrícolas 2011
66
Cuando se establece que “No se cuenta con comentarios”, significa que no se identificaron
comentarios realizados por los actores mencionados en los documentos revisados.
4.3.1. Fin
A continuación se describirán los principales comentarios de las diversas evaluaciones a nivel
Fin de la MIR de 2007 a 2012.
Principales comentarios MIR 2007 – Fin
Resumen narrativo
El Fin y el Propósito no correspondían a la solución del problema, porque la solución
del problema general que atendía el PAJA pasa por mejorar y fortalecer cuando
menos el capital social, humano y físico de la población jornalera para darle mayores
posibilidades de superar su situación de pobreza, conceptos que no se veían
reflejados en el Fin y sólo parcialmente en el Propósito (capital humano).
Se propuso reformular el Fin, asociando sus contenidos al principio y eje rector de la
política social de la presente administración. En esta línea se propuso la siguiente
definición de Fin: contribuir al desarrollo humano de la población jornalera agrícola.
Indicadores
El indicador a nivel de Fin no era claro, relevante ni adecuado para verificar cómo el
PAJA contribuye al logro del Fin. El indicador estaba desconectado del Fin, toda vez
que reflejaba sólo la relación entre la demanda de proyectos que los jornaleros
agrícolas llegan a expresar y los proyectos efectivamente ejecutados o atendidos, que
constituían sólo una parte de la población objetivo.
Se señaló que convendría considerar indicadores específicos que midan las
privaciones de la población jornalera agrícola en tres aspectos básicos del desarrollo
humano: 1) condiciones de salud, 2) conocimientos, y 3) nivel de vida decoroso,
además de algún indicador que reflejara la exclusión y el rezago social.
Principales comentarios MIR 2008 – Fin
Resumen narrativo
No se cuenta con comentarios.
Indicadores
Población jornalera atendida. Era un indicador de cobertura y de acuerdo con el
método de cálculo el nombre del indicador debería ser: porcentaje de población
jornalera atendida.
Porcentaje de jornaleros agrícolas migrantes atendidos. (Incluidos los miembros de
sus familias). Era un indicador que monitorea el avance semestral en la cobertura. En
su lógica de construcción había una inconsistencia entre la definición y el método de
cálculo con relación al denominador: “Población potencial estimada” vs. “Jornaleros
agrícolas migrantes programados”.
67
Principales comentarios MIR 2009 – Fin
Resumen narrativo
Se recomendó mejorar su redacción, ya que se plantea “abatir el rezago que
enfrentan los jornaleros agrícolas y sus familias…”, sin precisar en qué consistía dicho
rezago y qué significaba abatirlo.
Indicadores
Porcentaje de percepción de los jornaleros agrícolas en el mejoramiento de sus
condiciones de vida. El indicador no medía un factor relevante del objetivo planteado;
en este nivel de la MIR se debían medir resultados del programa. Era necesario
establecer metas que permitan dar cuenta del avance en el alcance de los objetivos.
Este indicador de Fin es pertinente y confiable. Medía el impacto del Programa en la
población beneficiaria. El indicador era relevante porque captaba la percepción del
jornalero beneficiario sobre los aspectos de su vida que han mejorado. Dada su
frecuencia de medición (bienal), el indicador aún no había sido cuantificado.
Principales comentarios MIR 2010 – Fin
Resumen narrativo
No se cuenta con comentarios.
Indicadores
Porcentaje de jornaleros agrícolas o integrantes del hogar que perciben mejoría en
sus condiciones de vida respecto de los entrevistados. En términos específicos, la
relevancia del Indicador de Fin para medir la finalidad y el impacto deseado del
programa podría haberse incrementado utilizando un método alterno. Esto se debía a
que este indicador se basaba en una encuesta que medía la percepción de las
condiciones de vida de los jornaleros. Esta metodología podía tener dificultades en
generar evidencia o información objetiva la cual fundamente el incremento en las
condiciones de vida de esta población vulnerable.
Principales comentarios MIR 2011 – Fin
Resumen narrativo
A nivel de resultados no era posible identificar la forma en que el programa lograba
solucionar la problemática central que le dio origen, puesto que los objetivos
planteados, tanto a nivel de Fin como de Propósito, eran ambiguos. Derivado de lo
anterior, los indicadores de la matriz no lograban medir la amplitud que tienen los
objetivos a nivel de resultados, por lo que no era posible dar seguimiento a los logros
e impacto del programa.
Era necesario precisar el término “protección social” dentro del cuerpo de la matriz.
Los términos generales o ambiguos no permitían comprender cuál es el objeto que se
debe cuantificar en los indicadores. El planteamiento del problema es la base para el
diseño y la construcción de los indicadores; por tal motivo, se recomendaba al
programa analizar nuevamente la lógica vertical y precisar los objetivos.
68
El Fin identificado en la MIR del Programa como “Contribuir a la protección social de
los jornaleros agrícolas y sus familias” se identificó de la misma forma en el numeral
2.1 Objetivo General de las Reglas de Operación 2011 del Programa.
Indicadores
Porcentaje de jornaleros agrícolas o integrantes del hogar que perciben mejoría en
sus condiciones de vida respecto de los entrevistados. El indicador no era pertinente,
dado que no tenía correspondencia con los factores importantes del objetivo, como la
mejora de las condiciones de vida. En el cuerpo de la matriz no se define qué se
entiende por “protección social” ni “condiciones de vida”, por tal motivo se realizaba
esta observación. Si el programa consideraba que eran lo mismo, esto debía ser
definido claramente en la matriz.
El indicador no era relevante, dado que no medía el cumplimiento del objetivo
establecido. El actual indicador contabilizaba a la proporción de jornaleros que
“percibían mejoría” en sus condiciones de vida. No obstante, podía haber una serie de
factores externos que “mejoren la percepción” de los entrevistados, lo que no puede
ser atribuible al programa. Los indicadores de percepción no se consideran
apropiados a nivel de Fin y Propósito, dado que se consideran indicadores de calidad
estos deben ubicarse a nivel de Componente.
El indicador no era claro dado que el nombre, la definición y método de cálculo eran
coherentes entre sí. Sin embargo, no era claro qué es “protección social” ni
“condiciones de vida”; se señaló que era necesario que el programa sea lo más claro
posible en las definiciones que utiliza, para evitar confusiones.
El indicador era monitoreable, dado que podía ser sujeto a una comprobación
independiente. Debido a que el método de cálculo era preciso y los medios de
verificación concretos, sólo era necesario que la información para construir el
indicador se encuentre donde se especifica en los medios de verificación.
El indicador era económico, dado que la encuesta formaba parte del proceso de
seguimiento necesario que realiza el programa. Por lo anterior, la aplicación de la
encuesta y la generación de la información no representaban un costo adicional a la
operación del programa.
En ambos años se superó la meta; la proporción entre lo alcanzado y la meta fue de
112% en el 2010 y 110.71% en el 2011.
Se consideraba que el indicador no tenía los elementos mínimos necesarios para
aportar información sobre el cumplimiento del Fin del Programa, debido a que la
percepción de mejoría en las condiciones de vida/población no necesariamente se
deriva de la protección a posibles pérdidas de ingreso, o al desarrollo de capital
humano y físico.
Recomendación: construir un indicador compuesto que mida la contribución del PAJA
a los dos componentes de la protección social de los jornaleros agrícolas y sus
familias.
69
Principales comentarios MIR 2012 – Fin
Resumen narrativo
No se cuenta con comentarios.
Indicadores
No se cuenta con comentarios.
4.3.2. Propósito
A continuación se describirán los principales comentarios de las distintas evaluaciones a nivel
Propósito de la MIR de 2007 a 2012.
Principales comentarios MIR 2007 - Propósito
Resumen narrativo
De acuerdo con los contenidos de la MIR 2007 del PAJA, al lograr que la “población
jornalera cuente con mayor capital humano…” (Propósito), se contribuía sólo
parcialmente al logro del Fin que en su versión actual es “mejorar las condiciones de
vida y de trabajo de hombres y mujeres de la población jornalera”. En tanto el capital
humano llevaba implícito como elemento clave de su contenido, la salud y la
educación. Sin embargo, cabe reiterar que contar con mayor capital humano, no era
suficiente para mejorar la situación de pobreza que vive la población jornalera
agrícola.
Se propuso reformular el Propósito tomando en cuenta una definición como la
siguiente: la población jornalera agrícola cuenta con mejores condiciones de vida,
trabajo y oportunidades para superar su rezago social, mediante su acceso a
proyectos de capital humano, social y físico que son coordinados y concertados con
entidades gubernamentales y privadas y los propios jornaleros.
Indicadores
Para verificar el cumplimiento del Propósito, se contaba con dos indicadores a
monitorear: I) jornaleros de 6 a 14 años inscritos en espacios educativos, y II)
jornaleros con acceso a servicios de salud.
A este respecto se concluyó que estos indicadores, sin bien eran económicos y
monitoreables, no eran claros, relevantes ni adecuados, debido a que los resultados
que ofrecen, no permitían monitorear con suficiencia el logro del Propósito que era
“contar con mayor capital humano”. Por ejemplo, en materia de salud interesa
conocer de qué manera el programa favorece el desarrollo y/o mejor
aprovechamiento de las aptitudes físicas e intelectuales de la población jornalera, y
no está claro si el sólo acceso a los servicios de salud impactará dichas aptitudes.
Respecto al tema de la educación, se considera que fortalece el capital humano
adquirido, el cual incluye la educación formal, la informal y la experiencia, aspectos
que se consideraron mínimamente en el indicador.
Se recomendó concentrar la atención en los conceptos de educación y salud, (capital
humano), organización social (capital social) y de infraestructura básica (capital físico).
70
Principales comentarios MIR 2008 - Propósito
Resumen narrativo
No se cuenta con comentarios.
Indicadores
Permanencia de los niños jornaleros en el aula. Era un indicador de resultados
adecuado; sin embargo, de acuerdo con la definición y el método de cálculo el
nombre del indicador era incorrecto, que podría ser: grado de permanencia de los
niños jornaleros migrantes en el aula. Por otro lado, el denominador debía ser el
mismo que el numerador en cuanto a: niños jornaleros migrantes.
Se señalo que faltaban algunos indicadores para medir el acceso a servicios
educativos (número de niños jornaleros migrantes inscritos/número de niños
jornaleros migrantes). De igual forma dentro de los Propósitos se encontraba el
mayor acceso a servicios de infraestructura básica que no se mide con ningún
indicador.
Principales comentarios MIR 2009- Propósito
Resumen narrativo
No se cuenta con comentarios.
Indicadores
Permanencia en el aula de la población beneficiaria infantil de 6 a 14 años. Era
necesario establecer metas que permitan dar cuenta del avance en el alcance de los
objetivos.
El indicador era pertinente y relevante para medir el logro del Programa en su
objetivo de acercar servicios de educación para favorecer la igualdad de
oportunidades y la ampliación de capacidades. El método de cálculo debía incluir en la
redacción del denominador a la población jornalera agrícola. Considerar incluir un
componente temporal para medir permanencia escolar.
El carácter migratorio de los jornaleros dificulta cuantificar el Propósito mediante la
permanencia en el aula. La asistencia a la escuela es un requisito para la entrega de
apoyos, por ello, es de esperar la asistencia regular del niño a la escuela y valores
altos para este indicador.
Población jornalera agrícola beneficiaria. El indicador debe medir resultados, el
indicador correspondía a nivel de Componente. Se recomendó colocar el indicador
planteado en términos absolutos, como una relación de variables. El indicador debe
permitir medir resultados en una línea de tiempo, debe tener una línea de base que
permita evaluar el cumplimiento del Programa, y debe establecer el año en que se
hizo o hará la línea de base. Era necesario establecer metas sexenales.
Porcentaje de población jornalera agrícola beneficiaria. El indicador debía medir
resultados. El indicador correspondía al nivel de Componente, y debía permitir medir
resultados en una línea de tiempo, debe tener una línea de base que permita evaluar
el cumplimiento del Programa, y debe establecer el año en que se hizo o hará la línea
de base. Era necesario establecer metas sexenales.
71
Principales comentarios MIR 2010- Propósito
Resumen narrativo
No se cuenta con comentarios.
Indicadores
No se cuenta con comentarios.
Principales comentarios MIR 2011- Propósito
Resumen narrativo
El objetivo del Propósito era ambiguo. Por esta razón, se consideró que los objetivos
establecidos no eran pertinentes ni relevantes. Era necesario que el programa
definiera qué es “ampliar las capacidades”, y con base en ello se tendrían mejores
condiciones para definir indicadores pertinentes y relevantes. Como recomendación,
era necesario que el programa realizara el ejercicio del árbol de problemas y el árbol
de objetivos para precisar mejor sus objetivos, y de esta forma, plantear sus
indicadores.
El Propósito definido como “Que la población jornalera agrícola y sus familias amplíen
sus capacidades mediante apoyos en alimentación, salud, infraestructura, educación
e información, así como con la promoción de su acceso a los servicios básicos” se
encontraba establecido de la misma manera en las ROP; sin embargo, el nivel de
responsabilidad que se establece ahí es menor al señalar que se contribuye.
Indicadores
Permanencia en el aula de la población beneficiaria infantil de 6 a 18 años durante el
periodo de medición. El indicador no era pertinente, dado que no tenía
correspondencia con el factor importante del objetivo: ampliar las capacidades. El
indicador se refería a la “permanencia en la aula” de un conjunto de la población. Se
entendía por el resumen narrativo que el programa entregaba “apoyos a la
educación”, por lo que el indicador debería ubicarse a nivel de Componente.
El indicador no era relevante, dado que no medía el cumplimiento del objetivo. La
redacción señala que la “educación” es un medio para “ampliar las capacidades”; de
ser así, los indicadores relacionados a la educación deberían ubicarse a nivel de
Componente y no de Propósito, porque éste no es la suma de los Componentes. Por
otro lado, si el programa se enfocaba a ampliar las capacidades (entendidas como
solucionar un conjunto de necesidades relacionadas a “alimentación, salud,
infraestructura, educación e información”) entonces el indicador sólo medía el logro
de uno de cinco elementos, por lo que no es suficiente para medir el cumplimiento
del objetivo.
El indicador no era claro, dado que el método de cálculo era impreciso. Mientras el
indicador consideraba a la población “beneficiaria”, el denominador considera a la
población “inscrita”.
El indicador no era monitoreable, dado que no podía ser sujeto a una comprobación
independiente. Si el método de cálculo no era claro en la definición de sus variables,
el “replicar” el indicador no podía ser una tarea factible.
El indicador era económico, dado que la información necesaria para generar el
indicador dependía de información que el programa recopilara como parte del
72
proceso de operación. Por ello, no se consideraba que el indicador representara un
costo adicional a la operación del programa.
En el 2010 se alcanzó el 75.92% de las metas propuestas del indicador de
“permanencia en el aula de la población beneficiaria infantil de 6 a 18 años durante el
periodo de medición”, y en el 2011 se alcanzó el 116.22% de las metas. En el año
2010 se alcanzó el 80% de la meta del indicador de “población jornalera agrícola
beneficiada” y en 2011 el 104.6%.
Este indicador podía ser un reflejo del incremento de las capacidades educativas
basado en el aprovechamiento escolar. Sin embargo, al no tener la definición de
capacidades que el programa busca abordar, el indicador no se consideró suficiente.
Población Jornalera Agrícola Beneficiada. El indicador no era pertinente dado que no
tenía correspondencia con un factor importante del objetivo establecido: ampliar las
capacidades. El indicador se refería a la población beneficiada únicamente, mas no
tenía relación directa con el objetivo.
El indicador no era relevante, dado que no medía el cumplimiento del objetivo
establecido. Si el programa buscaba ampliar las capacidades de la población, el
indicador implicaba que, al ser beneficiados por el programa, se “soluciona” su
problemática específica. Era necesario que el programa incorpore indicadores más
objetivos para medir el cumplimiento del objetivo.
El indicador era claro, dado que el nombre, la definición y el método de cálculo del
programa eran coherentes entre sí. Sin embargo, no era claro lo que el programa
entiende por “ampliar las capacidades”, por lo que es necesario definir correctamente
el término conforme al ámbito del programa.
El indicador era monitoreable, dado que podía ser sujeto a una comprobación
independiente, siempre y cuando los medios de verificación establecidos sean los
correctos.
El indicador era económico, dado que la información necesaria para generar el
indicador dependía de información que el programa recopila como parte del proceso
de operación. Por ello, no se consideró que el indicador representara un costo
adicional a la operación del programa.
Como adecuación al objetivo, se recomendó mover el actual indicador a nivel de
Componente, dado que era un indicador de cobertura. Los indicadores de resultados
debían ser, en lo posible, indicadores objetivos del desempeño. Asimismo, era
necesario que el programa tenga un punto de referencia para medir el grado de
avance; por ejemplo, un cociente o una tasa de variación anual pueden ser más
pertinentes como indicador de desempeño que un número.
El indicador estaba más relacionado al presupuesto que se le asigne al programa, y no
permite identificar un incremento de las capacidades de los jornaleros. La
recomendación sería acotar el concepto de “capacidades”.
Principales comentarios MIR 2012 - Propósito
Resumen narrativo
No se cuenta con comentarios.
Indicadores
73
No se cuenta con comentarios.
4.3.3. Componentes
A continuación se describirán los principales comentarios de las distintas evaluaciones a nivel
Componentes de la MIR de 2007 a 2012.
Principales comentarios MIR 2007 - Componentes
Resumen narrativo
Existen evaluaciones del programa previamente elaboradas, en donde se analizan los
servicios o productos brindados por el PAJA. En algunos casos, se menciona que han
contribuido a mejorar la situación de pobreza por la que atraviesan los jornaleros
agrícolas. En otros casos, las evaluaciones previas señalan que para un sector de esta
población los servicios del PAJA no han sido suficientes para vivir mejor.
Los dos componentes no estaban correctamente definidos, toda vez que tanto las
redes de participación social, como la coordinación interinstitucional no podían
catalogarse como los productos o servicios que el programa debía producir para
alcanzar el Propósito. En estos términos, los Componentes sumados a los Supuestos
no eran necesarios ni suficientes para alcanzar el Propósito.
Se propuso reformular los dos Componentes actuales y sustituirlos por otros como los
siguientes:
a) Componente 1: Proyectos y/o acciones de capital humano y social realizados.
b) Componente 2: Proyectos y/o acciones de capital físico realizados.
Principales comentarios MIR 2008 - Componentes
Resumen narrativo
No se cuenta con comentarios.
Principales comentarios MIR 2009 - Componentes
Resumen narrativo
El Componente no está definido en términos de los bienes y o servicios que el
Programa entrega a sus beneficiarios.
Principales comentarios MIR 2010 - Componentes
Resumen narrativo
No se cuenta con comentarios.
Principales comentarios MIR 2011 - Componentes
Resumen narrativo
El componente “Apoyo económico directo a la Población Jornalera Agrícola” se
encontraba definido en las ROP como una modalidad que contiene tres apoyos
74
(Apoyos Alimenticios a los Niños y Niñas, Estímulos para la Asistencia y Permanencia
Escolar, Apoyo Económico al Arribo).
El componente de “Apoyo entregado para la Infraestructura” se formaba en las ROP
de los “Apoyos para Infraestructura” que formaba parte de la modalidad de “Acceso a
Servicios y Vivienda.
El componente de “Servicios de acompañamiento otorgados y acciones realizadas
para el desarrollo de habilidades personales en beneficio de la población jornalera” se
formaba en las ROP a partir de los apoyos de “Servicios de Acompañamiento a la
Población Jornalera Agrícola” y “Acciones para el Desarrollo de Habilidades
Personales y Sociales” que forman parte de la modalidad de “Acciones para el
Desarrollo de la Población Jornalera Agrícola”.
Principales comentarios MIR 2012 - Componentes
Resumen narrativo
No se cuenta con comentarios.
4.3.4. Comentarios generales
En esta sección se hace un recuento de los comentarios generales en el resumen narrativo e
indicadores que han hecho a la MIR de 2007 a 2012 del PAJA, para ello se identifican los
comentarios de las diversas evaluaciones para cada periodo.
Principales comentarios MIR 2007
Resumen narrativo
No se podía validar la lógica vertical de la matriz por las siguientes razones:
a) Las actividades no estaban alineadas a los componentes y no son suficientes ni
todas son necesarias.
b) Los componentes no cumplían el requisito metodológico de reflejar los
productos, bienes y servicios que el programa ofrece a la población jornalera.
c) El Propósito sólo se refería al capital humano, el cual es necesario pero no
significativo para la consecución del Fin con una visión integral de la
problemática de los jornaleros agrícolas, como la que explícitamente declara
pretender el programa en sus ROP.
d) El Fin era amplio y general, y se consideró necesario aclarar los alcances y
contenido del término “condiciones de vida y de trabajo”.
La mayoría pero no todos los Supuestos eran válidos.
La MIR no estaba alineada a las ROP.
Indicadores
Los indicadores incluidos en la MML 2007 del PAJA tenían sin excepción temporalidad
anual en casi todos los casos. Sólo para el indicador referido al control del
presupuesto tenía una temporalidad mensual.
Todos los indicadores contaban con medios de verificación.
75
Principales comentarios MIR 2008
Resumen narrativo
Se identificó que en el Mecanismo 2008 de los Aspectos Susceptibles de Mejora
(ASM), el programa se comprometió a expresar claramente el diseño del programa en
las ROP y en la MIR, dando mayor claridad y congruencia a sus diversos elementos,
para lo cual durante 2008 la MIR fue rediseñada, asimismo las ROP 2009 se vinculan
con la MIR.
Asimismo, al ASM de especificar indicadores de resultados con relación a la población
objetivo en la matriz de indicadores, el programa respondió que se incluyeron
indicadores de eficiencia del programa y los resultados respecto a la población
objetivo en la MIR 2009.
Por último, al ASM de definir metas viables para los indicadores, en función de la
población que se desea atender, el programa respondió que se definiría la meta para
los indicadores de la MIR 2009.
No se validó en su totalidad la lógica vertical de la matriz.
Indicadores
El programa no recolectaba de manera sistemática, información oportuna y veraz
sobre sus indicadores de Propósito y Fin.
No existían elementos para validar y demostrar cuantitativamente el progreso del
programa, aunque los indicadores previstos en la MIR para el año 2007 mostraron
valores elevados en los diversos campos que se miden y hablan de la eficacia
operativa del programa.
Con excepción del indicador de permanencia en las aulas, que arroja resultados
positivos (con un 81% de éxito), no se conoció el aporte del programa al
mejoramiento de las condiciones de vida y trabajo de los beneficiarios, así como los
impactos de la infraestructura.
Los indicadores estratégicos eran particularmente débiles, ya que sólo uno
(Permanencia en el aula...) buscaba valorar resultados, mientras que los otros dos
medían cobertura.
Principales comentarios MIR 2009
Resumen narrativo
No estaban definidos los Supuestos en los distintos niveles de la MIR, por lo que no se
podía evaluar este aspecto de la lógica vertical.
Indicadores
Los indicadores de Fin y Propósito no permitían monitorear adecuadamente el
Programa ni analizar el logro de los objetivos en estos niveles. Por su frecuencia de
medición (bienal), el indicador de Fin no se había medido. El de Propósito no era
factible de analizar porque el método de cálculo no permitía una interpretación clara
del resultado.
Principales comentarios MIR 2010
76
Resumen narrativo
Se identificó que en el Mecanismo 2010 de los ASM, el programa se comprometió a
continuar con el Proceso de mejora de las MIR, documentando la solidez técnica de
los indicadores, su relevancia y el establecimiento de líneas de base y metas; para ello
se buscó:
1. Fomentar que en las revisiones y comentarios a las MIR que realicen las instancias
correspondientes (SHCP, SFP, CONEVAL, ASF, etc.), se considere la documentación
técnica disponible, a Fin de que las propuestas de mejora sean factibles técnica y
económicamente.
2. Definir, en coordinación con las áreas involucradas, el proceso interno de mejora
de MIR del ejercicio fiscal 2011, a fin de que se lleve a cabo de manera ordenada y
conforme a la normatividad.
3. Fomentar las mejoras en el diseño de indicadores del ejercicio fiscal
correspondiente a través de 1) comentarios y recomendaciones a las fichas
técnicas de la MIR, y 2) documentación de aspectos relacionados con la calidad de
los indicadores en notas o fichas complementarias con base en información
disponible.
Indicadores
Se observó un problema en la determinación y posterior cumplimiento de las metas,
ya que quienes cumplieron con las metas establecidas para 2010 fueron únicamente
los indicadores de porcentaje de jornaleros agrícolas/integrantes de hogar que
perciben mejoría en condiciones de vida, los Proyectos de Infraestructura aprobados
en beneficio de la población objetivo por PAJA o PDZP, y el monto federal
programado en proyectos de infraestructura con beneficio a población beneficiaria.
Se recomendó que los indicadores de la MIR fueran modificados para diferenciar
entre los apoyos otorgados directamente por el PAJA, y los apoyos otorgados por otros
programas, gracias a las labores de coordinación interinstitucional ejecutadas por el
PAJA.
Principales comentarios MIR 2011
Resumen narrativo
Se identificó que en el Mecanismo 2011 de los ASM, el programa se comprometió a
establecer metas retadoras y factibles de alcanzar para todos los indicadores de la
Matriz de Indicadores para Resultados 2012 del programa de Atención a Jornaleros
Agrícolas.
Indicadores
Los 11 indicadores de la MIR contaban con nombre, definición, método de cálculo,
unidad de medida, frecuencia de medición, meta y comportamiento del indicador; sin
embargo, 7 indicadores no tenían información sobre línea base, debido a ser
indicadores de nueva creación o incorporación a la MIR del Programa.
En la MIR del PAJA, 8 de 11 indicadores (poco más del 70%) contaban con metas que
poseen unidad de medida, están orientadas a impulsar el desempeño y son factibles
de alcanzar, si se consideran los plazos, recursos humanos y financieros del Programa.
77
Los indicadores del programa presentaban resultados positivos a nivel de Fin y de
Propósito. Sin embargo, se considera que no eran suficientes para señalar que el
Programa cumple con el Propósito y contribuye a su Fin.
Principales comentarios MIR 2012
Resumen narrativo
No se cuenta con comentarios.
Indicadores
No se cuenta con comentarios.
4.4. Análisis del resumen narrativo de la Matriz de Indicadores para Resultados 2012
En esta sección el Metaevaluador hace un análisis de la MIR 2012 y de su correspondencia
con las ROP de ese año para los niveles de Fin, Propósito y Componentes. También, se
presentan las propuestas de mejora para la MIR 2013 del resumen narrativo y de los
indicadores de Fin y de Propósito.
4.4.1. Análisis de la MIR 2012 y vínculo con las Reglas de Operación
Fin
El Objetivo General de las ROP y el Fin de la MIR son consistentes; en ambos se tiene un
objetivo único al cual contribuye el programa que se considera pertinente debido a que
cumple con la sintaxis de la MML. No obstante, la definición de “protección social”
establecida en las ROP y que se asume que usa el programa en la MIR no es clara, por lo que
el objetivo sigue siendo ambiguo. Esto debido principalmente a la diferencia entre dicha
definición y lo que se establece en la literatura especializada del término de protección
social.
El concepto de protección social es más amplio que el que usa el programa y que está
especificado en las ROP como “intervenciones públicas para ayudar a las personas, familias y
comunidades vulnerables a manejar el riesgo. Tiene dos componentes: el aseguramiento y la
asistencia social. Las acciones de aseguramiento, están dirigidas a proteger a las personas
ante posibles pérdidas del ingreso. Las acciones de asistencia social, están orientadas al
desarrollo de capital humano y físico”. Las definiciones comúnmente aceptadas de
protección social en la literatura especializada hacen referencia a la cobertura de los riesgos y
necesidades asociados con la enfermedad, atención sanitaria, invalidez, discapacidad, vejez,
responsabilidades de los padres, muerte, desocupación, vivienda y exclusión social. (Véase
ESSPROS, 2011 y Núñez y Espinosa, 2005).
En esta línea, como el programa no contempla acciones de aseguramiento sino sólo de
asistencia social, se recomienda remplazar el concepto de "protección social" por el de
"vulnerabilidad", que se encuentra contemplado en la Introducción de las ROP 2012 y en el
78
Diagnóstico 2010, de esta manera, la contribución del programa al logro del Fin será más
directa y significativa que al logro de la protección social. Por tanto, el resumen narrativo a
nivel de Fin debería estar asociado a disminuir la vulnerabilidad de la población objetivo.
Otra alternativa es asociar el Fin con la “intensidad de la pobreza multidimensional”, definida
como el producto de la medida de incidencia de la pobreza multidimensional y la proporción
promedio de carencias sociales de la población pobre multidimensional. Esta definición está
asociada con las causas de la pobreza, en este caso, el ingreso y las carencias sociales
(Coneval, 2009).
Propósito
A nivel de Propósito se tiene un objetivo único de ampliar las capacidades, lo cual es
consistente con la sintaxis establecida por la MML. Si bien la actual redacción del objetivo
específico de las ROP y del Propósito es consistente, no permite identificar claramente cuál
es el objetivo que busca alcanzar el programa.
La definición de "ampliar las capacidades" establecida en las ROP 2012 como “Extensión de
las libertades fundamentales de las personas para conseguir distintos tipos de
funcionamiento con relación a la educación, capacitación, salud, vivienda, etcétera” no
permite identificar si la "extensión de las libertades" se refiere a la obtención o acceso a
diversos bienes y servicios que por la condición de jornaleros agrícolas sea más difícil de
adquirir o únicamente a tener una mayor posibilidad de obtenerlos pero sin asumir que así
será. De acuerdo con lo anterior, no es posible determinar si el logro del Propósito
contribuye al logro del Fin.
Al respecto, las definiciones comúnmente aceptadas de ampliación de capacidades en la
literatura especializada hacen referencia a todo aquello que permite a una persona hacer y
desarrollarse como individuos, y aumenta sus posibilidades de elección: estar bien nutrida,
escribir, leer, y tomar parte de la vida comunitaria, entre otros. Normalmente esto incluye
tanto acciones que permiten acceder a ciertos servicios básicos, como aspectos relacionados
con la calidad de la educación o el nivel de desarrollo intelectual del individuo, etc. (Véase
UNDP-ONU, 2000 y WIDER-ONU, 1988).
Para efectos prácticos, dado que el programa contempla acciones enfocadas a los derechos
sociales16 y en consistencia con la recomendación que se realizó para el Fin, se recomienda
sustituir el concepto de “ampliar capacidades” por el de “carencias sociales”.17 Las carencias
sociales están asociadas a las fallas del ejercicio de los derechos sociales y su definición
permite identificar de manera concreta esta falla, por ejemplo, si la población tiene carencia
por acceso a los servicios de salud, es posible determinar la causa de esta carencia, lo que
16
Diario Oficial de la Federación. Ley General de Desarrollo Social. 20 de enero de 2004. De acuerdo con el
artículo 6, los derechos para el desarrollo social o derechos sociales son los relativos a la no discriminación, a la
educación, a la salud, a la alimentación, a la vivienda, al disfrute de un medio ambiente sano, al trabajo y a la
seguridad social.
17
Concepto descrito en el Diario Oficial de la Federación. 16 de Junio de 2010.
79
ayuda a identificar con mayor precisión cuál es el bien y servicio necesario y la acción que se
debe hacer para proporcionarlo. De acuerdo con lo anterior, el concepto de carencias
sociales permite tener una idea clara y precisa del resultado que se busca obtener en la
población objetivo. En este sentido, tanto el objetivo específico como el resumen narrativo
tendrían que estar orientados a lograr la disminución de las carencias sociales de los
jornaleros agrícolas y sus familias, obedeciendo a la metodología establecida por el Coneval
para este caso.
Componentes
De acuerdo con lo señalado en el análisis del Propósito de la MIR 2012 acerca de la poca
claridad del Propósito en cuanto a los alcances del resultado que el programa espera alcanzar
en la población objetivo con el término “ampliar capacidades”, no es posible determinar si
los bienes y servicios entregados en los Componentes son los suficientes y necesarios para su
logro.
Asimismo, en la redacción del Propósito se menciona que “mediante apoyos en alimentación,
salud, infraestructura, educación e información, así como con la promoción de su acceso a
los servicios básicos”; sin embargo, estos bienes y servicios no se ven reflejados en la
redacción de los Componentes debido a que se establecen como “1. Apoyo económico
directo a la Población Jornalera Agrícola”, “2. Apoyo entregado para la Infraestructura” y “3.
Servicios de acompañamiento otorgados y acciones realizadas para el desarrollo de
habilidades personales en beneficio de la población jornalera”. En el primero y el segundo no
es posible determinar a qué apoyo se refiere (económico, en especie) y en el tercero no es
posible determinar a qué se refieren los “servicios de acompañamiento”. Asimismo, existen
bienes y servicios otorgados por el programa que no se identifican en la MIR y que sí se
especifican en las ROP. Por ejemplo, los apoyos alimenticios y de becas. Los Lineamientos
para la vinculación de la Matriz de Indicadores para Resultados y las Reglas de Operación de
los programas correspondientes,18 establecen que los tipos de apoyo establecidos en el
apartado de “características de los apoyos” de las ROP deberán corresponder en relación uno
a uno, a los Componentes de la MIR.
4.4.2. Propuesta de mejoras para MIR 2013: Fin y Propósito
Con base en el análisis de los resúmenes narrativos de la MIR 2012, a continuación se
presentan algunas propuestas de mejora a nivel Fin y Propósito para la MIR 2013.
Fin
“Contribuir a la disminución de la vulnerabilidad de los jornaleros agrícolas y sus familias”.
El resumen narrativo es adecuado en virtud de que los bienes y servicios otorgados por el
programa se relacionan con las carencias sociales que definen la vulnerabilidad. Además,
18
Oficio circular No. 307-A.-2009 y No. VQZ.SE.284/08
80
dichas carencias están alineadas con el concepto de vulnerabilidad que se utiliza en la
metodología para la medición de la pobreza de Coneval.
Propósito
“La población jornalera agrícola y sus familias disminuyen su vulnerabilidad y carencias
mediante la promoción y el acceso a educación, salud, asistencia social, vivienda,
alimentación y cohesión social”.
4.5. Análisis de los indicadores de la MIR 2012
4.5.1. Indicadores de la MIR 2012
Fin
Los cambios que se han hecho en los indicadores de 2007 a 2012, a nivel de Fin, no
responden a los comentarios más importantes realizados por las diversas instancias,
especialmente a los de Coneval, en el sentido de la falta de pertinencia y relevancia del
indicador actual. El indicador de “Porcentaje de Jornaleros Agrícolas o integrantes del hogar
que perciben mejoría en sus condiciones de vida respecto de los entrevistados” no mide un
factor relevante ni guarda una relación directa con la variable de protección social que
aparece en el Objetivo General de las ROP y en el resumen narrativo de la MIR. No es claro
qué se considera en el indicador por condiciones de vida y si esto significa que las familias
realizan un menor manejo del riesgo, por lo cual la lógica horizontal en este nivel se rompe;
menos aún corresponde el indicador con la variable de "vulnerabilidad" que propone el
equipo metaevaluador en lugar de la "protección social".
Además, conforme a la MML y a las buenas prácticas en el diseño de indicadores de
resultados, las mediciones de percepción de los beneficiarios se usan mayormente en los
niveles de Componentes debido a que corresponden a indicadores de calidad que buscan
evaluar atributos de los bienes o servicios producidos respecto a normas o referencias
externas.19 Finalmente, en la medida que el indicador actual no contempla ningún grupo o
variable de control, tampoco permite medir el impacto atribuible al programa en la variable
de interés, sino que implícitamente se atribuye al programa todo el impacto o variación en
las condiciones de vida de los beneficiarios, lo cual resulta claramente inadecuado.
19
En el documento de Formulación de programas con la metodología de marco lógico (Aldunate y Córdoba,
2011) se establece que en algunos casos es posible usar indicadores de percepción a nivel de Propósito, pero se
establece que a nivel de Fin se miden indicadores de eficacia que dan cuenta de los impactos y efectos directos
de los programas sobre las conductas y las condiciones objetivas de la población objetivo, que no se reflejan
normalmente en preguntas de opinión, percepción o satisfacción. En todo caso, el tipo de preguntas antes
mencionadas puede proporcionar información útil para la operación —a nivel de Componentes o Actividades—,
pero su utilización para medir resultados suele verse afectada por diversos factores, como sesgos en el diseño
de los cuestionarios, respuestas inducidas para recibir un beneficio o por el miedo a perderlo, así como por
factores circunstanciales o coyunturales, entre otros.
81
Propósito
Los cambios en los indicadores a nivel de Propósito que se han hecho de 2007 a 2012 en
general no son consistentes con los comentarios realizados por las diversas instancias. Por un
lado, el indicador de “Permanencia en el aula de la población beneficiaria infantil de 6 a 18
años durante el periodo de medición”, no corresponde con el factor relevante del resumen
narrativo asociado a la ampliación de capacidades de la población jornalera agrícola y sus
familias, por lo que se rompe la lógica horizontal. Por otro lado, el indicador de “Población
Jornalera Agrícola Beneficiaria” no mide si la población ha ampliado sus capacidades sino a la
población a la que se ha apoyado; esto es un factor relevante de cualquiera de los tres
Componentes otorgados por el programa, por lo que el indicador corresponde a dicho nivel
pero no al de Propósito.
Por otra parte, en el apartado de Tipos y Montos de Apoyos de las ROP 2012 se establece
que se otorgarán apoyos económicos a los hogares jornaleros con niños y niñas que cumplan
con su corresponsabilidad, la cual consiste en la asistencia regular al aula (máximo 3 faltas
injustificadas al mes). Por lo tanto, el indicador de permanencia en el aula mide el
cumplimiento de la corresponsabilidad de los beneficiarios para poder recibir los apoyos, no
un resultado del programa. Finalmente, los indicadores actuales no contemplan ningún
grupo o variable de control, tampoco permiten medir el impacto atribuible al programa en la
variable de interés, sino que implícitamente se le atribuye todo el impacto o variación
captada.
Para tener un seguimiento más puntual de los resultados en este nivel, se sugiere plantear el
indicador como una relación de dos variables en la que se mida el desempeño del programa
con respecto a una variable de referencia —por ejemplo, con respecto al total de la
población potencial. Sin embargo, si el programa no tiene los medios o no está en su
planeación incrementar su cobertura, este indicador puede omitirse de la matriz y realizarse
un seguimiento como parte de las estadísticas del programa.
4.5.2. Propuesta de mejoras para MIR 2013: Indicadores
A continuación se emiten algunas propuestas de mejora a los indicadores de nivel Fin y
Propósito para la MIR 2013.
Fin
Para medir adecuadamente el impacto del programa a nivel de Fin y hacerlo consistente con
el resumen narrativo, se sugiere remplazar el indicador actual por otro que refleje el objetivo
central del Programa. El indicador se propone con base en la diferencia en el valor
observable de alguna variable relevante asociada al concepto de "protección social", y mejor
aún, al concepto propuesto de "vulnerabilidad", entre los beneficiarios y los no beneficiarios
comparables. Esto se puede hacer a partir de la brecha estimada de la medición de las
carencias sociales que presentan los individuos de ambos grupos.
82
Como se mencionó en la propuesta para la evaluación de impacto, entre los indicadores a
evaluar se debe de considerar los que se establezcan en la MIR en los niveles de Fin y
Propósito. En este caso, la propuesta antes referida sugirió que la metodología de
construcción del indicador de Fin debería ser lo más consistente posible con la que utiliza
Coneval para la medición multidimensional de la pobreza, y en particular para el índice de
privación social, que se basa en el número promedio de carencias de los hogares.
Así, la propuesta de indicador de Fin es la “Diferencia en la vulnerabilidad por carencias
sociales entre beneficiarios y no beneficiarios”.
La fórmula de cálculo de este indicador se propone en los siguientes términos:
Donde:
DVCS:
IVCS:
T:
C:
i:
j:
t+1:
n:
k:
Diferencia en el índice de vulnerabilidad por carencias sociales entre la
población beneficiaria y no beneficiaria.
Índice de vulnerabilidad por carencias sociales.
Tratamiento
Comparación
Individuo del grupo de tratamiento
Individuo del grupo de comparación
Periodo actual (con exposición al programa)
Submuestra del grupo de tratamiento
Submuestra del grupo de comparación
Propósito
Para medir el resultado del programa en los beneficiarios, se sugiere eliminar el indicador
actual de “Población Jornalera Agrícola Beneficiada” o reubicarlo a nivel de componente, y
construir un conjunto de indicadores de Propósito que permita medir el efecto esperado de
los Componentes:
Uno se relaciona con la prevalencia de rezago educativo en los hogares de jornaleros
agrícolas, medido en forma similar a como lo hace el Coneval.
Otro busca medir el acceso efectivo a los servicios de salud así como la incorporación
a un sistema de retiro.
Un tercero se propone medir la calidad de la vivienda, entendida como los materiales
utilizados en su construcción, así como el número de personas que habitan por cuarto
(hacinamiento).
Otro más busca medir los servicios básicos con los que cuenta la vivienda, como agua
entubada, servicio de drenaje y energía eléctrica.
El último se relaciona con el grado de inseguridad alimentaria, entendida como
disponibilidad, acceso y consumo de los alimentos.
83
En todos los casos, se propone hacer las comparaciones respecto de grupos de control de no
beneficiarios, para solucionar el problema de atribución. Así, la propuesta de indicadores de
indicadores de propósito abarca los siguientes:
1. Diferencia de la población de seis a dieciocho años que no cuenta con la educación
básica obligatoria y no asiste a un centro de educación formal, entre beneficiarios y
no beneficiarios.
La fórmula de cálculo de este indicador se propone en los siguientes términos:
Donde:
DPSE:
PSE:
T:
C:
t+1:
Diferencia simple de la proporción de jóvenes de 6-18 años sin educación
básica y que no asisten a un centro de educación formal entre la población
beneficiaria y no beneficiaria.
Proporción de la población sin educación básica y sin asistencia a un centro de
educación formal.
Tratamiento
Comparación
Periodo actual (con exposición al programa)
2. Diferencia en el acceso efectivo a servicios de salud entre la población beneficiaria y
no beneficiaria.
La fórmula de cálculo de este indicador se propone en los siguientes términos:
Donde:
DASS:
PSA:
T:
C:
t+1:
Diferencia simple en la proporción de la población sin acceso efectivo a
servicios de salud entre la población beneficiaria y no beneficiaria.
Población sin acceso efectivo a servicios de salud.
Tratamiento
Comparación
Periodo actual (con exposición al programa)
3. Diferencia en la calidad y espacios de la vivienda de la población entre beneficiarios y
no beneficiarios.
La fórmula de cálculo de este indicador se propone en los siguientes términos:
84
Donde:
DCV:
ICV:
T:
C:
i:
j:
t+1:
n:
k:
Diferencia en la calidad de la vivienda entre la población beneficiaria y no
beneficiaria.
Índice de calidad de la vivienda
Tratamiento
Control
Vivienda del grupo de tratamiento
Vivienda del grupo de comparación
Periodo actual (con exposición al programa)
Submuestra del grupo de tratamiento
Submuestra del grupo de comparación
4. Diferencia en la disposición efectiva de servicios básicos en la vivienda de la población
beneficiaria y no beneficiaria.
La fórmula de cálculo de este indicador se propone en los siguientes términos:
Donde:
DISBV:
IDSB:
T:
C:
i:
j:
t+1:
n:
k:
Diferencia en la disposición de servicios básicos en la vivienda entre la
población beneficiaria y no beneficiaria.
Índice de disposición de servicios básicos de la vivienda
Tratamiento
Control
Vivienda del grupo de tratamiento
Vivienda del grupo de control
Periodo actual (con exposición al programa)
Submuestra del grupo de tratamiento
Submuestra del grupo de control
5. Diferencia en el nivel de inseguridad alimentaria en los hogares de la población
beneficiaria y no beneficiaria.
La fórmula de cálculo de este indicador se propone en los siguientes términos:
85
Donde:
DNSA:
ISA:
T:
C:
i:
j:
t+1:
n:
k:
Diferencia en el nivel de seguridad alimentaria entre la población beneficiaria y
no beneficiaria.
Índice de seguridad alimentaria (acceso a la alimentación)
Tratamiento
Control
Hogar del grupo de tratamiento
Hogar del grupo de control
Periodo actual (con exposición al programa)
Submuestra del grupo de tratamiento
Submuestra del grupo de control
Finalmente, una alternativa adicional para la medición a nivel de Propósito consiste en
construir un Índice de vulnerabilidad de los jornaleros agrícolas (IVJA), compuesto a partir de
las variables antes señaladas.
Los indicadores sugeridos se pueden construir de acuerdo a la metodología de medición de la
pobreza del Coneval, y en particular a la forma en que se construyen las carencias sociales. La
fuente de información básica deberá ser una encuesta propia con representatividad nacional
de los beneficiarios y no beneficiarios, tendiendo como unidad de selección muestral a los
campos agrícolas. Se deberá utilizar cuestionario con preguntas similares a las utilizan para la
medición de las carencias sociales, que retoman algunos reactivos del Censo Nacional de
Población y Vivienda y otros del Módulo de Condiciones Socioeconómicas de la ENIGH.
86
5. Conclusiones
Como se puede apreciar a lo largo del presente trabajo, en el periodo de 2007 a 2012 se
realizaron un total de siete evaluaciones externas al programa, en las cuales se analizaron
diversos aspectos específicos asociados a su diseño, operación y resultados. Los hallazgos de
estas evaluaciones sirvieron para identificar un conjunto de fortalezas, oportunidades,
debilidades y amenazas, así como para proponer recomendaciones; a su vez, estos
elementos derivaron en aspectos susceptibles de mejora, a los cuales se les dio seguimiento
a través de los mecanismos establecidos. La revisión permitió constatar que el programa
implementó acciones que resolvieron algunos de los problemas identificados e implicaron
diversas mejoras.
Con todo, en opinión del equipo metaevaluador y a la fecha de realización de este ejercicio,
subsisten diversas deficiencias y áreas de oportunidad identificadas en las evaluaciones
anteriores que la Sedesol y los responsables del programa deben considerar y retomar, para
mejorar su desempeño. Aquellas que se consideraron relevantes y vigentes aparecen en el
análisis FODA global, que incluye también las recomendaciones de los evaluadores originales
y, en algunos casos, notas y recomendaciones propias del equipo metaevaluador cuando se
consideró pertinente hacerlo.
Asimismo, en el desarrollo del ejercicio se analizaron evaluaciones hechas a otros programas
considerados como similares al PAJA, ya fuera en función de sus objetivos, poblaciones
atendidas o componentes particulares. El análisis derivó en diversos elementos relevantes,
incluyendo la confirmación de que, con un diseño y condiciones adecuadas, programas como
el PAJA pueden efectivamente lograr resultados en cuanto a disminuir la vulnerabilidad de la
población rural altamente carenciada. Estas evaluaciones sirvieron también para identificar
indicadores, metodologías y fuentes de información que pueden ser útiles para evaluar el
desempeño del programa.
En cuanto a la agenda de evaluación 2013-2018, se propuso una secuencia lógica y ordenada
de las evaluaciones a realizar al programa, considerando una justificación técnica y empírica
sobre la importancia que cada ejercicio podría tener. Se propuso primero elaborar un estudio
de Diagnóstico y propuestas de atención, luego una Evaluación de diseño, posteriormente
una Evaluación de impacto, después una Evaluación de procesos, y finalmente una
Evaluación de consistencia y resultados. Esta secuencia buscó brindar una base sólida de
datos, análisis y estrategia para anclar el diseño, la operación y los resultados del programa
durante la siguiente administración federal, de forma tal que cada año se puedan informar
los cambios y refinamientos en diversos aspectos relevantes.
Dada la importancia de corroborar en los hechos los cambios que el PAJA puede generar para
revertir el problema que le dio origen, la metaevaluación incorporó una propuesta más
detallada para una evaluación de impacto. En ella, se describieron la metodología y las
fuentes de información necesarias para llevar a cabo la evaluación, conforme a los
estándares y mejores prácticas en la materia, a la naturaleza de las variables específicas a
87
medir así como a las características específicas del programa. La propuesta se acompañó de
un análisis de pertinencia y de viabilidad técnica y financiera, que justifica la necesidad de
realizar este tipo evaluación al programa.
Como un elemento de valor agregado que complementa los análisis previos, se desarrollaron
una serie de reflexiones y recomendaciones sobre la situación actual del PAJA, que si bien
construyen sobre el análisis de las evaluaciones antes revisadas, en algunos casos llegaron a
conclusiones distintas al replicar los ejercicios metodológicos de forma más amplia y
rigurosa. Estas reflexiones y recomendaciones son responsabilidad exclusiva del
metaevaluador, y se enfocaron principalmente en aspectos asociados al diseño del
programa. Por su importancia, se enfatizó y se elaboró ampliamente sobre la identificación y
especificación del problema focal así como sobre la definición de sus objetivos. Las
reflexiones y recomendaciones de esta sección respetaron los elementos básicos del diseño y
la lógica interna actuales del programa; por lo tanto, sólo se propuso mejorar la consistencia
de dichos elementos básicos del programa, a efecto de mejorar su desempeño. Un análisis
más amplio de la adecuación del diseño, operación y resultados del programa queda fuera
del alcance de esta metaevaluación, y sería en su caso objeto de otro estudio.
Finalmente, también entre 2007 y 2012 distintas instancias normativas, fiscalizadoras y
evaluadoras hicieron una serie de observaciones y recomendaciones para mejorar las
matrices de indicadores de resultados del PAJA, tanto en sus resúmenes narrativos como en
los indicadores para monitoreo. Cabe señalar que, en opinión del equipo metaevaluador,
algunas de estas observaciones y recomendaciones no necesariamente fueron adecuadas ni
eran consistentes entre sí; por otro lado, a pesar de los cambios que sí se implementaron, en
algunos casos subsisten deficiencias y áreas de oportunidad. Por ello, y considerando la
historia de los cambios en la MIR y lo que falta por hacer, el equipo metaevaluador
recomendó algunas mejoras y refinamientos en los resúmenes narrativos y los indicadores
del programa en los niveles de Fin y Propósito, respetando el diseño básico actual y los
resultados que se esperan del mismo.
88
6. Bibliografía
6.1. Documentos sobre el programa
Abreu, Raúl. (2011). Evaluación Específica de Desempeño 2010-2011 del Programa de
Atención a Jornaleros Agrícolas. (EED10/11-ABREU).
Banegas, Israel. (2010). Evaluación Específica de Desempeño del Programa de Atención a
Jornaleros Agrícolas. (EED09/10-BANEGAS).
PAJA (2008-2012). Fichas Técnicas de la Matriz de Indicadores de Resultados del Programa
Atención a Jornaleros Agrícolas
Secretaría de Desarrollo Social. (2010). Diagnóstico del Programa de Atención a Jornaleros
Agrícolas.
Secretaría de Desarrollo Social (2007). Evaluación de Diseño 2007 del Programa Atención a
Jornaleros Agrícolas
Secretaría de Desarrollo Social (2008). Informe de la Evaluación Específica de Desempeño del
Programa Atención Jornaleros Agrícolas.
Secretaría de Desarrollo Social (2008-2012). Matriz de Indicadores de Resultados del
Programa Atención a Jornaleros Agrícolas.
Secretaría de Desarrollo Social (2007-2012). Reglas de Operación del Programa Atención a
Jornaleros Agrícolas.
Secretaría de Desarrollo Social (2008). Evaluación de Procesos 2008 del Programa Atención a
Jornaleros Agrícolas.
Secretaría de Desarrollo Social (2011). Nota sobre Población Potencial y Población Objetivo
del Programa Atención a Jornaleros Agrícolas.
Secretaría de Desarrollo Social (2008). Evaluación Específica de Desempeño del Programa de
Atención a Jornaleros Agrícolas. Posición Institucional.
Secretaría de Desarrollo Social (2009-2010). Informe de la Evaluación Específica de
Desempeño del Programa de Atención a Jornaleros Agrícolas. Posición Institucional.
Secretaría de Desarrollo Social (2009). Evaluación Específica de Desempeño del Programa de
Atención a Jornaleros Agrícolas. Posición Institucional.
89
Secretaría de Desarrollo Social (2010-2011). Informe de la Evaluación Específica de
Desempeño del Programa de Atención a Jornaleros Agrícolas. Posición Institucional.
Secretaría de Desarrollo Social (2010). Evaluación Específica de Desempeño del Programa de
Atención a Jornaleros Agrícolas. Posición Institucional.
Secretaría de Desarrollo Social (2011). Nota sobre Población Potencial y Población Objetivo
del Programa Atención a Jornaleros Agrícolas (PAJA).
Secretaría de Desarrollo Social (2012). Evaluación de Consistencia y Resultados (2011-2012)
del Programa Atención a Jornaleros Agrícolas. Posición Institucional.
Secretaría de Hacienda y Crédito Público. (2008, 2010, 2011). Histórico de Aspectos
Susceptibles de Mejora del Programa Atención a Jornaleros Agrícolas (PAJA).
Zenteno, René. (2008). Evaluación Específica de Desempeño 2008-2009 del Programa de
Atención a Jornaleros Agrícolas. (EED08/09-ZENTENO).
6.2. Documentos de otros programas similares
Levine Sebastian, Van Der Berg Servaas, Yu Derek (2009) Measuring the impact of social cash
transfer on poverty and inequality in Namibia. Stellenbosch Economic Working
Papers: 25/09, Universiteit Stellenbosch, Bureau for Econoci Research, 55pp.
Powell, Christine A, et. al. (1998). “Nutrition and education: a randomized trial of the effects
of breakfast in rural primary school children1–3”. American Society for Clinical
Nutrition, The American Journal of Clinical Nutrition, 873-879 pp.
6.3. Documentos normativos y programáticos
Consejo Nacional de Evaluación de la Política de Desarrollo Social (2010). Diagnóstico de
Matrices de Indicadores para Resultados 2010. Principales Hallazgos.
Consejo Nacional de Evaluación de la Política de Desarrollo Social (2008). Informe de
Evaluación de la Política de Desarrollo Social en México.
Consejo Nacional de Evaluación de la Política de Desarrollo Social (2007). Modelo de TDR de
la Evaluación de Consistencia y Resultados 2007, Anexo 02, Nota Técnica con los
Principales Conceptos de la Matriz de Indicadores.
90
Secretaría de Hacienda y Crédito Público, Secretaría de la Función Pública y Consejo Nacional
de Evaluación de la Política de Desarrollo Social (2007). Lineamientos Generales para
la Evaluación de los Programas Federales de la Administración Pública Federal.
Secretaría de Hacienda y Crédito Público y Consejo Nacional de Evaluación de la Política de
Desarrollo Social (2010) Guía para la Construcción de la Matriz de Indicadores para
Resultados.
Secretaría de Hacienda y Crédito Público y Consejo Nacional de Evaluación de la Política de
Desarrollo Social (2010). Guía para el Diseño de Indicadores Estratégicos.
Secretaría de Hacienda y Crédito Público (2008). Oficio Circular 307-a.-1593, Lineamientos
Generales para el Proceso de Programación y Presupuestación para el Ejercicio Fiscal
2008, Anexo Dos: Metodología para la Elaboración de la Matriz de Indicadores de los
Programas Presupuestarios de la APF. Unidad de Política y Control Presupuestario.
Secretaría de Hacienda y Crédito Público (2007). Circular 307-A-0221. Lineamientos para la
Actualización de la Matriz de Indicadores de los Programas Presupuestarios y la
Elaboración de los Calendarios de Metas de los Indicadores del Presupuesto de
Egresos de la Federación para el Ejercicio Fiscal 2008. Unidad de Política y Control
Presupuestario.
6.4. Documentos teóricos y metodológicos
Aldunate, Eduardo. (2004). “Metodología del Marco Lógico”. Boletín del Instituto, 15,
Latinoamericano y del Caribe de Planificación Económica y Social (ILPES). Santiago de
Chile.
Aldunate, Eduardo y Julio Córdoba. (2011). “Formulación de programas con la metodología
de marco lógico”. Serie Manuales, 45, ILPES-CEPAL, Santiago de Chile.
Baker, Judy (2000) Evaluación del impacto de los proyectos de desarrollo en la pobreza.
Manual para profesionales. Banco Mundial.
Bonnefoy, Juan Cristóbal y Marianela Armijo. (2005). “Indicadores de desempeño en el sector
público”. Serie Manuales, 45, ILPES-CEPAL, Santiago de Chile.
Camacho Hugo, et. al. (2001). El enfoque del Marco Lógico: 10 casos prácticos. Cuaderno para
la identificación y diseño de proyectos de desarrollo. Madrid, Fundación Cideal.
Cohen Ernesto y Franco Rolando (2006) Evaluación de proyectos sociales, México ,Siglo XXI
91
Comisión Económica para América Latina. (2001). El uso de los indicadores socioeconómicos
en la formulación y evaluación de proyectos sociales: aplicación metodológica. Serie
Manuales, 15, ILPES-CEPAL, Santiago de Chile.
Comisión Económica para América Latina (2004). Uso de los indicadores socioeconómicos en
la evaluación de impacto de proyectos y programas de lucha contra la pobreza. Serie
Manuales, ILPES-CEPAL, La Paz, Bolivia.
Comisión Económica para América Latina Frechtling Joy y Sharp Laure (1997): User Friendly
Handbook for Mixed Method Evaluations, National Science Foundation, RED 9452965, Division of Research, Evaluation and Communication, 131 pp.
Díaz, Luis Fernando. (2001). “La metaevaluación y su método”, Revista de Ciencias Sociales,
Vol. II-III, Número 92-93, pp. 171-192, Universidad de Costa Rica.
European System of Integrated Social PROteccion Statistics (ESSPROS, 2011), Eurostar,
European Commission, Methodologies and Working Papers; ISSN 1977-0375,
Luxemburgo, 93 pp.
Glass, G.V., McGraw, B., & Smith, M. L., (1981). Meta-analysis in social research. Beverly Hills:
Sage Publications.
King Gary, Keohane Robert O. & Verba Sidney (1994) Designing Social Inquiry: Scientific
Inference In Qualitative Research, Princeton University Press, 300 pp.
Martin, Paula H. (1982). Meta-Analysis, Meta-Evaluation and Secondary Analysis.
Washington, DC: ERIC Clearinghouse.
Morra Linda y Friedlander Amy C. (2001) Evaluaciones mediante Estudios de Caso,
Departamento de Evaluación de Operaciones del Banco Mundial, Washington, 25 pp.
Nuñez Jairo, Espinosa Silvia (2005) Pobreza y Protección Social, Programa de las Naciones
Unidas para el Desarrollo; Colombia, 19 pp.
Programa de las Naciones Unidas para el Desarrollo, 2000
Ravallion, Martin (2001) The Mystery of the Vanishing Benefits: An Introduction to Impact
Evaluation; The World Bank Economic Review, Vol. 15, No. 1, 115-140.
Scriven, Michael. (1991). Evaluation Thesaurus. Newbury Park: SAGE Publications.
Sherman Lawrence, Strang Heather, et.al. (2004) Victim Evaluations of Face-to Face
Restorative Justice Conferences: A Quasi Experimental Analysis, Journal of Social
Issues, Vol.62, No. 2, pp. 281-306
92
WIDER-ONU (1988) United Nations University, World Institute for Development Economics
Research.
93
7. Anexos
7.1. Anexo 1 “Síntesis de Evaluaciones 2007-2012”.
7.2. Anexo 2 “Síntesis de Evaluaciones de programas similares internacionales”.
7.3. Anexo 3. “Agenda de evaluación”
7.4. Anexo 4. “FODA”
7.5. Anexo 5. “Análisis histórico y propuestas de mejora de la MIR”
94