PAL Metaevaluacion1

Secretaría de Desarrollo Social
Meta evaluación 2007-2012 del
Programa de Apoyo Alimentario
Informe Final
Institución a cargo del proyecto:
Universidad Autónoma de Chiapas
Centro Universidad - Empresa
Coordinador General:
Jorge Mario Soto Romero
Responsable Administrativo
Alfredo Martínez de la Torre
Investigadores:
Ricardo A. Belman Martínez
Alida Marcela Gutiérrez Landeros
Melissa Rodríguez Segura
Tuxtla Gutiérrez, Chiapas
23 de Octubre de 2012
1
Resumen ejecutivo
La presente Meta evaluación 2007-2012 del Programa de Apoyo Alimentario (PAL) tiene como
objetivo analizar los avances y logros en materia de evaluación y monitoreo durante el periodo
2007-2012, así como identificar áreas de oportunidad que permitan al programa obtener
mejores resultados en próxima administración federal.
Así, los principales resultados del PAL en materia de evaluación son los siguientes:
Principales fortalezas y oportunidades:
 El PAL atiende a población pobre de localidades rurales dispersas donde el Programa de
Desarrollo Humano Oportunidades no puede operar por falta de acceso a servicios de
educación o de salud o en otro tipo de localidades donde no hay capacidad de atención
por parte de los servicios de salud bajo el esquema de Oportunidades.
 Brinda a la población vulnerable la posibilidad de mejorar su nutrición y salud mediante
los apoyos monetarios y los complementos alimenticios.
 Cuenta con criterios de elegibilidad claros y con procedimientos adecuados para la
identificación y selección de beneficiarios.
 El proceso de transferencia de recursos y entrega de apoyos cumple con lo establecido
en las ROP; se basa en procedimientos documentados, estandarizados, sistematizados y
difundidos públicamente, y es eficaz y eficiente.
 El PAL tiene el potencial de funcionar como un programa previo a Oportunidades para
atender a la población en condición de pobreza en caso de que se pretenda
eventualmente ampliar el acceso a los servicios de educación y/o de salud para permitir
así la entrada de Oportunidades.
Principales debilidades y amenazas:
 El problema focal y los objetivos del programa no están correctamente identificados y
claramente definidos, pues subsisten ambigüedades e inconsistencias importantes.
 El tránsito de los hogares del PAL a Oportunidades está limitado principalmente por la
cobertura y capacidad de los servicios de educación y de salud en las localidades.
 No se abarca un horizonte de mediano y largo plazo para ir atendiendo a la población
objetivo del programa
 Los cambios en los indicadores de Fin y Propósito no han respondido cabalmente a los
comentarios de las diversas instancias.
 No se han realizado evaluaciones de impacto, por lo que no se conocen los verdaderos
efectos e impactos imputables al programa.
Hallazgos sustantivos y metodológicos relevantes de otros programas similares:
 Se puede mejorar significativamente la nutrición infantil mediante transferencias
focalizadas pero no condicionadas de ingreso, especialmente si se logra atender a las
familias con niños desde edades muy tempranas y al menos hasta el nivel prescolar.
2



Las transferencias no condicionadas también pueden lograr ganancias relevantes en la
salud de niños y adultos, aún sin mejoras en el acceso a los servicios de salud, por medio
de la mejora en el estado físico y el incremento del gasto en salud.
Los principales impactos de las transferencias no condicionadas se dan en la seguridad
alimentaria, y particularmente como mecanismo de protección ante choques
económicos, demográficos y estacionales. Esto puede ocurrir a través de una mayor
producción agrícola (disponibilidad); el incremento del gasto y la variedad de los
alimentos así como en la reducción de comidas perdidas (acceso); y en la reducción de
las enfermedades producto del incremento en el gasto en el cuidado de la salud (uso).
Apoyos en especie como los desayunos escolares y los suplementos y complementos
alimenticios han mostrado buenos resultados nutricionales, por lo que se podrían
explorar arreglos alternativos para combinar los apoyos en efectivo y en especie.
Agenda de evaluación propuesta:
 2013: Diagnostico y propuestas de atención
 2014: Evaluación de diseño.
 2015-2016: Evaluación de impacto.
 2017: Evaluación estratégica de desempeño de los programas sociales alimentarios.
 2017: Evaluación de procesos.
 2018: Evaluación de consistencia y resultados.
Sugerencias para la evaluación de impacto:
 Evaluar el impacto del programa sobre la nutrición de los niños y de las mujeres
embarazadas y en lactancia y sobre la morbilidad de los miembros de los hogares, así
como en la seguridad alimentaria (acceso a los alimentos) de los hogares, en los niveles
de Fin y Propósito respectivamente.
 El modelo sería de doble diferencia, con grupos de tratamiento y de comparación así
como levantamientos basales y de seguimiento, a partir de encuestas propias con
representatividad nacional. Se recomienda además explorar la factibilidad de utilizar los
datos del módulo de consumo diario de la ENIGH, con un modelo de diferencia simple.
 Complementariamente, se propone evaluar los posibles efectos en otros aspectos como
el gasto en salud, la producción de alimentos y la satisfacción con la vida propia.
En materia de monitoreo, y considerando el diseño actual del programa se desarrollaron las
siguientes propuestas:
Propuesta para mejorar los resúmenes narrativos:
 Fin: Contribuir al desarrollo de capacidades básicas en nutrición y salud de la población
con ingresos menores a la línea de bienestar mínimo que no tiene acceso al Programa
Oportunidades.
 Propósito: Familias beneficiarias incrementan su seguridad alimentaria
Propuesta para mejorar los indicadores:
3


Fin: (a) diferencia en el puntaje Z de crecimiento para variables seleccionadas de niños
menores de 12 años entre familias beneficiarias y no beneficiarias; (b) diferencia en la
prevalencia de anemia de mujeres embarazadas o en lactancia entre familias
beneficiarias y no beneficiarias; (c) diferencia en la incidencia de enfermedades
gastrointestinales en niños menores de 5 años entre familias beneficiarias y no
beneficiarias.
Propósito: (a) diferencia en el índice de acceso a la alimentación entre familias
beneficiarias y no beneficiarias; (b) diferencia en el consumo promedio ponderado de
alimentos básicos entre familias beneficiarias y no beneficiarias; (c) diferencia en el
gasto promedio ponderado en alimentos básicos entre familias beneficiarias y no
beneficiarias.
Finalmente, de las reflexiones complementarias del equipo metaevaluador se derivan las
siguientes recomendaciones:







Fortalecer el diseño, ampliar la cobertura e incrementar los apoyos del PAL, por su gran
potencial para reducir la vulnerabilidad, mejorar la seguridad alimentaria y disminuir la
carencia alimentaria, particularmente en las familias del decil más bajo de ingreso. Se
espera que de estos efectos se deriven impactos en nutrición y salud.
Se recomienda redefinir el problema focal, los objetivos y las poblaciones potencial y
objetivo, centrándolos en la seguridad alimentaria.
Eliminar la exclusión entre el PASL y el PAL o limitarla solo a aquellos individuos que
reciben complementos alimenticios, considerando las complementariedades y sinergias
en el soporte nutricional y la prevención de enfermedades.
Desarrollar un esquema operativo que facilite el transito de las familias del PAL hacia
Oportunidades, en los casos en que éstas sean elegibles, a través de la adecuación y
flexibilización de los criterios para la selección de localidades, los requisitos de
corresponsabilidad de las familias y los mecanismos de verificación de cumplimiento de
Oportunidades, para atender a quienes viven en localidades con déficits en la cobertura
y capacidad de los servicios educativos y de salud.
Incrementar los montos máximos del conjunto de apoyos del PAL para acercarlos más a
los que entrega Oportunidades, considerando que las familias del primero son, por
definición, más carenciadas que las del segundo.
Explorar alternativas para ampliar y diversificar la entrega de apoyos en especie,
incluyendo vales canjeables por alimentos fortificados (leche Liconsa y harina Mi Masa).
Buscar nuevas formas de coordinación, complementación y sinergias con
Oportunidades, PAR y PASL, para mejorar la atención a las familias más pobres.
4
Índice de contenido
Resumen ejecutivo.......................................................................................................................... 2
1
2
Introducción ............................................................................................................................ 7
Descripción del Programa ....................................................................................................... 8
2.1
2.2
2.3
2.4
2.5
3
Antecedentes y objetivos .......................................................................................................... 8
Problema focal y árbol de problemas ........................................................................................ 8
Población potencial y población objetivo ................................................................................ 11
Apoyos otorgados .................................................................................................................... 11
Evolución de la cobertura ........................................................................................................ 12
Reporte de evaluación .......................................................................................................... 13
3.1
Principales resultados de las evaluaciones 2007-2011 ............................................................ 14
3.1.1 Evaluación de Consistencia y Resultados (ECR 2007) .......................................................... 14
3.1.2 Evaluación de Diseño (ED 2009) .......................................................................................... 16
3.1.3 Evaluación Específica de Desempeño (EDD 2008) ............................................................... 17
3.1.4 Evaluación Específica de Desempeño (EDD 2009-2010)...................................................... 18
3.1.5 Evaluación Específica de Desempeño (EDD 2010-2011)...................................................... 20
3.1.6 Evaluación de Consistencia y Resultados (ECR 2011-2012) ................................................. 21
3.2
Análisis de evaluaciones de resultados o de impacto en el ámbito nacional o internacional de
programas similares ............................................................................................................................. 23
3.2.1 Subsidio de apoyo infantil, Sudáfrica................................................................................... 23
3.2.2 Esquema piloto de trasferencias sociales de Mchinji, Malawi............................................. 25
3.2.3 Desayunos escolares en zonas rurales, Jamaica. ................................................................. 28
3.3
Agenda de evaluación para el periodo 2013-2018 .................................................................. 31
3.3.1 2013: Diagnóstico y propuestas de atención ....................................................................... 33
3.3.2 2014: Evaluación de diseño ................................................................................................. 33
3.3.3 2015-2016: Evaluación de Impacto ..................................................................................... 34
3.3.4 2017 Evaluación estratégica de desempeño de los programas sociales alimentarios ......... 35
3.3.5 2017: Evaluación de procesos ............................................................................................. 35
3.3.6 2018: Evaluación de cconsistencia y resultados .................................................................. 36
3.4
Análisis de viabilidad y pertinencia para las evaluaciones de impacto .................................... 37
3.4.1 Pertinencia de la evaluación ................................................................................................ 37
3.4.2 Aspectos a evaluar .............................................................................................................. 38
3.4.3 Metodologías y fuentes de información .............................................................................. 40
3.4.4 Viabilidad técnica y financiera ............................................................................................. 43
3.5
Principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones ................ 45
3.6
Análisis de la contribución de los programas alimentarios a la reducción de la carencia de
acceso a la alimentación ....................................................................................................................... 51
3.6.1 Aspectos conceptuales y de diseño programático .............................................................. 51
3.6.2 Potencial de contribución de cada programa ...................................................................... 52
3.6.3 Programa de Desarrollo Humano Oportunidades y Programa de Apoyo Alimentario ........ 53
3.6.4 Programa de Abasto Social de Leche ................................................................................... 54
3.6.5 Programa de Abasto Rural ................................................................................................... 54
3.6.6 Conclusiones y recomendaciones sobre los programas y la carencia .................................. 55
3.7
Reflexiones y recomendaciones complementarias del metaevaluador ................................... 56
5
3.7.1
3.7.2
3.7.3
3.7.4
4
Sobre el problema focal y las poblaciones potencial y objetivo .......................................... 56
Sobre la mutua exclusión entre el PASL y el PAL ................................................................. 58
Sobre la cobertura y focalización......................................................................................... 60
Sobre los apoyos que otorga el PAL .................................................................................... 61
Reporte de monitoreo .......................................................................................................... 63
4.1
Introducción ............................................................................................................................ 63
4.2
Análisis histórico de la Matriz de Indicadores para Resultados 2007-2012 ............................. 64
4.2.1 Principales cambios de la Matriz de Indicadores 2007-2012 ............................................... 64
4.2.2 Análisis 2008-2009 .............................................................................................................. 64
4.2.3 Análisis 2009-2010 .............................................................................................................. 67
4.2.4 Análisis 2010-2011 .............................................................................................................. 68
4.2.5 Análisis 2011-2012 .............................................................................................................. 69
4.3
Principales comentarios a la Matriz de Indicadores 2008-2012 .............................................. 70
4.3.1 Fin........................................................................................................................................ 71
4.3.2 Propósito ............................................................................................................................. 72
4.3.3 Componentes ...................................................................................................................... 73
4.3.4 Comentarios generales ........................................................................................................ 74
4.4
Análisis del resumen narrativo de la Matriz de Indicadores para Resultados 2012 ................. 75
4.4.1 Análisis de la MIR 2012 y vínculo con las Reglas de Operación ........................................... 75
4.4.2 Propuesta de mejoras para MIR 2013 ................................................................................. 76
4.5
Análisis de los indicadores de Fin y de Propósito ..................................................................... 77
4.5.1 Indicadores de la MIR 2012 ................................................................................................. 77
4.5.2 Propuesta de mejoras para indicadores MIR 2013 .............................................................. 78
5
6
Conclusiones ......................................................................................................................... 82
Bibliografía ............................................................................................................................ 84
6.1
6.2
6.3
6.4
7
Documentos sobre el programa .............................................................................................. 84
Documentos de otros programas similares ............................................................................. 86
Documentos normativos y programáticos ............................................................................... 87
Documentos teóricos y metodológicos ................................................................................... 87
Anexos ................................................................................................................................... 89
7.1
7.2
7.3
7.4
7.5
Anexo 1: Síntesis de Evaluaciones 2007-2012 ......................................................................... 89
Anexo 2: Síntesis de Evaluaciones de programas similares internaciones ............................... 89
Anexo 3: Agenda de evaluación ............................................................................................... 89
Anexo 4: FODA ......................................................................................................................... 89
Anexo 5: Análisis histórico y propuestas de mejora de la MIR................................................. 89
6
1
Introducción
Conforme a los Lineamientos Generales para la Evaluación de los Programas Federales de la
Administración Pública Federal (Lineamientos), el numeral vigésimo cuarto, define las
evaluaciones complementarias, como aquellas que no se encuentran previstas en el Programa
Anual de Evaluación (PAE), y cuya aplicación está a consideración de las necesidades que
identifiquen las dependencias o entidades.
En este sentido, al ser interés particular de la Sedesol contar con información acerca del
desempeño y resultados de los Programas Sociales, y con base en la información disponible de
evaluación y monitoreo, se plantea una evaluación complementaria, denominada
“Metaevaluación 2007-2012 para el Programa de Apoyo Alimentario (PAL)”.
El objetivo general de la evaluación es analizar los avances y logros en materia de evaluación y
monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad en dichos
temas, que permitan al programa obtener mejores resultados en el periodo 2013-2018. Este
objetivo general posteriormente se desarrollará en una serie de objetivo específicos, a los
cuales se les da cumplimiento formal en los diversos apartados de documento.
El desarrollo de la metaevaluación del PAL comienza con la descripción general del programa a
partir de lo establecido en diversos documentos normativos y técnicos básicos, así como las
evaluaciones externas recientes. Inicia con una presentación general, deteniéndose luego en
aspectos centrales como los objetivos, el problema focal que se busca revertir y las relaciones
de causa y efecto asociadas a dicho problema.
Posteriormente, en el apartado de evaluación se presenta una síntesis de cada una de las
evaluaciones externas que se realizaron al programa en el período 2007-2012; se analizan
evaluaciones de resultados o impacto de programas similares al PAL; se propone una agenda de
evaluación para el periodo 2013-2018; se enuncian principales fortalezas, oportunidades,
debilidades, amenazas y recomendaciones derivadas de las evaluaciones realizadas al
programa, y se exponen las conclusiones y recomendaciones más relevantes del equipo
metaevaluador.
En el apartado de monitoreo, se hace un análisis de la evolución de la Matriz de Indicadores de
Resultados (MIR) del programa durante el período 2007-2012. El análisis histórico identifica los
principales cambios en los resúmenes narrativos y en los indicadores que componen la Matriz,
que surgieron como resultado a las observaciones y recomendaciones de diversas instancias
normativas y fiscalizadoras, así como de evaluaciones externas realizadas al programa. Así
mismo, se incluye una serie de recomendaciones del equipo metaevaluador para mejorar la
matriz hacia el inicio de la próxima administración federal.
Finalmente, se presentan las conclusiones y recomendaciones resultantes de la metaevaluación
y se incluyen una serie de anexos que refiere el contenido del documento.
7
2
Descripción del Programa
En este apartado se presenta una descripción general del programa a partir de lo establecido en
diversos documentos básicos, tales como las Reglas de Operación del Programa (ROP) 2012, el
Diagnóstico del Programa de Apoyo Alimentario 2009 (en adelante, el Diagnóstico), la Nota de
Actualización de la Población Potencial y Objetivo del PAL 2012 (en adelante, la Nota), así como
las evaluaciones externas recientes. Inicia con una presentación general, deteniéndose luego en
aspectos centrales como los objetivos, el problema focal que se busca revertir y las relaciones
de causa y efecto asociadas a dicho problema. Posteriormente, se describen los diferentes
apoyos que otorga el programa a sus beneficiarios, se identifica y cuantifica la población
potencial y objetivo, y se da cuenta de la evolución de la cobertura durante los años recientes.
2.1
Antecedentes y objetivos
El Programa de Apoyo Alimentario con clave programática S118, dependiente de la Secretaría
de Desarrollo Social (Sedesol), desde 2010 es coordinado por la Coordinación Nacional de
Programa de Desarrollo Humano Oportunidades (CNPDHO) e inició sus operaciones en el año
2000.
Las ROP del PAL señalan que éste forma parte de la estrategia del Ejecutivo Federal para
promover, en el marco de una política social integral, acciones que contribuyan al
cumplimiento del derecho a la alimentación y a la nutrición en las familias en condición de
pobreza, aspecto que deriva tanto del Plan Nacional de Desarrollo 2007-2012 (PND) como del
Programa Sectorial de Desarrollo Social 2007-2012 (PSDS), en los cuales ese derecho ocupa un
lugar central para el desarrollo de capacidades básicas. El PAL provee apoyos monetarios y en
especia para cubrir los déficits alimentarios y prevenir la desnutrición de la población más
pobre.
Su documento normativo define el objetivo general del PAL como: “Contribuir al desarrollo de
las capacidades básicas de los beneficiarios, mediante la realización de acciones que permitan
mejorar su alimentación y nutrición”. El objetivo específico se establece en términos de:
“Mejorar la alimentación y la nutrición de las familias beneficiarias, en particular de los niños
menores de 5 años y de las mujeres embarazadas o en periodo de lactancia”.
2.2
Problema focal y árbol de problemas
El problema central que aborda el Programa se define en su Nota 2012 como la “persistencia
de desnutrición crónica, anemia y deficiencia de micronutrientes en familias en situación de
pobreza en localidades rurales marginadas y desatendidas por los programas de asistencia
social existentes”. Las causas identificadas se agrupan en dos tipos: 1) las relacionadas con
prácticas y hábitos para una alimentación adecuada, entre ellas se encuentran la insuficiencia
8
de servicios de salud y educación; el desconocimiento de prácticas adecuadas de alimentación,
la escasa higiene y salud; la insuficiencia en el suministro de agua y, la calidad ambiental del
entorno donde crecen los niños. 2) Las asociadas a la inseguridad alimentaria y mala
distribución de alimentos, entre ellas se destacó la pobreza, desempleo y subempleo; el acceso
a alimentos ricos en macro y micronutrientes; la privatización de recursos naturales; el control
de la distribución de alimentos por grandes empresas transnacionales y dificultades de
distribución en el medio rural; el desmantelamiento de economías locales; el ameno de la tierra
y recursos forestales; y la inestabilidad políticas, migración interna y sobrepoblación en
ciudades. Todos estos factores atraviesan por dimensiones económicas, socioculturales,
políticas y ambientales.
Los efectos del problema que atiende el PAL se expresan en: a) el aumento de la vulnerabilidad
de las personas a enfermedades; b) el bajo desarrollo cognoscitivo y, c) la baja capacidad
productiva. Todas ellos a su vez asociados a situaciones como altas tasas de mortalidad y
morbilidad, malas prácticas de salud e higiene, bajo rendimiento escolar, manejo inadecuado
de recursos disponibles, acortamiento de la vida laboral y bajo rendimiento productivo. En
conjunto, estas consecuencias dan como resultado mayor pobreza y con ello la creación y
reproducción de las condiciones de marginación.
A continuación se presenta el árbol de problemas que se encuentra en el Diagnóstico 2009.
9
Fuente: Sedesol (2009), Diagnóstico sobre el acceso insuficiente a productos básicos y complementarios de la población que habita en localidades rurales de
alta y muy alta marginación.
Nota: Algunos conceptos del problema focal que aparecen originalmente en el Diagnóstico de 2009 fueron redefinidos en 2012 para la elaboración de la Nota
sobre la población potencial y objetivo del PAL, sin que se afectara la esencia del análisis.
10
2.3
Población potencial y población objetivo
La Nota de actualización de la población potencial y objetivo 2012 define a la población
potencial del programa en 2012 como aquellos hogares que tienen carencia por acceso a la
alimentación y carencia por acceso a los servicios de salud, que no son beneficiarios de
Oportunidades, de conformidad con los requisitos de elegibilidad y la metodología de
focalización establecidas en las ROP. Dicha población se cuantifica en aproximadamente 9.87
millones de hogares en 2010. 1
Respecto de la población objetivo, las Reglas de Operación 2012 señalan que son los “hogares
cuyas condiciones socioeconómicas y de ingreso impiden desarrollar las capacidades de sus
integrantes en materia de educación, nutrición y/o salud, y que no son atendidos por el
Programa Oportunidades”. De acuerdo con la Nota, el total de la población objetivo estimada
asciende a 3.2 millones de hogares en 2010.
2.4
Apoyos otorgados
De acuerdo con las ROP 2012, los apoyos que otorga el Programa se dividen en tres
modalidades:
 Apoyo alimentario. El Programa otorga apoyos monetarios directos mensuales a las
familias beneficiarias con la finalidad de elevar su estado de nutrición. Asimismo, se
hace entrega de complementos o leche fortificada, según el grupo de riesgo al que va
dirigido, con la finalidad de reforzar la alimentación y la nutrición infantil, así como la de
las mujeres embarazadas y en periodo de lactancia.
 Adicionalmente, el Programa otorga un apoyo monetario mensual llamado apoyo
alimentario Vivir Mejor, el cual tiene como propósito compensar a las familias
beneficiarias por el efecto del alza internacional de los precios de los alimentos.
 Apoyo infantil Vivir Mejor. Las familias beneficiarias con hijos de 0 a 9 años de edad
reciben bimestralmente un apoyo monetario mensual por cada menor (máximo 3 niños
por hogar) en este rango de edad para fortalecer su desarrollo.
 Apoyo especial para el tránsito al Programa Oportunidades. Las familias beneficiarias
que transiten al Programa Oportunidades recibirán un apoyo monetario en el periodo
de transición denominado “Apoyo Especial para el Tránsito a Oportunidades”, con el
propósito de proteger su economía durante ese lapso.
1
Cabe señalar que al revisar la Nota de Actualización de la Población Potencial y Objetivo 2012, el equipo
metaevaluador encontró una serie inconsistencias y ambigüedades importantes en las definiciones y en la
cuantificación de las poblaciones potencial y objetivo, que hacen dudar acerca de la validez de ambos elementos.
11
2.5
Evolución de la cobertura
La evolución de la cobertura del PAL muestra que la población atendida casi se triplica al pasar
de 253,744 hogares en 2004 a 673,547 en 2011; sin embargo, en términos absolutos la
población atendida presentó una caída continua durante 2004-2008, ya que pasó de 253,744 a
126,332 hogares; luego experimentó un importante repunte en 2009 y 2010, y observó una
ligera caída en 2011; finalmente, la cifra quedó en 673,547 familias atendidas.
Tipo de
Población
Unidad de
Medida
Potencial
Objetivo
Hogares
Atendida
%
Año
2004
Año
2005
Año
2006
Año
2007
Año
2008
Año
2009
Año
2010
Año
2011
Ne
Ne
Ne
Ne
Ne
Ne
Ne
834,729
597,705
565,835
272,301
Ne
129,603
290,950
670,000
670,000
253,744
184,121
171,247
Ne
126,332
261,969
677,027
673,547
42.5
32.5
62.9
Ne
97.5
90
101
100.5
Fuente: ECR 2011-2012, Anexo 11.
La evolución en la cobertura del PAL podría llevar a pensar que durante el periodo de análisis se
suscita un proceso de convergencia hacia la atención de la totalidad de la población potencial,
ya que el programa ha logrado atender a una población mayor aun que la población objetivo
para los años 2010 y 2011; no obstante, habría que valorar si las familias atendidas para estos
años realmente comprenden al grueso de la población considerada como población objetivo
del PAL.
12
3
Reporte de evaluación
En este apartado se presenta una síntesis de cada una de las evaluaciones externas que se
realizaron al programa en el período 2007-2012. La síntesis se enfoca en la metodología y los
principales resultados; identifica las fortalezas, oportunidades, debilidades y amenazas más
relevantes, y enuncia las recomendaciones que los evaluadores derivaron en su momento de
las evaluaciones—el Anexo 1 facilita una visión esquemática de este ejercicio.
Para establecer un punto de referencia con otras experiencias a nivel internacional,
posteriormente se muestra una síntesis de evaluaciones de resultados o impacto aplicadas a
programas, proyectos o intervenciones públicas que son similares, ya sea por algunos de sus
objetivos, componentes o poblaciones atendidas. Se trata de obtener información útil para
valorar en qué medida las acciones del programa han obtenidos resultados en otras realidades,
así como de analizar y aprovechar aquellos aspectos del esquema metodológico aplicado en
estos casos para próximas evaluaciones al programa. El Anexo 2 posibilita una visión sintética
de las evaluaciones a intervenciones similares a la que nos ocupa.
A continuación, se propone una agenda de evaluación para el período 2013-2018, que pretende
ser una guía para orientar los ejercicios que deberán hacerse al programa conforme a la
normatividad en la materia. La agenda propuesta plantea los objetivos para cada evaluación y
el período de duración, señala los componentes específicos para analizar, hace una justificación
de cada ejercicio con base en necesidades o recomendaciones identificadas en esta
metaevaluación, y propone un conjunto de insumos necesarios para llevar a cabo las
evaluaciones durante todo el período. La esquematización de la propuesta puede observarse en
el Anexo 3.
Dada la importancia de corroborar en los hechos los cambios que las intervenciones públicas
son capaces de imprimir en la realidad que buscan revertir, este apartado incorpora una
propuesta más detallada para someter al programa una evaluación de impacto. Se describen la
metodología y las fuentes de información necesarias para llevar a cabo este tipo de evaluación,
de acuerdo con la naturaleza de las variables específicas a medir así como de las características
específicas del programa. La propuesta se acompaña de un análisis de pertinencia y de
viabilidad técnica y financiera.
En este apartado se incorpora un resumen de las fortalezas, oportunidades, debilidades y
amenazas (FODA) del programa identificadas en cada evaluación analizada, acompañadas de
sus recomendaciones y propuestas asociadas. Cabe señalar que sólo se presentan aquellos
elementos que, a juicio del metaevaluador, son relevantes, en términos de su importancia e
implicaciones para el desempeño del programa, así como vigentes, en el sentido que la
situación que les dio origen lo sigue siendo en alguna medida. El FODA completo de forma
esquemática se presenta en el Anexo 4.
Finalmente, se incorpora una sección de conclusiones y recomendaciones del metaevaluador,
que si bien en su mayoría construyen sobre el análisis de las evaluaciones antes revisadas, en
13
algunos casos llegan a resultados distintos al replicar los ejercicios metodológicos de forma más
amplia y rigurosa. Estas conclusiones y recomendaciones se enfocan principalmente en
aspectos asociados al diseño, la cobertura y los impactos del programa, y son responsabilidad
exclusiva del metaevaluador.
3.1
Principales resultados de las evaluaciones 2007-2011
En este apartado se presenta una síntesis de cada una de las evaluaciones externas que se
realizaron al programa en el período 2007-2012. La síntesis se enfoca en la metodología y los
principales resultados; identifica las recomendaciones que los evaluadores derivaron en su
momento de las evaluaciones—el Anexo 1 facilita una visión esquemática de este ejercicio.
Cabe señalar que los resultados aquí presentados reflejan lo encontrado en cada evaluación en
el momento en que estas se llevaron a cabo, y no reflejan la opinión del equipo metaevaluador.
Asimismo, es necesario enfatizar que, conforme a la normatividad respectiva, los principales
hallazgos y recomendaciones de las evaluaciones externas se incorporaron en un mecanismo de
seguimiento y derivaron en aspectos susceptibles de mejora, que en su momento fueron
atendidos por los responsables de los programas. Sin embargo, por el diseño del propio
mecanismo de seguimiento y la naturaleza de los problemas que les dieron origen, algunos
hallazgos y recomendaciones importantes pueden seguir siendo vigentes a la fecha en que se
realiza la presente metaevaluación. En los casos en esto ocurra, a juicio del metaevaluador,
dichos hallazgos y recomendaciones cuyo caso se retomarán en el análisis FODA de la sección
3.5.
3.1.1 Evaluación de Consistencia y Resultados (ECR 2007)
La presente evaluación tuvo como objetivo general, evaluar la consistencia y orientación a
resultados del Programa de Apoyo Alimentario con la finalidad de proveer información que
retroalimente su diseño, gestión y resultados. Más específicamente, se propuso analizar la
lógica y congruencia en el diseño del programa, su vinculación con la planeación sectorial y
nacional, la consistencia entre el diseño y la normatividad aplicable, así como las posibles
complementariedades y/o coincidencias con otros programas federales; identificar si el
programa cuenta con instrumentos de planeación y orientación hacia resultados; examinar si el
programa ha definido una estrategia de cobertura de mediano y de largo plazo y los avances
presentados en el ejercicio fiscal evaluado; analizar los principales procesos establecidos en las
ROP o en la normatividad aplicable; así como los sistemas de información con los que cuenta el
programa y sus mecanismos de rendición de cuentas; identificar si el programa cuenta con
instrumentos que le permitan recabar información para medir el grado de satisfacción de los
beneficiarios del programa y sus resultados, y examinar los resultados del programa respecto a
la atención del problema para el que fue creado. La evaluación fue realizada por CEPNA S.C
mediante investigación de gabinete. A continuación se incluyen las principales conclusiones:
14
Diseño:
 El problema fue correctamente identificado y claramente definido, mediante un
diagnóstico actualizado y adecuado; en tanto que el Fin y el Propósito, también fueron
claramente definidos y correspondieron con el problema.
 El Programa estuvo alineado con los objetivos del Programa Sectorial de Desarrollo
Social y con el Plan Nacional de Desarrollo. Por otra parte, las lógicas vertical y
horizontal de la Matriz de Indicadores de Resultados fueron claras y válidas.
 Todos los indicadores fueron claros, relevantes, económicos, adecuados y
monitoreables. La población potencial no estuvo claramente definida, pero sí la
objetivo: “hogares en condición de pobreza que no reciban apoyos de otros programas
alimentarios federales”.
Planeación estratégica:
 Se tuvieron programas anuales, pero no hubo una planeación de mediano y largo plazo,
también se contó con indicadores y metas anuales, así como con estrategias, políticas y
programas de trabajo detallados.
Cobertura y focalización:
 No existió un método para cuantificar a las poblaciones potencial y objetivo; la
población atendida en 2007 fue de 143,423 hogares.
 No se tuvo una estrategia de cobertura de mediano y largo plazo, ya que ésta se definió
fundamentalmente en función de la de Oportunidades y Abasto Social de Leche, y
también se careció de un horizonte de permanencia en las localidades atendidas.
Operación:
 Se contó con procedimientos adecuados para seleccionar los hogares beneficiarios y se
cumplió con los criterios de elegibilidad, monto y entrega de apoyos contemplados en
las Reglas de Operación.
Percepción de la población objetivo:
 Se contó con instrumentos para medir la satisfacción de los hogares beneficiarios. En
general, la percepción sobre el programa fue favorable.
Resultados:
 No se reportó información a nivel de Propósito ni de Fin. Se realizaron dos evaluaciones
de impacto: 2003-2005 y otra en 2006, cuyos principales impactos se reportaron en
nutrición y talla para la edad, de manera modesta, pero positivos.
15
3.1.2 Evaluación de Diseño (ED 2009)
Evaluación del diseño del Programa de Apoyo Alimentario a cargo de Diconsa, S.A. de C.V. se
realizó como parte del Programa Anual de Evaluación 2009 emitido por el Coneval, la SFP y la
SHCP, el cual señala en el apartado II, numeral 15 que aquellos programas que hayan tenido
cambios sustanciales deberán realizar una evaluación en materia de diseño. Los objetivos de la
evaluación son analizar la justificación de la creación y diseño del programa, identificar y
analizar su vinculación con la planeación sectorial y nacional, analizar la consistencia entre su
diseño y la normatividad aplicable e identificar posibles complementariedades y/o
coincidencias con otros programas federales. El estudio fue realizado por el Centro de Estudios
Económicos y Sociales en Salud dependiente del Hospital Infantil de México Federico Gómez, el
análisis realizado se basó en la revisión de gabinete de información entregada por Diconsa así
como entrevistas con responsables de los programas, personal de la unidad de evaluación y
planeación de la dependencia coordinadora. A continuación se exponen los aspectos más
relevantes de los temas que comprende la misma.
Principales Resultados:
 Hubo un impacto limitado en nutrición, debido a que no se tenía vinculación con
acciones de salud preventiva, y se atendieron localidades que tenían acceso a otros
programas diferentes al Programa de Desarrollo Humano Oportunidades y a localidades
con servicios de salud y educación que podrían ser atendidas por dicho programa.
Contribución a objetivos estratégicos:
 No se contribuyó adecuadamente al logro de los objetivos estratégicos, tanto a los
sectoriales, como a los del Plan Nacional de Desarrollo.
Matriz de indicadores:
 La Matriz de Indicadores de Resultados no presentaba una lógica interna: el problema a
atender no estaba claramente identificado; no se delimitó adecuadamente el universo
de atención de acuerdo con las Reglas de Operación, y éstas señalaban apoyos para
tener acceso al servicio de agua potable, pero dicha Matriz de Indicadores de Resultados
no incorporó indicadores al respecto. Los indicadores de Fin no permitieron medir la
contribución del PAL para resolver el problema de la desnutrición, y las Actividades y
Componentes no fueron suficientes para alcanzar los objetivos del programa. Asimismo,
no existió vinculación del PAL con el sector salud, por lo que los efectos sobre nutrición
serían limitados.
Población potencial y población objetivo:
 La Matriz de Indicadores de Resultados y las Reglas de Operación tenían diferentes
definiciones de la oblación potencial; no se cuantificó ni caracterizó adecuadamente a la
población objetivo, ya que las definiciones de ambas poblaciones resultaron ser
demasiado amplias porque incluían a población en localidades de todos los tamaños, de
todos los grados de marginación, con acceso a servicios de salud y educación, y a
hogares pobres y no pobres.
16
Coincidencias, complementariedades y duplicidades:
 Se determinó que podía existir complementariedad y/o sinergia con programas que
fortalecen la cobertura y la calidad de los servicios de salud, educación e infraestructura
social básica. Asimismo, se recomendó tener vinculación con los programas que
facilitaban el acceso a los servicios de salud.
 Por otra parte, pudo existir duplicidad a nivel de localidad en los programas de
Desarrollo Humano Oportunidades, Liconsa, 70 y más o Abasto Rural de Diconsa, o
inclusive, en temas de aguas.
 No existió una estructura ni manuales de procedimientos formalmente autorizados para
operar, lo cual limitaba las posibilidades de control, supervisión y monitoreo, y la
asignación clara de responsabilidades.
3.1.3 Evaluación Específica de Desempeño (EDD 2008)
La Evaluación Específica de Desempeño 2008 al Programa de Apoyo Alimentario a cargo de
Diconsa, S.A. de C.V. se realizó para mostrar los avances a través del tiempo en materia de
indicadores conforme a la información disponible, así como identificar avances en los aspectos
susceptibles de mejora del programa derivados de las evaluaciones externas y las acciones
establecidas por el programa para atenderlos. La evaluación consistió en un análisis de gabinete
que comprendió el ejercicio 2007-2008. El Instituto Nacional de Salud Pública fue responsable
de la evaluación, siendo el coordinador Dr. Bernardo Hernández Prado. A continuación se
exponen los aspectos más relevantes de la misma.
Indicadores:
 Tres de los cuatro indicadores estratégicos seleccionados correspondían al Fin y al
Propósito, y no se contaba con las mediciones recientes de estos indicadores. El
indicador restante utilizado correspondía al Componente, y su valor se encontraba 20
puntos porcentuales por arriba de la meta programada para 2008.
 Tres de cinco indicadores de gestión seleccionados estaban por arriba de la meta
programada en un rango de entre 7 y 42.8 puntos porcentuales. Un indicador estaba
51.4 puntos porcentuales por debajo de la meta. La meta y el valor del indicador
restante eran incoherentes, por lo que no se pudo determinar si el indicador estaba por
encima o por debajo de la meta.
 Se reportaron los principales resultados de: 1) la Evaluación de Impacto 2006, 2) dos
Evaluaciones sobre Resultados Relevantes 2006, y 3) la Evaluación de Consistencia y
Resultados 2008.
 Con base en las evaluaciones, se mostró un buen cumplimiento de sus objetivos; no
obstante, se identificaron áreas de mejora en su focalización. El análisis de los
indicadores de gestión señaló un buen cumplimiento de las actividades con valores por
encima de la meta en muchos casos.
17


Los indicadores estratégicos aún no pudieron ser evaluados en algunos casos, debido a
los tiempos propuestos para su medición.
Los indicadores propuestos permitieron evaluar aspectos relevantes del impacto y de la
operación; aunque no hay una definición de población potencial y son generales en
algunos casos.
Cobertura:
 La población potencial no estuvo claramente definida ni cuantificada. Se mostró una
tendencia ascendente en la cobertura entre 2007 y 2008, que alcanzó el 98% de
atención de la población objetivo en 2008.
Aspectos susceptibles de mejora:
 Se debían formalizar los mecanismos de definición de metas. Se desarrolló un
documento preliminar para adaptarlo al ejercicio 2009, y se tenía que definir de manera
clara y precisa la población potencial en las Reglas de Operación, además se propuso
incluirla en la modificación de las Reglas de Operación, pero hasta esta evaluación no se
había concretado.
 Era necesario desarrollar un mecanismo para cuantificar a la población potencial y a la
población objetivo, y realizar una estrategia de cobertura. De acuerdo con la Posición
Institucional, la pertinencia de esta recomendación estaba acotada por la falta de
definición de la población potencial. Se acordó que en 2009 se llevaría a cabo un
diagnóstico que incluiría esta cuantificación.
 Asimismo, se debían desarrollar instrumentos para medir el costo y la efectividad de la
operación. De acuerdo con la Posición Institucional no era factible hacerlo. Por último,
se tenía que definir una estrategia de cobertura a corto, mediano y largo plazo. La
pertinencia de esta recomendación estaba acotada por la falta de definición de la
población potencial; sin embargo, en la evaluación se establecía que se llevaría a cabo
un diagnóstico en 2009.
 Los administradores del PAL atendieron las recomendaciones realizadas y propusieron
acciones concretas para resolverlas, reconociendo las limitaciones para tal efecto.
3.1.4 Evaluación Específica de Desempeño (EDD 2009-2010)
La Evaluación Específica de Desempeño 2009 al Programa de Apoyo Alimentario a cargo de
Diconsa, S.A. de C.V. se realizó para mostrar los avances a través del tiempo en materia de
indicadores conforme a la información disponible, así como identificar avances en los aspectos
susceptibles de mejora del programa derivados de las evaluaciones externas y las acciones
establecidas por el programa para atenderlos. La evaluación consistió en un análisis de gabinete
que comprendió el ejercicio 2009-2010. El Hospital Infantil de México Federico Gómez fue
responsable de la evaluación, siendo la coordinadora Evelyne Eugenia Rodríguez Ortega. A
continuación se exponen los aspectos más relevantes de la misma.
18
Indicadores:
 Tres de cuatro indicadores de resultados seleccionados correspondían a indicadores de
Propósito y estuvieron por encima de la meta en un rango de entre 2 y 6 puntos
porcentuales.
 El indicador restante correspondió a nivel de Componente y se encontró 16 puntos
porcentuales por debajo de la meta. Por otra parte, tres de cuatro indicadores de
gestión y servicios seleccionados estuvieron por debajo de la meta en un rango de entre
5 y 86 puntos porcentuales; el indicador restante cumplió la meta.
 La mayoría de los indicadores seleccionados tuvieron como línea basal a 2009, lo que
imposibilitó analizar su evolución.
 Se reportaron los principales resultados de la Evaluación de Impacto 2006, de la
Evaluación de Diseño 2009 y de la Posición Institucional 2009.
 Debido a que varios de los indicadores de Fin y Propósito tenían su línea basal en 2009,
no fue posible hacer una valoración de los resultados.
Cobertura:
La población potencial no estuvo claramente definida, pero sí cuantificada.
Evolución de la Cobertura
Año
Población Potencial
Población Objetivo
2008
SD
128,366
2010
613,162
284,368
Fuente: Evaluación Específica de Desempeño 2009-2010.
Población Atendida
126,332
261,969
No fue posible analizar la evolución de la cobertura pues la definición de la población objetivo
en 2009 no fue la misma que la de 2008.
Aspectos susceptibles de mejora:
 Era necesario establecer que la población objetivo se refería a los hogares pobres
extremos en localidades rurales sin acceso a servicios de salud y educación que no
contaban con el Programa de Desarrollo Humano Oportunidades ni con otros programas
alimentarios de transferencias de ingreso.
 Se tenía que establecer un procedimiento para referenciar a los servicios de salud los
casos con trastornos nutricionales. Por otra parte, se recomendó utilizar los mismos
factores que usaba el Programa de Desarrollo Humano Oportunidades para seleccionar
a beneficiarios.
Avances:
 Se desarrolló una metodología para definir metas, mas no se atendió el aspecto de
medición de costo-efectividad, ya que la Posición Institucional señalaba que no era
factible. Asimismo, se hizo un diagnóstico para la cuantificación de la población
potencial y de la población objetivo, pero el cálculo no era sobre la población objetivo
que señalaban las Reglas de Operación. Por otro lado, la definición de la estrategia de
cobertura no presentaba avances, debido a que el PAL cambió de unidad responsable, y
19
la definición de la población potencial en las Reglas de Operación no se atendió por
criterios que dio el CONEVAL.
3.1.5 Evaluación Específica de Desempeño (EDD 2010-2011)
La Evaluación Específica de Desempeño 2010-2011 al Programa de Apoyo Alimentario a cargo
de Coordinación Nacional del Programa de Desarrollo Humano Oportunidades, se realizó para
mostrar los avances a través del tiempo en materia de indicadores conforme a la información
disponible, así como identificar avances en los aspectos susceptibles de mejora del programa
derivados de las evaluaciones externas y las acciones establecidas por el programa para
atenderlos. La evaluación consistió en un análisis de gabinete que comprendió el ejercicio 20102011. El Hospital Infantil de México Federico Gómez fue responsable de la evaluación, siendo la
coordinadora Evelyne Eugenia Rodríguez Ortega. A continuación se exponen los aspectos más
relevantes de la misma.
Indicadores:
 En los dos indicadores de resultados seleccionados no se proporcionó su valor ni su
meta, por lo que no fue posible analizar su desempeño.
 En dos de los tres indicadores de servicios y de gestión seleccionados, el valor se
encontró por encima de la meta en 1.5 puntos porcentuales y 7,027 familias,
respectivamente. El indicador restante quedó por debajo de la meta en 31 puntos
porcentuales.
 Se reportaron los principales resultados de la Evaluación de Impacto 2006 y los hallazgos
relevantes de las Reglas de Operación de 2010, de la Evaluación Específica de
Desempeño de 2009 y de los Avances en las Acciones de Mejora de 2009.
 Hubo cambios sustantivos en el diseño, en lo referente a la población potencial, la
población objetivo, los criterios de elegibilidad, los montos y tipos de apoyos, y la
operación, por lo que no se registró información histórica de sus indicadores
estratégicos. También se cambiaron los montos y los tipos de apoyos dirigidos, por igual,
a zonas urbanas y rurales.
Cobertura:
Hubo una población potencial definida, pero no cuantificada, mientras que la población
objetivo estuvo definida y cuantificada. También hubo confusión en las definiciones de
población potencial y población objetivo, debido a que las Reglas de Operación traían una
definición de población objetivo que en realidad se refería a la de población potencial.
Evolución de la Cobertura
Año
2009
2010
Población Potencial
613,162
SD
Población Objetivo
284,368
680,000
Población Atendida
261,969
677,027
Fuente: Evaluación Específica de Desempeño 2010-2011.
20
No hubo una cuantificación de la población potencial para 2010, mientras que en 2009 fue de
613,162 hogares. Para ese mismo año (2009), la definición señalaba a los hogares en pobreza
patrimonial, y a los hogares pobres y no pobres ubicados en localidades marginadas o sin grado
de marginación; mientras que en 2010 se focalizó a hogares en pobreza alimentaria o pobres
con ingreso insuficiente para invertir en el desarrollo de las capacidades, de cualquier localidad,
incluso de aquellas donde el Programa de Desarrollo Humano Oportunidades podía operar.
La población objetivo aumentó 139% de 2009 a 2010 para ubicarse en 680 mil hogares en 2010,
superior a la población potencial estimada según la definición anterior. En 2010, la cobertura de
la población objetivo estuvo en la meta, mientras que el número de familias beneficiadas subió
158% de 2009 a 2010, según lo programado, y se ubicó en 677 mil hogares en 2010. Por otra
parte, la población atendida aumentó 158% en el mismo periodo (2009-2010) para cerrar en
2010 con 677,027 hogares beneficiarios, superando también a la población potencial de 2009.
Aspectos susceptibles de mejora:
 El programa no contó con aspectos definidos en el documento de trabajo.
3.1.6 Evaluación de Consistencia y Resultados (ECR 2011-2012)
La presente evaluación tuvo como objetivo general, evaluar la consistencia y orientación a
resultados del Programa de Apoyo Alimentario con la finalidad de proveer información que
retroalimente su diseño, gestión y resultados. Más específicamente, se propuso analizar la
lógica y congruencia en el diseño del programa, su vinculación con la planeación sectorial y
nacional, la consistencia entre el diseño y la normatividad aplicable, así como las posibles
complementariedades y/o coincidencias con otros programas federales; identificar si el
programa cuenta con instrumentos de planeación y orientación hacia resultados; examinar si el
programa ha definido una estrategia de cobertura de mediano y de largo plazo y los avances
presentados en el ejercicio fiscal evaluado; analizar los principales procesos establecidos en las
ROP o en la normatividad aplicable; así como los sistemas de información con los que cuenta el
programa y sus mecanismos de rendición de cuentas; identificar si el programa cuenta con
instrumentos que le permitan recabar información para medir el grado de satisfacción de los
beneficiarios del programa y sus resultados, y examinar los resultados del programa respecto a
la atención del problema para el que fue creado. La evaluación fue realizada por Centro de
Investigación en Alimentación y Desarrollo, A.C.mediante investigación de gabinete. A
continuación se incluyen las principales conclusiones:
Diseño:
 El Programa ha venido consolidando su objetivo, pero no dio continuidad al trabajo de
las metas. Además, se presentó el problema identificado en un documento, en el que se
establecen los plazos para su revisión y actualización, y se contó con un diagnóstico del
problema.
21


El Programa se alineó con el Plan Nacional de Desarrollo y con el Programa Sectorial de
Desarrollo Social, y fue posible identificar a la Matriz de Indicadores de Resultados en las
Reglas de Operación o en los documentos normativos.
La población potencial y la población objetivo fueron definidas y contaron con una
metodología para su cuantificación y con plazos para su revisión y actualización.
Asimismo, registró complementariedad con el Programa de Desarrollo Humano
Oportunidades y coincidencia con programas del Sistema Nacional DIF.
Planeación estratégica:
 Contó con un plan anual, pero no una planeación a mediano y largo plazo, y no hubo
permanencia de la población atendida, ya que las Reglas de Operación consideran el
tránsito al Programa de Desarrollo Humano Oportunidades.
Cobertura y focalización:
 Contó con un método para la estimación de la población potencial, en tanto que la
población objetivo fue de 670 mil hogares en 2011, al igual que en 2010.
 De 2004 a 2011, la población atendida se incrementó casi el triple (con caídas
importantes en el inter) con respecto de la población objetivo.
Operación:
 Se tuvieron procedimientos e instrumentos de medición adecuados para la selección de
los hogares beneficiarios y se cumplió con los criterios de elegibilidad que se expresan
en las Reglas de Operación.
 Se cumplió con las características establecidas en las Reglas de Operación de 2010,
respecto del contenido, monto y entrega de los apoyos (en especie y en efectivo). Con
respecto de los criterios de elegibilidad de beneficiarios, éstos estuvieron claramente
especificados, y el procedimiento fue estandarizado y sistematizado.
Percepción de la población objetivo:
 El instrumento usado para medir la satisfacción de la población atendida no indujo las
respuestas de los beneficiarios, correspondió a las características de éstos pero los
resultados no fueron representativos.
Resultados:
 Se documentaron resultados a nivel de Fin y de Propósito, por medio de dos indicadores
centrales, estudios o evaluaciones que no eran de impacto, y estudios y programas
internacionales. La Evaluación de Impacto de 2006 encontró efectos positivos
relacionados con el Fin y con el Propósito. En 2010, el Programa cambió
sustancialmente, por lo que los resultados de las evaluaciones anteriores correspondían
a otro diseño,
 Las evaluaciones (elaboradas por CIESAS (2005), INSP (2006) y el INCMSZ (2006 y 2009))
señalaron la existencia de mejoras en los estados nutricios de los beneficiarios.
22
3.2
Análisis de evaluaciones de resultados o de impacto en el ámbito nacional o
internacional de programas similares
Para establecer un punto de referencia con otras experiencias a nivel internacional, se muestra
una síntesis de evaluaciones de resultados o impacto aplicadas a programas, proyectos o
intervenciones públicas que son similares, ya sea por algunos de sus objetivos, componentes o
poblaciones atendidas. Se trata de obtener información útil para valorar en qué medida las
acciones del programa han obtenidos resultados en otras realidades, así como de analizar y
aprovechar aquellos aspectos del esquema metodológico aplicado en estos casos para
próximas evaluaciones al programa. El Anexo 2 posibilita una visión sintética de las
evaluaciones a intervenciones similares a la que nos ocupa.
3.2.1 Subsidio de apoyo infantil, Sudáfrica
Características similares o tipos de apoyo que entrega el programa:
Se trata de un programa focalizado en la población en pobreza que otorga transferencias de
ingreso no condicionadas de ingreso, con el objetivo de mejorar la nutrición de los niños de
hasta 14 años. La transferencia es de aproximadamente 25 dólares por familia y se otorga
principalmente a las madres.
Nombre de la evaluación:
The impact of unconditional cash transfer son nutrition: The South African Child Support Grant
Objetivo de la evaluación:
Comprender el impacto de la transferencia de ingreso mediante la evaluación de las diferencias
entre los hogares beneficiarios y no beneficiarios (grupo de comparación) entre marzo de 2007
y marzo-abril de 2008 en las siguientes áreas: migración de niños y adultos, salud e higiene,
educación, trabajo infantil, nutrición y consumo de alimentos, propiedad de activos, calidad de
la vivienda, gastos del hogar y uso de la transferencia de ingreso, choques a los hogares,
bienestar e impacto de la transferencia, decisiones acerca del gasto de las transferencias y
envidias y conflictos.
Principales resultados:
 Cerca de la mitad de los niños elegibles recibían el apoyo en 2004. Los resultados del
modelo señalan que no hay ganancias en nutrición para los niños que cubrieron menos
del 20% de los primeros 36 meses de edad.
 Las ganancias máximas (0.25 más puntaje z) se obtuvieron cuando cubrieron dos tercios
del tiempo anteriormente señalado.
 El estudio descarta la posibilidad de que la ganancia se deba a la mejora en los servicios
de salud ya que la mayoría de los líderes comunitarios coincidieron en que no ha habido
una mejora en éstos.
23



En un segundo modelo que separó a los niños por edades (menores de un año, entre
uno y dos años y de dos a tres años), se encontró que la ganancia en el puntaje Z es
mayor (0.45) si los niños ingresaron al programa con menor edad. Utilizando
información de los adultos de la encuesta KIDS de 1998, los autores señalan que un
aumento de 0.4 en el puntaje Z se traduce en un incremento de 3.5 cm en la estatura de
los adultos. Posteriormente, los autores utilizaron la elasticidad de los salarios respecto
a la altura calculada para Brasil, controlando por niveles educativos (Thomas y Strauss,
1997), para señalar que el incremento de estatura atribuible al programa, se podría
reflejar en un incremento salarial entre 190 y 262 rands sudafricanos al mes. Con una
tasa de descuento anual del 5%, los autores estimaron que las ganancias en salario
serían de 11,123 rands para una vida económicamente activa de 40 años.
Considerando el costo de 20 meses del programa, sus cálculos señalan una proporción
de beneficio-costo de entre 3.3 y 4.5. Si se asume una cifra realista de empleo del 50%
del tiempo, la proporción se reduce a entre 1.6 y 2.3.
Los autores señalan que la cifra puede ser conservadora porque ignora el impacto del
puntaje Z en el logro y progreso educativos, así como las ganancias potenciales de
continuar recibiendo el apoyo entre los tres y 14 años.
Metodologías empleadas:
 Se utilizó información de la KwaZulu-Natal Income Dynamics Study (KIDS) que fue
levantada a los mismos hogares en los años 1993, 1998 y 2004 (KwaZulu-Natal es la
provincia más pobre de Sudáfrica y concentra a un 20% de la población de ese país). Se
utilizó como variable dependiente la altura para la edad (puntaje z) de los niños como
un indicador ex post de los insumos nutricionales que ha recibido, especialmente
durante los tres primeros años de vida.
 El programa no se implementó siguiendo un diseño experimental, por lo que se
construyó una variable para identificar al grupo de control que representa el deseo de
participar en el programa como el porcentaje de desviación en la solicitud para un niño
en relación al retraso promedio esperado para la edad del niño y cohorte locacional. Un
deseo positivo indica que quienes los cuidan tienen deseos por arriba del promedio y
viceversa. La variable de tratamiento se trató como continua (tiempo de permanencia
en el programa) mediante un puntaje generalizado de propensión.
Valoración técnica:
 El programa no se implementó siguiendo un diseño experimental, por lo que la
selección para recibir el tratamiento no fue aleatoria, además de que el tiempo de
tratamiento no fue uniforme entre los beneficiarios. Por tal motivo, se decidió utilizar la
variable de tratamiento como continua.
 Derivado de los tiempos diferenciales en la exposición al tratamiento, los autores de la
evaluación señalan que una dificultad adicional que pudieran enfrentar sería un sesgo
proveniente de una eventual mejora de los servicios de salud en el tiempo. Para hacer
frente a esta posible fuente de sesgo, los autores incluyeron como controles la cohorte
de nacimiento de los niños y efectos locacionales.
24

La evaluación advierte que un inconveniente de usar el puntaje Z como variable
dependiente es que no todos los niños absorben físicamente de la misma manera los
alimentos. Otro problema pudieran ser los posibles errores de medición del puntaje Z,
así como de la información retrospectiva de la compra de alimentos.
Utilidad de los resultados para el Programa de Apoyo Alimentario:
 El hallazgo de efectos sobre la nutrición de los niños aun cuando las transferencias no
son condicionadas demuestra que es posible recurrir a este tipo de apoyos para la
acumulación de capital humano en contextos donde, por razones estructurales, no es
posible que los beneficiarios cumplan con las condiciones de asistir a la escuela o a
revisiones médicas. Incluso, los hallazgos de esta evaluación señalan que el gasto en
alimentos no es inelástico a ingreso, sino que, por el contrario, una transferencia
incondicionada otorgada a madres de familias en condiciones de pobreza efectivamente
se traduce en inversiones en la nutrición de su familia particularmente de los niños.
 Un resultado adicional de la evaluación es que los resultados son mayores cuando los
apoyos se otorgan desde que los niños son más pequeños. A la luz de lo anterior, se
recomienda explorar la posibilidad que el PAL otorgue transferencias de ingreso
incondicionadas a las familias que tengan niños que todavía no puedan asistir a la
escuela y extender los apoyos a los niños en edad de asistir a educación prescolar,
independientemente de si lo hacen o no.
 El programa logró mejorar la nutrición infantil, medida como altura para la edad,
mediante transferencias incondicionadas, pero focalizadas. Los autores reconocen que
si se hubiera condicionado los pagos del programa a revisiones médicas, quizá los
efectos del programa se hubieran incrementado, aunque los efectos de la transferencia
incondicionada son robustos. Los autores señalan que sus resultados se contraponen a
la teoría que señala que la nutrición es inelástica al ingreso y sugieren que tal vez se
debe a que las transferencias se hacen a las mujeres.
3.2.2 Esquema piloto de trasferencias sociales de Mchinji, Malawi
Características similares o tipos de apoyo que entrega el programa:
Se otorga un apoyo mensual al 10% de los hogares más pobres y sin opciones de trabajo
dependiendo de su tamaño y del número de niños en edad de asistir a la escuela. En promedio,
los hogares reciben un apoyo mensual de 14 dólares. Los comités de las comunidades y
distritales se encargan de seleccionar a los hogares beneficiarios.
Nombre de la evaluación:
Impact Evaluation Report: External Evaluation of the Mchinji Social Cash Transfer Pilot
Objetivo de la evaluación:
Comprender el impacto de la transferencia de ingreso mediante la evaluación de las diferencias
entre los hogares beneficiarios y no beneficiarios (grupo de comparación) entre marzo de 2007
y marzo-abril de 2008 en las siguientes áreas: migración de niños y adultos, salud e higiene,
25
educación, trabajo infantil, nutrición y consumo de alimentos, propiedad de activos, calidad de
la vivienda, gastos del hogar y uso de la transferencia de ingreso, choques a los hogares,
bienestar e impacto de la transferencia, decisiones acerca del gasto de las transferencias y
envidias y conflictos.
Principales resultados:
 El 73% de los adultos mejoró su estado de salud en comparación con sólo el 7% de los
adultos en el grupo de comparación. El 84% de los adultos en el Programa tuvo mayor
probabilidad de recibir cuidados de salud en caso de enfermedad, en comparación con
el 10% de los adultos en el grupo de comparación. En ambos grupos se registró una
caída en el porcentaje de adultos que respondieron haber estado enfermos en el mes
anterior; sin embargo, la caída en el grupo de tratamiento fue de 21 puntos
porcentuales, mientras que en el grupo de comparación fue de 8. También, en ambos
grupos, se registró una menor cantidad de adultos sin enfermedades; sin embargo, en el
grupo de tratamiento, la cifra fue del 20.2%, mientras que en el grupo de control fue de
7.3%. Sólo un 25% de los hogares en el grupo de tratamiento reportó no haber gastado
nada en el cuidado de las enfermedades de los adultos, mientras que esta cifra fue de
63% en el grupo de control. No se encontraron diferencias significativas en el índice de
masa corporal de adultos, ya que ambos presentan un patrón de variación estacional;
sin embargo, no se observó dicha variación del índice de masa corporal en el grupo de
tratamiento cuando las familias recibían transferencias por arriba de los 1,800 kwachas
de Malawi.
 Se reportó que el 81% de los niños en el grupo de comparación mejoró su estado de
salud, mientras que el porcentaje fue de 15% en el grupo de comparación. El 80% de los
niños en el grupo de tratamiento recibió asistencia cuando se enfermó, mientras que en
el grupo de comparación sólo fue el 8%. En el grupo de tratamiento, el 42% de los niños
se enfermó en el mes pasado, mientras que en el grupo de control fue el 55%. El 15% de
los niños en el grupo de tratamiento tuvo bajo peso, mientras que en el grupo de
control, el porcentaje fue de 26%. El 96% de los niños en el grupo de tratamiento estaba
matriculado en las escuelas vs. el 84% en el grupo de comparación. El 5% de los niños en
el grupo de comparación abandonó la escuela, mientras que en el grupo de tratamiento,
la cifra fue del 2%. El promedio de gastos escolares por niño o adolescente de entre 6 y
18 años creció en 454 kwachas, mientras que en el grupo de comparación fue de 121.
 El 93% de los hogares en el grupo de intervención afirmó que el consumo de alimentos
mejoró, mientras que en el grupo de comparación, la cifra fue de 11%. Por el contrario,
36% de los hogares en el grupo de comparación señaló que su alimentación empeoró en
el periodo estudiado, a diferencia de un 1.3% en el grupo de tratamiento. El 88% de los
hogares con acceso al programa comió tres veces al día, mientras que esta frecuencia
fue de sólo 44% en el grupo de comparación.
Metodologías empleadas:
 Se escogieron cuatro grupos comunitarios de desarrollo en los que opera el programa y
otros cuatro con características similares como grupo de comparación.
26


La muestra fue de 408 hogares en el grupo de tratamiento y 411 en el grupo de control.
Debido a que no existe información estadística acerca de las comunidades, se consideró
que tienen características similares. Se recabaron encuestas longitudinales en hogares
que consistió en tres rondas de recolección de información, así como 106 entrevistas a
profundidad con beneficiarios y no beneficiarios, 18 grupos focos con niños, 20 grupos
foco con miembros de las comunidades donde opera el programa, 33 grupos foco con
comités de protección social que aprueban a los hogares participantes y más de 100
entrevistas con informantes clave.
La encuesta cuantitativa incluyó mediciones antropométricas, así como preguntas
acerca de las características socioeconómicas, de salud, prácticas higiénicas, educación,
trabajo infantil, alimentación, choques externos, bienestar psicológico y patrones de
gasto de los hogares. El tratamiento estadístico que se dio a los datos fue a partir de
tablas de contingencia y búsqueda de diferencias estadísticamente significativas entre
ambos grupos.
Valoración técnica:
 Debido a que son los grupos comunitarios los que eligen a los hogares beneficiarios al
interior de las comunidades, los criterios para seleccionarlos pueden diferir de una
comunidad a otra, razón por la cual puede haber sesgos entre los hogares que
pertenecen al grupo de tratamiento, así como entre éstos y los que pertenecen al grupo
de comparación.
 Adicionalmente, el grupo evaluador decidió otorgar una despensa pagada por UNICEF al
grupo de comparación debido a sus difíciles condiciones de vida y a que no serían
incluidos en el programa, sino hasta un año después. Se estimó que el impacto de esta
transferencia sería mínimo.
 Al parecer hubo un sesgo sistemático en la conformación de los grupos de tratamiento y
de control. En el primer caso, tendían a tener más niños, mientras que en el segundo,
adultos mayores.
 El principal problema con la evaluación es que el tratamiento estadístico no fue
econométrico, sino de estadísticas descriptiva. Es decir, no utilizó modelos en los que se
controlara por variables que pudieran incidir en la variable dependiente, ni se buscó
hacer un aparejamiento de cada uno de los hogares en el grupo de tratamiento con
algunos del grupo de comparación. Po tal motivo, la validez interna de la evaluación es
baja. Sin embargo, dado que se trata de un país con los un Índice de Desarrollo Humano
de los más bajos del mundo y con muy bajas capacidades institucionales, es posible
inferir que no debe haber grandes diferencias entre los grupos de beneficiarios y no
beneficiarios (e incluso entre el resto de la población).
Utilidad de los resultados para el Programa de Apoyo Alimentario:
 A partir de los resultados de esta evaluación es posible concluir que las transferencias
no condicionadas pueden ser útiles para aliviar las condiciones de vida de los hogares
que viven en las condiciones más extremas y fomentar a su vez la acumulación de
capital humano. Los principales impactos de este tipo de transferencias se dan en la
27


seguridad alimentaria, particularmente como mecanismo de protección ante choques
económicos, demográficos y estacionales. Las dimensiones que conforman a la
seguridad alimentaria se ven mejoradas mediante la mayor producción agrícola
(disponibilidad de alimentos), el incremento en el gasto dedicado a la compra de
alimentos y en la reducción de comidas perdidas (acceso a los alimentos) y en la
variedad en el consumo de alimentos y reducción de la incidencia de enfermedades
producto del incremento en el gasto en el cuidado de la salud (uso de los alimentos).
El programa es un instrumento efectivo de protección social que, en el corto plazo,
protege a los hogares de choques económicos demográficos y estacionales, mejora la
nutrición, la seguridad alimentaria, incrementa la posesión de activos por parte de los
hogares y el gasto en necesidades básicas. Asimismo, el programa fue útil para aliviar la
pobreza, reducir el hambre e incrementar la inscripción escolar. Algunos resultados en
particular fueron: Menor incidencia de enfermedades entre niños y adultos; mayor
gasto en el cuidado de la salud y en educación; mayor acumulación de activos
productivos y ganado; e incremento en el gasto de alimentos, mayor diversidad en el
consumo de alimentos y menos comidas perdidas.
Lo anterior sugiere que, particularmente en las familias del decil más bajo de ingreso, el
PAL tiene un gran potencial para disminuir la vulnerabilidad, mejorar la seguridad
alimentaria y disminuir la carencia por acceso a la alimentación.
3.2.3 Desayunos escolares en zonas rurales, Jamaica.
Características similares o tipos de apoyo que entrega el programa:
Se otorgó un desayuno a niños de entre segundo y quinto grado de primaria que incluye un
sándwich de queso o un pan y leche saborizada equivalentes a entre 576 y 703 kilocalorías y
27.1 gramos de proteína. Al grupo de control se le dio un cuarto naranja que sirvió como
placebo ya que provee 18 kilocalorías y 0.4 gramos de proteína. Todas las comidas se sirvieron
antes de empezar clases en todos los días de escuela en cuartos o en momentos distintos.
Nombre de la evaluación:
Nutrition and education: a randomized trial of the effects of breakfast in rural primary school
children.
Objetivo de la evaluación:
Determinar el efecto de proveer un desayuno escolar sobre la asistencia escolar, estado
nutricional y logro educativo en aritmética, ortografía y lectura; si el estado nutricional o la
edad del niño modifican el efecto; y si el niño gastó menos dinero en la escuela si se le daba el
desayuno. Cabe señalar que en este caso no se trata de la evaluación de un programa, sino de
un experimento desarrollado en escuelas rurales de Jamaica para valorar los posibles efectos de
los desayunos escolares en la nutrición y la educación.
28
Principales resultados:
El estado nutricio original del niño no estuvo relacionado al cambio en su logro académico.
Hubo un beneficio significativo del desayuno en el logro educativo en aritmética y la interacción
entre tratamiento y grado escolar señala que este beneficio se observó principalmente en los
niños más jóvenes (segundo y tercer año). No hubo resultados significativos en lectura y
ortografía. Los niños que recibieron el desayuno tuvieron más asistencia a la escuela de manera
significativa. Adicionalmente, también mejoraron de manera significativa su peso, estatura e
índice de masa corporal. Los niños en el grupo de tratamiento incrementaron 0.25 centímetros
en promedio su estatura en los ocho meses que duró el periodo de intervención, equivalente a
un mes de crecimiento para niños en este rango de edad considerando la estadística de
referencia. Puede afirmarse que de continuar el tratamiento durante toda la primaria crecerían
2.4 centímetros adicionales, lo que equivale a un tercio de la desviación estándar de la estatura
para la edad de un niño de 11 años. El incremento en peso fue equivalente a entre dos y tres
meses en relación a la población de referencia. No hubo efectos significativos del desayuno en
la cantidad de dinero que el niño lleva a la escuela (transferencia de ingreso de la familia).
Tampoco hubo una diferencia significativa en la historia de desayunos antes y después del
programa.
Metodología utilizada:
El experimento se llevó acabo en una zona rural montañosa de Jamaica poblada con familias
pobres y cuyas escuelas estaban lejanas de sus hogares. Se escogieron 16 escuelas primarias y
se pesó y se registró la edad de todos los niños de segundo a quinto de primaria. Se
seleccionaron 407 niños cuyo peso para la edad estaba igual o por debajo de una desviación
estándar de las Estadísticas del Centro Nacional de Salud. Se escogió un grupo de control
compuesto por 407 niños con un rango de edad de más-menos 3 meses, del mismo sexo,
escuela y clase, pero con pesos para la edad igual o mayor a una desviación estándar de la
misma referencia. Se excluyeron niños que estaban repitiendo el año escolar. Se utilizó la
Prueba de Amplio Rango de Logro Educativo que evalúa lectura, ortografía y aritmética. La
asistencia escolar se recopiló a partir de los registros escolares. Se les administró un
cuestionario para conocer su estatus socioeconómico (calidad de la vivienda y número de
posesiones), la cantidad de dinero que llevaban a la escuela y el tipo de desayuno que habían
comido en casa el día de la entrevista. Se les tomó medidas de su peso y altura para la edad
tomando como referencia el puntaje z de las Estadísticas del Centro Nacional de Salud, así
como el índice de masa corporal. Se les asignó de manera aleatoria a grupos con desayuno y de
control. Estas medidas se volvieron a tomar al final del año escolar. Se utilizaron regresiones
múltiples controlando por las mediciones iniciales de los niños, edad, sexo y grupo nutricional.
El puntaje de la casa se introdujo paso a paso para controlar por posibles efectos del estado
socioeconómico, así como efectos de interacción entre la edad, sexo, estado nutricional y
estado socioeconómico y el grupo de tratamiento. Se hicieron regresiones separadas para la
estatura, peso e índice de masa corporal.
Valoración técnica:
En general, el diseño metodológico de dobles diferencias es adecuado y consistente con el tipo
de evaluación realizada debido a que se contó con una línea base de las características
29
socioeconómicas de los hogares de los niños y de sus medidas antropométricas, así como con
un grupo de control. La validez interna del estudio es alta debido al diseño experimental
aleatorio y a que se minimizaron las diferencias entre el grupo de tratamiento y de control al
conseguir que los niños pertenecieran a la misma escuela, y tuvieran medidas antropométricas
iniciales, edad, sexo, grupo nutricional y características socioeconómicas similares. Si bien el
cuarto de naranja que se le otorgó al grupo de control no es un placebo verdadero, la diferencia
en el aporte nutricional respecto al sándwich y al vaso de leche es lo suficientemente amplia
como para poder adjudicar los resultados al efecto del tratamiento. Una ventaja adicional del
estudio es que duró un año, por lo que, de acuerdo a sus propios autores, se trató de la primera
prueba aleatoria y controlada de largo plazo para medir el efecto de los desayunos escolares.
Sin embargo, dado que no se utilizó un muestreo probabilístico, la validez externa del estudio
es baja, es decir, no es posible generalizar sus resultados a una población
Utilidad de los resultados para el Programa de Apoyo Alimentario:
La evaluación destaca el papel muy positivo que pueden jugar los desayunos institucionales en
la nutrición de los niños rurales en edad escolar, lo cual se ha confirmado en una amplia serie
de estudios internacionales. Lo anterior, a pesar de que los desayunos no estén fortificados con
micronutrientes, y se esperaría que el efecto sería mayor si éstos se fortificaran. Se recomienda
a la Sedesol que explore las posibles sinergias, complementariedades y ventajas de
especialización entre el conjunto de programas alimentarios federales y los programas de
desayunos escolares a cargo de los gobiernos estatales, particularmente en las localidades
rurales con alta concentración de desnutrición y pobreza.
Los niños que recibieron los desayunos mostraron mejoras pequeñas, pero estadísticamente
significativas en la asistencia escolar, así como en su estado nutricional, en comparación a los
del grupo de control. Los niños más pequeño (de segundo y tercer grados de primaria)
mejoraron sus resultados en aritmética, equivalentes a un 30% del progreso anual promedio.
Dado que los niños que asisten a escuelas en mejores condiciones, tienen resultados
superiores, es de esperar que este resultado, en conjunción con una mejora en las condiciones
de las escuelas, pudiera ser mayor. Adicionalmente, el efecto positivo en los resultados en
aritmética pudiera también incrementarse como resultado del incremento en la asistencia
escolar.
Por otra parte, los niños reportaron que continuaron tomando sus desayunos habituales en
casa y trayendo la misma cantidad de dinero, por lo que el desayuno no constituye una
transferencia de ingreso.
Los autores recomendaron focalizar los apoyos en los niños desnutridos con comidas escolares
donde los recursos son tan limitados que no sean suficientes para alimentar a todos los niños.
Los niños más jóvenes son los que se benefician más de las comidas escolares y también
pueden ser considerados como población objetivo. Asimismo, recomiendan la adopción de
intervenciones integrales que incluyan componentes en salud, nutrición y educación para que
se maximicen los retornos a la inversión.
30
3.3
Agenda de evaluación para el periodo 2013-2018
En esta sección se propone una agenda de evaluación para el periodo 2013-2018, incorporando
una justificación técnica y empírica sobre la importancia que cada ejercicio tendría para el
programa, con base en los principales resultados de las evaluaciones en el periodo 2007-2012 y
el análisis de la información proporcionada. Se señalan también los periodos de ejecución y el
orden en el que se deberán ir implementando cada una de las evaluaciones consideradas.
Como referencia general para elaborar la agenda, tomaron los Lineamientos generales para la
evaluación de los programas federales de la Administración Pública Federal, publicados en el
DOF el 30 de marzo de 2007. El Anexo 3 facilita una visión esquemática de la propuesta.
La agenda sugerida empieza con un Diagnóstico y propuestas de atención, a implementarse en
el año 2013. Tiene como propósito identificar, definir y especificar de forma clara y rigurosa la
problemática focal que se pretende resolver a través del programa, así como analizar, valorar y
seleccionar las estrategias y mecanismos de atención que resulten más adecuados. Este estudio
deberá cumplir cabalmente con los criterios y requisitos mínimos establecidos en los
Lineamientos generales para la elaboración de diagnósticos de cuyos resultados se obtienen
propuestas de atención de Programas de Desarrollo Social, publicados el 7 de mayo de 2009, e
incorporar asimismo las metodologías y mejores prácticas en la materia. Los resultados de este
ejercicio pretenden brindar una base sólida de datos, análisis y estrategia para anclar
sólidamente el diseño, la operación y los resultados del programa durante la siguiente
administración federal, y de manera inmediata informar los cambios que se pretendan hacer
durante el primer año de la misma.
Para el año 2014 se propone una Evaluación de diseño. El ejercicio deberá analizar la
justificación de la creación y diseño del programa, especificar su vinculación con la planeación
sectorial y nacional, valorar la consistencia entre su diseño y la normatividad aplicable, así como
identificar posibles complementariedades y/o coincidencias con otros programas federales.
Esta evaluación deberá proveer información y análisis que retroalimente el diseño conceptual y
operativo del programa, así como los resultados que se deben esperar del mismo. De forma
inmediata, se pretende que sirva para valorar los cambios que se hayan hecho al programa del
primer al segundo año de la gestión, y generar recomendaciones para refinarlos hacia el tercer
año.
Posteriormente, para 2015 y 2016 se recomienda una Evaluación de impacto, para identificar
los cambios en la situación de la población objetivo del programa que se reflejan a través de los
indicadores de resultados, y que son propiamente atribuibles a su intervención. Conforme a los
estándares en la materia, se deberán utilizar metodologías rigurosas y fuentes de información
confiables con representatividad nacional; para ello, se propone la combinación de enfoques
cuantitativos y cualitativos así como el levamiento de información en campo a través de
diversos instrumentos, los cuales de describen a mayor detalle en la sección subsecuente. La
evaluación de impacto propuesta busca estimar en qué medida el programa está alcanzado sus
objetivos y qué condiciones y factores pueden afectan sus logros, de forma tal que el programa
pueda consolidar elementos clave de diseño y operación, o en su caso cambiarlos, para mejorar
31
su efectividad. Por sus características y complejidad se recomienda que la evaluación
comprenda dos años—entre 18 y 24 meses, para ser más precisos—a efecto de poder realizar
mediciones basales y de seguimiento.
En el año 2017 se plantea realizar La evaluación estratégica de desempeño de los programas
sociales alimentarios se propone con el objetivo de evaluar de forma comparativa los logros e
impactos del PAL, PDHO, PAR y PASL en la carencia de acceso a la alimentación, identificando
los espacios de sinergia, complementariedad y duplicidades, a afecto de mejorar la articulación
de estas iniciativas. Se deberá analizar los objetivos y pertinencia de los programas con el
problema que buscan atender. Asimismo y considerando el Sistema de Evaluación de
Desempeño (SED), evaluar los principales resultados que permitan emitir retos y
recomendaciones de los programas.
También para 2017 se propone una Evaluación de procesos. Este ejercicio pretende realizar un
análisis sistemático de la operación del programa mediante trabajo de campo y de gabinete,
con la finalidad de conocer cómo sus procesos—traducidos en sus Componentes, productos o
entregables—conducen al logro de los objetivos y metas a nivel de Propósito. Asimismo, se
busca detectar los problemas operativos que enfrenta el programa y las buenas prácticas que
realiza, de manera que se puedan detectar áreas de oportunidad y emitir las recomendaciones
correspondientes. A través de una serie de preguntas específicas que descomponen la
operación y la aplicación de técnicas especializadas para el mapeo y análisis de procesos, se
pretende valorar el funcionamiento y la organización del programa, permitiendo así conocer los
factores que sustentan la implementación y hacer ejercicios comparativos para la medición y la
mejora de su gestión en el tiempo.
Finalmente, para el año 2018 se propone una Evaluación de consistencia y resultados. Este
ejercicio plantea una concatenación lógica de objetivos para analizar los aspectos más
importantes del programa, incluyendo la lógica y congruencia de su diseño, los instrumentos de
planeación y de orientación hacia resultados, la estrategia de cobertura y los avances
presentados, los principales procesos establecidos en las ROP y en la normatividad aplicable, los
sistemas de información y sus mecanismos de rendición de cuentas, los instrumentos para
medir el grado de satisfacción de los beneficiarios y sus resultados, así como los logros respecto
a la atención del problema para el que fue creado. El propósito de esta evaluación es contar con
una visión integral y comprensiva de cómo ha sido, qué tan bien ha funcionado y cuáles han
sido los logros del programa al cierre de la administración federal, a manera que la siguiente
pueda tener una sólida base para tomar decisiones informadas.
A continuación se presentan los detalles básicos de cada una de las evaluaciones propuestas, en
el año y secuencia en que corresponden.
32
3.3.1 2013: Diagnóstico y propuestas de atención
Objetivos:
 Fundamentar la permanencia y justificar las eventuales modificaciones sustantivas al
programa, a partir de la identificación del problema que se busca resolver así como la
caracterización y análisis detallado de los aspectos principales del mismo.
 Plantear posibles alternativas de solución y seleccionar las más apropiada, a efecto de
mejorar el diseño, la operación y los resultados del programa.
Componentes a evaluar:
 Identificación del problema
 Caracterización del problema
 Experiencias de atención a la problemática
 Propuesta de diseño
 Marco de actuación de la propuesta
 Proyecciones financieras y metas para la solución propuesta
 Previsiones para integración y operación de padrones
Justificación e importancia:
Deficiencias e inconsistencias importantes en el Diagnóstico 2010, particularmente en torno de:
 la identificación, caracterización y magnitud del problema focal; y
 la definición y cuantificación de la población potencial y objetivo.
Adicionalmente, el diagnóstico no incluye una propuesta de atención, que:
 revise otras experiencias nacionales e internacionales para atender el problema;
 especifique, valore y seleccione las alternativas de atención; y
 proponga elementos de rediseño así como proyecciones y previsiones para mejorar
sustancialmente el desempeño del programa.
Periodo de ejecución:
3 -4 meses
3.3.2 2014: Evaluación de diseño
Objetivo general:
 Evaluar mediante trabajo de gabinete y apoyado en información proporcionada por el
programa, el diseño del programa. Lo anterior, con el fin de que las recomendaciones
puedan retroalimentar el diseño y mejorar la gestión del programa.
Objetivos Específicos:
 Analizar el diseño del programa.
 Identificar y analizar su vinculación con la planeación sectorial y nacional.
33
 Analizar la consistencia entre su diseño y la normatividad aplicable.
 Identificar posibles complementariedades y/o coincidencias con otros programas.
Componentes a evaluar:
 Características del programa
 Contribución a los objetivos estratégicos;
 Matriz de indicadores,
 Población potencial y objetivo;
 Vinculación con las ROP, y
 Coincidencias, complementariedades y duplicidades con otros programas.
Justificación técnica y/o empírica:
 Valorar la integración del marco conceptual y normativo construido en el diagnóstico.
 Valorar el análisis para la selección de la alternativa de selección basado en la revisión
de experiencias internacionales y nacionales
 Constatar la correspondencia entre las ROP y la MIR
Periodo de ejecución:
3-4 meses
3.3.3 2015-2016: Evaluación de Impacto
Objetivos:
 Identificar con metodologías rigurosas la contribución, atribuible a la ejecución del
programa, en la reducción de la carencia por acceso a la alimentación de la población
objetivo, así como otras variables asociadas (ahorro, consumo, alimentación y
nutrición).
 Levantar información para realizar una evaluación horizontal que permita medir la
contribución de cada programa alimentario del Sector Desarrollo Social, y comparar los
resultados entre ellos.
Componentes a evaluar:
 Valoración sobre los efectos e impactos esperados, incluyendo los indicadores de Fin y
Propósito de la MIR, así como otras mediciones complementarias:
o Efectos sobre el consumo y ahorro de los hogares
o Impactos en la alimentación de las familias
o Impactos en la nutrición de poblaciones en riesgo nutricional (niños de 0 a 24
meses, niños entre 2 y 5 años, mujeres embarazadas y en lactancia)
Justificación técnica y/o empírica:
 En más de 6 años no se han realizado evaluaciones de impacto rigurosas al programa,
por lo que se desconoce en qué medida cumple con los objetivos establecidos.
34

El levantamiento de una sola encuesta para los programas alimentarios, permitiría
medir la contribución marginal de cada programa en la reducción de la desnutrición, en
lugar de que cada programa levante su propia encuesta.
Periodo de ejecución:
18 - 24 meses
3.3.4 2017 Evaluación estratégica de desempeño de los programas sociales alimentarios
Objetivos y aspectos a evaluar:
 Evaluar de forma comparativa los logros e impactos del PAL, PASL, PAR y PDHO en la
carencia de acceso a la alimentación, identificando los espacios de sinergia,
complementariedad y duplicidades, a afecto de mejorar la articulación de estas
iniciativas
Componentes a evaluar:
 La respuesta gubernamental para atender los principales problemas asociados a la
carencia por acceso de alimentos de la población mexicana.
 La política y programas federales con objetivos de alimentación o nutrición en sus
beneficiarios.
 El vínculo multifactorial entre la disponibilidad, acceso, consumo y aprovechamiento de
los alimentos en ambientes sanos.
 Los impactos marginales de cada programa en la reducción de la carencia de acceso a la
alimentación, considerando variables de consumo, alimentación y nutrición.
Justificación técnica e importancia:
 Contar con elementos de análisis sobre los alcances y contribución de cada uno de los
programas de corte alimentario en el logro de los objetivos de la política social, de
alimentación y nutrición
Periodo de ejecución:
 6 a 9 meses
3.3.5 2017: Evaluación de procesos
Objetivo:
Realizar un análisis sistemático, mediante trabajo de campo y de gabinete, sobre la operación
del programa con la finalidad de conocer cómo se conducen al logro de la meta a nivel
propósito, así como detectar los problemas operativos a los que se enfrenta y las buenas
prácticas que se realizan, de manera que se puedan emitir recomendaciones que permitan
mejorar su gestión.
35
Aspectos a evaluar:
 Operación del programa.
 Identificación y clasificación de los procesos.
 Análisis y medición de atributos de los procesos.
 Análisis global de la operación del programa.
Justificación técnica y/o empírica:
 Valorar si la operación del programa favorece el logro de la metas a nivel de Propósito,
ya que, de existir un diseño adecuado, la correcta operación del programa permitiría el
logro de las metas de cada Componente establecido en la matriz de indicadores del
programa y, por lo tanto, el logro del Propósito.
Periodo de ejecución.
 6 - 9 meses
3.3.6 2018: Evaluación de cconsistencia y resultados
Objetivos:
 Evaluar mediante trabajo de gabinete y apoyado en información proporcionada por el
programa, la fortaleza del programa en cuanto a su diseño, planeación estratégica,
cobertura y focalización, operación, percepción de la población objetivo y resultados. Lo
anterior, con el fin de que las recomendaciones de este análisis puedan retroalimentar
el diseño y la gestión del programa, para incidir positivamente en su desempeño.
Componentes a evaluar:
 Diseño,
 Planeación Estratégica
 Cobertura y Focalización
 Operación
 Percepción de la Población Objetivo
 Resultados.
Justificación técnica o importancia:
 Se considera pertinente analizar el programa de forma global y sistemática, al menos
una vez durante cada administración, a efecto de valorar la consistencia y los resultados
del mismo.
Periodo de ejecución:
6 meses
36
3.4
Análisis de viabilidad y pertinencia para las evaluaciones de impacto
Dada la importancia de corroborar en los hechos los cambios que las intervenciones públicas
son capaces de imprimir en la realidad que buscan revertir, este apartado incorpora una
propuesta más detallada para someter al programa una evaluación de impacto. Se describen la
metodología y las fuentes de información necesarias para llevar a cabo este tipo de evaluación,
de acuerdo con la naturaleza de las variables específicas a medir así como de las características
específicas del programa. La propuesta se acompaña de un análisis de pertinencia y de
viabilidad técnica y financiera.
3.4.1 Pertinencia de la evaluación
En 2006 el PAL tuvo una evaluación de impacto, en particular asociada a los componentes
básicos de salud y nutrición, así como a otros aspectos relevantes como la movilidad laboral
intergeneracional, el consumo de los hogares, antropometría, entre otros. Con todo, es
pertinente realizar más estudios de este tipo, por diversas razones.
En primer lugar, algunos de los efectos e impactos deseados del programa son observables sólo
en el largo plazo, y únicamente algunos de ellos han sido cuantificados en evaluaciones previas.
Además, las condiciones propias y de contexto de los hogares beneficiarios y sus miembros
pueden cambiar a lo largo del tiempo; de hecho, se espera que pase por el progreso secular del
país, sus regiones y las localidades, al margen del programa. Ello implica que algunos de los
cambios puedan incidir sobre la significancia y magnitud de los efectos del programa sobre
diversas variables de interés.
Otra razón para impulsar nuevas evaluaciones de impacto radica en los cambios en la
referencia para la población objetivo, que tan sólo en esta administración pasó de la pobreza
extrema a la pobreza alimentaria a la línea de bienestar mínimo, de acuerdo con las diversas
metodologías aplicables para la medición de la pobreza. Aunque el programa siempre ha tenido
su propio vector de referencia—el sistema de puntaje—es evidente que las condiciones de
elegibilidad pueden tener efectos sobre la composición de los grupos beneficiarios y entonces
sobre los eventuales efectos e impactos promedio a estimar.
Por otro lado, los cambios en el resumen narrativo y los indicadores de la matriz de indicadores
de resultados de 2007 a la fecha, pueden requerir estimaciones que no se hayan realizado
anteriormente. Es decir, es posible que ante cambios en los niveles de Fin y Propósito, las
evaluaciones de impacto previas no reflejen de forma precisa las nuevas variables de interés.
Adicionalmente, cabe mencionar que la propia expansión en la cobertura del programa, hasta
llegar a cubrir prácticamente en su totalidad a su población objetivo, ha generado una serie de
complicaciones metodológicas para realizar las evaluaciones, pues ha resultado cada vez más
difícil encontrar buenos grupos de control o de comparación. Si bien los evaluadores han
tratado de resolver este problema de diversas formas, varios de ellos han hecho patente las
limitaciones que puede acarrear para su estimaciones, y han recomendado que en adelante se
37
exploren nuevas alternativas técnicas y metodológicas para evaluar los efectos e impactos del
programa.
Finalmente, a lo largo de los años se ha dejado de lado la estimación de los efectos e impactos
del programa en relación con otras iniciativas federales y estatales para la formación de
capacidades básicas en los hogares en condición de pobreza. Esto representa un área de
oportunidad muy relevante, tanto en el sentido de poder estimar los resultados de la actuación
conjunta de los programas, como de comparar el costo-efectividad y las ventajas y desventajas
de cada uno de ellos—o al menos de los principales—en ciertos nichos de población y variables
de interés.
3.4.2 Aspectos a evaluar
Por principio, se recomienda que los aspectos a evaluar de forma prioritaria sean aquellos que
correspondan con los indicadores a nivel de Fin y Propósito de la matriz de indicadores, para
cada uno de los componentes del programa. De esta forma, se alinea de forma más adecuada el
sistema de monitoreo con el sistema de evaluación, dando consistencia y estabilidad a las
mediciones de desempeño. Por otro lado, se puede tener información sobre el impacto
diferenciado que cada componente aporta al Fin del programa y con ello tomar decisiones de
política pública adecuadas o dirigidas a mejorar los resultados deseados.
En el caso del PAL, se recomienda que las evaluaciones de efectos e impactos en los principales
tipos de beneficiarios (grupos etarios e indígenas), con una combinación adecuada de métodos
y fuentes de información, consideren algunos de los siguientes aspectos, que no pretenden ser
exhaustivos sino inicialmente sólo indicativos:

Alimentación y nutrición:
o Puntaje Z2 de crecimiento de variables seleccionadas (niños menores de 5 años)
o Prevalencia de anemia (niños menores de 5 años y/o mujeres embarazadas y en
lactancia)

Condiciones de vida y oportunidades:
2
Las mediciones antropométricas se usan para evaluar el estado nutricional de individuos y grupos de población, y
sirven como referencia evaluar el impacto de programas de nutrición y ayuda alimentaria. Las mediciones
antropométricas que comúnmente se utilizan en este tipo de programas son índices referidos a la talla, el peso y la
edad, particularmente la talla para la edad (T/E), peso para la edad (P/E), peso para la talla (P/T) y el índice de
masa corporal para la edad (IMC/E). Cada índice se registra como un puntaje Z—referido en desviaciones
estándar—que describe en qué medida y en qué dirección se desvía la medición antropométrica de un individuo
del promedio de su sexo establecido por la OMS en los Patrones de Crecimiento Infantil de 2006. El puntaje Z de
un individuo se pueden utilizar para clasificar su grado de desnutrición y también se puede calcular una media de
puntaje Z para determinar el estado nutricional de un grupo de población. Con base en lo anterior, se recomienda
que durante la etapa de diseño de la evaluación del programa se decida cuáles de los cuatro índices se utilizarán, o
si aplicará el conjunto completo. Como mínimo, recomienda usar el índice de talla para la edad, que es una
referencia muy común de desnutrición y resulta muy fácil de medir en campo.
38
o
o
o
o
o

Pobreza multidimensional extrema (bienestar y carencias sociales)
Movilidad laboral intergeneracional
Salarios
Empoderamiento (individual, comunitario, género)
Satisfacción con la vida propia (índice de felicidad) 3
Salud:
o Morbilidad (incidencia)
o Convalecencia (duración)
Existen diversas pruebas, variables y construcciones metodológicas que se pueden utilizar para
medir los indicadores antes sugeridos. Como ejemplo de buenas prácticas y como referencias
específicas para valorar las diversas alternativas para medir efectos e impactos sobre consumo,
alimentación y nutrición, se sugiere revisar las siguientes evaluaciones:
a) Evaluación del Modelo Integral de Apoyo a la Nutrición y el Neurodesarrollo PALOportunidades 2011. INCMNSZ.
b) Análisis del impacto de la fortificación de la leche Liconsa con hierro, zinc y otros
micronutrimentos sobre el rendimiento escolar de la población de beneficiarios del
Programa de Abasto Social de Leche a cargo de LICONSA 2009. INSP.
c) Estudio de evaluación de la calidad y el impacto de la harina de maíz enriquecida y
fortificada marca Sedesol-Diconsa 2008. INCMNSZ.
3
La felicidad es un concepto complejo que ha sido abordado desde muchas perspectivas. La perspectiva científica
se caracteriza por ofrecer una definición operacional de la felicidad que, aunque no comprende toda la
complejidad que otras perspectivas consideran sobre este concepto, sí permite su medición. En palabras simples,
la felicidad es definida como el grado con que una persona aprecia la totalidad de su vida presente de forma
positiva y experimenta afectos de tipo placentero. Esta definición tiene implicaciones relevantes para la medición
de la felicidad. En los últimos años se han realizado esfuerzos para cuantificar la felicidad como un indicador de
valoración de la satisfacción con la vida y percepción de acceso a oportunidades de desarrollo personal; de hecho,
existen intentos serios para proporcionar información válida sobre la percepción de la calidad de vida–Gallup
World Poll (GWP), the World, Values Survey (WVS), and the European Social Survey (ESS)–que pueden ser usados
para guiar la formulación de políticas públicas. En ese sentido, el World Hapiness Report 2010, concluye que el uso
regular a gran escala y la recopilación de datos sobre la felicidad. mejora la formulación de políticas. Por tal
motivo, se recomienda que se valore la pertinencia de incorporar un índice de satisfacción con la vida propia, que
incorpore elementos cualitativos sobre la percepción de los beneficiarios y se asocie con el concepto de felicidad
como variable relevante de medición de los efectos del programa. Cabe mencionar que, en función de la
justificación, los objetivos y el alcance de Oportunidades, así como de las condiciones de la población beneficiaria y
la capacidad transformadora que puede tener el programa sobre estas, es de esperarse que existan efectos
significativos y relevantes, cuya medición contribuiría a arrojar nueva luz sobre una intervención con las
características de Oportunidades. Véase: Helliwell, Layard and Sachs. 2010. World Happiness Report, Columbia
University, 2010.
39
3.4.3 Metodologías y fuentes de información
Para evaluar un programa con el alcance de Apoyo Alimentario es necesario combinar métodos,
técnicas y fuentes de información diversas. Independientemente de las aproximaciones
particulares que se tomen—esto es, cuantitativas y cualitativas, encuestas y entrevistas,
levantamientos propios y datos censales, etc.—todas las evaluaciones deberán partir de un
diseño de investigación robusto y adecuado para las variables de interés y los grupos de
aplicación, que preferentemente hayan sido probadas en estudios similares.
La estrategia metodológica propuesta para la evaluación de impacto considera tres elementos
clave: la mezcla de métodos cualitativos y cuantitativos, un enfoque cuasi-experimental a lo
largo del estudio, y la utilización de estudios de caso. Las características y relevancia de estos
elementos de diseño se desarrollan a continuación.
Cuantitativo y cualitativo
Debido a la cantidad, diversidad y complejidad de los aspectos a estudiar del programa, es
necesario establecer una estrategia metodológica compuesta, con procedimientos de acopio de
información y técnicas analíticas tanto cuantitativas como cualitativas adecuadas para cada uno
de estos aspectos. El propósito es asegurar que se obtengan y examinen apropiadamente
todos los datos requeridos, para lograr resultados válidos, generar conclusiones sólidas y
proponer recomendaciones útiles. Así, el diseño se debe ubicar dentro las evaluaciones de
métodos mixtos (mixed-methods evaluation), vertiente que consideramos la más rica y
adecuada para evaluar al PAL.4 Este tipo de investigación evaluativa permite integrar no sólo
aquellos datos y observaciones cuantitativas comúnmente utilizadas en la evaluación de
programas y proyectos sociales para medir fenómenos relevantes “objetivos” y “regulares”,
estimando asimismo su variabilidad y grado de generalización, sino también para otros datos y
observaciones cualitativas que reflejan percepciones subjetivas y formas de interacción de los
actores, que permiten entender mejor y describir en profundidad dichos fenómenos. 5
En la evaluación del PAL, los análisis a partir de datos y técnicas tanto cualitativas como
cuantitativas se deben diseñar con rigor lógico y metodológico buscando maximizar su validez
para hacer inferencias descriptivas y causales en torno de los fenómenos, variables y
condiciones que se busca apreciar y entender. La vertiente cuantitativa resulta más adecuada
para observaciones relativamente abundantes o con “números grandes”, que normalmente se
derivan de censos o encuestas. Por otro lado, la vertiente cualitativa se utiliza para
observaciones relativamente escasas o con “números pequeños”, con datos obtenidos a partir
4
Para un mayor desarrollo sobre las características de las evaluaciones de métodos mixtos, véase: Frechtling and
Sharp (1997). En el caso mexicano, entre los ejemplos más relevantes de este acercamiento metodológico son las
evaluaciones recientes del Programa de Desarrollo Humano Oportunidades, que combinan diversas metodologías
y técnicas tanto cuantitativas como cualitativas.
5
Para un mayor desarrollo de sobre las características básicas, utilización y complementación de las metodologías
cuantitativas y cualitativas, véase: Cortes (2002); y King, Keohane & Verba (1994, pp. 3-7).
40
de grupos de enfoque, entrevistas y observación en sitio, entre otras técnicas. Estas vertientes
se encuentran en los extremos opuestos del compromiso—en el sentido de trade-off—que
cualquier investigación con tiempo y recursos limitados se ve obligada a que hacer en cuanto a
amplitud y profundidad de las observaciones.
Se recomienda que la vertiente cuantitativa se oriente principalmente hacia la medición y
valoración de las intervenciones y sus efectos, mientras que la cualitativa se utilice para
describir los contextos en que dichas intervenciones y efectos ocurren, así como para entender
los significados que los diversos actores involucrados les otorgan. Sin pretender simplificar
excesivamente sus diferencias, es evidente que la evaluación necesita contar con ambas
perspectivas para cumplir con su fin de ser útil para la toma de decisiones y la mejora del
programa.
Se pretende que las metodologías cuantitativas y cualitativas no sólo se complementen
funcionalmente hablando—en el sentido de que lo que no se hiciera o lograra con unas se
consiguiera con las otras—sino que además se integraran—en el sentido de que lo que se logre
o consiga con unas sirva para informar, extender y refinar lo obtenido a través de las otras.
Dicha complementación e integración se debe hacer de manera formal y explícita tanto en los
estudios de caso como en los modelos estadísticos.
Enfoque cuasi-experimental
Con el enfoque cuasi-experimental no sólo se estiman y aprecian los valores de las variables de
interés asociados a la intervención del programa, sino también de la comparación con los
valores que se hubieran dado en ausencia de la misma—esto es, el escenario contrafactual. La
intención es identificar y estimar mejor los cambios y las diferencias que se pueden atribuir
propiamente a la intervención del programa, y no confundirlos con aquellos que se pueden
derivar de otros factores internos o externos a la problemáticas social, y que son ajenos al
programa.
Si bien los enfoques cuasi-experimentales y los contrafactuales más en general son
comúnmente utilizados para estimaciones de impacto con base en técnicas cuantitativas y
bases de datos grandes, en términos metodológicos son igualmente aplicables a los análisis con
base en técnicas cualitativas, que normalmente emplean datos obtenidos a partir de grupos de
enfoque, entrevistas y observación en sitio. Esto es porque la lógica inferencial del diseño es la
que proporciona su validez interna, y no el uso de una técnica de recolección y tratamiento de
datos en particular; así, dicha lógica simplemente debe ser explicada y formalizada de manera
clara y precisa.
En cuanto al detalle de la vertiente cuantitativa, para la evaluación de impacto se sugiere el uso
de modelos de estimación por dobles diferencias, ya que es uno de los métodos que suele
arrojar resultados más robustos debido a la construcción de los grupos de tratamiento y de
comparación, tanto de manera previa a la intervención del programa así como en periodos
posteriores a la misma—esto es, un modelo “antes y después” con grupo de comparación. En el
41
caso del PAL, el grupo de tratamiento consistiría de localidades apoyadas, y el de comparación
se haría con localidades no apoyadas. La información que se requiere para realizar las
estimaciones se puede obtener de encuestas propias con representatividad nacional para la
población objetivo, tanto atendida como no atendida. En consideración de los distintos apoyos
que entrega el PAL, se recomienda valorar la pertinencia de que la encuesta considere estratos
de tipos de beneficiarios y no beneficiarios por grupo de edad y sexo que estén asociados a los
distintos tipos de apoyo.
En lo que toca a los estudios de caso, que implican sustancial trabajo cualitativo, estos pueden
diseñarse con un enfoque comparativo—incluyendo casos de tratamiento y casos de
comparación—procurando que la lógica y procedimientos de selección de los casos replique en
lo posible lo que se haría en la vertiente cuantitativa de la evaluación. Por otro lado, también se
alienta seguir utilizando métodos cualitativos en la evaluación, especialmente para identificar
los mecanismos de las relaciones causales así como los factores ambientales relevantes que no
pueden ser identificados o especificados a través de los modelos estadísticos. Entre otros
aspectos a examinar, se pueden considerar la influencia de las motivaciones y expectativas,
aspectos culturales y la inclusión social, entre otros, que pueden incidir sobre los resultados del
programa, así como servir para identificar otros no esperados.
Estudios de caso
Los estudios de caso aplican a efecto de obtener una visión más comprensiva y detallada del
impacto del programa, así como de las condiciones que afectan su desempeño. Así se sugiere
que la unidad de análisis básica sean los proyectos apoyados, buscando captar entonces los
efectos e impacto que se derivan de estos hacia el fortalecimiento institucional de lo actores
sociales así como al desarrollo y el capital social de los grupos vulnerables. Los proyectos a
estudiar se pueden seleccionar considerando una variabilidad de condiciones relevantes, tales
como el área de intervención (prevención de violencia, desarrollo productivo, inclusión social,
etc.); tipo de grupos beneficiados (mujeres en riesgo, indígenas en situación de pobreza,
personas discriminadas, etc.); costo e inversiones, número de participantes, tiempo de
ejecución, entre otras.
Los estudios de caso buscan combinar e integrar diversos métodos y técnicas tanto cualitativas
como cuantitativas, a efecto de lograr una apreciación más informada y sólida de los actores,
procesos y condiciones a analizar. Entre las herramientas empleadas se puede incluir el análisis
de registros administrativos y de inversión, encuestas propias, grupos de enfoque, entrevistas
semi-estructuradas y profundas, así como la observación en sitio. En todos los estudios se
deben utilizar las mismas herramientas para recolección y análisis de datos, a efecto de
asegurar la mayor comparabilidad y aprovechamiento de la información posible, esto con
algunas variaciones según lo ameriten las condiciones particulares y de acuerdo a la
metodología sugerida. El enfoque de los estudios puede ser etnográfico, explicativo,
comparativo y contrafactual, para poder hacer inferencias descriptivas y causales relacionadas
con el impacto del programa.
42
3.4.4 Viabilidad técnica y financiera
La viabilidad técnica radica en la capacidad de la institución para generar información y
procesarla adecuadamente con propósitos evaluativos. En este sentido, la experiencia en
evaluación de programas sociales en México y en otros países, hacen patente que se puede
alcanzar este objetivo, desde el punto de vista estrictamente técnico. Existen en el país una
variedad de instituciones educativas y de investigación así como empresas consultoras
especializadas que pueden llevar a cabo este tipo de trabajos. Además, hay ejemplos de buenas
prácticas para el levantamiento y procesamiento de información cuantitativa y cualitativa para
la evaluación de programas, buena parte de ellas en la propia Sedesol. Igualmente, se han
aplicado exitosamente modelos de evaluación robustos e indicadores apropiados para medir
estas mismas variables de interés u otras similares.
Es importante insistir que cualquier evaluación de impacto se beneficia si con anterioridad se
verifican, actualizan, complementan y sistematizan las bases de datos disponibles. En el caso
del PAL, se sugiere revisar y mejorar la información disponible sobre los actores sociales, los
grupos vulnerables y los proyectos, tanto apoyados como no apoyados, a efecto de contar los
insumos necesarios para conformar los grupos de tratamiento y comparación.
Sobre la viabilidad financiera de la evaluación de impacto propuesta, cabe mencionar que el
monto de recursos públicos que se destina anualmente al programa y lo que ya se ha gastado
en los últimos años, no solamente justifica sino que además permite realizar una evaluación
rigurosa para medir sus resultados.
En el caso del PAL como en el de la mayoría de los iniciativas sociales federales, el costo relativo
de las evaluaciones de impacto—aun de aquellas que pueden implicar levantamientos de
información razonablemente amplios—suele ser muy pequeño en comparación con el
presupuesto global de los programas. Más aún, para el programa el costo de una evaluación
como la que se propone seguramente es muy bajo en comparación con el costo derivado de las
deficiencias de diseño, cobertura, focalización y operación que suelen tener las iniciativas
sociales en México y en otros países, respecto de las cuales no hay razón lógica para que el PAL
esté exento. Finalmente, también existe un costo intrínseco en no conocer los resultados del
PAL, pues los tomadores de decisiones no tienen una forma verificable, objetiva y transparente
de saber si es conveniente ampliar la cobertura, incrementar el monto de los apoyos, o invertir
más en alguna vertiente y recortar otra, entre otras decisiones con implicaciones financieras
importantes, cuyos eventuales costos directos y de oportunidad seguramente exceden por
mucho los de realizar una evaluación de impacto rigurosa.
De tal forma, la evaluación de impacto propuesta se puede considerar ex ante como técnica y
financieramente viable, y resulta por demás conveniente. En todo caso lo correcto es buscar
diseños apropiados y asegurar los recursos suficientes para el ejercicio cumpla cabalmente su
propósito.
43
En complemento a lo anterior, cabe mencionar que el PAL tuvo un presupuesto en 2012 de
4,083 millones de pesos. La provisión presupuestal así como la importancia del objetivo general
del programa, crean la necesidad y justifican la conveniencia de conocer en que medida estos
recursos públicos tienen efectos en las condiciones que dieron origen al programa.
Como ya fue mencionado, aunque las evaluaciones de impacto pueden demandar recursos
importantes, en ningún caso son comparables con los recursos que se podrían consumir por
operar un programa que no presenta efectos y puede ser sujeto de un rediseño para estar
alineado con la planeación de la política social. Por el contrario, estos recursos destinados a
elaborar evaluaciones de impacto pueden dar indicios para fortalecer dicha política. Como una
estimación preliminar, el equipo metaevaluador considera que el rango de costo para una
evaluación de impacto del PAL podría ir de 9 a 12 millones de pesos que, comparados con el
presupuesto de los dos ejercicios fiscales que comprendería dicha evaluación, representa
aproximadamente 0.22% a 0.29% del total.
Se reconoce que en las ROP, año con año se incluyen cláusulas que ponen un tope sobre el uso
de recursos destinados a la evaluación. No obstante, una evaluación metodológicamente
robusta y con una justificación adecuada sobre la decisión de llevarse a cabo, debería tener un
canal financiero asegurado. En este caso, el volumen presupuestal del programa facilita una
evaluación de esta naturaleza al posibilitar que no se contraponga con la limitante contenida al
respecto de las evaluaciones en las ROP.
44
3.5
Principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones
En este apartado se incorpora un resumen de las Fortalezas, Oportunidades, Debilidades y
Amenazas (FODA) del programa identificadas en cada evaluación analizada, acompañadas de
sus recomendaciones y propuestas asociadas. Cabe señalar que sólo se presentan aquellos
elementos que, a juicio del metaevaluador, son relevantes, en términos de su importancia e
implicaciones para el desempeño del programa, así como vigentes, en el sentido que la
situación que les dio origen lo sigue siendo en alguna medida. El FODA completo de forma
esquemática se presenta en el Anexo 4.
45
Resumen de Fortalezas, Oportunidades, Debilidades y Amenazas del Programa de Apoyo Alimentario
Tema de evaluación
Aspecto identificado
Referencia
Recomendación
Referencia de la recomendación
Fortalezas
Diseño
El PAL atiende a población pobre de localidades rurales
dispersas donde Oportunidades no puede operar por falta
de acceso a servicios de educación y/o de salud.
EED10/11-PAL-HIMFG-pp.13
RECOMENDACIÓN DEL EVALUADOR
Realizar seguimiento nutricional a los beneficiarios directos, los niños
menores de 5 años y las mujeres embarazadas, para conocer el
impacto y su contribución a las políticas de desarrollo social.
RECOMENDACIÓN DEL METAEVALUADOR
Diseño
Brinda la oportunidad a la población vulnerable de mejorar
su nutrición y salud mediante los apoyos monetarios y de
complementos alimenticios
ECR11/12-PAL-CIAyD-pp.67
Diseño
La información socio-económica proporciona un
instrumento que garantiza una mayor transparencia en la
asignación de los recursos.
ECR11/12-PAL-CIAyD-pp.67
Cobertura y focalización
La población atendida corresponde con la población
objetivo.
ECR07-PAL-CEPNA-pp.117;
ECR11/12-PAL-CIAyD-pp.67
Cobertura y focalización
Operación
Operación
El Programa cuenta con criterios de elegibilidad claros y
con procedimientos adecuados para la identificación y
selección de beneficiarios.
El proceso de transferencia de recursos y entrega de
apoyos cumple con lo establecido en las Reglas de
Operación; se basa en procedimientos documentados,
estandarizados, sistematizados y difundidos públicamente,
y es eficaz y eficiente.
El Programa cuenta con un padrón de beneficiarios y ha
establecido mecanismos adecuados para su depuración,
actualización y verificación.
Ante la restricción en el acceso efectivo a los servicios de salud —
característica que afecta particularmente a la población objetivo del
PAL, pues de otra manera de estaría en Oportunidades— no resulta
factible hacer un seguimiento nutricional de los beneficiarios, tal como
lo propone el evaluador. Sin embargo, sigue siendo necesario conocer
el impacto del programa, por lo que se sugiere hacer mediciones
periódicas a una muestra de beneficiarios y no beneficiarios
comparables, con un propósito de evaluación y no propiamente de
seguimiento, utilizando técnicas adecuadas para tales efectos.
ECR07-PAL-CEPNA-pp.117;
ECR11/12-PAL-CIAyD-pp-14
ECR07-PAL-CEPNA-pp.117;
ECR11/12-PAL-CIAyD-pp.39 a 40
y 43 a 44
ECR07-PAL-CEPNA-pp.117;
ECR11/12-PAL-CIAyD-pp.35 a 37
46
Oportunidades
Diseño
El PAL tiene el potencial de funcionar como un programa
previo a Oportunidades para atender a la población en
condición de pobreza que vive en localidades rurales
pequeñas y dispersas, en caso de que se pretenda,
eventualmente, ampliar el acceso a los servicios de
educación y/o de salud para permitir así la entrada de
Oportunidades.
Planeación
Con base en los datos que el programa levanta en los
hogares atendidos, es posible generar información muy
valiosa para ser utilizada por las autoridades federales,
estatales y municipales en la planeación de otros
programas. La información detallada sobre la situación de
ED09-PAL-HIMFG-pp.201;
los hogares que habitan en localidades rurales pequeñas y EED09/10-PAL-HIMFG-pp.21
dispersas, de alta marginación y pobreza, suele ser muy
escasa y se recoge con periodicidades relativamente largas;
sin embargo, resulta de gran utilidad cuando se quiere
focalizar adecuadamente las intervenciones y maximizar el
impacto de los programas, así como la eficiencia de los
recursos en la población que presenta mayores carencias.
EED10/11-PAL-HIMFG-pp.13
Establecer mecanismos de coordinación con las autoridades educativas
y sanitarias de los estados con el fin de participar en los procesos de
planeación de la cobertura y ampliación del acceso a los servicios de
educación y de salud en las localidades actualmente no cubiertas, con
el propósito de facilitar la entrada de Oportunidades.
RECOMENDACIÓN DEL EVALUADOR
Revisar y hacer una sola encuesta por hogar igual a la que levanta el
programa Oportunidades, en vez de las dos actuales. Sistematizar y
hacer disponible esta información a otras autoridades federales y
locales.
RECOMENDACIÓN DEL METAEVALUADOR
Establecer mecanismos de colaboración e intercambio de información
con otras autoridades federales, estatales y municipales, para utilizar
la información que generan las partes, con las salvaguardas legales
aplicables.
47
Debilidades y amenazas
El problema focal del programa, así como la población
potencial y objetivo no están correctamente identificados
ni claramente definidos, pues subsisten algunas
ambigüedades e inconsistencias importantes.
Diseño
El problema focal identificado en el Diagnóstico 2009 del
PAL (“la persistencia de desnutrición crónica, anemia y
deficiencia de micronutrientes en familias en situación de
pobreza en localidades rurales marginadas y desatendidas
por los programas de asistencia social existentes”) es en
general correcto, si bien tiene algunas deficiencias que se
pueden corregir fácilmente. Sin embargo, dicho problema
no se refleja en la definición de población objetivo
establecida en las ROP 2012 (“Hogares cuyas condiciones
socioeconómicas y de ingreso impiden desarrollar las
capacidades de sus integrantes en materia de educación,
nutrición y/o salud, y que no son atendidos por el
Programa Oportunidades”). Adicionalmente, en sí misma,
esta definición no está correctamente alineada con la
lógica interna del PAL expuesta en sus objetivos general y
específico (“Contribuir al desarrollo de las capacidades
básicas de los beneficiarios, mediante la realización de
acciones que permitan mejorar su alimentación y
nutrición” y “Mejorar la alimentación y la nutrición de las
familias beneficiarias, en particular de los niños y niñas
menores de 5 años y de las mujeres embarazadas o en
periodo de lactancia”).
Por otro lado, las aproximaciones a la población potencial y
objetivo del PAL que se hicieron considerando el
Diagnóstico Oportunidades 2011 que aparece en la Nota
de actualización de la población potencial y objetivo del
PAL son ambiguas y técnicamente incorrectas, conforme a
la metodología establecida para ello en el marco lógico y
en los lineamientos de Coneval. (La población potencial se
propone como “individuos no menores de 22 años, que no
sean mujeres en edad reproductiva y no sean mayores de
70 años, y que además cuenten con un ingreso per cápita
menor a la línea de bienestar”, y la población objetivo se
plantea como “individuos que no sean menores de 22
años, no sean mujeres en edad reproductiva y no sean
mayores de 70 años, además de contar con un ingreso per
cápita menor a la línea de bienestar mínimo”).
RECOMENDACIÓN DEL METAEVALUADOR
Se recomienda revisar la definición del problema focal y, a partir de
ésta, redefinir también las características de la población potencial y la
población objetivo, de conformidad con los criterios técnicos
establecidos en la metodología de marco lógico y en los Lineamientos
de CONEVAL correspondientes.
Por otro lado, se debe considerar que el hecho de que el PAL esté en
coordinación directa con Oportunidades no significa que ambos
ECR07-PAL-CEPNA-pp.117;
programas tengan el mismo problema focal y atiendan el mismo tipo
ED09-PAL-HIMFG-pp.201;
de poblaciones, con la diferencia de que el primero opera donde el
EED10/11-PAL-HIMFG-pp.13;
segundo no puede hacerlo, debido a las limitaciones en el acceso a los
ROP 2012; Diagnóstico del PAL;
servicios educativos y/o de salud. En términos de diseño formal, el PAL
Nota de actualización de la
se ha centrado siempre en torno a la alimentación y a la nutrición,
población potencial y objetivo
mientras que Oportunidades lo ha hecho sobre las capacidades básicas
del PAL.
de educación, salud y nutrición. Sin embargo, en la normatividad y en la
práctica, la cobertura del PAL ha estado condicionada a la de
Oportunidades, como si fueran programas que se sustituyeran entre sí o
que duplicaran los beneficios, y esto no es realmente cierto. Por lo
tanto, si van a operar de forma coordinada, es indispensable que se
defina con claridad cuál es la problemática que aqueja a la población
que no cuenta con acceso a Oportunidades, qué objetivos de política
social se pretenden alcanzar en dicha población, y qué tipo de apoyos
deben otorgarse a través de lo que hoy se conoce como PAL, lo cual
seguramente implicará una redefinición de éste.
Aparentemente, los problemas en torno a la definición del
48
problema focal, de la población potencial y la población
objetivo se dieron por solventados al pasar el programa de
Diconsa a la CNPDHO, y así se reflejó en la ECR11. No
obstante, como ya se vio, las inconsistencias y
ambigüedades subsisten. Esto tiene implicaciones muy
importantes en materia de diseño, al menos en torno a la
cuantificación de poblaciones y a la definición y
focalización de apoyos.
RECOMENDACIÓN DEL METAEVALUADOR
Diseño
No se cuenta con una mayor frecuencia en la periodicidad
de la información para los indicadores de Fin y de
Propósito. Las fuentes de información para evaluar el
impacto se realizan cada 5 años y provienen de los
resultados de la ENSANUT.
EED10/11-PAL-HIMFG-pp.13;
ECR11-PAL-CIAYD-pp.67 a 68
Además de la coordinación para el diseño de la ENSANUT, se
recomienda desarrollar encuestas propias del programa que permitan
medir los indicadores de interés en la población beneficiaria y no
beneficiaria con mayor frecuencia, sirviendo como herramientas para
las evaluaciones de efectos e impactos a nivel de Propósito y de Fin.
RECOMENDACIÓN DEL METAEVALUADOR
Redefinir la función del PAL y ampliar los apoyos para los hogares que
actualmente atiende, para que cumpla una función más amplia y de
mejor manera.
Diseño
El tránsito de los hogares del PAL a Oportunidades está
limitado por la cobertura de los servicios educativos y de
salud en las localidades.
ECR11/12-PAL-CIAyD-pp.67
Alternativamente, se sugiere incorporar gradualmente a Oportunidades
a las poblaciones del PAL, independientemente de los avances en la
cobertura de los servicios educativos y de salud en sus localidades, y
revaluar la pertinencia de condicionar los apoyos a quienes no están en
condiciones fácticas de cumplir. También se pueden buscar formas
distintas o innovadoras para que los hogares y sus miembros puedan
cumplir la condicionalidad de Oportunidades y migrar hacia dicho
programa.
RECOMENDACIÓN DEL EVALUADOR
Cobertura y focalización
No se abarca un horizonte de largo plazo, debería existir
una estrategia de ampliación de cobertura para que en un
plazo definido se vaya cubriendo a la población objetivo
del programa en pobreza alimentaria.
Con base en la revisión y actualización del diagnóstico se deben trazar
metas tanto de mediano como de largo plazos (transexenales) por el
PAL.
ECR11/12-PAL-CIAyD-pp.68
RECOMENDACIÓN DEL METAEVALUADOR
Es necesario establecer un plan que permita la coordinación de las
actividades y componentes del Programa con la Secretaría de Salud para
la planeación de la infraestructura y de los servicios de salud en
localidades remotas, así como con las Caravanas de Salud.
49
RECOMENDACIÓN DEL METAEVALUADOR
Resultados
Falta evaluación comparativa que mida los impactos del
PAL respecto de otros programas de alimentación y
nutrición
ECR11/12-PAL-CIAyD-pp.68
Realizar evaluaciones a todos los programas alimentarios y de nutrición
existentes en el país que permitan conocer los impactos particulares de
cada uno y establecer así una comparación entre ellos. Lo anterior
puede ser complementado con estudios de costo-efectividad.
RECOMENDACIÓN DEL METAEVALUADOR
Resultados
El Programa no cuenta con evaluaciones externas recientes
que midan sus efectos e impactos a nivel de Propósito y de
Fin.
Llevar a cabo evaluaciones periódicas y técnicamente rigurosas que
permitan conocer los verdaderos efectos e impactos del programa.
50
3.6
Análisis de la contribución de los programas alimentarios a la reducción de la carencia
de acceso a la alimentación
En este apartado se analiza si los bienes y servicios otorgados por los programas a cargo de las
dependencias y entidades del Sector de Desarrollo Social que tienen componentes alimentarios
(PDHO, PAL, PAR y PASL), contribuyen a reducir la carencia en el acceso a la alimentación,
tomando como referencia los elementos del indicador considerado en la metodología para la
medición de la pobreza en México.
3.6.1 Aspectos conceptuales y de diseño programático
La carencia por acceso a la alimentación se entiende como “la existencia de limitaciones
significativas en el ejercicio del derecho a disfrutar del acceso físico y económico a una
alimentación adecuada y a los medios para obtenerla” (CONEVAL, 2011). De esta manera, la
carencia se encuentra asociada a los conceptos de estabilidad, suficiencia y variedad de los
alimentos; entonces, se entiende asociada a algún grado de inseguridad alimentaria. La
inseguridad alimentaria es el concepto opuesto al de seguridad alimentaria, es decir, la
situación en la cual todas las personas tienen en todo momento acceso físico y económico a
suficientes alimentos inocuos y nutritivos para satisfacer sus necesidades alimenticias y sus
preferencias en cuanto a los alimentos, a fin de llevar una vida activa y sana” (FAO, 2009). Así,
desde una perspectiva conceptual, se considera en situación de carencia por acceso a la
alimentación a los hogares que presentan un grado de inseguridad alimentaria moderado o
severo.
Una vez que se tiene claridad conceptual en torno a la carencia de acceso a la alimentación, la
metodología de Coneval se aboca al problema de la medición, para lo cual considera
específicamente de las experiencias de hambre en los hogares. Esta aproximación se compone
de una escala a partir de diversas preguntas aplicadas en los hogares, por medio de la cual se
capta la percepción tanto de preocupación como de problemas con la cantidad o calidad de la
dieta en el hogar durante un periodo de referencia. El constructo teórico detrás de las
preguntas de la escala supone que un choque negativo—como la pérdida de ingreso—produce
preocupación en los integrantes de hogar, seguida de una reducción en la calidad de la dieta,
una disminución de contenido calórico en los alimentos de los adultos y luego en niños, hasta
llegar al hambre, definida como dejar de comer un día en el periodo de referencia de la escala.
Formalmente, el diseño de los programas sociales alimentarios plantea incidir sobre el estado
nutricional a través de la mejora del acceso físico o económico a alimentos de los hogares
pobres, ya sea a través de apoyos monetarios, en especie o en el precio. La desnutrición no es
sinónimo de carencia por acceso a la alimentación—en los términos de la mala alimentación
que, a su vez, provoca la deficiencia de diversos componentes del complejo nutricio en el
organismo—frecuentemente es consecuencia de encontrarse en tal situación.
51
En términos de medición, los programas sociales alimentarios usan indicadores relacionados
con la desnutrición a nivel Fin o de Propósito de la MIR, basados principalmente en el cálculo de
las prevalencias de talla baja, peso bajo o anemia para grupo determinados, principalmente en
niños menores de 5 años y mujeres embarazadas y en lactancia. Algunos programas utilizan
levantamientos propios como fuente de información para estimar los indicadores, mientras que
otros los construyen a partir de la ENSANUT, aunque con algunas limitaciones en términos de
muestreo estadístico.
Cabe resaltar que, con la información disponible, resulta muy difícil hacer una medición precisa
de la posible contribución de los programas a disminuir la carencia por acceso a la alimentación,
al menos en los términos en que la mide el Coneval. Esto es porque los programas no recogen
datos sobre las experiencias de hambre de los hogares de manera regular ni a través de las
evaluaciones, pero también porque la información que sí recoge la ENIGH no necesariamente
tiene representatividad estadística como para poder hacer las mediciones de referencia.
3.6.2 Potencial de contribución de cada programa
Derivado del análisis conceptual y de la medición de la carencia por acceso a la alimentación, se
han identificado cuatro formas básicas en las que los programas pueden contribuir a la
disminución de la carencia por acceso a la alimentación:
a) mediante transferencia monetaria directa a los hogares, que elevaría su ingreso
disponible y derivaría en un incremento en el consumo y gasto en alimentos así como
mejoras en la calidad y variedad de los mismos;
b) a través de la provisión directa de productos alimentarios básicos de manera gratuita, lo
que en principio implicaría un aumento en su consumo;
c) mediante un subsidio al precio de los bienes de consumo básico, esperando un aumento
de la cantidad demandada al disminuir los costos y cambiar la estructura de precios
relativos de los productos básicos; y
d) a través de la información, difusión y capacitación en hábitos alimenticios, que derivaría
en mejores decisiones y comportamientos de consumo que, a cualquier nivel de ingreso,
incrementaría la satisfacción de las necesidades alimenticias.
Así, desde una perspectiva lógica-causal, se puede esperar que los programas alimentarios
tengan un efecto positivo sobre el consumo de alimentos y en consecuencia, una disminución
en la carencia de acceso a los alimentos. Estos programas parten de supuesto que los bajos
ingresos y el insuficiente acceso y disponibilidad de alimentos son factores que inciden sobre la
inseguridad alimentaria, y por lo tanto se convierten en determinantes de la carencia. Los bajos
ingresos de los hogares se traducen en un menor poder de compra y, por tanto, en menores
posibilidades de satisfacer sus requerimientos de alimentos y otras necesidades básicas. Por
52
otro lado, cuando no hay acceso físico o disponibilidad de alimentos, los hogares ven limitada
su capacidad de satisfacer sus necesidades alimenticias, independientemente de su nivel de
ingreso.
A continuación se presenta brevemente un análisis de los efectos principales que se espera
tengan los programas alimentarios sobre la carencia de acceso a la alimentación, en
consideración tanto de las principales características de los programas como de la
conceptualización y forma de medición de la carencia.
3.6.3 Programa de Desarrollo Humano Oportunidades y Programa de Apoyo Alimentario
En el caso del PDHO y del PAL, las transferencias monetarias en principio elevan el ingreso
disponible y con ello la demanda y el consumo de alimentos, disminuyendo la carencia. Lo
anterior supone que, a cualquier nivel de consumo—incluso al nivel autoconsumo absoluto—
existe un ingreso mínimo imputable para la sobrevivencia de las familias, de forma tal que las
transferencias en efectivo que efectúan los programas influyen directamente en el consumo de
alimentos. Al incrementar y estabilizar el consumo, se espera que las experiencias de hambre
disminuyan y ellos posibilite cruzar el umbral de la carencia por acceso a los alimentos. La
medida en la cual los hogares logren cruzar dicho umbral gracias al apoyo de los programas –
esto es, el impacto—es un problema empírico, que depende no sólo del monto de los apoyos
promedio de los programas sino también de las condiciones socioeconómicas de los hogares
que atiende cada programa.
En general, se puede esperar que el PDHO tenga un efecto relevante en el gasto y consumo de
alimentos de las familias en pobreza extrema, gracias a la suma de los apoyos monetarios que
otorga—que para 2012 suele estar en un rango entre 1,560 y 2,520 pesos por mes por familia,
dependiendo del número y nivel escolar de los becarios registrados. Sin embargo, estos efectos
no se traducen directamente en una reducción de la carencia, puesto que son mediados por la
mejora en la calidad y diversidad de los alimentos y no sólo por el incremento en la cantidad de
los mismos—siendo este último el que tendría mayores impactos sobre las experiencias de
hambre, que es lo que mide la carencia
En cuanto al PAL, los argumentos anteriores aplican de igual forma, pero con dos diferencias
básicas que actúan en sentido opuesto. La primera es que el monto promedio de apoyo es
sustancialmente menor que el del PDHO, variando entre 510 y 720 pesos por familia por mes
dependiendo del número de niños registrados, por lo que los efectos del programa sobre el
gasto en alimentos serían en principio menores. La segunda es que, por sus condiciones
estructurales asociadas precisamente a no contar con acceso a los servicios de salud o
educación, las familias del PAL suelen tener ingresos promedio sustancialmente inferiores a los
del PDHO; por lo tanto, en principio estas familias presentarían la carencia en mayor grado, y el
efecto del programa sobre la misma tendería a ser mayor que el del PDHO.
53
Adicionalmente, se puede esperar que el PDHO tenga un efecto positivo complementario,
aunque seguramente de menor nivel que el asociado al ingreso, a través de la información,
difusión y capacitación en hábitos alimenticios que se realiza en los servicios de salud y las
visitas preventivas. Estas actividades podrían mejorar las decisiones y comportamientos de
consumo de los hogares pobres, e incrementaría la satisfacción de las necesidades alimenticias
independientemente o en complemento de lo que se logre a través del ingreso.
3.6.4 Programa de Abasto Social de Leche
El potencial del PASL para contribuir a la disminución de la carencia de acceso a los alimentos es
prácticamente nulo. En principio, el proveer leche fortificada a menor precio que el de
mercado, reduce el gasto en leche y libera recursos para ser utilizados en otros bienes. Sin
embargo, considerando que la leche no es una parte fundamental del consumo y el gasto de la
población objetivo—las familias con ingresos por debajo de la línea de bienestar—y que la
población efectivamente atendida—en su mayoría, en localidades urbanas y por encima de la
línea de bienestar mínimo—no presenta la carencia, el programa no debe tener impacto alguno
sobre la misma.
No obstante, el programa sí tiene un potencial importante para disminuir la desnutrición, y
desde una perspectiva más amplia sobre la seguridad alimentaria y una medición más
incluyente, podría considerarse alguna posible contribución para disminuir la carencia. En este
sentido, el PASL podría potenciar su contribución al ampliar su cobertura en las zonas rurales
donde se concentre la población por debajo de la línea de bienestar mínimo, con mayores
niveles de desnutrición y de la carencia de alimentos.
3.6.5 Programa de Abasto Rural
Si bien el PAR tiene un potencial de contribuir a la disminución de la carencia, debido a que
busca llevar productos a las comunidades con problemas de abasto y reducir el costo de la
canasta básica alimentaria, su impacto dependerá en buena medida de la cobertura y
focalización de las tiendas Diconsa así como de los diferenciales de precio en la canasta básica y
sus efectos sobre el consumo.
En cuanto a la cobertura y focalización, un numero importante de tiendas Diconsa se encuentra
en localidades con grado de marginación media o baja—más del 45%--con escasa prevalencia
en carencia por acceso a alimentos, mientras que subsiste una proporción importante de
localidades objetivo—al menos 22%—que presentan un grado alto de desabasto y que no son
atendidas por el programa. En cuanto al margen de ahorro en la canasta básica, en los años
recientes ha fluctuado entre 15% y 21%; sin embargo, no se ha evaluado el efecto en el
consumo que se deriva de dicho ahorro, tanto de forma directa a través de las compras en las
tiendas como de forma indirecta a través del efecto sobre los precios en los mercados locales.
54
De tal forma, si bien el programa tiene potencial para contribuir a la disminución de la carencia
alimentaria, no queda claro en qué medida realmente lo hace.
Para que el PAR pudiera tener un mayor impacto sobre la carencia seria necesario mejorar la
cobertura y focalización hacia las localidades rurales con niveles altos de desbasto y de carencia
alimentaria. Convendría también analizar la conveniencia de ampliar el subsidio en los bienes
alimentarios que pesan más en la canasta básica y que reflejen los patrones de consumo local.
Asimismo, sería provechoso desarrollar e incorporar formas alternativas de distribución y
comercialización para poder llegar más lejos, tanto a las localidades objetivo no cubiertas como
a otras de tamaño menor a 200 habitantes.
Con todo, cabe recordar un aspecto esencial: que el PAR vende sus productos y que Diconsa
busca en lo posible recuperar costos para dar viabilidad financiera al programa, lo cual si bien
es entendible, limita el impacto del programa en la carencia. Así, es probable que, para la
población con mayores niveles de carencia alimentaria y por lo tanto en la pobreza más severa,
el apoyo del PAR sea útil pero no resulte suficiente.
3.6.6 Conclusiones y recomendaciones sobre los programas y la carencia
Del análisis anterior se puede concluir que, considerando los enfoque conceptuales y de cálculo
asociados a la metodología para la medición de la pobreza en México, el PDHO y el PAL son los
programas que tienen mayor potencial para contribuir a la disminución de la carencia de acceso
a los alimentos, el PAR puede tener un efecto relevante pero limitado, y el PASL no tiene efecto
directo, sino solo a través de la nutrición.
Sin embargo, esto es lo que se espera de los programas considerando su diseño y operación
actual, mismos que pueden modificarse si se quisiera aumentar dicha contribución. En ese caso,
el mayor potencial estaría seguramente en el PAL, por el tipo de población que atiende, y el
cambio más importante consistiría en incrementar los montos de los apoyos. En una línea
similar, el segundo cambio relevante seguramente sería a través del PAR, focalizándolo más
hacia las localidades donde se concentra la carencia, buscando disminuir los precios de algunos
de los productos básicos que más se consumen en dichas localidades, y procurando formas
alternativas de distribución y comercialización para poder llegar más lejos. En cuanto al PDHO y
el PASL, no se considera necesario ni conveniente modificarlos, ya que cada uno cumple
razonablemente su función, uno de forma directa y otro de forma indirecta.
Finalmente, se recomienda a Sedesol valorar la pertinencia de medir la contribución del PDHO,
el PAL y el PAR a la disminución de la carencia, utilizando para ello las evaluaciones de impacto
que se sugieren en la presente metaevaluación. Como parte de este ejercicio, se recomienda
evaluar el impacto tanto de forma individual para cada programa, como de forma conjunta, en
los casos en que confluyan dos o tres programas Para ello, se sugiere usar una aproximación
ligada a la de Coneval, a partir de las experiencias de hambre de los hogares, pero explorar
55
también otras posibles alternativas que sean consistentes con el concepto de seguridad
alimentaria, que está detrás de la carencia.
3.7
Reflexiones y recomendaciones complementarias del metaevaluador
En esta sección incorpora un conjunto de conclusiones y recomendaciones del metaevaluador,
que si bien en su mayoría se construyen sobre el análisis de las evaluaciones antes revisadas, en
algunos casos llegan a resultados distintos al replicar los ejercicios metodológicos de forma más
amplia y rigurosa. Estas conclusiones y recomendaciones se enfocan principalmente en
aspectos asociados al diseño, la cobertura y los impactos del programa, y son responsabilidad
exclusiva del metaevaluador.
3.7.1 Sobre el problema focal y las poblaciones potencial y objetivo
Reflexión:
En principio, las definiciones del problema focal y de las poblaciones potencial y objetivo de los
programas sociales deben hacerse conforme a lo establecido en los Lineamientos generales
para la elaboración de diagnósticos de cuyos resultados se obtienen propuestas de atención de
Programas de Desarrollo Social, así como en los Lineamientos y criterios generales para la
definición, identificación y medición de la pobreza de Coneval. Asimismo, la literatura y las
buenas prácticas en la materia, detallan las formas en que se pueden desarrollar dichas
definiciones (como ejemplo, véase Aldunate y Córdoba 2011). Sin embargo, un análisis riguroso
de los diversos elementos de diseño del programa señala cuestiones que, en opinión del equipo
metaevaluador, no están resueltas adecuadamente y pueden incidir de forma significativa
sobre su efectividad.
De inicio, el problema focal así como la población potencial y objetivo no están correctamente
identificados y claramente definidos, pues subsisten algunas ambigüedades e inconsistencias
importantes que se reflejan en las Reglas de Operación 2012, el Diagnóstico del PAL 2009 y la
Nota sobre población potencial y población objetivo del PAL 2012. Al revisar las definiciones
actuales del problema focal y las poblaciones potencial y objetivo con base en la normatividad y
los criterios antes citados, el equipo metaevaluador encontró que no están correctamente
identificados y claramente definidos, pues subsisten algunas ambigüedades e inconsistencias
importantes.
Conforme al problema que aparece en el Diagnóstico, el problema focal del PAR se define
como:
Problema focal actual: Persistencia de desnutrición crónica, anemia y deficiencia de
micronutrientes en familias en situación de pobreza en localidades rurales marginadas y
desatendidas por los programas de asistencia social existentes.
56
Con base en la idea de que el problema focal debe describir correctamente la situación que
justifica la existencia del programa, sería incorrecto considerar que toda la población que habita
en localidades rurales marginadas sufre desnutrición crónica, anemia y/o deficiencia de
micronutrientes, aunque sea cierto que una parte de dicha población sí sufre dicho problema, y
que éste efectivamente tenderá a concentrarse en las localidades marginadas. Siguiendo esa
descripción del problema focal, el programa tendría que centrarse en la población que se
encuentra en desnutrición crónica, anemia y deficiencia de micronutrientes. Cabe mencionar
que el diagnóstico hace una elaboración amplia de la situación de la desnutrición en México, de
las enfermedades asociadas y de su relación con la pobreza, lo cual hace que el problema esté
correctamente analizado y descrito, particularmente en lo que las relaciones lógicas; no
obstante, su especificación en el enunciado que identifica el problema focal no es clara, por lo
ya mencionado.
Por otro lado, se acuerdo con la Nota de actualización y las ROP 2012, las poblaciones potencial
y objetivo se definen como sigue:
Población potencial: Personas que no puedan ser beneficiarias del Programa Oportunidades,
sean menores de 22 años, no sean mujeres en edad reproductiva y no sean mayores de 70 años,
además de contar con un ingreso per cápita menor a la línea de bienestar.
Población objetivo: Hogares cuyas condiciones socioeconómicas y de ingreso impiden
desarrollar las capacidades de sus integrantes en materia de educación, nutrición y/o salud y
que no son atendidos por el Programa Oportunidades.
La población potencial es aquella que parte de la población que es afectada por el problema, y
que por lo tanto requiere de los servicios o bienes que proveerá el programa. La población
objetivo es el subconjunto de la población potencial que un programa público diseñado ex
profeso podría buscar atender en el corto y mediano plazos, tomando en consideración las
limitaciones financieras e institucionales existentes. Conforme a estos preceptos, es evidente
que el problema focal actual no se refleja en dichas definiciones—independientemente de si
está planteado correctamente o no—lo que rompe la lógica interna del programa. Esta
inconsistencia no es sólo cuestión de redacción, tienen implicaciones metodológicas
importantes que impiden una correcta cobertura y focalización de las personas y hogares que
se espera beneficiar.
Recomendaciones:
Con base en lo anterior, se recomienda al PAL y la Sedesol las siguientes acciones
a) Redefinir el problema focal, mediante la sustitución del concepto de “desnutrición
crónica y deficiencia de micronutrientes” por otro más adecuado y preciso, centrado en
la “seguridad alimentaria”, entendida como acceso a la alimentación. En la sección que
57
analiza la contribución a la carencia por acceso a la alimentación, se detallan los
alcances e implicaciones de este concepto.
b) Orientar la definición de la población potencial hacia los hogares que presenten el
problema focal—aquellos con ingresos menores a la línea de bienestar mínimo, que no
reciben los beneficios de Oportunidades.
3.7.2 Sobre la mutua exclusión entre el PASL y el PAL
Reflexión:
Las ROP 2012 del Programa de Abasto Social de Leche establecen una mutua exclusión con
respecto del PAL, de forma tal que los beneficiarios individuales que reciban los beneficios del
segundo no pueden recibir los del primero. Así, en principio un mismo hogar no puede recibir
simultáneamente los beneficios de ambos programas, teniendo que optar por uno o por otro.
El argumento de la mutua exclusión se basa en la premisa de que, dado que ambos programas
tienen componentes alimentarios o nutricionales y que otorgan transferencias de ingreso—en
el caso del PASL por la vía del precio de la leche—existiría duplicidad de apoyos si un mismo
individuo o familia accediera a los beneficios de ambos programas.
En opinión del equipo metaevaluador, la mutua exclusión es inadecuada y el argumento de las
duplicidades es incorrecto. Esto es fundamentalmente porque los apoyos alimentarios y
nutricionales que entrega el PASL son distintos de los que entrega PAL, y también en su mayoría
a grupos de beneficiarios individuales distintos, como se explica a continuación:6
a) El PASL entrega leche fortificada con micronutrientes a precio menor al del mercado,
siendo que el diferencial de precio no está planteado como un apoyo económico en
sí mismo sino como en incentivo o mecanismo para que las familias compren la
leche Liconsa, incrementando su consumo de leche y accediendo a los
micronutrientes de forma regular.
b) En contraste, los apoyos del PAL consisten principalmente en transferencias de
efectivo, que se van al consumo general de las familias y cuyo impacto en la
nutrición tiende a ser menor y más disperso que el que se ha documentado para la
leche fortificada.
6
Para una elaboración más amplia sobre este tema, véase: Soto Romero, J.M., I. Schockaert, J.E. Lozano y V.
Aramburu. (2008) “¿Duplicidad, Complementariedad o Sinergia?: Análisis de los impactos económicos, sociales y
nutricionales del Programa de Abasto Social de Leche y el Programa de Desarrollo Humano Oportunidades en las
familias pobres.” En: Enrique Contreras y Federico Martínez (eds.). Dar leche a la niñez pobre en edad escolar:
Producción láctea nacional, ayuda y seguridad alimentaria en México. UNAM: Centro de Investigaciones
Interdisciplinarias en Ciencias y Humanidades.
58
c) El PAL entrega además suplementos nutricionales para mujeres embarazadas y en
lactancia así como para los niños menores de cinco años7. En estos casos
efectivamente podría haber una duplicidad, ya que en los efectos esperados de la
leche fortificada y los suplementos, si bien no son idénticos, son al menos parecidos.
d) De tal forma, es claro que sólo existirían duplicidades de apoyos del PASL con
respecto del PAL en grupos de beneficiarios muy específicos, con los cuales
efectivamente podría aplicar la mutua exclusión de beneficios, si se considerara
necesario.8
A pesar de lo anterior, en las ROP del PASL se ha mantenido la mutua exclusión, lo que deja a
los hogares del PAL sin posibilidad de acceder a los beneficios de la leche fortificada de Liconsa.
Esta situación tiene implicaciones muy relevantes, ya que el PAL atiende a los hogares en
condición de mayor pobreza, con ingresos por debajo de la línea de bienestar mínimo y con
importantes déficits en la formación de capacidades básicas; este es precisamente el segmento
que concentra los déficits y riesgos nutricionales, y en el cual la leche fortificada Liconsa ha
demostrado tener mayores efectos e impactos positivos. En este sentido, la mayor
preocupación estaría en la población de PAL de 5 a 9 años, que no reciben suplementos
alimenticios por parte de este programa, así como en los beneficiarios mayores de 70 años que
reciben transferencias
Recomendación:
Con base en lo anterior, se recomienda a Liconsa, la CNPDHO y la Sedesol eliminar la mutua
exclusión entre el PASL y el PAL, o alternativamente limitarla solo a aquellos individuos que
reciben suplementos alimenticios, en virtud de que ambos programas podrían tener
complementariedades y sinergias importantes en términos de soporte nutricional, desarrollo
cognitivo y prevención de enfermedades.
7
La segunda previsión de la ROP 2012, señala que “La entrega de sobres de complemento nutricional para mujeres
embarazadas y en período de lactancia, referida en el numeral 3.5.2. de estas Reglas, permanecerá suspendida
hasta en tanto SEDESOL y la Coordinación Nacional convoquen al Sector Salud para diseñar una estrategia de
atención específica para este grupo de población, que podrá incluir la entrega de complementos alimenticios,
leche o tabletas, lo cual deberá ocurrir durante el primer semestre del año.” Sin embargo se desconoce si esto ha
ocurrido.
8
Una argumentación prácticamente idéntica se hizo de manera más detallada en las evaluaciones externas del
PASL de 2004, 2005 y 2006, en las que se recomendó eliminar o delimitar la mutua exclusión con Oportunidades,
con base en estudios específicos y pruebas estadísticas en torno al consumo de los hogares de ambos programas.
Posteriormente, dichos estudios fueron refinados y publicados en 2008. Por otro lado, en la evaluación de
consistencia y resultados del PASL de 2011-2012, se retomaron los argumentos y las recomendaciones. Como
aclaración de interés, se hace notar que el Coordinador General de la presente Meta evaluación del PDHO,
coordinó también las evaluaciones del PASL de 2004, 2005 y 2006 así como los estudios específicos antes referido;
sin embargo, no participó en la evaluación de 2011-2012, que retomaron las recomendaciones y fue realizada por
un grupo de investigación distinto.
59
3.7.3 Sobre la cobertura y focalización
Reflexión:
En su origen, el PAL surge para atender a familias que carecían de sustento mínimo alimentario
en las comunidades rurales más remotas del país. En una segunda etapa, se incorporan los
hogares que no contaban con la atención de otros programas, específicamente Oportunidades.
Esta situación ocasiona que, en los hechos, el PAL tienda a concentrarse en localidades donde
subsisten limitaciones en la oferta institucional de servicios de salud, mismas que
Oportunidades no pueden atender por sus requisitos de corresponsabilidad y la concepción
integral de los componentes. En ese sentido, muchos de estos hogares y localidades, que
atiende el PAL son elegibles para Oportunidades, con excepción de que no cuentan con acceso
regular a los servicios de salud.
Resulta evidente que el tránsito de los hogares del PAL a Oportunidades está limitado por la
cobertura y capacidad de los servicios educativos y de salud en las localidades. La población que
típicamente atiende el PAL tiene mayores carencias que la de Oportunidades, en parte
precisamente por la condición de dispersión e inaccesibilidad de muchas localidades, que limita
el acceso a los servicios sociales y de infraestructura. En la literatura, a estas poblaciones se les
conoce usualmente como ultrapobres, y la falta de acceso a servicios que sufren difícilmente se
les puede imputar. Por ello, asignar apoyos a poblaciones altamente carenciadas —como las del
PAL que en promedio reciben apoyos sustancialmente menores que los asignados a otros
grupos con menores carencias relativas, como los de Oportunidades—por no poder cumplir
condicionalidades que son ajenas a su propia decisión, resulta claramente inadecuado y puede
considerarse hasta regresivo.
Recomendaciones:
Con base en lo anterior, se recomienda a la CNPDHO y la Sedesol las siguientes acciones:
a) Desarrollar un esquema operativo que facilite el transito de las familias del PAL hacia
Oportunidades, en los casos en que éstas sean elegibles, a través de la adecuación y
flexibilización de los criterios para la selección de localidades, los requisitos de
corresponsabilidad de las familias y los mecanismos de verificación de cumplimiento de
Oportunidades, para atender a quienes viven en localidades con déficits en la cobertura
y capacidad de los servicios educativos y de salud.
b) Gestionar ante la SS, IMSS y los operadores de los servicios estatales de salud la
ampliación de la cobertura de los servicios de salud en las modalidades tradicionales en
las localidades que aún no cuentan con dichos servicios, así como la ampliación de la
capacidad de atención en las localidades con alta concentración de población objetivo
de Oportunidades que no ha podido incorporarse por la limitación de la oferta
institucional para poder cumplir con la corresponsabilidad.
60
c) Desarrollar modalidades alternativas para la comprobación de la corresponsabilidad en
salud de los beneficiarios de Oportunidades, tales como las Caravanas de la Salud o la
telemedicina. En este línea, se debe buscar entonces establecer acuerdos o convenios
entre la CNPDHO, la Sedesol, la SS y los órganos operadores en los estados, para
incorporar la prestación de los servicios y la comprobación de la corresponsabilidad en
las modalidades alternativas existentes, la ampliación de la cobertura de las mismas así
como la creación de otras nuevas, que puedan llegar a las poblaciones que carecen de
servicios de salud o en las que estos son insuficientes.9 Bajo la premisa fundamental de
que donde pueda llegar el servicio educativo puede llegar en alguna forma el servicio
médico, si se exploran nuevas alternativas y se adecuan los criterios y normas vigentes,
es posible llevar Oportunidades mucho más lejos, donde más se le necesita.
3.7.4 Sobre los apoyos que otorga el PAL
Reflexión:
La población objetivo del PAL es aquella que tiene menores ingresos y mayores carencias
sociales, y por lo tanto la que requiere más y mejores apoyos. La literatura especializada y las
evaluaciones de programas similares demuestran que las transferencias no condicionadas
tienen efectos positivos en la población con mayores rezagos, si se focalizan adecuadamente.
Con todo, y en la misma línea planteada cuando surgió el Progresa, los apoyos a entregar no
deben ser de una magnitud tal que inhiban el esfuerzo de las familias por superar su propia
condición de pobreza y no representar un desincentivo para mejorar sus ingresos. De igual
forma, debe construirse de forma tal que no estimulen el incremento de la fertilidad y las
familias numerosas.
Por otra parte, otros programas sociales que entregan apoyos en especie también pueden tiene
impactos relevantes en la alimentación y la nutrición, y especialmente cuando los apoyos se
asocian a alimentos, suplementos o complementos, fortificados con micronutrientes—como la
leche Liconsa, la harina Mi Masa de Diconsa y la papilla de Oportunidades—o cuando se dirigen
a poblaciones con mayor riesgo nutricional—como los desayunos escolares en las zonas rurales.
Recomendaciones:
Con base en lo anterior, se recomienda a la CNPDHO y la Sedesol las siguientes acciones:
9
Conforme a lo establecido en el artículo XVII de la Ley General de Salud, corresponde a los gobiernos de los
estados y el Distrito Federal, dentro de sus respectivas circunscripciones territoriales, proveer los servicios de
salud, disponiendo de la capacidad de insumos y el suministro de medicamentos necesarios para su oferta
oportuna y de calidad; y aplicar de manera transparente y oportuna los recursos que sean transferidos por la
Federación y las aportaciones propias, para la ejecución de las acciones de protección social en salud, en función
de los acuerdos de coordinación que para el efecto se celebren.
61
a) Incrementar los montos máximos del conjunto de apoyos del PAL y acercarlos más a los
que entrega Oportunidades, con el objeto de mejorar la disponibilidad, acceso y uso de
los alimentos de las familias beneficiarias. Para ello, es necesario la realización de un
estudio que ayude a establecer los montos adecuados de los apoyos.
b) Explorar alternativas para ampliar y diversificar la entrega de apoyos en especie,
incluyendo vales canjeables por alimentos fortificados (leche Liconsa y harina Mi Masa).
c) Buscar nuevas formas de coordinación, complementación y sinergias con
Oportunidades, PAR y PASL, para mejorar la atención a las familias más pobres.
62
4
4.1
Reporte de monitoreo
Introducción
En 2007, la Secretaría de Desarrollo Social (Sedesol) elaboró la Matriz de Indicadores para
Resultados (MIR) de los programas federales a su cargo con la finalidad de mejorar su diseño y
de cumplir con los Lineamientos Generales para la Evaluación de los Programas Federales de la
Administración Pública Federal10 que establecen que los programas federales deben contar con
una MIR.
Desde entonces, la MIR es usada por la Sedesol y por otros actores, como la Secretaría de
Hacienda y Crédito Público (SHCP), la Secretaría de la Función Pública (SFP), la Auditoría
Superior de la Federación (ASF), el Consejo Nacional de Evaluación de la Política de Desarrollo
Social (Coneval) e incluso el H. Congreso de la Unión, para dar seguimiento a los resultados
alcanzados por los programas federales, lo que la convierte en el principal instrumento para
monitorear el desempeño de dichos programas en el Gobierno Federal11.
La MIR de los programas federales de la Sedesol se ha ido modificando año con año
principalmente con tres objetivos: 1) mejorar el diseño de los programas, 2) contar con mejores
indicadores de resultados y de gestión para monitorear su desempeño, y 3) mejorar su
alineación con las ROP. Para ello, la Sedesol ha tomado en consideración los comentarios y
propuestas de mejora emitidos por actores como el Coneval, la SHCP y los evaluadores
externos que han evaluado los programas.
Este documento tiene como objetivo analizar la MIR 2012 del Programa de Apoyo Alimentario,
para generar propuestas de mejora para la elaboración de la MIR 2013, especialmente en los
niveles de Fin y Propósito, poniendo especial atención en los indicadores de resultados.
Para lo anterior, en la primera parte se hace un análisis de los cambios que se han
implementado a la MIR de 2008 a 2012, para ello, se identifican los comentarios que diversos
10
Diario Oficial de la Federación. 30 de marzo de 2007.
La Ley General de Desarrollo Social establece en el Art. 77 que el Coneval antes de aprobar los indicadores de
resultados, gestión y servicios de los programas sociales, los someterá a la consideración de la SHCP y a la Cámara
de Diputados por conducto de la ASF, para que emitan las recomendaciones que en su caso estime pertinentes,
para esta aprobación, se toman los indicadores de la MIR.
Asimismo, los Lineamientos para la revisión, actualización, calendarización y seguimiento de la Matriz de
Indicadores para Resultados de los programas presupuestarios 2012 establecen en el numeral 13 que la SHCP, la
SFP y el CONEVAL, en el ámbito de sus respectivas competencias y considerando las disposiciones aplicables,
deberán emitir las recomendaciones a las MIR y sus indicadores que consideran convenientes. También, estos
Lineamientos establecen como uno de sus objetivos específicos registrar los avances en la consecución de las
metas de los indicadores de los programas presupuestarios durante el ejercicio fiscal 2012 para dar cumplimiento
a los informes sobre la Situación Económica, las Finanzas Públicas y la Deuda Pública (informe trimestral a cargo de
la SHCP enviado al Congreso de la Unión), de conformidad con el artículo 107 de la Ley de Presupuesto y
Responsabilidad Haciendaria.
11
63
actores han emitido a la MIR para el mismo periodo. Posteriormente, se valora el resumen
narrativo de la MIR 2012 analizando su correspondencia con las ROP de ese año y se realizan
propuestas de mejora. Por último, se valoran los indicadores de Fin y de Propósito de la MIR
2012, y se emiten propuestas de mejora.
4.2
Análisis histórico de la Matriz de Indicadores para Resultados 2007-2012
En este apartado se hace un análisis de la evolución de la Matriz de Indicadores de Resultados
(MIR) del programa durante el período 2008-2012. Se identifican los principales cambios en el
resumen narrativo y en los indicadores asociados a los mismos, que surgieron como respuesta a
las observaciones y recomendaciones de instancias como la Auditoría Superior de la
Federación, la Secretaría de Hacienda y Crédito Público, la Secretaría de la Función Pública, el
Consejo Nacional de Evaluación de la Política de Desarrollo Social y los evaluadores externos del
programa. La secuencia de cambio se presenta en los niveles de Fin, Propósito y algunos casos
de Componente, para todos los años comprendidos en el período. Al final de la sección se
presenta una propuesta para mejorar el resumen narrativo y los indicadores para la MIR del
año 2013. Un esquema del análisis histórico de la MIR y de las propuestas de mejora se
presenta en el Anexo 5.
4.2.1 Principales cambios de la Matriz de Indicadores 2007-201212
En esta sección se hace un resumen de los principales cambios de la MIR del PAL de 2008 a
2012, enfocándose en el resumen narrativo de los niveles de Fin, Propósito y Componentes y en
los indicadores de Fin y de Propósito. Los cambios se presentan primero del resumen narrativo
y posteriormente de los indicadores para cada año.
4.2.2 Análisis 2008-2009
Resumen narrativo
De 2008 a 2009, se generalizó el resumen narrativo a nivel de Fin, en el sentido de que se buscó
que el programa contribuyera en un objetivo de mayor alcance; sin embargo, esta
generalización derivó en colocar un concepto demasiado amplio que no está claramente
definido: las “capacidades básicas”. En 2008, el Fin hacía referencia a un objetivo específico que
era “Contribuir al desarrollo de las capacidades nutricias de la población que habita en
localidades rurales”, el cual se consideró como adecuado 13; sin embargo, el programa decidió
12
Al no contar con la MIR 2007, el análisis se realiza a partir de 2008.
Para profundizar en las causas que un indicador sea considerado adecuado. Véase Guía para el desempeño de
Indicadores Estratégicos de Coneval y SHCP, 2010.
13
64
mantenerlo como “Contribuir al desarrollo de las capacidades básicas mejorando la nutrición de
la población”.
Para este periodo, a nivel de Propósito, hubo solamente precisiones en la población objetivo. La
sintaxis fue la establecida conforme a la Metodología de Marco Lógico (MML). Además, el
programa incluyó la nutrición de la población objetivo, la cual no estaba presente en 2008. La
población objetivo del programa hacía referencia a las “familias en pobreza […] ubicados en
localidades de menos de 2500 habitantes de alta y muy alta marginación que no reciben apoyos
del Programa Oportunidades o del Programa de Abasto Social de Leche”; sin embargo, esto fue
modificado a “Familias en pobreza patrimonial14“, lo cual era más acotado y adecuado.
Por último, a nivel de Componentes, de 2008 a 2009 se presentó una restructuración
importante ya que de los dos Componentes que se tenían en 2008, únicamente prevaleció uno
(Apoyos alimentarios entregados). Además, fueron integrados tres Componentes adicionales,
los cuales cumplen con la sintaxis de la MML y son más adecuados que los que se tenían en
2008.
Es posible determinar que los Componentes de 2009 en su conjunto son los necesarios y
suficientes para el logro del Propósito.
Resumen narrativo
Fin
Propósito
Componentes
2008
2009
Contribuir al desarrollo de las capacidades nutricias de la
población que habita en localidades rurales.
Familias en pobreza con niveles de alimentación
mejorados ubicados en localidades de menos de 2,500
habitantes de alta y muy alta marginación que no reciben
apoyos del Programa Oportunidades o del Programa de
Abasto Social de Leche.
Contribuir al desarrollo de las capacidades básicas
mejorando la nutrición de la población.
Beneficiarios y facilitadores capacitados.
---
Familias en pobreza patrimonial que reciben los apoyos
del Programa mejoran sus niveles de alimentación y
nutrición.
14
Estimación realizada anteriormente para la medición de la pobreza por ingresos. Esta estimación cambió debido
a que la Ley General de Desarrollo Social pide que la medición de la pobreza en el país se lleve a cabo con un
enfoque multidimensional. La pobreza por ingresos consistía en comparar los ingresos de las personas con los
valores monetarios de diferentes líneas alimentaria, capacidades y patrimonio:
 Pobreza alimentaria: Incapacidad para obtener una canasta básica alimentaria, aun si se hiciera uso de
todo el ingreso disponible en el hogar para comprar sólo los bienes de dicha canasta.
 Pobreza de capacidades: Insuficiencia del ingreso disponible para adquirir el valor de la canasta
alimentaria y efectuar los gastos necesarios en salud y educación, aun dedicando el ingreso total de los
hogares nada más que para estos fines.
 Pobreza de patrimonio: Insuficiencia del ingreso disponible para adquirir la canasta alimentaria, así como
realizar los gastos necesarios en salud, vestido, vivienda, transporte y educación, aunque la totalidad del
ingreso del hogar fuera utilizado exclusivamente para la adquisición de estos bienes y servicios.
65
Apoyos alimentarios entregados a los beneficiarios.
Apoyos alimentarios entregados.
---
Servicios de orientación y promoción social realizados.
---
Complementos nutricionales entregados.
---
Seguimiento nutricional realizado.
Indicadores
De 2008 a 2009, a nivel de Fin, se mantuvieron los dos indicadores que se refieren a la
prevalencia de anemia en los menores de cinco años y a la prevalencia de baja talla para la
edad en niños menores de cinco años. En 2009, el objetivo hizo referencia a las capacidades
básicas; sin embargo, el indicador no midió dicho alcance, el cual, era más específico en 2008
(capacidades nutricias).
A nivel de Propósito, de 2008 a 2009 se integraron tres nuevos indicadores, lo cual se consideró
adecuado, ya que se incorporó mayor información sobre la problemática sufrida por los
beneficiarios. Con este par de indicadores, el programa midió la prevalencia de baja talla y la
prevalencia de bajo peso en los niños menores de cinco años. A diferencia de 2008, éstos
indicadores se refirieron a la población en general y no únicamente a la población rural.
Indicadores
Fin
2008
Prevalencia de anemia en niños prescolares en el medio
rural.
Prevalencia de desnutrición en niños (baja talla para la
edad) en el medio rural.
---
Nivel de ingesta.
2009
Prevalencia de anemia en niños menores de cinco años.
Prevalencia de baja talla para la edad en niños menores
de cinco años.
Prevalencia de bajo peso para la edad en niños menores
de cinco años.
Nivel de ingesta.
Prevalencia de anemia en niños atendidos entre uno y
cinco años de edad.
Propósito
Prevalencia de baja talla para la edad en niños atendidos
entre uno y cinco años de edad.
Prevalencia de bajo peso para la edad en niños atendidos
entre uno y cinco años de edad.
66
4.2.3 Análisis 2009-2010
Resumen narrativo
De 2009 a 2010, el Fin del programa se mantuvo sin cambios sustanciales, únicamente fue
agregada la referencia a las capacidades básicas de los beneficiarios; sin embargo, esto no era
adecuado, ya que a nivel de Fin, se debería hacer alusión a la problemática general, no
solamente a la de los beneficiarios. En el Propósito se realizaron dos ajustes sobre la población
objetivo, 1) se eliminó que fueran familias en “pobreza patrimonial”, y 2) se acotó a “Familias
beneficiarias, en particular niños menores de cinco años y mujeres embarazadas o en periodo
de lactancia”, la cual fue más específica y más adecuada.
Para 2010, dada la poca claridad del objetivo de Fin, no es posible determinar si el logro del
Propósito contribuye al logro del Fin.
Los mayores cambios que tuvo la Matriz de 2009 a 2010 se presentaron a nivel de
Componentes. Los cuatro Componentes que se tenían en 2009 fueron agregados en uno sólo
llamado “Apoyos monetarios emitidos”, lo cual, no necesariamente era mejor, ya que no fue
posible determinar qué tipo de destino tienen los apoyos otorgados. En este punto es
pertinente mencionar que justo en 2009 se dio el cambio de unidad responsable del PAL,
pasando de DICONSA a la CNPDHO y se planteó como necesario hacer un cambio en el diseño
del programa
Debido a lo anterior, y a la falta de claridad del nuevo Componente, no era posible determinar
si el Componente fue el necesario y suficiente para el logro del Propósito.
Resumen narrativo
2010
Fin
Contribuir al desarrollo de las capacidades básicas de los beneficiarios, mediante la realización de acciones que
permitan mejorar su alimentación y nutrición.
Propósito
Familias beneficiarias, en particular niños menores de cinco años y mujeres embarazadas o en periodo de lactancia,
mejoran su alimentación y nutrición.
Componentes
Apoyos monetarios emitidos.
Indicadores
A nivel de Fin se eliminó el indicador referente a la prevalencia de anemia en niños menores de
cinco años y el de prevalencia de bajo peso para la edad en niños menores de cinco años; así
mismo y se mantuvo el indicador de prevalencia de baja talla para dicho segmento de la
población; este segundo indicador se modificó al agregarse como la diferencia en las variables
67
entre población beneficiaria y no beneficiaria, lo que lo hizo un indicador más completo. El
haber eliminado el otro indicador no representó mayor ausencia de información.
A nivel de Propósito se eliminaron tres indicadores de la MIR 2009 (los de nivel de ingesta,
prevalencia de anemia y prevalencia de bajo peso), pero dado que no eran muy relevantes y la
información resultaba únicamente complementaria al seguimiento del objetivo de Propósito,
fue adecuada su eliminación. El indicador que se mantuvo, únicamente fue acotado en la
población para la cual se midió la prevalencia de baja talla.
Indicadores
2010
Fin
Porcentaje de diferencia en la prevalencia de baja talla para la edad en menores de cinco años de la población
beneficiaria y no beneficiaria.
Propósito
Prevalencia de baja talla para la edad en niños menores de cinco años de edad beneficiarios del Programa.
4.2.4 Análisis 2010-2011
Resumen narrativo
De 2010 a 2011, el Fin y el Propósito del programa se mantuvieron sin cambios; sin embargo, el
Fin no era el adecuado, ya que a este nivel se debería hacer alusión a la problemática general,
no solamente la de los beneficiarios.
Para 2011, dado que el Fin debe hacer alusión a la problemática general y no solamente a los
beneficiarios, no es posible determinar si el logro del Propósito contribuye al logro del Fin.
El componente “Apoyos monetarios emitidos” no necesariamente fue mejor que la
desagregación de Componentes que se tenía en 2009, ya que no era posible determinar qué
tipo de destino tienen los apoyos otorgados.
Debido a lo anterior, y a la falta de claridad del Componente, no fue posible determinar si eran
los necesarios y suficientes para el logro del Propósito.
Resumen narrativo
2011
Fin
Contribuir al desarrollo de las capacidades básicas de los beneficiarios, mediante la realización de acciones que
permitan mejorar su alimentación y nutrición.
Propósito
Familias beneficiarias, en particular niños menores de cinco años y mujeres embarazadas o en periodo de lactancia,
mejoran su alimentación y nutrición.
Componentes
Apoyos monetarios emitidos.
68
Indicadores
A nivel de Fin y de Propósito se mantuvieron los indicadores. El programa midió el Fin a través
del indicador “Porcentaje de diferencia en la prevalencia de baja talla para la edad en menores
de cinco años de la población beneficiaria y no beneficiaria”, y el Propósito por medio del
indicador “Prevalencia de baja talla para la edad en niños menores de cinco años de edad
beneficiarios del Programa”.
De acuerdo con lo anterior y dado que los indicadores de Fin y de Propósito son claros y miden
factores relevantes de los objetivos, se consideran adecuados para medir su cumplimiento.
Indicadores
2011
Fin
Porcentaje de diferencia en la prevalencia de baja talla para la edad en menores de cinco años de la población
beneficiaria y no beneficiaria.
Propósito
Prevalencia de baja talla para la edad en niños menores de cinco años de edad beneficiarios del Programa.
4.2.5 Análisis 2011-2012
Resumen Narrativo
De 2011 a 2012, el Fin y el Propósito del programa se mantuvieron sin cambios. Sin embargo, el
Fin no era el adecuado, ya que a este nivel se debería hacer alusión a la problemática general,
no solamente la de los beneficiarios.
Para 2012, dada la poca claridad del objetivo de Fin, no fue posible determinar si el logro del
Propósito contribuye al logro del Fin.
El componente “Apoyos monetarios emitidos” no necesariamente fue mejor que la
desagregación de Componentes que se tenía en 2009, ya que no era posible determinar qué
tipo de destino tienen los apoyos otorgados.
Debido a lo anterior, y a la falta de claridad del Componente, no era posible determinar si éste
era el necesario y suficiente para el logro del Propósito.
Resumen narrativo
2012
Fin
Contribuir al desarrollo de las capacidades básicas de los beneficiarios, mediante la realización de acciones que
permitan mejorar su alimentación y nutrición.
Propósito
Familias beneficiarias, en particular niños menores de cinco años y mujeres embarazadas o en periodo de lactancia,
mejoran su alimentación y nutrición.
Componentes
Apoyos monetarios emitidos.
69
Indicadores
A nivel de Fin y Propósito se mantuvieron los indicadores. El programa midió el Fin a través del
indicador “Porcentaje de diferencia en la prevalencia de baja talla para la edad en menores de
cinco años de la población beneficiaria y no beneficiaria”, y el Propósito por medio del
indicador “Prevalencia de baja talla para la edad en niños menores de cinco años de edad
beneficiarios del Programa”.
De acuerdo con lo anterior, los indicadores de Fin y de Propósito se consideran adecuados para
medir su cumplimiento.
Indicadores
2012
Fin
Porcentaje de diferencia en la prevalencia de baja talla para la edad en menores de cinco años de la población
beneficiaria y no beneficiaria.
Propósito
Prevalencia de baja talla para la edad en niños menores de cinco años de edad beneficiarios del Programa.
4.3
Principales comentarios a la Matriz de Indicadores 2008-2012
En esta sección se hace un resumen de los principales comentarios emitidos a la MIR del PAL de
2008 a 2012 por evaluadores externos, los cuales fueron rescatados de la documentación
proporcionada para esta Meta evaluación15. Los comentarios se presentan primero del Fin,
posteriormente del Propósito, después de los Componentes y finalmente se presentan los
comentarios que se identificaron como generales. Los resultados aquí presentados reflejan lo
encontrado en la citada evaluación en el momento en que se llevó a cabo y no necesariamente
siguen vigentes o reflejan la opinión del Meta-evaluador.
Cuando se establece que “No se cuenta con comentarios”, significa que no se identificaron
comentarios realizados por los actores mencionados en los documentos revisados.
15
Para el PAL se revisaron los siguientes documentos proporcionados al metaevaluador:
 Comentarios a la mir emitidos por el Coneval
 Evaluación de Consistencia y Resultados 2007
 Evaluación de Consistencia y Resultados 2011-2012
 Evaluación de diseño 2009
 Evaluación Específica de Desempeño 2008-2009
 Evaluación Específica de Desempeño 2009-2010
 Evaluación Específica de Desempeño 2010-2011
 Histórico de Aspectos Susceptibles de Mejora
70
4.3.1 Fin
A continuación se describirán los principales comentarios de las diversas evaluaciones a nivel
Fin de la MIR de 2008 a 2012.
Principales comentarios MIR 2008– Fin
Resumen narrativo
 No se cuenta con comentarios para la MIR.
Indicadores
 No se cuenta con comentarios a los indicadores.
Principales comentarios MIR 2009– Fin
Resumen narrativo
 No se cuenta con comentarios para la MIR.
Indicadores
 Es un indicador pertinente y relevante, ya que está relacionado con el objetivo del
Programa. Sin embargo, el denominador de la fórmula debe corregirse, ya que debe
ser el número de niños beneficiarios a quienes se les hizo la prueba de hemoglobina,
en ese grupo de edad, y no el total de niños atendidos de esa edad.
Principales comentarios MIR 2010– Fin
Resumen narrativo
 Se recomienda precisar qué son las “capacidades básicas o nutricias”.
Indicadores
 Se recomienda realizar las acciones necesarias, a fin de que los indicadores incluidos
en la Matriz de Indicadores para Resultados del Programa de Apoyo Alimentario
establezcan un referente que determine si el logro de las metas es suficiente para
cumplir con los objetivos del programa.
 Se recomienda definir los indicadores suficientes, a fin de medir el cumplimiento de
los objetivos general y específico del Programa de Apoyo Alimentario.
Principales comentarios MIR 2011– Fin
Resumen narrativo
 Se podría mejorar el resumen narrativo a nivel de Fin, clarificando más el objetivo
sectorial al cual se espera contribuir. De acuerdo con lo expresado en la sesión, se
sugiere que el programa analice la adecuación al resumen narrativo en el que deben
estar los siguientes elementos: “[…] reducción de la desnutrición crónica” y
“población en pobreza”. Es recomendable especificar a qué nivel de pobreza se
refiere o, alternativamente, mencionar a qué percentil de ingresos se refiere; por
ejemplo, a la población en los tres primeros deciles de ingreso.
71
Indicadores
 Se recomienda elaborar indicadores agregados, a nivel de fin, que permitan dar
seguimiento al impacto del programa en la población.
 Se propone un indicador más sencillo enfocado a medir la contribución del programa
en la reducción de la desnutrición crónica entre la población más pobre como la
"Prevalencia de desnutrición crónica en niños de 0 a 59 meses de edad que viven en
hogares que se encuentran en los tres primeros deciles de condiciones de
bienestar."
Principales comentarios MIR 2012– Fin
Resumen narrativo
 No se cuenta con comentarios para la MIR.
Indicadores
 No se cuenta con comentarios.
4.3.2 Propósito
A continuación se describirán los principales comentarios de las distintas evaluaciones a nivel
Propósito de la MIR de 2008 a 2012.
Principales comentarios MIR 2008 – Propósito
Resumen narrativo
 No se cuenta con comentarios para la MIR.
Indicadores
 No se cuenta con comentarios.
Principales comentarios MIR 2009 – Propósito
Resumen narrativo
 No se cuenta con comentarios para la MIR.
Indicadores
 No se cuenta con comentarios.
Principales comentarios MIR 2010 – Propósito
Resumen narrativo
 En los Aspectos Susceptibles de Mejora, en el Mecanismo 2010, se estableció
redefinir la población objetivo del programa, para lo cual, se elaboró una propuesta
de Población Objetivo alineada a los objetivos del programa.
Indicadores
 No se cuenta con comentarios.
72
Principales comentarios MIR 2011 – Propósito
Resumen narrativo
 El actual objetivo a nivel de Propósito comprende dos aspectos, “alimentación y
nutrición“. Sin embargo, el indicador actual tiene una relación directa con la
“nutrición”, mientras que la “alimentación” es un aspecto que no se encuentra
dentro de dicho indicador. La “mejora en la alimentación” puede tener varios
campos, desde la “variedad de alimentos” hasta la “cantidad de alimentos”. Dado
que no se encuentra definido este aspecto en la matriz, como adecuación al
resumen narrativo se recomienda omitir el término “alimentación” del objetivo.
Indicadores
 Los indicadores de propósito son los mismos establecidos en el fin de la matriz. Se
recomienda identificar nuevos indicadores.
 Prevalencia de baja talla para la edad en niños menores de cinco años de edad
beneficiarios del Programa. La única adecuación sugerida para el indicador de
Propósito es cambiar, en la medida de lo posible, la frecuencia de medición a anual,
o al menos bianual, aun considerando que el medio de verificación es la ENSANUT.
Lo anterior implica realizar una medición antropométrica a una muestra de
beneficiarios del pal cada año o cada dos años, además del levantamiento
quinquenal de la ENSANUT. Adicionalmente, se sugiere incluir al menos un indicador
de eficacia en la cobertura de la población objetivo que puede ser alguna de las dos
alternativas presentadas a continuación.
 Si se mantiene la referencia a la alimentación en el resumen narrativo del Propósito
y/o si no es posible medir con mayor frecuencia la prevalencia de desnutrición, se
sugiere considerar un indicador de consumo de alimentos (idealmente enfocado en
los menores de 5 años) con base en la ENIGH, que deberá ser validado por un
especialista en nutrición. (Informe de Sesiones de Mesa Técnica de Revisión de
Indicadores del Programa de Apoyo Alimentario).
Principales comentarios MIR 2012 – Propósito
Resumen narrativo
 No se cuenta con comentarios para la MIR.
Indicadores
 No se cuenta con comentarios.
4.3.3 Componentes
A continuación se describirán los principales comentarios de las distintas evaluaciones a nivel
Componentes de la MIR de 2008 a 2012.
Principales comentarios MIR 2008 – Componentes
Resumen narrativo
 No se cuenta con comentarios para la MIR.
73
Principales comentarios MIR 2009 – Componentes
Resumen narrativo
 No se cuenta con comentarios para la MIR.
Principales comentarios MIR 2010 – Componentes
Resumen narrativo
 Para este año, se sugirió que el componente quedara redactado de manera más
sencilla: "Apoyos monetarios emitidos". Asimismo, se sugirió que éste fuera uno de
dos componentes para el programa; (dicha recomendación no necesariamente es
acorde a la opinión de la Meta evaluador).
Principales comentarios MIR 2011 – Componentes
Resumen narrativo
 No se cuenta con comentarios para la MIR.
Principales comentarios MIR 2012 – Componentes
Resumen narrativo
 No se cuenta con comentarios para la MIR.
4.3.4 Comentarios generales
En esta sección se hace un recuento de los comentarios generales en el resumen narrativo e
indicadores que han hecho a la MIR de 2007 a 2012 del pal, para ello se identifican los
comentarios de las diversas evaluaciones para cada periodo.
Principales comentarios MIR 2008
Resumen narrativo
 No se cuenta con comentarios.
Indicadores
 No se cuenta con comentarios.
Principales comentarios MIR 2009
Resumen narrativo
 No se cuenta con comentarios.
Indicadores
 No se cuenta con comentarios.
Principales comentarios MIR 2010
Resumen narrativo
 Se recomienda revisar los objetivos e indicadores contenidos en la Matriz de Indicadores
para Resultados del Programa de Apoyo Alimentario, conforme a la metodología del
74
marco lógico, a fin de perfeccionarlos y de que permitan medir el impacto del programa
en los beneficiarios.
Indicadores
 No se cuenta con comentarios.
Principales comentarios MIR 2011
Resumen narrativo
 No se cuenta con comentarios.
Indicadores
 En los Aspectos Susceptibles de Mejora, Mecanismo 2008, el programa se comprometió
a revisar la Matriz de Indicadores de Resultados. De manera específica se sugirió
incorporar más indicadores a nivel de Componentes y Actividades que permitan evaluar
su gestión, por lo cual, el programa obtuvo indicadores de gestión a nivel de Actividad y
Componente para incorporarse en la MIR 2013 del pal.
Principales comentarios MIR 2012
Resumen narrativo
 No se cuenta con comentarios.
Indicadores
 No se cuenta con comentarios.
4.4
Análisis del resumen narrativo de la Matriz de Indicadores para Resultados 2012
En esta sección el Meta evaluador hace un análisis de la MIR 2012 y de su correspondencia con
las ROP de ese año para los niveles de Fin, Propósito y Componentes. También, se presentan las
propuestas de mejora para la MIR 2013 del resumen narrativo y de los indicadores de Fin y de
Propósito.
4.4.1 Análisis de la MIR 2012 y vínculo con las Reglas de Operación
Fin




El Fin cumple con la sintaxis que establece la MML.
El Objetivo General de las Reglas de Operación coincide con el Fin del programa, lo cual
es adecuado y correcto.
El Fin ha tenido solamente modificaciones que precisan el objetivo del programa; sin
embargo, el objetivo debería estar enfocado hacia la problemática en general y no
solamente tomar en cuenta a los beneficiarios.
En el resumen narrativo debería estar acotada la población que presenta la
problemática y el tipo de acciones que mejoran la situación de la población. Asimismo,
no queda claro que la nutrición y la alimentación sean, en sí mismas, una capacidad
básica a diferencia de la salud o la educación. Se debe especificar directamente qué
problemática pretende contribuir a solucionar el programa.
75
Propósito
 El Propósito cumple con la sintaxis que establece la MML.
 El Objetivo Específico de las Reglas de Operación coincide con el Propósito del
programa, lo cual es adecuado y correcto.
 Este nivel de la matriz no ha cambiado drásticamente desde 2007, pero pudiera ser
importante que se acotara mejor el planteamiento del Propósito para que se relacione
directamente con las cuestiones alimenticias o solamente con las de nutrición.
Componentes
 El Componente de la MIR se encuentra agregado como “apoyos monetarios”, el cual se
desagrega en los apoyos descritos en las Reglas de Operación. Estos apoyos pueden ser
incorporados en la MIR tal como se describen en las “Características de los Apoyos del
Programa”. Se sugiere regresar al esquema que se tenía en 2009.
 Es posible identificar los Componentes en las ROP; sin embargo, de manera
desagregada, lo cual podría trasladarse de esa forma a la MIR.
 Al igual que en los Componentes, el programa en 2009 desagregaba las actividades que
desarrollaba. No obstante, en 2010, se decidió quedarse únicamente con la "cobertura",
lo cual no describe lo que hace el programa. Se recomienda que se vuelva a desagregar
la información como en 2009.
4.4.2 Propuesta de mejoras para MIR 2013
A continuación se presentan algunas propuestas de mejora para el Fin y Propósito de la MIR
2013.
Fin
El Fin ha tenido solamente modificaciones que precisan el objetivo del programa; sin embargo,
el objetivo debería estar relacionado hacia la problemática en general y no solamente tomar en
cuenta a los beneficiarios. En el resumen narrativo debería estar acotada la población que
presenta la problemática y el tipo de acciones que mejoran su situación. Asimismo, no queda
claro a que capacidades básicas se refiere la definición actual, por lo que se debe especificar
directamente qué problemática pretende contribuir a solucionar el programa.
Se propone que el objetivo en este nivel se defina de la siguiente forma:

Contribuir al desarrollo de capacidades básicas en nutrición y salud de la población
con ingresos menores a la línea de bienestar mínimo que no tiene acceso al
Programa Oportunidades.
76
Propósito
Este nivel de la matriz no ha cambiado drásticamente desde 2008, pero puede ser importante
que se acotara mejor el planteamiento del propósito para que se relacione directamente con
las cuestiones alimenticias o solamente con las de nutrición
Se recomienda que el objetivo sea redactado como:

Propósito: Familias beneficiarias incrementan su seguridad alimentaria.
Componentes
Se recomienda desagregar los Componentes de acuerdo con lo que el programa entrega a su
población beneficiaria, y regresar al esquema que se tenía en el 2009.
4.5
Análisis de los indicadores de Fin y de Propósito
En esta sección se valoran los indicadores de Fin y Propósito de la MIR 2012.
4.5.1 Indicadores de la MIR 2012
Fin

El indicador no ha tenido demasiadas modificaciones desde 2008; sin embargo, resulta
poco relevante, ya que supone que la variación en la desnutrición en niños (baja talla
para la edad) en el medio rural es imputable en su totalidad a los efectos del programa
en la población.
Propósito
 Diferencia de puntaje Z de baja talla para la edad en niños menores de cinco años
beneficiarios del Programa. Desde 2008, el programa ha tenido una variedad de
indicadores para medir este nivel. Sin embargo, de 2009 a 2010, se decidió tener uno
sólo, el cual pudiera mejorar, ya que, aunque el término “prevalencia” es también
utilizado para hacer referencia a la población que sufre de una enfermedad respecto de
otra población, también puede suponer una comparación respecto de un período de
tiempo.
 El indicador de prevalencia de baja talla se encuentra tanto en Fin como en Propósito.
 El indicador de nivel de ingesta necesita estar relacionado con algún tipo de
requerimiento o recomendación de consumo (se pueden tomar las elaboradas por
Coneval para la construcción de la Línea de Bienestar Mínimo). Este indicador se puede
obtener de la Encuesta Nacional de Salud y Nutrición (ENSANUT) (si la nueva base
77
contiene recordatorios de consumo) o de la Encuesta Nacional de Ingresos y Gastos de
los Hogares (ENIGH) utilizando como proxy el gasto en alimentos.
4.5.2 Propuesta de mejoras para indicadores MIR 2013
A continuación se hacen algunas propuestas de mejora a los indicadores de nivel Fin y
Propósito para la MIR 2013.
Fin
Se sugiere cambiar la definición del indicador de este nivel, para incluir los siguientes:
a) Diferencia en el puntaje Z de crecimiento de la variable seleccionada16 de niños menores
de 12 años entre familias beneficiarias y no beneficiarias
∑
∑
Donde:
DDPZ: Doble diferencia en el valor del puntaje Z de crecimiento de la variable
seleccionada
PZ: Puntaje Z de crecimiento de la variable seleccionada
T: Tratamiento
C: Comparación
i: Individuo del grupo de tratamiento
j: Individuo del grupo de control
t+1: Periodo actual (con exposición al programa)
n: Submuestra del grupo de tratamiento
k: Submuestra del grupo de comparación
b) Diferencia en la prevalencia de anemia de mujeres embarazadas o en lactancia entre
familias beneficiarias y no beneficiarias
∑
∑
16
Para el detalle de las variables a considerar a efecto de calcular el puntaje Z, refiérase a la nota al pie en la
sección 3.4.2. Aspectos a evaluar. Como mínimo, se sugiere talla para la edad.
78
Donde:
DDPAMEL: Doble diferencia en la prevalencia de anemia de mujeres embarazadas o en
lactancia
PAMEL: Prevalencia de anemia de mujeres embarazadas o en lactancia
T: Tratamiento
C: Comparación
i: Individuo del grupo de tratamiento
j: Individuo del grupo de control
t+1: Periodo actual (con exposición al programa)
n: Submuestra del grupo de tratamiento
k: Submuestra del grupo de comparación
c) Diferencia en la incidencia de enfermedades gastrointestinales en niños menores de 5
años entre familias beneficiarias y no beneficiarias.
∑
∑
Donde:
DDEGI: Doble diferencia en la incidencia de enfermedades gastrointestinales en niños
menores a 5 años entre familias beneficiarias y no beneficiarias
EGI: Incidencia de enfermedades gastrointestinales en niños menores de 5 años
T: Tratamiento
C: Comparación
i: Individuo del grupo de tratamiento
j: Individuo del grupo de control
t+1: Periodo actual (con exposición al programa)
n: Submuestra del grupo de tratamiento
k: Submuestra del grupo de comparación
Propósito
Se sugiere cambiar la definición del indicador de este nivel, para incluir los siguientes:
a) Diferencia en el índice de acceso a la alimentación entre familias beneficiarias y no
beneficiarias.
∑
∑
79
Donde:
DDIAA: Doble diferencia en el índice de acceso a la alimentación entre familias
beneficiarias y no beneficiarias
IAA: Índice de acceso a la alimentación
T: Tratamiento
C: Comparación
i: Familia del grupo de tratamiento
j: Familia del grupo de control
t+1: Periodo actual (con exposición al programa)
n: Submuestra del grupo de tratamiento
k: Submuestra del grupo de comparación
b) Diferencia en el consumo promedio ponderado de alimentos básicos entre familias
beneficiarias y no beneficiarias.
∑
∑
Donde:
DDCPPAB: Doble diferencia en el consumo promedio ponderado de alimentos básicos
CPPAB: Consumo promedio ponderado de alimentos básicos
T: Tratamiento
C: Comparación
i: Familia del grupo de tratamiento
j: Familia del grupo de control
t+1: Periodo actual (con exposición al programa)
n: Submuestra del grupo de tratamiento
k: Submuestra del grupo de comparación
80
c) Diferencia en el gasto promedio ponderado en alimentos básicos entre familias
beneficiarias y no beneficiarias.
∑
∑
Donde:
DDGPPAB: Doble diferencia en el gasto promedio ponderado en alimentos básicos
GPPAB: Gasto promedio ponderado en alimentos básicos
T: Tratamiento
C: Comparación
i: Familia del grupo de tratamiento
j: Familia del grupo de control
t+1: Periodo actual (con exposición al programa)
n: Submuestra del grupo de tratamiento
k: Submuestra del grupo de comparación
81
5
Conclusiones
Como se puede apreciar a lo largo del presente trabajo, en periodo de 2007 a 2012 se
realizaron un total de siete evaluaciones externas al programa, en las cuales se analizaron
diversos aspectos específicos asociados a su diseño, operación y resultados. Los hallazgos de
estas evaluaciones sirvieron para identificar un conjunto de fortalezas, oportunidades,
debilidades y amenazas, así como para proponer recomendaciones; a su vez, estos elementos
derivaron en aspectos susceptibles de mejora, a los cuales se le dio seguimiento a través de los
mecanismos establecidos. La revisión permitió constatar que el programa implementó acciones
que resolvieron algunos de los problemas identificados e implicaron diversas mejoras.
Con todo, en opinión del equipo metaevaluador y a la fecha de realización este ejercicio,
subsisten diversas deficiencias y áreas de oportunidad identificadas en las evaluaciones
anteriores que la Sedesol y los responsables del programa deben considerar y retomar, para
mejorar su desempeño. Aquellas que se consideraron relevantes y vigentes aparecen en el
análisis FODA global, que incluye también las recomendaciones de los evaluadores originales y,
en algunos casos, notas y recomendaciones propias del equipo metaevaluador cuando se
consideró pertinente hacerlo.
Asimismo, en el desarrollo del ejercicio se analizaron evaluaciones hechas a otros programas
considerados como similares al PAL, ya fuera en función de sus objetivos, poblaciones
atendidas o componentes particulares. El análisis derivó en diversos elementos relevantes,
incluyendo la confirmación de que, con un diseño y condiciones adecuadas, programas como el
PAL pueden efectivamente lograr resultados en cuanto a la seguridad alimentaria. Estas
evaluaciones sirvieron también para identificar indicadores, metodologías y fuentes de
información que pueden ser útiles para evaluar el desempeño del programa.
En cuanto a la agenda de evaluación 2013-2018, se propuso una secuencia lógica y ordenada de
las evaluaciones a realizar al programa, considerando una justificación técnica y empírica sobre
la importancia que cada ejercicio podría tener. Se propuso primero elaborar un estudio de
Diagnóstico y propuestas de atención, luego una Evaluación de diseño, posteriormente una
Evaluación de impacto, después una Evaluación de procesos, y finalmente una Evaluación de
consistencia y resultados. Esta secuencia buscó brindar una base sólida de datos, análisis y
estrategia para anclar el diseño, la operación y los resultados del programa durante la siguiente
administración federal, de forma tal que cada año se puedan informar los cambios y
refinamientos en diversos aspectos relevantes.
Dada la importancia de corroborar en los hechos los cambios que el PAL puede generar para
revertir el problema que le dio origen, la metaevaluación incorporó una propuesta más
detallada para una evaluación de impacto. En ella, se describieron la metodología y las fuentes
de información necesarias para llevar a cabo la evaluación, conforme a los estándares y mejores
prácticas en la materia, a la naturaleza de las variables específicas a medir así como a las
características específicas del programa. La propuesta se acompañó de un análisis de
82
pertinencia y de viabilidad técnica y financiera, que justifica la necesidad de realizar este tipo
evaluación al programa.
Como un elemento de valor agregado que complementa los análisis previos, se desarrollaron
una serie de reflexiones y recomendaciones sobre la situación actual del PAL, que si bien
construyen sobre el análisis de las evaluaciones antes revisadas, en algunos casos llegaron a
conclusiones distintas al replicar los ejercicios metodológicos de forma más amplia y rigurosa.
Estas reflexiones y recomendaciones son responsabilidad exclusiva del metaevaluador, y se
enfocaron principalmente en aspectos asociados al diseño del programa. Por su importancia, se
enfatizó y se elaboró ampliamente sobre la identificación y especificación del problema focal así
como sobre la definición de las poblaciones potencial y objetivo. Las reflexiones y
recomendaciones de esta sección respetaron los elementos básicos del diseño y la lógica
interna actuales del programa; por lo tanto, sólo se propuso mejorar la consistencia de dichos
elementos básicos del programa, a efecto de mejorar su desempeño. Un análisis más amplio de
la adecuación del diseño, operación y resultados del programa queda fuera del alcance de esta
metaevaluación, y sería en su caso objeto de otro estudio.
Finalmente, también a lo largo de estos años distintas instancias normativas, fiscalizadoras y
evaluadoras hicieron una serie de observaciones y recomendaciones para mejorar la Matriz de
Indicadores para Resultados del PAL, tanto en sus resúmenes narrativos como en los
indicadores para monitoreo. Cabe señalar que, en opinión del equipo metaevaluador, algunas
de estas observaciones y recomendaciones no necesariamente fueron adecuadas ni eran
consistentes entre sí; por otro lado, a pesar de los cambios que sí se implementaron, en algunos
casos subsisten deficiencias y áreas de oportunidad. Por ello, y considerando la historia de los
cambios en la MIR y lo que falta por hacer, el equipo metaevaluador recomendó algunas
mejoras y refinamientos en los resúmenes narrativos y los indicadores del programa en los
niveles de Fin y Propósito, respetando el diseño básico actual y los resultados que se esperan
del mismo.
83
6
6.1
Bibliografía
Documentos sobre el programa
Rodríguez, Evelyne. Evaluación Específica de Desempeño 2010-2011 del Programa de Apoyo
Alimentario. (EED10/11)
--------------- Específica de Desempeño 2009-2010 del Programa de Apoyo Alimentario a cargo de
DICONSA, S.A de C.V. (EED09/10)
Hernández, Bernardo. Evaluación Específica de Desempeño 2008 del Programa de Apoyo
Alimentario a cargo de DICONSA S.A de C.V. (EED08)
Centro de Investigación en Alimentación y Desarrollo, A.C. (2012). Evaluación de Consistencia y
Resultados 2011-2012 del Programa de Apoyo Alimentario. (ECR11/12)
Centro de Estudios para un Proyecto de Nacional Alternativo S.C. (2008). Evaluación de
Consistencia y Resultados 2007 del Programa de Apoyo Alimentario a cargo de DICONSA, S.A.
de C.V. (ECR07)
Instituto Nacional de Salud Pública Centro de Investigación en Nutrición y Salud (2006).
Evaluación del estado de nutrición de niños menores de 5 años y sus madres, y gasto en
alimentos de familias de localidades marginales en México. Análisis comparativo de la entrega
de despensas y transferencias en efectivo 2003-2005. (EI06)
Hospital Infantil de México Federico Gómez (2009). Evaluación del Diseño 2009 del Programa
de Apoyo Alimentario a cargo de DICONSA S.A. de C.V. (ED09)
Instituto Nacional de Ciencias Médicas y Nutrición Salvador Zubirán. (2011). Evaluación del
Modelo Integral de Apoyo a la Nutrición y el Neurodesarrollo PAL-Oportunidades 2011.
--------------- (2011). Actividades realizadas en las localidades seleccionadas para la Evaluación
del Modelo Integral de Apoyo a la Nutrición y el Neurodesarrollo PAL-Oportunidades 2011.
Consejo Nacional de Evaluación de la Política de Desarrollo Social. (2011). Informes de Sesiones
de Mesa Técnica de Revisión de Indicadores: Programa de Apoyo Alimentario.
Coordinación Nacional del Programa de Desarrollo Humano Oportunidades. (2012). Matriz de
Indicadores de Resultados del Programa de Apoyo Alimentario.
--------------- (2012). Fichas Técnicas de la Matriz de Indicadores de Resultados del Programa de
Apoyo Alimentario.
84
--------------- (2011). Fichas Técnicas de la Matriz de Indicadores de Resultados del Programa de
Apoyo Alimentario.
--------------- (2010). Fichas Técnicas de la Matriz de Indicadores de Resultados del Programa de
Apoyo Alimentario.
---------------. (2011). Matriz de Indicadores de Resultados del Programa de Apoyo Alimentario.
--------------- . (2010). Matriz de Indicadores de Resultados del Programa de Apoyo Alimentario.
--------------- (2010). Auditoría al Programa de Apoyo Alimentario.
Diconsa, S.A. de C.V. (2009). Matriz de Indicadores de Resultados del Programa de Apoyo
Alimentario a cargo de Diconsa.
--------------- . (2008). Matriz de Indicadores de Resultados del Programa de Apoyo Alimentario a
cargo de Diconsa.
--------------- (2009). Fichas Técnicas de la Matriz de Indicadores de Resultados del Programa de
Apoyo Alimentario a cargo de Diconsa, S.A. de C.V.
--------------- (2008). Fichas Técnicas de la Matriz de Indicadores de Resultados del Programa de
Apoyo Alimentario a cargo de Diconsa, S.A. de C.V.
Secretaría de Desarrollo Social (2012). Reglas de Operación del Programa de Apoyo Alimentario.
---------------. (2011). Reglas de Operación del Programa de Apoyo Alimentario.
--------------- . (2010). Reglas de Operación del Programa de Apoyo Alimentario.
--------------- (2009). Reglas de Operación del Programa de Apoyo Alimentario.
--------------- (2008). Reglas de Operación del Programa de Apoyo Alimentario.
--------------- (2007). Reglas de Operación del Programa de Apoyo Alimentario.
--------------- . (2012). Aspectos Susceptibles de Mejora del Programa de Apoyo Alimentario:
Posición Institucional sobre el Programa de Apoyo Alimentario.
--------------- (2011). Aspectos Susceptibles de Mejora del Programa de Apoyo Alimentario:
Posición Institucional sobre el Programa de Apoyo Alimentario.
85
--------------- . (2010). Aspectos Susceptibles de Mejora del Programa de Apoyo Alimentario:
Posición Institucional sobre el Programa de Apoyo Alimentario.
--------------- (2012). Seguimiento a Aspectos Susceptibles de Mejora Derivados de Informes y
Evaluaciones: Clasificación de los Aspectos Susceptibles de Mejora. Programa de Apoyo
Alimentario.
---------------. (2011). Seguimiento a Aspectos Susceptibles de Mejora Derivados de Informes y
Evaluaciones: Clasificación de los Aspectos Susceptibles de Mejora. Programa de Apoyo
Alimentario.
--------------- . (2008). Seguimiento a Aspectos Susceptibles de Mejora Derivados de las
Evaluaciones Externas: Clasificación de los Aspectos Susceptibles. Programa de Apoyo
Alimentario a cargo de Diconsa, S.A. de C.V.
--------------- . (2012). Seguimiento a Aspectos Susceptibles de Mejora Derivados de Informes y
Evaluaciones: Documento de Trabajo del Programa de Apoyo Alimentario.
---------------. (2011). Seguimiento a Aspectos Susceptibles de Mejora Derivados de las
Evaluaciones Externas: Documento de Trabajo del Programa de Apoyo Alimentario.
---------------. (2008). Seguimiento a Aspectos Susceptibles de Mejora Derivados de las
Evaluaciones Externas: Documento de Trabajo del Programa. Programa de Apoyo Alimentario
cargo de Diconsa, S.A. de C.V.
--------------- (2012). Nota de Actualización de la Población Potencial y Población Objetivo del
Programa de Apoyo Alimentario.
--------------- (2009). Diagnóstico del Programa de Apoyo Alimentario a cargo de DICONSA S.A. de
C.V.
6.2
Documentos de otros programas similares
Agüero, J. M., et. al. (2007). “The Impact of Unconditional Cash Transfers on Nutrition: The
South African Child Support Grant”. International Poverty Centre.
Miller, Candace, et.al. (2008). “Impact Evaluation Report External Evaluation of the Mchinji
Social Cash Transfer Pilot”. Center for International Health and Development Boston University
School of Public Health Boston, Massachusetts y The Centre for Social Research University of
Malawi
86
Powell, Christine A., et al. (1998). “Nutrition and education: a randomized trial of the effects of
breakfast in rural primary school children”. The American Journal of Clinical Nutrition, num. 68
pp.873-879.
6.3
Documentos normativos y programáticos
Secretaría de Hacienda y Crédito Público, Secretaría de la Función Pública y Consejo Nacional de
Evaluación de la Política de Desarrollo Social (2007). Lineamientos Generales para la Evaluación
de los Programas Federales de la Administración Pública Federal.
Secretaría de Hacienda y Crédito Público y Consejo Nacional de Evaluación de la Política de
Desarrollo Social (2010) Guía para la Construcción de la Matriz de Indicadores para Resultados.
--------------- (2010). Guía para el Diseño de Indicadores Estratégicos.
---------------- (2008). Oficio Circular 307-a.-1593, Lineamientos Generales para el Proceso de
Programación y Presupuestación para el Ejercicio Fiscal 2008, Anexo Dos: Metodología para la
Elaboración de la Matriz de Indicadores de los Programas Presupuestarios de la APF. Unidad de
Política y Control Presupuestario.
--------------- (2007). Circular 307-A-0221. Lineamientos para la Actualización de la Matriz de
Indicadores de los Programas Presupuestarios y la Elaboración de los Calendarios de Metas de
los Indicadores del Presupuesto de Egresos de la Federación para el Ejercicio Fiscal 2008.
Unidad de Política y Control Presupuestario.
Consejo Nacional de Evaluación de la Política de Desarrollo Social (2010). Diagnóstico de
Matrices de Indicadores para Resultados 2010. Principales Hallazgos.
--------------- (2008). Informe de Evaluación de la Política de Desarrollo Social en México.
--------------- (2007). Modelo de TDR de la Evaluación de Consistencia y Resultados 2007, Anexo
02, Nota Técnica con los Principales Conceptos de la Matriz de Indicadores.
6.4
Documentos teóricos y metodológicos
Aldunate, Eduardo. (2004). “Metodología del Marco Lógico”. Boletín del Instituto, 15,
Latinoamericano y del Caribe de Planificación Económica y Social (ILPES). Santiago de Chile.
Aldunate, Eduardo y Julio Córdoba. (2011). “Formulación de programas con la metodología de
marco lógico”. Serie Manuales, 45, ILPES-CEPAL, Santiago de Chile.
87
Bonnefoy, Juan y Marianela Armijo. (2005). “Indicadores de desempeño en el sector público”.
Serie Manuales, 45, ILPES-CEPAL, Santiago de Chile.
Camacho, Hugo, et. al. (2001). El enfoque del Marco Lógico: 10 casos prácticos. Cuaderno para
la identificación y diseño de proyectos de desarrollo. Madrid, Fundación Cideal.
Comisión Económica para América Latina. (2001). El uso de los indicadores socioeconómicos en
la formulación y evaluación de proyectos sociales: aplicación metodológica. Serie Manuales, 15,
ILPES-CEPAL, Santiago de Chile.
Comisión Económica para América Latina. (2004). Uso de los indicadores socioeconómicos en la
evaluación de impacto de proyectos y programas de lucha contra la pobreza. Serie Manuales,
ILPES-CEPAL, La Paz, Bolivia.
Cortés, Fernando. (2002) “Algunos aspectos de la controversia entre la investigación cualitativa
e investigación cuantitativa”. El Colegio de México, Mimeo.
Díaz, Luis. (2001). “La metaevaluación y su método”, Revista de Ciencias Sociales, Vol. II-III,
Número 92-93, pp. 171-192, Universidad de Costa Rica.
Glass, G.V., McGraw, B., & Smith, M. L., (1981). Meta-analysis in social research. Beverly Hills:
Sage Publications.
Martin, Paula H. (1982). Meta-Analysis, Meta-Evaluation and Secondary Analysis. Washington,
DC: ERIC Clearinghouse.
Scriven, Michael. (1991). Evaluation Thesaurus. Newbury Park: SAGE Publications.
88
7
Anexos
7.1
Anexo 1: Síntesis de Evaluaciones 2007-2012
7.2
Anexo 2: Síntesis de Evaluaciones de programas similares internaciones
7.3
Anexo 3: Agenda de evaluación
7.4
Anexo 4: FODA
7.5
Anexo 5: Análisis histórico y propuestas de mejora de la MIR
89