PASL Metaevaluacion

Secretaría de Desarrollo Social
Meta evaluación 2007-2012 del
Programa de Abasto Social de Leche a cargo de Liconsa, S.A. de C.V.
Informe Final
Institución a cargo del proyecto:
Universidad Autónoma de Chiapas
Centro Universidad - Empresa
Coordinador General:
Jorge Mario Soto Romero
Responsable Administrativo
Alfredo Martínez de la Torre
Investigadores:
José Arturo Baca Millán
Alida Marcela Gutiérrez Landeros
Claudia Sánchez Velasco
Ricardo Belman Martínez
Tuxtla Gutiérrez, Chiapas
23 de octubre de 2012
1
Índice de contenidos
Resumen ejecutivo ...........................................................................................................................4
1. Introducción ..............................................................................................................................7
2. Descripción del Programa .........................................................................................................8
2.1 Antecedentes y objetivos ......................................................................................................8
2.2 Problema focal y árbol de problemas....................................................................................8
2.3 Población potencial y objetivo ..............................................................................................9
2.4 Apoyos otorgados ................................................................................................................10
2.5 Evolución de la cobertura ....................................................................................................11
3. Evaluación ...............................................................................................................................12
3.1 Principales hallazgos en las evaluaciones ........................................................................13
3.1.1
Evaluación de Consistencia y Resultados (ECR 2007) ..................................................13
3.1.2
Evaluación Específica de Desempeño (EED 2008)........................................................15
3.1.3
Evaluación de Impacto (EI 2009) ..................................................................................16
3.1.4
Evaluación Específica de Desempeño (EED 2009-2010) ..............................................19
3.1.5
Evaluación Específica de Desempeño (EED 2010-2011) ..............................................20
3.1.6
Evaluación de Consistencia y Resultados (ECR 2011-2012) .........................................20
3.2 Análisis de evaluaciones de resultados o de impacto en el ámbito nacional o
internacional de programas similares.........................................................................................22
3.2.1
Desayunos en escuelas primarias rurales, Jamaica......................................................22
Características similares o tipos de apoyo que entrega el programa: ...........................................22
3.2.2
Vaso de Leche, Perú .....................................................................................................25
3.3 Agenda de evaluación para el período 2013-2018 ..........................................................28
3.3.1
2013: Diagnóstico y propuestas de atención ...............................................................30
3.3.2
2013: Específica de cobertura, comercialización y financiamiento .............................31
3.3.3
2014: Evaluación de Diseño .........................................................................................32
3.3.4
2015-2016: Evaluación de impacto ..............................................................................32
3.3.5
2017: Evaluación estratégica de desempeño de los programas sociales alimentarios
33
3.3.6
2017: Evaluación de procesos ......................................................................................34
3.3.7
2018: Evaluación de consistencia y resultados ............................................................34
3.4 Análisis de viabilidad y pertinencia para las evaluaciones de impacto ...........................35
3.4.1
Pertinencia de la evaluación ........................................................................................35
3.4.2
Aspectos a evaluar........................................................................................................36
3.4.3
Metodologías y fuentes de información ......................................................................37
3.4.4
Viabilidad técnica y financiera......................................................................................40
3.5 Principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones ......42
3.6 Análisis de la contribución de los programas alimentarios a la reducción de la carencia
de acceso a la alimentación ........................................................................................................55
3.6.1
Aspectos conceptuales y de diseño programático.......................................................55
3.6.2
Potencial de contribución de cada programa ..............................................................56
3.6.3
Programa de Desarrollo Humano Oportunidades y Programa de Apoyo Alimentario57
2
3.6.4
Programa de Abasto Social de Leche ...........................................................................58
3.6.5
Programa de Abasto Rural ...........................................................................................58
3.6.6
Conclusiones .................................................................................................................59
3.7 Reflexiones y recomendaciones complementarias del metaevaluador ..........................60
3.7.1
Sobre el problema focal y las poblaciones potencial y objetivo ..................................60
3.7.2
Sobre la cobertura y focalización .................................................................................64
4. Reporte de monitoreo ............................................................................................................66
4.1 Introducción .....................................................................................................................66
4.2 Análisis histórico de la Matriz de Indicadores para Resultados 2007-2012 ....................67
4.2.1
Principales cambios de la Matriz de Indicadores 2007-2012 .......................................67
4.2.2
Análisis 2007-2008 .......................................................................................................67
4.2.3
Análisis 2008-2009 .......................................................................................................69
4.2.4
Análisis 2009-2010 .......................................................................................................70
4.2.5
Análisis 2010-2011 .......................................................................................................71
4.2.6
Análisis 2011-2012 .......................................................................................................73
4.3 Principales comentarios a la Matriz de Indicadores 2007-2012 ......................................73
4.3.1
Fin .................................................................................................................................74
4.3.2
Propósito ......................................................................................................................75
4.3.3
Componentes ...............................................................................................................76
4.4 Comentarios generales ....................................................................................................76
4.5 Análisis del resumen narrativo de la Matriz de Indicadores para Resultados 2012........78
4.5.1
Análisis de la MIR 2012 y vínculo con las Reglas de Operación ...................................78
4.5.2
Propuesta de mejoras para MIR 2013..........................................................................79
4.6 Análisis de los indicadores de Fin y de Propósito ............................................................79
4.6.1
Indicadores de la MIR 2012 ..........................................................................................79
4.6.2
Propuesta de mejoras para indicadores MIR ...............................................................79
5. Conclusiones ...........................................................................................................................83
6. Bibliografía ..............................................................................................................................85
7. Anexos .....................................................................................................................................88
Anexo 1 “Síntesis de Evaluaciones 2007-2012”. ............................................................................88
Anexo 2 “Síntesis de Evaluaciones de programas similares internacionales”. ..............................88
Anexo 3. “Agenda de evaluación” ..................................................................................................88
Anexo 4. “FODA”.............................................................................................................................88
Anexo 5. “Análisis histórico y propuestas de mejora de la MIR” ...................................................88
3
Resumen ejecutivo
La presente Meta evaluación 2007-2012 del Programa de Abasto Social de Leche a cargo de
Liconsa, S.A. de C.V. (PASL) tiene como objetivo analizar los avances y logros en materia de
evaluación y monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad
que permitan al programa obtener mejores resultados en próxima administración federal.
Así, los principales resultados del PASL en materia de evaluación son los siguientes:
Principales fortalezas y oportunidades:
• El Programa cuenta con un diagnóstico que muestra la gravedad del problema que busca
revertir, así como con evidencia de estudios nacionales e internacionalesde que la leche
fortificada es eficaz para reducir la desnutrición, especialmente en la población más pobre.
• Ha implementado y dado seguimiento a las recomendaciones de las evaluaciones externas
para mejorar su desempeño, específicamente en torno a su diseño, cobertura y operación.
• Cuenta con herramientas informáticas eficientes y de vanguardia para la selección,
incorporación y baja de beneficiarios, como el sistema georeferenciado de lecherías, el
sistema de puntaje con modelos estadísticos robustos para valorar la elegibilidad de los
solicitantes, y el sistema de información, administración y actualización del padrón.
• Los beneficiarios manifiestan un alto grado de satisfacción respecto de la calidad y el precio
de la leche fortificada, así como sobre los requisitos y la atención del programa.
• Documenta impactos positivos del consumo de leche fortificada sobre el desarrollo
intelectual, el crecimiento de los niños y la prevención y control de la anemia, lo cual
demuestra que la relación costo/beneficio de la leche fortificada Liconsa es muy alta.
Principales debilidades y amenazas:
• La definición de la población objetivo no se concentra en los grupos en los que la evidencia
empírica ha demostrado que la leche fortificada tiene mayor impacto.
• El programa no cuenta con una estrategia de cobertura de mediano y largo plazo, ni
considera criterios nutricionales para focalizar sus apoyos.
• El programa opera primordialmente en áreas urbanas, por lo que tiene una menor
cobertura en las localidades rurales, especialmente en los estados del sureste del país que
tienen las mayores prevalencias de desnutrición infantil.
• La exclusión de beneficiarios del PASL con respecto de Oportunidades y el Programa de
Apoyo Alimentario, limita la contribución del PASL a la disminución de la prevalencia de
desnutrición crónica infantil,ya que los últimos dos focalizan hacia la pobreza extrema.
• El Programa no cuenta con evidencia de que su tipo de intervención es más eficaz que
otras alternativas para disminuir la desnutrición de la población pobreza patrimonial.
Hallazgos sustantivos y metodológicos relevantes de otros programas similares:
• Programas con diseño, poblaciones objetivo y componentes similares al PASL han
mostrado ser efectivos para promover la nutrición, tales como Vaso de Leche en Perú
(2004) y los desayunos escolares en escuelas rurales de Jamaica (1998).
4
•
•
El estudio de Jamaica destaca el papel muy positivo que pueden jugar los desayunos
escolares y en general los apoyos alimentarios en especie, enel desarrollo físico y cognitivo
de los niños rurales de escasos ingresos, a pesar de no estar fortificados. Por lo tanto, se
esperaría que los efectos fueran mayoresy más diversos si los desayunos incluyeran
alimentos fortificados con micronutrientes, como la leche Liconsa. Así, se recomienda
explorar las posibles sinergias, complementariedades y ventajas de especialización entre el
PASL y los programas estatales de desayunos escolares, particularmente en la atención de
las localidades rurales con alta concentración de desnutrición y pobreza.
La evaluación de Perú sugiere que el impacto de los programas de leche sobre la
desnutrición es menor o nulo cuando existen filtraciones en la cobertura y una focalización
inadecuada en términos de pobreza. Esto puede suceder cuando las poblaciones atendidas
son mayoritariamente no pobres o pobres moderados en lugar de pobres extremos, pues
los últimos son quienes tienen más riegos de padecer desnutrición. Así, el PASL podría
obtener ganancias sustanciales en términos de impactos con una mejor focalización de los
apoyos, dirigiéndolos hacia las familias con mayor pobreza y riesgo nutricional, así como
ampliando su cobertura hacia las regiones escasamente atendidas y localidades rurales.
Agenda de evaluación propuesta:
• 2013: Diagnóstico y propuestas de atención
• 2013: Evaluación específica de cobertura, comercialización y financiamiento
• 2014: Evaluación de diseño
• 2015 y 2016: Evaluación de impacto
• 2017: Evaluación estratégica de desempeño de los programas sociales alimentarios
• 2017: Evaluación de procesos
• 2018: Evaluación de consistencia y resultados
Sugerencias para la evaluación de impacto:
• Se recomienda evaluar el impacto del programa en la nutrición de los niños, las mujeres
embarazadas y en lactancia y los adultos mayores, no con un modelo clínico con consumo
en condiciones controladas, sino con uno que capture los beneficios tal como las familias
los obtienen yaprovechan en condiciones normales—esto es, una evaluación centrada en
el programa y no en la leche fortificada como tal.
• El modelo sería de doble diferencia, con grupos de tratamiento y de comparación;
levantamientos basales y de seguimiento a través de encuestas propias con
representatividad nacional; y estratos metropolitanos, urbanos y rurales, leche líquida y en
polvo, e ingresos por debajo de la línea de bienestar y la de bienestar mínimo.
En materia de monitoreo, y considerando el diseño actual del programa, se proponelo siguiente:
Propuesta para mejorar aspectos de los resúmenes narrativos:
Fin: Contribuir al desarrollo de las capacidades básicas en educación y salud de las personas con
ingresos menores a la línea de bienestar, a través de la disminución de su riesgo
nutricional.
5
Propósito:Las personas con ingresos por debajo de la línea de bienestar disminuyen su riesgo
nutricional.
Propuesta para mejorar los indicadores:
Fin:
• Diferencia en los resultados de las pruebas estandarizadas de desarrollo cognitivo y
lingüístico en los niños de familias beneficiarias, con respecto a la misma variable en los
niños de familias no beneficiarias.
• Diferencia en la incidencia de enfermedades gastrointestinales en niños menores de 5
años de las familias beneficiarias, con respecto a la misma variable de los niños de las
familias no beneficiarias.
Propósito:
• Diferencia en el puntaje Z de crecimiento de variables seleccionadas de niños menores
de 12 años de familias beneficiarias, con respecto de la misma variable para los niños de
las familias no beneficiarias.
• Diferencia en la prevalencia de anemia de mujeres embarazadas o en lactancia de
familias beneficiarias, con respecto a la misma variable de mujeres de familias no
beneficiarias.
• Diferencia en el consumo promedio de leche por persona de las familias beneficiarias
con ingresos menores a la línea de bienestar, con respecto de la misma variable para las
familias no beneficiarias
Finalmente, las principales reflexiones y recomendaciones complementarias del equipo
metaevaluador son las siguientes:
•
•
•
•
Redefinir el problema focal, mediante la sustitución o especificación del concepto de
“insuficientes niveles de nutrición” por el de “riesgo nutricional”.
Redefinir la población potencial y objetivo, eliminando o acotando de forma más especifica
la mutua exclusión de beneficiarios del PASL con respecto al Programa Oportunidades y de
Apoyo Alimentario.
Realizar una evaluación de cobertura, comercialización y financiamiento, que analice la
cobertura efectiva de localidades y poblaciones, los modelos existentes y alternativos de
comercialización y entrega de productos, así como los esquemas de financiamiento más
adecuados para llevar los apoyos a quienes más los necesitan.
Establecer una estrategia de cobertura de mediano y largo plazo para el PASL, a partir de
las redefinición de la población potencial y objetivo y en un marco de actuación que
considere de forma explícita la existencia de otros programas alimentarios. Se sugiere que
dicha estrategia considere nuevos enfoques de comercialización y financiamiento, que
promueva la ampliación de la cobertura hacia las localidades rurales y las regiones no
atendidas, y que valore la pertinencia y factibilidad de gradualmente cerrar, relocalizar o
transferir a particulares las lecherías cuya existencia ya no se justifica, porque sus
localidades de atención no presentan el problema focal.
6
1.
Introducción
Conforme a los Lineamientos Generales para la Evaluación de los Programas Federales de la
Administración Pública Federal (Lineamientos), el numeral vigésimo cuarto, define las
evaluaciones complementarias, como aquellas que no se encuentran previstas en el Programa
Anual de Evaluación (PAE), y cuya aplicación está a consideración de las necesidades que
identifiquen las dependencias o entidades.
En este sentido, al ser interés particular de la Secretaría de Desarrollo Social (SEDESOL)contar con
información acerca del desempeño y resultados de los Programas Sociales, y con base en la
información disponible de evaluación y monitoreo, se planteó una evaluación complementaria
denominada “Metaevaluación 2007-2012 para el Programa de Abasto Social de Leche (PASL)”.
El objetivo general de la evaluación es analizar los avances y logros en materia de evaluación y
monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad en dichos
temas, que permitan al programa obtener mejores resultados en el periodo 2013-2018. Este
objetivo general posteriormente se desarrollará en una serie de objetivos específicos, a los cuales
se les da cumplimiento formal en los diversos apartados del presente documento.
El desarrollo de la metaevaluación del PASL comienza con la descripción general del programa a
partir de lo establecido en diversos documentos normativos y técnicos básicos, así como las
evaluaciones externas recientes. Inicia con una presentación general, deteniéndose luego en
aspectos centrales como los objetivos, el problema focal que se busca revertir y las relaciones de
causa y efecto asociadas a dicho problema.
Posteriormente, en el Reporte de Evaluación se presenta una síntesis de cada una de las
evaluaciones externas que se realizaron al programa en el período 2007-2012; se analizan
evaluaciones de resultados o impacto de programas similares al PASL; se propone una agenda de
evaluación para el periodo 2013-2018; se enuncian principales fortalezas, oportunidades,
debilidades, amenazas y recomendaciones derivadas de las evaluaciones realizadas al programa, y
se exponen las conclusiones y recomendaciones más relevantes del equipo metaevaluador.
En el Reporte de Monitoreo, se hace un análisis de la evolución de la Matriz de Indicadores de
Resultados (MIR) del programa durante el período 2007-2012. El análisis histórico identifica los
principales cambios en los resúmenes narrativos y en los indicadores que componen la Matriz, que
surgieron como resultado a las observaciones y recomendaciones de diversas instancias
normativas y fiscalizadoras, así como de evaluaciones externas realizadas al programa. Así mismo,
se incluye una serie de recomendaciones del equipo metaevaluador para mejorar la MIRhacia el
inicio de la próxima administración federal.
Finalmente, se presentan las conclusiones y recomendaciones resultantes de la metaevaluación y
se incluyen una serie de anexos que refiere el contenido del documento.
7
2.
Descripción del Programa
En este apartado se presenta una descripción general del Programa de Abasto Social de Leche
(PASL), a partir de lo establecido en los vigentesdocumentos básicos, tales como las Reglas de
Operación del Programa 2012 (ROP), el Diagnóstico de la Población en Condiciones de Pobreza
vulnerable a los efectos de la Desnutrición 2010, (en adelante, el Diagnóstico), la Nota de
Actualización de la Población Potencial (PP) y Población Objetivo (PO) “Nota Sobre Población
Potencial y Población Objetivo 2011” (en adelante, la Nota), así como las evaluaciones externas
recientes. Inicia con una presentación general, deteniéndose luego en aspectos centrales como los
objetivos, el problema focal que se busca revertir y las relaciones de causa y efecto asociadas a
dicho problema. Posteriormente, se describen los diferentes apoyos que otorga el programa a sus
beneficiarios, se identifica y cuantifica la población potencial y objetivo, y se da cuenta de la
evolución de la cobertura durante los años recientes.
2.1
Antecedentes y objetivos
El Programa de Abasto Social de Lechea cargo de Liconsa S.A. de C.V., con clave programática
S052, inició operaciones en 1949 y es coordinado porla Secretaría de Desarrollo Social (SEDESOL), ,
tiene como fin contribuir al desarrollo de capacidades básicas mejorando la nutrición y
alimentación de la población cuyo ingreso está por debajo de la línea de bienestar. Las Reglas de
Operación del Programa 2012 (ROP) señalan que su objetivo general es “Contribuir al desarrollo
de capacidades básicas mejorando la nutrición y la alimentación de la población cuyo ingreso está
por debajo de la línea de bienestar.” Su objetivo específico está definido como “Apoyar a los
hogares beneficiarios para que tengan acceso al consumo de leche fortificada de calidad a bajo
precio”.
El medio que utiliza el programa para la consecución de sus objetivos se realiza por medio de
apoyos a hogares beneficiarios, para que tengan acceso a leche fortificada y de calidad, a bajo
precio.
2.2
Problema focal y árbol de problemas
En la Nota sobre la población potencial y objetivo del PASL, el problema focal que aborda el
programa, se define como“la población en pobreza patrimonial presenta un nivel de nutrición
insuficiente”. Las causas principales que se identifican en torno al problema son el insuficiente
abasto de alimentos en las zonas rurales, malos hábitos alimenticios, bajo consumo y bajo
aprovechamiento de nutrientes (hierro, vitaminas, minerales, etc.), y la mayor vulnerabilidad a
episodios de desnutrición. Por otra parte, los efectos más importantes del problema incluyen el
bajo rendimiento escolar y laboral, y mayor riesgo a enfermedades.
8
A continuación se presenta el árbol de problemas que el programa construyó en torno al problema
focal.
Fuente: Diagnóstico sobre la población en condiciones de pobreza vulnerable a los
efectos de la desnutrición (SEDESOL,2010).
2.3
Población potencial y objetivo
Como lo señala la Nota sobre la población potencial y objetivo del PASL, la población potencial
está definida como: Hogares con ingreso per cápita inferior al valor de la Línea de Bienestar
económico, y que no son beneficiarios de los programas Desarrollo Humano Oportunidades o de
Apoyo Alimentario, y que cuentan con integrantes que pertenecen a alguno de los siguientes
grupos:
•
•
•
•
•
•
Niños y niñas entre 6 meses y 12 años,
Mujeres de 13 a 15 años,
Mujeres embarazadas y en periodo de lactancia,
Mujeres de 45 a 59 años,
Adultos de 60 años o mayores, y
Personas con discapacidad y enfermos crónicos.
9
En cuanto a la población objetivo las ROP 2012 señalan que son las personas pertenecientes a
hogares cuyo ingreso está por debajo de la línea de bienestar, de acuerdo a los criterios emitidos
por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL)1, que no
cuentan con apoyo de los Programas de Desarrollo Humano Oportunidades y el de Apoyo
Alimentario, y que pertenecen a cualquiera de los siguientes grupos:
•
•
•
•
•
•
Niñas y niños de 6 meses a 12 años de edad.
Mujeres adolescentes de 13 a 15 años.
Mujeres en periodo de gestación o lactancia.
Mujeres de 45 a 59 años.
Enfermos crónicos y personas con discapacidad mayores de 12 años.
Adultos de 60 y más años.
Los grupos de personas antes mencionados no son limitantes en el caso de los Convenios
Interinstitucionales, debido a las especificaciones y población señaladas en cada uno de sus
Convenios. Por lo anterior, podrán ser beneficiarios de este Programa las personas atendidas por
Instituciones de Asistencia Social públicas y/o privadas legalmente constituidas y sin fines de lucro
que tengan establecido un Convenio Interinstitucional.
La población atendida se define como aquella a la cual realmente impacta el Programa y de
acuerdo con la Nota de poblaciones del PASL, en2010 el Programa atendía a 26.7 millones de
personas.
2.4
Apoyos otorgados
De acuerdo con las Reglas de Operación 2012, el programa otorga una dotación de leche
fortificadacon alto valor nutricional a un precio preferencial por litro, con lo que el beneficiario
genera un ahorro por la diferencia de precio entre leche Liconsa y la leche comercial. Existen dos
modalidades de apoyo:
•
1
Abasto comunitario:
o La dotación de leche autorizada es de cuatro litros a la semana por beneficiario registrado en
el padrón, y cada hogar tendrá derecho a adquirir un máximo de 24 litros a la semana,
dependiendo del número de sus beneficiarios, conforme a lo que se establece en el siguiente
cuadro:
Disponible en http://www.coneval.gob.mx/cmsconeval/rw/pages/medicion/Pobreza_2010/Lineas%20de%20bienestar.es.do
10
Número de
beneficiarios
1
2
3
4
5
6 o más
•
2.5
Dotación semanal
(litros)
4
8
12
16
20
24
Convenios Interinstitucionales:
o
Liconsa mantendrá y podrá ampliar su cobertura mediante convenios
interinstitucionales para otorgar el beneficio de la leche a aquellos segmentos de la
población objetivo que no estén siendo atendidos mediante el mecanismo anterior.
Evolución de la cobertura
Entre 2008 y 2011 la población objetivo pasó de 16.4 millones de personas a 6 millones, asimismo
de 6.2 millones de hogares a 3 millones.La población atendida por número de hogares paso de 6 a
3 millones.Es importante mencionar que los datos presentados a partir de 2010 incluido el mismo,
se considera la línea de bienestar.
Evolución de la cobertura del PASL (millones)
Tipo de
2008
2009
2010
Población
Potencial
Personas
24.2
ND
26.7
Hogares
8.7
8.7
10.8
Objetivo
Personas
16.4
ND
ND
Hogares
6.2
6
ND
Atendida
Personas
ND
ND
ND
Hogares
6
6
6
Fuente: Evaluación de Consistencia y Resultados 2011-2012. Anexo 1.
2011
ND
ND
6
3
5
3
11
3.
Evaluación
En este apartado se presenta una síntesis de cada una de las evaluaciones externas que se
realizaron al programa en el período 2007-2012. La síntesis se enfoca en la metodología y los
principales resultados; identifica las fortalezas, oportunidades, debilidades y amenazas más
relevantes, y enuncia las recomendaciones que los evaluadores derivaron en su momento—el
Anexo 1 facilita una visión esquemática de este ejercicio.
Para establecer un punto de referencia con otras experiencias a nivel internacional,
posteriormente se muestra una síntesis de evaluaciones de resultados o impacto aplicadas a
programas, proyectos o intervenciones públicas que son similares al PASL, ya sea por algunos de
sus objetivos, componentes o poblaciones atendidas. Se trata de obtener información útil para
valorar en qué medida las acciones del programa han obtenido resultados en otras realidades, así
como de analizar y aprovechar aquellos aspectos del esquema metodológico aplicado en estos
casos para próximas evaluaciones al programa. El Anexo 2 posibilita una visión sintética de las
evaluaciones a intervenciones similares a la que nos ocupa.
Más adelante, se propone una agenda de evaluación para el periodo 2013-2018, que pretende ser
una guía para orientar los ejercicios que deberán hacerse al programa conforme a la normatividad
vigente en la materia. La agenda propuesta plantea los objetivos para cada evaluación y el período
de duración, señala los componentes específicos para analizar, hace una justificación con base en
necesidades o recomendaciones identificadas en esta metaevaluación, y propone un conjunto de
insumos necesarios para llevar a cabo las evaluaciones durante el periodo. La esquematización de
la propuesta puede consultarseen el Anexo 3.
Dada la importancia de corroborar en los hechos los cambios que las intervenciones públicas son
capaces de imprimir en la realidad que buscan revertir, este apartado incorpora una propuesta
más detallada para someter al PASLa una evaluación de impacto. Se describen la metodología y las
fuentes de información necesarias para llevar a cabo este tipo de evaluación, de acuerdo con la
naturaleza de las variables específicas a medir así como de las características específicas del
programa. La propuesta se acompaña de un análisis de pertinencia y de viabilidad técnica y
financiera.
En este apartado se incorpora un resumen de las fortalezas, oportunidades, debilidades y
amenazas (FODA) del PASLidentificadas en cada evaluación analizada, acompañadas de sus
recomendaciones y propuestas asociadas. Cabe señalar que sólo se presentan aquellos elementos
que, a juicio del metaevaluador, son relevantes en términos de su importancia e implicaciones
para el desempeño del programa, así como vigentes, en el sentido que la situación que les dio
origen lo sigue siendo en alguna medida. El FODA completo de forma esquemática se presenta en
el Anexo 4.
Finalmente, se incorpora una sección de conclusiones y recomendaciones del metaevaluador, que
si bien en su mayoría se construyen sobre el análisis de las evaluaciones antes revisadas, en
12
algunos casos llegan a resultados distintos al replicar los ejercicios metodológicos de forma más
amplia y rigurosa. Estas conclusiones y recomendaciones se enfocan principalmente en aspectos
asociados al diseño, la cobertura y los impactos del programa, y son responsabilidad exclusiva del
metaevaluador.
3.1
Principales hallazgos en las evaluaciones
En este apartado se presenta una síntesis de cada una de las evaluaciones externas que se
realizaron al programa en el período 2007-2012. La síntesis se enfoca en la metodología y los
principales resultados.El Anexo 1 facilita una visión esquemática de este ejercicio.
Cabe señalar que los resultados aquí presentados reflejan lo encontrado en cada evaluación en el
momento en que estas se llevaron a cabo, y no reflejan la opinión del equipo metaevaluador.
Asimismo, es necesario enfatizar que, conforme a la normatividad respectiva, los principales
hallazgos y recomendaciones de las evaluaciones externas se incorporaron en un mecanismo de
seguimiento y derivaron en aspectos susceptibles de mejora, que en su momento fueron
atendidos por los responsables de los programas. Sin embargo, por el diseño del propio
mecanismo de seguimiento y la naturaleza de los problemas que les dieron origen, algunos
hallazgos y recomendaciones importantes pueden seguir siendo vigentes a la fecha en que se
realiza la presente metaevaluación. Cuando esto ocurra, a juicio del metaevaluador, dichos
hallazgos y recomendaciones se retomarán en el análisis FODA de la sección 3.4.
3.1.1 Evaluación de Consistencia y Resultados (ECR 2007)
El objetivo de la Evaluación consistió en analizar los siguientes aspectos del PASL: Diseño,
Planeación Estratégica, Cobertura y Focalización, Operación, Percepción de la Población Objetivo y
sus principales resultados; además incluye el análisis de las principales fortalezas retos y
recomendaciones de cada tema evaluado, así como las conclusiones de la evaluación.
La evaluación se realizó mediante el análisis de información documental del Programa con base en
los Términos de Referencia para la Evaluación de Consistencia y Resultados 2007 del PASL
emitidos por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL).
Adicionalmente, y con el propósito de profundizar el análisis documental, el grupo evaluador
reporta que llevaron a cabo reuniones de trabajo con los operadores del programa.
Para la evaluación se utilizó la Metodología de Marco Lógico, propuesta por el CONEVAL, y las
directrices generales para avanzar hacia el Presupuesto Basado en Resultados y el Sistema de
Evaluación del Desempeño, de la Secretaría de Hacienda y Crédito Público, orientada a evaluar la
gestión de los programas públicos en función de sus resultados, desde la perspectiva de los
beneficiarios; dicha metodología permitió articular de forma sistemática los objetivos, metas y
resultados del PASL.La evaluación fue realizada por Beta KorosiConsultoría.
13
Diseño:
•
El Problema está correcta y claramente identificado y definido, además existe un
diagnóstico actualizado y adecuado.
•
El Programa está alineado a los objetivos del Plan Sectorial de Desarrollo Social (PSDS)y al
Plan Nacional de Desarrollo (PND). La población potencial no está definida en las
ROP2007, pero sí la objetivo.
•
En materia de monitoreo, el fin y propósito están claramente definidos, y corresponden
con el problema.
•
Las lógicas vertical y horizontal de la MIRson claras y válidas.
•
Todos los indicadores son claros, relevantes, económicos, adecuados y monitoreables.
Planeación estratégica:
• El Programa tiene programas anuales, pero no planeación de mediano y largo plazo.
• Tiene indicadores y metas anuales, así como estrategias, políticas y programas de trabajo
detallados, no para mediano y largo plazo.
Cobertura y focalización:
•
No existe un método para cuantificar la población potencial;la objetivo es cuantificada
como la meta de beneficiarios del PASL.
•
El PASLno tiene una estrategia de cobertura de mediano y largo plazo, ya que ésta no
tiene planeación estratégica.
Operación:
•
El Programa cuenta con instrumentos para medir la satisfacción de los beneficiarios.
•
La percepción sobre el programa es de un alto grado de satisfacción.
Resultados:
• El PASLreporta información a nivel de Propósito y de Fin.
• Tiene indicadores propios, para los cuales recolecta regularmente información veraz y
oportuna.
• En el 2002 se realizó una evaluación de resultados, en 2004 y 2006, se realizaron
evaluaciones de impacto.
• Los principales impactos se reportan en la fundamentación técnica del Programa, el estado
nutricional de los niños, la efectividad de los micronutrimentos sobre la prevalencia de
anemia, la deficiencia de micronutrimentos y el desarrollo neuroconductual de los
beneficiarios.
14
3.1.2 Evaluación Específica de Desempeño (EED 2008)
Esta evaluación fue realizada por el Instituto Nacional de Salud Pública (INSP) dirigida por
Bernardo Hernández Prado y tiene como objetivo la valoración general de los indicadores,
evolución de la cobertura y seguimiento a los aspectos de mejora.
El programa calcula indicadores estratégicos, de los cuales 3 de 5 se encuentran por arriba de la
meta propuesta y que son:
•
Porcentaje de hogares beneficiarios del PASL en relación a los hogares objetivo.
•
Consumo promedio de mililitros por día de los beneficiarios Liconsa vs. la recomendación
de la OMS.
•
Margen de ahorro de las familias beneficiarias del programa.
Los 2 indicadores restantes se empezaron medir en 2008, año de la evaluación, y que a
continuación se mencionan:
•
•
Prevalencia de desnutrición en niños (baja talla para la edad).
Porcentaje de hogares beneficiarios del PASL en relación a los hogares objetivo.
Respecto a los 5 indicadores de gestión que calcula el programa, todos superaron la meta
establecida. Los indicadores son:
•
•
•
•
•
Porcentaje de cumplimiento del programa de Producción
Porcentaje de cumplimiento de hierro en leche fortificada Liconsa
Porcentaje del cumplimiento de ácido fólico en leche fortificada Liconsa
Porcentaje de cumplimiento del programa de Distribución
Costo de fabricación por litro producido del PASL
Se reportan los principales resultados de evaluación de impacto de 2004 y 2009, evaluación de
consistencia y resultados 2007, y evaluaciones externas de resultados 2005 y 2006. En caso de
querer profundizar se recomienda ver las fichas correspondientes de las evaluaciones. La
valoración general que hacen los evaluadores:
•
El Programa tiene una diversidad de evaluaciones que en conjunto documentan una
buena operación, un diseño adecuado y efectos positivos.
•
Los indicadores estratégicos y de gestión son pertinentes y relevantes, y permiten
conocer los resultados del Programa en relación con su propósito y fin.
15
3.1.3 Evaluación de Impacto (EI 2009)
El objetivo general de la evaluación fue conocer el impacto diferencial de la intervención temprana
en comparación con la intervención tardía con leche fortificada LICONSA sobre indicadores
funcionales de ganancia en capital humano: desarrollo intelectual, desempeño escolar,
crecimiento físico y composición corporal (masa muscular y grasa) y verificar que la prevalencia de
anemia y de deficiencias de hierro se mantienen controladas, en niños que tenían entre 12 y 30
meses de edad al inicio de la intervención en 2003.
Se plantearon los siguientes objetivos específicos:
•
Verificar la efectividad de la leche Liconsa fortificada para mantener baja la prevalencia
de anemia y la deficiencia de hierro.
•
Comparar el efecto de la introducción temprana de la leche Liconsa fortificada para
mejorar el desarrollo intelectual y el rendimiento escolar.
•
Evaluar el efecto de la leche Liconsa fortificada sobre el desarrollo de sobrepeso y
obesidad en los niños beneficiarios.
•
Evaluar el efecto de la leche Liconsa fortificada para mantener las ganancias de talla y
masa muscular obtenidas previamente.
La hipótesis a demostrar es que la leche LICONSA fortificada con múltiples micronutrimentos,
tendría una mayor efectividad para disminuir la prevalencia de talla baja, deficiencia de zinc,
mejorar el desarrollo intelectual y el rendimiento escolar y el crecimiento en masa libre degrasa
que la leche no fortificada.
Metodología utilizada:
Se conformaron tres grupos:
•
Aquellos que reciben leche fortificada Liconsa desde 2003 y que al inicio de la
intervención tenían entre 12 y 30 meses de edad.
•
El segundo grupo conformado por niños de la misma edad, sin embargo, durante el
primer año de intervención recibieron leche sin fortificar y es a partir del 2004 que
consumen leche fortificada y
•
Un tercer grupo que se incorporó a partir de 2005 después de la aleatorización y que
nunca ha recibido leche fortificada.
Las variables de desenlace fueron las mismas para los tres grupos de tratamiento y están
agrupadas en los siguientes tres componentes:
•
A.1 Evaluación del estado nutricio de zinc y de hierro, micronutrientes adicionados a la
leche LICONSA fortificada.
•
A.2 Comparación del impacto sobre el desarrollo intelectual: Inteligencia, Adquisición de
lenguaje, Desempeño escolar, Asistencia, Calificaciones, Evaluación del maestro.
16
•
A.3 Comparación del crecimiento en peso, talla y composición corporal, a fin de evaluar si
el consumo adicional de energía contenida en la leche influye sobre el desarrollo de
sobrepeso en los niños.
Debido a que es la primera vez que se miden las variables de inteligencia y desempeño escolar, el
diseño es transversal. Sin embargo, mantener los dos grupos experimentales permite evaluar la
oportunidad de la intervención no solamente la efectividad
•
El grupo de control es comparable con los otros dos grupos experimentales ya que en la
evaluación de 2005 se demostró que no había diferencias socioeconómicas entre ellos.
Sin embargo, se debe reconocer que fue incorporado después de la aleatorización, por lo
cual su comparabilidad podría ser discutible.
•
Las variables utilizadas fueron distribución y consumo promedio de leche, información
socioeconómica, anemia, estado de hierro, rendimiento escolar y desarrollo intelectual,
estado de nutrición, composición corporal y morbilidad.
•
La cobertura para los grupos de intervención estuvieron por arriba del 90% con excepción
de la muestra de sangre (la de menor participación), de 87.1%.
•
El 40.5% del total de los niños estudiados informaron ser beneficiarios del programa
LICONSA. Cerca de la mitad de los niños de los grupos de intervención completa (49.8%) y
cruzada (58.3%) continuaban siendo beneficiarios del programa. Cabe resaltar que el
8.6% de los niños del grupo control pasaron también a ser beneficiarios.
•
El 53.8% del grupo de intervención completa tomaron leche Liconsa,el de intervención
cruzada 58.3% y sólo el 18.1% del grupo de control.
Para la conformación de los índices de agrupamiento en componentes principales se consideró el
piso firme en viviendas, techo de mampostería, cerca de la mitad tenia agua entubada
domiciliaria. Entre las posesiones, hogares contaban con televisión y refrigerador, vehículo
automotor y computadora entre otros. Las diferencias entre los grupos eran mínimas. Estas
características corresponden a comunidades semiurbanas o urbanas marginales con un nivel de
pobreza que podría calificarse como pobreza de recursos. Aproximadamente el 78% de las familias
de los tres grupos refirieron gastar entre cuatrocientos y mil pesos mensuales en
alimentación,estos datos sugieren que:
•
Los grupos de comparación tenían las mismas posibilidades o dificultades para cubrir los
costos de la adquisición de la leche distribuida por el programa de Liconsa.
Valoración técnica:
La metodología aplicada en la evaluación se considera pertinente, dados los objetivos de la misma.
Si bien existen otras metodologías para la medición de impactos que implican requerimientos de
información muy diversas así como grados de robustez distintos, los modelos especificados son
17
utilizados ampliamente en la literatura, por ejemplo, para la construcción del índice de nivel socioeconómico se aplicaron “Componentes Principales” que es una metodología estadística de síntesis
de información o reducción de la dimensión. Esta técnica es utilizada por el CONEVAL para la
formación del índice de rezago social y CONAPO para calcular el índice de marginación.
Asimismo, se estimó unaregresión lineal y logística para estudiar adecuadamente las asociaciones
de las variables de estudio. Los errores de cada regresión se comportaron como lo menciona la
teoría, con distribución normal y varianza cero.
Principales resultados:
•
El grupo de intervención completa tiene prevalencia de anemia de 5.6% respecto a su
total;el de intervención cruzada, de 15.5%, y el grupo que no consume leche, de 9.7%.
•
No existen diferencias significativas en el rendimiento escolar entre los tres grupos de
intervención, tanto para primaria como para prescolar. Sin embargo, para los
evaluadores, esto puede ser consecuencia de conveniencias académico administrativas
que ocurren en el sistema escolar.
•
La prevalencia de talla baja fue de 4.3% en global. El grupo de intervención completa
3.8%;grupo de intervención cruzada 3.6%, y para el grupo de control 5.9%.
•
La prevalencia de enfermedades diarreicas por grupo de tratamiento fue mayor en los
niños del grupo de control (11.3%), en comparación con los niños del grupo de
intervención completa y cruzada (6.4% y 5.7%, respectivamente).
•
En los grupos de intervención completa y cruzada, se observó una asociación positiva
entre obesidad y altos consumos de leche.
Principales fortalezas:
•
La fortificación de la leche Liconsa mostró su efectividad para el desarrollo mental y
futuro desempeño de los niños, así como, los efectos que tiene su consumo en las edades
críticas de 12-24 meses sobre la adquisición de habilidades y competencias que
comienzan a ser evidentes durante los inicios de la etapa escolar.
•
Los niños que consumieron la leche fortificada tuvieron una menor prevalencia de peso
bajo y talla baja (desmedro), la talla alcanzada a 5 años de intervención fue de al menos 2
cm mayor en los niños que no han consumido leche fortificada.
•
En conclusión, se puede afirmar que el consumo de leche fortificada ayuda a mejorar el
desarrollo intelectual, apoya el crecimiento de los niños y previene y controla la anemia.
El capital humano ganado no deja duda que la relación costo/beneficio es muy alta.
18
Principales debilidades:
•
La falta de hierro en la dieta hace más proclive a los niños a la anemia, lo que está
asociado con mayor prevalencia de infecciones agudas y menor capacidad para el trabajo
físico. Por ello, la ventana de oportunidad para la realización de intervenciones para la
prevención, control y tratamiento de la anemia por deficiencia de hierro es en los niños
menores de dos años. En edades más tardías sus secuelas son irreversibles.
•
De no realizarse una intervención temprana, el desarrollo intelectual y cognitivo de los
niños se encontraría seriamente dañado, para lo cual no existe una solución de futuro.
Recomendaciones:
•
Diferentes expertos sugieren que el consumo de leche fortificada puede producir
obesidad, para ello se sugiere la realización de un estudio que descarte o corrobore que
debido a que el programa de Liconsa mejora su disponibilidad a nivel de los hogares, se
asocia con un incremento en las tasas de sobrepeso y obesidad.
3.1.4 Evaluación Específica de Desempeño (EED 2009-2010)
Esta evaluación fue realizada por el Centro de Estudios Económicos y Sociales en Salud, Hospital
Infantil de México Federico Gómez, coordinada por Evelyne Eugenia Rodríguez Ortega. La
evaluación tiene como objetivo la valoración general de los indicadores, evolución de la cobertura
y seguimiento a los aspectos de mejora.
Se mencionan 3 indicadores de resultados, los cuales se encuentran por arriba de la meta.
Los indicadores son:
•
Margen de ahorro de las familias beneficiarias del programa.
•
Número de hogares beneficiarios
•
Número de beneficiarios del Programa
Se midieron 3 indicadores de servicio y gestión y todos superaron la meta programada. Ellos son:
•
•
•
Costo por litro distribuido
Porcentaje de cumplimiento del Programa de distribución
Costo de fabricación por litro producido del Programa de Abasto Social de Leche
Asimismo, se reportan los principales resultados de evaluación de impacto de 2004 y 2009, y los
resultados de evaluación de consistencia y resultados 2005 y 2007, evaluación externa 2006,
Reglas de Operación 2009, y MIR2009 y 2010. En caso de querer profundizar en los resultados de
algunas de las presentes evaluaciones ver la ficha correspondiente.
19
3.1.5 Evaluación Específica de Desempeño (EED 2010-2011)
Esta evaluación fue realizada por el Centro de Estudios Económicos y Sociales en Salud, Hospital
Infantil de México Federico Gómez, coordinada por Evelyne Eugenia Rodríguez Ortega. La
evaluación tiene como objetivo la valoración general de los indicadores, evolución de la cobertura
y seguimiento a los aspectos de mejora.
Se reporta los indicadores de resultados:
•
Porcentaje de cobertura de los hogares objetivo, se encuentra por arriba de la meta pero
por abajo deloreportado el año anterior
•
Margen de ahorro de las familias beneficiarias delprograma superó la meta del programa.
Indicadores de servicio y gestión:
Se mencionan 5 indicadores de gestión, de los cuales 3 superaron la meta planteada y que son:
•
Promedio de litros distribuidos por beneficiario al mes
•
Porcentaje de beneficiarios niñas y niños menores de 5 años
•
Costo integrado por litro de leche
De los indicadores de gestión y que no rebasaron la meta son:
•
Número de beneficiarios atendidos del Programa de Abasto Social
•
Promedio de litros distribuidos por beneficiario al mes
Además, se reportan los principales resultados de evaluación de impacto de 2004 y 2006.Se
reportan resultados de evaluación de consistencia y resultados 2007, Reglas de Operación 2010 y
2011, si se requiere profundizar es necesario ver las fichas correspondientes.
3.1.6 Evaluación de Consistencia y Resultados (ECR 2011-2012)
La evaluación se desarrolló mediante un trabajo de gabinete, la correspondiente Matriz de Marco
Lógico. El análisis de la información se complementó con entrevistas a funcionarios de Liconsa S.A.
de C.V. Los temas que se abordan fueron: análisis de la justificación de la creación y diseño del
Programa; análisis de la población potencial y objetivo; análisis de la matriz de indicadores para
resultados; análisis de posibles complementariedades y coincidencias con otros programas
federales; instrumentos de planeación; orientación hacia resultados y esquemas o procesos de
evaluación; generación de información; análisis de los procesos establecidos en las Reglas de
Operación (ROP) o normatividad aplicable; mejora y simplificación regulatoria; organización y
gestión; eficiencia y economía operativa del Programa; sistematización de la información;
cumplimiento y avance en los indicadores de gestión y productos; rendición de cuentas y
transparencia; percepción de la población atendida, y medición de resultados. Además, el
evaluador incluyó una propuesta preliminar de MIR.La evaluación fue realizada por la Universidad
Intercultural del Estado de México (UIEM), siendo el coordinador técnico el Dr. Ívico Ahumada
Lobo.
20
Diseño:
•
El problema está correcta y claramente identificado y definido; existe un diagnóstico
actualizado y adecuado.
•
El Fin y Propósito están claramente definidos y corresponden con el problema.
•
El programa está alineado a los objetivos del PND, pero el logro del propósito en los
términos de su indicador no aporta al cumplimiento de las metas del programa sectorial.
•
Las lógicas vertical y horizontal de la MIR son claras y válidas.Todos los indicadores son
claros, relevantes, económicos, adecuados y monitoreables.
•
La población potencial está claramente definida: los hogares en condición de pobreza
patrimonial con al menos un miembro que pertenece a uno de los siguientes grupos de
población: niños y niñas entre 0 y 12 años, mujeres de 13 a 15 años, mujeres
embarazadas y en período de lactancia, mujeres posmenopáusicas, adultos de 60 años o
mayores, así como personas con discapacidad y enfermos crónicos.
•
La población objetivo está claramente definida: hogares en condiciones de pobreza
patrimonial que tienen al menos un miembro en los grupos que focaliza el PASLy que no
son beneficiarios del Programa de Desarrollo Humano Oportunidades.
Planeación Estratégica:
•
Tiene planeación institucionalizada, la cual va de acuerdo al periodo de gobierno, por lo
que no tiene de largo plazo.
•
Tiene indicadores y metas anuales, así como estrategias, políticas y programas de trabajo
detallados.
Cobertura y focalización:
•
EL PASL no tiene una estrategia de cobertura para atender a su población objetivo, tiene
un Sistema automatizado que utiliza un algoritmo de selección para procesar la
información del RI (Registro de Información) para identificar a su población objetivo.
Año
Población potencial
(personas)
2008
ND
2009
ND
2010
32,793,492
2011
ND
Fuente: ECR (2011-2012)
Población objetivo
(hogares)
6,201,059
6,001,382
10,249,819
3,008,700
Población atendida
(hogares)
6,030,725
6,070,933
6,047,405
3,056,366
21
Operación:
•
El Programa tiene procedimientos adecuados para seleccionar a los beneficiarios.
Además, cumple con los criterios de elegibilidad de las ROP.
Percepción de la población objetivo:
•
El PASL cuenta con instrumentos para medir la satisfacción de los beneficiarios.La
percepción sobre el Programa es de un alto grado de satisfacción.
Resultados:
•
El Programa documenta sus resultados a nivel de Propósito con los indicadores de la MIR.
•
Reporta información a nivel de Propósito y Fin.
•
Cuenta con indicadores propios, para los cuales recolecta regularmente información veraz
y oportuna.
•
Se reportan los principales resultados de evaluaciones de impacto 2004, 2006 y 2009; y
de resultados 2006 realizada por el ITESM. Para consultar los resultados de dichas
evaluaciones ver las fichas correspondientes.
3.2
Análisis de evaluaciones de resultados o de impacto en el ámbito nacional o internacional
de programas similares
3.2.1 Desayunos en escuelas primarias rurales, Jamaica.
Nombre de la evaluación:
Nutrition and education: a randomized trial of the effects of breakfast in rural primary school
children. 1998.
Objetivos de la evaluación:
•
Determinar el efecto de proveer un desayuno escolar sobre la asistencia escolar, estado
nutricional y logro educativo en aritmética, ortografía y lectura; si el estado nutricional o
la edad del niño modifican el efecto; y si el niño gastó menos dinero en la escuela si se le
daba el desayuno.
•
Cabe señalar que en este caso no se trata de la evaluación de un programa, sino de un
experimento desarrollado en escuelas rurales de Jamaica para valorar los posibles efectos
de los desayunos escolares en la nutrición y la educación.
Características similares o tipos de apoyo que entrega el programa:
•
Se otorgó un desayuno a niños de entre segundo y quinto grado de primaria que incluye
un sándwich de queso o un pan y leche saborizada equivalentes a entre 576 y 703
kilocalorías y 27.1 gramos de proteína. Al grupo de control se le dio un cuarto naranja que
sirvió como placebo ya que provee 18 kilocalorías y 0.4 gramos de proteína.
•
Todas las comidas se sirvieron antes de empezar clases en todos los días de escuela en
cuartos o en momentos distintos.
22
Metodología utilizada:
El experimento se llevó acabo en una zona rural montañosa de Jamaica poblada con familias
pobres y cuyas escuelas estaban lejanas de sus hogares. Se escogieron 16 escuelas primarias y se
pesó y se registró la edad de todos los niños de segundo a quinto de primaria.
Se seleccionaron 407 niños cuyo peso para la edad estaba igual o por debajo de una desviación
estándar de las Estadísticas del Centro Nacional de Salud. Se escogió un grupo de control
compuesto por 407 niños con un rango de edad de más-menos 3 meses, del mismo sexo, escuela y
clase, pero con pesos para la edad igual o mayor a una desviación estándar de la misma referencia.
Se excluyeron niños que estaban repitiendo el año escolar. Se utilizó la Prueba de Amplio Rango
de Logro Educativo que evalúa lectura, ortografía y aritmética. La asistencia escolar se recopiló a
partir de los registros escolares. Se les administró un cuestionario para conocer su estatus
socioeconómico (calidad de la vivienda y número de posesiones), la cantidad de dinero que
llevaban a la escuela y el tipo de desayuno que habían comido en casa el día de la entrevista. Se les
tomó medidas de su peso y altura para la edad tomando como referencia el puntaje Z de las
Estadísticas del Centro Nacional de Salud, así como el índice de masa corporal.
Se les asignó de manera aleatoria a grupos con desayuno y de control. Estas medidas se volvieron
a tomar al final del año escolar. Se utilizaron regresiones múltiples controlando por las mediciones
iniciales de los niños, edad, sexo y grupo nutricional. El puntaje de la casa se introdujo paso a paso
para controlar por posibles efectos del estado socioeconómico, así como efectos de interacción
entre la edad, sexo, estado nutricional y estado socioeconómico y el grupo de tratamiento. Se
hicieron regresiones separadas para la estatura, peso e índice de masa corporal.
Resultados:
El estado nutricio original del niño no estuvo relacionado al cambio en su logro académico. Hubo
un beneficio significativo del desayuno en el logro educativo en aritmética y la interacción entre
tratamiento y grado escolar señala que este beneficio se observó principalmente en los niños más
jóvenes (segundo y tercer año). No hubo resultados significativos en lectura y ortografía. Los niños
que recibieron el desayuno tuvieron más asistencia a la escuela de manera significativa.
Adicionalmente, también mejoraron de manera significativa su peso, estatura e índice de masa
corporal. Los niños en el grupo de tratamiento incrementaron 0.25 centímetros en promedio su
estatura en los ocho meses que duró el periodo de intervención, equivalente a un mes de
crecimiento para niños en este rango de edad considerando la estadística de referencia.
Puede afirmarse que de continuar el tratamiento durante toda la primaria crecerían 2.4
centímetros adicionales, lo que equivale a un tercio de la desviación estándar de la estatura para
la edad de un niño de 11 años. El incremento en peso fue equivalente a entre dos y tres meses en
relación a la población de referencia. No hubo efectos significativos del desayuno en la cantidad
de dinero que el niño lleva a la escuela (transferencia de ingreso de la familia). Tampoco hubo una
diferencia significativa en la historia de desayunos antes y después del programa.
23
Valoración técnica:
En general, el diseño metodológico de dobles diferencias es adecuado y consistente con el tipo de
evaluación realizada debido a que se contó con una línea base de las características
socioeconómicas de los hogares de los niños y de sus medidas antropométricas, así como con un
grupo de control. La validez interna del estudio es alta debido al diseño experimental aleatorio y a
que se minimizaron las diferencias entre el grupo de tratamiento y de control al conseguir que los
niños pertenecieran a la misma escuela, y tuvieran medidas antropométricas basales, edad, sexo,
grupo nutricional y características socioeconómicas similares. Si bien el cuarto de naranja que se le
otorgó al grupo de control no es un placebo verdadero, la diferencia en el aporte nutricional
respecto al sándwich y al vaso de leche es lo suficientemente amplia como para poder adjudicar
los resultados al efecto del tratamiento. Una ventaja adicional del estudio es que duró un año, por
lo que, de acuerdo a sus propios autores, se trató de la primera prueba aleatoria y controlada de
largo plazo para medir el efecto de los desayunos escolares.Sin embargo, dado que no se utilizó un
muestreo probabilístico, la validez externa del estudio es baja, es decir, no es posible generalizar
sus resultados a una población.
Conclusiones y recomendaciones del evaluador:
Los niños que recibieron los desayunos mostraron mejoras pequeñas, pero estadísticamente
significativas en la asistencia escolar, así como en su estado nutricional, en comparación a los del
grupo de control. Los niños más pequeños (de segundo y tercer grados de primaria) mejoraron sus
resultados en aritmética, equivalentes a un 30% del progreso anual promedio. Dado que los niños
que asisten a escuelas en mejores condiciones, tienen resultados superiores, es de esperar que
este resultado, en conjunción con una mejora en las condiciones de las escuelas, pudiera ser
mayor. Adicionalmente, el efecto positivo en los resultados en aritmética pudiera también
incrementarse como resultado del incremento en la asistencia escolar.
Por otra parte, los niños reportaron que continuaron tomando sus desayunos habituales en casa y
trayendo la misma cantidad de dinero, por lo que el desayuno no constituye una transferencia de
ingreso.
Los autores recomendaron focalizar los apoyos en los niños desnutridos con comidas escolares
donde los recursos son tan limitados que no sean suficientes para alimentar a todos los niños. Los
niños más jóvenes son los que se benefician más de las comidas escolares y también pueden ser
considerados como población objetivo.Asimismo, recomiendan la adopción de intervenciones
integrales que incluyan componentes en salud, nutrición y educación para que se maximicen los
retornos a la inversión.
Observaciones generales y recomendaciones del metaevaluador:
24
El estudio de Jamaica destaca el papel positivo que pueden jugar los desayunos escolares y en
general los apoyos alimentarios en especie, en el desarrollo físico y cognitivo de los niños rurales
de escasos ingresos, a pesar de no estar fortificados. Esto se ha confirmado en una amplia serie de
estudios internacionales. Por lo tanto, se esperaría que los efectos fueran mayores y más diversos
si los desayunos incluyeran alimentos fortificados con micronutrientes, como la leche Liconsa.
Así, se recomienda a Liconsa y SEDESOL explorar las posibles sinergias, complementariedades y
ventajas de especialización entre el conjunto de programas alimentarios federales, así como entre
estos y los de desayunos escolares a cargo de los gobiernos estatales, particularmente en las
localidades rurales con alta concentración de desnutrición y pobreza.
Vínculo:
http://ajcn.nutrition.org/content/6n8/4/873.full.pdf
3.2.2 Vaso de Leche, Perú
Nombre de la Evaluación:
Programas de transferencia de alimentos: Análisis empírico de la efectividad del programa de Vaso
de Leche, Perú. 2004
Objetivo de la evaluación:
Realizar una evaluación del impacto del programa sobre el nivel nutricional de sus beneficiarios,
así como la focalización del gasto.
Características similares o tipos de apoyo que entrega el programa:
•
La población objetivo del programa son, en primer lugar, los niños de 0 a 6 años, mujeres
embarazadas y madres en periodo de lactancia y posteriormente, niños de entre 7 y 13
años, adultos mayores y personas con tuberculosis.
•
El producto a distribuir por el programa del Vaso de Leche debe tener al menos 90% de
insumos nacionales y puede ser leche en cualquier forma y/o productos lácteos
enriquecidos y/o sustitutos lácteos como la quinua, cebada, arroz, soya, etc. La ley que
enmarca el funcionamiento del programa del Vaso de Leche señala que los productos a
distribuir por el Programa deben ser siempre preparados por los Comités de Madres del
Vaso de Leche (CMVL).
•
Sin embargo, la realidad muestra que la entrega del producto depende de las
características locales, ya sea por distancia al centro de entrega del producto (por lo
general, local del CMVL) o por falta de infraestructura adecuada, el producto puede ser
entregado preparado o sin preparar.
Metodología utilizada:
25
Se utilizó como variable dependiente para medir el nivel nutricional el puntaje Z antropométrico
que estandariza la medición de la talla para la edad, utilizando como referencia las estadísticas del
UnitedStatesNational Center of HealthStatistics. Las variables independientes fueron las
características de los niños (sexo, edad y orden de nacimiento), las características de la madre
(lengua materna y educación), las características del hogar (hacinamiento, material de la vivienda
y activos del hogar), la localización (urbana y rural) y el dominio geográfico.
Para evitar sesgos de autoselección, dado el carácter de inscripción voluntaria al programa, se
introdujo el monto promedio gastado por distrito en los años de 1995 a 1997 y de 1998 a 2000. El
modelo se estimó con base en las variables instrumentales, utilizando como instrumento
identificador el porcentaje de la población con al menos una necesidad básica insatisfecha a nivel
distrital, a partir de la información del censo de 1993.A la ecuación instrumental se le permitió
variar en el tiempo con una dummy aditiva, que capture cambios en el intercepto, y con dummies
multiplicativas, que capturen cambios en los parámetros entre periodos. Las bases de datos que se
usaron para las estimaciones son de la Encuesta Nacional de Niveles de Vida de los años 1997 y
2000, y únicamente se utilizó la información perteneciente a los niños menores de cinco años. Se
incluyeron variables dicotómicas para identificar a las regiones para las cuales la encuesta permite
realizar inferencias.
Resultados:
La mayor parte de beneficiarios pertenecen a las categorías de pobre y pobre extremo (40% y 33%
respectivamente), aunque existe un considerable porcentaje de beneficiarios cuyo nivel de gasto
no se encuentra bajo la línea de bienestar, y que constituyen una filtración en la población
objetivo del Programa (27%). El grupo de adultos mayores de 70 años tiene un 43% de
beneficiarios no pobres que constituyen el grupo de población objetivo con mayor nivel de
filtración. El grupo objetivo prioritario (menores de 6 años), por su parte, muestra un 19% de
filtraciones.
El programa Vaso de Leche no tiene un efecto positivo y significativo en el nivel nutricional de los
menores de edad. Incluso, en los lugares donde las transferencias per cápita del programa son
más altas, se observan peores resultados nutricionales que los que se esperarían considerando los
demás predictores.
Presenta serios problemas de filtraciones ya que atiende a un gran número de población que no
pertenece a las categorías de pobre o pobre extremo. Además, el programa presenta problemas
de subcobertura, lo que implica que el gasto del Estado orientado a los más pobres no llega
efectivamente a ellos.
Valoración técnica:
En general el diseño metodológico es adecuado y consistente con el tipo de evaluación realizada,
aunque subsisten algunos inconvenientes. En particular, la validez interna de la evaluación es baja
ya que no se descartan hipótesis alternativas que pudieran explicar los resultados obtenidos. Por
ejemplo, la ausencia de un efecto positivo y significativo en el nivel nutricional de los menores de
edad puede deberse también a que existen variables no observadas que expliquen el resultado
26
nutricional (enfermedades, vacunas, nivel nutricional de la madre) y que no pudieron ser incluidas
en el modelo debido a que las encuestas utilizadas no las capturaron.
Conclusiones y recomendaciones del evaluador:
Se recomienda la realización de un estudio más amplio y con el objetivo explícito de evaluar el
impacto del programa sobre el nivel nutricional, que complemente los hallazgos realizados hasta
este momento y que permita a las instancias adecuadas tomar las medidas correctivas que
permitan que el gasto del Estado llegue efectivamente a quienes más lo necesiten y que se mejore
el nivel nutricional de los niños en situación de pobreza.
Observaciones generales y recomendaciones del metaevaluador:
El resultado de que el programa VL no demuestra ser efectivo, puede deberse a dos factores
básicos: que la dotación que se entrega de leche no es suficiente como para tener efectos, y que la
mala focalización del programa genera tanto filtraciones como subcobertura. En el caso del PASL,
el primer problema no parece aplicar, pero sí claramente el segundo, por lo que el programa
podría obtener ganancias sustanciales en términos de impactos con una mejor focalización de los
apoyos, dirigiéndolos hacia las familias con mayor pobreza y riesgo nutricional, así como
ampliando su cobertura hacia las regiones escasamente atendidas y localidades rurales.
La evaluación de Perú sugiere que el impacto de los programas de leche sobre la desnutrición es
menor o nulo cuando existen filtraciones en la cobertura y una focalización inadecuada en
términos de pobreza. Esto puede suceder cuando las poblaciones atendidas son mayoritariamente
no pobres o pobres moderados en lugar de pobres extremos, pues los últimos son quienes tienen
más riegos de padecer desnutrición.
Asimismo, derivado de la dificultad para encontrar las causas de la ausencia de efectos positivos y
significativos, se recomienda incluir reactivos en las encuestas de seguimiento que permitan
descartar hipótesis acerca de otras posibles explicaciones con el fin de incrementar la validez
interna de las evaluaciones de impacto del PASL, particularmente en lo que se refiere a vacunas,
enfermedades, estado nutricio de la madre, entre otras.
Vínculo:
http://www.google.com.mx/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&ved=0CCIQF
jAA&url=http%3A%2F%2Feconweb.tamu.edu%2Fccancho%2FFiles%2FResearch%2FCancho%2520
Novella%2520(2004)%2520VL.doc&ei=9l5oUOuoC6nW2gXL34HwAw&usg=AFQjCNFkcT33SnbOIRd
8fbFhUkIf-x03dQ
27
3.3 Agenda de evaluación para el período 2013-2018
En esta sección se propone una agenda de evaluación para el periodo 2013-2018, incorporando
una justificación técnica y empírica sobre la importancia que cada ejercicio tendría para el
programa, con base en los principales resultados de las evaluaciones en el periodo 2007-2012 y el
análisis de la información proporcionada. Se señalan también los periodos de ejecución y el orden
en el que se deberán ir implementando cada una de las evaluaciones consideradas. Como
referencia general para elaborar la agenda, se tomaron los Lineamientos generales para la
evaluación de los programas federales de la Administración Pública Federal, publicados en el
Diario Oficial de la Federación (DOF) el 30 de marzo de 2007. El Anexo 3 facilita una visión
esquemática de la propuesta.
La agenda sugerida empieza con un Diagnóstico y propuestas de atención, a implementarse en el
año 2013. Tiene como propósito identificar, definir y especificar de forma clara y rigurosa la
problemática focal que se pretende resolver a través del programa, así como analizar, valorar y
seleccionar las estrategias y mecanismos de atención que resulten más adecuados. Este estudio
deberá cumplir cabalmente con los criterios y requisitos mínimos establecidos en los Lineamientos
generales para la elaboración de diagnósticos de cuyos resultados se obtienen propuestas de
atención de Programas de Desarrollo Social, publicados el 7 de mayo de 2009, e incorporar
asimismo las metodologías y mejores prácticas en la materia. Los resultados de este ejercicio
pretenden brindar una base sólida de datos, análisis y estrategia para anclar sólidamente el
diseño, la operación y los resultados del programa durante la siguiente administración federal, y
de manera inmediata informar los cambios que se pretendan hacer durante el primer año de la
misma.
En 2013, y por su importancia para este programa, es necesario realizar una Evaluación específica
de cobertura, comercialización y financiamiento, lacual tiene el propósito abordar la discusión
sobre los alcances en la atención que brinda el programa, así como definir la estrategia de
cobertura y focalización más acorde a los tipos de población potencial y objetivo que atiende.
Asimismo, tiene como objetivo evaluar mediante trabajo de gabinete y apoyado en información
proporcionada por el programa, la cobertura efectiva de localidades y poblaciones, los modelos
existentes y alternativos de comercialización y entrega de productos, así como los esquemas de
financiamiento más adecuados para cumplir los objetivos.Lo anterior, con el propósito de que los
hallazgos y recomendaciones puedan retroalimentar la gestión del programa, brindar información
y alternativas útiles para la toma decisiones, y para mejorar la cobertura efectiva y llevar los
apoyos a quienes más los necesitan.
Para el año 2014 se propone una Evaluación de diseño. El ejercicio deberá analizar la justificación
de la creación y diseño del programa, especificar su vinculación con la planeación sectorial y
nacional, valorar la consistencia entre su diseño y la normatividad aplicable, así como identificar
posibles complementariedades y/o coincidencias con otros programas federales. Esta evaluación
deberá proveer información y análisis que retroalimente el diseño conceptual y operativo del
programa, así como los resultados que se deben esperar del mismo. De forma inmediata, se
pretende que sirva para valorar los cambios que se hayan hecho al programa del primer al
segundo año de la gestión, y generar recomendaciones para refinarlos hacia el tercer año.
28
Posteriormente, para 2015 y 2016 se recomienda una Evaluación de impacto, para identificar los
cambios en la situación de la población objetivo del programa que se reflejan a través de los
indicadores de resultados, y que son propiamente atribuibles a su intervención. Conforme a los
estándares en la materia, se deberán utilizar metodologías rigurosas y fuentes de información
confiables con representatividad nacional; para ello, se propone la combinación de enfoques
cuantitativos y cualitativos así como el levamiento de información en campo a través de diversos
instrumentos, los cuales sedescriben a mayor detalle en la sección subsecuente. La evaluación de
impacto propuesta busca estimar en qué medida el programa está alcanzando sus objetivos y qué
condiciones y factores pueden afectan sus logros, de forma tal que el programa pueda consolidar
elementos clave de diseño y operación, o en su caso cambiarlos, para mejorar su efectividad. Por
sus características y complejidad se recomienda que la evaluación comprenda dos años—entre 18
y 24 meses, para ser más precisos—a efecto de poder realizar mediciones basales y de
seguimiento.
En el año 2017 se plantea realizar la Evaluación estratégica de desempeño de los programas
sociales alimentarios y la Evaluación de procesos.
La evaluación estratégica de desempeño se propone con el objetivo de evaluar de forma
comparativa los logros e impactos del PAL, PASL, PAR y PDHO en la carencia de acceso a la
alimentación, identificando los espacios de sinergia, complementariedad y duplicidades, a afecto
de mejorar la articulación de estas iniciativas. Se deberá analizar los objetivos y pertinencia de los
programas con el problema que buscan atender. Asimismo y considerando el Sistema de
Evaluación de Desempeño (SED), evaluar los principales resultados que permitan emitir retos y
recomendaciones de los programas.
Respecto a la Evaluación de procesos, se pretende realizar un análisis sistemático de la operación
del programa mediante trabajo de campo y de gabinete, con la finalidad de conocer cómo sus
procesos—traducidos en sus Componentes, productos o entregables—conducen al logro de los
objetivos y metas a nivel de Propósito. Asimismo, se busca detectar los problemas operativos que
enfrenta el programa y las buenas prácticas que realiza, de manera que se puedan detectar áreas
de oportunidad y emitir las recomendaciones correspondientes. A través de una serie de
preguntas específicas que descomponen la operación y la aplicación de técnicas especializadas
para el mapeo y análisis de procesos, se pretende valorar el funcionamiento y la organización del
programa, permitiendo así conocer los factores que sustentan la implementación y hacer
ejercicios comparativos para la medición y la mejora de su gestión en el tiempo.
Finalmente, para el año 2018 se propone una Evaluación de consistencia y resultados. Este
ejercicio plantea una concatenación lógica de objetivos para analizar los aspectos más importantes
del programa, incluyendo la lógica y congruencia de su diseño, los instrumentos de planeación y
de orientación hacia resultados, la estrategia de cobertura y los avances presentados, los
principales procesos establecidos en las ROP y en la normatividad aplicable, los sistemas de
información y sus mecanismos de rendición de cuentas, los instrumentos para medir el grado de
satisfacción de los beneficiarios y sus resultados, así como los logros respecto a la atención del
29
problema para el que fue creado. El propósito de esta evaluación es contar con una visión integral
y comprensiva de cómo ha sido, qué tan bien ha funcionado y cuáles han sido los logros del
programa al cierre de la administración federal, a manera que la siguiente pueda tener una sólida
base para tomar decisiones informadas.
A continuación se presentan los detalles básicos de cada una de las evaluaciones propuestas, en el
año y secuencia en que corresponden.
3.3.1
2013:Diagnóstico y propuestas de atención
Objetivo:
Fundamentar la permanencia y justificar las eventuales modificaciones sustantivas al programa, a
partir de la identificación del problema que se busca resolver así como la caracterización y análisis
detallado de los aspectos principales del mismo. Así también plantear posibles alternativas de
solución y seleccionar las más apropiada, a efecto de mejorar el diseño, la operación y los
resultados del programa.
Aspectos a evaluar:
•
Identificación del problema
•
Caracterización del problema
•
Experiencias de atención a la problemática
•
Propuesta de diseño
•
Marco de actuación de la propuesta
•
Proyecciones financieras y metas para la solución propuesta
•
Previsiones para integración y operación de padrones
Justificación técnica y/o empírica:
Las deficiencias e inconsistencias importantes reportadas en el Diagnóstico 2010, particularmente
en torno de:
•
•
•
•
La identificación de la línea de bienestar mínimo
la identificación, caracterización y magnitud del problema focal
la definición y cuantificación de la población potencial y objetivo
la definición de la cobertura y focalización
Periodo de ejecución
• 3-4 meses
30
3.3.2
2013:Específica de cobertura, comercialización y financiamiento
Objetivo:
Evaluar mediante trabajo de gabinete y apoyado en información proporcionada por el programa,
la cobertura efectiva de localidades y poblaciones, los modelos existentes y alternativos de
comercialización y entrega de productos, así como los esquemas de financiamiento más
adecuados para cumplir los objetivos.
Lo anterior, con el propósito de que los hallazgos y recomendaciones puedan retroalimentar la
gestión del programa, brindar información y alternativas útiles para la toma decisiones, y para
mejorar la cobertura efectiva y llevar los apoyos a quienes más los necesitan.
Aspectos a evaluar:
• La cobertura efectiva, considerando tanto a las localidades potenciales y objetivos que no
han sido atendidas, como aquellas que siendo atendidas no presentan el problema focal.
• Los modelos existentes y alternativos para la comercialización y entrega de productos, y
particularmente la capacidad para abastecer de bienes alimentos básicos a las localidades
menores de 2,500 habitantes que requieren los apoyos.
• La pertinencia y factibilidad de ampliar el subsidio a los bienes alimentarios que más
consume la población en carencia alimentaria, así como a aquellos de alto contenido
nutricional que pudieran apoyar a los grupos de población en riesgo nutricional.
• Los esquemas de financiamiento del programa adecuados para cumplir con los objetivos,
en una combinación sostenible de recursos fiscales y autogenerados.
Justificación técnica y/o empírica:
• Las inconsistencias en la cobertura a nivel de localidad (errores de focalización tipo I y II,
exclusión e inclusión), que afectan negativamente el aprovechamiento pleno de los
beneficios y el logro de los objetivos del programa.
• Las implicaciones operativas y financieras de disminuir la subcobertura y la sobrecobertura.
• La necesidad de diseñar una estrategia de salida de las localidades atendidas en las que ya
no se presenta el problema focal, así como de contar una estrategia de expansión hacia
localidades no atendidas que sufren desabasto y tienen una alta concentración de
población en riesgo nutricional, carencia de acceso a alimentos e indígena.
Periodo de ejecución.
• 4 a 6 meses
31
3.3.3 2014:Evaluación de Diseño
Objetivo:
Evaluar mediante trabajo de gabinete y apoyado en información proporcionada por el programa,
el diseño del programa. Lo anterior, con el fin de que las recomendaciones puedan retroalimentar
el diseño y mejorar la gestión del programa.
Los objetivos específicos:
• Analizar el diseño del programa.
• Identificar y analizar su vinculación con la planeación sectorial y nacional.
• Analizar la consistencia entre su diseño y la normatividad aplicable.
• Identificar posibles complementariedades y/o coincidencias con otros programas.
Aspectos a evaluar:
• Características del programa
• Contribución a los objetivos estratégicos;
• Matriz de indicadores,
• Población potencial y objetivo;
• Vinculación con las ROP, y
• Coincidencias, complementariedades y duplicidades con otros programas.
Periodo de ejecución.
• 3-4 meses
3.3.4 2015-2016: Evaluación de impacto
Objetivo:
• Se propone realizar levantamiento horizontal entre los programas alimentarios. El objetivo
de la evaluación es identificar con metodologías rigurosas la contribución, atribuible a la
ejecución del programa, en la reducción de la carencia por acceso a la alimentación de la
población objetivo, así como otras variables asociadas (ahorro, consumo, alimentación y
nutrición).
• Levantar información para realizar una evaluación horizontal que permita medir la
contribución de cada programa alimentario del Sector Desarrollo Social, y comparar los
resultados entre ellos.
• Aspectos a evaluar:Prevalencia de desnutrición en niños (baja talla para la edad), mujeres
embarazadas y en lactancia y adultos mayores en localidades con presencia relevante del
programa en comparación con localidades con poca presencia del programa.
• Diferencia en los resultados de las pruebas estandarizadas de desarrollo cognitivo y
lingüístico en los niños de familias beneficiarias, con respecto a la misma variable en los
niños de familias no beneficiarias.
32
•
•
•
•
Diferencia en el consumo promedio de leche por persona de las familias beneficiarias con
ingresos menores a la línea de bienestar, con respecto de la misma variable para las
familias no beneficiarias.
Diferencia en el puntaje Z de niños menores de 12 años de familias beneficiarias, con
respecto de la misma variable para los niños de las familias no beneficiarias.
Diferencia en la prevalencia de anemia de mujeres embarazadas o en lactancia de familias
beneficiarias, con respecto a la misma variable de las mujeres de las familias no
beneficiarias.
Efectos sobre el consumo, gasto y ahorro en leche (hogares)
Justificación técnica y/o empírica.
• En más de 6 años no se han realizado evaluaciones de impacto rigurosas al programa, por
lo que se desconoce en qué medida cumple con los objetivos establecidos.
• El levantamiento de una sola encuesta para los programas alimentarios, permitiría medir la
contribución marginal de cada programa en la reducción de la desnutrición, en lugar de
que cada programa levante su propia encuesta.
Periodo de ejecución:
• 18-24 meses
3.3.5 2017: Evaluación estratégica de desempeño de los programas sociales alimentarios
El objetivo es evaluar de forma comparativa los logros e impactos del PAL, PASL, PAR y PDHO en la
carencia de acceso a la alimentación, identificando los espacios de sinergia, complementariedad y
duplicidades, a afecto de mejorar la articulación de estas iniciativas
Aspectos a evaluar:
• La respuesta gubernamental para atender los principales problemas asociados a la carencia
por acceso de alimentos de la población mexicana.
• La política y programas federales con objetivos de alimentación o nutrición en sus
beneficiarios.
• El vínculo multifactorial entre la disponibilidad, acceso, consumo y aprovechamiento de los
alimentos en ambientes sanos.
• Los impactos marginales de cada programa en la reducción de la carencia de acceso a la
alimentación, considerando variables de consumo, alimentación y nutrición.
Justificación técnica y/o empírica:
• Contar con elementos de análisis sobre los alcances y contribución de cada uno de los
programas de corte alimentario en el logro de los objetivos de la política social, de
alimentación y nutrición.
33
Periodo de ejecución:
• 6 meses
3.3.6 2017: Evaluación de procesos
Objetivo:
Realizar un análisis sistemático, mediante trabajo de campo y de gabinete, sobre la operación del
programa con la finalidad de conocer cómo se conducen al logro de la meta a nivel propósito, así
como detectar los problemas operativos a los que se enfrenta y las buenas prácticas que se
realizan, de manera que se puedan emitir recomendaciones que permitan mejorar su gestión.
Aspectos a evaluar:
• Operación del programa.
• Identificación y clasificación de los procesos.
• Análisis y medición de atributos de los procesos.
• Análisis global de la operación del programa.
Justificación técnica y/o empírica:
• Evaluar si la operación del programa favorece el logro de la metas a nivel de Propósito, ya
que, de existir un diseño adecuado, la correcta operación del programa permitiría el logro
de las metas de cada Componente establecido en la matriz de indicadores del programa y,
por lo tanto, el logro del Propósito.
Periodo de ejecución:
• 6 a 9 meses
3.3.7 2018: Evaluación de consistencia y resultados
Objetivo:
Evaluar mediante trabajo de gabinete y apoyado en información proporcionada por el programa,
la fortaleza del programa en cuanto a su diseño, planeación estratégica, cobertura y focalización,
operación, percepción de la población objetivo y resultados. Lo anterior, con el fin de que las
recomendaciones de este análisis puedan retroalimentar el diseño y la gestión del programa, para
incidir positivamente en su desempeño.
Aspectos a evaluar:
• Diseño
• Planeación Estratégica
• Cobertura y Focalización
• Operación
• Percepción de la Población Objetivo
34
•
Resultados.
Justificación técnica y/o empírica:
• Se considera pertinente analizar el programa de forma global y sistemática, al menos una
vez durante cada administración, a efecto de valorar la consistencia y los resultados del
mismo.
Periodo de ejecución:
• 6 meses
3.4
Análisis de viabilidad y pertinencia para las evaluaciones de impacto
3.4.1 Pertinencia de la evaluación
En primer lugar, algunos de los efectos e impactos deseados del programa son observables sólo en
el largo plazo, y únicamente algunos de ellos han sido cuantificados en evaluaciones previas.
Además, las condiciones propias y de contexto de los hogares beneficiarios y sus miembros
pueden cambiar a lo largo del tiempo; de hecho, se espera que pase por el progreso secular del
país, sus regiones y las localidades, al margen del programa. Ello implica que algunos de los
cambios puedan incidir sobre la significancia y magnitud de los efectos del programa sobre
diversas variables de interés.
Otra razón para impulsar nuevas evaluaciones de impacto radica en los cambios en la referencia
para la población objetivo, que tan sólo en esta administración pasó de la pobreza extrema a la
pobreza alimentaria a lalínea de bienestar mínimo, de acuerdo con las diversas metodologías
aplicables para la medición de la pobreza. Aunque el programa siempre ha tenido su propio vector
de referencia—el sistema de puntaje—es evidente que las condiciones de elegibilidad pueden
tener efectos sobre la composición de los grupos beneficiarios y entonces sobre los eventuales
efectos e impactos promedio a estimar.
Por otro lado, los cambios en el resumen narrativo y los indicadores de la matriz de indicadores de
resultados de 2007 a la fecha, pueden requerir estimaciones que no se hayan realizado
anteriormente. Es decir, es posible que ante cambios en los niveles de Fin y Propósito, las
evaluaciones de impacto previas no reflejen de forma precisa las nuevas variables de interés.
Finalmente, a lo largo de los años se ha dejado de lado la estimación de los efectos e impactos del
programa en relación con otras iniciativas federales y estatales para la formación de capacidades
básicas en los hogares pobres. Esto representa un área de oportunidad muy relevante, tanto en el
sentido de poder estimar los resultados de la actuación conjunta de los programas, como de
comparar el costo-efectividad y las ventajas y desventajas de cada uno de ellos—o al menos de los
principales—en ciertos nichos de población y variables de interés.
35
3.4.2 Aspectos a evaluar
Por principio, se recomienda que los aspectos a evaluar de forma prioritaria sean aquellos que
correspondan con los indicadores a nivel de Fin y Propósito de la matriz de indicadores, para cada
uno de los componentes del programa. De esta forma, se alinea de forma más adecuada el
sistema de monitoreo con el sistema de evaluación, dando consistencia y estabilidad a las
mediciones de desempeño. Por otro lado, se puede tener información sobre el impacto
diferenciado que cada componente aporta al Fin del programa y con ello tomar decisiones de
política pública adecuadas dirigidas a mejorar los resultados deseados.
En el caso del PASL, se recomienda que las evaluaciones de efectos e impactos se lleven a cabo
para los principales tipos de beneficiariosen los que se pueden medir los cambios esperados con
procedimientos de bajo costo. En este caso, se trata de las niñas y niños de 6 meses a 12 años de
edad, las mujeres en periodo de gestación o lactancia, y los adultos de 60 y más años, para los
aspectos asociados a la nutrición, y de los hogares, para lo asociado a aspectos económicos. La
medición se debe hacer con una combinación adecuada de métodos y fuentes de información, y
se sugiere considerar algunos de los siguientes aspectos, que no son exhaustivos sino sólo
indicativos:
•
•
•
•
•
Desarrollo cognitivo (niños menores de 5 años)
Aprendizaje, con pruebas estandarizadas (niños en edad escolar)
Puntaje Z2 de crecimiento (niños menores de 5 años, en diferentes rangos de edad)
Prevalencia de anemia (niños de hasta 12 años, mujeres y gestación o lactancia, y adultos
mayores)
Efectos sobre el consumo, gasto y ahorro en leche (hogares)
Existen diversas pruebas, variables y construcciones metodológicas que se pueden utilizar para
medir los indicadores antes sugeridos. Como ejemplo de buenas prácticas y como referencias
específicas para valorar las diversas alternativas para medir efectos e impactos sobre consumo,
alimentación y nutrición, se sugiere revisar las siguientes evaluaciones:
a) Evaluación del Modelo Integral de Apoyo a la Nutrición y el Neurodesarrollo PALOportunidades 2011. INCMNSZ.
2
Las mediciones antropométricas se usan para evaluar el estado nutricional de individuos y grupos de
población, y sirven como referencia evaluar el impacto de programas de nutrición y ayuda alimentaria. Las
mediciones antropométricas que comúnmente se utilizan en este tipo de programas son índices referidas a
la talla, el peso y la edad, particularmente la talla para la edad (T/E), peso para la edad (P/E), peso para la
talla (P/T) y el índice de masa corporal para la edad (IMC/E). Cada índice se registra como un puntaje Z—
referido en desviaciones estándar—que describe en qué medida y en qué dirección se desvía la medición
antropométrica de un individuo del promedio de su sexo establecido por la OMS en los Patrones de
Crecimiento Infantil de 2006. El puntaje Z de un individuo se pueden utilizar para clasificar su grado de
desnutrición y también se puede calcular una media de puntaje Z para determinar el estado nutricional de
un grupo de población. Con base en lo anterior, se recomienda que durante la etapa de diseño de la
evaluación del programa se decida cuáles de la cuatro índice se utilizarán, o si aplicará el conjunto
completo. Como mínimo, recomienda usar el índice de talla para la edad, que es una referencia muy común
de desnutrición y resulta muy fácil de medir en campo.
36
b) Análisis del impacto de la fortificación de la leche Liconsa con hierro, zinc y otros
micronutrimentos sobre el rendimiento escolar de la población de beneficiarios del
Programa de Abasto Social de Leche a cargo de LICONSA 2009. INSP.
c) Estudio de evaluación de la calidad y el impacto de la harina de maíz enriquecida y
fortificada marca Sedesol-Diconsa 2008. INCMNSZ.
3.4.3 Metodologías y fuentes de información
Para evaluar un programa con el alcance del PASL, es necesario combinar métodos, técnicas y
fuentes de información diversas. Independientemente de las aproximaciones particulares que se
tomen—esto es, cuantitativas y cualitativas, encuestas y entrevistas, levantamientos propios y
datos censales, etc.—la evaluación deberá partir de un diseño de investigación robusto y
adecuado para las variables de interés y los grupos de aplicación, que preferentemente hayan sido
probadas en estudios similares.
La estrategia metodológica propuesta para la evaluación de impacto considera tres elementos
clave: la mezcla de métodos cualitativos y cuantitativos, un enfoque cuasi-experimental a lo largo
del estudio, y la utilización de estudios de caso. Las características y relevancia de estos elementos
de diseño se desarrollan a continuación.
Etapas de una evaluación de impacto
Las mejores prácticas en materia de evaluaciones de impacto (Véase Baker 2000) indican que los
pasos para realizar este tipo de proyectos se pueden agrupar en dos rubros: la preparación de la
evaluación y su implementación. A continuación se presentan los aspectos de cada rubro:
Preparación de la evaluación:
1.
2.
3.
4.
5.
6.
Tomar la decisión sobre la realización del evaluación
Definir los objetivos de la evaluación
Examinar la disponibilidad de datos
Diseñar la evaluación
Formar el equipo de evaluación
Levantar información de campo (en caso de ser necesario)
a. Diseñar y seleccionar la muestra
b. Elaborar instrumentos para recopilar datos
c. Capacitar al personal de trabajo en campo
d. Elaborar pruebas piloto
e. Recopilar la información
f. Administrar datos
37
Implementación de la evaluación:
7. Recopilar datos (ex-post) a la implementación con una periodicidad alineada a las
variables de análisis
8. Analizar los datos
9. Redactar el reporte de resultados y analizarlos con las autoridades y otros interesados
10. Incorporar los resultados en el diseño del evaluación
Cuantitativo y cualitativo
Debido a la cantidad, diversidad y complejidad de los aspectos a estudiar del programa, es
necesario establecer una estrategia metodológica compuesta, con procedimientos de acopio de
información y técnicas analíticas tanto cuantitativas como cualitativas adecuadas para cada uno de
estos aspectos. El propósito es asegurar que se obtengan y examinen apropiadamente todos los
datos requeridos, para lograr resultados válidos, generar conclusiones sólidas y proponer
recomendaciones útiles. Así, el diseño se debe ubicar dentro las evaluaciones de métodos mixtos
(mixed-methodsevaluation), vertiente que consideramos más rica y adecuada para evaluar al
PASL.3 Este tipo de investigación evaluativa permite integrar no sólo aquellos datos y
observaciones cuantitativas comúnmente utilizadas en la evaluación de programas y proyectos
sociales para medir fenómenos relevantes “objetivos” y “regulares”, estimando asimismo su
variabilidad y grado de generalización, sino también para otros datos y observaciones cualitativas
que reflejan percepciones subjetivas y formas de interacción de los actores, que permiten
entender mejor y describir en profundidad dichos fenómenos.4
En la evaluación del PASL, los análisis a partir de datos y técnicas tanto cualitativas como
cuantitativas se deben diseñar con rigor lógico y metodológico buscando maximizar su validez para
hacer inferencias descriptivas y causales en torno de los fenómenos, variables y condiciones que
se busca apreciar y entender. La vertiente cuantitativa resulta más adecuada para observaciones
relativamente abundantes o con “números grandes”, que normalmente se derivan de censos o
encuestas. Por otro lado, la vertiente cualitativa se utiliza para observaciones relativamente
escasas o con “números pequeños”, con datos obtenidos a partir de grupos de enfoque,
entrevistas y observación en sitio, entre otras técnicas. Estas vertientes se encuentran en los
extremos opuestos del compromiso—en el sentido de trade-off—que cualquier investigación con
3
Para un mayor desarrollo sobre las características de las evaluaciones de métodos mixtos, véase:Frechtling, J. (2002)
The 2002 UserFriendlyHandbookfor Project EvaluationPreparedunderContractEn el caso mexicano, entre los ejemplos
más relevantes de este acercamiento metodológico son las evaluaciones recientes del Programa de Desarrollo
Humano Oportunidades, que combinan diversas metodologías y técnicas tanto cuantitativas como cualitativas.
4
Para un mayor desarrollo de sobre las características básicas, utilización y complementación de las metodologías
cuantitativas y cualitativas, véase:Córtes, F., 2000. ‘Algunos aspectos de la controversia entre investigación cualitativa
einvestigación cuantitativa’, Argumentos: estudios críticos de la sociedad, no. 36, Agosto; y King, G., Keohane, R. y
Verba, S., 1994. Designing Social Inquiry. Scientific Inference in Qualitative Research, Princeton University Press,
Princeton.
38
tiempo y recursos limitados se ve obligada a hacer en cuanto a amplitud y profundidad de las
observaciones.
Se recomienda que la vertiente cuantitativa se oriente principalmente hacia la medición y
valoración de las intervenciones y sus efectos, mientras que la cualitativa se utilice para describir
los contextos en que dichas intervenciones y efectos ocurren, así como para entender los
significados que los diversos actores involucrados les otorgan. Sin pretender simplificar
excesivamente sus diferencias, es evidente que la evaluación necesita contar con ambas
perspectivas para cumplir con su fin de ser útil para la toma de decisiones y la mejora del
programa.
Se pretende que las metodologías cuantitativas y cualitativas no sólo se complementen
funcionalmente hablando—en el sentido de que lo que no se hiciera o lograra con unas se
consiguiera con las otras—sino que además se integraran—en el sentido de que lo que se logre o
consiga con unas sirva para informar, extender y refinar lo obtenido a través de las otras. Dicha
complementación e integración se debe hacer de manera formal y explícita tanto en los estudios
de caso como en los modelos estadísticos.
Enfoque cuasi-experimental
Con el enfoque cuasi-experimental no sólo se estiman y aprecian los valores de las variables de
interés asociados a la intervención del programa, sino también de la comparación con los valores
que se hubieran dado en ausencia de la misma—esto es, el escenario contrafactual. La intención
es identificar y estimar mejor los cambios y las diferencias que se pueden atribuir propiamente a la
intervención del programa, y no confundirlos con aquellos que se pueden derivar de otros factores
internos o externos a la problemáticas social, y que son ajenos al programa.
Si bien los enfoques cuasi-experimentales y los contrafactuales más en general son comúnmente
utilizados para estimaciones de impacto con base en técnicas cuantitativas y bases de datos
grandes, en términos metodológicos son igualmente aplicables a los análisis con base en técnicas
cualitativas, que normalmente emplean datos obtenidos a partir de grupos de enfoque,
entrevistas y observación en sitio. Esto es porque la lógica inferencial del diseño es la que
proporciona su validez interna, y no el uso de una técnica de recolección y tratamiento de datos
en particular; así, dicha lógica simplemente debe ser explicada y formalizada de manera clara y
precisa.
En cuanto a la vertiente cuantitativa, se recomienda evaluar el impacto del programa en la
nutrición de los niños, las mujeres embarazadas y en lactancia y los adultos mayores, no con un
modelo clínico con consumo en condiciones controladas, sino con uno que capture los beneficios
tal como las familias los obtienen y aprovechan en condiciones normales—esto es, una evaluación
centrada en el programa y no en la leche fortificada como tal. El modelo sería de doble diferencia,
con grupos de tratamiento y de comparación; levantamientos basales y de seguimiento a través
de encuestas propias con representatividad nacional; y estratos metropolitanos, urbanos y rurales,
leche líquida y en polvo, e ingresos por debajo de la línea de bienestar y la de bienestar mínimo.
39
Dada la naturaleza del programa y los criterios de elegibilidad para incorporar a los beneficiarios
de acuerdo a los grupos definidos en las ROP, en la construcción de escenarios contrafactuales se
recomienda el uso de métodos de aparejamiento, tales como el del vecino más cercano, que se
basa en la inclusión sobre un radio establecido en la puntuación por propensión, o técnicas de
núcleos como el método Kernel, que en ambos casos pueden generar comparaciones pertinentes.
En lo que toca a los estudios de caso, que implican sustancial trabajo cualitativo, estos pueden
diseñarse con un enfoque comparativo—incluyendo casos de tratamiento y casos de
comparación—procurando que la lógica y procedimientos de selección de los casos replique en lo
posible lo que se haría en la vertiente cuantitativa de la evaluación.
Estudios de caso
Los estudios de caso aplican a efecto de obtener una visión más comprensiva y detallada del
impacto del programa, así como de las condiciones que afectan su desempeño. Así, se sugiere que
la unidad de análisis básica sean los hogares, buscando captar entonces cómo es que el enfoque
de intervención—venta de leche a precio por debajo del mercado—así como del componente—
leche fortificada con micronutrientes—se convierten en consumos, efectos e impactos, y qué
factores—culturales, económicos, familiares, etc.—inciden sobre ellos. La cuestión no es evidente
ni irrelevante, puesto que los precios y las cualidades de los productos alimentarios se pueden
interpretar y asimilar de diversas maneras, y entonces pueden influenciar de distintas maneras las
conductas económicas y las redistribuciones al seno de la familia. Adicionalmente, los estudios de
caso y las técnicas cualitativas en general, pueden arrojar luz sobre la forma y medida en que
algunos aspectos críticos para el programa—como un eventual aumento de precio o la ampliación
de la cobertura hacia las zonas rurales—pueden o influir sobre sus efectos e impactos esperados.
Los hogares a estudiar se pueden seleccionar considerando una variabilidad de condiciones
relevantes, tales como las regiones, el tamaño de las localidades, el perfil de ingreso y la
estructura de las familias, entre otros. Respecto de las herramientas a utilizar, se
puedenconsiderar los grupos de enfoque, las entrevistas semi-estructuradas y profundas, así como
la observación en sitio. En todos los estudios se deben utilizar las mismas herramientas para
recolección y análisis de datos, a efecto de asegurar la mayor comparabilidad y aprovechamiento
de la información posible, esto con algunas variaciones según lo ameriten las condiciones
particulares y de acuerdo a la metodología sugerida. El enfoque de los estudios puede ser
etnográfico, explicativo, comparativo y contrafactual, para poder hacer inferencias descriptivas y
causales relacionadas con los efectos e impactos del programa.
3.4.4 Viabilidad técnica y financiera
La viabilidad técnica radica en la capacidad de las instituciones—en este caso, Liconsa y Sedesol—
paragenerar información y procesarla adecuadamente con propósitos evaluativos. En este sentido,
la experiencia en evaluación de programas sociales en México y en otros países, hacen patente
40
que se puede alcanzar este objetivo, desde el punto de vista estrictamente técnico. Existen en el
país una variedad de instituciones educativas y de investigación así como empresas consultoras
especializadas que pueden llevar a cabo este tipo de trabajos. Además, hay ejemplos de buenas
prácticas para el levantamiento y procesamiento de información cuantitativa y cualitativa para la
evaluación de programas, buena parte de ellas en la propia Sedesol. De igual forma, se han
aplicado exitosamente modelos de evaluación robustos e indicadores apropiados para medir estas
mismas variables de interés u otras similares.
Es importante insistir que cualquier evaluación de impacto se beneficia si con anterioridad se
verifican, actualizan, complementan y sistematizan las bases de datos disponibles. En el caso del
PASL, se sugiere revisar y mejorar la información disponible sobre los padrones de beneficiarios, la
identificación y cuantificación población objetivo así como las localidades atendidas y no
atendidas, a efecto de contar con los insumos necesarios para conformar los grupos de
tratamiento y comparación, antes de realizar la evaluación de impacto.
Sobre la viabilidad financiera del ejercicio propuesto, cabe mencionar que el monto de recursos
públicos que se destina anualmente al programa y lo que ya se ha gastado en los últimos años, no
solamente justifica sino que además permite realizar una evaluación rigurosa para medir sus
resultados. Este tipo de evaluaciones son especialmente valiosas en la medida que permiten saber
si el programa está efectivamente cumpliendo con sus objetivos y contribuyendo a resolver el
problema focal que justifica su propia existencia. Además, permiten identificar fortalezas y
debilidades que brindan información útil para modificar el diseño, la cobertura y la operación del
programa, a manera de incrementar sus logros.
En el caso del PASL así como en el de la mayoría de las iniciativas sociales federales, el costo
relativo de las evaluaciones de impacto—aun de aquellas que pueden implicar levantamientos de
información razonablemente amplios—suele ser muy pequeño en comparación con el
presupuesto global de los programas. Así pues, para el programa el costo de una evaluación como
la que se propone podría serbajo en comparación con el costo derivado de las deficiencias de
diseño, cobertura, focalización y operación que suelen tener las iniciativas sociales en México y en
otros países, respecto de las cuales no hay razón lógica para que el PASL esté exento. Finalmente,
también existe un costo intrínseco en no conocer los resultados del programa, pues los tomadores
de decisiones no tienen una forma verificable, objetiva y transparente de saber si es conveniente
ampliar la cobertura, incrementar el monto de los apoyos, o invertir más en alguna vertiente y
recortar otra, entre otras decisiones con implicaciones financieras importantes, cuyos eventuales
costos directos y de oportunidad seguramente exceden por mucho los de realizar una evaluación
de impacto rigurosa.De tal forma, la evaluación de impacto propuesta se puede considerar ex ante
como técnica y financieramente viable, y resulta por demás conveniente. En todo caso lo correcto
es buscar diseños apropiados y asegurar recursos suficientes para el ejercicio cumpla cabalmente
su propósito.
En complemento a lo anterior, cabe mencionar que el PASL tuvo un presupuesto en 2012 cercano
a los 10 mil millones de pesos, considerando ingresos propios y asignaciones federales. La
provisión presupuestal así como la importancia del objetivo general del programa, crean
41
lanecesidad y justifican la conveniencia de conocer enquémedida estos recursos públicos tienen
efectos en las condiciones que dieron origen al programa. Como ya fue mencionado, aunque las
evaluaciones de impacto pueden demandar recursos importantes, en ningún caso son
comparables con los recursos que se podrían consumir por operar un programa que no presenta
efectos y puede ser sujeto de un rediseño para estar alineado con la planeación de la política
social. Por el contrario, estos recursos destinados a elaborar evaluaciones de impacto pueden dar
indicios para fortalecer dicha política. Como una estimación preliminar, el equipo metaevaluador
considera que el rango de costo para una evaluación de impacto del PASL podría ir de 9 a
12millones de pesos que, comparados con el presupuesto de los dos ejercicios fiscales que
comprendería dicha evaluación, representa aproximadamente 0.045% a 0.060% del total.
3.5
Principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones
En este apartado se incorpora un resumen de las fortalezas, oportunidades, debilidades y
amenazas (FODA) del programa identificadas en cada evaluación analizada, acompañadas de sus
recomendaciones y propuestas asociadas. Cabe señalar que sólo se presentan aquellos elementos
que, a juicio del metaevaluador, son relevantes, en términos de su importancia e implicaciones
para el desempeño del programa, así como vigentes, en el sentido que la situación que les dio
origen lo sigue siendo en alguna medida. El FODA completo de forma esquemática se presenta en
el Anexo 4.
Tema de
evaluación
Diseño
Aspecto identificado
Referencia
Recomendación
Fortalezas y oportunidades
El Programa cuenta con un
diagnóstico que reconoce y
ECRmuestra la gravedad del
2011/2012problema de desnutrición que
PASL-UIMbusca revertir, y documenta su
pp.61
impacto en el desarrollo físico
y cognitivo de los niños.
El Programa demuestra, con
evidencias
de
estudios
nacionales e internacionales,
que la leche fortificada es
eficaz
para
reducir
la
desnutrición, especialmente
en la población beneficiaria
con mayor pobreza.
RECOMENDACIÓN
DEL
METAEVALUADOR
Extender la cobertura del
ECR-2007Programa y el subsidio en el
PASL-BK-pp.9
precio de la leche Liconsa y la
y 113; ECRharina Mi Masa en las tiendas
2011/2012Diconsahacia la población que
PASL-UIMsufre los mayores niveles de
pp.61
desnutrición, particularmente en
localidades de alta y muy alta
marginación, indígenas,y en
42
pobreza
multidimensional
extrema, y salir gradualmente de
las localidades actualmente
atendidas que no presentan
marginación media y baja.
Cabe señalar que las poblaciones
antes señaladas pueden estar
siendo atendidas por el Programa
Oportunidades. Sin embargo,
como se sugiere en la ECR-20112012 (pp. 61), sería conveniente
permitir que el PASL atienda a los
beneficiarios de Oportunidades,
ya que ambos programas pueden
ser complementarios, en el
sentido de que Oportunidades
proporcionaría una transferencia
monetaria que podría ser
utilizada para comprar la leche
fortificada del PASL.
El PASL ha implementado y
dado seguimiento a las
recomendaciones
de
las
evaluaciones externas para
mejorar su desempeño. En su
mayor parte, las acciones
realizadas por el Programa, a
partir de los ASM,han
alcanzado
los
resultados
esperados: la elaboración y
Planeaciónestr presentación a los operadores
atégica
de documentos de planeación
estratégica; mejora de la
focalización y reducción del
error de inclusión; reducción
del tiempo de respuesta a los
solicitantes del apoyo; mayor
presencia del Programa en
comunidades rurales, a través
de
tiendas
Diconsa,
y
eliminación de duplicidades
con Oportunidades y el PAL.
ECR-2007PASL-BKpp.113; ECR2011/2012PASL-UIMpp.62
43
Cobertura y
focalización
Operación
Los indicadores de gestión y
resultados
permiten
dar
seguimiento a los procesos y
medir los avances respecto de
las
metas
anuales.
La
información que recolecta el
PASLpara
monitorear
su
desempeño es oportuna, dado
que se depura cada mes; está
disponible para consulta; es
confiable, ya que esta validada
por cada área responsable;
está sistematizada en medios
informáticos, y es pertinente,
ya que permite medir los
indicadores de Actividades,
Componentes y Propósito.
El
PASL
cuenta
con
herramientas
informáticas
eficientes y de vanguardia
para
la
selección,
incorporación y baja de
beneficiarios, comoel sistema
georeferenciado
de
lecherías,el sistema de puntaje
con modelos estadísticos
robustos para valorar la
elegibilidad de los solicitantes,
y el sistema de
información, administración y
actualizacióndel padrón de
beneficiarios.
El
Programa tiene
sus
procesos clave estandarizados,
sistematizados
y
documentados,
lo
cual
contribuye a lograr una
operación eficaz, eficiente y
oportuna.
El PASL cuenta con un
programa de control de
calidad
y
laboratorios
certificados que garantizan el
cumplimiento
de
los
ECR-2007PASL-BKpp.113; ECR2011/2012PASL-UIM-pp62
ECR-2007PASL-BKpp.115-116;
ECR2011/2012PASL-UIMpp.62
ECR2011/2012PASL-UIMpp.63
ECR-2007PASL-BKpp.119-120
44
estándares de fortificación y
calidad de la leche producida.
El programa tiene una
importante
capacidad
instalada para la producción y
distribución de leche líquida y
en polvo, con cobertura
nacional.
Existe
información
sistematizada y actualizada
que permite conocer quiénes
reciben los apoyos del
Programa
(padrón
de
beneficiarios).
Los beneficiarios encuestados
por las evaluaciones externas
anteriores manifiestan un alto
Percepción de
grado de satisfacción respecto
los
de la calidad y el precio de la
Beneficiarios
leche fortificada, así como
sobre los requisitos y la
atención del Programa.
La evaluación del INSP que
hizo seguimiento de niños
beneficiarios
y
no
beneficiarios de 2003 a 2008
documenta impactos positivos
del consumo de leche
fortificada sobre el desarrollo
intelectual, el crecimiento de
Resultados
los niños y la prevención y
control de la anemia. Los
resultados señalan que el
capital humano ganado no
deja duda de que la relación
costo/beneficio de la leche
fortificada Liconsa es muy alta.
La evaluación del ITESM-CCMde
2006 estimó impactos en el
Propósito del Programa. En
comparación con las familias
que no son beneficiarias de
LICONSA, se encontró que los
EED-2008PASL-INSPpp.22
ECR-2007PASL-BKpp.111-112
ECR-2007PASL-BKpp.120; EED2008-PASLINSP-pp.22
AIFLL-2008PASL-INSPpp.69
ECR2011/2012PASL-UIMpp.64
45
hogares
beneficiarios
consumieron 2.33 litros de
leche a la semana, y generaron
un
ahorro
anual
por
diferencial de precios con la
leche comercial de 2,228
pesos.
La fortificación de la leche
Liconsa mostró su efectividad
para el desarrollo mental y
futuro desempeño de los
niños, así como en los efectos
que tiene su consumo en las
Evaluación de
EI-2008-PASLedades críticas de 12-24
impacto
INSP-pp.63
meses, sobre la adquisición de
habilidades y competencias
que comienzan a ser evidentes
durante los inicios de la etapa
escolar.
A cinco años de la aplicación
del Programa, los niños que
consumieron
la
leche
fortificada tuvieron una menor
prevalencia de peso bajo y EI-2008-PASLtalla baja (desmedro), su talla INSP-pp.64
alcanzada fue, en promedio, 2
cm mayor que la de los niños
que no la han consumido.
En conclusión, se puede
afirmar que el consumo de
leche fortificada ayuda a
mejorar
el
desarrollo
intelectual,
apoya
el
EI-2008-PASLcrecimiento de los niños, y
INSP-pp.70
previene y controla la anemia.
El capital humano ganado no
deja duda de que la relación
costo/beneficio es muy alta.
Debilidades y amenazas
46
La definición de la población
objetivo no se concentra en
los grupos en que la evidencia
empírica ha demostrado que
la leche fortificada tiene
mayor impacto.
El Programa no cuenta con
evidencia de que su tipo de
intervención es más eficaz que
otras
alternativas
para
disminuir la probabilidad de
desnutrición en la población
en condiciones de pobreza
patrimonial.
ECR2011/2012PASL-UIMpp.61
ECR2011/2012PASL-UIMpp.61
Si se desea un enfoque centrado
en los grupos con mayor impacto
por el consumo de la leche
fortificada, se sugiere definir a la
población objetivo como niños y
niñas de entre 0 y 5 años, y
mujeres embarazadas y en
periodo de lactancia residentes
de hogares en condiciones de
pobreza patrimonial.
Analizar alternativas para reducir
la probabilidad de desnutrición.
1) Transformar al PASL en un
programa sin déficit financiero,
con acceso limitado sólo por la
ubicación y horarios de puntos
de venta,2) promover con
subsidios
e impuestos
el
consumo
de
alimentos
nutritivos,3)
otorgar
transferencias para adquirir leche
fortificada en un sector privado
competitivo,
y4)
brindar
información nutricional adecuada
y fortalecer los programas de
combate a la pobreza y de
desarrollo económico.
NOTA DEL META EVALUADOR
Ninguna de las recomendaciones
del evaluador, arriba citadas,
tienen que ver con lo señalado
como debilidad y/o amenaza,
más bien son alternativas para
mejorar
la
eficiencia
del
Programa.
Asimismo,
consideramos que sí se cuenta
con evidencia de que su
intervención con leche fortificada
disminuye la desnutrición.Otra
problemática son las vías a través
de las cuales se hace llegar el
apoyo a la población.
47
El logro del Propósito, en los
términos de su indicador, no
aporta al cumplimiento de
ninguna de las metas del
programa
sectorial.
En
particular, no contribuye a la
meta del Objetivo 1, “Reducir
a 23% la prevalencia de
desnutrición crónica infantil
(niños menores de 5 años) de
la población en condiciones de
pobreza extrema”, porque sus
ROPexcluyen a la población
cubierta por el Programa
Desarrollo
Humano
Oportunidades, el cual atiende
a la población en extrema
pobreza.
El Propósito establecido en la
MIR,
“los
hogares
beneficiarios
en
pobreza
patrimonial
acceden
al
consumo de leche fortificada,
de calidad, a bajo precio”, no
especifica
la
población
objetivo del Programa en
términos de los grupos
vulnerables a la desnutrición,
ni la acota a los grupos donde
la leche fortificada puede ser
más benéfica.
ECR2011/2012PASL-UIMpp.61
ECR2011/2012PASL-UIMpp.61
En la metodología del Marco
Lógico con la que se construye
la matriz de Indicadores, los
supuestos son riesgos o
amenazas
externas
al
ECR-2007programa, que tienen una
PASL-BKprobabilidad razonable de
pp.112-113
ocurrir y que no dependen de
la gerencia del mismo.
En la Matriz de Indicadores del
PASLse
consideran
dos
supuestos críticos:
Incorporar,
en
el
nuevo
Programa Sectorial, metas que
correspondan al Propósito del
PASL.
Permitir que el PASL atienda a los
beneficiarios de Oportunidades,
dado que ambos programas
pueden ser complementarios, en
el sentido de que Oportunidades
proporcionaría una transferencia
monetaria que podría ser
utilizada para comprar la leche
del PASL.
El evaluador sugirió que el
Propósito del PASL fuera: “Los
niños menores de cinco años y
las mujeres embarazadas y en
periodo de lactancia que viven en
hogares en condición de pobreza
patrimonial
tienen
baja
probabilidad de desnutrición”.
NOTA DEL META EVALUADOR
Aplicar las definiciones señaladas
en
las
reflexiones
del
metaevaluador punto 3.6
Se recomienda prever recursos
financieros para enfrentar la
contingencia de incrementos de
los precios de compra de la
leche, así como de la pérdida de
competitividad del peso frente a
las monedas de los países
proveedores, que impactan en
los costos de producción y
afectan
la
sustentabilidad
financiera
del
Programa,en
cuanto se requiera mantener
48
-Las variaciones del precio
internacional de la leche y el
tipo de cambio.
-Garantizar
la
operación
continua
del
Programa
depende de las negociaciones
con el Sindicato Nacional de
Trabajadores de la Industria
Láctea, Alimenticia, Similares y
Conexos de la República
Mexicana.
Planeación
Estratégica
La existencia de diferentes
líneas de pobreza entre los
programas alimentarios, como
Oportunidades
y
Apoyo
Alimentario,
permite
la
coexistencia de programas con
objetivos
similares
que
también
entregan
suplementos con leche y micro
nutrimentos en una misma
localidad.
EED-2010PASLECESSHIMpp.15
Los
indicadores
correspondientes al objetivo
relacionado con el Fin del
Programa Estratégico 2011
“cumplimiento
de
la
producción
de
leche
fortificada” y “porcentaje del
cumplimiento del contenido
de proteínas en la leche
fortificada
Liconsa”
no
corresponden
al
Fin
establecido
en
la
MIR
“prevalencia de desnutrición
ECR2011/2012PASL-UIMpp.62
precios de venta por debajo del
costo.
Priorizar el precio de compra de
la leche al origen (nacional y/o
internacional) y a las cuotas de
adquisición del producto.
Se recomienda que en las
negociaciones de Liconsa con el
Sindicato,
se
tomen
en
consideración,
tanto
las
condiciones salariales, como las
condiciones para el desempeño
de
los
trabajadores
sindicalizados.
Asimismo, capacitar y establecer
mecanismos de control y
seguimiento al desempeño de los
promotores sociales.
Se sugiere que el programa use la
misma línea de bienestar y el
mismo sistema de puntajes para
la focalización usados por
Oportunidades y por Apoyo
Alimentario.
Así
también,
analizar
la
conveniencia de realizar un
diagnóstico global que evalúe la
pertinencia de los diferentes
programas alimentarios y de
transferencias de ingreso, así
como la poblaciónobjetivo.
Reformular los indicadores a
nivel de Fin de los documentos
de planeación para hacerlos
congruentes con los establecidos
en la MIR.
49
en niños menores de cinco
años” ni pueden considerarse
indicadores a este nivel.
ECR2011/2012El Programa no posee
PASL-UIMplaneación estratégica a largo
pp.62, EEDplazo.
2008-PASLINSP-pp.23
El PASL no capta información
sobre el estado nutricional de
sus beneficiarios, lo que
dificulta
conocer
la
contribución del Programa a la
disminución de la prevalencia
de desnutrición en niños
menores de cinco años.
Cobertura y
Focalización
El programa no cuenta con
una estrategia de cobertura de
mediano y largo plazo.
El Programa cuenta con
herramientas de focalización;
no obstante, las evaluaciones
externas anteriores muestran
errores de inclusión.
Elaborar un documento de
planeación
estratégica
que
incluya acciones para el mediano
y largo plazo, considerando las
metas establecidas en la MIRpara
el Propósito y el Fin.
Recolectar información sobre la
situación nutricional de los
beneficiarios del Programa.
NOTA DEL META EVALUADOR
Ante la imposibilidad de dar
“seguimiento” a los beneficiarios,
es necesario continuar con la
ECR-2011medición de impacto. Se sugiere
2012-PASLhacer mediciones periódicas,
UIM-pp.62
pero parte del mismo programa,
con el fin de que estén
perfectamente focalizadas,para
no estar a expensas de los
resultados de la Encuesta
Nacional de Salud y Nutrición,
ENSANUT.
El PASL no cuenta con una
estrategia de cobertura a
mediano y largo plazo, la cual
debe establecerse en el marco de
ECR-2007una
planeación
estratégica
PASL-BKsectorial
que
distribuya
pp.60
competencias
y
ECRresponsabilidades
entre
los
2011/2012programas
dirigidos
a
la
PASL-UIMreducción de la desnutrición.
pp.62
Para ello, se requiere volver
operativos los objetivos y metas
del Programa Sectorial de
Desarrollo Social
ECR-2007Se
recomienda
que,
en
PASL-BKcoordinación con la Secretaría de
pp.116, EED- Desarrollo Social, el INEGI y el
2008-PASLInstituto Nacional de Salud
INSP-pp.23
Pública, se identifiquen con
50
El Programa no cuenta con ECR-2007elementos para focalizar con PASL-BKcriterios nutricionales.
pp.117
mayor precisión los errores de
inclusión.
Evaluar y cuantificar en campo el
tamaño y las causasdel error de
inclusión, entre las que se
encuentran las siguientes:
Los hogares se incorporaron con
otros criterios de selección.
Los hogares cambiaron su
situación
socioeconómica
durante su permanencia en el
Programa.
Se falseó información para
ingresar al Programa.
A partir de los resultados del
estudio, implementar acciones a
corto y mediano plazo para
corregir los errores de inclusión
identificados y cuantificados en
el dicho estudio. Para ello,
establecer un programa de
trabajo con metas y plazos
específicos que considere, entre
otras acciones:
-Aplicar
el
estudio
socioeconómico a los hogares
que tienen mayor antigüedad en
el padrón.
-Aplicar
el
estudio
socioeconómico de manera
aleatoria
a
los
hogares
beneficiarios.
-Realizar visitas a una muestra de
hogares
beneficiarios
para
verificar los datos del “Registro
de Información” y dar de baja del
Padrón del PASL a los
beneficiarios que no cumplen
con los criterios de elegibilidad.
Se recomienda realizar un
estudio sobre la viabilidad de
medir peso y talla de los niños y
niñas menores de 13 años que se
incorporen
al
Padrón
de
51
El
programa
opera
primordialmente en áreas
EED-2008urbanas, por lo que tiene una
PASL-INSPmenor
cobertura
en
pp.23
localidades rurales del sureste
del país.
Operación
La operación del PASLrequiere
que limiten la ampliación de
su cobertura en zonas rurales ECR-2007con condiciones de acceso e PASL-BKinfraestructura, con relación a pp.120
la instalación de nuevas
lecherías.
No existe un análisis que
indique que la reducción del
error de inclusión con la
implementación
de
mecanismos de verificación
adicionales del procedimiento
de solicitud, registro y trámite
de solicitudes sería menos
costosa y efectiva que otras
alternativas.
No se ha valorado la opción de
permitir a toda la población el
acceso
al
Programa,
Beneficiaros del PASL con el
propósito de incorporar criterios
nutricionales en la focalización
del Programa. Dicho estudio
deberá:
-Estimar el costo y el tiempo
necesarios para implementar los
cambios
que
requiera
el
Programa para medir peso y
talla.
-Proponer un ejercicio piloto, en
una muestra de niños (as)
beneficiarios menores de 13
años.
Revisión del padrón para
aumentar la cobertura en
estados
con
mayores
prevalencias de desnutrición
infantil, como Chiapas, Oaxaca,
Guerrero y Yucatán.
Se recomienda definir, en primer
término, si le compete al
PASLatender las localidades
rurales en las que no se cuenta
con las condiciones requeridas
para la apertura de lecherías; en
segundo
término,
si
le
corresponde atenderlas, deberá
ampliar la coordinación con otros
programas para lograr dicho
propósito.
ECR2011/2012PASL-UIMpp.63
Analizar la opción de un sistema
de desincentivos para los
hogares que no son población
objetivo, con mecanismos de
autoselección como el monto del
subsidio, la ubicación de los
puntos de venta y los horarios de
atención.
ECR2011/2012PASL-UIM-
Se recomienda valorar, con un
análisis
costo-beneficio,
la
alternativa de eliminar los
52
estableciendo desincentivos pp.63
para la población no objetivo.
No es posible comparar la
evolución del grado de
satisfacción
de
los
beneficiarios, dado que, de un
Percepción de
ECR-2011año a otro, no se mantienen
los
2012-PASLlas mismas metodologías e
Beneficiarios
UIM-pp.63
instrumentos de captación de
la información sobre la
percepción
de
los
beneficiarios.
Resultados
Distintos
instrumentos,
evaluaciones
externas,
encuestas nacionales ENIGH ECR-2007yENSANUT muestran errores PASL-BKde inclusión; sin embargo, su pp.122
magnitud
no
ha
sido
cuantificada.
Aunque se cuenta con la línea
de base para 2006, todavía no
se ha reportado la medición
del avance en el indicador de
Fin
“prevalencia
de
desnutrición,
en
niños
menores de 5 años (talla para
la edad)”.La información para
su cálculo estará disponible en
2012.
En el período 2002-2006, la
cobertura en los menores de
13 años disminuyó de 27 a
23% entre los hogares
objetivo, (ITESM-CCM, 2006),
aunque no se especifica la
evolución en los niños
procesos de solicitud de apoyos,
selección de beneficiarios y
administración del padrón, y
complementarestableciendo un
precio de la leche que no
implique un déficit para Liconsa.
NOTA DE LA EVALUACIÓN Y
META EVALUADOR
Asegurar que las futuras
encuestas de satisfacción sean
comparables con la desarrollada
por
la
Universidad
Iberoamericana en 2010.
El evaluador considera que la
magnitud del error de inclusión
no ha sido rigurosamente
establecida.
Se
recomienda
que,
en
coordinación con la Secretaría de
Desarrollo Social, el INEGIy el
Instituto Nacional de Salud
Pública, se identifiquen con
mayor precisión los errores de
inclusión.
ECR2011/2012PASL-UIMpp.64
Realizar una evaluación de
impacto en 2012 y asegurar que
se estime el impacto del Liconsa
en el indicador de Fin.
ECR2011/2012PASL-UIMpp.64
Implementar
acciones
para
aumentar la cobertura entre los
niños menores de 13 años y, en
particular, entre los menores de
cinco años. Además, se sugiere
estimar anualmente datos sobre
cobertura de manera más
53
Impacto
menores de cinco años, que es
la población donde se han
documentado los mayores
beneficios. Además, no se
cuenta con estimaciones más
recientes sobre la evolución
de la cobertura por grupos.
La falta de hierro en la dieta
hace más proclives a los niños
a la anemia, lo que está
asociado
con
mayor
prevalencia de infecciones
agudas y menor capacidad
para el trabajo físico entre
otros.
El desarrollo intelectual y
cognitivo de los niños se
encontraría
seriamente
dañado, y no existe una
solución de futuro para ellos.
desagregada.
Realizar intervenciones para la
prevención,
control
y
tratamiento de la anemia por
EI-2008-PASL- deficiencia de hierro en los niños
INSP-pp.69
menores de dos años. En edades
más tardías sus secuelas son
irreversibles.
EI-2008-PASL- Debe realizarse una intervención
INSP—pp.69 a temprana edad de los niños.
Diferentes expertos sugieren que
el consumo de leche fortificada
puede producir obesidad, para
ello se sugiere la realización de
un estudio que descarte o
EI-2008-PASLcorrobore que debido a que el
INSP-pp.66
programa de Liconsa mejora su
disponibilidad a nivel de los
hogares, se asocia con un
incremento en las tasas de
sobrepeso y obesidad.
BK: Beta Korosi Consultoría
ECESSHIM: Centro de Estudios Económicos y Sociales en Salud, Hospital Infantil de México
Federico Gómez
ECR: Evaluación de consistencia y resultados
EED: Evaluación específica de desempeño
EI: Evaluación de impacto
INSP: Instituto Nacional de Salud Pública
UIM: Universidad Intercultural del Estado de México
54
3.6
Análisis de la contribución de los programas alimentarios a la reducción de la
carencia de acceso a la alimentación
En este apartado se analiza si los bienes y servicios otorgados por los programas a cargo de las
dependencias y entidades del Sector de Desarrollo Social que tienen componentes alimentarios
(PDHO, PAL, PAR y PASL), contribuyen a reducir la carencia en el acceso a la alimentación,
tomando como referencia los elementos del indicador considerado en la metodología para la
medición de la pobreza en México.5
3.6.1 Aspectos conceptuales y de diseño programático
La carencia por acceso a la alimentación se entiende como “la existencia de limitaciones
significativas en el ejercicio del derecho a disfrutar del acceso físico y económico a una
alimentación adecuada y a los medios para obtenerla” (CONEVAL, 2011). De esta manera, la
carencia se encuentra asociada a los conceptos de estabilidad, suficiencia y variedad de los
alimentos; entonces, se entiende asociada a algún grado de inseguridad alimentaria. La
inseguridad alimentaria es el concepto opuesto al de seguridad alimentaria, es decir, la situación
en la cual todas las personas tienen en todo momento acceso físico y económico a suficientes
alimentos inocuos y nutritivos para satisfacer sus necesidades alimenticias y sus preferencias en
cuanto a los alimentos, a fin de llevar una vida activa y sana” (FAO, 2009).6Así, desde una
perspectiva conceptual, se considera en situación de carencia por acceso a la alimentación a los
hogares que presentan un grado de inseguridad alimentaria moderado o severo.
Una vez que se tiene claridad conceptual en torno a la carencia de acceso a la alimentación, la
metodología de Coneval se aboca al problema de la medición, para lo cual considera
específicamente de las experiencias de hambre en los hogares. Esta aproximación se compone de
una escala a partir de diversas preguntas aplicadas en los hogares, por medio de la cual se capta la
percepción tanto de preocupación como de problemas con la cantidad o calidad de la dieta en el
hogar durante un periodo de referencia. El constructo teórico detrás de las preguntas de la escala
supone que un choque negativo—como la pérdida de ingreso—produce preocupación en los
integrantes de hogar, seguida de una reducción en la calidad de la dieta, una disminución de
contenido calórico en los alimentos de los adultos y luego en niños, hasta llegar al hambre,
definida como dejar de comer un día en el periodo de referencia de la escala.
Formalmente, el diseño de los programas sociales alimentarios plantea incidir sobre el estado
nutricional a través de la mejora del acceso físico o económico a alimentos de los hogares pobres,
ya sea a través de apoyos monetarios, en especie o en el precio. La desnutrición7 no es sinónimo
5
Véase: Consejo Nacional de Evaluación de la Política de Desarrollo Social. Metodología para la medición multidimensional de la pobreza en
México, México DF. CONEVAL, 2009.
6La inseguridad alimentaria es resultado de una disponibilidad limitada de los hogares o de los individuos a los alimentos, ya sea por un
acceso insuficiente o por un uso inadecuado de los mismos. El acceso se refiere a la incapacidad de un hogar y de sus miembros para disponer
de suficientes alimentos a través de la compra, la producción propia, el intercambio o la transferencia de terceros (por lo general, ayudas
alimentarias o de ingreso). El uso se refiere a la preparación y el consumo adecuado de los alimentos, así como a la capacidad de
almacenamiento apropiado de los mismos (Swindale y Bilinsky, 2006; FANTA, 2003).
7La desnutrición ha sido definida como un estado patológico, clasificado en distintos grados de severidad, quemuestra numerosas
manifestaciones clínicas y tiene su causa principal en una mala alimentación que, a suvez, provoca la deficiencia de diversos componentes del
55
de carencia por acceso a la alimentación—en los términos de la mala alimentación que, a su vez,
provoca la deficiencia de diversos componentes del complejo nutricio en el organismo—
frecuentemente es consecuencia de encontrarse en tal situación.
En términos de medición, los programas sociales alimentarios usan indicadores relacionados con la
desnutrición a nivel Fin o de Propósito de la MIR, basados principalmente en el cálculo de las
prevalencias de talla baja, peso bajo o anemia para grupo determinados, principalmente en niños
menores de 5 años y mujeres embarazadas y en lactancia. Algunos programas utilizan
levantamientos propios como fuente de información para estimar los indicadores, mientras que
otros los construyen a partir de la ENSANUT, aunque con algunas limitaciones en términos de
muestreo estadístico.
Cabe resaltar que, con la información disponible, resulta muy difícil hacer una medición precisa de
la posible contribución de los programas a disminuir la carencia por acceso a la alimentación, al
menos en los términos en que la mide el Coneval. Esto es porque los programas no recogen datos
sobre las experiencias de hambre de los hogares de manera regular ni a través de las evaluaciones,
pero también porque la información que sí recoge la ENIGHno necesariamente tiene
representatividad estadística como para poder hacer las mediciones de referencia.
3.6.2 Potencial de contribución de cada programa
Derivado del análisis conceptual y de la medición de la carencia por acceso a la alimentación, se
han identificado cuatro formas básicas en las que los programas pueden contribuir a la
disminución de la carencia por acceso a la alimentación:
a) mediante transferencia monetaria directa a los hogares, que elevaría su ingreso disponible
y derivaría en un incremento en el consumo y gasto en alimentos así como mejoras en la
calidad y variedad de los mismos;
b) a través de la provisión directa de productos alimentarios básicos de manera gratuita, lo
que en principio implicaría un aumento en su consumo;
c) mediante un subsidio al precio de los bienes de consumo básico, esperando un aumento
de la cantidad demandada al disminuir los costos y cambiar la estructura de precios
relativos de los productos básicos; y
d) a través de la información, difusión y capacitación en hábitos alimenticios, que derivaría en
mejores decisiones y comportamientos de consumo que, a cualquier nivel de ingreso,
incrementaría la satisfacción de las necesidades alimenticias.
complejo nutricio en el organismo. Esta enfermedadtiene repercusión sobre la constitución físico-química de los tejidos, reduce la capacidad
defensiva frente alas agresiones ambientales, disminuye el rendimiento en el trabajo, y acorta la vida (véase CONEVAL, 2010). Para medir los
efectos de los programas alimentarios y de nutrición se pueden utilizas diversas referencias, siendo las más comunes las antropométricas—
para ver desviaciones en términos de talla y peso—así como las de hemoglobina—para detectar anemia.
56
Así, desde una perspectiva lógica-causal, se puede esperar que los programas alimentarios tengan
un efecto positivo sobre el consumo de alimentos y en consecuencia, una disminución en la
carencia de acceso a los alimentos. Estos programas parten de supuesto que los bajos ingresos y el
insuficiente acceso y disponibilidad de alimentos son factores que inciden sobre la inseguridad
alimentaria, y por lo tanto se convierten en determinantes de la carencia. Los bajos ingresos de los
hogares se traducen en un menor poder de compra y, por tanto, en menores posibilidades de
satisfacer sus requerimientos de alimentos y otras necesidades básicas. Por otro lado, cuando no
hay acceso físico o disponibilidad de alimentos, los hogares ven limitada su capacidad de satisfacer
sus necesidades alimenticias, independientemente de su nivel de ingreso.
A continuación se presenta brevemente un análisis de los efectos principales que se espera tengan
los programas alimentarios sobre la carencia de acceso a la alimentación, en consideración tanto
de las principales características de los programas como de la conceptualización y forma de
medición de la carencia.
3.6.3 Programa de Desarrollo Humano Oportunidades y Programa de Apoyo Alimentario
En el caso del PDHO y del PAL, las transferencias monetarias en principio elevan el ingreso
disponible y con ello la demanda y el consumo de alimentos, disminuyendo la carencia. Lo anterior
supone que, a cualquier nivel de consumo—incluso al nivel autoconsumo absoluto—existe un
ingreso mínimo imputable para la sobrevivencia de las familias, de forma tal que las transferencias
en efectivo que efectúan los programas influyen directamente en el consumo de alimentos. Al
incrementar y estabilizar el consumo, se espera que las experiencias de hambre disminuyan y ellos
posibilite cruzar el umbral de la carencia por acceso a los alimentos. La medida en la cual los
hogares logren cruzar dicho umbral gracias al apoyo de los programas –esto es, el impacto—es un
problema empírico, que depende no sólo del monto de los apoyos promedio de los programas
sino también de las condiciones socioeconómicas de los hogares que atiende cada programa.
En general, se puede esperar que el PDHO tenga un efecto relevante en el gasto y consumo de
alimentos de las familias en pobreza extrema, gracias a la suma de los apoyos monetarios que
otorga—que para 2012 suele estar en un rango entre 1,560 y 2,520 pesos por mes por familia,
dependiendo del número y nivel escolar de los becarios registrados. Sin embargo, estos efectos no
se traducen directamente en una reducción de la carencia, puesto que son mediados por la
mejora en la calidad y diversidad de los alimentos y no sólo por el incremento en la cantidad de los
mismos—siendo este último el que tendría mayores impactos sobre las experiencias de hambre,
que es lo que mide la carencia
En cuanto al PAL, los argumentos anteriores aplican de igual forma, pero con dos diferencias
básicas que actúan en sentido opuesto. La primera es que el monto promedio de apoyo es
sustancialmente menor que el del PDHO, variando entre 510 y 720 pesos por familia por mes
dependiendo del número de niños registrados, por lo que los efectos del programa sobre el gasto
en alimentos serían en principio menores. La segunda es que, por sus condiciones estructurales
asociadas precisamente a no contar con acceso a los servicios de salud o educación, las familias
del PAL suelen tener ingresos promedio sustancialmente inferiores a los del PDHO; por lo tanto, en
57
principio estas familias presentarían la carencia en mayor grado, y el efecto del programa sobre la
misma tendería a ser mayor que el del PDHO.
Adicionalmente, se puede esperar que el PDHO tenga un efecto positivo complementario, aunque
seguramente de menor nivel que el asociado al ingreso, a través de la información, difusión y
capacitación en hábitos alimenticios que se realiza en los servicios de salud y las visitas
preventivas. Estas actividades podrían mejorar las decisiones y comportamientos de consumo de
los hogares pobres, e incrementaría la satisfacción de las necesidades alimenticias
independientemente o en complemento de lo que se logre a través del ingreso.
3.6.4 Programa de Abasto Social de Leche
El potencial del PASL para contribuir a la disminución de la carencia por acceso a la alimentación es
prácticamente nulo. En principio, el proveer leche fortificada a menor precio que el de mercado,
reduce el gasto en leche y libera recursos para ser utilizados en otros bienes. Sin embargo,
considerando que la leche no es una parte fundamental del consumo y el gasto de la población
objetivo—las familias con ingresos por debajo de la línea de bienestar—y que la población
efectivamente atendida—en su mayoría, en localidades urbanas y por encima de la línea de
bienestar mínimo—no presenta la carencia, el programa no debe tener impacto alguno sobre la
misma.
No obstante, el programa sí tiene un potencial importante para disminuir la desnutrición, y desde
una perspectiva más amplia sobre la seguridad alimentaria y una medición más incluyente, podría
considerarse alguna posible contribución para disminuir la carencia. En este sentido, el PASL
podría potenciar su contribución al ampliar su cobertura en las zonas rurales donde se concentre
la población por debajo de la línea de bienestar mínimo, con mayores niveles de desnutrición y de
la carencia de alimentos.
3.6.5 Programa de Abasto Rural
Si bien el PAR tiene un potencial de contribuir a la disminución de la carencia, debido a que busca
llevar productos a las comunidades con problemas de abasto y reducir el costo de la canasta
básica alimentaria, su impacto dependerá en buena medida de la cobertura y focalización de las
tiendas Diconsa así como de los diferenciales de precio en la canasta básica y sus efectos sobre el
consumo.
En cuanto a la cobertura y focalización, un número importante de tiendas Diconsa se encuentra en
localidades con grado de marginación media o baja—más del 45%--con escasa prevalencia en
carencia por acceso a alimentos, mientras que subsiste una proporción importante de localidades
objetivo—al menos 22%—que presentan un grado alto de desabasto y que no son atendidas por el
programa. En cuanto al margen de ahorro en la canasta básica, en los años recientes ha fluctuado
entre 15% y 21%; sin embargo, no se ha evaluado el efecto en el consumo que se deriva de dicho
ahorro, tanto de forma directa a través de las compras en las tiendas como de forma indirecta a
través del efecto sobre los precios en los mercados locales. De tal forma, si bien el programa tiene
58
potencial para contribuir a la disminución de la carencia alimentaria, no queda claro en qué
medida realmente lo hace.
Para que el PAR pudiera tener un mayor impacto sobre la carencia por acceso a la alimentación
sería necesario mejorar la cobertura y focalización hacia las localidades rurales con niveles altos de
desbasto y de la carencia. Convendría también analizar la conveniencia de ampliar el subsidio en
los bienes alimentarios que pesan más en la canasta básica y que reflejen los patrones de
consumo local. Asimismo, sería provechoso desarrollar e incorporar formas alternativas de
distribución y comercialización para poder llegar más lejos, tanto a las localidades objetivo no
cubiertas como a otras de tamaño menor a 200 habitantes.
Con todo, cabe recordar un aspecto esencial: que el PAR vende sus productos y que Diconsa busca
en lo posible recuperar costos para dar viabilidad financiera al programa, lo cual si bien es
entendible, limita el impacto del programa en la carencia. Así, es probable que, para la población
con mayores niveles de carencia alimentaria y por lo tanto en la pobreza más severa, el apoyo del
PAR sea útil pero no resulte suficiente.
3.6.6 Conclusiones
Del análisis anterior se puede concluir que, considerando los enfoque conceptuales y de cálculo
asociados a la metodología para la medición de la pobreza en México, el PDHO y el PAL son los
programas que tienen mayor potencial para contribuir a la disminución de la carencia por acceso a
la alimentación, el PAR puede tener un efecto relevante pero limitado, y el PASL no tiene efecto
directo, sino solo a través de la nutrición.
Sin embargo, esto es lo que se espera de los programas considerando su diseño y operación
actual, mismos que pueden modificarse si se quisiera aumentar dicha contribución. En ese caso, el
mayor potencial estaría seguramente en el PAL, por el tipo de población que atiende, y el cambio
más importante consistiría en incrementar los montos de los apoyos. En una línea similar, el
segundo cambio relevante seguramente sería a través del PAR, focalizándolo más hacia las
localidades donde se concentra la carencia, buscando disminuir los precios de algunos de los
productos básicos que más se consumen en dichas localidades, y procurando formas alternativas
de distribución y comercialización para poder llegar más lejos. En cuanto al PDHO y el PASL, no se
considera necesario ni conveniente modificarlos, ya que cada uno cumple razonablemente su
función, uno de forma directa y otro de forma indirecta.
Finalmente, se recomienda a Sedesol valorar la pertinencia de medir la contribución del PDHO, el
PAL y el PAR a la disminución de la carencia, utilizando para ello las evaluaciones de impacto que
se sugieren en la presente metaevaluación. Como parte de este ejercicio, se recomienda evaluar el
impacto tanto de forma individual para cada programa, como de forma conjunta, en los casos en
que confluyan dos o tres programas Para ello, se sugiere usar una aproximación ligada a la de
Coneval, a partir de las experiencias de hambre de los hogares, pero explorar también otras
posibles alternativas que sean consistentes con el concepto de seguridad alimentaria, que está
detrás de la carencia.
59
3.7
Reflexiones y recomendaciones complementarias del metaevaluador
En esta sección se desarrollan una serie de reflexiones y recomendaciones complementarias del
equipo metaevaluador sobre la situación actual del programa, que si bien construyen sobre el
análisis de las evaluaciones antes revisadas, en algunos casos llegan a resultados distintos al
replicar los ejercicios metodológicos de forma más amplia y rigurosa. Estas reflexiones y
recomendaciones se enfocan principalmente en aspectos asociados al diseño así como a la
cobertura y focalización del programa, y son responsabilidad exclusiva del metaevaluador.
3.7.1 Sobre el problema focal y las poblaciones potencial y objetivo
Problema focal
Por principio, las definiciones del problema focal y de las poblaciones potencial y objetivo de los
programas sociales deben hacerse conforme a lo establecido en los Lineamientos generales para
la elaboración de diagnósticos de cuyos resultados se obtienen propuestas de atención de
Programas de Desarrollo Social, así como en los Lineamientos y criterios generales para la
definición, identificación y medición de la pobreza de CONEVAL. Asimismo, la literatura y las
buenas prácticas en la materia, detallan las formas en que se pueden desarrollar dichas
definiciones (como ejemplo, véase Aldunate y Córdoba 20118. Sin embargo, un análisis riguroso de
los diversos elementos de diseño del programa señala cuestiones que, en opinión del equipo
metaevaluador, no están resueltas adecuadamente y pueden incidir de forma significativa sobre
su efectividad.
De inicio, el problema focal así como la población potencial y objetivo no están correctamente
identificados y claramente definidos, pues subsisten algunas ambigüedades e inconsistencias
importantes que se reflejan en las Reglas de Operación 2012, en el Diagnóstico del PASL 2010 y en
la Nota sobre población potencial y población objetivo del PASL 2011.Al revisar las definiciones
actuales del problema focal y las poblaciones potencial y objetivo con base en la normatividad y
los criterios antes citados, el equipo metaevaluadorencontró que no están correctamente
identificados y claramente definidos, pues subsisten algunas ambigüedades e inconsistencias
importantes.
Conforme al árbol de problemas que aparece en el Diagnóstico, el problema focal del PASL se
define como:
Problema focal actual: La población en pobreza patrimonial presenta insuficientes niveles
de nutrición.
8
ALDUNATE,
Eduardo y Julio Córdoba, (2011), “Formulación de programas con la metodología de marco lógico”,Serie
Manuales, 45, ILPES-CEPAL, Santiago de Chile.
60
Con base en la idea de que el problema focal debe describir correctamente la situación que
justifica la existencia del programa, la situación-problema es ambigua, al menos tal como está
especificada, pues no queda claro qué se debe entender por “insuficientes niveles de nutrición” y
cómo distinguirlos en todo caso de los niveles “suficientes”, o en su caso de las situaciones de
“desnutrición” o “riesgo nutricional”, que son conceptos más específicos y comúnmente
aceptados. Cabe mencionar que el diagnóstico hace una elaboración amplia de la situación de la
desnutrición en México, de las enfermedades asociadas y de su relación con la pobreza, lo cual
hace que el problema esté correctamente analizado y descrito, particularmente en lo que las
relaciones lógicas; no obstante, su especificación en el enunciado que identifica el problema focal
no es clara, por lo ya mencionado.
Al analizar las distintas alternativas para especificar el problema que el programa busca revertir,
surge como opción del concepto de “riesgo nutricional”. Este se refiere al conjunto de condiciones
que inciden sobre la probabilidad de que una persona esté desnutrida, en contraste con la
desnutrición como tal, que se registra como incidencia efectiva del padecimiento.
Frecuentemente, los riesgos nutricionales se presentan en medidas de rango, que por definición
incluyen a las personas que efectivamente están desnutridas (P igual a 1) así como aquellas cuyas
condiciones hacen que tengan una probabilidad moderada o alta de tenerlo (P igual o mayor que
un cierto umbral predefinido). Así, las intervenciones para atender este riesgo se consideran como
de “soporte nutricional” y no propia o únicamente para disminuir la “desnutrición”. Como
alternativa, en vez del “riesgo nutricional” se puede usar el concepto de “desnutrición”, aunque
estrictamente hablando considera que el primero es más adecuado que el segundo para el PASL,
entre otras cosas porque amplía el alcance del programa.
Así, el equipo metaevaluador recomienda redefinir el problema focal, mediante la sustitución del
concepto de “insuficientes niveles de nutrición” por otro más adecuado y preciso, centrado en el
riesgo nutricional.
El riesgo nutricional y las líneas de bienestar y bienestar mínimo
En la misma línea, la población potencial es aquella parte de la población que es afectada por el
problema, y que por lo tanto requiere de los servicios o bienes que proveerá el programa.
Población potencial actual: Hogares con ingreso per cápita inferior al valor de la línea de
bienestar económico, y que no son beneficiarios de los programas de Desarrollo Humano
Oportunidades o de Apoyo Alimentario, y que cuentan con integrantes que pertenecen a
alguno de los siguientes grupos: niños y niñas entre 6 meses y 12 años, mujeres de 13 a 15
años, mujeres embarazadas y en período de lactancia, mujeres de 45 a 59 años, adultos de
60 años o mayores, y personas con discapacidad y enfermos crónicos.
En este sentido, sería incorrecto considerar que toda la población bajo la línea de bienestar—o
antes, en pobreza patrimonial—presenta insuficientes niveles de nutrición—o alternativamente,
de riesgo nutricional o desnutrición—aunque sea cierto que al menos una parte de esta población
sí sufre el problema. La razón es que, conforme a los resultados de diversos estudios en la materia,
61
las variables asociadas a los distintos déficits nutricionales dejan de correlacionarse con las
condiciones económicas de los hogares más allá de un cierto umbral de ingreso. En particular, los
resultados de la ENSANUT 2006 y 2012 así como una amplia serie de estudios del INSP, el
INCMNSZ y el HIMFG sugieren que los déficits nutricionales, si bien se presentan a todo lo largo de
la escala de ingreso, se concentran fundamentalmente en las familias con mayores niveles de
pobreza, las localidades rurales menores a 2,500 habitantes y las comunidades indígenas, entre los
grupos más relevantes.
En los niveles de ingreso medio y alto así como en la mayoría de los contextos urbanos, los déficits
nutricionalesno surgen por limitaciones en el acceso a los alimentos, sino fundamentalmente por
hábitos de consumo inadecuados, y en algunos casos por enfermedades y trastornos asociados a
la alimentación—como la bulimia y la anorexia, entre otras. En cambio, en los niveles de ingresos
bajos y muy bajos así como en buena parte de los contextos rurales, si bien no están exentos de
los mismos problemas, las restricciones presupuestales de las familias y las menores opciones de
abasto empiezan a incidir con mayor fuerza en las decisiones de consumo de alimentos, en
términos de cantidad, variedad y calidad. De tal forma, en los niveles más bajos de la escala de
ingreso, las combinaciones disponibles pueden limitar el acceso adecuado a los alimentos, y con
ello generar mayores déficits nutricionales.
Por lo anterior, el equipo metaevaluador considera que el grupo de población en la que el PASL
tendría mayores efectos e impactos, es elde los hogares con ingresos menores a la línea de
bienestar mínimo—que asemeja a la condición de pobreza extrema—en vez de la línea de
bienestar—que tiene como referente a la condición de pobreza. Esta consideración es consistente
además con los resultados de otros programas alimentarios y nutricionales en México y en otros
países, como los que ya se han discutido anteriormente.El ajuste a la baja en la línea de referencia
permitiría dirigir los apoyos del programa hacia la población que concentra el problema focal, pero
que históricamente ha atendido escasamente, por su alta concentración de lecherías y puntos de
venta en las zonas urbanas y en la Zona Metropolitana de la Ciudad de México.
Sin embargo, el equipo metaevaluador también considera que, con el diseño actual del programa
y la forma actual de operar de Liconsa, no es conveniente bajar la referencia de línea de bienestar
a la de bienestar mínimo, el menos en el corto plazo. Esto se debe fundamentalmente a las
implicaciones que dicho ajuste tendría en la autosuficiencia de Liconsa, cuyos ingresos dependen
en buena medida de la venta de leche líquida a hogares en localidades urbanas, la mayoría de los
cuales tiene ingresos por arriba de la línea de bienestar mínimo, aunque como grupo poblacional
no concentra el problema del riesgo nutricional. Asimismo, el ajuste implicaría cerrar un número
considerable de lecherías en las zonas urbanas, y especialmente en la Zona Metropolitana de la
Ciudad de México—muchas de ellas con décadas operando—acción que difícilmente se puede
hacer en el corto plazo, independientemente de la condición nutricional de sus beneficiarios.
En consideración de lo anterior, el equipo metaevaluador recomienda a Liconsa y SEDESOL llevar a
cabo un evaluación de cobertura, comercialización y financiamiento, que analice la cobertura
efectiva de localidades y poblaciones, los modelos existentes y alternativos de comercialización y
entrega de productos, así como los esquemas de financiamiento más adecuados para llevar los
62
apoyos a quienes más los necesitan. Se espera que sus resultados y recomendaciones brinden
información y alternativas útiles para la toma decisiones, a efecto de mejorar el logro de los
objetivos del programa.
La mutua exclusión del PASL con respecto de Oportunidades y el PAL
En lo que toca a la población objetivo, esta se plantea como el subconjunto de la población
potencial que un programa público diseñado ex profeso podría buscar atender en el corto y
mediano plazos, considerando las limitaciones financieras e institucionales existentes. En las ROP
2012, se define de la siguiente manera:
Población objetivo actual: Personas pertenecientes a hogares cuyo ingreso está por debajo
la línea de bienestar, de acuerdo a los criterios emitidos por el Consejo Nacional de
Evaluación de la Política de Desarrollo Social (CONEVAL), disponibles en
http://www.coneval.gob.mx/cmsconeval/rw/pages/medicion/Pobreza_2010/Lineas%20de
%20bienestar.es.do, que no cuentan con apoyo de los Programas de Desarrollo Humano
Oportunidades y el de Apoyo Alimentario, y que pertenecen a cualquiera de los siguientes
grupos: niños y niñas de 6 meses a 12 años de edad, mujeres adolescentes de 13 a 15 años,
mujeres en período de gestación o lactancia, mujeres de 45 a 59 años, enfermos crónicos y
personas con discapacidad mayores de 12 años, adultos de 60 y más años.
En lo que toca a la condición específica de las personas y no propiamente del ingreso de los
hogares—lo cual ya se discutió arriba—seconsidera que la selección actual de características es en
general adecuada. Sin embargo, los que no se considera correcto es la mutua exclusión entre el
PASL con respecto del Programa Oportunidades y el de Apoyo Alimentario. El argumento de la
exclusión se basa en la premisa de que, dado que los tres programas tienen componentes
alimentarios o nutricionales, y que otorgan transferencias de ingreso—en el caso del PASL por la
vía del precio de la leche—existiría duplicidad de apoyos si un mismo individuo o familia recibiera
accediera a más de uno de los programas.
El equipo metaevaluador considera que la mutua exclusión es inadecuada y el argumento de las
duplicidades es incorrecto, por las siguientes razones. La primera es que Oportunidades y el PAL
atienden a los hogares en condición de mayor pobreza, con ingresos por debajo de la línea de
bienestar mínimo y con importantes déficits en la formación de capacidades básicas; este es
precisamente el segmento que concentra los déficits y riesgos nutricionales—como ya se explicó
anteriormente—y en el cual la leche fortificada Liconsa puede tener mayores efectos e impactos
positivos.La segunda razón es que los apoyos alimentarios y nutricionales que entrega el PASL son
distintos de los que entregan Oportunidades y el PAL, y también en su mayoría a grupos de
beneficiarios individuales distintos, como se puede apreciar a continuación:
•
El PASL entrega leche fortificada con micronutrientes a precio menor al del mercado,
siendo que el diferencial de precio no está planteado como un apoyo económico en sí
63
mismo sino como en incentivo omecanismo para que las familias compren la leche Liconsa,
incrementando su consumo de leche y accediendo a los micronutrientes de forma regular.
•
En contraste, los apoyos alimentarios de Oportunidades y el PASL consisten en
transferencias de efectivo, que se van al consumo general de las familias y cuyo impacto en
la nutrición tiende a ser menor y más disperso que el que se ha documentado para la leche
fortificada.
•
En lo que toca específicamente a Oportunidades, este programa entrega además
suplementos nutricionales para mujeres embarazadas y en lactancia así como para los
niños menores de dos años—excepto que hayansido diagnosticados con desnutrición, en
cuyo caso el apoyo se puede extender hasta los cinco años. Asimismo, el PAL entrega
suplementos casi a las mismas poblaciones que Oportunidades, pero además considera
sobres de leche fortificada a los niños de entre 24 y 59 meses. En estos casos
efectivamente podría haber una duplicidad, ya que en los efectos esperados de la leche
fortificada y los suplementos, si bien no son idénticos, son al menos parecidos, por lo que
la mutua exclusión en estos grupos de beneficiarios en específico podría aplicar.
De tal forma, es claro que sólo existirían duplicidades de apoyos del PASL con respecto de
Oportunidades y el PAL, en grupos de beneficiarios muy específicos, con los cuales efectivamente
podría aplicar la mutua exclusión de beneficios. Sin embargo, las ROP de los tres programas
actualmente son excluyentes entre sí, lo que deja a muchos hogares e individuos de
Oportunidades y el PAL, que tienden a presentar el problema focal de desnutrición o riesgo
nutricional, sin posibilidad de acceder a los beneficios de la leche fortificada de Liconsa. La mayor
preocupación estaría prácticamenteen la población infantil del PAL y Oportunidades que no
reciben suplementos alimenticios o sobres de leche fortificada por parte de estos programas.
Por lo anterior, el equipo metaevaluador recomienda a Liconsa y a la SEDESOL que se elimine en
las ROP del PASL la mutua exclusión de hogares con respecto del PAL y Oportunidades, o que
alternativamente se limite solo a aquellos individuos que reciben suplementos alimenticios o leche
fortificada de los dos últimos. En consecuencia, se recomienda redefinir la población objetivo del
programa, eliminando o limitando la mutua exclusión conforme a la discusión precedente.
3.7.2 Sobre la cobertura y focalización
El PASL históricamente se ha concentrado en las grandes zonas urbanas del centro del país, y
dejado de lado al resto de las regiones y a las localidades rurales. A la fecha, no cuenta con una
estrategia de cobertura documentada para atender a esta población objetivo no atendida. Más
aún, la definición actual de las poblaciones potencial y objetivo, que toma como referencia la línea
de bienestar establecida por CONEVAL, incluye una gran cantidad de hogares que NO presentan el
64
problema focal asociado a los “insuficientes niveles de nutrición”, pues conforme al propio
Diagnóstico así como a las investigaciones en la materia, dicho problema se concentra en la
población bajo la línea debienestar mínimo, y particularmente en las localidades rurales. La
combinación de los problemas en la cobertura y en la focalización antes citados, generan errores
de exclusión y de inclusión muy relevantes, que ponen en riesgo el logro de los objetivos del
programa.
En complemento de la evaluación de financiamiento, cobertura y focalización antes descrita, y
considerando los hallazgos y recomendaciones específicas que de esta se deriven, el equipo
evaluador recomiendaa Liconsa y SEDESOL establecer una estrategia de cobertura de mediano y
largo plazo para el PASL, a partir de las redefinición de la población potencial y objetivo y en un
marco de actuación que considere de forma explícita la existencia de otros programas
alimentarios, evitando duplicidades y fomentando complementariedades y sinergias. Se sugiere
que dicha estrategia considere nuevos enfoques de comercialización y financiamiento, que
promueva la ampliación de la cobertura hacia las localidades rurales y las regiones no atendidas, y
que valore la pertinencia y factibilidad del cierre o relocalización gradual de los puntos de atención
(lecherías) cuya existencia ya no se justifica porque sus localidades de atención no presentan el
problema focal.
Los problemas de cobertura y focalización del PASL datan de muchos años, y se han documentado
en diversas evaluaciones y estudios. En este sentido, la Evaluación de Resultados 2006 y la de
Consistencia y Resultados 2007 recomendaron a Liconsa que, en coordinación con la Secretaría de
Desarrollo Social y los responsables de los distintos programas de apoyo alimentario, definiera qué
parte de la población que presenta déficits nutricionales debía ser atendida por el PASL, en el
marco de las políticas, estrategias y prioridades hacia los hogares en condición de pobreza. Una
vez definida la población potencial del PASL, se recomendó evaluar la factibilidad de ampliar su
cobertura considerando su capacidad instalada no utilizada, su red de puntos de venta, la
conveniencia de establecer una política de precios diferenciados y sus consecuencias en la
demanda y requerimientos financieros. Estas recomendaciones siguen siendo vigentes, y es
conveniente considerarlas nuevamente.
Dadas las condiciones en las que actualmente opera Liconsa, se sugiere que la estrategia de
cobertura de mediano y largo plazo, además de considerar nuevas poblaciones y coordinarse
mejor con otros programas alimentarios, considere nuevos enfoques de comercialización y
financiamiento para poder implementarla. Así, se considera conveniente valorar la pertinencia y
factibilidad ajustar a la alza los precios de venta, establecer los precios diferenciados para regiones
o localidades distintas, realizar los subsidios cruzados internos entre zonas urbanas y rurales, así
como utilizar crecientemente los recursos fiscales asignados al programa para ampliar la cobertura
en vez de utilizarlos para la compra de leche nacional.
Cabe señalar que las recomendaciones antes realizadas respetan el diseño y la lógica interna
actuales del programa, especificados en las ROP 2012, el Diagnóstico, la Nota y otros documentos
oficiales. Por lo tanto, sólo se plantea dar mayor consistencia y actualizar las definiciones,
conforme a la normatividad vigente y las mejores prácticas en la materia.
65
4. Reporte de monitoreo
4.1
Introducción
En 2007, la Secretaría de Desarrollo Social elaboró la Matriz de Indicadores para Resultados de los
programas federales a su cargo con la finalidad de mejorar su diseño y de cumplir con los
Lineamientos Generales para la Evaluación de los Programas Federales de la Administración
Pública Federal9 que establecen que los programas federales deben contar con una MIR.
Desde entonces, la MIR es usada por laSEDESOL y por otros actores, como la Secretaría de
Hacienda y Crédito Público (SHCP), la Secretaría de la Función Pública (SFP), la Auditoría Superior
de la Federación (ASF), el Consejo Nacional de Evaluación de la Política de Desarrollo Social
(CONEVAL) e incluso el H. Congreso de la Unión, para dar seguimiento a los resultados alcanzados
por los programas federales, lo que la convierte en el principal instrumento para monitorear el
desempeño de dichos programas en el Gobierno Federal10.
La MIR de los programas federales de la SEDESOL se ha ido modificando año con año
principalmente con tres objetivos: 1) mejorar el diseño de los programas, 2) contar con mejores
indicadores de resultados y de gestión para monitorear su desempeño, y 3) mejorar su alineación
con las Reglas de Operación. Para ello, SEDESOLha tomado en consideración los comentarios y
propuestas de mejora emitidos por actores como el CONEVAL, la SHCPy los evaluadores externos
que han evaluado los programas.
Este documento tiene como objetivo analizar la MIR 2012 del Programa de Abasto Social de Leche
a cargo de Liconsa, S.A. de C.V. para generar propuestas de mejora para la elaboración de la MIR
2013, especialmente de los niveles de Fin y Propósito, poniendo especial atención en los
indicadores de resultados.
Para lo anterior, en la primera parte se hace un análisis de los cambios que se han implementado a
la MIR de 2007 a 2012, para ello se identifican los comentarios que diversos actores han emitido a
la MIR para el mismo periodo. Posteriormente, se valora el resumen narrativo de la MIR 2012
analizando su correspondencia con las ROP de ese año y se realizan propuestas de mejora. Por
9
Diario Oficial de la Federación. 30 de marzo de 2007.
La Ley General de Desarrollo Social establece en el Art. 77 que el CONEVAL antes de aprobar los indicadores de
resultados, gestión y servicios de los programas sociales, los someterá a la consideración de la SHCP Y a la Cámara de
Diputados por conducto de la ASF, para que emitan las recomendaciones que en su caso estime pertinentes, para esta
aprobación, se toman los indicadores de la MIR.
Asimismo, los Lineamientos para la revisión, actualización, calendarización y seguimiento de la Matriz de Indicadores
para los programas presupuestarios 2012 establecen en el numeral 13 que la SHCP, la SFP y el CONEVAL, en el ámbito
de sus respectivas competencias y considerando las disposiciones aplicables, deberán emitir las recomendaciones a
las MIR y sus indicadores que consideran convenientes. También, estos Lineamientos establecen como uno de sus
objetivos específicos registrar los avances en la consecución de las metas de los indicadores de los programas
presupuestarios durante el ejercicio fiscal 2012 para dar cumplimiento a los informes sobre la Situación Económica,
las Finanzas Públicas y la Deuda Pública (informe trimestral a cargo de la SHCP enviado al Congreso de la Unión), de
conformidad con el artículo 107 de la Ley de Presupuesto y Responsabilidad Hacendaria.
10
66
último, se valoran los indicadores de Fin y de Propósito de la MIR 2012, y se emiten propuestas de
mejora.
4.2
Análisis histórico de la Matriz de Indicadores para Resultados 2007-2012
En este apartado se hace un análisis de la evolución de la Matriz de Indicadores de Resultados
(MIR) del programa durante el período 2007-2012. Se identifican los principales cambios en los
resúmenes narrativos y en los indicadores asociados a los mismos, que surgieron como respuesta
a las observaciones y recomendaciones de instancias como la Auditoría Superior de la Federación
(ASF), la Secretaría de Hacienda y Crédito Público (SHCP), la Secretaría de la Función Pública (SFP),
el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) y los evaluadores
externos del programa. La secuencia de cambio se presenta en los niveles de Fin, Propósito y
algunos casos de Componentes, para todos los años comprendidos en el período. Al final de la
sección se presenta una propuesta para mejorar los resúmenes narrativos y los indicadores para la
MIR del año 2013. Un esquema del análisis histórico de la MIR y de las propuestas de mejora se
presenta en el Anexo 5.
4.2.1
Principales cambios de la Matriz de Indicadores 2007-2012
A continuación se hace un resumen de los principales cambios de la MIRdel PASLde 2007 a 2012,
enfocándose en el resumen narrativo de los niveles de Fin, Propósito y Componentes y en los
indicadores de Fin y de Propósito. Los cambios se presentan primero del resumen narrativo y
posteriormente de los indicadores para cada año.
4.2.2
Análisis 2007-2008
Resumen narrativo
De 2007 a 2008, el Fin se mantuvo sin modificaciones. El objetivo planteado por el programa se
refería a la contribución a mejorar los niveles de nutrición para el desarrollo de capacidades en la
población en condiciones de pobreza. Dicho objetivo es específico y claro.
Para este periodo, a nivel de Propósito, no hubo modificaciones. El planteamiento del objetivo era
correcto y se refería a “Los hogares beneficiarios acceden al consumo de leche fortificada, de
calidad a bajo costo en apoyo a su economía”.
En 2008, dada la claridad de los objetivos de Fin y de Propósito, se pudo determinar que el logro
del Propósito contribuyó al logro del Fin, y tenían una vinculación directa.
Por último, a nivel de Componentes, en 2008 se mantuvo el Componente que el programa tenía
en 2007; sin embargo, se agregó un Componente que se refiere a la producción de leche
fortificada y de calidad.
Para 2008, los Componentes en su conjunto fueron los suficientes pero no los necesarios, ya que
hacían falta incorporar otros apoyos que el programa otorgaba a sus beneficiarios.
67
Resumen
narrativo
2007
Contribuir a mejorar los niveles de
nutrición para el desarrollo de
Fin
capacidades en la población en
condiciones de pobreza.
Los hogares beneficiarios acceden al
consumo de leche fortificada y de
Propósito
calidad, a bajo costo en apoyo a su
economía.
Distribución garantizada de leche
fortificada y de calidad, a un precio
menor al del mercado, para la
Componentes población beneficiaria del programa.
---
2008
Contribuir a mejorar los niveles de
nutrición para el desarrollo de
capacidades en la población en
condiciones de pobreza.
Los hogares beneficiarios acceden al
consumo de leche fortificada y de
calidad, a bajo costo en apoyo a su
economía.
Distribución garantizada de leche
fortificada y de calidad, a un precio
menor al del mercado, para la
población beneficiaria del programa.
Producción de leche fortificada y de
calidad.
Indicadores
De 2007 a 2008, a nivel de Fin, se mantuvieron los dos indicadores que medían la prevalencia de
desnutrición en niños. Los dos indicadores medían lo mismo, y con uno de ellos bastaba para
medir la variable “prevalencia de desnutrición”. Aunque se hicieron acotaciones a los dos
indicadores, prevaleció la situación de medir lo mismo en dos indicadores, por lo que debería
eliminarse alguno de los dos.
A nivel de Propósito, de 2007 a 2008, permanecieron los tres indicadores. El programa midió en
sus indicadores de Propósito el margen de ahorro de las familias beneficiarias, el consumo
promedio de mililitros de leche y el porcentaje de hogares beneficiarios. Este último indicador es
una medición de la cobertura del programa, por lo que no mide resultados y se debe eliminar, ya
que este tipo de indicadores son más adecuados en los Componentes.
Indicadores
Fin
2007
Prevalencia de desnutrición, en niños
menores de 5 años, con relación a la
línea base de 2006.
Prevalencia de desnutrición de los
niños beneficiarios, participantes en la
1ª. Evaluación de Impacto, con
relación al mismo grupo de población
no beneficiaria.
2008
Prevalencia de desnutrición de los
niños beneficiarios, evaluados.
Prevalencia de desnutrición, en niños
menores de 5 años, con relación a la
línea base de 2006.
68
El margen de ahorro de las familias El margen de ahorro de las familias
beneficiarias del programa.
beneficiarias del programa.
Propósito
4.2.3
El consumo promedio de mililitros por El consumo promedio de mililitros por
día de los beneficiarios Liconsa vs la día de los beneficiarios Liconsa vs la
recomendación de la OMS.
recomendación de la OMS.
Porcentaje de hogares beneficiarios
Hogares beneficiarios del PASL con
del PASL con relación a los hogares
relación a la población objetivo.
objetivo.
Análisis 2008-2009
Resumen narrativo
De 2008 a 2009, el Fin y el Propósito tuvieron acotaciones importantes. Por un lado, en el Fin se
hacía referencia a contribuir al desarrollo de capacidades básicas, mejorando los niveles de
nutrición de la población en condiciones de pobreza patrimonial, en lugar de contribuir a mejorar
los niveles de nutrición para el desarrollo de capacidades en la población en condiciones de
pobreza; es decir, el objetivo al que estaba relacionado (la nutrición). En 2009, se colocó como el
medio para contribuir al desarrollo de capacidades básicas, lo cual, es más general, pero no
necesariamente más adecuado.
A nivel de Propósito, únicamente se acotó a la población objetivo, al colocar a “los hogares
beneficiarios en pobreza patrimonial”, por ser más adecuado, ya que de esta forma la población
objetivo es más específica.
Para 2009, dado que el Fin se generalizó colocando un término un tanto ambiguo (capacidades
básicas), no es posible determinar que el logro del Propósito contribuye al logro del Fin. Además
de que no se tenía claridad sobre lo que éste representaba puesto que no se estableció en la MIR
ni en las ROPde ese año una definición para “capacidad básica”. De acuerdo con la Metodología de
Marco Lógico (MML), a nivel de Fin, debe establecerse el objetivo a cuyo logro contribuye el
programa de manera más directa y significativa.
A nivel de Componentes, se eliminó uno de los que el programa tenía referente a la distribución
de leche fortificada y de calidad y se incorporó uno similar; esta situación hizo que los dos
Componentes hicieran referencia al mismo entregable (leche fortificada), lo cual no es adecuado.
Los Componentes en su conjunto no son los suficientes y necesarios ya que se duplican, son muy
similares o hacen referencia al mismo producto que se entrega a los beneficiarios, o bien,
únicamente se coloca el adjetivo “distribuida de manera oportuna”.
Resumen
narrativo
Fin
Propósito
2009
Contribuir al desarrollo de capacidades básicas mejorando los niveles de
nutrición de la población en condiciones de pobreza patrimonial.
Los hogares beneficiarios en pobreza patrimonial acceden al consumo de leche
fortificada y de calidad, a bajo precio.
69
Leche fortificada y de calidad producida.
Componentes
Leche a un precio menor al del mercado, distribuida de manera oportuna a la
población beneficiaria del programa.
Indicadores
De 2008 a 2009, a nivel de Fin se mantiene el indicador que mide la prevalencia de desnutrición en
niños. Este indicador es adecuado, por lo que fue apropiado eliminar el otro, que hacía referencia
al mismo tema.
A nivel de Propósito, de 2008 a 2009, se mantuvo a los indicadores de margen de ahorro de las
familias beneficiarias y de cobertura. El indicador de cobertura no es adecuado para el Propósito;
es mejor su ubicación en Componentes. Además, se incorporaron cinco indicadores que no
aportaban mayor información que la de los otros dos, es decir, el consumo de leche y la cobertura
del programa por lo que no debieron haberse agregado.
Por lo anterior, en 2009, en general, los indicadores de Fin y de Propósito no se consideran
adecuados para medir los resultados del programa; a nivel de Propósito los indicadores de
Número de hogares beneficiarios, beneficiarios del programa, número de litros distribuidos y su
promedio, son indicadores cuya ubicación se encuentra mejor a nivel de Componentes, ya que no
cuentan con una relación directa con el objetivo de Propósito.
Indicadores
Fin
2009
Prevalencia de desnutrición de los niños beneficiarios, evaluados.
El margen de ahorro de las familias beneficiarias del programa.
Porcentaje de cobertura de los hogares objetivo.
Propósito
Número de hogares beneficiarios.
Número de beneficiarios del Programa.
Número de litros de leche distribuidos.
Promedio de litros distribuidos por beneficiario al mes (Factor de Retiro).
4.2.4
Análisis 2009-2010
Resumen narrativo
De 2009 a 2010, el Fin del programa se mantuvo sin cambios al hacer referencia a su contribución
al desarrollo de capacidades básicas mejorando los niveles de nutrición de la población en
condiciones de pobreza patrimonial; sin embargo, el objetivo al que estaba relacionado (la
nutrición), en 2009 se colocó como el medio para contribuir al desarrollo de capacidades básicas,
lo cual, es más general y no necesariamente más adecuado.
70
A nivel de Propósito, en 2010, se mantuvo como en 2009, con la población objetivo acotada a “los
hogares beneficiarios en pobreza patrimonial” por ser más adecuado, ya que de esta forma, la
población objetivo es específica.
En 2010, se eliminó uno de los Componentes que en 2009 eran muy similares, por lo que el ajuste
fue adecuado para la estructura del resumen narrativo.
Para 2010, dado que el Fin continuó con un término un tanto ambiguo (capacidades básicas), no
es posible determinar que el logro del Propósito contribuye al logro del Fin.
Resumen
narrativo
Fin
Propósito
2010
Contribuir al desarrollo de capacidades básicas mejorando los niveles de
nutrición de la población en condiciones de pobreza patrimonial.
Los hogares beneficiarios en pobreza patrimonial acceden al consumo de leche
fortificada y de calidad, a bajo precio.
Componentes Leche fortificada y de calidad producida.
Indicadores
De 2009 a 2010, a nivel de Fin, se modifica el indicador que mide la prevalencia de desnutrición en
niños. Este indicador es adecuado, ya que mide una dimensión del objetivo. El otro indicador
(Prevalencia de desnutrición de los niños beneficiarios, evaluados) fue eliminado de forma
adecuada, ya que no aportaba mayor información adicional.
En 2010, se eliminaron los indicadores que se habían agregado en 2009 y que no eran adecuados,
ya que no aportaban información adicional a la de los demás indicadores. Con esta eliminación de
indicadores, a nivel de Propósito en 2010, el programa mide sus resultados a través de “Margen
de ahorro de las familias beneficiarias del programa” y “Porcentaje de cobertura de los hogares
objetivo”.
Indicadores
Fin
2010
Prevalencia de desnutrición en niños menores de 5 años, con relación a la línea
base de 2006.
El margen de ahorro de las familias beneficiarias del programa.
Propósito
Porcentaje de cobertura de los hogares objetivo.
4.2.5
Análisis 2010-2011
Resumen narrativo
De 2010 a 2011, el Fin del programa se mantuvo sin cambios al hacer referencia a su contribución
al desarrollo de capacidades básicas mejorando los niveles de nutrición de la población en
71
condiciones de pobreza patrimonial; sin embargo, el objetivo al que estaba relacionado (la
nutrición), en 2009, se colocó como el medio para contribuir al desarrollo de capacidades básicas,
lo cual, es más general, pero no necesariamente más adecuado.
A nivel de Propósito en 2011, se mantuvo como en 2010 con la población objetivo acotada a “los
hogares beneficiarios en pobreza patrimonial”, por ser más adecuado, ya que de esta forma la
población objetivo es específica. En 2011, se mantuvo el mismo Componente que en 2010, el cual
representa el producto que el programa entrega a sus beneficiarios.
Para 2011,el Fin se modifico a “Contribuir a promover el acceso a una alimentación que reúna los
requisitos mínimos nutricionales de la población en condiciones de pobreza patrimonial”, lo cual
es más preciso y concreto, considerándose más acorde en la lógica con el propósito del programa.
Resumen
narrativo
Fin
Propósito
2011
Contribuir a promover el acceso a una alimentación que reúna los requisitos
mínimos nutricionales de la población en condiciones de pobreza patrimonial.
Los hogares beneficiarios en pobreza patrimonial acceden al consumo de leche
fortificada y de calidad, a bajo precio.
Componentes Leche fortificada y de calidad producida.
Indicadores
De 2010 a 2011, a nivel de Fin, se mantiene el indicador que mide la prevalencia de desnutrición
en niños. Este indicador es adecuado ya que mide una dimensión del objetivo. Únicamente se
eliminó la referencia “en relación a la línea base de 2006”, pero no modificó la estructura básica
del indicador.
En 2011, se mantuvieron los indicadores de 2010, con los que el programa mide sus resultados a
través del “Margen de ahorro de las familias beneficiarias del programa” y “Porcentaje de
cobertura de los hogares objetivo”.
Indicadores
Fin
2011
Prevalencia de desnutrición en niños menores de 5 años (talla para la edad).
Margen de ahorro de las familias beneficiarias del programa.
Propósito
Porcentaje de cobertura de los hogares objetivo.
72
4.2.6
Análisis 2011-2012
Resumen narrativo
A nivel de Fin no hay cambio.A nivel de Propósito en 2012, se mantuvo como en 2011 con la
población objetivo acotada a “los hogares beneficiarios en pobreza patrimonial”, por ser más
adecuado, ya que de esta forma la población objetivo es específica.
En 2012 se mantuvo el mismo Componente que en 2011 y representa el producto que el
programa entrega a sus beneficiarios.
Con la modificación en el Fin, se determina que la lógica causal del programa fue mejorada y se
puede decir que el logro del Propósito contribuye al logro del Fin.
Para 2012, dado que el Fin continuó con un término un tanto ambiguo (capacidades básicas), no
es posible determinar que el logro del Propósito contribuye al logro del Fin.
Resumen
narrativo
Fin
Propósito
2012
Contribuir a promover el acceso a una alimentación que reúna los requisitos
mínimos nutricionales de la población en condiciones de pobreza patrimonial.
Los hogares beneficiarios en pobreza patrimonial acceden al consumo de leche
fortificada y de calidad, a bajo precio.
Componentes Leche fortificada y de calidad producida.
Indicadores
De 2011 a 2012, a nivel de Fin, se mantiene el indicador que mide la prevalencia de desnutrición
en niños, el cual es adecuado para medir una de las posibles dimensiones del objetivo.
En 2012, se mantuvieron los indicadores de 2011, con los que el programa mide sus resultados a
través del “Margen de ahorro de las familias beneficiarias del programa” y “Porcentaje de
cobertura de los hogares objetivo”.
Indicadores
Fin
2012
Prevalencia de desnutrición en niños menores de 5 años (talla para la edad).
Margen de ahorro de las familias beneficiarias del programa.
Propósito
Porcentaje de cobertura de los hogares objetivo.
4.3
Principales comentarios a la Matriz de Indicadores 2007-2012
En esta sección se hace un resumen de los principales comentarios emitidos a la MIR del PASL de
2007 a 2012 por evaluadores externos, los cuales fueron rescatados de la documentación
proporcionada para esta Meta evaluación11. Los comentarios se presentan primero del Fin,
11
Para el PASL se revisaron los siguientes documentos proporcionados al Meta-evaluador:
73
posteriormente del Propósito, después de los Componentes y finalmente se presentan los
comentarios que se identificaron como generales. Los resultados aquí presentados reflejan lo
encontrado en la citada evaluación en el momento en que se llevó a cabo y no necesariamente
siguen vigentes o reflejan la opinión del Meta-evaluador.
Cuando se establece que “No se cuenta con comentarios”, significa que no se identificaron
comentarios realizados por los actores mencionados en los documentos revisados.
4.3.1
Fin
A continuación se describirán los principales comentarios de las diversas evaluaciones a nivel Fin
de la MIR de 2007 a 2012.
Principales comentarios MIR 2007 – Fin
Resumen narrativo
• No se cuenta con comentarios a la MIR.
Indicadores
• No se cuenta con comentarios para los indicadores.
Principales comentarios MIR 2008 - Fin
Resumen narrativo
• No se cuenta con comentarios a la MIR.
Indicadores
• No se cuenta con comentarios para los indicadores.
Principales comentarios MIR 2009 - Fin
Resumen narrativo
• No se cuenta con comentarios a la MIR.
Indicadores
• No se cuenta con comentarios para los indicadores.
Principales comentarios MIR 2010 - Fin
Resumen narrativo
• Se recomienda definir el concepto “promover el acceso a una alimentación"; aunque el
contexto permite tener una idea general de esta definición, es recomendable precisarla.
Indicadores
• No se cuenta con comentarios para los indicadores.
Principales comentarios MIR 2011 - Fin
Resumen narrativo
• No se cuenta con comentarios a la MIR.
•
•
•
•
Evaluación de Consistencia y Resultados 2007 del Programa de Abasto Social de Leche
Comentarios a la MIR emitidos por el CONEVAL
Auditoría al Desempeño ASF
Histórico de Aspectos Susceptibles de Mejora
74
Indicadores
• No se cuenta con comentarios para los indicadores.
Principales comentarios MIR 2012 -Fin
Resumen narrativo
• No se cuenta con comentarios a la MIR.
Indicadores
• No se cuenta con comentarios para los indicadores.
4.3.2
Propósito
A continuación se describirán los principales comentarios de las distintas evaluaciones a nivel
Propósito de la MIR de 2007 a 2012.
Principales comentarios MIR 2007 - Propósito
Resumen narrativo
• No se cuenta con comentarios a la MIR.
Indicadores
• No se cuenta con comentarios para los indicadores.
Principales comentarios MIR 2008- Propósito
Resumen narrativo
• No se cuenta con comentarios a la MIR.
Indicadores
• No se cuenta con comentarios para los indicadores.
Principales comentarios MIR 2009- Propósito
Resumen narrativo
• No se cuenta con comentarios a la MIR.
Indicadores
• No se cuenta con comentarios para los indicadores.
Principales comentarios MIR 2010- Propósito
Resumen narrativo
• No se cuenta con comentarios a la MIR.
Indicadores
• No se cuenta con comentarios para los indicadores.
Principales comentarios MIR 2011- Propósito
Resumen narrativo
• No se cuenta con comentarios a la MIR.
Indicadores
• No se cuenta con comentarios para los indicadores.
75
Principales comentarios MIR 2012- Propósito
Resumen narrativo
• No se cuenta con comentarios a la MIR.
Indicadores
• No se cuenta con comentarios para los indicadores.
4.3.3
Componentes
A continuación se describirán los principales comentarios de las distintas evaluaciones a nivel
Componentes de la MIR de 2007 a 2012.
Principales comentarios MIR 2007 - Componentes
Resumen narrativo
• No se cuenta con comentarios a la MIR.
Principales comentarios MIR 2008- Componentes
Resumen narrativo
• No se cuenta con comentarios a la MIR.
Principales comentarios MIR 2009- Componentes
Resumen narrativo
• No se cuenta con comentarios a la MIR.
Principales comentarios MIR 2010- Componentes
Resumen narrativo
• No se cuenta con comentarios a la MIR.
Principales comentarios MIR 2011- Componentes
Resumen narrativo
• No se cuenta con comentarios a la MIR.
Principales comentarios MIR 2012- Componentes
Resumen narrativo
• No se cuenta con comentarios a la MIR.
4.4
Comentarios generales
En esta sección se hace un recuento de los comentarios generales en el resumen narrativo e
indicadores que han hecho a la MIR de 2007 a 2012 del PASL, para ello se identifican los
comentarios de las diversas evaluaciones para cada periodo.
Principales comentarios MIR 2007
Resumen narrativo
76
• No se cuenta con comentarios a la MIR.
Indicadores
• No se cuenta con comentarios para los indicadores.
Principales comentarios MIR 2008
Resumen narrativo
• En los Aspectos Susceptibles de Mejora, Mecanismo 2008, el programa se comprometió a
“Elaborar un programa estratégico a mediano y largo plazo en el que se definan las líneas
de acción, apoyadas en la metodología de la MML”12. Por ello, el programa elaboró dicho
Programa estratégico de mediano y largo plazo, cumpliendo de esta forma con el
compromiso establecido.
•
En los Aspectos Susceptibles de Mejora, Mecanismo 2008, el programa se comprometió a
elaborar la Matriz de Marco Lógico 2009 con base en las recomendaciones, por lo que se
consideraron las recomendaciones y se elaboró la Matriz de Indicadores 2009.
En los Aspectos Susceptibles de Mejora, Mecanismo 2008, el programa se comprometió a
vincular las Reglas de Operación y la Matriz de Marco Lógico para fortalecer la gestión
orientada a resultados, por lo que el programa, tomando en cuenta los Lineamientos para
la Vinculación, homogeneizó la estructura de las Reglas de Operación 2009 y las vinculó
con las matrices de indicadores de resultados de los programas.
Indicadores
• No se cuenta con comentarios para los indicadores.
•
Principales comentarios MIR 2009
Resumen narrativo
• No se cuenta con comentarios a la MIR.
Indicadores
• Se recomienda que LICONSA realice las acciones necesarias, a fin de que los indicadores
incluidos en la Matriz de Indicadores para Resultados se construyan con base en lo
establecido en la normativa del Sistema de Evaluación del Desempeño.
Principales comentarios MIR 2010
Resumen narrativo
• No se cuenta con comentarios a la MIR.
Indicadores
• Se recomienda que LICONSA, S.A. de C.V. realice las acciones necesarias, a fin de que los
indicadores incluidos en la Matriz de Indicadores para Resultados del Programa de Abasto
Social de Leche establezcan un referente que determine si el logro de las metas es
suficiente para cumplir con los objetivos del programa.
12
Evaluación de Consistencia y Resultados 2007 del Programa de Abasto Social de Leche.
77
Principales comentarios MIR 2011
Resumen narrativo
• No se cuenta con comentarios a la MIR.
Indicadores
• Se recomienda revisar la Matriz de Indicadores de Resultados y de manera específica el
indicador a nivel de Fin.
Principales comentarios MIR 2012
Resumen narrativo
• No se cuenta con comentarios a la MIR.
Indicadores
• No se cuenta con comentarios para los indicadores.
4.5
Análisis del resumen narrativo de la Matriz de Indicadores para Resultados 2012
En esta sección el Meta-evaluador hace un análisis de la MIR 2012 y de su correspondencia con las
ROP de ese año para los niveles de Fin, Propósito y Componentes. También, se presentan las
propuestas de mejora para la MIR 2013 del resumen narrativo y de los indicadores de Fin y de
Propósito.
4.5.1 Análisis de la MIR 2012 y vínculo con las Reglas de Operación
Fin
El Fin del programa se ha ido detallando y las modificaciones que ha tenido han sido para
la mayor precisión de este objetivo. Desde 2007, el programa expresaba el objetivo
relacionándolo con “capacidades básicas”, el cual, aunque definido, determinaba un
concepto ambiguo; sin embargo, para la MIR 2012, la expresión del objetivo se modifico
hacia la contribución a promover el acceso a una alimentación que reúna los requisitos
mínimos nutricionales, siendo más preciso y concreto.
Propósito
• El Propósito del programa se ha ido detallando, al igual que el Fin. Es necesario que se
especifique si el resultado que el programa quiere es el mejoramiento de la nutrición de
sus beneficiarios.
Componentes
• El apoyo descrito en las Reglas de Operación está definido como “abasto comunitario”, el
cual difiere del especificado como Componente en la MIR. No obstante que las
características descritas en las Reglas de Operación apuntan al Componente, se
recomienda que sea definido tal y como se encuentra en la MIR (Leche fortificada y de
calidad).
78
4.5.2 Propuesta de mejoras para MIR 2013
A continuación se emiten algunas propuestas de mejora a nivel Fin y Propósito para la MIR 2013.
Fin
Contribuir al desarrollo de las capacidades básicas en educación y salud de las personas con
ingresos menores a la línea de bienestar, a través de la disminución de su riesgo nutricional.
Propósito
Las personas con ingresos por debajo de la línea de bienestar disminuyen su riesgo nutricional.
4.6
Análisis de los indicadores de Fin y de Propósito
4.6.1 Indicadores de la MIR 2012
En esta sección se valoran los indicadores de Fin y Propósito de la MIR 2012.
Fin
•
El indicador es poco relevante, supone que la variación en la desnutrición en niños (baja
talla para la edad) es imputable en su totalidad a los efectos del programa en la población.
Propósito
• Aunque el número de indicadores ha sido relativamente estable, el indicador "Hogares
beneficiarios del PASL respecto de los Hogares objetivo de conformidad con el Reporte de
Cifras de la Pobreza en México del CONEVAL." es un indicador de cobertura, el cual puede
proporcionar mejor información a nivel de componente, ya que en Propósito se deben
medir los resultados del programa.
4.6.2 Propuesta de mejoras para indicadores MIR
A continuación se emiten algunas propuestas de mejora a los indicadores de nivel Fin y Propósito
para la MIR 2013.
Fin
Para medir el impacto del programa a nivel de Fin, se sugiere sustituir el indicador actual por los
siguientes:
•
Diferencia en los resultados de las pruebas estandarizadas de desarrollo cognitivo y
lingüístico en los niños de familias beneficiarias, con respecto a la misma variable en los
niños de familias no beneficiarias.
La fórmula de cálculo de los indicadores se propone en los siguientes términos:
79
,
,
Donde:
DDCL: Diferencia de promedios en los resultados de las pruebas de desarrollo cognitivo y
lingüístico
DCL: Promedio simple de los resultados las pruebas de desarrollo cognitivo y lingüístico.
T: Tratamiento
C: Comparación
t+1:Periodo actual (con exposición al programa)
•
Diferencia en la incidencia de enfermedades gastrointestinales en niños menores de 5 años
de las familias beneficiarias, con respecto a la misma variable de los niños de las familias no
beneficiarias.
La fórmula de cálculo de los indicadores se propone en los siguientes términos:
,
,
Donde:
DEGI: Diferencia de promedios de los resultados de la incidencia de enfermedades
gastrointestinales en niños menores de 5 años de las familias beneficiarias, con
respecto a la misma variable de los niños de las familias no beneficiarias.
EGI: Promedio simple de los resultados de incidencia de enfermedades gastrointestinales.
T: Tratamiento
C: Comparación
t+1:Periodo actual (con exposición al programa)
Propósito
• El indicador de “Margen de ahorro por litro de leche de las familias beneficiarias del
programa”, si bien se refiere a un beneficio, no refleja el efecto del programa sobre la
desnutrición o el riesgo nutricional de las familias. Se sugiere eliminarlo o enviarlo al nivel
de Componentes, en tanto que refleja una cualidad del bien o servicio entregado por el
programa, ya sea en forma de ahorro o de diferencial de precio. Para este indicador, se
podría tomar en cuenta a partir de la información de gasto, precio y cantidad reportada en
la ENIGH.
• Se recomienda enviar el indicador "Porcentaje de cobertura de los hogares objetivo" a
nivel de Componentes, por referirse a la cobertura.
• Como opciones de indicadores en este nivel, se pueden tomar en cuenta los siguientes:
80
a) Diferencia en el consumo promedio de leche por persona de las familias beneficiarias
con ingresos menores a la línea de bienestar, con respecto de la misma variable para las
familias no beneficiarias.
∑ ,
, ∑ ,
, Donde:
DDCPL: Doble diferencia en el consumo promedio de leche por persona de las familias
beneficiarias con ingresos menores a la línea de bienestar, con respecto de la
misma variable para las familias no beneficiarias.
CPL: Consumo promedio de leche por persona
T: Tratamiento
C: Comparación
i: Observación del grupo de tratamiento
j: Observación del grupo de control
t+1: Periodo actual (con exposición al programa)
n: Submuestra del grupo de tratamiento
k: Submuestra del grupo de comparación
b) Diferencia en el puntaje Z de crecimiento de variables seleccionadas de niños menores
de 12 años entre familias beneficiarias y no beneficiarias
∑ ,
, ∑ ,
, Donde:
DDPZ: Doble diferencia en el valor de puntaje Z entre familias beneficiarias y no
beneficiarias
T: Tratamiento
C: Comparación
i: Individuo del grupo de tratamiento
j: Individuo del grupo de control
t+1: Periodo actual (con exposición al programa)
n: Submuestra del grupo de tratamiento
k: Submuestra del grupo de comparación
81
c) Diferencia en la prevalencia de anemia en mujeres embarazadas o en lactancia de
familias beneficiarias, con respecto a la misma variable de las mujeres de las familias no
beneficiarias.
∑ ,
, ∑ ,
, Donde:
DDPAMEL: Doble diferencia en el valor de la prevalencia de anemia en mujeres
embarazadas y en lactancia
PAMEL: Prevalencia de anemia en mujeres embarazadas y en lactancia
T: Tratamiento
C: Comparación
i: Individuo del grupo de tratamiento
j: Individuo del grupo de control
t+1: Periodo actual (con exposición al programa)
n: Submuestra del grupo de tratamiento
k: Submuestra del grupo de comparación
82
5. Conclusiones
Como se puede apreciar a lo largo del presente trabajo, en periodo de 2007 a 2012 se realizaron
un total de seis evaluaciones externas al programa, en las cuales se analizaron diversos aspectos
específicos asociados a su diseño, operación y resultados. Los hallazgos de estas evaluaciones
sirvieron para identificar un conjunto de fortalezas, oportunidades, debilidades y amenazas, así
como para proponer recomendaciones; a su vez, estos elementos derivaron en aspectos
susceptibles de mejora, a los cuales se le dio seguimiento a través de los mecanismos establecidos.
La revisión permitió constatar que el programa implementó acciones que resolvieron algunos de
los problemas identificados e implicaron diversas mejoras.
Con todo, en opinión del equipo metaevaluador y a la fecha de realización este ejercicio, subsisten
diversas deficiencias y áreas de oportunidad identificadas en las evaluaciones anteriores que la
SEDESOL y los responsables del programa deben considerar y retomar, para mejorar su
desempeño. Aquellas que se consideraron relevantes y vigentes aparecen en el análisis FODA
global, que incluye también las recomendaciones de los evaluadores originales y, en algunos
casos, notas y recomendaciones propias del equipo metaevaluador cuando se consideró
pertinente hacerlo.
Asimismo, en el desarrollo del ejercicio se analizaron evaluaciones hechas a otros programas
considerados como similares al PASL ya fuera en función de sus objetivos, poblaciones atendidas o
componentes particulares. El análisis derivó en diversos elementos relevantes, incluyendo la
confirmación de que, con un diseño y condiciones adecuadas, programas como el PASL pueden
efectivamente lograr resultados en cuanto a fortalecer los niveles nutricionales de los niños que
viven por debajo de la línea de bienestar. Estas evaluaciones sirvieron también para identificar
indicadores, metodologías y fuentes de información que pueden ser útiles para evaluar el
desempeño del programa.
En cuanto a la agenda de evaluación 2013-2018, se propuso una secuencia lógica y ordenada de
las evaluaciones a realizar al programa, considerando una justificación técnica y empírica sobre la
importancia que cada ejercicio podría tener. Se propuso primero elaborar un estudio de
Diagnóstico y propuestas de atención, luego una Evaluación de diseño, posteriormente una
Evaluación de impacto, después una Evaluación de procesos, y finalmente una Evaluación de
consistencia y resultados. Esta secuencia buscó brindar una base sólida de datos, análisis y
estrategia para anclar el diseño, la operación y los resultados del programa durante la siguiente
administración federal, de forma tal que cada año se puedan informar los cambios y refinamientos
en diversos aspectos relevantes.
Dada la importancia de corroborar en los hechos los cambios que el PASL puede generar para
revertir el problema que le dio origen, la metaevaluación incorporó una propuesta más detallada
para una evaluación de impacto. En ella, se describieron la metodología y las fuentes de
información necesarias para llevar a cabo la evaluación, conforme a los estándares y mejores
prácticas en la materia, a la naturaleza de las variables específicas a medir así como a las
características específicas del programa. La propuesta se acompañó de un análisis de pertinencia y
83
de viabilidad técnica y financiera, que justifica la necesidad de realizar este tipo evaluación al
programa.
Como un elemento de valor agregado que complementa los análisis previos, se desarrollaron una
serie de reflexiones y recomendaciones sobre la situación actual del PASL, que si bien construyen
sobre el análisis de las evaluaciones antes revisadas, en algunos casos llegaron a conclusiones
distintas al replicar los ejercicios metodológicos de forma más amplia y rigurosa. Estas reflexiones
y recomendaciones son responsabilidad exclusiva del metaevaluador, y se enfocaron
principalmente en aspectos asociados al diseño del programa. Por su importancia, se enfatizó y se
elaboró ampliamente sobre la identificación y especificación del problema focal así como sobre la
definición de las poblaciones potencial y objetivo. Las reflexiones y recomendaciones de esta
sección respetaron los elementos básicos del diseño y la lógica interna actuales del programa; por
lo tanto, sólo se propuso mejorar la consistencia de dichos elementos básicos del programa, a
efecto de mejorar su desempeño. Un análisis más amplio de la adecuación del diseño, operación y
resultados del programa queda fuera del alcance de esta metaevaluación, y sería en su caso objeto
de otro estudio.
Finalmente, también a lo largo de estos años distintas instancias normativas, fiscalizadoras y
evaluadoras hicieron una serie de observaciones y recomendaciones para mejorar las matrices de
indicadores de resultados del PASL, tanto en sus resúmenes narrativos como en los indicadores
para monitoreo. Cabe señalar que, en opinión del equipo metaevaluador, algunas de estas
observaciones y recomendaciones no necesariamente fueron adecuadas ni eran consistentes
entre sí; por otro lado, a pesar de los cambios que sí se implementaron, en algunos casos
subsisten deficiencias y áreas de oportunidad. Por ello, y considerando la historia de los cambios
en la MIR y lo que falta por hacer, el equipo metaevaluador recomendó algunas mejoras y
refinamientos en los resúmenes narrativos y los indicadores del programa en los niveles de Fin y
Propósito, respetando el diseño básico actual y los resultados que se esperan del mismo.
84
6. Bibliografía
6.1
Documentos sobre el programa
Beta Korosi Consultoría (2007). Evaluación de Consistencia y Resultados del Programa de Abasto
Social de Leche, a cargo de Liconsa, S.A de C.V.(ECR07-BK)
Bernardo Hernández Prado (2009). Evaluación Específica de Desempeño 2008-2009. (EED08/09)
Evelyne Eugenia Rodríguez Ortega (2010). Evaluación Específica de Desempeño 2009-2010.
(EED09/10)
Evelyne Eugenia Rodríguez Ortega (2010). Evaluación Específica de Desempeño 2010-2011.
(EED10/11)
Consejo Nacional de Evaluación de la Política de Desarrollo Social (2008-2012). Informes de
Sesiones de la Mesa Técnica de Revisión de Indicadores: Programa de Abasto Social de Leche a
cargo de Liconsa, S.A. de C.V.
Instituto Nacional de Salud Pública (2009). Análisis del impacto de la fortificación de la leche
Liconsa con hierro, zinc y otros micronutrimentos sobre el rendimiento escolar de la población de
beneficiarios del Programa de Abasto Social de Leche a cargo de LICONSA. Centro de Investigación
en Nutrición y Salud (EI09-INSP)
---------------- (2006). Proyecto de Seguimiento de Efectividad de la Fortificación de la leche Liconsa
con hierro, zinc y otros micronutrimentos sobre la prevalencia de anemia, la deficiencia de
micronutrimentos y el desarrollo neuroconductual de la población de beneficiarios del programa
de Abasto Social de Leche LICONSA. Centro de Investigación en Nutrición y Salud. (EI06-INSP)
---------------- (2004). Impacto de la leche fortificada Liconsa en el estado de nutrición de los niños
beneficiarios del Programa de Abasto Social. Centro de Investigación en Nutrición y Salud (EI04INSP)
Liconsa, S.A. de C.V. (2007-2012). Matriz de Indicadores de Resultados del Programa de Abasto
Social de Leche.
--------------- (2008-2012). Fichas Técnicas de la Matriz de Indicadores de Resultados del Programa
de Abasto Social de Leche.
--------------- (2007-2011). Auditorías al Programa de Abasto Social de Leche.
Secretaría de Desarrollo Social. (2007-2012). Reglas de Operación del Programa de Abasto Social
de Leche.
--------------- (2008-2012). Aspectos Susceptibles de Mejora Derivados de Informes y Evaluaciones
Externas a los Programas Presupuestarios: Posición Institucional sobre el Programa de Abasto
Social de Leche a cargo de Liconsa S.A. de C.V.
--------------- (2008-2011). Seguimiento a Aspectos Susceptibles de Mejora Derivados de Informes y
Evaluaciones Externas a los Programas Presupuestarios: Documento de Trabajo del Programa de
Abasto Social de Leche a cargo de Liconsa, S.A. de C.V.
85
--------------- (2011). Nota sobre Población Potencial y Población Objetivo del Programa de Abasto
Social de Leche a cargo de Liconsa S.A. de C.V.
--------------- (2010). Diagnostico sobre la Población en Condiciones de Pobreza Vulnerable a los
Efectos de la Desnutrición.
Secretaría de Hacienda y Crédito Público (2012). Aspectos Susceptibles de Mejora Derivados de
Informes y Evaluaciones Externas a los Programas Presupuestarios: Seguimiento Histórico del
Programa de Abasto Social de Leche a cargo de Liconsa, de C.V.
Universidad Intercultural del Estado de México (2012). Evaluación de Consistencia y Resultados
2011-2012 del Programa de Abasto de Abasto Social de Leche cargo de Liconsa, S.A. de C.V.
(ECR11/12)
6.2 Documentos de otros programas similares
Cancho, Cesar, Rafael Novela, (2004) “Programas de transferencia de alimentos: Análisis empírico
de la efectividad del programa de Vaso de Leche”
Powell, Christine,A, Susan P. Walker, Susan M Chang and Grantham,Sally, (1998) “Nutrition and
education: a randomized trial of the effects of breakfast in rural primary school children”. The
American Journal Society for Clinical Nutrition. No.68. USA
6.3 Documentos normativos y programáticos
Consejo Nacional de Evaluación de la Política de Desarrollo Social (2010). Diagnóstico de Matrices
de Indicadores para Resultados 2010. Principales Hallazgos.
-------------- (2008). Informe de Evaluación de la Política de Desarrollo Social en México.
-------------- (2007). Modelo de TDR de la Evaluación de Consistencia y Resultados 2007, Anexo 02,
Nota Técnica con los Principales Conceptos de la Matriz de Indicadores.
Secretaría de Hacienda y Crédito Público, Secretaría de la Función Pública y Consejo Nacional de
Evaluación de la Política de Desarrollo Social (2007). Lineamientos Generales para la Evaluación de
los Programas Federales de la Administración Pública Federal.
Secretaría de Hacienda y Crédito Público y Consejo Nacional de Evaluación de la Política de
Desarrollo Social (2010) Guía para la Construcción de la Matriz de Indicadores para Resultados.
------------- (2010). Guía para el Diseño de Indicadores Estratégicos.
Secretaría de Hacienda y Crédito Público (2008). Oficio Circular 307-a.-1593, Lineamientos
Generales para el Proceso de Programación y Presupuestación para el Ejercicio Fiscal 2008, Anexo
Dos: Metodología para la Elaboración de la Matriz de Indicadores de los Programas
Presupuestarios de la APF. Unidad de Política y Control Presupuestario.
86
--------------- (2007). Circular 307-A-0221. Lineamientos para la Actualización de la Matriz de
Indicadores de los Programas Presupuestarios y la Elaboración de los Calendarios de Metas de los
Indicadores del Presupuesto de Egresos de la Federación para el Ejercicio Fiscal 2008. Unidad de
Política y Control Presupuestario.
6.4 Documentos teóricos y metodológicos
ALDUNATE,
Eduardo, (2004), “Metodología del Marco Lógico”. Boletín del Instituto, 15,
Latinoamericano y del Caribe de Planificación Económica y Social (ILPES). Santiago de Chile.
ALDUNATE, Eduardo y Julio Córdoba, (2011), “Formulación de programas con la metodología de
marco lógico”,Serie Manuales, 45, ILPES-CEPAL, Santiago de Chile.
BONNEFOY,
Juan Cristóbal y Marianela Armijo, (2005), “Indicadores de desempeño en el sector
público”.Serie Manuales, 45, ILPES-CEPAL, Santiago de Chile.
Cortés, Fernando. (2002) “Algunos aspectos de la controversia entre la investigación cualitativa e
investigación cuantitativa”. El Colegio de México, Mimeo.
CAMACHO,
Hugo y otros,(2001),El enfoque del Marco Lógico: 10 casos prácticos. Cuaderno para la
identificación y diseño de proyectos de desarrollo, Madrid, Fundación Cideal.
Comisión Económica para América Latina, (2001), “El uso de los indicadores socioeconómicos en la
formulación y evaluación de proyectos sociales: aplicación metodológica”. Serie Manuales, 15,
ILPES-CEPAL, Santiago de Chile.
--------------- (2004), “Uso de los indicadores socioeconómicos en la evaluación de impacto de
proyectos y programas de lucha contra la pobreza”. Serie Manuales, XX, ILPES-CEPAL, La Paz,
Bolivia.
DÍAZ,
Luis Fernando, (2001), “La metaevaluación y su método”, Revista de Ciencias Sociales, Vol. IIIII, Número 92-93, pp. 171-192, Universidad de Costa Rica.
Frechtling, J. (2002) The 2002 User Friendly Handbook for Project Evaluation Prepared under
Contract
GLASS,
G.V., McGraw, B., and Smith, M. L., (1981),Meta-analysis in social research. Beverly Hills:
Sage Publications.
MARTIN,
Paula H. (1982),Meta-Analysis, Meta-Evaluation and Secondary Analysis. Washington, DC:
ERIC Clearinghouse.
SCRIVEN, Michael, (1991),Evaluation Thesaurus.Newbury Park: SAGE Publications.
87
7. Anexos
Anexo 1 “Síntesis de Evaluaciones 2007-2012”.
Anexo 2 “Síntesis de Evaluaciones de programas similares internacionales”.
Anexo 3. “Agenda de evaluación”
Anexo 4. “FODA”
Anexo 5. “Análisis histórico y propuestas de mejora de la MIR”
88