PEI MetaEvaluacion

Meta evaluación del Programa de Estancias
Infantiles (PEI)
Octubre, 2012
Equipo Evaluador:
Guillermo M. Cejudo
(coordinador)
Cynthia L. Michel
Roberto Gerhard
Meta evaluación del Programa de Estancias Infantiles, 2012
Resumen Ejecutivo
Este documento presenta los hallazgos de la Meta Evaluación 2007-2012 del Programa de
Estancias Infantiles (PEI). Esta meta evaluación tuvo por objeto analizar los avances y
logros del programa en términos de evaluación y monitoreo, durante el periodo 20072012. Asimismo, se buscó identificar las áreas de oportunidad del programa para
mejorar su desempeño en lo referente al monitoreo y evaluación, en el periodo 20132018.
El PEI comenzó a operar en 2007 ante la falta de oferta de servicios de cuidado
infantil y la incapacidad para pagar por estos servicios por parte de la Población
Potencial (PP), lo cual tiene como consecuencia una baja participación en el mercado
laboral por parte de la PP, lo que aumenta su probabilidad de caer, o mantenerse, en la
pobreza.
El PEI ha sido evaluado de manera regular durante 2007-2012 y, en general, ha
sido valorado positivamente. Las evaluaciones muestran que los indicadores de gestión
y de resultados, en la mayoría de los casos, se aproximaron a sus metas o las superaron
ligeramente. Aún cuando es necesario hacer explícitos los criterios que se utilizan para
definir cada meta a fin de poder valorar adecuadamente el desempeño de los
indicadores, los resultados del programa se consideran positivos: cerca de 80% de los
beneficiarios que no tenían trabajo antes de entrar al programa han logrado insertarse
en alguna actividad productiva a dos meses de haber ingresado al PEI; 90% de aquellos
que ya contaban con un empleo logran mantenerse en él durante su participación en el
programa, y 95% de los beneficiarios utilizan el tiempo disponible generado por el uso
de los servicios de cuidado infantil para trabajar, buscar empleo, capacitarse o estudiar.
Además, las evaluaciones indican que los beneficiarios se sienten muy satisfechos por
el beneficio que reciben del programa, y que éste tiene un impacto positivo en la
probabilidad de que las madres consigan y/o mantengan un empleo, sobre todo en el
caso de aquellas que no cuentan con un empleo antes de ingresar al programa.
Sin embargo, dichas evaluaciones también señalan la necesidad de crear
definiciones y cuantificaciones de la población objetivo más claras.
2
Meta evaluación del Programa de Estancias Infantiles, 2012
Para esta meta evaluación se revisaron las evaluaciones de ocho programas
similares al PEI en otros países, y sus resultados confirman que este tipo de
intervenciones favorece el desarrollo de los niños y facilitan la inserción laboral de los
padres. En este análisis, se identificó una clara tendencia en los programas analizados a
incorporar al desarrollo infantil como un objetivo explícito de este tipo de programas.
Estos hallazgos, aunados a las disposiciones de la recién promulgada Ley General de
Prestación de Servicios para la Atención, Cuidado y Desarrollo Integral Infantil
(LGPSACDII), implican un nuevo reto para el programa: el rediseño del PEI, a partir de
objetivos más integrales vinculado con el desarrollo infantil. Es importante destacar
que incorporar el desarrollo infantil contribuye también al objetivo central del
programa de disminuir el rezago de las MTPS en materia de acceso y permanencia en el
trabajo, pues las MTPS contarían con la seguridad de que mientras ellas trabajan, sus
hijos están siendo atendidos y cuidados de forma adecuada.
Con base en este análisis, se propone una agenda de evaluación que busca
garantizar la congruencia entre el diseño del PEI y las disposiciones de la nueva
LGPSACDII (a cuya observancia está sujeto el PEI), mediante la realización de una
evaluación de diseño. Asimismo, busca generar evidencia empírica para afinar los
detalles de diseño y operación tanto del programa como de sus indicadores, a partir de
la implementación de las evaluaciones de indicadores, de procesos y de la
complementaria. En la agenda de evaluación se incorporó también una evaluación de
impacto en 2016 con miras a conocer los efectos del programa en el mediano plazo,
tanto en el ingreso y permanencia laboral de las MTPS, como en el desarrollo de los
niños.
En materia de Monitoreo, la meta evaluación identifica que, durante el periodo
de análisis, la Matriz de Indicadores de Resultados (MIR) del programa ha tendido a
reducir su número de indicadores, así como a contar con resúmenes narrativos cada
vez más finos. Sin embargo, se considera que el Resumen Narrativo de Fin debe reflejar
que la solución que brinda el programa es la disminución en el rezago de la PO en
materia de acceso y permanencia en el trabajo, y que el objetivo último al que
3
Meta evaluación del Programa de Estancias Infantiles, 2012
contribuye el programa es a la igualdad de oportunidades entre hombres y mujeres
para el ejercicio de sus derechos. En cuanto al Resumen Narrativo para el nivel de
Propósito, se recomienda expresarlo como un producto terminado.
En general, la meta evaluación encontró como principales fortalezas del
programa el buen desempeño que ha mostrado en términos del logro de sus objetivos,
así como la adecuada definición de sus indicadores para medir el Fin y Propósito del
programa, excepto por el indicador de desarrollo infantil, pues su definición y método
de cálculo continúan sin expresarse claramente. Con base en los hallazgos derivados
del análisis de las evaluaciones de programas similares al PEI, aunado a las nuevas
obligaciones del programa como consecuencia de la promulgación de la LGPSACDII, en
la meta evaluación se recomienda que el PEI incorpore el desarrollo infantil como un
objetivo, y que defina claramente tanto los indicadores ya existentes sobre este tema,
como los que deberán ser creados en atención a la Ley. Es importante hacer hincapié
en la importancia de que el programa mantenga una congruencia interna en su diseño
frente a la necesidad de dar cumplimiento a las disposiciones de la LGPSACDII, sin
perder el objetivo central de favorecer la inserción laboral de las MTPS.
Esta meta evaluación concluye que los ajustes aquí recomendados son menores
y, en su mayoría, derivan de la necesidad de incorporar al desarrollo infantil como
objetivo. Lo anterior es indicativo de que el programa tiene un buen funcionamiento,
de que ha logrado generar evidencia que lo demuestre, así como de que ha alcanzado
una rápida institucionalización.
4
Meta evaluación del Programa de Estancias Infantiles, 2012
LISTA DE ACRÓNIMOS
ASM: Aspectos Susceptibles de Mejora
Colmex: El Colegio de México
CONAFE: Consejo Nacional de Fomento Educativo
CONAPO: Consejo Nacional de Población
Coneval: Consejo Nacional de Evaluación de la Política de Desarrollo Social
CUIS: Cuestionario Único de Información Socioeconómica
DDD: Método de Triple Diferencias
DGPS: Dirección General de Políticas Sociales
DIF: Sistema Nacional Para El Desarrollo Integral De La Familia
ECyR: Evaluación de Consistencia y Resultados
ED: Evaluación de Diseño
EED: Evaluación Específica de Desempeño
EHS: Early Head Start
EI: Estancias Infantiles
ENESS: Encuesta Nacional de Empleo y Seguridad Social
ENIGH: Encuesta Nacional de Ingreso y Gasto de los Hogares
ENOE: Encuesta Nacional de Ocupación y Empleo
IMSAB: Índice Mexicano de Satisfacción de los Beneficiarios de los Programas Sociales
INSP: Instituto Nacional de Salud Pública
LGPSACDII: Ley General de Prestación de Servicios para la Atención, Cuidado y
Desarrollo Integral Infantil
5
Meta evaluación del Programa de Estancias Infantiles, 2012
MCS: Millenium Cohort Study
MIR: Matriz de Indicadores para Resultados
MML: Matriz de Marco Lógico
MTPS: Madres Trabajadoras y Padres Solos.
NTCL: Norma Técnica de Competencia Laboral
PA: Población Atendida
PASH: Portal Aplicativo de la Secretaría de Hacienda
PEI: Programa de Estancias Infantiles
PO: Población Objetivo
PP: Población Potencial
PSM: Método de Puntuación de Propensión
ROP: Reglas de Operación del Programa
SEDESOL: Secretaría de Desarrollo Social
SGEI: Sistema de Gestión de Estancias Infantiles
UAM-X: Universidad Autónoma Metropolitana, campus Xochimilco
URP: Unidad Responsable del Programa
6
Meta evaluación del Programa de Estancias Infantiles, 2012
Tabla de contenido
1. INTRODUCCIÓN .................................................................................................................. 9
2. DESCRIPCIÓN DEL PROGRAMA ....................................................................................... 11
2.1 Antecedentes .................................................................................................................. 11
2.2 Descripción de los objetivos del programa así como de los apoyos que ofrece ...... 12
2.3 Identificación y cuantificación de la población potencial (PP), objetivo (PO) y
atendida (PA) ........................................................................................................................14
3. APARTADO DE EVALUACIÓN........................................................................................... 17
3.1 Evaluaciones a las que ha estado sujeto el PEI ............................................................. 17
3.1.1 Evaluación de Diseño 2007 (ED 2007)..........................................................................18
3.1.2 Evaluación de Específica de Desempeño 2008-2009 (EED 08-09) ........................... 22
3.1.3 Evaluación de Específica de Desempeño 2009-2010 (EED 09-10) ............................. 24
3.1.4 Evaluación de Específica de Desempeño 2010-2011 (EED 10-11) ................................ 26
3.1.5 Evaluación de Impacto 2011 ........................................................................................ 28
3.1.6 Evaluación de Consistencia y Resultados 2011-2012 (ECyR 11-12) .............................. 32
3.1.7 Evaluación de Satisfacción 2012 .................................................................................. 36
3.1.8 Hallazgos del análisis de las evaluaciones al PEI ....................................................... 37
3.2 Evaluaciones de programas similares al PEI ............................................................... 38
3.2.1 Programa de ampliación de la oferta de espacios públicos de educación
Pre-primaria ......................................................................................................................... 40
3.2.2 Hogares Comunitarios .................................................................................................41
3.2.3Hogares Comunitarios del Bienestar .......................................................................... 43
3.2.4 Early Head Start .......................................................................................................... 44
3.2.5 Wawa Wasi .................................................................................................................. 46
3.2.6Sure Start Local Programmes / Sure Start Children’s Centers .................................. 48
3.2.7 Plan Nacional para la Educación de Brasil para 1998-2008: Guarderías................... 50
3.2.8 Servicios de Preescolar en Guinea y Cabo Verde ...................................................... 53
7
Meta evaluación del Programa de Estancias Infantiles, 2012
3.2.9 Hallazgos del análisis de las evaluaciones realizadas a programas similares al PEI 56
3.3 Agenda de Evaluación ................................................................................................... 57
4. SECCIÓN DE MONITOREO .............................................................................................. 65
4.1 Análisis histórico de los principales cambios en la MIR del PEI ................................. 65
4.2 Cambios en el Resumen Narrativo del nivel de Fin .................................................... 68
4.3 Cambios en el Resumen Narrativo del nivel de Propósito.......................................... 71
4.4 Pertinencia del Resumen Narrativo 2012 ante los objetivos y actividades del PEI .. 72
4.5 Análisis de Indicadores para los niveles de Fin y Propósito ...................................... 74
4.6 Conclusiones.................................................................................................................. 93
5. ANÁLISIS FODA................................................................................................................ 96
5.1 Fortalezas ....................................................................................................................... 96
5.2 Debilidades..................................................................................................................... 97
5.3 Oportunidades ............................................................................................................... 98
5.4 Amenazas ....................................................................................................................... 99
5.5 Recomendaciones ....................................................................................................... 100
6. CONCLUSIÓN ..................................................................................................................102
7. REFERENCIAS BIBLIOGRÁFICAS .................................................................................... 105
8. ANEXOS........................................................................................................................... 107
8
Meta evaluación del Programa de Estancias Infantiles, 2012
1. INTRODUCCIÓN
Este documento presenta los hallazgos de la Meta Evaluación 2007-2012 del Programa de
Estancias Infantiles (PEI). Esta meta evaluación tuvo por objeto analizar los avances y
logros del programa en términos de evaluación y monitoreo, durante el periodo 20072012. Asimismo, se buscó identificar las áreas de oportunidad del programa para
mejorar su desempeño en lo referente al monitoreo y evaluación, en el periodo 20132018.
A continuación se presenta un apartado que brinda, a grandes rasgos, una
descripción del programa, de sus objetivos y de su población potencial, objetivo y
atendida. Posteriormente, en el apartado de “Evaluación” se realiza un análisis de las
evaluaciones a las que ha estado sujeto el programa en el periodo 2007-2012. En dicho
apartado se presentan de forma sucinta los principales resultados y hallazgos
derivados de cada una de ellas, y se emite una valoración sobre la mismas.
Dentro de la sección de “Evaluación” también se presentan informes de evaluaciones de programas similares al PEI, que se llevaron a cabo en el ámbito
internacional. Se realiza una síntesis de los principales resultados y se ofrece una
valoración técnica de la metodología empleada.
A partir del estudio tanto de las evaluaciones realizadas al programa durante el
periodo de análisis, como de las evaluaciones realizadas a programas similares al PEI, se
detectaron los aspectos del programa que no habían sido evaluados, o que requerían
ser evaluados en un nuevo contexto, tomando en cuenta las tendencias identificadas
en las evaluaciones de programas internacionales que pudieren ser útiles para el caso
del PEI. Así, se presenta una agenda de evaluación para el periodo 2013-2018 en la cual
se justifica técnica o empíricamente la importancia de cada una de las evaluaciones
propuestas para el programa.
Posteriormente se presenta el apartado de “Monitoreo”, en el cual se realiza un análisis histórico (2007-2012) de los principales cambios que ha sufrido la Matriz de
9
Meta evaluación del Programa de Estancias Infantiles, 2012
Indicadores para Resultados (MIR), y se identifica si dichos cambios obedecen a las
observaciones emitidas por los actores involucrados en su revisión, o si son producto
de los hallazgos o resultados de evaluaciones externas. Adicionalmente, en el apartado
de monitoreo se presenta un análisis sobre la pertinencia y congruencia tanto de los
resúmenes narrativos de los Niveles de Fin y Propósito como de sus indicadores, a
partir de los bienes y servicios que entrega el programa.
Finalmente, se presenta un Análisis FODA sobre el programa, y se realizan las
recomendaciones pertinentes para atender las debilidades y oportunidades
detectadas.
10
Meta evaluación del Programa de Estancias Infantiles, 2012
2. DESCRIPCIÓN DEL PROGRAMA
El Programa Estancias Infantiles (PEI) está a cargo de la Dirección General de Políticas
Sociales (DGPS) de la Secretaría de Desarrollo Social (SEDESOL), y comenzó sus
operaciones en el año 2007.
2.1 Antecedentes
La información presentada en el Diagnóstico de la Problemática de las madres con hijos
pequeños para acceder o permanecer en el mercado laboral 1 (2011) del PEI muestra que
existe una falta de oferta de servicios de cuidado infantil, lo cual dificulta la inserción
laboral de las mujeres. En ese documento también se identificó una incapacidad para
pagar por estos servicios por parte de la Población Potencial (PP); y finalmente, se
resaltó lo limitado del alcance de los esquemas de “educación inicial o preescolar”. Esta situación tiene por consecuencia una baja participación en el mercado laboral por parte
de la PP, lo que aumenta su probabilidad de caer, o mantenerse, en la pobreza. El
análisis de la oferta pública de servicios de cuidado infantil, 2 de acuerdo con el
Diagnóstico 2011, permitió identificar que “de los cerca de 2.5 millones de niños
menores de 6 años que en este año estuvieron al cuidado de terceros, sólo 7.6% asistía
a una guardería y, de éstos, menos de una tercera parte acudía a una guardería pública
[…], del total de las mujeres ocupadas, 62.5% no tiene acceso a los servicios de
seguridad social de las instituciones públicas, […] entre las mujeres con un empleo 1
Los datos que se usaron para la elaboración de este diagnóstico provienen, principalmente, de la
Encuesta Nacional de Ocupación y Empleo (ENOE) 2005-2009, Encuesta Nacional de Ingreso y Gasto de
los Hogares (ENIGH) 2006 y 2008, Encuesta Nacional de Empleo y Seguridad Social (ENESS) 2004 –valdría
la pena que se revisara la de 2009- y del Consejo Nacional de Población (CONAPO) Proyecciones de la
Población de México 2005-2050. Con relación a las fuentes de información, también se recomendaría
recurrir a la Encuesta Nacional de Uso de Tiempo (ENUT) para tener una idea relativa del tiempo que las
mujeres y los hombres dedican a las actividades de cuidado.
2
El estudio de la oferta se concentró en servicios públicos de cuidado infantil: IMSS, el ISSSTE, el DIF y la
SEP.
11
Meta evaluación del Programa de Estancias Infantiles, 2012
formal sólo 17.9% cuenta con la posibilidad de acceder al servicio de guarderías como
parte de sus prestaciones” (Diagnóstico SEDESOL, 2011). 2.2 Descripción de los objetivos del programa así como de los apoyos que
ofrece
El PEI tiene como objetivo general contribuir, mediante el aumento de la oferta de
espacios de cuidado y atención infantil, a abatir el rezago en materia de acceso y
permanencia en el trabajo de madres que trabajan, buscan empleo o estudian, y los
padres solos con hijos bajo su cuidado en hogares que cumplan con los criterios de
elegibilidad. De acuerdo con las ROP 2012, los beneficiarios en la modalidad de Madres
Trabajadoras y Padres Solos (MTPS) son aquellos que viven en hogares con, al menos,
un niño entre 1 y 3 años 11 meses,3 cuyo ingreso per cápita no rebasa la Línea de
Bienestar Económico, no tienen acceso a los servicios de cuidado infantil a través de las
instituciones públicas de seguridad social u otros medios y que al momento de solicitar
ingresar al programa estén trabajando, buscando empleo o estudiando. Por su parte,
en la modalidad de Impulso a los Servicios de Cuidado y Atención Infantil e
Incorporación a la Red de Estancias Infantiles, de acuerdo a las ROP 2012, la población
objetivo son las personas físicas, grupos de personas físicas o morales y organizaciones
de la sociedad civil que deseen ofrecer servicios de cuidado y atención infantil a las
MTPS beneficiarias. Para poder ofrecer el servicio se debe cumplir con las siguientes
características: buscar atender a la PO, acreditar la identidad, acreditar escolaridad
mínima de secundaria terminada o estar certificado en la Norma Técnica de
Competencia Laboral (NTCL) o Estándar de Competencia EC0024 de Cuidado de las
Niñas y los Niños en Centros de Atención Infantil, contar con espacio físico suficiente
para brindar servicios de cuidado, atención y alimentación a, por lo menos, 10 niños(as)
–considerando un espacio de 2 metros cuadrados por niño-, contar con evaluaciones y
3
En todos los casos el MTPS debe tener la patria potestad del niño y en caso de que el niño o la niña
cuente con alguna discapacidad podrá recibir el servicio hasta los 5 años 11 meses.
12
Meta evaluación del Programa de Estancias Infantiles, 2012
capacitaciones básicas e iniciales del PEI, y no se podrá proponer como responsable a
alguien que ya haya sido responsable pero que hubiera sido dado de baja por el
programa.
El objetivo específico del programa consiste en apoyar a las madres que
trabajan, buscan empleo o estudian y a los padres solos para que cuenten con tiempo
disponible para acceder o permanecer en el mercado laboral o, en su caso, estudiar,
por medio del uso de servicios de cuidado y atención infantil que contribuyan al
desarrollo de los niños y niñas. Como se puede ver en la tabla 1, los apoyos que otorga
el programa son subsidios a la oferta y a la demanda de servicios de cuidado infantil. La
persona que recibe los subsidios por la prestación del servicio es la responsable de cada
estancia, en su caso en la modalidad de creación de EI se les otorga un apoyo único de
$70,000 para adecuar el espacio en el que van a ofrecer el servicio y posteriormente,
por cada niño atendido reciben un apoyo de $ 700 en función de la asistencia mensual
de los niños.
Además el programa realiza actividades complementarias a la provisión de
cuidado infantil como selección de beneficiarios, coordina una red de estancias
infantiles, capacita a las responsables de las EI (de manera conjunta con el DIF
nacional), otorga apoyos económicos a las estancias para que se actualicen en términos
de protección civil, y brinda un seguro por accidentes personales a los niños y niñas
beneficiarios del programa, supervisa la operación de las estancias, etc.
Tabla 1. Modalidades de apoyo, montos y otras actividades realizadas por el PEI.
Modalidades de Apoyo
Monto de Apoyo
Niños beneficiarios
$ 700 / $1,400 por asistencia al mes
Impulso a la creación de EI
$ 70,000, apoyo único
Impulso a la incorporación a la red de EI
$ 50,000, apoyo único
Otras actividades que realiza el PEI
Pruebas psicológicas
Supervisiones
Capacitaciones
Apoyos Interinstitucionales
Fuente: elaboración propia con base en la información contenida en las ROP 2012.
13
Meta evaluación del Programa de Estancias Infantiles, 2012
2.3 Identificación y cuantificación de la población potencial (PP), objetivo
(PO) y atendida (PA)
De acuerdo con el documento Nota sobre la Actualización de la Población Potencial y
Objetivo del PEI, la PP son 3,474,101 personas. Está conformada por “madres de 14 años
en adelante, con hijos entre 1 y 4 años, sin acceso a seguridad social de forma directa o
por parentesco con el jefe del hogar, en hogares con ingresos per cápita por debajo de
la línea de bienestar” (2011: 13).
En el mismo documento se cuantificó la PO en 981,771 personas, y se le define
conjunto de la población potencial que se encuentre disponible, desocupada,
subocupada u ocupada en el sector informal. Finalmente, el documento reporta una PA
de 847,637 personas, compuesta por madres trabajadoras y padres solos beneficiados
por el programa.
Gráfica 1. Relación Presupuesto/PA del PEI (2008-2011)
1,600,000
$ 3,000,000,000
$ 2,500,000,000
1,200,000
$ 2,000,000,000
1,000,000
800,000
$ 1,500,000,000
600,000
$ 1,000,000,000
400,000
$ 500,000,000
200,000
0
$0
2008
2009
Población Objetivo
2010
2011
Población Atendida
2012
Presupuesto Ejercido
Fuente: elaboración propia con base en Informes trimestrales a la cámara de diputados, y la
Nota sobre actualización de la Población Potencial y Objetivo.
La información en la gráfica 1 revela que el presupuesto ejercido del PEI ha
14
Presupuesto en pesos
Número de beneficiarios
1,400,000
Meta evaluación del Programa de Estancias Infantiles, 2012
aumentado cada año, ejerciendo en promedio 2, 295 millones. De 2008 a 2011 el
presupuesto ejercido tuvo un aumento de 50%. La gráfica también revela que para 2012
disminuyó la cuantificación de la PO, al comparar el Diagnóstico de la Problemática de las
madres con hijos pequeños para acceder o permanecer en el mercado labora y la Nota
sobre Actualización de la Población Potencial y Objetivo del PEI, se aprecia que la
metodología para estimar esta población cambió, lo cual explica la disminución por
haber usado los criterios de CONEVAL para la medición multidimensional de la pobreza
–especialmente los criterios económicos-. Con la nueva estimación, la PO se redujo de 1,
491, 590 a 981, 771 MTPS.
Por su parte, la PA ha aumentado de manera constante desde 2008 y, en
promedio, han atendido 244 mil MTPS al año, la PA pasó de 226 mil en 2008 a 260 MTPS
atendidos en 2011. Si bien el PEI tiene presencia a nivel nacional, el porcentaje de su
cobertura de su PA difiere bastante entre estados variando entre 53% en Nayarit y 7% en
Baja California. De acuerdo con los datos del 4º informe trimestral enviado a la Cámara
de Diputados en 2011, y con la información de PO del Diagnóstico 2011, como se puede
apreciar en el mapa 1 el estado con mayor PA respecto a su PO es Nayarit, los siguientes
4 estados con mayor proporción de su PO atendida son Colima, Campeche,
Aguascalientes y Durango.
15
Meta evaluación del Programa de Estancias Infantiles, 2012
Mapa 1. Porcentaje de la PA con respecto a la PO por entidad federativa, 2011.
Fuente: elaboración propia con base en el Cuarto Informe Trimestral a la Cámara de Diputados 2011 , el
Diagnóstico de la Problemática de las madres con hijos pequeños para acceder o permanecer en el
mercado labora y la Nota sobre Actualización de la Población Potencial y Objetivo del PEI, 2011.
16
Meta evaluación del Programa de Estancias Infantiles, 2012
3. APARTADO DE EVALUACIÓN
En esta sección se analizan las evaluaciones a las que estuvo sujeto el PEI en el periodo
2007-20114, así como las evaluaciones de programas internacionales similares que
puedan generar información relevante para esta meta evaluación. El análisis de las
evaluaciones a las que estuvo sujeto el PEI permitió identificar los temas que fueron
señalados de manera recurrente en distintas evaluaciones, así como los ajustes que
realizó el programa en función de las observaciones realizadas. En esta sección también
se valoró la calidad de las evaluaciones en cuanto a sus recomendaciones, su
consistencia lógica y sus omisiones.
Para la sección de evaluaciones a programas internacionales, se revisaron los
programas sugeridos por la URP y también se les complementó con evaluaciones de
otros programas que comparten distintas características con el PEI (población objetivo
y tipo de intervención). A grandes rasgos, de esta revisión se concluye que las
intervenciones similares al PEI suelen tener un impacto positivo sobre el desarrollo
emocional, intelectual y de salud de los niños. En algunos casos también se
identificaron resultados positivos entre los tutores de los niños y los responsables del
programa. Finalmente, en esta sección también se presentan las distintas metodologías
que se han utilizado para evaluar este tipo de intervenciones (y que podrían servir al
PEI), así como los aspectos que han sido evaluados.
3.1 Evaluaciones a las que ha estado sujeto el PEI
El análisis que a continuación se presenta ha tomado como referencia a las
Evaluaciones Externas del Programa de Estancias Infantiles realizadas en el periodo
2007-2012, por lo que todos los resultados y hallazgos citados, así como las
recomendaciones que derivaron del ejercicio de evaluación de los años de estudio
4
se analizaron todas las evaluaciones externas realizadas durante el periodo 2007-2012, que están
normadas en los Programas Anuales de Evaluación (PEA)
17
Meta evaluación del Programa de Estancias Infantiles, 2012
contemplados, han sido analizadas y atendidas por el Programa conforme a la
normatividad establecida en el Mecanismo para el seguimiento a los aspectos
susceptibles de mejora derivados de informes y evaluaciones a los programas
presupuestarios de la Administración Pública Federal. Por consiguiente, todas las
opiniones y valoraciones realizadas con base en el análisis anterior son exclusiva
responsabilidad del equipo evaluador (véase Anexo 1).
En general, los resultados de este análisis sirven para identificar el origen de
algunos cambios en el Resumen Narrativo, en la MIR y en la definición de PO. Además,
a partir de este análisis se identificó la valoración que se ha hecho sobre el desempeño
de los indicadores, la cobertura, el impacto del programa, las observaciones no
atendidas y la consistencia entre el diseño del programa y sus resultados. Es importante
mencionar que, tal como se establece en la ECyR 11-12, muchas de las mejoras que
sufrió el PEI son producto de recomendaciones realizadas por estudios contratados
directamente por la UROP, pero que aquí no se analizan debido a que, a diferencia de
las estudiadas, no fueron normadas por los PAE ni se encuentran consideradas en los
mismos.
3.1.1 Evaluación de Diseño 2007 (ED 2007)
El PEI estuvo sujeto a una evaluación de diseño en el año 2007, llevada a cabo por el
Instituto Nacional de Salud Pública (INSP). La evaluación valoró el diseño del programa
y realizó una revisión crítica de las ROP, así como un análisis a partir de la literatura
científica sobre el impacto del subsidio de guarderías y el del aumento de la oferta de
estancias infantiles en el empleo e ingreso de las madres trabajadoras en condiciones
de pobreza, así como sobre el efecto de la calidad de la atención de las guarderías en el
bienestar de los niños(as) y en el empleo de las madres (ED, 2007: 5). La realización de
esta evaluación en el primer año de operación del PEI fue importante para la
identificación temprana de oportunidades de mejora en cuestión de diseño, pues a
partir de ésta se realizaron cambios en los indicadores de Fin y Propósito, en la
definición de la PO, y en los objetivos del PEI.
18
Meta evaluación del Programa de Estancias Infantiles, 2012
La evaluación de diseño revisó principalmente el diagnóstico, los objetivos de
Fin y Propósito del PEI, la Matriz de Marco Lógico (MML), la MIR y las definiciones de
PP y PO. Respecto al diagnóstico, la evaluación identificó la necesidad de reestructurar
la información para contextualizar el problema, comparando a la PO con la PP y,
posteriormente, mostrando las características propias de la PO. La evaluación
consideró que la redacción del Fin del programa no expresaba todos los beneficios
derivados de él.
El análisis de la lógica interna del programa reveló que si bien las actividades
plasmadas en la MIR eran suficientes, no eran las necesarias para realizar los
componentes del programa. Por su parte, el análisis de la MML reveló que se podía
mejorar su redacción.
Respecto a los indicadores, la ED señaló que el indicador de Fin no era relevante
para medir la mejora en las condiciones de acceso al empleo remunerado, y que los
indicadores de Propósito no eran pertinentes para medir el tiempo del que disponían
las Madres Trabajadoras y Padres Solos (MTPS) para acceder al mercado laboral. Con
relación a los indicadores de Componentes, se señaló que además de la calidad
percibida se necesitaba un indicador sobre la calidad técnica de los servicios. Por
último, respecto a los indicadores de Actividades la evaluación señaló que había
algunos indicadores irrelevantes, y que para corregirlos había que realizar cambios en
las fórmulas.
Respecto a la PP y PO, la evaluación identificó que ambas definiciones eran muy
similares. Finalmente, con relación a la justificación del programa se señaló la necesidad
de argumentar el criterio de selección (personas cuyos ingresos son hasta de seis
salarios mínimos), así como de documentar el escenario de la oferta pública de
servicios de cuidado infantil en el país.
A partir de la revisión que hizo la ED 2007 sobre el diagnóstico del PEI, se
enfatizó la importancia de incluir la calidad de los servicios de cuidado infantil dentro de
los objetivos del programa –recomendación que fue atendida en 2011. Con relación al
objetivo del programa, la ED sugirió matizar el Resumen Narrativo del Fin para que
19
Meta evaluación del Programa de Estancias Infantiles, 2012
expresara que el programa contribuiría a mejorar las condiciones de acceso o
permanencia laboral. Respecto a la MML, se recomendó refinar la redacción de algunos
componentes, por ejemplo, se sugirió incluir la palabra “implementar” en la frase "elaborar e implementar el plan operativo anual"; además se sugirió incorporar
actividades de coordinación con el DIF sobre: la elaboración de un plan de trabajo
anual; la capacitación de las responsables de las EI; el seguimiento de la calidad de los
servicios de cuidado infantil, y la evaluación de la gestión de este componente del
Programa.
Debido a que la ED concluyó que las actividades en la MIR no eran suficientes
para producir los componentes, el equipo evaluador sugirió incluir tres actividades: una
actividad sobre la elaboración e implementación del plan de trabajo anual; la
capacitación de las responsables de las EI, y el seguimiento de la gestión de este
componente del Programa. Por otro lado, se recomendó sustituir el Indicador de Fin
por los Indicadores de Propósito y, debido a que la ED concluyó que los indicadores de
Propósito no eran consistentes con el Propósito del PEI, se recomendó sustituirlos por
el Indicador de “Número de horas promedio mensuales de asistencia de los niños”. Producto del análisis de los indicadores de Componentes, se propuso la creación de
nuevos indicadores (por ejemplo, el total de meses que las MTPS reciben apoyo para
acceder a los servicios de cuidado infantil, el porcentaje de las EI en valoración verde,
amarilla, roja y negra, el puntaje promedio de las actividades de cuidado y seguridad así
como su desviación estándar, entre otros). Por último, respecto a los indicadores de
actividades la evaluación recomendó que se agregara la implementación del plan de
trabajo anual acordado con el DIF, para incluir un indicador del porcentaje de las metas
acordadas y cumplidas.
Respecto a la PO, la ED sugirió clarificar su definición explicando lo que se
entiende por “situación de pobreza”, así como señalar de forma explícita el ingreso
mensual por hogar que usarían como criterio de selección. También se recomendó
incorporar la especificación de "padres solos" en vez de "padres", ya que esto podría
generar confusión.
20
Meta evaluación del Programa de Estancias Infantiles, 2012
Otras recomendaciones relevantes de la ED 2007 fueron:
1. Solicitar apoyo a las instituciones de seguridad social para verificar si su
población derechohabiente acude a una EI.
2. Considerar la posibilidad de tener un esquema de estancias diferente para zonas
rurales y urbanas marginadas, como el de “madres comunitarias”.
3. Actualizar anualmente el monto asignado a las MTPS y revisar la sustentabilidad
de las estancias como negocio.
4. Garantizar la seguridad y la calidad en los servicios de cuidado infantil.
5. Analizar la posibilidad de ampliar el rango de edad de los niños atendidos.
De acuerdo con la ED 2007, la principal fortaleza del PEI es que promueve la
igualdad de oportunidades en el mercado laboral al eliminar dos tipos de barreras
importantes que enfrentan las MTPS: la oferta insuficiente de estancias infantiles y su
alto costo.
La ED 2007 identificó tres áreas de oportunidad: aprovechar las posibles
sinergias que se podrían generar al vincular al PEI con programas que promuevan el
empleo y la educación; ampliar el rango de edad de los niños atendidos en las estancias
infantiles hasta los 5 años, y ampliar el horario de atención de las EI.
La ED 2007 señaló que el PEI contaba con cuatro conjuntos de debilidades: 1) la
coordinación con el DIF en términos de seguridad y calidad en la atención a los servicios
de cuidado infantil; 2) ineficiencias en la asignación de recursos que se podrían
presentar por los criterios utilizados para focalizar a la población objetivo y duplicidad
con derechohabientes de las instituciones de seguridad social; 3) dados los requisitos
para ingresar a la Red de Estancias Infantiles, existe el riesgo de que el PEI no cubra
zonas rurales o marginadas, y 4) existe el riesgo de que las EI no sean sustentables
como negocio con el paso del tiempo.
En general se considera que esta evaluación no tuvo problemas metodológicos,
que fue consistente, es decir hubo una relación lógica entre los principales resultados y
las recomendaciones y, llevó a cabo un diagnóstico comprehensivo del PEI. Una
21
Meta evaluación del Programa de Estancias Infantiles, 2012
debilidad de la evaluación es que se refirió constantemente a los indicadores de la MIR
del PEI, sin embargo, al no encontrarse éstos en el documento ni en los anexos, se
dificulta la comprensión de las recomendaciones. Además, habría sido importante
mencionar en esta evaluación la falta de claridad entre las unidades de la PO pues en
algunos documentos del programa se refieren a hogares, en otros a MTPS.
3.1.2 Evaluación de Específica de Desempeño 2008-2009 (EED 08-09)
El PEI estuvo sujeto a una Evaluación Específica de Desempeño en el periodo de 20082009 y fue realizada por la Universidad Autónoma Metropolitana (UAM-X) campus
Xochimilco. La evaluación buscó evaluar el desempeño del PEI a la luz de sus
indicadores. Para llevar a cabo esta evaluación, se realizó un trabajo de gabinete en el
que se revisaron distintos documentos del programa entre los que se encuentran el
Portal Aplicativo de la Secretaría de Hacienda (PASH)5, los documentos de seguimiento
a los Aspectos Susceptibles de Mejora (ASM), evaluaciones previas, entre otros.
Los principales resultados de la evaluación se concentraron en cuestiones
relativas a los indicadores. Se comentó que la ausencia de información respecto a los
indicadores estratégicos impidió que se valorara su desempeño. Respecto a los
indicadores de Fin y Propósito se recomendó redefinir y reformular algunos de ellos
(como se verá en la sección de recomendaciones). Con relación a los indicadores de
gestión, la evaluación determinó que mostraron un buen desempeño. Finalmente, la
EED 2008-2009 declaró que no fue “posible valorar la evolución de la cobertura debido a que únicamente se presentan datos para 2008, cuando se atendió al 10% de la
población objetivo, la cual representaba 68% de la potencial, lo que [implicaba] que el
Programa [atendía] a menos de 7% de la población potencial” (EED, 2008-2009: 19).
Respecto a las acciones de mejora sugeridas previamente, la evaluación determinó que
debido a que éstas estaban fuera del ámbito de competencia del programa, no fueron
implementadas.
5
El PASH es un portal a través del cual se sistematiza la información indispensable sobre los programas
públicos, y facilita su acceso para mejorar la gestión de los mismos
22
Meta evaluación del Programa de Estancias Infantiles, 2012
La mayoría de las recomendaciones se concentraron en el diseño de los
indicadores. En el caso de los indicadores "Porcentaje de beneficiarios que
permaneciendo entre tres y seis meses en el Programa accedieron a un trabajo
remunerado" y “Porcentaje de beneficiarios que tenían trabajo al momento de ingreso al
Programa y mientras están en el Programa logran mantenerse en un trabajo
remunerado", se identificó que su método de calculo estaba incompleto ya que para
identificar la contribución especifica del Programa a la mejoría de las condiciones de
acceso y permanencia laboral de la PA, ésta se debería comparar con un grupo de
control. De acuerdo con la evaluación, ambos indicadores eran más pertinentes a nivel
de Propósito.
Respecto al indicador de "Número de horas semanales promedio de asistencia de las niñas y los niños a las Estancias Infantiles" se señaló que éste debería ser trasladado a nivel de Componente ya que no corresponde al nivel de Propósito porque sólo mide las horas que asisten los niños a la estancia, sin identificar si el tiempo que se dedicaba al
cuidado de éstos, ahora se usaba para buscar empleo o trabajar. La evaluación también
criticó el hecho de que mucha de esta información se obtuviera por medio de
encuestas puesto que no es una fuente de información económica; no obstante no
emitió ninguna recomendación sobre cómo mejorar este aspecto.
A pesar de que la evaluación declaró que “no se [contaba] con evidencias sobre las fortalezas en el desempeño del Programa” (EED 2008-2009:18), de acuerdo con los
indicadores del programa, se podría considerar a la gestión del PEI como una de ellas.
La evaluación señaló que si bien es importante conocer la percepción de los
beneficiarios sobre la calidad del programa, ésta no es equivalente a la calidad, la cual
puede medirse con criterios objetivos.
La EED 2008 señaló entre las debilidades del PEI la ausencia de las estimaciones
de los principales indicadores de resultados, así como errores en los métodos de
cálculo de los indicadores revisados. Otra debilidad que se señaló fue la falta de
información respecto a la cobertura del programa, misma que impidió valorarla.
23
Meta evaluación del Programa de Estancias Infantiles, 2012
En general, la evaluación revisó los principales indicadores y señaló algunas
oportunidades de mejora, sin embargo, algunas de sus recomendaciones se
contraponen con las de la ED 2007, específicamente la valoración respecto a los
indicadores de Fin del programa, pues la ED 2007 recomendó que se les cambiara de
Propósito a Fin, mientras que la EED 2008-2009 recomendó que se hiciera lo contrario.
3.1.3 Evaluación de Específica de Desempeño 2009-2010 (EED 09-10)
El PEI estuvo sujeto a una Evaluación de Específica de Desempeño en el año 2009,
realizada por El Colegio de México (COLMEX), en la cual evaluó el desempeño del PEI a
la luz de sus indicadores. Para llevar a cabo esta evaluación se realizó un trabajo de
gabinete en el que se revisaron distintos documentos del programa entre los que se
encuentran el PASH, los documentos de seguimiento a los ASM, las evaluaciones
previas, entre otros.
De acuerdo con la EED 09-10, los indicadores de resultados, así como los de
servicios y gestión del PEI muestran que el funcionamiento del programa ha sido
positivo, pues se aproximó a sus metas o las superó ligeramente. Según la evaluación,
la cobertura, entendida como el porcentaje de la población atendida con respecto a la
PO, evolucionó positivamente, aunque se identificó que el crecimiento de la cobertura
bajó durante 2009 (lo cual se podría explicar por el brote de influenza AH1N1 y del
incendio de la guardería ABC en Hermosillo, Sonora). La EED 09-10 resaltó que a pesar
de que debido a las restricciones presupuestarias no se hubiesen podido actualizar los
apoyos económicos de acuerdo a la inflación, el programa cumplió con su objetivo, ya
que existe evidencia de que el PEI apoyaba a las madres trabajadoras y padres solos
para que cuenten con tiempo disponible para acceder o permanecer en el mercado
laboral o estudiar.
Respecto a las recomendaciones, la EED 09-10 destacó la importancia de
actualizar los apoyos otorgados así utilizar todos los espacios disponibles. También
destacó que existen horarios no atendidos que podrían promoverse a través de
24
Meta evaluación del Programa de Estancias Infantiles, 2012
incentivos económicos. Por último, señaló la importancia de digitalizar el proceso de
asistencia de los niños.
De acuerdo con la EED 09-10, diversos documentos muestran que la percepción
de las beneficiarias respecto al programa es bastante buena. Entre los beneficios más
apreciados destacó la nutrición y el desarrollo de los niños. A pesar de que estos rubros
no aparecían de forma explícita en los objetivos del programa, se constituyeron como
aspectos fundamentales que incidirán de forma positiva y significativa en la vida futura
de los niños. De esta forma, la EED identificó entre las fortalezas del PEI al desarrollo y
la nutrición de los niños, además del hecho de que el programa cuenta con indicadores
pertinentes, relevantes y confiables, que hay claridad en los ASM, que la cobertura
evoluciona de manera positiva, que tiene presencia en zonas rurales y marginadas, que
ofrece capacitación adecuada a las responsables de estancias, que las condiciones en
materia de seguridad en las estancias fueron reforzadas y que cuenta con un eficiente
mecanismo de supervisión.
De acuerdo con la información en la EED 09-10, no se identificaron
oportunidades para el PEI. Si bien la EED 09-10 no señaló debilidades expresamente en
el PEI, se podría interpretar que las restricciones presupuestarias a las que se enfrentó
el programa son una debilidad porque debido a éstas “no se han podido actualizar los
apoyos económicos de acuerdo a la inflación [ni] se ha podido garantizar que la
disponibilidad de espacios sea aprovechada a pesar de que pueda existir demanda para
cubrirlos” (EED 2009-2010: 21).
En general se considera que esta evaluación presentó algunas inconsistencias
técnicas, en particular respecto a la definición de la PO y las acciones realizadas por el
programa. En alusión al indicador de "Número de niños que reciben servicio de la Red de
Estancias Infantiles", la evaluación señaló que era pertinente porque definía claramente
a la población que atendía el PEI, sin embargo, las ROP 2010 definen a su PO en
términos de hogares y madres, padres y tutores, por lo tanto, esta frase podría generar
la confusión de que, de acuerdo con las ROP, los niños no son la PO.
25
Meta evaluación del Programa de Estancias Infantiles, 2012
Por otro lado, en la primera EED se asumió que las mujeres eran equivalente al
número de hogares estimados para la PO (EED, 2008-2009: 14), en la EED 2009-2010 no
se mencionó esta situación y simplemente señaló todas las poblaciones en términos de
mujeres. La anterior inconsistencia entre evaluaciones es un problema para una
persona ajena al PEI quien al leer ambas evaluaciones podría confundirse respecto a la
unidad de medida y forma de cuantificar a su PO. Hubiera sido útil que se indicara qué
resolución tomó el evaluador sobre este punto –como sucedió en la EED 2008-2009- ya
que en las ROP 2010 la PO continuó definida en términos de hogares.
Finalmente, se mencionó como una recomendación ofrecer el servicio en
horarios no atendidos por el programa; sin embargo, no se tomó en cuenta que el
programa no limita el tiempo de operación de una estancia y, por el contrario, sí
establece un mínimo de operación de 8 horas al día.
3.1.4 Evaluación de Específica de Desempeño 2010-2011 (EED 10-11)
El PEI estuvo sujeto a una Evaluación Específica de Desempeño en 2010-2011, la cual fue
realizada por el Colmex. La evaluación buscó evaluar el desempeño del PEI a la luz de
sus indicadores. Para llevar a cabo esta evaluación se realizó un trabajo de gabinete en
el que se revisaron distintos documentos del programa entre los que se encuentran el
PASH, los documentos de seguimiento a los ASM, las evaluaciones previas, entre otros.
La EED concluyó que, de acuerdo “a las percepciones de los (ex) beneficiarios, el
programa ha generado mejores condiciones de acceso y permanencia en el trabajo de
madres que trabajan, buscan empleo o estudian y de los padres solos con hijos o niños
bajo su cuidado” (EED, 2010-2011: 14). La evaluación valoró de forma positiva que se
hubiese definido una metodología rigurosa para realizar una Evaluación de Impacto,
que se hubiera comenzado a elaborar un modelo de desarrollo infantil, así como que se
haya llevado a cabo la elaboración de un Análisis de viabilidad de la sistematización del
control de asistencias.
26
Meta evaluación del Programa de Estancias Infantiles, 2012
Por otro lado, el análisis de la cobertura permitió que, la EED concluyera que a
pesar de que ésta aumentó cada año, el número de madres que se benefician del programa está muy por debajo de la PO (principalmente porque muchas de ellas ya
tienen un arreglo para el cuidado de sus hijos o porque no son activas laboralmente).
La evaluación identificó que el presupuesto aumentó cada año, pero dichos aumentos
fueron insuficientes para atender a toda su PO. Finalmente, la revisión a los indicadores
del programa reveló que éstos, en general, alcanzan sus metas. Sin embargo, la
evaluación resaltó que "el numero de estancias en 2010 creció menos que en años
anteriores, lo cual puede ser consecuencia de los esfuerzos por buscar estancias de alta
calidad" (EED, 2010-2011: 6).
La EED 2010-2011 recomendó apoyar a una proporción más grande de la PO, lo
cual requiere una ampliación de las estancias sin que disminuya la calidad del servicio.
Se recomendó también realizar un cálculo de la PO más real.
La EED resaltó como una fortaleza del PEI el generar mejores posibilidades para
MTPS para entrar o permanecer en el mercado laboral, gracias a la oferta de espacios
de cuidado y atención infantil. Por otro lado, también se destacó como una fortaleza el
hecho de que el programa mida regularmente la percepción de sus beneficiarios y
responsables con el propósito de mantener su calidad. Se resaltó el hecho de que en
dichos ejercicios, el PEI sale muy bien evaluado con una calificación de 9.3, “lo cual sugiere que los beneficiarios están muy satisfechos con los servicios proporcionados” (EED, 2010-2011: 14).
La evaluación no identificó oportunidades, sin embargo resaltó que los
principales retos del PEI se encuentran “en mantener el incremento de la cobertura, difusión, calidad y seguridad en el servicio, como se ha conseguido año con año hasta la presente evaluación, así́ como la capacitación a responsables de las estancias infantiles y el levantamiento de encuestas para el monitoreo del desempeño del programa y
percepción a responsables y beneficiarios” (EED, 2010-2011: 14).
27
Meta evaluación del Programa de Estancias Infantiles, 2012
Si bien la EED 2010-2011 no señaló debilidades en particular, su lectura permite
inferir que el no apoyar a una mayor proporción de la PO es una debilidad sobre la que
el PEI tiene que trabajar.
En general esta evaluación no tuvo problemas metodológicos y que hizo una
buena recapitulación de las recomendaciones de las EED previas. Sin embargo, se
considera que una inconsistencia de la evaluación consiste en que en ésta se haya
declarado la deseabilidad de una mejor estimación de la PO con base en una tasa de
participación laboral promedio aplicada sobre la PP, aun cuando al revisar el
Diagnóstico del PEI, precisamente así es como el programa declaró que estimó su PO.
Además, se considera que la evaluación debió haber señalado la falta de consistencia
en los documentos oficiales del programa al referirse a su PO en términos de hogares y
mujeres.
3.1.5 Evaluación de Impacto 2011
El PEI estuvo sujeto a una Evaluación de Impacto en el año 2011, realizada por el
Instituto Nacional de Salud Pública (INSP). El objetivo de la evaluación fue realizar una
evaluación rigurosa del impacto del PEI en el empleo e ingreso de la población objetivo,
así como en el estado de salud, nutrición y desarrollo de sus hijos. La evaluación obtuvo
sus datos de una encuesta en la que se recabó información sobre 1573 hogares y 5199
niños, el grupo de tratamiento estuvo conformado por las madres beneficiarias y el
grupo de control estuvo conformado por madres en lista de espera para entrar al
programa.
La evaluación de impacto encontró efectos positivos sobre la situación laboral
de la madre y en menor medida sobre el desarrollo de los niños. Con respecto a los
resultados de impacto en las MTPS se encontró que gracias al PEI existe un aumento de
18% en la probabilidad de que éstas cuenten con un empleo. En cuanto a los impactos
en el uso de tiempo de la titular, se encontró una disminución en el tiempo de cuidado
de 7 horas a la semana. En lo referente al ingreso (de la titular o del hogar), no se 28
Meta evaluación del Programa de Estancias Infantiles, 2012
encontraron efectos significativos, lo cual puede explicarse por el contexto económico adverso durante el cual se llevó a cabo el estudio, así como por el hecho de que los
resultados presentados capturan un efecto de corto plazo. En la evaluación se
distinguió el impacto que genera el programa tanto en las madres que no trabajaban
antes de entrar al programa, como en las que ya contaban con un empleo. La
evaluación encontró que el programa aumenta la probabilidad de obtener un empleo
para las titulares que no trabajaban antes de entrar al programa en 21%, y en 56% para
los cuidadores principales de los menores en el hogar (Ángeles et al., 2011: 9-10).
Con respecto al desarrollo infantil se encontraron algunos efectos positivos, la
mayoría en una magnitud moderada y sólo se identificaron para algunas submuestras.
Se señaló que los hijos de las titulares que no trabajaban antes de entrar al programa
eran los que más se beneficiaban en cuanto al desarrollo del comportamiento
individual-social. La evaluación declaró que este efecto es mayor conforme aumenta la
exposición. Además, en la evaluación sólo se encontraron efectos positivos en la
diversidad de la dieta en el subgrupo de niños con madres que trabajaban antes de
entrar al PEI (ibíd.:16) [...]. De hecho, en el corto plazo los principales beneficios se
concentraron en las madres que no trabajaban antes de entrar al PEI y sus hijos. En
cuanto a los aspectos relacionados con la salud, la evaluación encontró un aumento de
17.1% en la prevalencia de enfermedades en todos los niños, 15 días previos a la
entrevista, esto se considera normal pues los niños pequeños, quienes están
desarrollando su sistema inmune tienden a enfermarse más seguido y por lo tanto esto
afecta a los demás niños que están en contacto con ellos (estos resultados no se
presentaron en los niños mayores a 30 meses de edad). Además, se observó que con
más de 6 meses de exposición al PEI, la prevalencia de enfermedad se revierte.
Finalmente, la evaluación identificó efectos positivos del PEI en cuestiones adicionales para los que fue creado (por ejemplo, en el empoderamiento de la madre)
(ibíd.: 95).
En la evaluación de impacto del PEI se recomendó realizar mayor difusión del
programa dirigida a las madres que no trabajan (por obstáculos para insertarse en el
29
Meta evaluación del Programa de Estancias Infantiles, 2012
mercado laboral), e incluso analizar la pertinencia de dar prioridad a estas mujeres para
entrar al programa.
Se estableció que debido a que los beneficios relativos al desarrollo infantil se
concentraron en la submuestra de madres que no trabajaban antes de entrar al PEI, se
recomendó investigar la forma más efectiva para mejorar la estimulación del
desarrollo, sobre todo en las estancias de menor calidad.
Por otro lado, la evaluación recomendó aumentar la colaboración con la
Secretaría de Salud para llevar a cabo campañas de vacunación y prevención para
“disminuir la prevalencia de enfermedad, sobre todo en los niños más pequeños y con menor exposición” (ibíd.: 16).
Por último, en la evaluación se recomendó realizar un análisis por nivel
socioeconómico de los hogares con el objeto de identificar si el PEI tiene mayor
impacto en la población que es económicamente más vulnerable. Además, a fin de
mejorar la focalización, se sugirió valorar la posibilidad de identificar mediante un
estudio experimental, si al haber variación en el monto del subsidio, los efectos del
programa variaban (ibíd.: 18).
Si bien la Evaluación de Impacto no tiene un apartado de Fortalezas, a partir de
su lectura se infiere que el hecho de no haber encontrado un efecto de substitución de
guarderías –medido a través de que menos del .05% de los beneficiarios reportaron usar
servicios de guardería antes de entrar al programa- implica que probablemente el PEI
representa un nuevo espacio de cuidado infantil para las familias de bajos recursos.
Otra fortaleza sería el hecho de que el programa es efectivo para promover la
participación en el mercado laboral de mujeres de escasos recursos con hijos pequeños
–aunque los beneficios se concentran en la muestra de madres que no trabajaban antes
de entrar al programa-, en particular, los resultados muestran que el programa
aumenta la probabilidad de empleo de las titulares, el número de horas que trabajan y
su permanencia en el trabajo, al menos en el corto plazo.
También se podría considerar como fortaleza el hecho de que no se encontraron
efectos en diversidad de la dieta o desarrollo infantil lo cual es importante “porque en 30
Meta evaluación del Programa de Estancias Infantiles, 2012
otros estudios se han encontrado efectos negativos en el corto plazo” (ibíd.: 109).
Finalmente, otra fortaleza sería la mejoría en el desarrollo del comportamiento
individual-social en el subgrupo de niños con más exposición al PEI, aunque los
beneficios se concentran en el grupo de niños cuyas madres no trabajaban antes de
entrar al programa.
La evaluación no cuenta con un apartado de debilidades y, aunque no puede
considerase como tal el que los mayores beneficios se observen en el grupo de
beneficiarias que no trabajaban antes de entrar al programa, el cual representa a la
minoría de las beneficiarias; hubiera sido deseable que el impacto del programa se
hubiese concentrado en aquellas madres que ya trabajaban antes de ser beneficiarias
del programa, pues este subgrupo conforma la mayor parte de la población
beneficiaria (ibíd.: 17).
En cuanto a la metodología de esta evaluación, es preciso anotar que ésta
obtuvo la información a partir de una encuesta que se realizó una vez en el tiempo, en
siete estados de la república y en 1573 hogares (con lo cual se recabó información sobre
5199 niños). Esta evaluación utilizó una metodología denominada “pipeline”, a través
de la cual se comparan beneficiarios con personas en lista de espera para recibir los
apoyos del programa, éstos últimos son los niños que conforman el grupo de control
(Ángeles et al., 2011: 6).
La comparación en el tiempo se hizo de forma indirecta, preguntándole a la
madre beneficiaria que recordara su situación antes de entrar al programa -se
seleccionaron beneficiarios que acababan de incorporarse al programa y tenían menos
de un año en el PEI-. El hecho de que no se hubieran comparado datos objetivos de los
beneficiarios en dos momentos en el tiempo representa una oportunidad de mejora.
La falta de rigurosidad en el levantamiento de la información (2009) de
potenciales beneficiarios interesados y no interesados en el programa6 impidió llevar a
6
Se encontraron diferencias importantes entre grupos con y sin interés en entrar al programa en
variables clave para la medición de impacto (ingreso del hogar, ingreso de la madre, trabajo de la madre,
toma de decisiones en el hogar y barreras culturales para dejar a sus hijos en una guardería). Lo anterior
indica que el problema de selección difícilmente se podría corregir con esta metodología y las
mediciones de impacto tendrían sesgo.
31
Meta evaluación del Programa de Estancias Infantiles, 2012
cabo un diseño metodológico que combinara el método de pareamiento y de
Diferencia en Diferencias en la evaluación. Tomando en cuenta esta restricción en la
información, se considera que el diseño utilizado (denominado Pipeline) constituyó una
opción adecuada.
3.1.6 Evaluación de Consistencia y Resultados 2011-2012 (ECyR 11-12)7
El PEI estuvo sujeto a una Evaluación de Consistencia y Resultados en el año 2011,
realizada por el Centro de Investigación y Docencia Económicas (CIDE). La ECyR evaluó
la consistencia y orientación a resultados del PEI con la finalidad de proveer
información que retroalimente su diseño, gestión y resultados. La evaluación analizó
los siguientes temas: diseño, planeación y orientación a resultados, cobertura y
focalización, operación, la percepción de la población atendida y la medición de los
resultados. Para realizar esta evaluación se realizó trabajo de gabinete en el que se
revisaron los resultados finales de la MIR, los ASM, análisis de la cobertura del PEI así
como de su presupuesto, evaluaciones previas al programa así como estudios
nacionales e internacionales relacionados con el PEI.
Respecto al diseño la ECyR, en la evaluación se señaló que el PEI cuenta con un
diagnóstico adecuado que define y delimita el problema público a atender. Según la
evaluación, el PEI está vinculado con el eje de política pública de Igualdad de
Oportunidades del PND 2007-2012, y con el objetivo 2 del PSDS 2007-2012. Se identificó
un claro vínculo entre la MIR del PEI y las actividades definidas en las ROP, lo cual
permite tener un seguimiento oportuno sobre su desempeño. Según la ECyR, el padrón
de beneficiarios del programa es una fuente de información valiosa y bien estructurada,
misma que cuenta con datos sobre la situación socioeconómica de los beneficiarios, el
tipo de apoyo que reciben, la demanda total de apoyos y también cuenta con
mecanismos documentados para su depuración.
7
La evaluación de Consistencia y Resultados analizada en esta sección fue realizada por el coordinador
de la meta evaluación.
32
Meta evaluación del Programa de Estancias Infantiles, 2012
Con respecto a la planeación, la ECyR indicó que el programa contó con varios
procesos operativos que delimitaron las responsabilidades y productos con los que
debía cumplir cada una de las unidades administrativas; sin embargo, no se detectó ningún documento que concentrara y normara la creación o los procedimientos para
elaborar el programa operativo del PEI ni su documento estratégico. El PEI también
contó con un documento en el que se comparaban distintas opciones de política
pública existentes en el país y concluyó que el esquema del PEI es el más viable para
resolver el problema que se pretende atender. El PEI demostró una vocación para
recurrir al uso de estudios y evaluaciones para mejorar así sus procesos operativos y
resultados, tanto con evaluaciones institucionalizadas en el PAE, como con
evaluaciones ajenas a ese proceso. El PEI cumplió́ en su totalidad los 12 aspectos
susceptibles de mejora registrados en los últimos tres años, producto de evaluaciones
reglamentadas por el PAE. La ECyR identificó que la cobertura del PEI tuvo resultados
sobresalientes por su magnitud y su aporte a la oferta de servicios de cuidado infantil.8
La evaluación destacó que, en general, los beneficiarios tienen una muy buena
impresión del programa y le otorgan una buena calificación, superior a 9 (en una escala
del 0 al 10).
Respecto al diseño del PEI, la ECyR recomendó homologar los términos en los
que el PEI se refiere a su PO pues en algunos documentos se refieren a las madres, en
otros a los hogares y en otros a los niños. También se señaló la conveniencia de que
todos los documentos institucionales usaran las cifras más actualizadas. Asimismo,
señaló que sería útil que se incorporara el elemento de desarrollo infantil en el
documento que compara opciones de política pública. Con relación al índice de
Desarrollo Infantil, se recomendó aclarar su unidad de medida e incorporar los datos
generados por éste al Sistema de Gestión de Estancias Infantiles (SGEI). En la
evaluación se consideró como deseable el dar seguimiento a los mismos niños a lo
8
A diciembre de 2011 había 10,083 estancias que atendían a 261,079 niños, y desde el inicio del programa
se había brindado el servicio a 957,758 niños –superando la meta de 500,000 niños para el 2012
(SEDESOL, Reporte de cuenta pública 2011). La cobertura de niños beneficiarios a septiembre de 2011
representaba 116% de los niños atendidos por los sistemas de guarderías del IMSS y el ISSSTE juntos
(Dirección General de Políticas Sociales, Reporte a Presidencia sept. 2011).
33
Meta evaluación del Programa de Estancias Infantiles, 2012
largo del tiempo. Por último se mencionó la utilidad de incorporar en la MIR
información sobre el número de responsables que han realizado la evaluación
psicométrica y sobre cuantas lo aprobaron.
Con relación a la planeación, la ECyR recomendó normar y documentar el uso de
las encuestas semestrales así como el del “Tablero de Control”. Por último, se puso a consideración de la URP realizar un estudio longitudinal del impacto del PEI cuando los
niños entran, cuando tienen 3, 6 y 12 años9.
Las recomendaciones para aumentar la cobertura del PEI enfatizaron la
necesidad de buscar el uso de otros medios, además del internet, para difundir el
programa entre la población que más se podría beneficiar del mismo. Por último,
respecto a la medición de resultados se señaló que a pesar de que los beneficiarios
pueden manifestarse como satisfechos con el servicio, esto no implica que se le esté
dando una adecuada atención y cuidado a los niños. De hecho, existe evidencia en la
literatura de que el juicio de los tutores de los niños sobre la calidad del servicio difiere
del de los expertos psicólogos y pedagogos.
En cuanto a las fortalezas en el diseño del PEI, la ECyR identificó que el padrón
de beneficiarios se encuentra bien estructurado y que permite identificar las
características de los beneficiarios que los acreditan como PO. Una fortaleza
identificada relativa a la planeación del programa, es su capacidad para dar
seguimiento al desempeño del programa. Entre las fortalezas de la operación del PEI se
consideró el hecho de que los tres conjuntos de procesos operativos (apoyos a MTPS,
incorporación a la red de EI y supervisión) estuvieran vinculados entre sí y con uno o
más indicadores de la MIR. La medición de resultados también fue considerada por la
evaluación como un área en la que el PEI realizó tareas que se consideran fortalezas,
9 El equipo evaluador coincide con la recomendación planteada en la ECyR 11-12, y sugiere que
debido a que los niños asisten a las EI hasta la edad de 5 años, se recomienda que la información
referente a los niños de edades posteriores se recolecte a través de algún instrumento ad hoc (una
encuesta) que pueda servir como mecanismo de monitoreo para capturar información relevante para el
programa También es posible que la temporalidad de la aplicación del CUIS se modifica de forma que
ésta se realice de manera anual para una muestra representativa de beneficiarios. De esta forma el CUIS
pudiera ser utilizado como un instrumento de monitoreo.
34
Meta evaluación del Programa de Estancias Infantiles, 2012
como por ejemplo, la realización de dos encuestas tipo panel que muestran los efectos
positivos que tuvo el PEI sobre las MTPS mientras fueron beneficiarios. Además, de
acuerdo con la evaluación de impacto, el programa tiene efectos positivos sobre la
probabilidad de que las MTPS encuentren empleo, al igual que respecto al uso del
tiempo, los efectos sobre el desarrollo infantil fueron moderados y sólo en algunas
submuestras, se identificaron efectos positivos adicionales al problema como el
empoderamiento de la madre.
La ECyR identificó que el PEI cuenta con un buen diagnóstico, pero recomendó
armonizar su información sobre PP y PO con la información presentada en el
documento de "Actualización de la PP y PO del PEI". Con respecto a la medición de
resultados la ECyR destacó la necesidad de aumentar el monto del subsidio10, controlar
la heterogeneidad en la calidad del servicio y mejorar la focalización. Por último, a pesar
de que el PEI ha hecho esfuerzos por ampliar su presencia en los municipios más
marginados del país y de que ha implementado estrategias de difusión; distintos
estudios (Ángeles et al., 2011; Factores Culturales, 2010) han identificado la difusión del
programa como un área de mejora.
Como debilidades del PEI la ECyR resaltó el hecho de que no existiera algún
documento que concentrara y normara la creación o los procedimientos para elaborar
el programa operativo anual, ni el documento estratégico. Con respecto a la
planeación, la ECyR detectó que no existe una respuesta institucional y que no se le da
seguimiento documentado a las observaciones hechas por evaluaciones fuera del
PAE11. La ECyR identificó que en los documentos utilizados para determinar las metas del programa se refieren a unidades de medida distintas que las utilizadas en las ROP o
en el diagnóstico del programa.
10
Cabe aclarar que esta recomendación fue atendida, y a finales de mayo de 2012 se estableció en las
ROP el aumento al subsidio de hasta $850 pesos mensuales por cada niña(o) de 1 a 3 años 11 meses, y
$1,700 pesos mensuales por cada niña(o) de 1 a 5 años 11 meses con algún tipo de discapacidad.
11
Es importante mencionar que, a partir de la definición en 2012 de los ASM, este hecho fue subsanado,
en tanto que se consultaron los siguientes estudios: Factores culturales que inciden en la viabilidad del
Programa y la Encuesta Cualitativa con Enfoque de Género del Programa.
35
Meta evaluación del Programa de Estancias Infantiles, 2012
3.1.7 Evaluación de Satisfacción 2012
El PEI estuvo sujeto a una evaluación de satisfacción en el año 2012, realizada por la
Universidad Autónoma de Tamaulipas. El objetivo de la evaluación fue el de medir las
percepciones de las personas que reciben los beneficios de ciertos programas sociales,
entre ellos el PEI. Para lograr lo anterior, se construyó un modelo teórico para estimar
el Índice Mexicano de Satisfacción de los Beneficiarios de los Programas Sociales
(IMSAB), a través del uso de ecuaciones estructurales con variables latentes. Además,
se estimó el índice de satisfacción del PEI, a través del Método de Estimación de
Máxima Verosimilitud.
Los principales resultados de la evaluación indican que en el caso del PEI, los
beneficiarios consideran sentirse muy satisfechos por el beneficio que reciben, por lo
que el resultado del índice de satisfacción fue de 9.27. El alto nivel de satisfacción se
debe a que las madres beneficiarias perciben un trato amable por parte del personal
del programa al momento de recibir el apoyo, así como por el hecho de que los
beneficiarios consideraron que los compromisos que adquiere con el programa por
recibir los apoyos no le representan mayor esfuerzo. Un dato interesante obtenido a
partir de un análisis de los resultados es el de que las expectativas de las madres
trabajadores no están vinculadas con la calidad del beneficio (apoyo económico y
características de las estancias), sino con el mayor tiempo disponible con el que
cuentan para estudiar y trabajar.
En el informe de la evaluación se presentan los resultados del índice y los
factores que lo explican, más no se hace referencia a las fortalezas, oportunidades o
debilidades de los programas a los que se aplicó el IMSAB. En consecuencia, tampoco
se hicieron recomendaciones para mejorar la satisfacción de los beneficiarios de los
apoyos de los programas sociales.
En dicho informe, se explica claramente el proceso a través del cual se creó el
IMSAB, y se define de forma adecuada el significado de las variables latentes utilizadas;
36
Meta evaluación del Programa de Estancias Infantiles, 2012
sin embargo, no se hacen explícitos los rangos utilizados para determinar a qué nivel de
satisfacción corresponde el puntaje obtenido en el índice. Es decir, no queda claro por
qué el nivel de satisfacción “muy satisfechos” entra en un rango que abarca el puntaje
9.2. Aclarar este punto resulta importante para darle validez externa a la metodología
utilizada en la creación de este índice, es decir, para que sea replicable.
3.1.8 Hallazgos del análisis de las evaluaciones al PEI
Con base en las evaluaciones revisadas, se aprecia que el PEI ha sido evaluado de
manera regular y ha obtenido buenos resultados. La ED 2007 hizo recomendaciones
importantes que marcaron el desarrollo del programa: se ajustó el Resumen Narrativo
para Fin y Propósito, así como los indicadores para los cuatro niveles de la matriz.
Además, se recomendó aclarar los criterios de selección, matizar la diferencia entre la
PO y PP e incorporar indicadores relativos a la calidad técnica de los servicios, esto
último ha sido atendido sólo parcialmente, pues son indicadores que han cambiado
constantemente.
Por su parte, las EED cumplieron el propósito para el que fueron
implementadas, en tanto que ofrecieron una valoración sobre el desempeño del
programa. En todas las EED se destacó el buen desempeño que mostraron los
indicadores del programa, así como el que la cobertura de la PA haya aumentado a
pesar de haberse desarrollado en un escenario económico de recesión global. Sin
embargo, también se detectaron algunas inconsistencias o detalles menores en estas
evaluaciones, pues en varias ocasiones se recomendó llevar a cabo ciertas acciones que
el programa ya había implementado (por ejemplo, en la EED 2010-2011 se sugirió
realizar una estimación de la PO con base en una meta de tasa laboral, cuando de
acuerdo con el Diagnóstico del PEI, así es como se había realizado la estimación de la
PO).
Las recomendaciones emitidas por estas evaluaciones fueron atendidas en la
medida de lo posible, puesto que en algunas ocasiones se recomendaron cuestiones
37
Meta evaluación del Programa de Estancias Infantiles, 2012
fuera del alcance del programa (por ejemplo, aumentar el presupuesto para aumentar
su cobertura o a los subsidios a los servicios de EI). Respecto a las observaciones
realizadas por la EED 2008-2009 respecto a los indicadores, en la posición institucional
el PEI explicó que no se podrían atender debido a que elevarían el costo de estimar
dichos indicadores y se reduciría su medición a una o dos veces por sexenio; y se
argumentó que la necesidad de tener un grupo de control podía ser subsanada con una
evaluación de impacto.
Sin embargo, una recomendación que de forma reiterada se le ha realizado al
programa es la relativa a la definición y cuantificación de la PO, puesto que el PEI no ha
aclarado si ésta está conformada por hogares o personas. Asimismo, se ha considerado
como un aspecto positivo la inclusión del desarrollo infantil como un indicador de
Propósito, pero también en reiteradas ocasiones se ha hecho explícita la necesidad de
aclarar tanto la fórmula del indicador, como su unidad de medida –recomendación que
no ha sido atendida-.
En general las evaluaciones han considerado que el PEI es un buen programa,
que los beneficiarios tienen niveles altos de satisfacción con el programa, y cuyos
impactos se ven reflejados en el aumento de la probabilidad de las MTPS de conseguir
y/o mantener un empleo, así del tiempo disponible para trabajar. En la Evaluación de
Impacto también se detectaron resultados positivos en cuanto al desarrollo infantil de
los beneficiarios.12
3.2 Evaluaciones de programas similares al PEI
El PEI se puede ubicar dentro de una tendencia de políticas públicas implementadas por
varios países en los que han buscado impulsar la creación de servicios de cuidado
infantil. La principal diferencia estriba en que en la mayoría de los casos el objetivo es el
12
Si bien en este documento se revisaron todas las evaluaciones realizadas al PEI dentro del PAE, existen
otros estudios a las que se sometió el PEI de manera independiente al Programa Anual de Evaluación y
que resultaron ser elementos importantes de las mejoras que experimentó el PEI durante el periodo
analizado.
38
Meta evaluación del Programa de Estancias Infantiles, 2012
desarrollo infantil, no la inserción laboral de las MTPS. En ese sentido, la variedad de
programas, las evaluaciones que se les han realizado y las metodologías utilizadas
ofrecen una amplia gama de opciones que pueden ser exploradas por el PEI.
En esta sección se analizaron las evaluaciones de ocho programas (véase Tabla
2), los cuales fueron seleccionaron porque sus PO eran similares a las del PEI –hogares
en condiciones de pobreza con niños menores a 6 años-, porque las actividades
realizadas también compartían algunas características (como la capacitación de las
responsables, subsidios para estimular la ampliación de la oferta del servicio,
adaptación de instalaciones para la prestación de cuidado infantil, etc.) y porque fueron
evaluaciones de impacto cuya metodología podría ser un referente para el caso del PEI
(véase Anexo 2).
En general, las evaluaciones revisadas permitieron identificar que este tipo de
programas tienen impactos positivos en el desarrollo cognitivo y emocional de los
niños, en la situación laboral y autoestima de las responsables y en el desempeño y
permanencia escolar (lo cual a su vez se refleja en mejores condiciones salariales en un
futuro).
Tabla 2. Evaluaciones analizadas de programas similares al PEI
Nombre del programa
Programa de ampliación de la oferta de espacios públicos de
educación Pre-primaria
Hogares Comunitarios
Hogares Comunitarios del Bienestar
Early Head Start
Wawa Wasi
Sure Start Local Programmes / Sure Start Children’s Centers
Plan Nacional para la Educación de Brasil para 1998-2008:
Guarderías
Servicios de Preescolar en Guinea y Cabo Verde
País donde
se
implementa
Tipo de
evaluación
Año de la
evaluación
Argentina
Impacto
2005
Guatemala
Colombia
Estados
Unidos
Perú
Reino
Unido
Impacto
Impacto
2006
2004
Impacto
2002
Impacto
2009
2008 2009
Brasil
Impacto
2001
Guinea y
Cabo Verde
Impacto
2001
Impacto
Fuente: elaboración propia.
39
Meta evaluación del Programa de Estancias Infantiles, 2012
Otro hallazgo interesante es que entre las 8 evaluaciones revisadas sólo 2
utilizaron la misma metodología (Emparejamiento por Puntuación de la Propensión).
Ninguna utilizó un modelo tipo pipeline como en el caso de México, lo cual
simplemente demuestra que hay una enorme cantidad de herramientas para medir el
impacto de estos programas, y también que hay estudios y metodologías que podrían
enriquecer las opciones para evaluar el PEI.
3.2.1 Programa de ampliación de la oferta de espacios públicos de educación Preprimaria
El primer programa revisado lo implementó el ministerio de educación argentino. La
intervención consistió en ampliar la oferta de servicios de educación pre-primaria
ampliando la infraestructura disponible así como construyendo nuevos centros. El
programa se implementó entre 1994 y 2000 , y en 2005 se le realizó una evaluación de
impacto. De acuerdo con la información presentada en la evaluación se puede inferir
que las principales fortalezas del programa son el haber ampliado la cobertura de
servicios de educación preprimaria, aprovechando los espacios y la infraestructura
existente (lo cual tuvo un impacto positivo en la inscripción en educación preescolar).
Por otro lado, una debilidad del programa tiene que ver con el hecho de que el
aumento en el tiempo que han pasado los niños en los servicios de preescolar no se ha
reflejado en un mayor nivel de aprendizaje, una mejor dieta o en una mejor salud.
El estudio estimó el impacto del programa sobre la tasa de inscripción a nivel
preprimaria en Argentina, así como la inserción laboral de las madres en el periodo
comprendido entre 1994 y 2000. El estudio usó la metodología de diferencias en
diferencias, que combina las diferencias entre regiones en términos de salones
construidos con las diferencias en la exposición entre cohortes, inducida por la
antigüedad del programa en la región. Para medir el efecto de los salones sobre el
empleo de las madres se utilizaron dos medidas, una variable dicotómica respecto a la
condición laboral (empleo y no empleo) y otra variable respecto al número de horas
laboradas.
40
Meta evaluación del Programa de Estancias Infantiles, 2012
Con respecto a la tasa de inscripción sobre la educación preprimaria el estudio
halló que el programa tuvo un efecto positivo de 15% entre 1991 y 2001 y, de acuerdo
con los modelos utilizados, la mitad de este incremento (7.5%) es atribuible al
programa. Por su parte, en la evaluación se identificó una relación positiva entre la
intervención del programa y la inserción laboral de las madres, no obstante, no fue
posible identificar la dimensión de dicho impacto.
La técnica de diferencias en diferencias en las regiones y periodo de exposición
permitió que el estudio pudiera controlar por efectos regionales y temporales, y así se
pudieron identificar los efectos atribuibles a la intervención. El estudio también
controló por la idiosincrasia de cada provincia (medida a través de la tendencia de
inscripción en educación preprimaria), la edad de la madre y su nivel de instrucción, la
estructura del hogar, la tasa de desempleo por provincia y el PIB per cápita.
3.2.2 Hogares Comunitarios
El programa de Hogares Comunitarios fue implementado a partir de 1991 por el
gobierno de Guatemala –en particular por la oficina de la Primera Dama- y se evaluó su
impacto en 2006. El objetivo del programa fue facilitar el crecimiento saludable y el
desarrollo de los niños entre 0 y 6 años, de familias de bajos ingresos cuyas madres
trabajan. El programa fue concebido como una aproximación comunitaria al cuidado
infantil, de tal manera que se selecciona a una “madre cuidadora” por parte de la comunidad y el gobierno les brinda apoyos que consisten en equipamiento para el
lugar, utensilios de cocina, material didáctico así como juguetes y utensilios para 10
niños, capacitaciones para las responsables y asistencia en el desarrollo de los menús.
De acuerdo con la información presentada en la evaluación, se puede inferir que
entre las principales fortalezas del programa se encuentran el haber logrado que los
beneficiarios tuvieran una dieta de mayor calidad, el haber facilitado la inserción laboral
de las madres y el haber generado una mejora económica para las responsables de los
niños. Por otro lado, se podría considerar que las debilidades del programa fueron la
41
Meta evaluación del Programa de Estancias Infantiles, 2012
inadecuada capacitación de las responsables y la todavía escaza oferta de servicios de
cuidado infantil.
El estudio comparó a un grupo de beneficiarios con un grupo de control a través
de encuestas transversales, el estudio se complementó con entrevistas, focus groups y
supervisiones a la implementación del servicio. Con respecto a la encuesta y al modelo
estadístico, el estudio utilizó un cross-sectional beneficiary/matched survey entre un
grupo de tratamiento compuesto por beneficiarios seleccionados aleatoriamente
(niños entre 2 y cinco años) y un grupo de control de niños no beneficiarios que vivían
en los mismos barrios y que eran individualmente equiparados con los beneficiarios
seleccionados tomando en consideración la edad y el empleo materno. La evaluación
midió el impacto del programa sobre la ingesta nutricional en la dieta de los niños
beneficiarios; también se exploraron objetivos secundarios como el efecto del
programa en el empleo e ingreso de las madres, así como en otras características socioeconómicas. Asimismo se estudiaron las diferencias entre tipos y costos de servicios de
cuidado alternativos.
El estudio identificó que los niños beneficiarios tienen una dieta de mayor
calidad en términos de la cantidad de micronutrientes y que las familias de los
beneficiarios han optado por equiparar la calidad de la dieta ofrecida a los niños en las
guarderías; esto se pudo demostrar al identificar que la calidad de la dieta no disminuyó
durante los fines de semana -que no asisten a la guardería-.
En cuanto a la inserción laboral de las madres (la mayoría solteras, con bajos
niveles de educación y en condiciones precarias de vivienda), el estudio identificó que
la pertenencia al programa aumentaba la posibilidad de que encontraran trabajo en el
sector formal, con la ventaja de tener beneficios sociales como seguro médico.
Asimismo, se identificó que el ingreso de las madres beneficiarias también aumentó
gracias a mejores oportunidades de mantenerse o conseguir empleo formal.
Un hallazgo adicional se refiere a las “madres cuidadoras”, quienes gracias al programa pudieron ingresar a la fuerza laboral al ofrecer un servicio que ellas
previamente habían realizado para otros familiares sin recibir remuneración alguna. El
42
Meta evaluación del Programa de Estancias Infantiles, 2012
estudio también reportó que las responsables de los niños no dedican el tiempo
establecido a las actividades educativas porque no se sienten adecuadamente
capacitadas.
Se considera que ésta es una evaluación muy completa en tanto que analizó el
diseño del programa, su operación, sus costos y su impacto.
3.2.3Hogares Comunitarios del Bienestar
El programa de Hogares Comunitarios del Bienestar se implementó en Colombia, y en
2004 estuvo sujeto a una evaluación de impacto. Este programa comenzó a operar en
1984 y estuvo dirigido a familias de escasos ingresos en comunidades rurales. El
programa busca ofrecer un complemento alimenticio para los niños beneficiarios y
ayudar a combatir la desnutrición en los sectores más pobres. Para funcionar, el
programa necesita que cada comunidad seleccione a una “madre comunitaria” –que
cumpla con ciertos requisitos (educación básica y una casa aprobada por el gobierno
para brindar el servicio) para que se haga responsable de atender a los niños. Para su
operación, cada familia paga una pequeña cuota, además que el gobierno les brinda un
complemento alimenticio y un apoyo para la compra de alimentos para el Hogar
Comunitario. El programa buscó mejorar las condiciones alimentarias de los niños de
familias de escasos recursos, brindar un servicio que estimulara la participación laboral
de las mujeres y la generación de un ingreso adicional.
De acuerdo con la información presentada en la evaluación, se puede inferir que
la principal fortaleza del programa es su éxito en términos del crecimiento promedio
que se observó en los niños beneficiarios. Por otro lado, se podría considerar que las
debilidades del programa se refieren a la ausencia de información con respecto a las
actividades realizadas en los centros y las capacitaciones que reciben las responsables.
La evaluación recurrió a información proveniente de una encuesta de 28,000
observaciones, pero no utilizó un grupo de control sino que recurrió a variables
instrumentales para distinguir los efectos del programa. Por variables instrumentales
43
Meta evaluación del Programa de Estancias Infantiles, 2012
se entienden aquéllas que inciden sobre la elección de los individuos respecto a recibir
el tratamiento, pero no inciden en los resultados sobre los que se mide el impacto del
tratamiento. Se utilizó la distancia de los hogares a las estancias del programa como
variable instrumental. La evaluación buscó medir el efecto que tuvo el programa sobre
el estado nutricional de los niños, sus efectos de largo plazo sobre el desempeño
escolar y la inserción laboral de las madres.
En la evaluación se señaló que el programa tuvo impactos en el corto plazo sobre el crecimiento de los niños; en el largo plazo se identificó que el programa tuvo un impacto positivo en la permanencia escolar y el nivel de avance que muestran los niños que atendieron al programa, así́ como la situación laboral de las madres (en términos de salarios y horas trabajadas); también se descubrió́ que los efectos positivos del programa se concentran en la población de menores ingresos.
La evaluación reporta que el programa tuvo un efecto de largo plazo, basado en
el hecho de que los niños de 13 y 17 años que alguna vez fueron beneficiarios,
permanecieron en la escuela. Con esta declaración se está suponiendo que la calidad
del programa se mantuvo constante a lo largo del tiempo y que, a mayor exposición al
programa, habrá mayor permanencia escolar. No obstante, este supuesto es
problemático puesto que no se encontró información que indicara que se utilizaron
variables de control relativas a la calidad del servicio, de forma que ésta podría estar
teniendo un efecto en la permanencia escolar, sin que esto se esté considerando en la
evaluación.
3.2.4 Early Head Start (EHS)
El programa de Early Head Start (EHS) se implementó en Estados Unidos y se revisó su
evaluación de impacto realizada en 2002. El programa se creó en 1995 y está dirigido a
familias de bajos ingresos en Estados Unidos. Ofrece diversos servicios para los niños y
sus familias entre los que se cuentan servicios de desarrollo infantil, cuidado, salud,
educación parental, seguimiento a casos y apoyo a las familias. El programa es
administrado a nivel nacional pero implementado a nivel local. El objetivo del programa
44
Meta evaluación del Programa de Estancias Infantiles, 2012
es mejorar el desarrollo intelectual, emocional, físico y social de los niños, apoyar a los
padres a cumplir con sus roles y ayudarles a ser autosuficientes. EHS comparte con el
PEI el hecho de que están dirigidos para familias de bajos ingresos y que ofrecen
servicios de cuidado infantil.
De acuerdo con la información presentada en la evaluación se puede inferir que
las principales fortalezas del programa son el hecho de que cumple con el objetivo de
estimular el desarrollo cognitivo y lingüístico, socioemocional y de desempeño escolar
de sus beneficiarios. Asimismo, se considera un aspecto positivo el que el programa
cuente con un componente de asesorías parentales que funciona adecuadamente
(pues según la evaluación, los padres beneficiarios tuvieron mayor probabilidad de
ofrecer apoyo emocional a sus hijos), y que haya incidido de forma positiva en la
participación laboral de los padres.
Por otro lado, con base en la información presentada en la evaluación se
considera que una debilidad del programa es que no se cuenta con evidencia para
probar su impacto en términos de la salud de los beneficiarios.
La evaluación usó una muestra aleatoria en donde la mitad de los sujetos eran
niños y familias beneficiarios del programa y la otra mitad no, en total de la muestra fue
de 3000 niños provenientes de 17 sitios diferentes en Estados Unidos. La muestra trató
de capturar la diversidad del programa en términos de regiones geográficas,
localidades urbanas, rurales, antecedentes étnicos y raciales. La evaluación buscó
estimar el impacto de la intervención en términos de desarrollo cognitivo, lingüístico y
emocional. También analizó el impacto del programa sobre las familias en términos de
lo aprendido sobre cómo educar a sus hijos.
De acuerdo con el estudio, los niños que participaron en el programa mostraron
un resultado positivo en cuanto al desarrollo cognitivo y lingüístico. Es decir, el haber
participado en el programa disminuyó la probabilidad de que pudieran padecer algún
retraso en términos de desarrollo. El grupo de tratamiento también mostró mejor
desempeño en términos de desarrollo socio-emocional en comparación con el grupo de
45
Meta evaluación del Programa de Estancias Infantiles, 2012
control, ya que los niños que integraban el primero demostraron ser menos negativos y
agresivos hacia sus padres.
Por su parte, se identificó que los padres de niños beneficiarios eran más
propensos a ofrecer apoyo emocional, de aprendizaje y para el desarrollo lingüístico.
Además, se identificó que éstos eran menos propensos a adoptar conductas parentales
negativas (usando estrategias de castigo menos severas o en menor frecuencia). Al
pertenecer al programa los padres de los niños también participaron en mayor medida
en el mercado laboral o en actividades de entrenamiento, no obstante, estas
condiciones no representaron un aumento significativo en los ingresos de los hogares
con respecto a las del grupo de control.
Según la evaluación, la magnitud del impacto del programa fue mayor para
ciertos conjuntos de beneficiarios, en especial para los que participaron en programas
mixtos, familias afro-americanas, familias que se unieron al programa desde el
embarazo y familias con un numero alto de factores de riesgo.
En términos de evaluaciones de impacto, se considera que la selección aleatoria
de beneficiarios y su estudio longitudinal es un diseño adecuado para conocer el
impacto de estos programas. Otra virtud de esta evaluación es que distinguió entre las
distintas vertientes del programa e identificó que la combinación de éstas –en
programas mixtos- potenció los resultados. Dado los buenos resultados que se
observaron para Estados Unidos respecto a las asesorías parentales, se sugeriría
considerarlo como una actividad más del PEI.
El tipo de evaluación realizada fue una de las más completas ya que el caracter
longitudinal hace que sus resultados sean más robustos.
3.2.5 Wawa Wasi
El Wawa Wasi se implementó en Perú y se revisó su evaluación de impacto realizada en
2009. Este programa comparte varias características con el PEI ya que facilita la
creación de espacios para atender y buscar el óptimo desarrollo de los niños menores
46
Meta evaluación del Programa de Estancias Infantiles, 2012
de cuatro años, su población objetivo son aquellos niños viven en condiciones de
pobreza. Los objetivos específicos del programa son ofrecer un apoyo integral a los
niños que viven en pobreza, promover su desarrollo, promover la participación
voluntaria de la comunidad en actividades de apoyo a los niños y contribuir al
desarrollo personal de las madres y mejorar su calidad de vida. Los componentes del
programa incluyen la seguridad de los niños por medio de los espacios para su cuidado,
un énfasis en la importancia de facilitar el desarrollo integral del niño (desarrollo motor,
cognitivo y afectivo), un aspecto nutricional (los niños reciben tres comidas al día), un
componente de salud (supervisión mensual de su crecimiento y sus vacunas) y un
componente de asesoría sobre buenas prácticas para los padres. De tal manera que el
Wawa Wasi y el PEI coinciden tanto en los objetivos que persiguen (buscar el desarrollo
de los niños y tener un efecto positivo en la vida de las madres), como en los
componentes que utilizan para lograrlo.
Este estudio forma parte de un proyecto más amplio coordinado por la
Universidad de Oxford en el que se le está dando seguimiento a 12,000 niños en India,
Perú, Vietnam y Etiopía durante 15 años para estudiar la pobreza infantil, y la
transmisión intergeneracional de la pobreza.
De acuerdo con la información presentada en la evaluación, se puede inferir que
las principales fortalezas del programa son la buena valoración que tienen de él las
comunidades en donde opera. De hecho, según la evaluación, éste es valorado
positivamente por las madres beneficiarias por el apoyo que les representa, por el
desarrollo que observan en sus hijos y en la vida de las responsables (en términos de
trabajo, salario y de saberse apreciadas por la comunidad). Por otro lado, se podría
considerar que sus debilidades tienen que ver con el diseño de las capacitaciones, pues
los temas abordados se concentran exclusivamente en cuestiones de salud y nutrición,
dejando de lado el tema de estimulación temprana.
Las fuentes de información provinieron de encuestas y de un estudio de campo.
Se usó el método de Emparejamiento por Puntuación de la Propensión para estimar el
impacto del programa. Se estimó el impacto del programa a través de los meses de
47
Meta evaluación del Programa de Estancias Infantiles, 2012
exposición en los que un niño fue beneficiario. Para analizar la operación del programa
se recurrió a entrevistas con los operadores del programa con el propósito de recoger
sus impresiones sobre el funcionamiento del programa y sus principales necesidades.
El estudio buscó medir el efecto que tiene la asistencia del Wawa Wasi en el
desarrollo psicomotor y en el tiempo de asistencia a algún sistema de educación
preescolar.
La evaluación no descubrió diferencias significativas en términos del desarrollo
entre el grupo de tratamiento y el grupo de control. Por otro lado, las entrevistas
realizadas permitieron a la evaluación concluir que las comunidades consideran que las
madres son las principales beneficiarias por el tiempo que se les libera, de tal manera
que sus expectativas sobre el desarrollo de los niños son menores en comparación con
las expectativas sobre un lugar en el que puedan dejar a los niños y los alimenten.
Aunque en el estudio no se comparó a los niños en dos momentos en el tiempo,
sí se estimó el impacto del programa a través de la exposición de los niños al mismo
(medida a través de los meses en los que un niño fue beneficiario). El estudio no revela
cuál fue el numero de beneficiarios por lo que no se puede valorar la representatividad
de la muestra. Tampoco se valoró, con análisis estadístico, el impacto del programa
sobre la condición laboral de los tutores.
3.2.6Sure Start Local Programmes / Sure Start Children’s Centers
El programa de Sure Start se implementó en Inglaterra y se revisó su evaluación de
impacto realizada en 2009. Este programa está dirigido a las zonas más pobres del país
y busca apoyar a niños pequeños y a sus familiares mediante la oferta de servicios de
cuidado infantil, educación temprana, salud y servicios familiares. El objetivo del
programa es mejorar la salud y el bienestar de las familias y los niños para que éstos
tengan una mejor oportunidad de tener un buen desempeño escolar, así como más
adelante en su vida. Este programa es similar al PEI en cuanto a sus PO, aunque la
forma en que son focalizados difieren porque Sure Start funciona por localidades, de tal
48
Meta evaluación del Programa de Estancias Infantiles, 2012
manera que una vez instalados, todos los niños de dicha localidad tienen el derecho de
asistir al centro; mientras que el PEI funciona seleccionando aquellos hogares que
cumplen sus criterios de selección.
De acuerdo con la información presentada en la evaluación se puede inferir que
entre las principales fortalezas del programa se encuentra el hecho de que el programa
brinda una asesoría parental adecuada, que se ha visto reflejada una mejoría en la
forma en la que los padres se relacionan y educan a sus hijos. Además, se considera que
una fortaleza es el que el programa cuente con una estrategia de largo plazo (10 años),
lo cual le permite tener objetivos claros sobre los cuales se trabajará a lo largo del
tiempo. Por otro lado, el programa opera por resultados, de tal manera que permite
una gran variación en cuanto a los procesos y los productos ofrecidos por cada centro.
En este sentido, aquí se considera que si bien esta característica podría dificultar la
evaluación de un programa, permite una enorme libertad y podría estimular la
competencia y la innovación en cuanto a mejores prácticas.
El estudio analizó el comportamiento niños y familias beneficiarios, con niños y
familias en condiciones semejantes pero que no contaron con la presencia del
programa en su comunidad. Los datos provienen de dos proyectos: uno llamado
Millenium Cohort Study (MCS) que realizó el levantamiento de datos en dos etapas, en
2005 y 2007; la segunda fuente de datos provino de la información recabada por la
evaluación nacional de impacto del programa. Así, los datos del MCS sirvieron para
obtener la información del grupo de control mientras que la información de los
beneficiarios se tomó de la segunda fuente. La evaluación de impacto analizó los datos
de 9000 familias de 150 áreas del Reino Unido, se hizo una selección aleatoria de los
beneficiarios así como del grupo de control y el análisis estadístico se hizo con un
modelo de Emparejamiento por Puntuación de la Propensión . El estudio buscó analizar
los efectos que ha tenido el programa sobre los niños y sus familias.
En general la evaluación identificó un impacto positivo del programa en cuanto
a la forma en la que los padres se relacionan y educan a los hijos, así como sobre el
desarrollo de los niños. Un hallazgo importante es el que los efectos positivos del
49
Meta evaluación del Programa de Estancias Infantiles, 2012
programa se distribuyen de manera universal entre sus beneficiarios y no se
concentran en ningún subconjunto en especial. El estudio reveló que los padres de los
niños beneficiarios mostraron actitudes parentales negativas en menor medida que el
grupo de control. Así mismo, los niños beneficiarios tuvieron mejor desarrollo social,
mejor independencia y autocontrol, y mostraron una actitud social positiva en mayor
frecuencia que el grupo de control. Parece que los efectos de conductas sociales
positivas se deben a una buena asesoría sobre cómo educar a los niños en casa. Los
niños beneficiarios mostraron mayor tasa de inmunización así como menor propensión
a tener accidentes.
Esta evaluación utilizó una metodología adecuada para cumplir con su objetivo.
3.2.7 Plan Nacional para la Educación de Brasil para 1998-2008: Guarderías
La evaluación revisada para el caso brasileño no corresponde a un programa en
particular, sino a un sistema general de servicios de cuidado infantil y educación
preescolar; siendo lo más cercano a un programa el Plan Nacional para la Educación de
Brasil para 1998-2008: Guarderías. La educación preescolar se integró al sistema de
educación pública en Brasil desde 1988 haciendo gratuita la educación para niños de 0 a
6 años y su provisión es responsabilidad de las autoridades municipales. Dentro del
plan nacional de educación brasileño el componente de guarderías es el que más
semejanzas comparte con el PEI. El objetivo general de este rubro del plan nacional
consistía en aumentar la tasa de participación a por lo menos un tercio de los niños
entre 0 y 3 años de edad; los objetivos específicos para alcanzar esta meta eran
aumentar la oferta de espacios de cuidado infantil a una tasa de crecimiento de 5%
anual, dando prioridad a niños de familias pobres primero. El componente de
guarderías del plan nacional brasileño también tenía una serie de objetivos respecto a
la calidad del servicio distribuidos a lo largo de 10 años así como de la información que
debía generar, su monitoreo y su control de calidad. Así, el programa de guarderías de
50
Meta evaluación del Programa de Estancias Infantiles, 2012
Brasil comparte con el PEI el hecho de que busca atender niños entre 0 y 3 años, dando
prioridad a aquellos que vivan en condiciones de pobreza.
Esta evaluación se realizó en el año 2001, aunque la evaluación no tuvo un
apartado específico de Fortalezas y Debilidades, de acuerdo con la información
presentada en la evaluación se puede inferir que la principal fortaleza sería el hecho de
que los servicios de guarderías y educación preescolar tengan un impacto positivo
sobre el desempeño académico, así como el futuro salario. Por otro lado, se podría
considerar que sus debilidades son la falta de relevancia que tiene este tema dentro de
la política educativa brasileña, así como la falta de financiamiento crónica a la que ha
estado sujeta, que, aunado a una mala estrategia de focalización, socaba los efectos de
estas políticas. Otra debilidad que se identificó es la regresividad del gasto en este
sector pues se identificó que los sectores con mejores condiciones económicas son los
que más se benefician.
El estudio buscó medir el impacto de los servicios preescolares y de guarderías
con respecto a la permanencia escolar, el estado nutricional de los niños y cuantificar
los beneficios –en términos del ingreso de las personas- por haber asistido a guarderías
y preescolar. Los datos para realizar esta evaluación provienen de varias fuentes: el
Censo Nacional de Población, el Censo de Escuelas del Ministerio de Educación, de la
Encuesta nacional de hogares y de la Encuesta brasileña de estándares de vida. Para
medir el impacto de los servicios de educación preescolar y guardería la evaluación
recurrió a datos retrospectivos de adultos entre 25 y 64 años. El estudio asumió que el
impacto por haber participado en este tipo de educación es igual para toda la muestra
y así la evaluación explicó la permanencia escolar y el número de años en la escuela en
función de la exposición a los servicios de guarderías y preescolares.
Por otro lado, para evaluar los beneficios económicos sobre los beneficiarios se
estimó la tasa de retorno de inversión pública. Para hacer esto primero se estimaron los
beneficios de la educación preescolar sobre el desempeño académico futuro, sobre el
futuro ingreso al que podría aspirar el beneficiario en el mercado laboral y sobre su
estado nutricional. La evaluación se basa en un modelo en el que se identifica la
51
Meta evaluación del Programa de Estancias Infantiles, 2012
relación entre el número de años de asistencia a educación preescolar y guarderías y
los años de educación formal que adquieren sus beneficiarios y, a su vez, los años de
educación formal se traducen en un mayor ingreso de las personas.
De acuerdo con la evaluación, en términos de desempeño escolar los servicios
de guarderías y preescolar tienen un efecto positivo. En específico, un año más de
preescolar aumenta los años de educación formal entre .4 y .6 años. La evaluación
también identificó que la asistencia a guarderías y preescolar está relacionada con
mayor probabilidad de terminar una etapa educativa (primaria, secundaria, etc.). La
evaluación reporta que aumentar la asistencia en educación preescolar por dos años
podría aumentar el promedio educativo de Brasil de 6 a 7 años.
Por otro lado, la evaluación identificó que el incremento de un año en educación
formal aumenta el ingreso potencial en 11%, de tal manera que si un año de educación
preescolar aumenta en .4-.6 años la educación formal, la permanencia en educación
preescolar aumentaría el ingreso potencial de los beneficiarios en 7% potencialmente.
En términos de estado nutricional la evaluación no encontró evidencia definitiva
y sugieren que sea un tema que se siga explorando.
Al analizar la distribución de los recursos públicos destinados a servicios de
guarderías y preescolar la evaluación halló que no están recibiendo suficientes recursos
y que los que reciben están mal distribuidos: Sao Paulo es la región que absorbe 14% de
los recursos a pesar de que sólo cuenta con 6% de los niños en el rango de edad. De
hecho, fuera de Sao Paulo, muchas municipalidades son incapaces de cubrir los costos
mínimos para material didáctico y el mantenimiento de la escuela.
Esta evaluación sobresale por estimar el impacto que tienen los servicios de
guardería y educación preescolar sobre el ingreso de las personas. En este sentido, esta
evaluación tiene un enfoque económico que busca estimar los costos y beneficios
públicos de estos servicios, por lo que se excluye el análisis de aspectos relacionados
con el desarrollo emocional de los niños, el comportamiento de los padres o la facilidad
para mantenerse o ingresar al mercado laboral. La evaluación también ofrece una
breve explicación sobre las distorsiones al desarrollo presentes en Brasil, un perfil de la
52
Meta evaluación del Programa de Estancias Infantiles, 2012
educación preescolar, tasas de inscripción analizadas por regiones, una revisión de
otras políticas de educación inicial en Brasil y un análisis sobre el financiamiento de este
servicio.
Una debilidad de la evaluación es que parte del supuesto de que la calidad en los
servicios escolares se mantiene constante en el tiempo. Es decir, para estimar el
impacto que tendría la educación preescolar en la actualidad, se analizó el nivel de
asistencia en educación preescolar que hubo, por ejemplo, 20 años atrás, sin que se
utilice para este fin variables de control relativas a la calidad del servicio.
3.2.8 Servicios de Preescolar en Guinea y Cabo Verde
La última evaluación revisada tampoco analizó un programa en especial, sino los
servicios de educación preescolar en general en dos países africanos: Guinea y Cabo
Verde; la evaluación Servicios de Preescolar en Guinea y Cabo Verde se realizó en 2001.
La evaluación no tuvo un apartado específico de Fortalezas y Debilidades, sin embargo
presentó recomendaciones, en las que se insinúa la pertinencia de un programa como
el PEI para estimular los servicios de cuidado infantil en los países analizados. La
evaluación concluyó que los programas con un alto costo no necesariamente ofrecen
los mejores resultados y los servicios preescolares de menor costo no significan un
sacrificio sobre la calidad en tanto que muchos de estos centros logran que sus niños
tengan un desarrollo cognitivo alto. La evaluación recomendó explorar la posibilidad de
implementar un servicio más económico, complementado con capacitaciones
concretas alrededor de temas específicos. Adicionalmente, se recomienda buscar el
apoyo de la comunidad y de los padres para dichos programas.
Concretamente, en Guinea, donde la tasa de inscripción en preescolar es baja, y
hay escasos recursos públicos, la evaluación recomendó establecer un marco
institucional que estimule la participación de la sociedad civil y el sector privado en la
provisión del servicio; esto se podría hacer a través de capacitaciones a los padres,
campañas de concientización sobre la importancia de estos servicios, probar la
53
Meta evaluación del Programa de Estancias Infantiles, 2012
operación de un programa de bajo costo de cuidado infantil que cuente con el apoyo
de la comunidad, el ofrecimiento de créditos para echar a andar un centro de atención
preescolar.
En Cabo Verde, en donde el sector público ya provee una porción significativa de
los servicios de preescolar, la evaluación recomendó que el gobierno se concentrara en
mejorar la distribución de sus recursos, para lo cual se deberían estudiar aquellas
escuelas que tengan los mejores resultados en cuanto al desempeño de sus niños.
También se recomendó que se les impartiera a los maestros entrenamientos sobre
desarrollo infantil y que se desarrollaran esquemas para aumentar la presencia de los
niños de estratos más pobres en los servicios de educación preescolar.
El estudio examinó los modelos predominantes de educación preescolar en
Cabo Verde y Guinea. El propósito del estudio es ofrecer una imagen preliminar sobre
los impactos y la efectividad de dos programas en dos países africanos. El estudio
realizó un perfil de los servicios de educación preescolar en ambos países, exploró los
factores que determinan
la inscripción o participación en el servicio, estudió la
influencia de estos servicios sobre el desarrollo de los niños, identificó los programas
más efectivos para promover el desarrollo de los niños así como sus características y
sopesó las implicaciones de políticas públicas de estos programas.
El estudio recurrió a una metodología de encuestas para identificar los
programas y modelos de educación preescolar para detallar sus características. Se
examinó la gama de programas existentes en ambos países para identificar las
características de los programas que parecen ser las más efectivas –y menos costosasen promover el desarrollo de los niños. A continuación se seleccionó una muestra de
escuelas preescolares para identificar el impacto que la asistencia, los diferentes
modelos y las distintas características de las escuelas tienen sobre el desarrollo
cognitivo y físico de los niños. Tanto en Cabo Verde como en Guinea se tomó una
muestra aleatoria de 15 niños de 5 años de todas las escuelas preescolares
seleccionadas para aplicarles una encuesta a ellos a sus familias también; para tener un
punto de comparación se aplicó el mismo cuestionario a 10 niños de 5 años, y a sus
54
Meta evaluación del Programa de Estancias Infantiles, 2012
familias, pero que no asisten a preescolar. Las variables dependientes del análisis
fueron el desarrollo cognitivo y físico de los niños, las variables independientes se
dividieron en tres grupos: las características sociodemográficas de los niños,
características del entorno (por ejemplo, si los padres le leen a sus hijos), y variables
relacionadas a las escuelas (proporción de niños por maestra, formación de las
maestras, tipo de programa -guarderías, preescolares, etc.-). Se utilizó un análisis
multivariado para comparar los dos grupos así como la influencia de las variables
independientes sobre el desarrollo de los niños.
Los niños que asistieron a preescolar tuvieron mejor desarrollo cognitivo
medido a través de una prueba que medía la capacidad lingüística y las habilidades de
pre-lectura. De acuerdo con la evaluación, el haber asistido a servicios preescolares
explica una diferencia de dos puntos porcentuales sobre el total de la variación.
De acuerdo con el análisis realizado, los centros preescolares de Guinea son los
más exitosos para desarrollar habilidades de pre-lectura y de habilidades lingüísticas;
sin embargo, no contribuye al desarrollo de conceptos básicos. Por el contrario, los
servicios preescolares en Cabo Verde son más exitosos en desarrollar conceptos
básicos y habilidades lingüísticas, seguidos en menor medida por habilidades de prelectura.
Un hallazgo importante se refiere al hecho de que en Guinea los niños de los
estratos socioeconómicos más bajos fueron los que más se beneficiaron por la
asistencia a estos servicios, sin embargo en Cabo Verde este efecto se encontró en los
niños de estratos más altos. El estudio también encontró que las características de las
escuelas son significativas para explicar la variación en el desarrollo cognitivo de los
niños siendo los más efectivos los centros de educación comunitaria (Guinea) y
escuelas religiosas en Cabo Verde.
Otro hallazgo fue que el que la enseñanza sea bilingüe es un factor que afecta el
desarrollo cognitivo de los niños. En Guinea, se encontró un efecto negativo en el
desarrollo de los niños cuando las clases fueron impartidas tanto en francés como en el
idioma local; en el caso de Cabo Verde el efecto fue el contrario. Por último, se
55
Meta evaluación del Programa de Estancias Infantiles, 2012
identificó que los centros preescolares de alto costo no garantizan un alto desarrollo
infantil; por el contrario, intervenciones de bajo costo produjeron buenos resultados en
cuanto al desarrollo infantil, lo cual revela que no es necesario sacrificar la calidad al
reducir los costos.
Este es un primer estudio exploratorio con resultados incipientes sobre los
efectos de los servicios de educación preescolar y guardería en ambos países. La
información sobre las características de las escuelas no es lo suficientemente detallada
para obtener conclusiones definitivas sobre la efectividad de ciertos factores. Por
último, los costos que se presentan respecto a la operación de los centros preescolares
es aproximado ya que el estudio no analizó a profundidad toda la estructura de costos
de cada centro.
3.2.9 Hallazgos del análisis de las evaluaciones realizadas a programas similares al PEI
La revisión de estas evaluaciones permite concluir que efectivamente se puede valorar
el impacto de programas semejantes y que existe una gran diversidad de herramientas
metodológicas. En general, los resultados de las evaluaciones revisadas revelan que
estas intervenciones favorecen el desarrollo de los niños y facilitan la inserción laboral
de los padres (comparado respecto a un grupo de control). Algunas de las evaluaciones
revisadas también encontraron que, como consecuencia de la participación en estos
programas, puede aumentar la permanencia escolar lo cual a su vez también incidirá de
manera positiva sobre el ingreso futuro de los beneficiarios. Sin embargo, no existe un
estudio que compare los distintos tipos de intervenciones ni su impacto sobre el
desarrollo de los niños y la inserción laboral de los tutores, de tal manera que no se
cuenta con evidencia contundente a nivel internacional respecto a cuál de los
esquemas revisados (institucional, es decir, provisto de manera oficial por los
gobiernos o bien, mixto, esto es, una colaboración entre el gobierno y la sociedad) sea
el más efectivo para fomentar el desarrollo infantil.
56
Meta evaluación del Programa de Estancias Infantiles, 2012
La revisión de estas evaluaciones también reveló que las asesorías parentales
ofrecieron resultados positivos –para Estados Unidos y Reino Unido- en términos del
desarrollo infantil, por lo cual se recomendaría valorar la inclusión de un componente
similar para el caso del PEI.
Con base en esta información se considera que la metodología ideal para
realizar una evaluación impacto del PEI debería incluir una variable que mida el impacto
del programa en el desaarrollo infantil, a través de un estudio longitudinal de una
muestra aleatoria y estadísticamente representativa de beneficiarios y grupo de control
–como en Estados Unidos- que permitiera evaluar el impacto del programa sobre el
desarrollo infantil –controlando por regiones del país, características de la estancia y de
las MTPS- así como sobre la permanencia escolar –como en Brasil- y su influencia sobre
el posible ingreso del beneficiario. El controlar por las regiones del país y las
características de las estancias –nueva creación o afiliación, perfil de la responsable,
número y tipo de cursos, tamaño de la estancia, tipo de dieta- permitiría analizar si
existe algún tipo de estancia que tenga mayor impacto sobre el Fin del programa.
3.3 Agenda de Evaluación
Las evaluaciones revisadas permiten concluir que el PEI tiene un buen desempeño, un
impacto positivo en la participación en el mercado laboral de mujeres de escasos
recursos con hijos pequeños, y que los beneficiarios están satisfechos con el programa.
No obstante, la reciente promulgación de la LGPSACDII, implica nuevos retos tanto en
materia de diseño como de evaluación para el programa (véase Anexo 3).
En cuanto al diseño, el PEI deberá incorporar como uno de sus objetivos el
fomento del desarrollo integral infantil. Esto es, de acuerdo al artículo 5º de la
mencionada Ley, todos los espacios, independientemente de su denominación de
modalidad pública, privada o mixta, donde se prestan servicios para la atención,
cuidado y desarrollo integral infantil en un marco de ejercicio pleno de los derechos de
niñas y niños desde los cuarenta y tres días de nacido, se sujetarán a las disposiciones
57
Meta evaluación del Programa de Estancias Infantiles, 2012
de dicha legislación. Una de las disposiciones en cuestión, contenidas en el artículo 20,
fracción I de la Ley, establece la obligación para todos los espacios de cuidado infantil,
de atender el desarrollo infantil:
“En el diseño, implementación, monitoreo y evaluación de la política [Nacional en materia de Prestación de Servicios para la Atención, Cuidado y
Desarrollo Integral Infantil], y en la aplicación e interpretación de la presente
Ley, se deberá atender (…) al desarrollo de niñas y niños en todos los aspectos de su vida, ya sean físicos, emocionales, psicosociales, cognitivos,
sociales, educativos o culturales”. Aún cuando esto no implicara un mandato de ley, y tal como se había
argumentado ya en la ECyR 11-12, incorporar el desarrollo infantil como uno de los
objetivos del programa resulta deseable. De acuerdo con un estudio comparado
realizado por el Banco Mundial sobre distintos programas de servicios de cuidado
infantil implementados en diferentes países, la calidad del cuidado de los niños y la
participación laboral de las madres son aspectos que están íntimamente ligados,
puesto que, al mejorar e incentivar la calidad del cuidado y el desarrollo infantil,
presumiblemente aumentará el interés de más madres en el programa, lo cual a su vez
aumentará la presencia de madres trabajadoras en el sector laboral (Banco Mundial,
2010: 21 ). En otras palabras, en el documento se sugiere que, al promover el desarrollo
infantil en las estancias, se estará coadyuvando al logro del objetivo primero para el
que el PEI fue creado: lograr que las MTPS tengan acceso a espacios donde cuiden a sus
hijos, para que éstas puedan dedicar ese tiempo a trabajar o estudiar.
De incorporase el desarrollo infantil como un objetivo del programa (aunque sin
perder el objetivo central de reducir el rezago en materia de acceso y permanencia en
el trabajo de las MTPS), resulta indispensable que en 2013 se lleve a cabo una
evaluación de diseño a fin de comprobar que el diseño del programa y la normatividad
aplicable es congruente. Esta evaluación deberá realizarse para verificar a) que el
diseño del programa esté vinculado con el nuevo Plan Nacional de Desarrollo y, en su
58
Meta evaluación del Programa de Estancias Infantiles, 2012
caso, con el Programa Sectorial correspondiente; b) que la incorporación del desarrollo
infantil como objetivo se refleje adecuadamente en la MIR y en lógica vertical y
horizontal del programa; y c) que los atributos del desarrollo infantil previstos en la
LGPSACDII (físicos, emocionales, psicosociales, cognitivos, sociales, educativos o
culturales) están reflejados en los indicadores y en el diseño del programa.
Enseguida, ya con un diseño que incorpore el desarrollo infantil como objetivo
del programa, y una vez que se cuente con un indicador cuya definición y cuantificación
estén claramente especificadas, se recomienda que en 2014 se realice una evaluación
de indicadores con el fin de verificar que los indicadores de la MIR del PEI en efecto
estén capturando la información para la cual fueron diseñados. La metodología con la
cual se sugiere que se lleve a cabo esta evaluación es, en primer lugar, mediante un
trabajo de gabinete en el cual se realice un análisis de las definiciones, métodos de
cuantificación, frecuencia de medición y medios de verificación de cada indicador. En
segundo lugar, mediante un trabajo de campo que capture información para confirmar
que la información de cada indicador coincida con los resultados del análisis llevado a
cabo en el trabajo de gabinete. Esta evaluación no se justifica porque los indicadores
sean deficientes pues han sido valorados positivamente en las distintas evaluaciones
externas a las que ha estado sujeto el programa. En efecto, los indicadores han
permanecido prácticamente inalterados por lo menos en los últimos 4 años, excepto
por el relativo al desarrollo infantil, que fue incorporado en la MIR en 2011. Con esta
evaluación se busca, por una parte, comprobar que los indicadores que se han
mantenido estables durante varios años, realmente sean tan adecuados como se han
percibido en las evaluaciones externas; en segundo lugar, se busca comprobar que en
la práctica el indicador de desarrollo infantil esté midiendo cómo se está contribuyendo
al desarrollo de los atributos de este concepto (físicos, emocionales, psicosociales,
cognitivos, sociales, educativos y culturales) en los niños.
También en 2014, se sugiere llevar a cabo una evaluación complementaria con el
propósito de generar evidencia sobre cómo distintos aspectos del servicio que brinda
el programa generan efectos diferenciados en el Propósito y el Fin de la intervención.
59
Meta evaluación del Programa de Estancias Infantiles, 2012
Muchas de las decisiones sobre el diseño del programa no están sustentadas en
evidencia que permita especificar por qué conviene un diseño sobre otro. Para esas
decisiones es necesario contar con evidencia que se pueda obtener de forma
razonablemente económica, a partir de micro evaluaciones concentradas en averiguar
los efectos diferenciados de diseños alternativos del programa. Este tipo de
evaluaciones no se preguntan sobre los efectos de los programas, sino sobre la eficacia
relativa de atributos de diseño (Banerjee y Duflo:2011; Appel y Karlan: 2012). En otras
palabras, el objetivo de estas evaluaciones no es el de saber si el programa logra sus
propósitos, sino qué aspectos del servicio que brinda el programa sirven para hacerlo.
En el caso específico del PEI, el objetivo es saber qué tiempo y qué contenido deben
tener tanto las capacitaciones, como las actividades de aprendizaje de los niños. Es
decir, el objetivo es contar con evidencia para definir a qué se les debe enseñar tanto a
los niños como a las responsables, y qué tiempo se le debe destinar a este tipo de
actividades (en comparación, por ejemplo, con el tiempo que se le debe destinar a las
actividades de recreación para los niños) a fin de lograr mayor impacto en términos de
desarrollo infantil e, indirectamente, en la presencia de las MTPS en el sector laboral.
Para el año 2015, se sugiere llevar a cabo una evaluación de consistencia y
resultados a fin de analizar si el diseño y el desempeño global del PEI es el adecuado.
Debido a que para entonces se habrá añadido ya el desarrollo infantil como objetivo del
programa, será necesario valorar el diseño, la planeación y la orientación a resultados,
su cobertura y focalización, la operación del programa, la percepción de la población
atendida y sus resultados tanto en términos del objetivo central de reducir el rezago en
materia de acceso y permanencia en el trabajo de las MTPS, como del de fomentar el
desarrollo de los niños y niñas que asisten a la estancias.
Finalmente, se recomienda que en 2016 se realice una evaluación de impacto
con un diseño metodológico mixto a través del cual, desde una perspectiva cualitativa,
se conozcan las razones por las cuales las MTPS deciden llevar a los niños a dichas
estancias infantiles, y las que las(os) motivan a buscar empleo. Se sugiere en este
sentido realizar grupos focales y entrevistas semiestructuradas dirigidas a las MTPS
60
Meta evaluación del Programa de Estancias Infantiles, 2012
cuyos hijos asisten a las estancias infantiles. En cuanto al componente cuantitativo de la
evaluación, se sugiere que esté basado en información longitudinal para que, tal como
se llevó a cabo en la evaluación del programa Early Head Start (véase apartado de
Evaluación), se pueda conocer cuál es el impacto que el programa tiene en términos de
desarrollo infantil, en el largo plazo, así como los efectos en términos de reducir el
rezago en materia de acceso y permanencia en el trabajo de las MTPS. Aquí se propone
que se evalúe el efecto del PEI en cada uno de los atributos de desarrollo infantil
previstos por la LGPSACDII (físicos, emocionales, psicosociales, cognitivos, sociales,
educativos y culturales), así como en la generación de tiempo disponible para las MTPS,
en su permanencia o incorporación al mercado laboral y, en su caso, en su retorno a los
estudios. De la evaluación de Early Head Start también es deseable retomar la manera
en la que se conformó la muestra, pues capturó la diversidad de la población que
atiende el programa en términos de ubicación geográfica (localidades urbanas y
rurales) y antecedentes étnicos.
De manera específica, se sugiere utilizar tanto el Método de Puntuación de
Propensión (PSM, por sus siglas en inglés) como el de Triple Diferencias (DDD). Con el
PSM se busca garantizar en la medida de lo posible, que el grupo de control y el de
tratamiento sean comparables. Por otra parte, se considera pertinente utilizar el de
DDD, puesto que se considera que el PEI es un programa cuyo beneficio cambia con el
paso del tiempo. En otras palabras, se considera que, a mayor exposición de los niños al
PEI, mayor beneficio en términos de desarrollo infantil. De igual forma, se espera que a
mayor tiempo de ser beneficiarias de PEI, las MTPS tendrían mejores resultados en
términos de su inserción laboral. Bajo esta premisa, se está asumiendo en cierta medida
que se tienen dos grupos de tratamiento, pues el que ha estado expuesto al programa
durante un año es distinto al que ha estado expuesto por más años.
De llevar a cabo esta evaluación, sería posible conocer los resultados del
programa, con dos cortes en el tiempo, permitiendo así no sólo aceptar o refutar la
idea de que el programa tiene un efecto en el desarrollo infantil y en la inserción y
permanencia laboral de las MTPS; sino además conocer si entre más tiempo estén los
61
Meta evaluación del Programa de Estancias Infantiles, 2012
niños y las MTPS expuestos al programa, mayor es el efecto esperado.
Es importante señalar que existe el antecedente de la evaluación de impacto
realizada al PEI en 2011, en la que se descartó el método de PSM debido a la existencia
de un sesgo de autoselección. En este sentido se recomienda valorar si, de acuerdo a
los datos más actuales, este problema ha sido corregido (es decir, si no existe un
patrón en las decisiones por las que las madres no participan en el programa), de lo
contrario se deberá utilizar la metodología de pipeline.
En cualquier caso, el antecedente de la evaluación antes mencionada evidencia
la factibilidad de realizar una evaluación de impacto para el PEI; sin embargo,
considerando las nuevas responsabilidades que tiene el programa en materia de
desarrollo infantil, se considera que ésta no debería llevarse a cabo antes de la fecha
aquí prevista (2015), puesto que es necesario contar con, por lo menos, niños que
hayan estado expuestos al programa, por lo menos durante dos años, con el objetivo
expreso de promover el desarrollo infantil. Además, debido a que el diseño propuesto
es longitudinal, será necesario contar con información de los niños que ya no se
encuentran en las EI (por ejemplo, niños de 6 y 9 años de edad). Para tal fin, se sugiere
que la aplicación del CUIS, se realice de manera anual para una muestra representativa
de beneficiarios, o bien, que se cree un instrumento ad hoc (una encuesta) que sirva
como mecanismo de monitoreo para capturar información relevante para el
programa13. En cualquier caso, el instrumento de monitoreo debería ser aplicado a una
muestra representativa de la población beneficiaria, durante los 4 años posteriores al
egreso de los niños de las EI. Una opción adicional mediante la cual se puede recuperar
información sobre estos niños es seleccionando como muestra a aquéllos que tengan
hermanos menores en las EI, de forma que el contacto con sus madres para recabar la
información, pueda ser más sencillo. En este último caso, será necesario verificar el
hecho de que el contar con hermanos menores en EI no cause un sesgo en la muestra.
Finalmente, tal como se realizó en la evaluación de impacto a la que estuvo sujeto el
13
Si bien el equipo evaluador considera que el CUIS es un instrumento que, de implementarse
anualmente, podría servir para monitorear el desempeño del programa; también es consciente de que
ésta decisión no depende de la unidad responsable del programa. Por tal motivo, se sugiere como una
alternativa el crear un instrumento ad hoc para monitorear el desempeño del programa.
62
Meta evaluación del Programa de Estancias Infantiles, 2012
PEI en años anterirores, el grupo de control puede estar conformado por los
beneficiarios que se encuentran en lista de espera.
Se recomienda que a esta evaluación le siga una de procesos, con el objeto de
identificar si la operación del programa es acorde con las nuevas disposiciones de la
LGPSACDII. En específico se sugiere que se evalúen los siguientes cuatro aspectos:
1. el proceso de implementación de las medidas de seguridad y protección civil
es consistente con el estipulado en el capítulo VIII de la Ley;
2. el proceso de autorización de la EI y de las visitas de verificación;
3. el proceso de implementación del programa de trabajo, a fin de verificar que
opere según lo dispuesto en la LGPSACDII, es decir, verificando que en efecto
se promuevan actividades formativas y educativas, que la EI cuente con
instrumentos para medir los resultados esperados, y que el perfil de cada una
de las personas que labora en la EI sea consistente con el perfil planteado en
el plan de trabajo, y
4. que los programas de formación, actualización, capacitación y certificación
de competencias, y de protección civil se desarrollen según lo establecido.
Es importante mencionar que se sugiere llevar a cabo esta evaluación hasta
2016, con el objeto de que los nuevos procedimientos estipulados en la LGPSACDII se
encuentren ya consolidados.
En el periodo 2013-2018, se recomienda llevar a cabo evaluaciones específicas de
desempeño para conocer la evolución de los indicadores, la cobertura y el desempeño
general del programa. Es deseable que se realicen de forma rutinaria (cada dos años),
pues independientemente de los cambios en el diseño a los que se sujete el programa,
las EED permiten conocer la forma en la que se está desarrollando el programa. Una
vez ajustados los indicadores y construidos los mecanismos de recolección de
información (idealmente mediante el CUIS), estas evaluaciones podrían ser realizadas
de manera rápida y económica. Por ello, es importante destacar la importancia de
recoger información (sobre todo relativa al desarrollo infantil), a partir de la entrada en
vigor de las ROP de 2013, de lo contrario se terminará destinando recursos a la
63
Meta evaluación del Programa de Estancias Infantiles, 2012
implementación de evaluaciones cuyo alcance será muy limitado a causa de la falta de
datos. Se requiere contar con información de los beneficiarios al inicio y a la salida del
Programa y, para un grupo representativo, en los años siguientes para poder llevar a
cabo distintas evaluaciones del programa, incluyendo la de impacto (para la cual,
idealmente ya sería factible medir los efectos del programa en el bienestar tanto de los
niños como de las MTPS).
64
Meta evaluación del Programa de Estancias Infantiles, 2012
4. SECCIÓN DE MONITOREO
Esta sección presenta los principales cambios a los que estuvo sujeta la MIR durante el
periodo 2007-2012. También se analiza su Resumen Narrativo a nivel de Fin y Propósito,
así como el nombre, la definición, el método de cálculo, la meta y los resultados
obtenidos por los indicadores de Fin y Propósito. Con base en los documentos de
Seguimiento a los ASM, Cambios a la MIR y las evaluaciones a las que estuvo sujeto el
programa, se trató de identificar cuál fue el origen de dichos cambios. El análisis sólo
comprende los indicadores vigentes en la MIR 2012, así como los cambios que sufrieron
en el periodo analizado. En el Anexo 6 se presenta una lista de todos los indicadores del
programa para los niveles de Fin y Propósito, utilizados entre 2007 y 2012.
4.1 Análisis histórico de los principales cambios en la MIR del PEI
Desde la creación del PEI, el número de indicadores en su MIR llegó a su máximo en
2008 y 2009 (con 26 indicadores); actualmente utiliza 18. Los indicadores de Fin del
programa se mantuvieron estables desde 2009 (Porcentaje de beneficiarios que
permaneciendo más de dos meses en el programa accedieron a un trabajo remunerado y
Porcentaje de beneficiarios que tenían trabajo al momento de ingreso al programa y
mientras permanecen en él logran mantenerse en un trabajo remunerado) y los
indicadores de propósito desde 2008 (Porcentaje de beneficiarios que utilizan el tiempo
disponible generado por el uso de los servicios de cuidado infantil para trabajar, buscar
empleo, capacitarse o estudiar, Promedio de horas semanales de que disponen los
beneficiarios para acceder, permanecer en el mercado laboral o en su caso estudiar), salvo
por la adición de un nuevo indicador a partir de 2011 (Índice de Desarrollo Infantil de hijos
o niños al cuidado de beneficiarios que reciben servicio de la Red de Estancias Infantiles).
Los elementos de Fin y Propósito serán analizados con mayor detalle en las próximas
secciones.
65
Meta evaluación del Programa de Estancias Infantiles, 2012
Como se puede apreciar en la Gráfica 1, el número de indicadores de
componentes osciló entre 3 y 9. Actualmente utiliza 6, de los cuales sólo uno ha sido
constante desde 2007 (Satisfacción con la calidad de los servicios de cuidado infantil); los
otros dos indicadores más longevos han estado presentes en la MIR desde 2008 y 2009
(Número de EI operando en la Red e Hijos e Hijos o niños al cuidado de beneficiarios en la
modalidad de apoyo a MTPS que reciben servicios de la Red de EI, respectivamente). La
mayoría de los indicadores de componentes en la MIR se concentran en medir
resultados concretos del programa como la satisfacción de los beneficiarios o el
número de niños y MTPS atendidos desde el inicio del programa. Existen otros
indicadores que se consideran relevantes y que se cambiaron a la sección de
actividades; éstos ofrecen información sobre las visitas que reciben las estancias, el
pago oportuno y las capacitaciones que reciben las responsables. Dado que son
actividades que realiza el programa para cumplir con los componentes, se considera
adecuado su cambio. Por el contrario, se eliminó el componente de utilización de la
capacidad instalada del programa y se recomendaría reincorporarlo en la MIR, pues el
Análisis de Costo Beneficio del PEI (2010) concluyó que niveles subóptimos de ocupación
tienen un efecto negativo sobre la sustentabilidad económica de las EI.14
Por último, la sección de actividades fue la que mayor volatilidad presentó
durante el periodo analizado, pues recibió indicadores de otras secciones –como en el
caso de los indicadores de componentes mencionados previamente– y también
experimentó con nuevos indicadores. En esta área no hay un indicador que hubiera
permanecido constante durante todo el periodo analizado, los dos indicadores más
longevos han estado presentes desde 2008 (Porcentaje del presupuesto ejercido para la
gestión de apoyos a madres trabajadoras y padres solos, respecto al presupuesto
programado y Porcentaje del presupuesto ejercido para la gestión de apoyos a personas
oferentes de los servicios de estancias infantiles, respecto con el presupuesto
programado).
14
“Efectuando un recuento de las variables económicas de las estancias, sobresale que emplear la
capacidad instalada sólo hasta 50% de su capacidad es el principal factor de riesgo” (UAM, 2010: 788).
66
Meta evaluación del Programa de Estancias Infantiles, 2012
Gráfica 1. Número de indicadores de la MIR del PEI en el periodo 2007-2012.
30
25
20
13
13
11
15
10
5
0
6
7
11
9
9
9
9
3
2
1
2
2
2
2
2
2
3
2
3
2
2007
2008
2009
2010
2011
2012
Fin
Propósito
Componentes
6
Actividades
Fuente: elaboración propia con base en MIR 2007-2012.
De los 7 indicadores de actividades presentes en la MIR 2012, 4 de ellos se
refieren a cuestiones de gestión y administrativas (porcentaje de recursos ejecutados
para el pago de los servicios o porcentaje de reuniones realizadas), los otros
indicadores hacen referencia a las supervisiones realizadas por el programa así como a
las capacitaciones extraordinarias. Los indicadores de actividades de la MIR se podrían
mejorar si se considerara la reincorporación de: Porcentaje de Estancias Infantiles
certificadas oportunamente en la norma técnica de competencias laborales para la
atención de niños y niñas, Porcentaje de beneficiarios con registro del CUIS en el SGEI y
Porcentaje de Estancias Infantiles certificadas oportunamente en la norma técnica de
competencias laborales para la atención de niños y niñas. Si bien algunos de estos
indicadores sirvieron para darle seguimiento a un conjunto de actividades específicas,
como certificar a todas las responsables, se considera que se les debería dar
continuidad pues se esperaría que tengan un buen desempeño y también podrían
servir para identificar problemas en la operación del programa –entre la
documentación revisada no se identificó alguna justificación acerca de por qué fueron
eliminados.
67
Meta evaluación del Programa de Estancias Infantiles, 2012
4.2 Cambios en el Resumen Narrativo del nivel de Fin
Como se puede apreciar en la Tabla 3, el resumen narrativo a nivel de Fin del PEI tuvo
cambios durante 2008, 2009, 2010 y 2011 (véase Anexo 5) . El primer cambio se realizó
por recomendación de la ED 2007 que consideró "que además de mejorar las
condiciones de acceso al trabajo, el Programa también contribuye a mejorar las
condiciones de permanencia en el empleo. Esto se menciona en el Propósito, por lo que
recomendamos que se incluya también en la definición del Fin. A manera de diferenciar
el Fin del Propósito, sugerimos agregar al primero ‘Contribuir a mejorar las condiciones’” (2007: 9). Esta recomendación se incorporó textualmente en el resumen narrativo del componente de Fin en 2008.
Por su parte, los cambios de 2009 fueron producto de las recomendaciones
hechas por CONEVAL en las que sugirieron diferenciar los objetivos de Fin y Propósito,
y establecer una vinculación más clara entre el objetivo del Fin con algún objetivo del
PSDS.15 Los cambios incluyeron los criterios de selección de la población objetivo:
hogares con ingresos menores a seis salarios mínimos. También se especificó que el
programa buscaría contribuir a abatir el rezago en la permanencia laboral al aumentar
la oferta de espacios de cuidado infantil.
Para el cambio en la redacción del Fin del programa en 2010 no se encontró la
fuente de la recomendación pues las Cuentas Públicas 2008 y 2009 y la EED 2009-2010
no realizaron comentarios sobre la MIR. Tampoco se identificaron acciones de mejora
para el periodo 2009 en el documento electrónico que se recibió intitulado ASM VF PEI.
Esta información hace pensar que la modificación se hizo por iniciativa del programa o
por la recomendación de alguna evaluación interna. La redacción del Resumen
Narrativo a nivel de Fin del PEI abundó sobre la caracterización de la población a la que
estaba dirigido el programa, de tal forma que incluyó sus características: madres
trabajadoras, estudiantes o que están buscando un trabajo, así como padres solos, que
15
"El objetivo planteado es muy similar al planteado a nivel de Propósito; se sugiere vincularlo a un
objetivo sectorial" (CONEVAL 2008: 1).
68
Meta evaluación del Programa de Estancias Infantiles, 2012
habitan en hogares con menos de 1.5 salarios mínimos per cápita.16 De acuerdo con el
documento de ASM, el paso de 6 a 1.5 salarios mínimos per cápita responde a una
recomendación de la ED 2007 la cual solicitó precisar los criterios de selección del
programa.
El último cambio que se le hizo al Resumen Narrativo a nivel de Fin provino de
una recomendación de CONEVAL, que sugirió “revisar el Resumen Narrativo a nivel de Fin con el objeto de que responda a la pregunta ¿cuál es el problema que pretende
resolverse? (Informe de Sesiones del Comité Técnico de Revisión de los Indicadores PEI,
2010: 8).” Para atender la recomendación, el PEI cambió la redacción del Resumen
Narrativo a nivel de Fin, poniendo al inicio la principal acción realizada por el programa
a través de la cual se explica cómo contribuye a facilitar la inserción o permanencia
laboral. Actualmente el Resumen Narrativo a nivel de Fin es “contribuir mediante el aumento de la oferta de espacios de cuidado y atención infantil, a abatir el rezago en
materia de acceso y permanencia en el trabajo de madres que trabajan, buscan empleo
o estudian y los padres solos con hijos o niños bajo su cuidado en hogares que cumplan
con los criterios de elegibilidad establecidos en las Reglas de Operación del Programa” (MIR PEI, 2012).
16
Aunque el programa buscó ser más preciso, el resumen narrativo terminó siendo redundante pues
decía: “Contribuir a abatir el rezago en materia de acceso y permanencia en el trabajo de madres que
trabajan, buscan empleo o estudian y los padres solos con hijos o niños bajo su cuidado madres
trabajadoras y padres solos con hijos entre 1 y 3 años 11 meses en hogares con ingresos de hasta 1.5
salarios mínimos per cápita aumentando la oferta de espacios y apoyando la demanda de los servicios de
cuidado y atención infantil” (MIR PEI, 2010).
69
Meta evaluación del Programa de Estancias Infantiles, 2012
Tabla 3. Evolución de los Resúmenes Narrativos de los niveles de Fin y Propósito
PROPÓSITO
FIN
2007
Mejorar las condiciones de acceso al trabajo de madres trabajadoras y padres solos con hijos entre 1 y 3 años 11
meses
Madres trabajadoras y padres solos con hijos entre 1 y 3 años 11 meses en hogares con ingresos menores a 6 salarios mínimos, están en
condiciones de acceder y/o
permanecer en el mercado
laboral por el uso de
servicios de cuidado
infantil.
2008
2009
Contribuir a mejorar
las condiciones de
abatir el rezago en
materia de acceso y
permanencia en el
Contribuir a mejorar las
trabajo que enfrentan
condiciones de acceso y
las madres trabajadoras
permanencia en el trabajo
y padres solos con hijos
de madres trabajadoras y
entre 1 y 3 años 11
padres solos con hijos
meses (un día antes de
entre 1 y 3 años 11 meses
cumplir los 4 años) en
en hogares con ingresos
hogares con ingresos
menores a 6 salarios
menores de hasta 6
mínimos.
salarios mínimos
incrementando la oferta
y apoyando la demanda
de los servicios de
cuidado infantil.
Madres trabajadoras y
Madres trabajadoras y
padres solos con hijos
padres solos con hijos
entre 1 y 3 años 11
entre 1 y 3 años 11 meses
meses (un día antes de
en hogares con ingresos
cumplir los 4 años) en
menores a 6 salarios
hogares con ingresos
mínimos, están en
de hasta 6 salarios
condiciones de cuentan
mínimos, cuentan con
con tiempo disponible
tiempo disponible para
para acceder y/o
acceder, permanecer en
permanecer en el mercado
el mercado laboral y/o
laboral por el uso de
estudiar por el uso de
servicios de cuidado
servicios de cuidado
infantil.
infantil.
2010
2011
2012
Contribuir a abatir el
rezago en materia de
acceso y permanencia en
el trabajo que enfrentan
de madres trabajadoras
que trabajan, buscan
empleo o estudian y los
padres solos con hijos o
niños bajo su cuidado
entre 1 y 3 años 11 meses
en hogares con ingresos
de hasta 6 1.5 salarios
mínimos per cápita
aumentando la oferta de
espacios y apoyando la
demanda de los servicios
de cuidado y atención
infantil.
Contribuir mediante el
Contribuir mediante el
aumento de la oferta de
aumento de la oferta de
espacios de cuidado y
espacios de cuidado y atención
atención infantil, a abatir el
infantil, a abatir el rezago en
rezago en materia de
materia de acceso y
acceso y permanencia en el
permanencia en el trabajo de
trabajo de madres que
madres que trabajan, buscan
trabajan, buscan empleo o
empleo o estudian y los padres
estudian y los padres solos
solos con hijos o niños bajo su
con hijos o niños bajo su
cuidado entre 1 y 3 años 11
cuidado en hogares que
meses en hogares que cumplan
cumplan con los criterios de
con los criterios de elegibilidad
elegibilidad establecidos en
establecidos en las Reglas de
las Reglas de Operación del
Operación del Programa.
Programa.
Madres trabajadoras y
padres solos con hijos
entre 1 y 3 años 11 meses
en hogares con ingresos
de hasta 6 1.5 salarios
mínimos per cápita,
cuentan con tiempo
disponible para acceder,
permanecer en el
mercado laboral o en su
caso estudiar por el uso
de servicios de cuidado y
atención infantil.
Madres que trabajan, buscan
empleo o estudian y los padres
solos con hijos entre 1 y 3 años
11 meses en hogares con
ingresos de hasta 1.5 salarios
mínimos per cápita, cuentan
con tiempo disponible para
acceder o permanecer en el
mercado laboral, o en su caso
estudiar, por medio del uso de
servicios de cuidado y atención
infantil, que contribuyan al
desarrollo de los niños y niñas.
Apoyar a las madres que
trabajan, buscan empleo o
estudian y a los padres
solos, con hijos o niños bajo
su cuidado para que
cuenten con tiempo
disponible y acceder o
permanecer en el mercado
laboral, o en su caso
estudiar, por medio del uso
de servicios de cuidado y
atención infantil, que
contribuyan al desarrollo de
las(os) niñas(os).
Fuente: elaboración propia a partir de las MIR de PEI de 2007 a 2012
70
Meta evaluación del Programa de Estancias Infantiles, 2012
4.3 Cambios en el Resumen Narrativo del nivel de Propósito
El Resumen Narrativo a nivel de Propósito del PEI cambió cada año en 2008 (véase
Tabla 3 y Anexo 5). Los cambios de 2008 y 2010 fueron respuesta a las
recomendaciones de la ED 2007.17 En ella se señaló que, dado que el programa aporta
tiempo, la redacción del Resumen Narrativo del Propósito debía modificarse para
expresar esto, de tal manera que recomendaron "cambiar la redacción del Propósito
por 'Madres trabajadoras y padres solos con hijos entre 1 y 3 años 11 meses de edad en
hogares con ingresos menores 6 salarios mínimos mensuales, cuentan con tiempo
disponible para acceder y permanecer en el mercado laboral por el uso de servicios de
cuidado infantil'" (2007: 9). Por su parte, el cambio de pasar de 6 salarios mínimos por
hogar, a 1.5 s.m. por persona por hogar se hizo con el fin de precisar con mayor detalle
los criterios de selección, recomendación de la Evaluación de Diseño 2007 (ASM,
conjunto de acciones número 3).
Para la redacción del Resumen Narrativo a nivel de Propósito de 2011 se agregó
el componente sobre desarrollo infantil. Sobre este tema, la EED 2010-2011 reportó que
entre los avances para 2011 se encontraba en proceso de redacción un documento en el
cual se establezcan las acciones que permitan fomentar el desarrollo infantil en los
niños que asisten a las EI de la red, también se reportó que dicho esfuerzo era el
resultado de un Documento de Trabajo --sin especificar si es interno o externo. Entre
las recomendaciones específicas de la EED 2010-2011 no hay recomendaciones sobre
este tema. Por otro lado, al revisar el documento ASM se observa que se vinculó a la
EED 2010-2011 con la acción de la elaboración de un documento en el cual se
establezcan las acciones que permitan fomentar el desarrollo infantil en los niños. No
se hallaron recomendaciones sobre la alineación del Resumen Narrativo, sin embargo,
17
No se encontraron las fuentes para el cambio en la redacción del Resumen Narrativo a Nivel de
Propósito pues ni la Cuenta Pública 2008 ni la EED 2008-2009 manifestaron ninguna recomendación
respecto a alguna modificación de la redacción del objetivo de Propósito; se presume que dicho cambio
fue producto de la iniciativa del programa o de alguna evaluación interna no revisada. La diferencia
consiste en detallar con mayor profundidad la Población Objetivo.
71
Meta evaluación del Programa de Estancias Infantiles, 2012
es entendible que, al haber cambiado el objetivo del programa, también se hubiera
modificado la redacción de su resumen narrativo.
Por último, ni la ECYR (2011) ni la Evaluación de Impacto (2011) hicieron
recomendaciones sobre la modificación del RN a nivel de Propósito. Los cambios en la
redacción fueron menores y se enfatizó al principio que lo que busca el programa es
apoyar a las MTPS a facilitar su permanencia laboral. Puede suponorse que estos
cambios se hicieron por iniciativa propia o por atender alguna recomendación de una
evaluación interna. Actualmente el Resumen Narrativo a nivel de Propósito es “apoyar
a las madres que trabajan, buscan empleo o estudian y a los padres solos, con hijos o
niños bajo su cuidado para que cuenten con tiempo disponible y acceder o permanecer
en el mercado laboral, o en su caso estudiar, por medio del uso de servicios de cuidado
y atención infantil, que contribuyan al desarrollo de las(os) niñas(os)” (MIR 2012).
4.4 Pertinencia del Resumen Narrativo 2012 ante los objetivos y
actividades del PEI
De acuerdo con las ROP 2012, el objetivo general del PEI es “contribuir, mediante el
aumento de la oferta de espacios de cuidado y atención infantil, a abatir el rezago en
materia de acceso y permanencia en el trabajo de madres que trabajan, buscan empleo
o estudian y de los padres solos con hijas(os) o niñas(os) bajo su cuidado en hogares
que cumplan con los criterios de elegibilidad”, mientras que su objetivo específico es
“apoyar a las madres que trabajan, buscan empleo o estudian y a los padres solos para
que cuenten con tiempo disponible para acceder o permanecer en el mercado laboral,
o en su caso estudiar, por medio del uso de servicios de cuidado y atención infantil, que
contribuyan al desarrollo de las(os) niñas(os)” (ROP PEI, 2012: 3). Para cumplir sus objetivos el programa realiza actividades que se pueden
agrupar en 3 conjuntos: impulso a la creación de EI, incorporación a la Red de EI y el
apoyo para los beneficiarios. Además, para realizar estas acciones el programa también
realiza otras acciones como pruebas psicológicas a las posibles responsables de
72
Meta evaluación del Programa de Estancias Infantiles, 2012
estancias, capacitaciones, supervisiones y busca apoyos interinstitucionales –como con
la Cruz Roja, CONAFE, etc. – para complementar los servicios ofrecidos.
El documento titulado Metodología para la elaboración de la Matriz de
Indicadores de los programas presupuestarios de la APF, señala respecto al Resumen
Narrativo de Fin que “es la descripción de cómo el programa contribuye, en el mediano
o largo plazo a la solución de un problema de desarrollo o a la consecución de los
objetivos estratégicos de la dependencia” (CONEVAL, s.f: 14). Actualmente el Resumen Narrativo de Fin del programa explica que contribuirá a abatir el rezago en acceso y
permanencia laboral mediante el aumento en la oferta de servicios de cuidado infantil.
Sin embargo, se considera que el fin último que persigue el programa no es el de abatir
el rezago de la PO en materia de acceso y permanencia en el trabajo (más bien, esa es
la solución que brinda el programa para solventar el problema público identificado),
sino el de contribuir a la igualdad de oportunidades para que tanto hombres como
mujeres estén en condiciones de desarrollar su potencial. En este sentido, se sugiere el
siguiente Resumen Narrativo: "Contribuir a la igualdad de oportunidades entre mujeres
y hombres para que ejerzan sus derechos por igual, mediante la reducción del rezago
en materia de acceso y permanencia en el trabajo de madres que trabajan, buscan
empleo o estudian y los padres solos con hijos o niños bajo su cuidado en hogares con
ingreso per cápita por debajo de la línea de bienestar, a partir del aumento de la oferta
de espacios de cuidado y atención infantil".
El documento previamente mencionado señala que el Resumen Narrativo a nivel
de Propósito debe expresar “el resultado directo a ser logrado por la población objetivo como consecuencia de la utilización de los componentes (bienes y servicios
públicos) producidos o entregados por el programa. Es la aportación específica a la
solución del problema” (CONEVAL, s.f: 14). El Resumen Narrativo de Propósito del PEI
expresa que la PO contará con mayor tiempo disponible para trabajar, estudiar o
buscar un trabajo gracias al uso de los servicios de cuidado infantil, mismos que
contribuirán al desarrollo de los niños. Se considera un aspecto positivo que el PEI haya
incorporado el desarrollo infantil a sus objetivos pues, de esta manera, se inserta en la
73
Meta evaluación del Programa de Estancias Infantiles, 2012
tendencia de lo que la mayoría de los programas en otros países están haciendo (véase
apartado de Evaluación). Sin embargo, es necesario definir qué se entiende por
desarrollo infantil, para lo cual se recomienda basarse en la definición que en este
sentido se brinda en el art. 8, fracción II de la LGPSACDII Ley General de Prestación de
Servicios para la Atención, Cuidado y Desarrollo Integral Infantil18.
Con esta información, se puede decir que el Resumen Narrativo a nivel de
Propósito sí cumple con los requisitos expresados en el documento Metodología para la
elaboración de la Matriz de Indicadores de los programas presupuestarios de la APF. En
este caso, también se observa que la redacción del Resumen Narrativo de Propósito y
el objetivo específico del programa son idénticos. Se considera, sin embargo, que el
Resumen Narrativo se debe frasear como un producto realizado. Así, se propone que
el Resumen Narrativo para este nivel sea el siguiente: "Las madres que trabajan, buscan
empleo o estudian y los padres solos con hijos o niños bajo su cuidado en hogares que
cumplan con los criterios de elegibilidad establecidos en las Reglas de Operación del
Programa, cuentan con mayor tiempo disponible para trabajar, estudiar o buscar un
trabajo gracias al uso de los servicios de cuidado infantil que contribuyen al desarrollo
integral infantil".
4.5
Análisis de Indicadores para los niveles de Fin y Propósito
Indicador de Fin “Porcentaje de beneficiarios que permaneciendo más de dos meses en el Programa accedieron a un trabajo remunerado”
Este indicador apareció por primera vez en la matriz en 2009 y experimentó cambios en
2012. Como se puede observar en la Tabla 4, el cambio ocurrió en la definición del
indicador en la que se matizó lo que busca medir el indicador y, en vez de referirse al
impacto del programa, ahora reporta que mide el cambio de la proporción de la
población beneficiaria que no tenía trabajo y accedió a uno después de ingresar al
18
En esta ley, se define Desarrollo integral infantil como “el derecho que tienen niñas y niños a formarse
física, mental, emocional y socialmente en condiciones de igualdad”.
74
Meta evaluación del Programa de Estancias Infantiles, 2012
programa. Aunque se podría decir que este indicador estuvo presente en la MIR desde
2007 (en ese entonces era un indicador de Propósito) pero debido a recomendaciones
de la ED 2007 se le cambió a nivel de Fin (en 2008) y se modificó su nombre,19 definición
y método de cálculo, de tal manera que se considera un indicador distinto del que
estaba en 2007 (Porcentaje de beneficiarios que permaneciendo entre tres y seis meses en
el Programa accedieron a un trabajo remunerado).
19
Ir a Anexo 4 para encontrar una ficha técnica de todas las evaluaciones externas realizadas al PEI.
75
Meta evaluación del Programa de Estancias Infantiles, 2012
Tabla 4. Cambios en el indicador de Fin “Porcentaje de beneficiarios que permaneciendo más de dos meses en el programa accedieron a un trabajo remunerado”
2012
Nombre
2011
Porcentaje de beneficiarios
que permaneciendo más de
dos meses en el Programa
accedieron a un trabajo
remunerado.
Porcentaje de beneficiarios que
Porcentaje de beneficiarios que
permaneciendo más de dos
permaneciendo más de dos
meses en el Programa
meses en el Programa accedieron
accedieron a un trabajo
a un trabajo remunerado.
remunerado.
Porcentaje de beneficiarios que
permaneciendo más de dos meses en el
Programa accedieron a un trabajo
remunerado.
Definición
2010
Mide el impacto del
programa reflejado en el
incremento de la tasa de
ocupación de la población
beneficiaria que tiene mas de
dos meses en el programa.
Mide el impacto del programa
reflejado en el incremento de la
tasa de ocupación de la
población beneficiaria que tiene
mas de dos meses en el
programa.
Mide el impacto del programa
reflejado en el incremento de la
tasa de ocupación de la
población beneficiaria que
tiene mas de dos meses en el
programa.
Mide el cambio de la proporción de la
población beneficiaria que no tenía
trabajo y accedió a uno después de dos
meses de haberse incorporado al
programa.
Método de cálculo
2009
(Número de beneficiarios que
al momento de ingreso al
programa no tenían un
trabajo remunerado y una vez
que han permanecido más de
dos meses en el Programa,
accedieron a un trabajo
remunerado / Total de
beneficiarios que han
permanecido más de dos
meses en el programa y al
momento de ingreso no
tenían un trabajo
remunerado)*100
(Número de beneficiarios que al
momento de ingreso al programa
no tenían un trabajo remunerado
y una vez que han permanecido
más de dos meses en el
Programa, accedieron a un
trabajo remunerado / Total de
beneficiarios que han
permanecido más de dos meses
en el programa y al momento de
ingreso no tenían un trabajo
remunerado)*100
(Número de beneficiarios que
al momento de ingreso al
programa no tenían un trabajo
remunerado y una vez que han
permanecido más de dos
meses en el Programa,
accedieron a un trabajo
remunerado / Total de
beneficiarios que han
permanecido más de dos
meses en el programa y al
momento de ingreso no tenían
un trabajo remunerado)*100
(Número de beneficiarios que al
momento de ingreso al programa no
tenían un trabajo remunerado y una vez
que han permanecido más de dos meses
en el Programa, accedieron a un trabajo
remunerado / Total de beneficiarios que
han permanecido más de dos meses en
el programa y al momento de ingreso no
tenían un trabajo remunerado)*100
Fuente: elaboración propia a partir de las MIR del PEI de 2009 a 2012
76
Meta evaluación del Programa de Estancias Infantiles, 2012
La ED 2007 también recomendó que se modificara su método de cálculo y que
en vez de usar un intervalo de tiempo (entre 3 y 6 meses) se estableciera un periodo
mínimo (por ejemplo, aquellos que permanecen más de 3 meses). Esta recomendación
se atendió en 2009.20
Gráfica 2. Desempeño del indicador “Porcentaje de beneficiarios que permaneciendo
más de dos meses en el Programa accedieron a un trabajo remunerado”
86%
84%
82%
80%
78%
76%
74%
72%
70%
2009
2010
Meta
2011
Resultado
Fuente: elaboración propia con base en el PASH.
Como se puede apreciar en la Gráfica 2, en los tres años para los que hay datos
el programa se ha aproximado a su meta más nunca la ha superado. Es importante
contextualizar los resultados del programa en este indicador pues, como señaló la
Evaluación de Impacto (2011), la crisis internacional que comenzó en 2008 afectó el
ambiente económico y éste no fue el más propicio para facilitar la inserción laboral. Sin
embargo, la mayoría de los beneficiarios que no tenían trabajo antes de entrar al
20
La EED 2008-2009 analizó este indicador en 2008 y respecto a su método de cálculo expresó: “el
método de cálculo es incompleto ya que para identificar la contribución específica del Programa a la
mejoría de las condiciones de acceso, reflejada en el aumento de la tasa de ocupación, se debe comparar
con un grupo de control” (EED 2008-2009: 4). Sin embargo, dado que el indicador modificó su método
de cálculo, su definición y su nombre para 2009 no se tomó en consideración esta recomendación.
77
Meta evaluación del Programa de Estancias Infantiles, 2012
programa han logrado insertarse en alguna actividad productiva a dos meses de haber
ingresado al PEI, lo cual se considera un resultado positivo.
En general, se considera que la definición y el método de cálculo del indicador,
así como su desempeño son pertinentes y relevantes para medir el desempeño del
programa con respecto a su objetivo general –abatir el rezago en materia de acceso y
permanencia en el mercado laboral–, por lo tanto se recomienda continuar con el uso
del indicador.
Indicador de Fin “Porcentaje de beneficiarios que tenían trabajo al momento de
ingreso al programa y mientras permanecen en él logran mantenerse en un trabajo
remunerado”
Este indicador es muy semejante al primer indicador de Fin, la diferencia estriba en que
éste busca medir la permanencia en el empleo de aquellos beneficiarios que ya tenían
trabajo. Así, el primer indicador mide la capacidad de acceder al mercado laboral
mientras que el segundo mide su permanencia, con lo cual se cubren los objetivos del
programa. Este indicador tuvo cambios en 2008 y 2012. El primer cambio en el indicador
no sólo fue respecto a su nombre sino también con relación a su lugar en la MIR pues la
ED 2007 –al igual que con el primer indicador de Fin– recomendó que se subiera de
nivel de Propósito a nivel de Fin. La ED 2007 también recomendó que se modificara su
método de cálculo y en vez de usar un intervalo de tiempo (entre 3 y 6 meses) se
estableciera un periodo mínimo (por ejemplo, aquellos que permanecen más de 3
meses). Ambas recomendaciones se atendieron como se puede apreciar en la Tabla 5.
78
Meta evaluación del Programa de Estancias Infantiles, 2012
Tabla 5. Cambios en el indicador de Fin “Porcentaje de beneficiarios que tenían trabajo al momento de ingreso al programa y
mientras permanecen en él logran mantenerse en un trabajo remunerado”
Método de cálculo
Definición
Nombre
2007
Porcentaje de
beneficiarios que
teniendo trabajo y
permaneciendo entre
tres meses y seis meses
en el Programa, se
mantuvieron en un
trabajo remunerado.
(Número de beneficiarios
que teniendo trabajo y
permaneciendo entre
tres meses y seis meses
se mantuvieron en un
trabajo remunerado /
Total de beneficiarios que
pertenecen al Programa y
al momento de ingreso
tenían un trabajo
remunerado)*100
2008
2009
2010
2011
2012
Porcentaje de
beneficiarios que tenían
trabajo al momento de
ingreso al programa y
mientras están en el
programa logran
mantenerse en un trabajo
remunerado.
Porcentaje de
beneficiarios que tenían
trabajo al momento de
ingreso al programa y
mientras están en el
programa logran
mantenerse en un trabajo
remunerado.
Porcentaje de
beneficiarios que tenían
trabajo al momento de
ingreso al programa y
mientras están en el
programa logran
mantenerse en un trabajo
remunerado.
Porcentaje de
beneficiarios que tenían
trabajo al momento de
ingreso al programa y
mientras están en el
programa logran
mantenerse en un trabajo
remunerado.
Porcentaje de
beneficiarios que tenían
trabajo al momento de
ingreso al programa y
mientras permanecen en
él logran mantenerse en
un trabajo remunerado.
Mide la tasa de
permanencia en un
trabajo remunerado de la
población beneficiaria
que ingresó al programa
teniendo trabajo.
Mide la tasa de
permanencia en un
trabajo remunerado de la
población beneficiaria
que ingresó al programa
teniendo trabajo.
Mide la tasa de
permanencia en un
trabajo remunerado de la
población beneficiaria
que ingresó al programa
teniendo trabajo.
Mide la tasa de
permanencia en un
trabajo remunerado de la
población beneficiaria
que ingresó al programa
teniendo trabajo.
Mide la tasa de
permanencia en un
trabajo remunerado de la
población beneficiaria
que ingresó al programa
teniendo trabajo.
(Número de beneficiarios
que al momento de
ingreso al programa
tenían trabajo y mientras
están en el programa
logran mantenerse en un
trabajo remunerado /
Total de beneficiarios que
pertenecen al Programa y
al momento de ingreso
tenían un trabajo
remunerado)*100
(Número de beneficiarios
que al momento de
ingreso al programa
tenían trabajo y mientras
están en el programa
logran mantenerse en un
trabajo remunerado /
Total de beneficiarios que
pertenecen al Programa y
al momento de ingreso
tenían un trabajo
remunerado)*100
(Número de beneficiarios
que al momento de
ingreso al programa
tenían trabajo y mientras
están en el programa
logran mantenerse en un
trabajo remunerado /
Total de beneficiarios que
pertenecen al Programa y
al momento de ingreso
tenían un trabajo
remunerado)*100
(Número de beneficiarios
que al momento de
ingreso al programa
tenían trabajo y mientras
están en el programa
logran mantenerse en un
trabajo remunerado /
Total de beneficiarios que
pertenecen al Programa y
al momento de ingreso
tenían un trabajo
remunerado)*100
(Número de beneficiarios
que al momento de
ingreso al programa
tenían trabajo y mientras
permanecen en él logran
mantenerse en un trabajo
remunerado / Total de
beneficiarios que
pertenecen al Programa y
al momento de ingreso
tenían un trabajo
remunerado)*100
Fuente: elaboración propia a partir de las MIR del PEI de 2007 a 2012
79
Meta evaluación del Programa de Estancias Infantiles, 2012
El segundo cambio de este indicador ocurrió en la redacción de su método de
cálculo en 2012. En este caso, no se encontraron recomendaciones al respecto en la
EED 2010-2011, ni en la ECyR 2011 ni en la Evaluación de Impacto, de tal manera que
podemos suponer que la modificación se realizó por iniciativa del programa o con base
en alguna recomendación de una evaluación interna. En cualquier caso, el cambio sobre
el método de cálculo fue menor pues la redacción cambio de “número de beneficiarios que mientras están en el programa logran mantenerse en un trabajo remunerado” a “número de beneficiarios que mientras permanecen en el programa logran mantenerse en un trabajo remunerado”. Se considera que este fue un cambio menor que no alteró al indicador.
Gráfica 3. Desempeño del indicador “Porcentaje de beneficiarios que tenían trabajo al
momento de ingreso al programa y mientras permanecen en él logran mantenerse en
un trabajo remunerado”
94%
93%
93%
92%
92%
91%
91%
90%
90%
89%
89%
2009
2010
Meta
2011
Resultado
Fuente: elaboración propia con base en el PASH.
Respecto al desempeño del indicador, la Gráfica 3 revela que tanto los
resultados como las metas disminuyeron ligeramente de 93% a 90% --la revisión de los
documentos entregados no reveló la causa del cambio en estas metas--; también se
puede observar que el indicador alcanzó su meta para 2010 y 2011. En general se
80
Meta evaluación del Programa de Estancias Infantiles, 2012
considera que el indicador ha mostrado un buen desempeño y que su método de
cálculo está alineado con su definición. Un buen desempeño en este indicador ilustra el
trabajo que el PEI realiza para alcanzar sus objetivos: contribuir a abatir el rezago en
materia de acceso y permanencia en el empleo. En general, se considera que el
indicador cumple con su objetivo de medir la contribución del programa para la
solución del problema que pretende resolver, su fórmula es adecuada y ha mostrado
un buen desempeño, se considera que podría tener metas más exigentes y que debería
hacer explícitos los criterios para determinarlas.
Indicador de Propósito “Porcentaje de beneficiarios que utilizan el tiempo disponible
generado por el uso de los servicios de cuidado infantil para trabajar, buscar empleo,
capacitarse o estudiar”
Este indicador comenzó a utilizarse en 2008 y fue producto de la recomendación
de la ED sobre el Resumen Narrativo del Propósito del programa –previamente
mencionada– y también fue una respuesta a la observación de la ED donde señaló que
“los indicadores no son consistentes con el propósito de ofrecer tiempo disponible
para que las MTPS puedan acceder a un empleo o permanecer en él” (2007: 20). El
indicador no tuvo cambios sino hasta 2011, cuando se modificó su nombre, definición y
método de cálculo, como se puede apreciar en la Tabla 6. Estos cambios fueron
menores pues consistieron en cambiar la redacción del nombre y el método de cálculo
y en especificar en la definición cómo se mide el indicador.
Respecto al nombre, se modificó el orden de las actividades para las que se usa
el programa y en vez de decir que el tiempo libre generado por el programa era usado
por sus beneficiarios para “buscar empleo, capacitarse para el empleo o trabajar” (MIR PEI, 2010) ahora dice que el tiempo libre generado por el programa era usado por sus
beneficiarios para “trabajar, buscar empleo, capacitarse o estudiar” (MIR PEI, 2011). La definición del indicador se alineó con el cambio en el nombre y además se agregó la
siguiente información sobre la forma en la que se calcula el indicador: “mide a través de
81
Meta evaluación del Programa de Estancias Infantiles, 2012
auto-reporte si el tiempo que se libera gracias al programa es utilizado para abatir el
rezago en materia de acceso y permanencia en el trabajo. Para evitar sesgos se recoge
la información a través de una encuesta a una muestra aleatoria de beneficiarios
levantada por una institución externa” (MIR PEI, 2011). La modificación en el método de cálculo fue acorde con el cambio en el nombre.
82
Meta evaluación del Programa de Estancias Infantiles, 2012
2009
2010
2011
2012
Porcentaje de
beneficiarios que utilizan
el tiempo disponible
generado por el uso de
los servicios de cuidado
infantil para buscar
empleo, capacitarse para
el empleo o trabajar.
Porcentaje de
beneficiarios que utilizan
el tiempo disponible
generado por el uso de
los servicios de cuidado
infantil para buscar
empleo, capacitarse para
el empleo o trabajar.
Porcentaje de
beneficiarios que utilizan
el tiempo disponible
generado por el uso de
los servicios de cuidado
infantil para buscar
empleo, capacitarse para
el empleo o trabajar.
Porcentaje de beneficiarios que
utilizan el tiempo disponible
generado por el uso de los servicios
de cuidado infantil para trabajar,
buscar empleo, capacitarse o
estudiar.
Porcentaje de beneficiarios que
utilizan el tiempo disponible
generado por el uso de los servicios
de cuidado infantil para trabajar,
buscar empleo, capacitarse o
estudiar.
Mide la porción de beneficiarios
que usan el tiempo que dejan a sus
hijos en la estancia para dedicarse a
trabajar, buscar empleo,
capacitarse o estudiar. Es decir
mide a través de autorreporte si el
tiempo que se libera gracias al
programa es utilizado para abatir el
rezago en materia de acceso y
permanencia en el trabajo. Para
evitar sesgos se recoge la
información a través de una
encuesta a una muestra aleatoria
de beneficiarios levantada por una
institución externa.
(Número de beneficiarios que
utilizan el tiempo que los niños
están en la Estancia Infantil para
permanecer o buscar empleo,
capacitarse o estudiar / Total de
beneficiarios encuestados)*100
Definición
2008
Mide la porción de
beneficiarias que usan el
tiempo que dejan a sus
hijos en la estancia para
dedicarse a buscar
trabajo, capacitarse para
el empleo o para
trabajar.
Mide la porción de
beneficiarias que usan el
tiempo que dejan a sus
hijos en la estancia para
dedicarse a buscar
trabajo, capacitarse para
el empleo o para
trabajar.
Mide la porción de
beneficiarias que usan el
tiempo que dejan a sus
hijos en la estancia para
dedicarse a buscar
trabajo, capacitarse para
el empleo o para
trabajar.
Mide la porción de beneficiarios que
usan el tiempo que dejan a sus hijos
en la estancia para dedicarse a
trabajar, buscar empleo, capacitarse
o estudiar. Es decir mide a través de
autorreporte si el tiempo que se
libera gracias al programa es
utilizado para abatir el rezago en
materia de acceso y permanencia en
el trabajo. Para evitar sesgos se
recoge la información a través de
una encuesta a una muestra
aleatoria de beneficiarios levantada
por una institución externa.
Método de Cálculo
Nombre
Tabla 6. Cambios en el indicador de Propósito “Porcentaje de beneficiarios que utilizan el tiempo disponible generado por el uso
de los servicios de cuidado infantil para trabajar, buscar empleo, capacitarse o estudiar”
(Número de beneficiarios
que utilizan el tiempo
que los niños están en la
Estancia Infantil para
buscar empleo,
capacitarse para el
empleo o trabajar / Total
de beneficiarios
encuestados)*100
(Número de
beneficiarios que utilizan
el tiempo que los niños
están en la Estancia
Infantil para buscar
empleo, capacitarse para
el empleo o trabajar /
Total de beneficiarios
encuestados)*100
(Número de
beneficiarios que utilizan
el tiempo que los niños
están en la Estancia
Infantil para buscar
empleo, capacitarse para
el empleo o trabajar /
Total de beneficiarios
encuestados)*100
(Número de beneficiarios que
utilizan el tiempo que los niños
están en la Estancia Infantil para
permanecer o buscar empleo,
capacitarse o estudiar / Total de
beneficiarios encuestados)*100
Fuente: elaboración propia a partir de las MIR del PEI de 2008 a 2012
83
Meta evaluación del Programa de Estancias Infantiles, 2012
Es difícil identificar la fuente de dichos cambios en el indicador pues la EED 20102011 no emitió ninguna recomendación respecto a modificar la redacción del nombre ni
la definición del indicador. Por otro lado, en los comentarios de CONEVAL a los
indicadores del programa sí resaltaron que este indicador “no es pertinente ya que no refleja la contribución específica del programa al logro del Propósito”21. Sin embargo,
entre las recomendaciones para mejorarlo reportan que se podrían conservar los
indicadores de Fin como de Propósito. Dadas estas observaciones se estima que los
cambios se realizaron por iniciativa del programa o por una recomendación de alguna
evaluación interna.
Por otra parte, como se puede apreciar en la Gráfica 4, este indicador ha
superado regularmente sus metas y éstas han permanecido estables en 95%. Se
considera que el indicador ha tenido un buen desempeño y que sus metas no son laxas
pues busca que el 95% de sus beneficiarios utilicen el tiempo liberado por el programa
para trabajar, buscar un empleo o capacitarse.
Gráfica 4. Desempeño del indicador “Porcentaje de beneficiarios que utilizan el tiempo
disponible generado por el uso de los servicios de cuidado infantil para trabajar, buscar
empleo, capacitarse o estudiar”
99%
98%
98%
97%
97%
96%
96%
95%
95%
94%
94%
2009
2010
Meta
2011
Resultado
Fuente: elaboración propia con base en el PASH.
21
Lo cual contradice lo señalado en la ED 2007.
84
Meta evaluación del Programa de Estancias Infantiles, 2012
Este indicador ofrece información más detallada relativa a los indicadores de Fin;
si los primeros miden la proporción de los beneficiarios que han mejorado su situación
laboral después de ingresar al programa, éste mide la proporción de los beneficiarios
que usan el tiempo que se libera para mejorar su condición laboral –objetivo para el
que se creo el programa. Esto es una condición previa necesaria para la realización de
los fines del programa. El indicador está bien definido, que ha tenido un buen
desempeño, que está vinculado con los indicadores de Fin y con el Resumen Narrativo
de Propósito. Se recomienda conservarlo.
Indicador de Propósito “Promedio de horas semanales de que disponen los beneficiarios para acceder, permanecer en el mercado laboral o en su caso estudiar”
Al igual que el primer indicador de Propósito revisado, éste fue una respuesta a la
observación de la ED 2007 en la que se indicaba que los indicadores de Propósito del
programa en 2007 no reflejaban ninguna actividad relativa al tiempo que se liberaba
para que las MTPS pudieran acceder a un empleo.22 De tal manera que este indicador
apareció por primera vez en la MIR en 2008 y se ha mantenido desde entonces. Tuvo
cambios en 2009 de nombre y método de cálculo y en 2011 de nombre y definición,
como se puede observar en la Tabla 7.
Los cambios de 2009 encuentran su explicación en la EED 2008-2009 la cual
señalo que “el indicador ‘Número de horas semanales promedio de asistencia de las niñas y los niños a las EI’ no es pertinente a nivel de Propósito; ya que sólo mide las horas que asisten los niños a la estancia, sin identificar si el tiempo que se dedicaba al
cuidado de éstos ahora se usa para buscar empleo o trabajar. En este sentido, la
fórmula de cálculo, que no considera el uso del tiempo disponible, no corresponde a la
22
Los indicadores de Propósito en 2007 fueron: “Porcentaje de beneficiarios que permaneciendo entre
tres y seis mese en el programa accedieron a un trabajo remunerado” y “Porcentaje de beneficiarios que
teniendo trabajo y permaneciendo entre tres meses y seis meses en el Programa, se mantuvieron en un
trabajo remunerado” (MIR 2007).
85
Meta evaluación del Programa de Estancias Infantiles, 2012
definición del indicador que se refiere al trabajo o búsqueda de empleo” (2008-2009:
6).
86
Meta evaluación del Programa de Estancias Infantiles, 2012
Tabla 7. Cambios en el indicador de Propósito “Promedio de horas semanales de que disponen los beneficiarios para acceder,
permanecer en el mercado laboral o en su caso estudiar”
Promedio de horas
semanales de
asistencia de los niños
a las Estancias
Infantiles.
2010
2011
2012
Promedio de horas
semanales de
asistencia de los
niños a las Estancias
Infantiles.
Promedio de horas semanales de
que disponen los beneficiarios
para acceder, permanecer en el
mercado laboral o en su caso
estudiar.
Promedio de horas semanales de
que disponen los beneficiarios para
acceder, permanecer en el
mercado laboral o en su caso
estudiar.
Mide las horas promedio
semanales con las que cuentan los
beneficiarios para acceder,
permanecer en el mercado laboral
o en su caso estudiar, es decir mide
el tiempo que se libera gracias al
programa para abatir el rezago en
materia de acceso y permanencia
en el trabajo gracias al programa.
Se mide a través de un indicador
proxy que es el tiempo promedio
que asisten los niños a las estancias
infantiles del programa.
(Suma de horas semanales que
cada niño asiste a la estancia, en la
semana de referencia del estudio /
No. de niños del estudio)
Definición
Número de horas
semanales promedio
de asistencia de las
niñas y los niños a las
Estancias Infantiles.
2009
Mide las horas
promedio que las
beneficiarias dejan a
sus hijos en la
estancia para
dedicarse a buscar
trabajo o a trabajar.
Mide las horas
promedio que las
beneficiarias dejan a
sus hijos en la estancia
para dedicarse a buscar
trabajo o a trabajar.
Mide las horas
promedio que las
beneficiarias dejan a
sus hijos en la
estancia para
dedicarse a buscar
trabajo o a trabajar.
Mide las horas promedio
semanales con las que cuentan
los beneficiarios para acceder,
permanecer en el mercado
laboral o en su caso estudiar, es
decir mide el tiempo que se libera
gracias al programa para abatir el
rezago en materia de acceso y
permanencia en el trabajo gracias
al programa. Se mide a través de
un indicador proxy que es el
tiempo promedio que asisten los
niños a las estancias infantiles del
programa.
Método de Cálculo
Nombre
2008
(Suma de horas
semanales promedio
que cada niño asiste a
la estancia / No. Total
de niños del estudio)
(Suma de horas
semanales que cada
niño asiste a la
estancia, en la semana
de referencia del
estudio / No. de niños
del estudio).
(Suma de horas
semanales que cada
niño asiste a la
estancia, en la
semana de referencia
del estudio / No. de
niños del estudio).
(Suma de horas semanales que
cada niño asiste a la estancia, en
la semana de referencia del
estudio / No. de niños del
estudio).
Fuente: elaboración propia a partir de las MIR del PEI de 2008 a 2012
87
Meta evaluación del Programa de Estancias Infantiles, 2012
Ante las observaciones de la EED 2008-2009 el PEI realizó algunos cambios
menores sobre el indicador, sobre todo en su nombre y en la fórmula; sin embargo,
fueron cambios de redacción menores que no alteraron significativamente el
fenómeno que el indicador está midiendo. No se considera que estos cambios hayan
resuelto la observación realizada por la evaluación pues persiste la incógnita sobre si el
tiempo que se libera por la asistencia de sus hijos a las estancias se utiliza para buscar
un trabajo, conservarlo o capacitarse; ciertamente el indicador funciona bajo el
supuesto de que la PO usaría el tiempo liberado para llevar a cabo esas tareas, sin
embargo la información de dicho indicador no la hace obvia. No obstante, este
indicador sirve para complementar los indicadores de fin que muestran que más de 90%
de los beneficiarios han conservado el trabajo y que entre 75 y 83% de los beneficiarios
que no tenían trabajo declararon conseguir uno. Así, en conjunto, los indicadores de
Fin y Propósito se complementan y ofrecen una visión coherente sobre los resultados
del programa en cuanto a sus objetivos, con lo cual se entiende que el PEI decidiera
desestimar la observación de la EED 2008-2009.
En 2011, se modificó el nombre y la definición del indicador, sin embargo la EED
2010 no hizo ningún comentario sobre cambiar este indicador. Por su parte, CONEVAL
señaló que los indicadores de Propósito “no reflejan cambios producidos en la población objetivo que puedan atribuirse a la ejecución del programa” y propuso regresar los indicadores de Fin a nivel de Propósito. A partir de estas valoraciones sobre
el indicador, se puede suponer que el Programa realizó los cambios por iniciativa propia
o como respuesta a alguna recomendación interna. Por otra parte, los cambios
tampoco fueron sustantivos, pues la redacción del nombre se modificó y, en lugar de
hacer referencia al tiempo que los niños permanecían en la estancia, ahora enfatizaba
el tiempo disponible para los padres gracias a la asistencia de sus hijos a las EI. La
definición del indicador se alineó al cambio en el nombre y además agregó una
explicación sobre lo que se busca medir: “es decir mide el tiempo que se libera gracias al programa para abatir el rezago en materia de acceso y permanencia en el trabajo
gracias al programa. Se mide a través de un indicador proxy que es el tiempo promedio
88
Meta evaluación del Programa de Estancias Infantiles, 2012
que asisten los niños a las estancias infantiles del programa” (MIR PEI, 2011). Esta puntualización podría tener una mejor redacción si sólo se mencionara una vez –y no
dos– que el tiempo se libera gracia a la asistencia de sus hijos a las EI. Dado que estos
cambios no alteraron la fórmula se consideran cambios superficiales.
Respecto al desempeño del indicador, la Gráfica 5 muestra que ha estado muy
cerca de sus metas, y que las alcanzó en 2009. Idealmente, si los niños asisten 5 días a la
semana, uno pensaría que la meta debería ser de 40 horas, de tal forma que pudieran
trabajar una jornada completa, y así sacarle mayor provecho al programa. Sin embargo,
este es un indicador sobre el que el programa no tiene control pues no puede obligar a
las MTPS a que dejen a sus hijos por más tiempo del que necesiten, o quieran. Este
indicador ofrece información, de manera indirecta, sobre el tipo de trabajos al que
están accediendo los beneficiarios, que con base en este indicador parecería que son
de medio tiempo o tiempo parcial. Para mejorar la información del programa de este
indicador se podrían obtener dos, diferenciando los beneficiarios que trabajan tiempo
completo de los que trabajan medio tiempo, e indagar de cuántas horas disponen
ambos grupos gracias al programa.
Gráfica 5. Desempeño del indicador “Promedio de horas semanales de que disponen
los beneficiarios para acceder, permanecer en el mercado laboral o en su caso
estudiar”
36
35.5
35
34.5
34
33.5
33
2009
2010
Meta
2011
Resultado
Fuente: elaboración propia con base en el PASH.
89
Meta evaluación del Programa de Estancias Infantiles, 2012
Indicador de Propósito “Índice de Desarrollo Infantil de hijos o niños al cuidado de beneficiarios que reciben servicio de la Red de Estancias Infantiles”
Este es un indicador de reciente incorporación en la MIR (2011). La EED 2010-2011
reportó que entre los avances para 2011 se encontraba en proceso de redacción un
documento que en el cual se establecerían las acciones que permitirían fomentar el
desarrollo infantil en los niños que asisten a las estancias infantiles de la red. También
se reportó que dicho esfuerzo era el resultado de un Documento de Trabajo (sin
especificar si es interno o externo). Para las ROP 2011 se incluyó como objetivo del
programa el desarrollo de los niños y se incluyó un indicador sobre el tema. De acuerdo
con la ECYR 2011 este indicador fue respuesta de una recomendación de un manuscrito
del Banco Mundial así como una oportunidad de mejora detectada por la Evaluación de
Impacto.
El indicador no ha estado sujeto a un cambio con respecto a su definición. Para
2012, la definición del indicador simplemente expresa que es el registro del índice de
desarrollo infantil. Aunque el método de cálculo se expone en un Anexo de la Ficha
Técnica, no queda claro en qué consiste puesto que en el anexo únicamente se indica
que para la medición del índice se ponderan los resultados de los reactivos marcados
en la “Cédula de evaluación del desarrollo infantil”, pero no se indica cuáles son dichos
reactivos.23 Se observa que no se ha atendido una recomendación de la ECYR 2011 en la
que se sugiere especificar cuál es la unidad de medida del indicador así como su
fórmula pues, como se puede observar en la Tabla 8, y al revisar la ficha técnica del
indicador, no queda claro cómo se deben interpretar esos 70 puntos, por ejemplo
podría ser que de todos los niños evaluados se alcance dicho promedio; o más bien que
70% de los niños evaluados obtuvieron una cierta calificación.
23
En el anexo se especifica que la Cédula de evaluación del desarrollo infantil incluye cuatro ámbitos del
desarrollo: conocimiento y cuidado de sí mismo, interacción participativa con el entorno social,
pensamiento, lenguaje y creatividad, e interacción y cuidado del entorno físico. No obstante lo anterior,
no se presentan las preguntas o reactivos que conforman cada uno de los ámbitos del desarrollo
detectados.
90
Meta evaluación del Programa de Estancias Infantiles, 2012
Si no se cuenta con mayor claridad en la definición, así como en la fórmula del
indicador se vuelve difícil evaluar su desempeño, pues no se puede decir qué significa el
que haya superado su meta en 2011.
91
Meta evaluación del Programa de Estancias Infantiles, 2012
Tabla 8. Cambios en el indicador de Propósito “Índice de Desarrollo Infantil de hijos o niños al cuidado de beneficiarios que
reciben servicio de la Red de Estancias Infantiles”
Índice de desarrollo infantil de hijos o niños al
Índice de Desarrollo Infantil de hijos o niños al
cuidado de beneficiarios que reciben servicio de la cuidado de beneficiarios que reciben servicio de la
Red de Estancias Infantiles.
Red de Estancias Infantiles.
Da cuenta de las acciones que se realizan en el
Programa con la finalidad de mejorar
marginalmente el desempeño en el índice de
desarrollo infantil de los hijos de los beneficiarios
del Programa.
Registra el Índice de Desarrollo Infantil de los hijos
de los beneficiarios del Programa.
Índice de desarrollo infantil.
Índice de Desarrollo Infantil.
Método de
Cálculo
Nombre
2012
Definición
2011
Fuente: elaboración propia a partir de las MIR de PET de 2011 a 2012
92
Gráfica 6. Desempeño del indicador “Índice de Desarrollo Infantil de hijos o niños al
cuidado de beneficiarios que reciben servicio de la Red de Estancias Infantiles”
100
75
50
25
0
.
2011
Resultado
.
Meta
Fuente: elaboración propia con base en el PASH.
4.6 Conclusiones
La revisión de las prácticas de monitoreo del PEI muestra que la evolución de la MIR ha
tendido a reducir su número de indicadores; el máximo número de indicadores que
tuvo fue de 26 (para las MIR de 2008 y 2009) y actualmente cuenta con 18.
Además, es posible concluir que existen algunos indicadores, sobre todo en las
áreas de componentes y actividades, que valdría la pena reincorporar. Tal es el caso de
los indicadores Porcentaje de Estancias Infantiles certificadas oportunamente en la norma
técnica de competencias laborales para la atención de niños y niñas, Porcentaje de
beneficiarios con registro del CUIS en el SGEI y Porcentaje de Estancias Infantiles
certificadas oportunamente en la norma técnica de competencias laborales para la
atención de niños y niñas. Estos indicadores serían útiles para brindar información útil
sobre la calidad de las estancias, se esperaría que tuvieran un buen desempeño y
permitirían detectar anomalías como estancias o responsables sin certificar. Por otro
lado, el indicador relativo a las CUIS también se considera importante pues permitiría
93
dimensionar la cantidad de información disponible de beneficiarios para analizar por
parte del programa.
Es justo señalar que las observaciones de la ED 2007 fueron valiosas en cuanto a
que le permitieron al programa corregir oportunamente su Resumen Narrativo y sus
indicadores de Fin y Propósito; el haber corregido en una etapa temprana del programa
estos indicadores se considera un elemento importante del buen desempeño y
monitoreo que ha tenido durante el periodo analizado. Las observaciones de las demás
evaluaciones fueron positivas, pero no tan trascendentales.
No obstante, se recomienda que el Resumen Narrativo a nivel de Fin establezca
cuál es fin último al cual contribuye, y refleje que la solución que brinda el programa es
la disminución en el rezago de la PO en materia de acceso y permanencia en el trabajo,
y no la oferta de espacios de cuidado y atención infantil. De esta forma, se recomienda
que el Resumen Narrativo quede de la siguiente forma: contribuir a la igualdad de
oportunidades entre mujeres y hombres para que ejerzan sus derechos por igual,
mediante la reducción del rezago en materia de acceso y permanencia en el trabajo de
madres que trabajan, buscan empleo o estudian y los padres solos con hijos o niños
bajo su cuidado en hogares con ingreso per cápita por debajo de la línea de bienestar, a
partir del aumento de la oferta de espacios de cuidado y atención infantil.
En cuanto al Resumen Narrativo para el nivel de Propósito, se recomienda
expresarlo como un producto terminado. En cualquier caso, es posible distinguir que
existe complementariedad entre los indicadores de Fin y Propósito, de tal manera que
en conjunto ofrecen una visión integral sobre el desempeño del programa.
Finalmente, hay que señalar que los cambios realizados al PEI han facilitado
mejoras en su desempeño y monitoreo durante el periodo analizado, que tiene una
serie de indicadores consolidados, tanto en su diseño como en el método de cálculo,
pero que, en cuestiones de diseño, necesita enfatizar la labor que realiza en cuanto a
desarrollo infantil así como aclarar qué es lo que está midiendo y cómo lo está haciendo
respecto al índice de desarrollo infantil. Es necesario hacer hincapié en este punto,
pues a pesar de lo deseable que resulta el que en las Estancias Infantiles se promueva el
94
desarrollo infantil, mientras no se plantee como un objetivo central del programa y se
especifique el concepto de desarrollo infantil, no es posible valorar su desempeño en
este rubro.
95
5. ANÁLISIS FODA
A partir de las evaluaciones realizadas al PEI y del análisis de sus indicadores, se
identificaron fortalezas, debilidades y oportunidades del programa, de las cuales se
derivan algunas recomendaciones que tienen por objeto mejorar su eficacia (véase
Anexo 4).
5.1 Fortalezas
La principal fortaleza del PEI reside en el buen desempeño que ha mostrado el
programa en términos del logro de sus objetivos. De hecho, la evaluación de impacto
presentó evidencia que indica que el programa tiene un efecto positivo en la
participación en el mercado laboral de mujeres de escasos recursos con hijos
pequeños, especialmente en aquéllas que no trabajaban antes de entrar al programa
(Ángeles et al., 2011: 16). Además, en la evaluación de satisfacción el PEI resultó muy
bien evaluado por los beneficiarios del programa, pues obtuvo un puntaje en el índice
de satisfacción de 9.27, en una escala del 0 al 10. Esta calificación es producto de una
percepción positiva de las madres beneficiaras en cuanto al trato que reciben por parte
del personal, así como en cuanto al beneficio que reciben en comparación con los
compromisos que ellas deben adquirir para obtenerlo (Rodríguez, V., 2012: 69-70).
En cuanto a los indicadores, se considera que éstos han sido definidos de forma
adecuada para medir su Fin y Propósito, excepto por el indicador denominado “Índice
de Desarrollo Infantil de hijos o niños al cuidado de beneficiarios que reciben servicio de la
Red de Estancias Infantiles”, como se indica en la siguiente sección.
Por otra parte, es destacable también el que el programa haya estado sujeto a
una agenda de evaluación tan completa durante el periodo de análisis (2007-2012), así
como la oportuna atención a los ASM que de han derivado de ésta.
96
5.2 Debilidades
En términos de indicadores, la principal debilidad es que el Índice de Desarrollo Infantil,
que actualmente es ya un indicador de Propósito, no ha sido definido aún en las reglas
de operación ni en la MIR. Aunque hay datos sobre la meta y sobre los resultados para
2011, en realidad no se han explicitado los métodos de cálculo ni las fuentes de
información.
Adicionalmente, en esta metaevaluación se identificó como una debilidad del
programa el que no existan criterios claros para definir las metas planteadas para los
indicadores. El problema con esta falta de criterios es que se dificulta la interpretación
de los resultados del programa. Por ejemplo, los indicadores del PEI no siempre han
alcanzado sus metas (véase Tabla 9), lo cual puede ser indicativo de que el desempeño
del programa no ha sido adecuado (lo cual es poco probable debido a los resultados de
las evaluaciones de impacto y de satisfacción), o de que las metas que se fijan para
cada indicador son muy exigentes (lo cual, por cierto, sería un rasgo positivo, pues
significaría que el programa no se impone metas fáciles de cumplir). Para solventar lo
anterior, se recomienda hacer públicos los criterios a través de los cuales se determinan
las metas de los indicadores, para así poder distinguir si sus resultados reflejados en los
indicadores son producto del propio desempeño del programa, o de la forma en la que
fueron definidas las metas.
Tabla 9. Desempeño de los indicadores de Fin y Propósito
Fuente: elaboración propia a partir de los informes del PASH.
97
Una debilidad adicional, aunque menor, identificada en el programa tiene que
ver con la forma en la que están fraseados los resúmenes narrativos para el nivel de Fin
y de Propósito. En el del nivel de Fin, se planteó como el objetivo último del programa
el abatimiento del rezago en materia de acceso y permanencia en el trabajo de las
MTPS, sin embargo se considera que éste no representa el fin último del programa,
sino la solución del mismo. En este sentido, se recomienda modificarlo de acuerdo con
las recomendaciones realizadas al respecto en el apartado de Monitoreo24. En lo que
respecta al Resumen Narrativo del nivel de Propósito actual, no presenta problemas de
fondo, sino en la forma en la que está redactado 25 , pues no coincide con los
requerimientos que en este sentido realiza CONEVAL. Se recomienda modificar la
redacción en el sentido que se recomendó en el apartado de Monitoreo de esta
metaevaluación26.
5.3 Oportunidades
Una de las principales oportunidades del programa está relacionada con la
incorporación del desarrollo infantil como un objetivo. Las evaluaciones realizadas a
programas similares al PEI en otras partes del mundo dan muestra de que la tendencia
en este tipo de programas es la de incorporar como un objetivo primordial al desarrollo
24
En la sección de monitoreo se recomendó el siguiente Resumen Narrativo para el nivel de Fin:
“Contribuir a la igualdad de oportunidades para que las mujeres y los hombres alcancen su pleno
desarrollo y ejerzan sus derechos por igual, mediante la reducción del rezago en materia de acceso y
permanencia en el trabajo de madres que trabajan, buscan empleo o estudian y los padres solos con hijos
o niños bajo su cuidado en hogares que cumplan con los criterios de elegibilidad establecidos en las
Reglas de Operación del Programa”.
25
El actual Resumen Narrativo para el nivel de Propósito está redactado de la siguiente forma: “Apoyar a las madres que trabajan, buscan empleo o estudian y a los padres solos, con hijos o niños bajo su cuidado
para que cuenten con tiempo disponible y acceder o permanecer en el mercado laboral, o en su caso
estudiar, por medio del uso de servicios de cuidado y atención infantil, que contribuyan al desarrollo de
las(os) niñas(os)”.
26
Se sugiere la siguiente redacción: “Las madres que trabajan, buscan empleo o estudian y los padres solos con hijos o niños bajo su cuidado en hogares que cumplan con los criterios de elegibilidad
establecidos en las Reglas de Operación del Programa, cuentan con mayor tiempo disponible para
trabajar, estudiar o buscar un trabajo gracias al uso de los servicios de cuidado infantil que contribuyen al
desarrollo integral infantil”. 98
infantil. La lógica detrás de esta incorporación es que al hacerlo se estaría
contribuyendo a lograr un aumento en la fuerza laboral de las madres pues, en este
escenario, las madres estarían más interesadas en participar en el programa (Banco
Mundial, 2010: 21). Además, la reciente promulgación de la LGPSACDII obliga a que
todos los centros de cuidado infantil promuevan el desarrollo de los niños y niñas (art.
20, fracc. I). Este aspecto ya había sido señalado por la ECyR 11-12 (2012: 58); sin
embargo, debido a que el programa sólo cuenta con un indicador relativo al desarrollo
infantil en el nivel de Propósito (cuando en realidad requiere de un cambio en su diseño
para aprovechar esta oportunidad), se consideró pertinente señalarlo nuevamente.
5.4 Amenazas
La promulgación de la LGPSACDII, en tanto ley general, tiene por objeto estandarizar
distintos aspectos relacionados con la operación de los servicios de cuidado infantil en
todo el país (por ejemplo, contempla la creación de un Programa Interno de Protección
Civil para todos las entidades de servicios infantiles, así como un Registro Nacional) a
fin de garantizar un mismo nivel de calidad y seguridad. Si bien lo anterior es plausible,
la nueva legislación puede constituir una amenaza para el programa por tres razones.
En primer lugar, la nueva ley puede orillar al PEI a transitar de un programa de
orientado a la inserción laboral de las MTPS, a uno de provisión de servicios de cuidado
infantil en donde todas las decisiones de diseño estén subordinas a la promoción del
desarrollo infantil, pues el PEI está obligadas a observar esta nueva legislación.
En segundo lugar, el desarrollo infantil se vuelve un derecho mejor
salvaguardado que el de la igualdad de oportunidades en el acceso a trabajos
remunerados por parte de las mujeres, ya que a partir de la promulgación de la
LGPSACDII por primera vez existe un marco jurídico que abarca los tres órdenes de
gobierno, encaminado a promover el desarrollo infantil, en oposición a la existencia de
una estructura normativa específica para fomentar el aumento y protección de las
madres trabajadoras.
99
Finalmente, la nueva ley tiene consecuencias presupuestales que pueden
traducirse en la disminución del número de Estancias Infantiles (a causa de los altos
costos de operación que pueden incidir en que las Estancias sean menos rentables para
las responsables), o bien en la imposición de una carga presupuestaria muy alta para el
programa.
5.5 Recomendaciones
A partir del análisis de las fortalezas, debilidades y oportunidades del programa, se
recomienda lo siguiente:
1. Incluir como un propósito del PEI (aunque subordinado al objetivo central del
programa) la promoción del desarrollo infantil. Se recomienda que la definición
esté basada en aquélla dispuesta por la LGPSACDII, y que se evalúe cuáles son
los distintos aspectos del servicio que brinda el programa que mejor
contribuyen al desarrollo de los niños y niñas. Para este último punto se
recomienda atender la recomendación de realizar las micro evaluaciones
complementarias sugeridas en la Agenda de Evaluación del PEI.
2. Utilizar un indicador de desarrollo infantil (que esté basado en la definición
antes mencionada) cuyo cálculo se haga explícito, y que cumpla con los criterios
de calidad establecidos por CONEVAL.
3. Hacer explícitos los criterios mediante los cuales se establecen las metas de los
indicadores, con el fin de conocer si los resultados de éstos son producto de un
buen desempeño del programa, o de metas muy laxas.
4. Se recomienda modificar los resúmenes narrativos para los niveles de Fin y
Propósito, de forma que en el primero se establezca que el objetivo último al
que contribuye el programa es a la igualdad de oportunidades para que las
mujeres y los hombres alcancen su pleno desarrollo, mediante la reducción del
rezago en materia de acceso y permanencia en el trabajo de las MTPS. Para el
100
nivel del nivel de Propósito, únicamente se recomienda ajustar la redacción para
que cumpla con los requisitos establecidos por el CONEVAL.
5. Considerando los ajustes a los que deberá sujetarse el programa debido a las
nuevas estipulaciones de la LGPSACDII (y, posiblemente, de los nuevos ejes del
Plan Nacional de Desarrollo 2013-2018), se recomienda llevar a cabo una
evaluación de diseño, para valorar la congruencia entre el programa y estas
nuevas disposiciones.
101
6. CONCLUSIÓN
El PEI ha sido evaluado de manera regular y, en general, ha sido valorado positivamente
en lo que respecta a sus indicadores, impacto y en cuanto a la percepción que la
población atendida tiene del programa. Las evaluaciones de programas similares
implementados en otros países también demuestran un efecto positivo tanto en la
posibilidad que le otorgan a las madres o padres para trabajar, como en el desarrollo de
los niños. En materia de monitoreo es posible destacar que el PEI cuenta con
indicadores bien definidos, y que reflejan adecuadamente su Fin y Propósito. Se
identificó que el Resumen Narrativo a nivel de Fin plantea como solución la oferta de
servicios de cuidado infantil, cuando ésta tiene que ver con la disminución en el rezago
de las MTPS para ingresar o permanecer en el mercado laboral. El Resumen Narrativo a
nivel de Propósito es adecuado, aunque debe expresarse como producto terminado.
En materia de evaluación destacan los resultados obtenidos en las EED, en las
cuales ha sido señalado el buen desempeño de los indicadores del programa. La
evaluación de satisfacción muestra que los beneficiarios del programa se sienten muy
satisfechos con la labor que realiza el PEI, mientras que de la evaluación de impacto se
distingue un efecto positivo en la probabilidad de que las madres consigan o
permanezcan en el mercado laboral, sobre todo en aquéllas mujeres que no trabajaban
antes de ingresar como beneficiarias al programa. Como resultado de la revisión de las
evaluaciones de distintos países con programas similares al PEI, se identificó que en su
mayoría incorporan como uno de sus objetivos a la promoción del desarrollo infantil.
Este análisis también permitió conocer nuevas herramientas metodológicas que
podrían ser recuperadas por el PEI para medir su impacto en la población beneficiaria,
tal es el caso de la evaluación de impacto longitudinal realizada para el programa EHS,
en Estados Unidos.
A partir del análisis de las evaluaciones a las que ha estado sujeto el PEI desde
2007, así como de las evaluaciones de programas similares implementados en otras
partes del mundo, se generó una agenda de evaluación que, a grandes rasgos, busca
garantizar la congruencia entre el diseño del PEI y las disposiciones de la nueva
102
LGPSACDII, a cuya observancia está sujeto el PEI. Asimismo, busca generar evidencia
empírica para afinar los detalles de diseño tanto del programa, como de sus
indicadores. En la agenda de evaluación se incorporó también una evaluación de
impacto con miras a conocer los efectos del programa en el mediano plazo, tanto en el
ingreso y permanencia laboral de las MTPS, como en el desarrollo de los niños.
Del apartado de monitoreo se concluye que los indicadores utilizados para
medir el Fin y el Propósito del programa son adecuados, excepto por el relativo al
índice de desarrollo infantil, pues no cuenta con un método claro de cuantificación.
También se considera que el Resumen Narrativo de Propósito es adecuado en tanto
que refleja los productos que se obtienen a partir de los servicios que genera el
programa. Sin embargo, éste debe expresarse como un producto terminado, por lo
que se sugiere la siguiente redacción: “Las madres que trabajan, buscan empleo o
estudian y los padres solos con hijos o niños bajo su cuidado en hogares que cumplan
con los criterios de elegibilidad establecidos en las Reglas de Operación del Programa,
cuentan con mayor tiempo disponible para trabajar, estudiar o buscar un trabajo
gracias al uso de los servicios de cuidado infantil que contribuyen al desarrollo integral
infantil”. Por su parte, se recomienda que el Resumen Narrativo a nivel de Fin exprese
que el objetivo último que persigue el programa es la igualdad de oportunidades de
hombres y mujeres para ejercer sus derechos, y que la solución que el programa brinda
es la de la disminución en el rezago de las MTPS para ingresar o permanecer en el
mercado laboral.
En suma, se recomienda que el programa incorpore como un objetivo al
desarrollo infantil, pero que éste esté subordinado al objetivo que justifica al programa:
la disminución del rezago en el ingreso y permanencia laboral de las MTPS. Se
recomienda también ajustar los resúmenes narrativos, definir claramente el indicador
de desarrollo infantil, así como contar con criterios explícitos para definir las metas de
cada indicador. Los ajustes aquí recomendados son menores y, en su mayoría, derivan
de la necesidad de incorporar al desarrollo infantil como objetivo. Lo anterior es
indicativo de que el programa tiene un buen funcionamiento, de que ha logrado
103
generar evidencia que lo demuestre, así como de que ha alcanzado una rápida
institucionalización.
104
7. REFERENCIAS BIBLIOGRÁFICAS
Ángeles, G., Gadsden, P., Galiani, S., Gertler, P., Herrera, A., Kariger, P., Seira, E., et al.
(2011). Evaluación de impacto del programa estancias infantiles para apoyar a
madres trabajadoras. México, D.F.
Appel, J. y Karlan, D. (2012) More Than Good Intentions: Improving the Ways the World's
Poor Borrow, Save, Farm, Learn, and Stay Healthy. Dutton: Inglaterra.
Attanasio, O., & Vera-hernandez, M. (2004). “Medium and Long Run Effects of
Nutrition and Childcare: Evaluation of a Community Nursery Programme in Rural
Colombia”. Tropical Medicine. Londres.
Banco Mundial (2001). Brazil Early Child Development: a Focus on the Impact of the
Preschools. Washington D.C.
Banco Mundial (2010) Comparative Analysis Of International Child Care Programs:
Benchmarking Of Mexico’s Child Care Program To Support Working Mothers.
Documento borrador sin publicar. Washington D.C.
Banerjee, A. y Duflo, E. (2011) Poor Economics: A Radical Rethinking of the Way to Fight
Global. Public Affairs Books: Estados Unidos.
Cueto, S., Guerrero, G., Leon, J., Zevallos, A., & Sugimaru, C. (2009). “De quinto de primaria al final de la secundaria en seis años: un estudio longitudinal en Puno”.
Working paper no. 51. Group for the Analysis of Development.
Evaluación de Consistencia y Resultados 2011-2012 (2012) Programa de Estancias
Infantiles. México, D.F
Evaluación de Diseño 2007 (2007). Programa de Estancias Infantiles. México, D.F
Evaluación de Específica de Desempeño 2008-2009 (2009). Programa de Estancias
Infantiles. México, D.F
Evaluación de Específica de Desempeño 2009-2010 (2010). Programa de Estancias
Infantiles. México, D.F
Evaluación de Específica de Desempeño 2010-2011 (2011). Programa de Estancias
Infantiles. México, D.F
Evaluación de Impacto 2011 (2011). Programa de Estancias Infantiles. México, D.F
105
Rodríguez, V. (2012) Informe Final del Índice Mexicano De Satisfacción De Los
Beneficiarios De Programas Sociales Implementados por la SEDESOL En México
(IMSAB). Universidad Autónoma de Tamaulipas: México.
Galiani, S., & Berlinski, S. (2005). “The effect of a large expansion of pre-primary school
facilities on preschool attendance and maternal employment”. IFS Working
Papers.
Jaramillo, A., & Tietjen, K. (2001). “Early Childhood Development in Africa  : Can We Do
More for Less  ?” Africa Region Human Development Working Paper Series.
Washington D.C.
Love, J., Kisker, E. E., Ross, C. M., & Schochet, P. Z. (2002). Making a Difference in the
Lives of Infants and Toddlers and their Families: The Impacts of Early Head Start.
Princeton, N.J.
Melhuish, E., Belsky, J., & Leyland, A. (2008). “National evaluation report: The Impact of
Sure Start Local Programmes on Three Year Olds and Their Families”. The
National Evaluation of Sure Start Research Team. Londres.
Secretaría de Desarrollo Social. (2012). Reglas de Operación del Programa de Estancias
Infantiles 2012.
Ruel, M. T., Quisumbing, A. R., & Hallman, K. (2006). “The Guatemala Community Day
Care Program: An example of Effective Urban Programming”. Food Policy.
Washington D.C.
Secretaría de Desarrollo Social (2011). Diagnóstico de la Problemática de las madres
con hijos pequeños para acceder o permanecer en el mercado laboral.
Panorama. México, D.F.
Secretaría de Desarrollo Social (2010). IV Informe Trimestral 2010. H. Cámara de
Diputados.
Subsecretaría de Prospectiva Planeación y Evaluación. (2011). Nota de Actualización de
la población potencial y objetivo del PEI.
106
8. ANEXOS
Anexo 1. Fichas técnicas de Evaluaciones 2007-2012 del Programa de Estancias Infantiles (PEI).
Nombre del programa: Programa de Estancias Infantiles
Año de Evaluación: 2007
Nombre de la Evaluación: Evaluación del Diseño del Programa de Guarderías y Estancias Infantiles para apoyar a Madres Trabajadoras
Tipo de la Evaluación: Evaluación de Diseño.
Metodología utilizada: Trabajo de gabinete
Objetivos de la evaluación: valorar el diseño del programa y realizar una revisión crítica de las ROP, así como un análisis a partir de la literatura científica sobre el impacto del subsidio de
guarderías y el del aumento de la oferta de estancias infantiles en el empleo e ingreso de las madres trabajadoras en condiciones de pobreza, así como sobre el efecto de la calidad de la
atención de las guarderías en el bienestar de los niños(as) y en el empleo de las madres.
Valoración técnica:
1. En general se considera que esta evaluación no tuvo problemas metodológicos, que es consistente y que llevo a cabo un diagnóstico comprehensivo del PEI.
2. Un defecto de la evaluación es que se hace referencia constantemente a los indicadores de la MIR del PEI, sin embargo éstos no se presentan en el documento ni en los anexos, de tal
manera que dificulta la comprensión de las recomendaciones.
3. Existe consistencia entre los principales resultados y las recomendaciones.
Principales resultados:
La evaluación de diseño revisó principalmente el diagnóstico, los objetivos de Fin y Propósito del PEI, la MML, MIR y las definiciones de PP y PO. Respecto al diagnóstico la evaluación halló
que había que reestructurar la información para contextualizar el problema comparando a la población objetivo con la PP y posteriormente mostrar las características propias de la PO.
También señalaron la importancia de abundar sobre los criterios para seleccionar a los beneficiarios por medio de 6 salarios mínimos.
Le evaluación consideró que la redacción sobre el fin del programa no expresa todos los beneficios derivados de él. También se identificó la importancia de incluir la calidad de los
servicios de cuidado infantil dentro de los objetivos del programa.
Para validar la lógica interna del programa, se identificó que las actividades en la MIR eran necesarias pero no suficientes para producir los componentes, para lo cual sugirieron incluir
tres actividades: 1) una actividad sobre la elaboración e implementación del plan de trabajo anual; 2) la capacitación de las responsables de las EI; y, 3) el seguimiento de la gestión de este
componente del Programa.
Respecto a la MML se recomendó refinar la redacción de algunos componentes, por ejemplo para las actividades de Componentes 111 y 112 sugirieron aumentar la palabra implementar a la
frase "elaborar e implementar el plan operativo anual"; además que sugirieron incorporar 3 actividades de coordinación con el DIF: 1) la elaboración e implementación del plan de trabajo
anual, 2) la capacitación de las responsables y 3) el seguimiento de la gestión del componente 113.
Respecto a los indicadores, la ED señaló que el indicador de fin no es relevante para medir la mejora en las condiciones de acceso al empleo remunerado. Se recomendó sustituirlo por
los indicadores de propósito, y señaló que los indicadores de propósito no eran consistentes con el propósito de ofrecer tiempo disponible para que las MTPS accedan a un empleo, en ese
sentido se recomendó sustituirlos por el indicador de número de horas promedio mensuales de asistencia de los niños. Con relación a los indicadores de componentes identificaron que
además del indicador de la calidad percibida se necesitaba un indicador sobre la calidad técnica de los servicios. En ese sentido sugirieron nuevos indicadores: total de meses que las MTPS
reciben apoyo para acceder a los servicios de cuidado infantil; porcentaje de las EI en valoración verde, amarilla, roja y negra; puntaje promedio de las actividades de cuidado y seguridad así
como su desviación estándar, puntaje promedio de las actividades sobre trato a los niños, puntaje promedio de las actividades de organización, porcentaje de las responsables de las EI con
capacitación respecto del total (distinguiendo si la capacitación es básica o complementaria, y repetirlo para las asistentes). Por último, respecto a los indicadores de actividades la
evaluación señaló que había algunos indicadores irrelevantes para los objetivos del programa y para corregirlos había que realizar cambios en las formulas, por ejemplo, porcentaje de
delegaciones de LICONSA con información del programa, proporción de solicitudes aprobadas contra solicitudes recibidas; y sugirieron agregar la implementación del plan de trabajo anual
acordado con el DIF para incluir un indicador del porcentaje de las metas acordadas.
Respecto a la PP y PO la evaluación identificó que era necesario refinar la definición de PP y PO ya que en un principio parecían ser iguales. Para clarificar la definición de población objetivo se recomendó que se indique lo que se entiende por “situación de pobreza” y que se señale de forma explícita el ingreso mensual del hogar al que corresponde. También sugirieron
agregar la especificación de "padres solos" en vez de "padres" ya que esto se podría prestar a confusiones.
Finalmente, con relación a la justificación del programa se señaló que tenía que argumentarse mejor por qué se había seleccionado como criterio de selección 6 salarios mínimos y que era
necesario documentar mejor el escenario de la oferta pública de servicios de cuidado infantil en el país.
107
Resumen de Análisis de Fortalezas,
Oportunidades, Debilidades y
Recomendaciones
Fortalezas identificadas por la ED 2007
1. El PGEI promueve la igualdad de oportunidades en el mercado laboral, al eliminar dos tipos de barreras importantes que enfrentan las MTPS: la
oferta insuficiente de estancias infantiles y el alto costo de éstas.
Oportunidades identificadas por la ED 2007
1. El PGEI puede buscar sinergias, vinculándose con programas que promueven el empleo: Programa de Apoyo al Empleo, el Fondo de
Microfinanciamiento a Mujeres Rurales, y el Programa de la Mujer en el Sector Agrario.
2. El PGEI puede buscar sinergias, vinculándose con programas que promueven la educación: el programa de Becas para Madres Jóvenes y Mujeres
Embarazadas, Oportunidades, y Modelos Comunitarios de Educación Inicial y Básica para la Población Indígena y Migrante y para la población Mestiza.
3. El PGEI puede ampliar el rango de edad de los niños atendidos en las estancias infantiles hasta los 5 años. También puede ampliar este rango para
considerar a las mujeres que tenían un empleo previo a su embarazo, puedan regresar a éste a tiempo, y no pierdan por ende su empleo.
4. El PGEI puede buscar ampliar el horario de atención de las GEI.
Debilidades identificadas por la ED 2007
1. La coordinación con el DIF para garantizar seguridad y una calidad adecuada en la atención en los servicios de cuidado infantil es clave para el buen
éxito del programa.
2. Existen diferentes áreas donde el PGEI puede tener ineficiencias en la asignación de recursos. Estas se derivan de los criterios utilizados para focalizar a la población objetivo; de la potencial duplicidad en el pago del gobierno federal a la población derechohabiente de las instituciones de seguridad social que acuda a una GEI; y de la concurrencia de las GEI en las mismas localidades que las CADI y CAIC.
3. Dados algunos de los requisitos que deben cumplir las GEI para poder afiliarse a la Red de Estancias Infantiles, existe el riesgo de que el PGEI no
cubra zonas rurales o urbanas marginadas.
4. Existe el peligro que las estancias de cuidad infantil no sean sustentables como negocio con el paso del tiempo.
Recomendaciones planteadas por la ED 2007
1. Incluir en el MML actividades de coordinación con el DIF sobre: A) la elaboración de un plan de trabajo anual; B) la capacitación de las responsables de las GEI; y, C) seguimiento de la calidad de los servicios de cuidado infantil; y, D) la evaluación de la gestión de este componente del Programa.
2. Solicitar apoyo a las instituciones de seguridad social para verificar si su población derechohabiente acude a una GEI. Ello puede ayudar a dimensionar el problema de la eventual duplicidad en las contribuciones del gobierno federal a los servicios públicos de guarderías en el país; y, con ello, se puede ir sentando las bases para llevar a cabo en un futuro próximo, y en conjunto con los seguros sociales, un programa de reversión de cuotas.
3. Considerar la posibilidad de tener un esquema de estancias diferente para zonas rurales y urbanas marginadas, como el de “madres comunitarias”.
4. Actualizar anualmente el monto asignado a las MTPS y revisar la sustentabilidad de las estancias como negocio.
5. Sustituir el Indicador de Fin por los dos indicadores de Propósito.
6. Matizar la redacción del objetivo del Fin para que exprese que el programa contribuye a mejorar las condiciones de acceso o permanencia laboral.
7. Garantizar la seguridad y la calidad en los servicios de cuidado infantil (ASM).
8. Precisar con más detalle los criterios de selección de MTPS.
9. Analizar la posibilidad de ampliar el rango de edad de los niños atendidos.
108
Nombre del programa: Programa Estancias Infantiles
Año de Evaluación: 2008-2009
Nombre de la Evaluación: Evaluación Específica de Desempeño 2008-2009
Tipo de la Evaluación: Específica de Desempeño.
Metodología utilizada: Trabajo de gabinete.
Objetivos de la evaluación: evaluar el desempeño del PEI a la luz de sus indicadores
Valoración técnica:
1.La evaluación carece de algún comentario respecto al presupuesto asignado al programa y su relación con su desempeño.
2.Se debería haber recomendado aclarar la relación entre la unidad de medida de la PP y PO (hogares) con la PA (personas).
3.Hubiera sido interesante que se abundara más sobre el tema de la cobertura de PA y PO pues se reporta que con datos de 2008 se cubrió al 10% de la PO, lo cual es un tema interesante para
analizar.
4.La evaluación identificó oportunidades de mejora en algunos indicadores de resultados y señaló maneras de refinarlos.
Principales resultados:
El programa carecía de datos respecto a sus principales indicadores estratégicos (especialmente de Fin), por lo tanto no se valoró su avance real anual. Por otro lado, los indicadores de gestión
mostraron un buen desempeño.
Se señaló como un aspecto necesario el redefinir y reformular algunos de los indicadores de Fin y Propósito. Finalmente, la evaluación señaló que, el programa había atendido al 10% de la PO.
Fortalezas identificadas por la EED 2008-2009:
1. Los indicadores de gestión, que son pertinentes, relevantes y claros, muestran que sus metas se han alcanzado.
2. Los aspectos de mejora responden adecuadamente a las principales debilidades detectadas en la evaluación de diseño 2007.
Oportunidades identificadas por la EED 2008-2009:
1. Las acciones de mejora planteadas corresponden a los aspectos que se busca mejorar, varias de ellas están fuera del ámbito de competencia del Programa y todavía no se
han implementado.
Debilidades identificadas por la EED 2008-2009:
1. El Programa no cuenta con metas para sus principales indicadores estratégicos por lo que no se calculó su avance real anual.
Resumen de Análisis 2. Los indicadores estratégicos tienen deficiencias fácilmente subsanables. Para estimarlos se debe corregir primero estas deficiencias.
de Fortalezas,
3. No es posible valorar la evolución de la cobertura debido a que únicamente se presentan datos para 2008, cuando se atendió́ al 10% de la población objetivo.
Oportunidades,
4. Respecto a los indicadores de "Porcentaje de beneficiarios que utilizan el tiempo disponible generado por el uso de los servicios de cuidado infantil para buscar empleo,
Debilidades y
capacitarse para el empleo o trabajar" y "Número de Estancias Infantiles confirmadas y operando en la Red de Estancias Infantiles" se señaló que no eran indicadores
Recomendaciones
económicos pues no se derivaban de datos administrativos del programa.
Recomendaciones planteadas por la EED 2008-2009:
1. Se recomendó modificar el método de cálculo de algunos indicadores (Porcentaje de beneficiarios que permaneciendo entre tres y seis meses en el Programa accedieron a un
trabajo remunerado y Porcentaje de beneficiarios que tenían trabajo al momento de ingreso al Programa y mientras están en el Programa logran mantenerse en un trabajo
remunerado), utilizando un grupo de control.
2. Respecto al indicador de Número de horas semanales promedio de asistencia de las niñas y los niños a las Estancias Infantiles se señaló que no es pertinente a nivel de propósito; ya que sólo mide las horas que asisten los niños a la estancia, sin identificar si el tiempo que se dedicaba al cuidado de éstos ahora se usa para buscar empleo o trabajar. En este sentido, la fórmula de cálculo, que no considera el uso del tiempo disponible, no corresponde a la definición del indicador que se refiere al trabajo o búsqueda de empleo. Si se adecua su nombre y definición podría ser un indicador pertinente a nivel de componente.
109
Nombre del programa: Programa Estancias Infantiles
Año de Evaluación: 2009-2010
Nombre de la Evaluación: Evaluación Específica de Desempeño 2009-2010
Tipo de la Evaluación: Específica de Desempeño.
Metodología utilizada: Trabajo de gabinete
Objetivos de la evaluación: evaluar el desempeño del PEI a la luz de sus indicadores
Valoración técnica:
1. En general se considera que esta evaluación presentó algunas inconsistencias técnicas, en particular respecto a la definición de la PO y las acciones realizadas por el programa.
2. En alusión al indicador de "número de niños que reciben servicio de la Red de Estancias Infantiles" la evaluación señaló que "el indicador es pertinente ya que define claramente a la
población atendida por el PEI"; en estricto sentido, las ROP definen a su PO como hogares y mujeres, por lo tanto, esta frase podría generar confusión.
3. En la primera EED se asumió que las mujeres eran equivalente al número de hogares estimados para la PO, en la EED 2009-2010 no se mencionó este problema y simplemente señaló todas
las poblaciones en términos de mujeres. Hubiera servido para aclarar la controversia qué resolución tomó el programa o el evaluador ya que en las ROP 2010 la PO se sigue definiendo en
términos de hogares.
4. Se señaló como fortaleza la contribución del PEI al mejor desarrollo de los niños, pero este no era un objetivo, y no se presentó evidencia para sustentar esta afirmación.
5. Se mencionó como una recomendación ofrecer el servicio en horarios no atendidos por el programa, sin embargo no se tomó en cuenta que el programa no limita el tiempo de operación
de una estancia, por el contrario sí establece un mínimo de operación de 8 horas al día.
Principales resultados:
Los indicadores de resultados, así como los de servicios y gestión se han comportado de manera favorable, lo que sugiere que el funcionamiento del programa ha sido positivo. Además, la
cobertura ha evolucionado positivamente, aunque se identificó que el crecimiento de la cobertura bajó durante 2009 lo cual se podría explicar por el brote de influenza AH1N1 y del incendio
de la guardería ABC en Hermosillo, Sonora. Finalmente, el programa cumple con su objetivo ya que existe evidencia de que apoya a las madres trabajadoras y padres solos para que cuenten
con tiempo disponible para acceder o permanecer en el mercado laboral o estudiar.
Fortalezas identificadas por la EED 2009-2010:
1. El programa contribuye a mejorar el desarrollo de los niños que van a las estancias.
2. Cuenta con indicadores de resultados pertinentes, relevantes y confiables.
3. Hay claridad en los aspectos de mejora.
4. La cobertura evoluciona de manera positiva.
5. Tiene presencia en zonas rurales y marginadas.
6. Ofrece capacitación adecuada a las responsables de estancias.
7. Las condiciones en materia de seguridad en las estancias fueron reforzadas.
Resumen de Análisis de Fortalezas,
8. Cuenta con un eficiente mecanismo de supervisión de estancias.
Oportunidades, Debilidades y
Oportunidades identificadas por la EED 2008-2009:
Recomendaciones
--Debilidades identificadas por la EED 2008-2009:
1. Destinar una cantidad mayor de recursos para actualizar los apoyos económicos de acuerdo a la inflación y garantizar que la disponibilidad
de espacios sea aprovechada a pesar de que pueda existir demanda para cubrirlos. Esto podría desincentivar la creación de Estancias
Infantiles en un futuro al no garantizar las expectativas que se les generan a las responsables.
Recomendaciones planteadas por la EED 2008-2009::
1. Actualizar los apoyos otorgados y llenar los espacios disponibles.
2. Promover horarios no atendidos a través de incentivos económicos y digitalizar el proceso de asistencia de los niños.
110
Nombre del programa: Programa de Estancias Infantiles
Año de Evaluación: 2010-2011
Nombre de la Evaluación: Evaluación Específica de Desempeño
Tipo de la Evaluación: Específica de Desempeño
Metodología utilizada: Trabajo de gabinete.
Objetivos de la evaluación: evaluar el desempeño del PEI a la luz de sus indicadores
Valoración técnica:
1. En general se considera que esta evaluación no tuvo problemas metodológicos, que es consistente y que hace una buena recapitulación de las recomendaciones de las EED
previas.
2. La evaluación señaló que era deseable una mejor estimación de la PO con base en una tasa de participación laboral promedio aplicada sobre la PP, sin embargo, al revisar el
Diagnóstico del PEI, precisamente así es como el programa declara que estimó su PO. Por el contrario, no se menciona la falta de consistencia en los documentos oficiales del
programa al referirse a su PO en términos de hogares y mujeres.
Principales resultados:
La revisión de las evaluaciones previas realizadas al PEI le permitió desatacar a la EED 2010-2011 los siguientes resultados: la definición de un diseño metodológicamente riguroso
para llevar a cabo una evaluación de impacto y resultados positivos reportados por los ex beneficiarios en cuanto a una mejora económica y una mayor facilidad para conseguir
empleo así como un efecto positivo sobre el desarrollo lingüístico y social de los niños.
Respecto al avance de los ASM, la evaluación señaló la propuesta de crear un comité de evaluación y con base en los comentarios de CONEVAL se propusieron mejoras a la
MIR 2011. Por su parte, el PEI inició el desarrollo de un modelo de desarrollo infantil y elaboró un Análisis de viabilidad de la sistematización del control de asistencias.
Al analizar la cobertura del programa la evaluación reportó que ésta aumentó cada año, sin embargo el número de madres que se benefician del programa está muy por debajo de la PO porque ya tienen un arreglo para el cuidado de sus hijos o no trabajan. Respecto al presupuesto la evaluación también identificó que éste aumentó cada año,
pero que dichos aumentos son insuficientes para atender a toda su PO. Finalmente, la revisión a los indicadores del programa reveló que, en general, los indicadores alcanzan
sus metas o están creciendo. Sin embargo, la evaluación resaltó que "el numero de estancias en 2010 creció menos que en años anteriores, lo cual puede ser consecuencia de
los esfuerzos por buscar estancias de alta calidad" (2010-2011: 6).
Fortalezas identificadas por la EED 2010-2011:
1. El programa, por medio de la oferta de espacios de cuidado y atención infantil, genera mejores posibilidades para madres y padres solteros para
entrar o permanecer en el mercado laboral.
2. Se llevan a cabo encuestas de monitoreo y percepción a responsables y beneficiarios para mantener su calidad.
Resumen de Análisis de 3. La calificación que asignan los beneficiarios al programa es de 9.3, resultado que sugiere que los beneficiarios están muy satisfechos con los servicios proporcionados por el programa.
Fortalezas,
Oportunidades,
Oportunidades identificadas por la EED 2010-2011:
Debilidades y
-Recomendaciones
Debilidades identificadas por la EED 2010-2011:
1. El no apoyar a una mayor proporción de la PO es una debilidad sobre la que el PEI tiene que trabajar.
Recomendaciones planteadas por i la EED 2010-2011:
1. Es importante apoyar una proporción más grande de la PO a partir de una ampliación de las estancias, manteniendo la calidad del servicio.
2. Un cálculo más real de la PO es recomendable.
111
Nombre del programa: Programa de Estancias Infantiles
Año de Evaluación: 2011-2012
Nombre de la Evaluación: Evaluación de Consistencia y Resultados 2011-2012
Tipo de la Evaluación: Consistencia y Resultados
Metodología utilizada: Trabajo de gabinete.
Objetivos de la evaluación: evaluar la consistencia y orientación a resultados del PEI con la finalidad de proveer información que retroalimente su diseño, gestión y
resultados
Valoración técnica:
1. En general se considera que esta evaluación no tuvo problemas metodológicos, que es consistente y que hace una buena recapitulación de las recomendaciones de las
EED previas, además de revisar las evaluaciones del Programa Anual de Evaluación se revisaron también las evaluaciones internas a las que estuvo sujeto el PEI durante el
periodo 2007-2011.
Principales resultados:
Respecto al diseño la ECYR mostró que el PEI cuenta con un diagnóstico adecuado que define y delimita el problema publico a atender. El programa cuenta con
estimaciones que se actualizan sobre su PO. El PEI se encuentra relacionado con las Metas de Desarrollo del Milenio, y lograr sus objetivos abonaría a mayor igualdad de
género, a facilitar la inserción laboral y, con ello, a mayores posibilidades de acceder a un empleo productivo. La MIR del PEI tiene un estrecho vínculo con las actividades
definidas en las ROP, lo que permite tener un seguimiento oportuno sobre el desempeño del programa. Su padrón de beneficiarios es una fuente de información valiosa y
bien estructurada que cuenta con datos sobre la situación socioeconómica de los beneficiarios, el tipo de apoyo que reciben, una clave única, la demanda total de apoyos y
con mecanismos documentados para su depuración.
En cuanto a la planeación, el programa cuenta con varios procesos operativos que permiten delimitar las responsabilidades y productos con los que debe cumplir cada una de las unidades administrativas, sin embargo, no se detectó ningún documento que concentre y norme la creación o los procedimientos para elaborar el programa operativo del PEI ni su documento estratégico. En este último documento se percibe una planeación de mediano plazo (hasta 2015) en términos de cobertura de estancias y niños atendidos, así como de los recursos financieros para cumplir con dicha estimación. El PEI también cuenta con un documento en el que se comparan distintas opciones de política pública existentes en el país para analizar cuál sería la más viable para resolver el problema que se pretende atender. El PEI ha demostrado una vocación para recurrir al uso de estudios y evaluaciones y mejorar así sus procesos operativos y resultados –tanto con evaluaciones institucionalizadas en el PAE, como con evaluaciones ajenas a ese proceso-. El PEI cumplió en su totalidad los 12 aspectos susceptibles de mejora registrados en los últimos 3 años, producto de evaluaciones reglamentadas por el
PAE.
La cobertura del PEI ha arrojado resultados sobresalientes por su magnitud y su aporte a la oferta de servicios de cuidado infantil: a diciembre de 2011 había 10,083 estancias que atendían a 261,079 niños, y desde el inicio del programa se había brindado el servicio a 957,758 niños –lo que supera la meta de 500,000 niños para el 2012 (Sedesol, Reporte de cuenta pública 2011). La cobertura de niños beneficiarios a septiembre de 2011 representaba 116% de los niños atendidos por los sistemas de guarderías del IMSS y el ISSSTE juntos (Dirección General de Políticas Sociales, Reporte a Presidencia sept. 2011). En general los beneficiarios tienen una muy buena impresión del programa y le otorgan una buena calificación, superior a 9 sobre 10.
En materia de operación, el PEI cuenta con tres conjuntos de procesos operativos: apoyos a MTPS, incorporación a la red de EI y supervisión. Cada uno de estos procesos está vinculado entre sí y con uno, o más, indicadores de la MIR. El PEI recurre principalmente a su SGEI para supervisar y sistematizar la mayoría de sus procesos operativos. El PEI utilizó al 99% de los recursos que le fueron asignados. El PEI lleva un buen registro contable de sus recursos pues desagrega hasta las delegaciones estatales e identifica gastos directos e indirectos. El PEI ha cumplido con todos los requisitos relativos a la rendición de cuentas identificados en esta evaluación.
Respecto a la medición de los resultados del PEI, se señaló que éstos se documentan con sus indicadores de Fin y Propósito, con información sobre la inserción laboral de las Madres Trabajadoras y Padres Solos, su uso del tiempo y el desarrollo de los niños, que son los principales objetivos del programa. El PEI también cuenta con dos encuestas tipo panel que muestran los efectos positivos que tuvo el PEI sobre las MTPS mientas fueron beneficiarios. El programa tuvo una Evaluación de Impacto que reveló que el PEI tiene efectos positivos sobre la probabilidad de hallar empleo, al igual que respecto al uso del tiempo, los efectos sobre el desarrollo infantil fueron moderados y sólo en algunas submuestras, se identificaron efectos positivos adicionales al problema como el empoderamiento de la madre.
112
Fortalezas identificadas por la ECyR 2011-2012:
1. El padrón de beneficiarios se encuentra bien estructurado y permite identificar las características de los beneficiarios.
2. El Sistema de Gestión de Estancias Infantiles (SGEI) y el Tablero de Control son herramientas valiosas en cuanto que reportan información sobre los
recursos asignados a cada beneficiario, la asistencia de los niños, las acciones de mejora realizadas por las estancias en función de las visitas o las
visitas a las que han sido sujetas las diferentes estancias.
3. Cada uno de los tres procesos está vinculado entre sí y con uno o más indicadores de la MIR.
4. El SGEI es un sistema operativo que se actualiza regularmente.
5. El PEI lleva un buen registro contable de sus recursos pues desagrega hasta las delegaciones estatales e identifica gastos directos e indirectos.
6. El PEI cuenta con dos encuestas tipo panel que muestran los efectos positivos que tuvo el PEI sobre las MTPS mientas fueron beneficiarios.
Oportunidades identificadas por la ECyR 2011-2012:
1. Se requiere aumentar el monto del subsidio, controlar la heterogeneidad en la calidad del servicio y mejorar la focalización.
Debilidades identificadas por la ECyR 2011-2012:
1. No existe algún documento que norme los procedimientos para elaborar el programa operativo del PEI, ni su documento estratégico
2. No existe una respuesta institucional ni se le da seguimiento documentado a las observaciones hechas por evaluaciones fuera del PAE.
3. El programa cuenta con varias evaluaciones que se realizaron fuera del PAE y que no tienen una respuesta oficial del programa lo cual dificulta
explicar de dónde provienen ciertas acciones de mejora.
Resumen de Análisis 4. Se identificó que en los documentos utilizados para determinar las metas del programa se refieren a unidades de medida distintas que las utilizadas
en las ROP o en el diagnóstico del programa.
de Fortalezas,
5. A pesar de los esfuerzos por ampliar la presencia del PEI en los municipios más marginados del país, la difusión del programa es un área de mejora.
Oportunidades,
Debilidades y
Recomendaciones Recomendaciones planteadas por la ECyR 2011-2012:
1. Es necesario homologar los términos en los que el PEI se refiere a su PO pues en algunos documentos se refieren a las madres, en otros a los hogares y en otros a los niños.
2. Convendría que todos los documentos de un mismo año utilizaran las cifras más actualizadas.
3. En el documento que compara opciones de política pública para atender el problema se debería incorporar el elemento de desarrollo infantil ya que
ahora también es un objetivo del PEI.
4. Se recomienda aclarar la unidad de medida del índice de desarrollo infantil pues al revisar la ficha técnica del indicador no queda claro cómo se
deben interpretar esos 70 puntos.
5. Valdría la pena que los datos generados por el índice de desarrollo infantil se incorporaran en el SGEI, y también sería positivo que se le diera seguimiento a los mismos niños a lo largo del tiempo.
6. Valdría la pena incorporar en la MIR información sobre el número de responsables que han realizado la evaluación psicométrica y cuántas lo aprobaron.
7. Revalorar la comparación de las distintas opciones de política pública a la luz del impacto de los distintos modelos sobre el desarrollo de los niños y la inserción laboral de las Madres Trabajadoras o Padres Solos (MTPS).
8. Realizar un estudio longitudinal del impacto del PEI cuando los niños entran, cuando tienen 3, 6 y 12 años y desarrollar un índice de cuidado infantil.
9. Se recomienda institucionalizar el uso del "Tablero de Control" explicando qué uso se le 1. Se recomienda no usar Internet como el único y más importante medio de difusión del PEI. Usar otros medios más accesibles a la población. Hacer difusión personalizada, significativa y local. Generar mecanismos de difusión más visuales y auditivos, que no impliquen que la gente tenga que leer, porque todavía muchas personas no saben leer.
113
Nombre del programa: Programa de Estancias Infantiles
Año de Evaluación: 2011
Nombre de la Evaluación: Evaluación de Impacto del Programa Estancias Infantiles para apoyar a Madres Trabajadoras
Tipo de la Evaluación: Impacto.
Objetivos de la evaluación: realizar una evaluación rigurosa del impacto del PEI en el empleo e ingreso de la población objetivo, así como en el estado de salud, nutrición y desarrollo de
sus hijos
Metodología utilizada:
La evaluación de impacto utilizó una metodología “pipeline en el que se comparan beneficiarios con personas en lista de espera para recibir los apoyos del programa. Con esta
metodología los niños beneficiarios forman el grupo de tratamiento y los que están en lista de espera conforman el grupo de comparación”. Esta estrategia tiene la ventaja de que el
grupo de control y tratamiento ya mostraron interés por estar en la misma estancia. La única diferencia entre grupos es que los tratamientos mostraron este interés antes. Se encontró
que el supuesto de identificación de esta metodología cumple con las siguientes características: los hogares inscritos son muy parecidas entre sí, independientemente del momento de
inscripción, lo cual indica que se puede hacer una comparación válida entre hogares inscritos y hogares en listas de espera. La metodología usada cuenta con las siguientes fortalezas: “(i) no se requiere esperar a que el tratamiento se dé, sino que podemos usar información ya existente y niños ya inscritos, (ii) aprovecha el proceso natural de inscripción al programa, (iii)
permite comparar beneficiarios y no beneficiarios de una misma localidad y que se interesan por la misma estancia, lo que aumenta la probabilidad de tener un grupo de comparación
adecuado, (iv) permite el uso de técnicas de pareamiento en caso de no tener una muestra perfectamente balanceada, por lo que este abordaje toma lo mejor de los métodos no
experimentales.” (Ángeles et al., 2011). Valoración técnica:
La evaluación obtuvo su información de una encuesta que se realizó una vez en el tiempo en siete estados de la república y en 1573 hogares recabando información sobre 5199 niños –por
lo tanto se considera estadísticamente representativo-. La comparación en el tiempo se hizo de forma indirecta preguntándole a la madre beneficiaria que recordara su situación antes de
entrar al programa -se escogió a beneficiarios que acababan de incorporarse al programa y tenían menos de un año en el PEI-. El hecho de que no se haya comparado la información de
los beneficiarios en dos momentos en el tiempo representa una oportunidad de mejora.
Principales resultados:
La evaluación de impacto analizó los resultados del programa sobre las titulares (MTPS) y el desarrollo de sus hijos. Con respecto a los resultados de impacto en MTPS se halló que gracias al PEI “existe un aumento del 18% en la probabilidad de contar con un empleo, acompañado de un incremento de 6 horas de trabajo a la semana [...] En cuanto a los impactos en el uso de tiempo de la titular, se encontró una disminución en el tiempo de cuidado (mientras realiza otras actividades) de 1.38 horas (equivalentes a 1 hora 23 minutos) en un día típico de lunes a viernes, lo que equivale a 7 horas a la semana [...] En lo que respecta al ingreso (de la titular o del hogar), no se encontraron efectos significativos y esto puede deberse al contexto económico adverso durante el cual se llevó a cabo el estudio, aunado a que los resultados presentados son a corto plazo [...] Se encontró que los efectos positivos identificados en la muestra completa se concentran en la submuestra de madres que no trabajaban antes de entrar al programa. Para esta submuestra, se encontró que el programa aumenta el empleo de las titulares en 21% y en 56% para los cuidadores principales de los menores en el hogar.” Con respecto al desarrollo infantil “se encontraron algunos efectos positivos, la mayoría de éstos fueron de una magnitud moderada y sólo se identificaron para algunas submuestras. Se identificó que los hijos de las titulares que no trabajaban antes de entrar al programa son los que más se benefician en cuanto al desarrollo del comportamiento individual-social, y este efecto es mayor conforme aumenta la exposición. Por otro lado, sólo se encontraron efectos positivos en la diversidad de la dieta en el subgrupo de niños con madres que trabajaban antes de entrar al PEI, especialmente los que contaban con poca exposición al programa [...] Los principales beneficios de corto plazo que se encontraron en este estudio, se
concentraron en el grupo de las madres que no trabajaban antes de entrar al PEI y sus hijos. Sin embargo, las encuestas de medio camino sugieren que este grupo de madres es la minoría de las beneficiarias. Por ello se recomienda realizar mayor difusión del programa dirigida a este grupo en particular, y analizar la pertinencia de dar prioridad a estas mujeres para entrar al programa. Aunque se encontraron algunos efectos positivos sobre el desarrollo infantil, la mayoría fueron de una magnitud moderada y sólo se identificaron para algunas submuestras. Esto presenta una importante área de oportunidad para el Programa para potenciar su efectividad a través de una estimulación más intensiva del desarrollo de los niños de acuerdo a la edad.” Finalmente, la evaluación también identificó efectos positivos de aspectos adicionales para lo que fue creado el programa: un efecto positivo en el empoderamiento de la madre.
Este efecto es equivalente un aumento de 6% en la escala de empoderamiento respecto a la media, lo cual lo hace grande económicamente.
114
Resumen de Análisis de
Fortalezas, Oportunidades,
Debilidades y
Recomendaciones
Fortalezas identificadas por la Evaluación de Impacto:
1. No se encontró́ un efecto sustitución de guardería, ya que menos del 0.05% de los beneficiarios reportaron usar servicios de guardería antes de entrar al programa o anotarse en la lista de espera. Esto implica que probablemente el PEI representa un nuevo espacio de cuidado infantil para las familias de
bajos recursos.
2. El programa es efectivo para promover la participación en el mercado laboral de mujeres de escasos recursos con hijos pequeños, pero el efecto derivado de la muestra completa está casi exclusivamente concentrado en madres que no trabajaban antes de entrar al programa. En particular, los
resultados muestran que el programa aumenta la probabilidad de empleo de las titulares, el número de horas que trabajan y su permanencia en el trabajo, al menos en el corto plazo.
3. Las titulares que más se benefician del programa en variables del mercado laboral son aquellas que reportaron no haber trabajado antes de entrar al
programa.
4. En la muestra completa no se encontraron efectos en diversidad de la dieta o desarrollo infantil.
5. En términos de desarrollo infantil el programa mejora el puntaje de la escala de comunicación en el subgrupo de niños con más exposición al PEI. Se identificó que los hijos de las titulares que no trabajaban antes de entrar al programa, son los que más se benefician en cuanto al desarrollo del comportamiento individual-social y este efecto es mayor conforme aumenta la exposición. Por otro lado, sólo se encontraron efectos positivos en la diversidad de la dieta en el subgrupo de niños con madres que trabajaban antes de entrar al PEI.
Oportunidades identificadas por la Evaluación de Impacto:
1. Aunque se encontraron algunos efectos positivos en desarrollo infantil, la mayoría de éstos fueron de una magnitud moderada y sólo se identificaron para algunas submuestras. Esto presenta una importante área de oportunidad para el Programa para potenciar su efectividad a través de una estimulación más intensiva del desarrollo de los niños de acuerdo a la edad.
Debilidades identificadas por la Evaluación de Impacto:
1. Los principales beneficios de corto plazo que se encontraron en este estudio, se concentraron en el grupo de las madres que no trabajaban antes de
entrar al PEI y sus hijos. Sin embargo, las encuestas de medio camino sugieren que este grupo de madres es la minoría de las beneficiarias.
Recomendaciones planteadas por la Evaluación de Impacto:
1. De acuerdo con la evaluación de impacto del PEI se identificó que los principales beneficios de corto plazo se "concentraron en el grupo de las madres
que no trabajaban antes de entrar al PEI y sus hijos. Sin embargo, las encuestas de medio camino sugieren que este grupo de madres es la minoría de las beneficiarias. Por ello, se recomienda realizar una mayor difusión del programa dirigida a este grupo en particular e incluso analizar la pertinencia de dar
prioridad a estas mujeres para entrar al programa.
2. Para disminuir la prevalencia de enfermedad, sobre todo en los niños más pequeños y con menor exposición, se recomienda establecer mecanismos de colaboración con la Secretaría de Salud para implementar campañas de vacunación y prevención dirigidas a esta población, así como mecanismos de referencia al sistema de salud en caso necesario por cuestiones de enfermedad o desnutrición.
3. Para potenciar la efectividad del programa se recomienda una estimulación más intensiva del desarrollo de los niños de acuerdo a la edad.
4. Sería deseable que la promoción del desarrollo infantil fuera un objetivo explícito del Programa.
5. Investigar sobre la forma más efectiva de mejorar la estimulación del desarrollo, sobre todo en las Estancias de menor calidad. Esto puede ser implementado utilizando el método de aleatorización para así obtener los mejores resultados, con lo que se podrían dar recomendaciones para mejorar este aspecto del programa. Este método se ha usado en otros países para medir intervenciones de desarrollo infantil, con resultados muy exitosos.
6. Finalmente, se recomienda realizar un análisis por nivel socioeconómico de los hogares para verificar si el PEI tiene mayor impacto en la población económicamente más vulnerable. Además se podría probar, mediante un estudio experimental, si al haber variación en el monto del subsidio, el programa tiene efectos heterogéneos en la población. Esto ayudaría a identificar el tipo de hogares que se benefician más del Programa y brindaría información relevante para mejorar la focalización del programa".
115
Nombre del programa: Programa de Estancias Infantiles
Año de Evaluación: 2012
Nombre de la Evaluación: Evaluación de satisfacción
Tipo de la Evaluación: de satisfacción
Objetivos de la evaluación: medir las percepciones de las personas que reciben los beneficios de ciertos programas sociales, entre ellos el PEI
Metodología utilizada: en un primer momento se construyó un modelo teórico para estimar el Índice Mexicano de Satisfacción de los Beneficiarios de los Programas Sociales
(IMSAB), a través del uso de ecuaciones estructurales con variables latentes. Posteriormente, se llevó a cabo la estimación de los índices de satisfacción de cuatro programas
sociales, entre ellos PEI, a través del Método de Estimación de Máxima Verosimilitud.
Valoración técnica:
1 . No se hacen explícitos los rangos utilizados para determinar a qué nivel de satisfacción corresponde el puntaje obtenido en el índice.
Principales resultados:
De acuerdo con la evaluación, los beneficiarios consideran sentirse muy satisfechos por el beneficio que reciben, por lo que el resultado del índice de satisfacción fue de 9.27. El
alto nivel de satisfacción tiene que ver con que las madres beneficiarias perciben un trato amable por parte del personal del programa al momento de recibir el apoyo, así como por
el hecho de que los beneficiarios consideraron que los compromisos que adquiere con el programa por recibir los apoyos, no le representan mayor esfuerzo. Un dato interesante
obtenido a partir de un análisis de los resultados, es el de que las expectativas de las madres trabajadores no están vinculadas con la calidad del beneficio (apoyo económico y
características de las estancias), sino con el mayor tiempo disponible con el que cuentan para estudiar y trabajar.
Resumen de
Análisis de
En el informe de la evaluación se presentan los resultados del índice, más no se hace referencia a las fortalezas, oportunidades o debilidades de los
Fortalezas,
programas a los que se aplicó el IMSAB. En consecuencia, tampoco se hicieron recomendaciones para mejorar la satisfacción de los beneficiarios de los
Oportunidades,
apoyos de los programas sociales
Debilidades y
Recomendaciones
116
Anexo 2. Fichas técnicas de Evaluaciones realizadas al programas similares al Programa de Estancias Infantiles (PEI).
Nombre del Programa similar: Programa de ampliación de la oferta de espacios públicos de educación Pre-primaria.
Señalas las características similares o tipos de apoyo que entrega considerados como similares:
Este programa buscó ampliar la oferta de espacios públicos para servicios de educación a nivel de pre-primaria en la Argentina. El objetivo del programa fue ampliar la
infraestructura existente para aumentar la asistencia escolar de niños entre 3 y 5 años. El programa comparte con el PEI la característica de que se busca ampliar la oferta
de espacios para recibir y guardar niños.
Año de evaluación: 2005
Nombre de la Evaluación: The Effect of a Large Expansion of Pre-primary School Facilities on Preschool Attendance and Maternal Employment.
Tipo de Evaluación: Impacto.
Objetivos de la Evaluación:
El estudio buscó evidencia para relacionar los efectos de un aumento significativo en términos de infraestructura con la tasa de asistencia a nivel preprimaria, así como su
efecto sobre la inserción laboral de las madres.
Metodología utilizada:
El estudio estimó el impacto del programa sobre la tasa de inscripción a nivel preprimaria en Argentina, así como la inserción laboral de las madres en el periodo
comprendido entre 1991 y 2001. El estudio usó la metodología de diferencias en diferencias, que combina las diferencias entre regiones en términos de salones construidos
con las diferencias en la exposición entre cohortes inducida por la antigüedad del programa en la región.
Para medir el efecto de los salones sobre el empleo de las madres se utilizaron dos medidas, una variable dicotómica respecto a la condición laboral (empleo y no empleo)
y otra variable respecto al número de horas.
Valoración técnica:
La técnica de diferencias en diferencias a través de regiones y de periodo de exposición permitió que el estudio pudiera controlar por efectos regionales y temporales y así
se pudieron identificar los efectos atribuibles a la intervención. El estudio también controló por la idiosincracia de cada provincia -aproximada a través de la tendencia de
inscripción en educación preprimaria-, la edad de la madre y su nivel de instrucción, la estructura del hogar, la tasa de desempleo por provincia y el PIB per cápita.
Aunque el estudio halló un impacto positivo por parte del programa, no se presentan datos sobre qué porcentaje de toda la población potencial es cubierta por el
programa, simplemente muestra cuánto aumentó la población atendida.
Principales Resultados (máximo 1,500 caractéres):
Con respecto a la tasa de inscripción sobre la educación preprimaria el estudio halló que el programa tuvo un efecto positivo, de hecho el estudio identificó un aumento del
15% en sobre la variable dependiente entre 1991 y 2001 y, de acuerdo con sus modelos, la mitad de este incremento -7.5%- es atribuible al programa.
Por su parte, los modelos también les permitieron identificar una relación positiva entre la intervención del programa y la inserción laboral de las madres, no obstante, los
modelos nos les permitieron identificar la dimensión de dicho impacto.
Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones:
Fortalezas:
1. El programa amplió la cobertura de servicios de educación preprimaria, para lo cual aprovechó los espacios y la infraestructura ya existente
2. El programa demostró tener un impacto positivo sobre la inscripción en educación preescolar y sobre la inserción laboral de las madres.
Oportunidades:
1. Ampliar el horario de atención para que las madres puedan trabajar una jornada completa.
2. Ampliar el rango de edades para poder atender niños menores.
3. Este programa podría complementarse con una serie de actividades de asesoría parental, dirigida a las regiones más marginadas.
117
Observaciones Generales:
Si bien los dos programas tienen la similitud de que buscan ampliar la oferta de espacios para atender niños hay una serie de diferencias que se deben considerar:
1) El de Argentina no es un programa de guarderías, sino de educación.
2) Todos fueron espacios públicos construidos o acondicionados por el gobierno.
3) La población objetivo en términos de niños son aquellos entre 3 y 5 años, mientras que el PEI son de 1 a 3 años.
4) A diferencia del PEI el objetivo del programa no era facilitar la inserción laboral de la madre, ni estaba dirigido a familias de bajos ingresos sino que fue universal.
Disponibilidad en internet:
http://ideas.repec.org/p/ifs/ifsewp/04-30.html
118
Nombre del Programa similar: Hogares Comunitarios
Señalas las características similares o tipos de apoyo que entrega considerados como similares:
1. El programa busca ampliar la oferta de cuidado infantil como una medida complementaria al combate a la pobreza.
2. Las principales cuidadoras son miembros de la comunidad en la que viven,
3. el servicio se ofrece para niños entre 0 y 6 años y el máximo número de niños para atender por centro es de 10 y éstos operan por 12 horas.
3.el programa ofrece ayuda para acondicionar los lugares, pero en el caso de Guatemala ellos entregan el material para la cocina, educativo, juguetes, muebles básicos y
productos para los niños.
4. Existe un componente de capacitación dirigido a las responsables.
Año de evaluación: 2006
Nombre de la Evaluación: The Guatemala Community Day Care Program An Example of Effective Urban Programming
Tipo de Evaluación: Impacto.
Objetivos de la Evaluación:
La evaluación midió el impacto del programa sobre la ingesta nutricional en la dieta de los niños beneficiarios; también se exploraron objetivos secundarios como el efecto
del programa sobre el empleo de las madres, su ingreso y otras características socio-económicas; asimismo, se estudiaron las diferencias entre tipos y costos de servicios
de cuidado alternativos.
Metodología utilizada:
El estudio comparó a un grupo de beneficiarios con un grupo de control a través de encuestas transversales además de realizar entrevistas, focus groups y supervisar la
implementación del servicio. Con respecto a la encuesta y al modelo estadístico, el estudio utilizó un cross-sectional beneficiary/matched survey entre un grupo de
tratamiento compuesto por beneficiarios seleccionados aleatoriamente (niños entre 2 y cinco años) y un grupo de control de niños no beneficiarios que vivían en los
mismos barrios y que eran individualmente equiparados con los beneficiarios seleccionados tomando en consideración la edad y el empleo materno.
Valoración técnica:
Se considera que fue una evaluación muy completa ya que analizó el diseño del programa, su operación, sus costos así como su impacto.
Principales Resultados:
El estudio identificó que los niños beneficiarios tienen una dieta de mayor calidad en términos de la cantidad de micronutrientes, otro hallazgo interesante fue que las
familias de los beneficiarios han optado por equiparar la calidad de la dieta ofrecida a los niños en las guarderías; esto se pudo demostrar al identificar que la calidad de la
dieta no disminuyó durante los fines de semana -que no asisten a la guardería-.
En cuanto a la inserción laboral de las madres el estudio identificó que la mayoría de ellas eran solteras, con bajos niveles de educación y que vivían en condiciones
precarias; de acuerdo con el estudio, la pertenencia al programa aumentaba la posibilidad de que encontraran trabajo en el sector formal con la ventaja de tener beneficios
sociales como seguro médico. Asimismo, se identificó que el ingreso de las madres beneficiarias también aumentó gracias a una mejor oportunidad de mantenerse o
conseguir empleo formal.
Un hallazgo adicional se refiere a las madres cuidadoras, quienes gracias al programa pudieron ingresar a la fuerza laboral al ofrecer un servicio que ellas previamente
habían realizado para otros familiares sin recibir remuneración alguna.
119
Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones:
Fortalezas:
El programa logró que sus beneficiarios tuvieran una dieta de mayor calidad.
La pertenencia al programa facilita la inserción laboral de la madre.
La creación del programa ha permitido también una mejora económica para las responsables de los niños.
Las madres y las responsables están muy satisfechas con el programa y sus resultados.
Debilidades:
No hay información sobre el impacto del programa sobre el desarrollo intelectual y motriz de los niños.
De acuerdo con el estudio, la capacitación de las responsables es un espacio de mejora pues las responsables declararon no sentires suficientemente preparadas, esto a su
vez debe tener una incidencia sobre el desarrollo intelectual de los niños.
La oferta de servicios es insuficiente pues, aproximadamente la mitad de las madres no beneficiarias manifestaron su interés por ingresar al programa pero les fue
imposible por falta de espacio.
Observaciones Generales:
Si bien los dos programas tienen la similitud de que buscan ampliar la oferta de espacios para atender niños hay una serie de diferencias que se deben considerar:
1) En Guatemala el objetivo específico se refiere al desarrollo de los niños, mientras que en el PEI este es un objetivo secundario ligado a la situación laboral de la madre.
2) En el programa de Guatemala se pone mucho énfasis en el componente nutricional.
3) Los requisitos para prestar el servicio y trabajar como madre comunitaria son menores que para el PEI, lo mismo sucede con el límite de niños autorizado por Hogar
Comunitario -limitado a 10 en Guatemala contra 60 en México.
4) El estudio no midió el impacto que pueden tener este tipo de intervenciones a lo largo del tiempo en la vida de un niño, sino que se enfocó a los efectos medidos en un
año en específico.
Disponibilidad en internet:
http://ideas.repec.org/p/fpr/resrep/144.html
120
Nombre del Programa similar: Hogares Comunitarios de Bienestar
Señalas las características similares o tipos de apoyo que entrega considerados como similares:
1. Está dirigido a hogares de bajos ingresos
2. No es un programa educativo.
3. Se otorgan capacitaciones a las responsables.
Año de evaluación: 2004
Nombre de la Evaluación: Medium and Long Run Effects of Nutrition and Child Care: Evaluation of a Community Nursery Programme in Rural Colombia
Tipo de Evaluación: Evaluación de Impacto.
Objetivos de la Evaluación:
La evaluación buscó medir el efecto que tuvo el programa sobre el estado nutricional de los niños, sus efectos de largo plazo sobre el desempeño escolar y la inserción
laboral de las madres.
Metodología utilizada:
La evaluación de impacto del programa Hogares Comunitarios de Bienestar recurrió a información proveniente de una encuesta de 28,000 observaciones, pero no utilizó
un grupo de control sino que recurrió a variables instrumentales para distinguir los efectos del programa.
Valoración técnica:
La evaluación reporta que el programa tuvo un efecto de largo plazo, basado en el hecho de que los niños de 13 y 17 años que alguna vez fueron beneficiarios,
permanecieron en la escuela. Con esta declaración se está suponiendo que la calidad del programa se mantuvo constante a lo largo del tiempo, y que a mayor exposición
al programa, habrá mayor permanencia escolar. No obstante, este supuesto es problemático puesto que no se encontró información que indicara que se utilizaron
variables de control relativas a la calidad del servicio, de forma que ésta podría estar teniendo un efecto en la permanencia escolar, sin que esto se esté considerando en la
evaluación.
Principales Resultados:
El programa tuvo impactos en el corto plazo sobre el crecimiento de los niños; en el largo plazo se identificó que el programa tuvo un impacto positivo en la permanencia escolar y el nivel de avance que muestran los niños que atendieron al programa, así́ como la situación laboral de las madres; también se descubrió́ que los efectos positivos del programa se concentran en la población de menores ingresos.
Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones:
Fortalezas:
De acuerdo con la evaluación, gracias a la intervención del programa sus beneficiarios han tenido un mayor crecimiento, en promedio.
Debilidades:
Dado que no hay información sobre las actividades realizadas en los centros, ni sobre las capacitaciones que reciben las responsables, es difícil identificar buenas prácticas
en cuanto a la incidencia de desarrollo intelectual y permanencia escolar.
El programa no se considera de enseñanza de tal manera que el desarrollo intelectual y cognitivo de los niños no es un objetivo.
Observaciones Generales:
Disponibilidad en internet:
http://ideas.repec.org/p/fpr/resrep/144.html
121
Nombre del Programa similar: Early Head Start (EHS)
Señalas las características similares o tipos de apoyo que entrega considerados como similares:
Early Head start comparte con el PEI el hecho de que estan dirigidos para familias de bajos ingresos y que ofrecen servicios de cuidado infantil.
Año de evaluación: 2002
Nombre de la Evaluación: Making a Difference in the Lives of Infants and Toddlers and their Families: the Impacts of Early Head Start.
Tipo de Evaluación: Impacto.
Objetivos de la Evaluación:
Estimar el impacto de la intervención en términos de desarrollo cognitivo, lingüístico y emocional. También se buscó estudiar el impacto del programa sobre las familias en términos de
lo aprendido sobre cómo educar a sus hijos.
Metodología utilizada:
La evaluación usó una muestra aleatoria en donde la mitad de los sujetos eran niños y familias beneficiarios del programa y la otra mitad no, en total de la muestra fue de 3000 niños
provenientes de 17 sitios diferentes en Estados Unidos. La muestra trató de capturar la diversidad del programa en términos de regiones geográficas, localidades urbanas, rurales,
antecedentes étnicos y raciales.
Valoración técnica:
En términos de evaluaciones de impacto se considera que la selección aleatoria de beneficiarios y su estudio longitudinal es un diseño adecuado para conocer el impacto de estos
programas. Otra virtud de esta evaluación es que distinguió entre las distintas vertientes del programa e identificó que la combinación de éstas –en programas mixtos- potenció los
resultados. Dado los buenos resultados que se observaron para Estados Unidos respecto a las asesorías parentales, se sugeriría considerarlo como una actividad más del PEI.
Principales Resultados:
De acuerdo con el estudio, los niños que participaron en el programa mostraron un resultado positivo en desarrollo cognitivo y lingüístico, el haber participado en el programa
disminuyó la probabilidad de que padecieran algún retraso en términos de desarrollo. El grupo de tratamiento también mostró un mejor desempeño en términos de desarrollo socioemocional en comparación con el grupo de control ya que demostraron ser menos negativos y agresivos hacia sus padres.
Por su parte, se identificó que los padres de niños beneficiarios eran más propensos a ofrecer apoyo emocional, daban más apoyo en términos de aprendizaje y desarrollo lingüístico
y eran menos propensos a adoptar conductas parentales negativas -usando estrategias de castigo menos severas o en menor frecuencia-. Gracias a pertenecer al programa los padres
de los niños también demostraron una mayor autosuficiencia económica ya que gracias al programa podían participar en mayor medida en el mercado laboral o en actividades de
entrenamiento.
La magnitud del impacto del programa fue mayor para ciertos conjuntos de beneficiarios, en espacial para los que participaron en programas mixtos, familias afro-americanas,
familias que se unieron al programa desde el embarazo y familias con un numero alto de factores de riesgo; no obstante estos impactos no significaron un incremento significativo en
el ingreso de las familias.
Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones:
Fortalezas:
1. El programa cumple con su objetivo.
2. Los padres de los beneficiarios tuvieron una mayor probabilidad de ofrecer apoyo emocional a sus hijos gracias al componente de asesorías parentales.
3. Existe un impacto positivo sobre la participación laboral de los padres.
Debilidades:
1. Con base en la evaluación no se puede decir que exista evidencia que pruebe el impacto del programa sobre la salud de sus beneficiarios.
Observaciones Generales:
Si bien los dos programas tienen la similitud de que buscan ampliar la oferta de espacios para atender niños hay una serie de diferencias que se deben considerar:
1) EHS opera con 4 modalidades diferentes: centros de atención -dónde se ofrecen todos los servicios de cuidado infantil y educación, además que se realizan dos visitas por familia al
año-, servicios en el hogares -todos los servicios se realizan a través de las visitas que hace algún funcionario semanalmente a cada hogar-, modalidad mixta -combinación entre centro
de atención y servicios en el hogar que se diseño para atender las necesidades individuales de cada familia-; y las modalidades diseñadas localmente -lo cual permite que se ofrezcan
servicios específicos para cada región-.
2) El programa opera con recursos federales pero es implementado por actores locales, generalmente organizaciones sin fines de lucro.
3) La proporción de alumnos por maestra oscila entre 4 a 6 niños por maestra, mientras que en el PEI el programa fija esta relación en 8 niños por maestra.
Disponibilidad en internethttp://www.acf.hhs.gov/programs/opre/ehs/survey_ehs/reports/findings_ehs/findings_ehs_toc.html
122
Nombre del Programa similar: Wawa Wasi
Señalas las características similares o tipos de apoyo que entrega considerados como similares:
Este programa comparte varias características con el PEI ya que facilita la creación de espacios para atender y buscar el óptimo desarrollo de los niños menores de cuatro
años, su población objetivo son aquellos niños viven en condiciones de pobreza. Los objetivos específicos del programa son ofrecer un apoyo integral a los niños que viven
en pobreza, promover su desarrollo, promover la participación voluntaria de la comunidad en actividades de apoyo a los niños y contribuir al desarrollo personal de las
madres y mejorar su calidad de vida. Los componentes del programa incluyen la seguridad de los niños por medio de los espacios para su cuidado, un énfasis en la
importancia de facilitar el desarrollo integral del niño (desarrollo motor, cognitivo y afectivo), un aspecto nutricional (los niños reciben tres comidas al día), un componente
de salud (supervisión mensual de su crecimiento y sus vacunas) y un componente de asesoría sobre buenas prácticas para los padres. De tal manera que el Wawa Wasi y el
PEI comparten objetivos (buscar el desarrollo de los niños y tener un efecto positivo en la vida de las madres) y componentes como el que los niños se desenvuelvan en un
espacio seguro y que sean alimentados durante mientras permanezcan en la estancia.
Año de evaluación: 2009
Nombre de la Evaluación: Promoting Early Childhood Development through a Public Programme- Wawa Wasi in Peru
Tipo de Evaluación: Impacto.
Objetivos de la Evaluación:
El estudio buscó medir el efecto que tiene la asistencia al Wawa Wasi sobre desarrollo psicomotor (lo cual comprende coordinación motriz fina, para controlar objetos y
dibujar, coordinación motriz general, para controlar su propio cuerpo con actividades como atrapar y lanzar una pelota, saltar en un pie, etc.; y habilidad verbal) y el tiempo
de asistencia a algún sistema de educación preescolar. Otro objetivo de la evaluación consistió en evaluar la operación del programa.
Metodología utilizada:
Las fuentes de información provinieron de encuestas –las cuales forman parte de un proyecto más grande coordinado por la Universidad de Oxford- y un estudio de
campo. Se usó un método de propensity score matching para estimar el impacto del programa, en este método a cada individuo que recibe el tratamiento se le compara
con uno idéntico –o lo más parecido posible- en todas las variables que, de acuerdo con la literatura, inciden sobre el resultado analizado, pero que no estuvo expuesto al
tratamiento. Se estimó el impacto del programa a través de su exposición medida a través de los meses en los que un niño fue beneficiario. Para analizar la operación del
programa se recurrió a entrevistas con los operadores del programa con el propósito de recoger sus impresiones sobre el funcionamiento del programa y sus principales
necesidades.
Valoración técnica:
Aunque en el estudio no se comparó a los niños en dos momentos en el tiempo, sí se estimó el impacto del programa a través de la exposición de los niños al mismo
(medida a través de los meses en los que un niño fue beneficiario). El estudio no revela cuál fue el numero de beneficiarios por lo que no se puede valorar la
representatividad de la muestra. Tampoco se valoró, de manera estadística, el impacto del programa sobre la condición laboral de los tutores.
Principales Resultados:
La evaluación no descubrió diferencias significativas en términos del desarrollo entre el grupo de tratamiento y el grupo de control. Por otro lado, las entrevistas realizadas
permitieron a la evaluación concluir que las comunidades consideran que las madres son las principales beneficiarias por el tiempo que se les libera, de tal manera que sus
expectativas sobre el desarrollo de los niños son menores en comparación con las expectativas sobre un lugar en el que puedan dejar a los niños y los alimenten.
123
Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones:
Si bien la evaluación no identifica fortalezas y debilidades, con base a la información plasmada se pueden inferir las siguientes características del programa:
Fortalezas:
El programa es valorado por las comunidades en las que opera y se tiene una buena impresión de él.
De acuerdo con la evaluación, las madres de los beneficiarios consideran que el programa es un apoyo importante y que además observan un desarrollo importante en sus
hijos.
La mayoría de las madres-cuidadoras entrevistadas declararon que sus vidas habían mejorado gracias a su participación en el programa en términos de trabajo, salario, y
sus percepciones de la apreciación de la comunidad sobre sus trabajos.
Debilidades:
No se percibe que el programa influya de manera positiva sobre el desarrollo de los niños.
Las capacitaciones a las responsables son repetitivos en cuanto a los temas de salud y nutrición.
Las capacitaciones no tocan los temas de estimulación temprana.
Otra debilidad del programa podría ser que los requisitos para ser responsables no son muy altos, al grado que se requiere que las responsables tengan un nivel de lectura
y escritura, por lo menos de nivel primaria.
Recomendaciones:
1. Identificar y mejorar las habilidades de lectura y escritura de las responsables de los niños de tal manera que tengan, por lo menos un nivel equivalente al de primaria.
2. Mejorar y aumentar la frecuencia de las capacitaciones a las responsables sobre temas de estimulación cognitiva y motora.
3. Aumentar la gama de juguetes a los que tienen acceso los niños en los centros.
4. Asegurarse que en todas las oficinas regionales se cuente con un psicólogo experto para que supervise el trabajo de las responsables.
5. Considerar aumentar el salario de las madres responsables.
6. Asegurar que los niños del programa reciban revisiones medicar de manera regular.
7. Explorar las maneras de mejorar la asesoría a los padres sobre temas de paternidad y las mejoras prácticas para educar a sus hijos en casa.
8. Ampliar la cobertura del programa para que atienda a más niños de las regiones ruarles de Perú, dónde la cobertura es baja.
Observaciones Generales:
Disponibilidad en internet:
http://www.google.com/url?sa=t&rct=j&q=promoting%20early%20childhood%20development%20through%20a%20public%20programme%20wawa%20wasi%20in%20peru&source=web&cd=1&cad=rja&ved=0CCYQFjAA&url=http%3A%2F%2Fwww.ninosdelmilenio.org%2Fdownload.php%3Ff%3Dwp51.pdf&ei=JhtfU
L3RMpOe8QTEyoAg&usg=AFQjCNGNffdx-WRVOuwpv_jii5q4FHXY4g
124
Nombre del Programa similar: Sure Start Local Programmes / Sure Start Children’s Centers (UK)
Señalas las características similares o tipos de apoyo que entrega considerados como similares:
El programa está dirigido a las zonas más pobres del país y busca apoyar a niños pequeños y a sus familiares mediante la oferta de servicios de cuidado infantil, entre otros
(como educación temprana, salud y servicios familiares).
Año de evaluación: 2008
Nombre de la Evaluación: The Impact of Sure Start Local Programmes on Three Year Olds and their Families
Tipo de Evaluación: Impacto.
Objetivos de la Evaluación: el estudio buscó analizar los efectos que ha tenido el programa sobre los niños y sus familias.
Metodología utilizada:
El estudio analizó el comportamiento niños y familias beneficiarios, con niños y familias en condiciones semejantes pero que no contaron con la presencia del programa en
su comunidad. Los datos provienen de dos proyectos: uno llamado Millenium Cohort Study (MCS) que realizó el levantamiento de datos en dos etapas, en 2005 y 2007; la
segunda fuente de datos provino de la información recabada por la Evaluación Nacional de Impacto del programa. La evaluación de impacto analizó los datos de 9000
familias de 150 áreas del Reino Unido, se hizo una selección aleatoria de los beneficiarios así como del grupo de control y el análisis estadístico se hizo con un modelo de
propensity score matching.
Valoración técnica:
Esta evaluación utilizó una metodología adecuada para cumplir con su objetivo.
Principales Resultados :
En general la evaluación identificó un impacto positivo del programa en cuanto a las actitudes parentales así como sobre el desarrollo de los niños. Un hallazgo importante
es el que los efectos positivos del programa se distribuyen de manera universal entre sus beneficiarios y no se concentran en ningún subconjunto en especial. El estudio
reveló que los padres de los niños beneficiarios mostraron actitudes parentales negativas en menor medida que el grupo de control. Así mismo, los niños beneficiarios
tuvieron mejor desarrollo social, mejor independencia y autocontrol, y mostraron una actitud social positiva en mayor frecuencia que el grupo de control. Parece que los
efectos de conductas sociales positivas se deben a una buena asesoría sobre cómo educar a los niños en casa. Los niños beneficiarios mostraron mayor tasa de
inmunización así como una menor propensión a tener accidentes.
Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones:
Fortalezas:
1. Adecuada asesoría parental (que se ha visto reflejada en una mejor actitud de los padres hacia sus hijos)
2. Un efecto positivo en el programa.
3. Es un programa con objetivos de largo plazo.
Observaciones Generales:
El programa Sure Start tiene objetivos más amplios que el PEI, en cuanto a que busca incidir en la salud y en la familia de los niños por medio de asesorías para padres.
Además el programa focaliza por localidad (no por hogares), de tal manera que todos los niños de cada localidad tienen el derecho de asistir al centro.
Disponibilidad en internet:
http://www.google.com.mx/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CFMQFjAA&url=http%3A%2F%2Fwww.education.gov.uk%2Frsgateway%2FDB%2FRRP%2Fu015389%2Findex.shtml
&ei=5VAYUPP3NYaI8QTb1IGoBg&usg=AFQjCNFbAigQlSpRW-fKImbzwQyWdSdPCQ
125
Nombre del Programa similar: No se evaluó un programa en particular, sino el sistema en general de servicios de cuidado infantil y educación preescolar.
Señalas las características similares o tipos de apoyo que entrega considerados como similares:
Dentro del Plan Nacional para la Educación de Brasil, el componente de guarderías es el que más semejanzas comparte con el PEI, entre ellas se encuentra el hecho de que
busca atender niños entre 0 y 3 años, dando prioridad a aquellos que viven en condiciones de pobreza.
Año de evaluación: 2001
Nombre de la Evaluación: Brazil Early Child Development a Focus on the Impact of Preschools
Tipo de Evaluación: Costo Beneficio
Objetivos de la Evaluación:
El estudio buscó medir el impacto de los servicios preescolares y de guarderías con respecto a la permanencia escolar, el estado nutricional de los niños y cuantificar los
beneficios –en términos del ingreso de las personas- por haber asistido a guarderías y preescolar.
Metodología utilizada:
El estudio buscó medir el impacto de los servicios preescolares y de guarderías con respecto a la permanencia escolar, el estado nutricional de los niños y cuantificar los
beneficios –en términos del ingreso de las personas- por haber asistido a guarderías y preescolar. Los datos para realizar esta evaluación provienen de varias fuentes: el
Censo Nacional de Población, el Censo de Escuelas del Ministerio de Educación, de la Encuesta nacional de hogares y de la Encuesta brasileña de estándares de vida. Para
medir el impacto de los servicios de educación preescolar y guardería la evaluación recurrió a datos retrospectivos de adultos entre 25 y 64 años, el estudio asumió que el
impacto por haber participado en este tipo de educación es igual para toda la muestra y así la evaluación explicó la permanencia escolar y el número de años en la escuela
en función de la exposición a los servicios de guarderías y preescolares. Por otro lado, para evaluar los beneficios económicos sobre los beneficiarios se estimó la tasa de
retorno de inversión pública. Para hacer esto primero se estimaron los beneficios de la educación preescolar sobre el desempeño académico futuro, sobre el futuro ingreso
al que podría aspirar el beneficiario en el mercado laboral y sobre su estado nutricional. La evaluación se basa en un modelo en el que se identifica la relación entre el
número de años de asistencia a educación preescolar y guarderías y los años de educación formal que adquieren sus beneficiarios, y a su vez, los años de educación formal
se traducen en un mayor ingreso de las personas.
Valoración técnica:
Una debilidad de la evaluación es que parte del supuesto de que la calidad en los servicios escolares se mantiene constante en el tiempo. Es decir, para estimar el impacto
que tendría la educación preescolar en la actualidad, se analizó el nivel de asistencia en educación preescolar que hubo, por ejemplo, 20 años atrás, sin que se utilice para
este fin variables de control relativas a la calidad del servicio.
Principales Resultados:
De acuerdo con la evaluación, en términos de desempeño escolar los servicios de guarderías y preescolar tienen un efecto positivo. En específico, un año más de
preescolar aumenta los años de educación formal entre .4 y .6 años. La evaluación también identificó que la asistencia a guarderías y preescolar está relacionada con
mayor probabilidad de terminar una etapa educativa (primaria, secundaria, etc.). La evaluación reporta que aumentar la asistencia en educación preescolar por dos años
podría aumentar el promedio educativo de Brasil de 6 a 7 años.
Por otro lado, la evaluación identificó que el incremento de un año en educación formal aumenta el ingreso potencial en 11%, de tal manera que si un año de educación
preescolar aumenta en .4-.6 años la educación formal, la permanencia en educación preescolar aumentaría el ingreso potencial de los beneficiarios en 7% potencialmente.
En términos de estado nutricional la evaluación no encontró evidencia definitiva y sugieren que sea un tema que se siga explorando.
Al analizar la distribución de los recursos públicos destinados a servicios de guarderías y preescolar la evaluación halló que no están recibiendo suficientes recursos y
que los que reciben están mal distribuidos: Sao Paulo es la región que absorbe 14% de los recursos a pesar de que sólo cuenta con 6% de los niños en el rango de edad. De
hecho, fuera de Sao Paulo, muchas municipalidades son incapaces de cubrir los costos mínimos para material didáctico y el mantenimiento de la escuela.
126
Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones (máximo 1,500 caractéres):
Fortalezas:
1. Un impacto positivo estimado sobre el desempeño académico así como el futuro salario.
Debilidades:
2. Los servicios de guarderías y educación preescolar no son considerados prioritarios en el sistema educativo brasileño, a pesar de las altas tasas de retorno económicas y
sociales de este tipo de inversiones.
3. Existe una falta de financiamiento crónica que, junto a una mala estrategia de focalización, socaba los efectos de estas políticas.
4. El sistema actual de financiamiento es regresivo, siendo los sectores más acomodados los que más se benefician.
Recomendaciones
5. Dado los limitados recursos que el gobierno brasileño piensa destinar para servicios preescolares y de guarderías, sería útil explorar medidas alternativas a la provisión
de estos servicios a través de ONG y programas no formales que ya operan en Brasil.
Observaciones Generales:
Disponibilidad en internet:
http://www.google.com.mx/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CFMQFjAA&url=http%3A%2F%2Fsiteresources.worldbank.org%2FEDUCATION%2FResource
s%2F278200-1099079877269%2F5476641099079922573%2FBrazil_Early_child_Dev_preschools_En02.pdf&ei=hm0ZUKX9C4fo0QGxt4D4CA&usg=AFQjCNGRnp1cvb5QTjK2GcKbzFek6LTNJA
127
Nombre del Programa similar: La evaluación no analizó un programa en específico, sino los sectores de preescolar en general en Guinea y Cabo Verde.
Señalas las características similares o tipos de apoyo que entrega considerados como similares:
Año de evaluación: 2001
Nombre de la Evaluación: Early Childhood Development in Africa: Can We Do More for Less? A look at the impact and implications of preschools in Cape Verde and Guinea
Tipo de Evaluación: Impacto
Objetivos de la Evaluación:
El estudio examinó los modelos predominantes de educación preescolar en Cabo Verde y Guinea. El propósito del estudio es ofrecer una imagen preliminar sobre los
impactos y la efectividad de dos programas en dos países africanos. El estudio realizó un perfil de los servicios de preescolar en ambos países, exploró los factores que
determinan la inscripción o participación en el servicio, estudió la influencia de estos servicios sobre el desarrollo de los niños, identificó los programas más efectivos para
promover el desarrollo de los niños así como sus características y sopesó las implicaciones de políticas públicas de estos programas.
Metodología utilizada:
El estudio examinó los modelos predominantes de educación preescolar en Cabo Verde y Guinea. El propósito del estudio es ofrecer una imagen preliminar sobre los
impactos y la efectividad de dos programas en dos países africanos. El estudio realizó un perfil de los servicios de preescolar en ambos países, exploró los factores que
determinan la inscripción o participación en el servicio, estudió la influencia de estos servicios sobre el desarrollo de los niños, identificó los programas más efectivos para
promover el desarrollo de los niños así como sus características y sopesó las implicaciones de políticas públicas de estos programas.
El estudio recurrió a una metodología de encuestas para identificar los programas y modelos de educación preescolar para detallar sus características. Se examinó la gama
de programas existentes en ambos países para identificar las características de los programas que parecen ser las más efectivas –y menos costosas- en promover el
desarrollo de los niños. A continuación se seleccionó una muestra de escuelas preescolares para identificar el impacto que la asistencia, los diferentes modelos y las
distintas características de las escuelas tienen sobre el desarrollo cognitivo y físico de los niños. Tanto en Cabo Verde como en Guinea se tomó una muestra aleatoria de 15
niños de 5 años de todas las escuelas preescolares seleccionadas para aplicarles una encuesta a ellos a sus familias también; para tener un punto de comparación se aplicó
el mismo cuestionario a 10 niños de 5 años, y a sus familias, pero que no asisten a preescolar. Las variables dependientes del análisis fueron el desarrollo cognitivo y físico
de los niños, las variables independientes se dividieron en tres grupos: las características sociodemográficas de los niños, características del entorno (por ejemplo, si los
padres le leen a sus hijos), y variables relacionadas a las escuelas (proporción de niños por maestra, formación de las maestras, tipo de programa -guarderías, preescolares,
etc.-). Se utilizó un análisis multivariado para comparar los dos grupos así como la influencia de las variables independientes sobre el desarrollo de los niños.
Valoración técnica:
Este es una primer estudio exploratorio con resultados incipientes sobre los efectos de los servicios de educación preescolar y guardería en ambos países. La información
sobre las características de las escuelas no es lo suficientemente detallada para obtener conclusiones definitivas sobre la efectividad de ciertos factores. Por último, los
costos que se presentan respecto a la operación de los centros preescolares es aproximado ya que el estudio no analizó a profundidad toda la estructura de costos de cada
centro.
Principales Resultados:
Los niños que asistieron a preescolar tuvieron mejor desarrollo cognitivo medido a través de una prueba que medía capacidad lingüística y habilidades de pre-lectura. De
acuerdo con la evaluación, el haber asistido a servicios preescolares explica una diferencia de dos puntos porcentuales sobre el total de la variación.
De acuerdo con el análisis realizado, los centros preescolares de Guinea son los más exitosos para desarrollar habilidades de pre-lectura y de habilidades lingüísticas, sin
embargo no aporta mucho para el desarrollo de conceptos básicos. Por el contrario, los servicios preescolares en Cabo Verde son más exitosos en desarrollar conceptos
básicos y habilidades lingüísticas, seguidos en menor medida por habilidades de pre-lectura.
Un hallazgo importante, se refiere al hecho de que en Guinea los niños de los estratos socioeconómicos más bajos fueron los que más se beneficiaron por la asistencia a
estos servicios, sin embargo en Cabo Verde este efecto se encontró entre los niños de estratos más altos. El estudio también encontró que las características de las
escuelas son significativas para explicar la variación en el desarrollo cognitivo de los niños siendo los más efectivos los centros de educación comunitaria (Guinea) y
escuelas religiosas en Cabo Verde.
Otro hallazgo fue que el lenguaje en el que se le enseña a los niños afecta su desarrollo cognitivo, en Guinea cuando se les enseño a los niños en francés y en el idioma
local se encontró un efecto negativo; por el contrario en Cabo Verde se halló que a los niños que se les enseña en portugués y en criollo tuvieron mejor desarrollo. Por
último, se identificó que los centros preescolares de alto costo no garantizan un alto desarrollo infantil; por el contrario, intervenciones de bajo costo produjeron buenos
resultados en cuanto al desarrollo infantil, lo cual revela que no es necesario sacrificar la calidad al reducir los costos.
128
Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones:
El estudio no tiene un apartado de fortalezas, debilidades y amenazas, sin embargo, estas son sus recomendaciones:
Programas con un alto costo no necesariamente ofrecen los mejores resultados, el estudio halló que servicios preescolares de menor costo no significan un sacrificio sobre
la calidad en tanto que muchos de estos centros logran que sus niños tengan un desarrollo cognitivo algo. El que el servicio sea costoso no garantiza que se vayan a
obtener resultados altos en cuanto al desarrollo cognitivo de los niños.
Se recomienda explorar las posibilidades de implementar un servicio más económico complementado con capacitaciones concretas alrededor de temas específicos.
Se recomienda buscar el apoyo de la comunidad y de los padres para dichos programas.
En Guinea, donde la tasa de inscripción en preescolar es baja, y hay escasos recursos públicos, se podría establecer un marco institucional que estimule la participación de
la sociedad civil y el sector privado en la provisión del servicio; esto se podría hacer a través de capacitaciones a los padres, campañas de concientización sobre la
importancia de estos servicios, probar la operación de un programa de bajo costo de cuidado infantil que cuente con el apoyo de la comunidad, el ofrecimiento de créditos
para echar a andar un centro de atención preescolar.
En Cabo Verde -en donde el sector público ya provee una porción significativa de los servicios de preescolar- el rol del gobierno debería concentrarse en una mejor
distribución de sus recursos, se deberían estudiar aquellas escuelas que tengan los mejores resultados en cuanto al desempeño de sus niños. También se recomienda que
se impartan a los maestros entrenamientos sobre desarrollo infantil y que se desarrollen esquemas para aumentar la presencia de los niños de estratos más pobres en los
servicios de educación preescolar.
Observaciones Generales:
El estudio no reparó sobre los efectos laborales que tienen los servicios preescolares sobre la familia de los niños. Una virtud del estudio es que analizó los sectores de
preescolar y guardería en su conjunto, de tal manera que pudo estimar los impactos que las diferentes características del servicio tienen sobre el desarrollo de los niños.
Un estudio semejante podría ser útil para el caso de México en el que se consideraran todos los servicios de guardería y preescolar. Muchas de las recomendaciones
sugieren el desarrollo de un programa que compartiría semejanzas con el PEI en cuanto a un bajo costo y un mayor involucramiento de la sociedad civil y particulares.
Disponibilidad en internet:
http://www.google.com.mx/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CEoQFjAA&url=http%3A%2F%2Fddpext.worldbank.org%2FEdStats%2FCPVwp01.pdf&ei=dpIZUMvDBIW69QT5hIGgAQ&usg=AFQjCNHIObcnvUeVyoAiQx4qVAV_PUDbNQ
129
Anexo 3. Agenda de Evaluación para el Programa de Estancias Infantiles (PEI).
Año
Duración o
Tipo de
de
Objetivos
periodo de
Componentes a evaluar
Evaluación
inicio
ejecución
Conocer la evolución de los
Evaluaciones
2013indicadores, la cobertura y el
específicas de
2018
desempeño general del
desempeño
programa.
Comprobar que el diseño del
Evaluación de programa y la normatividad
2013
Diseño
aplicable sean congruentes
entre sí.
Cada dos
años
Desempeño y calidad de los
indicadores
Justificación e importancia
Referencia
Es importante contar con
evidencia para conocer si los
programas, de manera
regular, tiene un adecuado
desempeño
Pg.64
Aspectos del diseño del
La reciente promulgación de
programa relativos al
la LGPSACDII implica nuevos
2013-2014 desarrollo infantil, a la salud y retos tanto en materia de
a medidas de seguridad de las diseño como de evaluación
estancias.
para el programa.
Pg.59
Insumos
Necesarios
Para todas las
evaluaciones se
recomienda
recoger
información
(sobre todo
relativa al
desarrollo
infantil), a partir
de la entrada en
vigor de las ROP
de 2013,
130
La validez de los indicadores. Los indicadores que se han
En el caso del indicador de mantenido estables durante
desarrollo infantil, se busca varios años y el indicador de
comprobar que esté midiendo desarrollo infantil. Por lo
Verificar que los indicadores de
cómo se está contribuyendo tanto, se busca comprobar
Evaluación de la MIR del PEI en efecto estén
2014
2014-2015 al desarrollo de los atributos que los indicadores que han
Indicadores capturando la información para
de este concepto (físicos, sido bien evaluados y por lo
la cual fueron diseñados.
emocionales, psicosociales, tanto prácticamente han
cognitivos, sociales,
permanecido inalterados
educativos y culturales) en los realmente sigan siendo los
niños.
adecuados.
Pg.60
utilizando al
CUIS como
mecanismo de
recolección y de
aplicación
anual; o bien a
partir de un
instrumento ad
hoc que sirva
como
mecanismo de
monitoreo para
capturar
información
relevante para
el programa.
Esta evaluación se justifica
Generar evidencia sobre cómo
puesto que muchas de las
Para todas las
El tiempo y el contenido que
distintos aspectos del servicio
decisiones sobre el diseño del
evaluaciones se
Evaluación
deben tener tanto las
que brinda el programa
programa no están
2014 Complement
2014-2015
capacitaciones, como las
Pg.60-61 recomienda
generan efectos diferenciados
sustentadas en evidencia que
recoger
aria
actividades de aprendizaje de
en el Propósito y el Fin de la
permita especificar por qué
los niños
información
intervención.
conviene un diseño sobre
(sobre todo
otro
relativa al
Analizar si el diseño y el
Aspectos del diseño del
desarrollo
desempeño global del PEI es el
Es importante evaluar la
Evaluación de
programa relativos al
infantil), a partir
adecuado para mejorar su
operación y el desempeño del
2015 Consistencia
2015-2016 desarrollo infantil, a la salud y
Pg.61
de la entrada en
gestión y sus resultados en
programa en función de sus
y Resultados
a medidas de seguridad de las
términos del fomento del
nuevos componentes.
vigor de las ROP
estancias.
desarrollo integral infantil.
131
Conocer cuál es el impacto que
el programa tiene en términos
de desarrollo infantil, en el
El desarrollo infantil de los
largo plazo, así como los
niños, y conocer si la decisión
Evaluación de
2016
motivos por los que las MTPS 2016-2018 de las MTPS de llevar a su hijo
Impacto
llevar a los niños a dichas
a una determinada EI está
estancias infantiles, y las que
asociada a éste.
las(os) motivan a buscar
empleos.
La evaluación previa tenía por
objeto medir el impacto del
programa en términos de la
inserción o permanencia
laboral de las MTPS. Con la
incorporación del desarrollo
infantil como objetivo del
programa, se requiere
conocer qué impacto tiene el
programa en este respecto.
Pág.61
Identificar si el programa lleva
Nuevos procesos operativos
a cabo sus procesos operativos
del programa, (por ejemplo,
Evaluación de
2017
de manera eficaz y eficiente, y 2017-2018
creación de Comités y de
Procesos
de acuerdo a las nuevas
mecanismos para integrar
disposiciones de la LGPSACDII.
información )
La reciente promulgación de
la LGPSACDII implica nuevos
retos tanto en materia de
diseño como de evaluación
para el programa.
Pág.63
de 2013,
utilizando al
CUIS como
mecanismo de
recolección y de
aplicación
anual; o bien a
partir de un
instrumento ad
hoc que sirva
como
mecanismo de
monitoreo para
capturar
información
relevante para
el programa.
132
Anexo 4. Principales fortalezas, retos y recomendaciones para el Programa de Estancias Infantiles (PEI).
Tema de
evaluación
Fortaleza
Oportunidad
Debilidad
Amenaza
Aspecto Identificado
Efecto positivo por parte del PEI en la participación en
el mercado laboral de mujeres de escasos recursos con
hijos pequeños
El programa resultó muy bien evaluado por los
beneficiarios del programa
Los indicadores han sido definidos de forma adecuada
para medir su Fin y Propósito
El programa contó con una agenda de evaluación
muy completa (2007-2012), y atendió de manera
oportuna los ASM derivados de é
Referencia
Recomendación
Pg. 96
N/A
Pg. 96
N/A
Pg. 96
N/A
Pg. 96
N/A
Incluir como un propósito del PEI la promoción del desarrollo infantil.
Se recomienda que la definición esté basada en la dispuesta por la
LGPSACDII
Utilizar un indicador de desarrollo infantil, cuyo cálculo se haga
explícito, y que cumpla con los criterios de calidad establecidos por
CONEVAL
Incorporación del desarrollo infantil como un objetivo
central
Pg. 98
El Índice de Desarrollo Infantil no ha sido definido aún
en las reglas de operación ni en la MIR
Pg. 97
No existen criterios claros para definir las metas
planteadas para los indicadores
Pg. 97
Hacer explícitos los criterios mediante los cuales se establecen las metas
de los indicadores
La forma en la que están fraseados los resúmenes para
el nivel de Fin y Propósito no es adecuada
Pg. 97
Modificar los resúmenes narrativos para los niveles de Fin y Propósito,
en los términos sugeridos en el apartado de Monitoreo
Pg. 99
Considerando los ajustes a los que deberá sujetarse el programa debido
a la LGPSACDII (y posiblemente del Plan Nacional de Desarrollo 20132018) se recomienda llevar a cabo una evaluación de diseño, para
valorar la congruencia entre el programa y estas nuevas disposiciones
La ley LGPSACDII, por tres principales razones:
1. Puede orillar al PEI a transitar de un programa de
orientado a la inserción laboral de las MTPS, a uno de
provisión de servicios de cuidado infantil.
2. El desarrollo infantil se vuelve un derecho mejor
salvaguardado que el de la igualdad de oportunidades
133
en el acceso a trabajos remunerados por parte de las
mujeres.
3. La nueva ley tiene consecuencias presupuestales que
pueden traducirse en la disminución del número de
Estancias Infantiles o bien, en la imposición de una
carga presupuestaria muy alta para el programa
134
Anexo 5. Evolución del Resumen Narrativo para los niveles de Fin, Propósito y Componentes
2009
2010
2011
FIN
2008
Contribuir a abatir el rezago en
Contribuir mediante el
materia de acceso y
aumento de la oferta de
Contribuir a abatir el rezago en
permanencia en el trabajo de
espacios de cuidado y
materia de acceso y
Contribuir a mejorar las
madres que trabajan, buscan
atención infantil, a abatir el
permanencia en el trabajo que
condiciones de acceso y
empleo o estudian y los padres
rezago en materia de
Mejorar las condiciones enfrentan las madres
permanencia en el trabajo
solos con hijos o niños bajo su acceso y permanencia en el
de acceso al trabajo de trabajadoras y padres solos con
de madres trabajadoras y
cuidado madres trabajadoras y
trabajo de madres que
madres trabajadoras y hijos entre 1 y 3 años 11 meses
padres solos con hijos
padres solos con hijos entre 1 y trabajan, buscan empleo o
padres solos con hijos (un día antes de cumplir los 4
entre 1 y 3 años 11 meses
3 años 11 meses en hogares con estudian y los padres solos
entre 1 y 3 años 11
años) en hogares con ingresos
en hogares con ingresos
ingresos de hasta 1.5 salarios
con hijos o niños bajo su
meses
de hasta 6 salarios mínimos
menores a 6 salarios
mínimos per cápita
cuidado en hogares que
incrementando la oferta y
mínimos.
aumentando la oferta de
cumplan con los criterios de
apoyando la demanda de los
espacios y apoyando la
elegibilidad establecidos en
servicios de cuidado infantil.
demanda de los servicios de
las Reglas de Operación del
cuidado y atención infantil.
Programa.
PROPÓSITO
2007
Madres trabajadoras y
Madres trabajadoras y
Madres trabajadoras y padres
padres solos con hijos
padres solos con hijos
solos con hijos entre 1 y 3 años
entre 1 y 3 años 11 entre 1 y 3 años 11 meses
11 meses (un día antes de
meses en hogares con en hogares con ingresos
cumplir los 4 años) en hogares
ingresos menores a 6 menores a 6 salarios
con ingresos de hasta 6 salarios
salarios mínimos, están mínimos, cuentan con
mínimos, cuentan con tiempo
en condiciones de
tiempo disponible para
disponible para acceder,
acceder y/o permanecer acceder y/o permanecer
permanecer en el mercado
en el mercado laboral en el mercado laboral por
laboral y/o estudiar por el uso
por el uso de servicios
el uso de servicios de
de servicios de cuidado infantil.
de cuidado infantil.
cuidado infantil.
Madres trabajadoras y padres
solos con hijos entre 1 y 3 años
11 meses en hogares con
ingresos de hasta 1.5 salarios
mínimos per cápita, cuentan
con tiempo disponible para
acceder, permanecer en el
mercado laboral o en su caso
estudiar por el uso de servicios
de cuidado y atención infantil.
2012
No cambió-
Apoyar a las madres que
Madres que trabajan,
trabajan, buscan empleo o
buscan empleo o estudian y
estudian y a los padres solos,
los padres solos cuentan
con hijos o niños bajo su
con tiempo disponible para
cuidado para que cuenten
acceder o permanecer en el
con tiempo disponible y
mercado laboral, o en su
acceder o permanecer en el
caso estudiar, por medio
mercado laboral, o en su caso
del uso de servicios de
estudiar, por medio del uso
cuidado y atención infantil,
de servicios de cuidado y
que contribuyan al
atención infantil, que
desarrollo de los niños y
contribuyan al desarrollo de
niñas.
las(os) niñas(os).
135
COMPONENTES
Apoyos entregados a madres y padres solos mediante la Estancia Infantil para cubrir parcialmente el costo de los servicios de cuidado infantil para hijos entre 1 y 3 años 11
meses.
Estancias para el
cuidado infantil
incorporadas a la Red
Nacional de Guarderías
y Estancias Infantiles.
No cambió.
Apoyos entregados a las
responsables de las Estancias
Infantiles en la modalidad de
apoyos a madres trabajadoras y
padres solos para cubrir
parcialmente el costo de los
servicios de atención y cuidado
infantil para hijos entre 1 y 3
años 11 meses (un día antes de
cumplir los 4 años).
No cambió.
Apoyos entregados a las
responsables de las
Estancias Infantiles en la
modalidad de apoyos a
madres trabajadoras y
padres solos para cubrir
parcialmente el costo de los
servicios de atención y
cuidado infantil para hijos o
niños, que cumplan con los
criterios de elegibilidad
establecidos en las Reglas
de Operación del Programa.
Estancias para el cuidado
infantil incorporadas a la
Red Nacional de
Guarderías y Estancias
Infantiles.
Estancias para el cuidado
infantil afiliadas a la Red de
Estancias Infantiles.
No cambió.
No cambió.
Calidad en los servicios Calidad en los servicios de
de cuidado infantil, cuidado infantil otorgada,
otorgada en en coordinación con el
coordinación con el DIF DIF Nacional.
Nacional.
No cambió.
No cambió.
No cambió.
No cambió.
No cambió.
Apoyos encaminados a
garantizar la calidad en los
servicios de cuidado y
atención infantil en la Red de
Estancias Infantiles,
otorgados en coordinación
con el DIF Nacional.
136
Anexo 6. Evolución de los indicadores para los niveles de Fin y Propósito
2007
Porcentaje de beneficiarios del
programa respecto al Marco de
población de referencia.
2008
2009
2010
2011
2012
Porcentaje de beneficiarios que
permaneciendo más de dos meses
en el Programa accedieron a un
trabajo remunerado.
No cambió.
No cambió.
No cambió.
FIN
Porcentaje de beneficiarios que
permaneciendo entre tres y seis
meses en el Programa accedieron
a un trabajo remunerado.
PROPÓSITO
Porcentaje de beneficiarios que
tenían trabajo al momento de
ingreso al programa y mientras
están en el programa logran
mantenerse en un trabajo
remunerado.
No cambió.
No cambió.
No cambió.
Porcentaje de beneficiarios que tenían
trabajo al momento de ingreso al
programa y mientras permanecen en él
logran mantenerse en un trabajo
remunerado.
Porcentaje de beneficiarios que La ED 2007 sugirió modificar su
permaneciendo entre tres y
redacción para que no se refiriera
seis meses en el Programa
a un intervalo de tiempo, sino a
accedieron a un trabajo
un periodo mínimo y que se
remunerado.
subiera a nivel de Fin.
Porcentaje de beneficiarios que
La ED 2007 sugirió modificar su
teniendo trabajo y
redacción para que no se refiriera
permaneciendo entre tres
a un intervalo de tiempo, sino a
meses y seis meses en el
un periodo mínimo y que se
Programa, se mantuvieron en
subiera a nivel de Fin.
un trabajo remunerado.
137
Porcentaje de beneficiarios que
utilizan el tiempo disponible
generado por el uso de los
servicios de cuidado infantil para
buscar empleo, capacitarse para
el empleo o trabajar.
Número de horas semanales
promedio de asistencia de las
niñas y los niños a las Estancias
Infantiles.
No cambió.
Promedio de horas semanales de
asistencia de los niños a las
Estancias Infantiles.
No cambió.
No cambió.
No cambió.
Promedio de
horas semanales
de que disponen
los beneficiarios
para acceder,
permanecer en el
mercado laboral o
en su caso
estudiar.
Índice de
desarrollo infantil
de hijos o niños al
cuidado de
beneficiarios que
reciben servicio de
la Red de
Estancias
Infantiles.
No cambió.
No cambió.
No cambió.
138