Presentación Evaluación Impacto PRONASAR

PROGRAMA DE APOYO DEL BANCO MUNDIAL AL
SECTOR DE AGUA POTABLE Y SANEAMIENTO
El desafío de implementar una
evaluación de impacto de un
programa de agua y saneamiento
rural. La experiencia de PRONASAR
en Perú
1
Estructura de la presentación
1.
2.
3.
4.
5.
Modelo de intervención del PRONASAR
Fases y periodo de implementación
Contexto de implementación del PRONASAR
Diseño de la evaluación de impacto
Principales dificultades del diseño de la
evaluación
6. Metodologías específicas de estimación del
impacto
7. Principales Resultados de la evaluación
8. Conclusiones y Recomendaciones
1. Modelo de Intervención del PRONASAR
Mejorar la calidad de los
servicios de agua y
saneamiento existentes
Mejorar la cobertura en agua y
saneamiento
Fortalecer el Sector agua y
saneamiento
Contribuir a
mejorar la salud y
calidad de vida de
la población rural
1. Modelo de Intervención del PRONASAR
Componentes:
1. Abastecimiento de agua y saneamiento rural
1A. Rehabilitación de sistemas existentes
1B. Construcción de nuevos sistemas.
2. Abastecimiento de agua y saneamiento en pequeñas
ciudades
3. Construcción
Saneamiento.
de
capacidades
en
el
sector
Agua
y
4. Administración, monitoreo y evaluación.
Para lograr su objetivo los proyectos requieren que las Juntas
Administradoras de Servicio y Saneamiento (JASS) y los
municipios cumplan sus roles de forma efectiva y sostenible.
1. Modelo de Intervención del PRONASAR
Políticas y Enfoques:
1)
Integralidad de la intervención: Infraestructura,
Administración, operación y mantenimiento, Educación
sanitaria.
2)
Política financiera: cofinanciamiento del Programa, la
Municipalidad y la Comunidad.
3)
Enfoque de respuesta a
localidades seleccionadas)
4)
Equidad de género
5) Interculturalidad
6) Sostenibilidad ambiental.
la
demanda
(a
nivel
de
1. Modelo de Intervención del PRONASAR
Matriz de Indicadores del Proyecto
Indicadores de Impacto (7 indicadores)
3 de Objetivo superior y 4 de Propósito
Indicadores a nivel de los Objetivos Específicos (93 indicadores)
O1: Generar capacidades en las localidades - JASS (31 )
O2: Rehabilitación, expansión y mejoramiento de servicios
O3: Implantar nuevos sistemas en localidades sin servicio
(9)
O5: Fortalecer capacidad técnica de los gobiernos locales (31)
O6: Mejoramiento de hábitos de aseo e higiene en la población (22)
2. Fases y periodo de implementación
Fases:
1) Pre inversión: selección de localidades, elaboración
de perfiles (4 meses).
2) Inversión: expediente técnico, infraestructura,
capacitación sanitaria, organización y capacitación
AOM (7 meses).
3) Post inversión: acompañamiento y reforzamiento de
acciones educativas (7 meses)
Total: 18 meses (*)
(*) Según diseño. No incluye el tiempo que toma seleccionar y
contratar al Operador.
2. Fases y periodo de implementación
Inicio de Programa
 Aprobación del Convenio de Préstamo, inicio del
Programa
 Cumplimiento de condiciones de efectividad
 Inicio de desembolsos
 Cambio de Unidad ejecutora
2002
2003 - 2004
Reevaluación
 Reevaluación del Programa, enmienda al convenio
 Cambio de Unidad Ejecutora (“Agua para Todos”).
2005 - 2006
2007
Ampliación de plazo, financiamiento adicional
 Ampliación de plazo a 2010
 Ampliación del Financiamiento, y fecha de cierre
2008
2010
Modificaciones finales y cierre de Programa




Cambios en política de cofinanciamiento
Cambios en los productos (opciones técnicas)
Cambio de Unidad Ejecutora
Cierre de Programa
2012
2013
3. Contexto de implementación del PRONASAR
 Las zonas rurales experimentaron un proceso de
crecimiento económico, que permitió reducir la pobreza y
mejorar los ingresos de la población (generando también
migración de la población más joven).
 Se implementaron diversos programas sociales como:
 JUNTOS (desde 2006) destinado a dar incentivos
monetarios para la demanda de servicios en salud
materno neonatal y educación básica para los hogares
pobres.
 Programa
Articulado
Nutricional
(desde
2008)
destinado a reducir la desnutrición crónica infantil
mediante
intervenciones
como
la
vacunación
(incluyendo rotavirus y neomucoco), controles de
crecimiento y desarrollo (CRED), entre otros.
 Implementación del proceso de descentralización, traslado
de competencias hacia niveles subnacionales de gobierno
(regional y local).
4. Diseño de la evaluación de impacto
 El diseño de evaluación inicialmente propuesto por el
PRONASAR en los TDR (2005) consistió en un estudio
“cuasi experimental”:
 Grupo de intervención (Beneficiarios)
 Grupo de control (No beneficiarios)
 Se proyectó realizar una doble medición:
 i) Situación antes y después de la intervención.
 ii) Situación con y sin intervención.
4. Diseño de la Evaluación de Impacto
 Los grupos de Beneficiarios y de Control deberían ser
similares sin la intervención: para los controles se tomó
localidades cercanas con características muy parecidas
(tamaño, nivel socio-económico, geografía).
 Si ambos grupos fueran comparables el impacto de la
intervención se obtendría con el estimador de “Diferencias
en Diferencias”.
Inicio Proyecto
Final Proyecto
Beneficiario
PRONASAR
Grupo de
control
X 1b
X 2b
X 1c
X 2c
Impacto en X = (X2b - X1b) - (X2c - X 1c)
4. Diseño de la evaluación de impacto
Indicadores principales del Marco Lógico (objetivos específicos)
1.1 Porcentaje de niños menores de 5 años con diarrea en los últimos
15 días.
1.2 Porcentaje de madres con prácticas adecuadas de lavado de manos
1.3 Porcentaje de la población que utiliza un servicio de saneamiento que sea
higiénico.
1.4 Porcentaje de hogares con acceso continuo a una fuente segura de agua
1.5 Porcentaje de hogares con acceso a un servicio de saneamiento.
1.6 Porcentaje de localidades que adecuadamente administran, operan y
mantienen su sistema de agua potable.
1.7 Porcentaje de municipalidades que han incorporado y ejercen
funciones de planificación, supervisión, monitoreo y evaluación a los
servicios de agua y saneamiento de localidades rurales, contribuyendo a su
sostenibilidad
4. Diseño de la evaluación de impacto
Diseño muestral cuasi-experimental
Población
objetivo
Beneficiario
Proceso no
aleatorio
Aleatorización
No
Poblaci
beneficiario
ón
Selección
comparable
Muestra de
controles
Muestra de
Tratados
 Línea de Base
 Medición de resultados
4. Diseño de la Evaluación de Impacto
• Selección de la Muestra para la Evaluación:
• Marco Muestral para selección de Localidades:
 Beneficiarias: Listado con la relación de las localidades de
los distritos priorizados 2004, primera y segunda
convocatoria, entregado por el proyecto PRONASAR con
los TDR.
 Controles: Localidades del INEI para los distritos
seleccionados, que cumplieran con el criterio de tamaño
poblacional (200 < de 2000 hab,).
• Marco muestral para la selección de hogares:
Registro de viviendas con ocupantes presentes en las
seleccionadas (elaborado por equipo de campo SASE)
Instrumentos para levantamiento de Información:
• Encuesta a Hogares
• Encuesta a Juntas Administradoras de Servicios de Saneamiento
(JASS) o comité semejante.
• Encuesta a Municipalidad Distrital
4. Diseño de la evaluación de impacto
Tamaño y distribución de la muestra de Evaluación
de Impacto
Año
Tratado
Nuevo Rehabilitado
Hogares
2005
80
2014
80
Total
160
Madres de menores de 5 años
2005
31
2014
26
Total
57
Menores de 5 años
2005
38
2014
33
Total
71
Total
No tratado
Nuevo Rehabilitado Total
Total
Nuevo Rehabilitado
Total
260
260
520
340
340
680
80
40
120
440
480
920
520
520
1040
160
120
280
700
740
1440
860
860
1720
108
74
182
139
100
239
34
9
43
176
154
330
210
163
373
65
35
100
284
228
512
349
263
612
138
84
222
176
117
293
47
11
58
220
172
392
267
183
450
85
44
129
358
256
614
443
300
743
5. Principales dificultades del diseño de la
evaluación
1) La matriz de indicadores para los objetivos específicos contenía
demasiados indicadores a ser evaluados, sobre todo de buenas
prácticas de los hogares, las madres y los niños, así como de acciones
implementadas por las JASS o municipios (que son mas bien
indicadores de seguimiento).
Por ello, la evaluación se concentro en indicadores de objetivo
superior, de propósito del proyecto, y algunos de objetivos
específicos.
2) Había transcurrido un periodo largo desde la implementación de
las intervenciones (entre 2006 y 2009), por lo cual la evaluación
analiza efectos de largo plazo (pudiendo existir efectos mayores o
menores en el corto o mediano plazo que no se conocen).
Se utilizó una nueva muestra de hogares en las mismas localidades
de la línea de base tanto para tratados como para controles.
Dado el plazo los hogares habrían variado de forma significativa en su
composición (y no podría hacerse un seguimiento adecuado a las
mismas madres o niños, los cuales incluso estarían fuera del rango de
edad requerido).
5. Principales dificultades del diseño de la
evaluación
3) La muestra contenía tanto localidades que no habían tenido
intervención previa como localidades donde la intervención sería de
la rehabilitación de sistemas que no funcionaban adecuadamente (la
gran mayoría). Por ello el análisis refleja el efecto de la
rehabilitación.
4) El tamaño de la muestra no permitía un análisis adecuado de la
significancia estadística de los impactos para determinados
indicadores, especialmente por el reducido número de localidades
(municipios y JAAS) era muy pequeña. Sí era suficiente para la
mayoría de indicadores relativos a hogares y personas.
Se hizo un análisis de la potencia de la muestra para la rechazar la
hipótesis de que no existían impactos sobre los principales
indicadores (como si fuera un diseño experimental utilizando el
comando power de STATA).
Por ejemplo, la potencia era muy baja para el caso del indicador 1.1
“Porcentaje de niños menores de 5 años con diarrea en los últimos 15
días”, dado que el valor del efecto estimado, pero era de casi 100%
para los indicadores 1.3 y 1.4 de acceso a servicios adecuados de
5. Principales dificultades del diseño de la
evaluación
5) Los hogares y las localidades beneficiarias y de control no tenían
valores promedio similares en variables asociadas a los indicadores
de impacto (en la línea de base).
 No se podía realizar una comparación directa de los
indicadores de impacto entre ambos grupos. Las diferencias
requerían ser controladas mediante metodologías estándar.
 Se utilizó una metodología no experimental, basada en
regresiones que incluyen variables observables de control. Así
mismo, se utilizó un estimador de Diferencias en Diferencias
que permite controlar también el efecto de factores no
observables o no medidos (bajo el supuesto de tendencia
común).
6) Problema de “crossovers”:
 4 localidades
del grupo de tratamiento (2005), no fueron
intervenidas, pasaron al grupo de no tratados.
 4 localidades
del grupo de no tratados (2005), fueron
intervenidas , pasaron al grupo de tratamiento
Se tuvo que reprocesar la información.
6. Metodologías específicas de estimación del
impacto
Estimador de Diferencias en Diferencias
7. Metodologías específicas de estimación del
impacto
 Dado el tamaño de muestra se utilizo metodologías específicas
basadas en el estimador de “Diferencias en Diferencias”:
 Análisis de Regresión: Para los principales indicadores a nivel de población y de
hogares donde el tamaño de la muestra era grande se utilizó modelos de
regresión no lineal y lineal utilizando el estimador de “Diferencias en
Diferencias”.
 Análisis estadístico: Para los indicadores de localidades y de hogares donde el
tamaño de la muestra era pequeño se hizo un análisis estadístico basado en
pruebas de medias o proporciones entre grupos de casos tratados y de control.
Se complementó con un modelo de regresión básico para determinar la
significancia del estimador original de doble diferencias.
6. Metodologías específicas de estimación del
impacto
Análisis de Regresión (“Diferencias en Diferencias”)
 El estimador DD del ETPT para cada indicador de impacto se obtiene
mediante un modelo de regresión con datos de corte transversal de dos
periodos (pool).


Para variables continuas (pocos indicadores) se usa un modelo lineal.
Para variables binarias (mayoría de indicadores) se usa un modelo no lineal tipo Probit
de la probabilidad de que el indicador de resultado Y tome el valor 1.
 Modelo no lineal:
 Se utiliza como variables T (0 pre-tratamiento y 0 post-tratamiento), D, y la interacción
entre D y T, un conjunto de variables exógenas de control Xj(t) y un grupo de variables
idiosincráticas Zh a nivel e departamento.
Pr( yit  1)  (    .D   .T  .D.T  xijt  j  h zh )
Donde:
yit es el valor observado de la variable de resultado para el individuo i en el
momento t,
xijt es el valor de la variable j para el para el individuo i en el momento t,
zh es el valor de la variable dicotómica que indica que la observación pertenece
al departamento h,
Φ es la función de distribución acumulada normal estándar.
6. Metodologías específicas de estimación del
impacto
Análisis de Regresión (“Diferencias en Diferencias”)
 Siguiendo a Puhani (2012) el estimador DD del ETPT es la diferencia entre las
probabilidades de que la variable dicotómica tome el valor 1 cuando la variable de
interacción entre D y T es 1 respecto a cuando es 0:
DD  E[Y | D  1, T  1]  E[Y | D  0, T  1] E[Y | D  1, T  0]  E[Y | D  0, T  0]
 (         xij    h zh )  (       xij   h zh )
Donde xij y zh son el valor promedio observado de las variables Xj(t) y Zh,
respectivamente.
 Complementariamente se realizó un análisis a partir de la metodología de “Propensity
Score Matching” entre localidades para algunos indicadores principales, obteniéndose
resultados similares (pero con un menor tamaño de muestra).
6. Metodologías específicas de estimación del
impacto
Modelos de Regresión de “Diferencias en Diferencias”:
 a) Modelo básico: solo las variables de pertenencia al grupo de
tratamiento, pertenencia al segundo período de observación, y la
interacción de estas dos variables.
 b) Modelo con características del hogar y la localidad: incluye,
además otras características relevantes de los hogares o personas, y
de las localidades según corresponda. Además, se incluye una variable
dicotómica para la existencia previa de infraestructura de agua y
saneamiento o de infraestructura construida por otras entidades en el
caso de las localidades no intervenidas.
 c)
Modelo completo: que incluye además de las variables de los
modelos anteriores (a y b), variables para características
idiosincráticas a nivel departamental.
6. Metodologías específicas de estimación del
impacto
Análisis estadístico
proporciones:
basado
en
pruebas
de
medias
o
 Cuando la muestra es grande (indicadores de personas y
hogares):
 Prueba t-student para diferencias de medias si la variable es continua
(utilizando el comando ttest de STATA).
 Prueba normal z para diferencias en proporciones si el indicador es de
tipo discreto (utilizando el comando prtest de STATA).
 Para estimar la significancia de la doble diferencia se utiliza el modelo
básico de regresión.
 Cuando la muestra es pequeña (sobre todo localidades):
 - Prueba t-student para diferencias de medias si la variable es
continua.
 - Prueba exacta de Fischer para diferencias en proporciones si el
indicador es de tipo discreto (utilizando el comando tab con la opción
e de STATA).
 No se puede estimar la significancia de la doble diferencia, sólo
interpretar los resultados en cada caso.
7. Principales Resultados de la Evaluación de Impacto
Resultados para los indicadores principales (Objetivo superior y
propósito del proyecto)
Nº
INDICADOR
Efecto tratamiento
promedio para los
tratados (en puntos
porcentuales)
1
1.1 Porcentaje de niños menores de 5 años con
diarrea en los últimos 15 días.
-7.4
1.2 Porcentaje de madres con
adecuadas de lavado de manos
-10.6
2
3
4
5
6
prácticas
Significancia
estadística
No significativo
No significativo
1.3 Porcentaje de la población que utiliza un
servicio de saneamiento que sea higiénico.
+11.7
Significativo (al 99
% de confianza)
1.4 Porcentaje de hogares con acceso continuo
a una fuente mejorada de agua
+12.1
Significativo (al
95% de confianza)
1.5 Porcentaje de hogares con acceso a un
servicio de saneamiento
+17.6
Significativo (al
95% de confianza)
1.6 Porcentaje de localidades que administran,
operan y mantienen un sistema de agua potable
+15.2
No significativo
7. Principales Resultados de la Evaluación de Impacto
Resultados para indicadores específicos (resumen)
Nº
INDICADOR
Efecto tratamiento
promedio para los
tratados (en puntos
porcentuales)
Significancia
estadística
1
2.32 Familias que utiliza fuente segura de agua
para consumir y cocinar
+6,3
Significativo (al
95% de confianza)
2
2.33 Familias que trae agua desde fuera del
hogar
-6,3
Significativo (al
95% de confianza)
3
2.36 Hogares con abastecimiento de agua todo el
año
+20,5
Significativo (al
95% de confianza)
4
2.37 Hogares que percibe el grado de
funcionamiento del suministro de agua como
aceptable
+31,4
Significativo (al
99% de confianza)
5
2.72 Madre que se lava las manos en los cinco
tiempos críticos
-6,7
No significativo
6
2.73 Madre que utiliza una técnica adecuada de
lavado de manos
-18
Significativo (al
95% de confianza)
7. Principales Resultados de la Evaluación de Impacto
Resultados para indicadores específicos (resumen)
Nº
INDICADOR
Efecto tratamiento
promedio para los
tratados (en puntos
porcentuales)
Significancia
estadística
7
2.76 Madre de niños menores de 3 años que
hacen disposición sanitaria de excretas
+6,4
No significativo
8
2.82 Familia que utiliza recipientes cubiertos para
almacenar agua en el hogar
-4,1
No significativo
9
2.83 Familia emplea un método que evita la
contaminación cuando sirven agua para beber
+3,3
No significativo
+19,5
Significativo (al
95% de confianza)
10 2.84 Hogar que utiliza algún método de
purificación del agua
11 2.88 Madre puede identificar dos causas de las
diarreas infantiles
-2,7
No significativo
12 2.89 Madre identifica que el lavado de manos
contribuye a evitar la diarrea
-11,2
No significativo
7. Principales Resultados de la Evaluación de Impacto
Ejemplo de resultado del Análisis Estadístico
2.88 Porcentaje de madres que pueden identificar dos causas de las
diarreas infantiles
SISTEMA NUEVO
Medición
t-student
* = p<10%
**=p<5%
***=p<1%
P-value
-65% -65%
-4,19
***
0,000
-11,0%
-24% 2%
-1,63
21,3%
1% 41%
2,09
Media
Tratados
Media No
tratados
Diferencia
de medias
Intervalo de
confianza al 95%
Línea de Base (2005)
42,1%
74,4%
-32,3%
Ex post (2014)
15,2%
26,2%
Diferencia entre
períodos
-26,9%
-48,3%
0,105
**
0,038
SISTEMA REHABILITADO
Media
Tratados
Media No
tratados
Diferencia
de medias
Intervalo de
confianza al
95%
t-student
Línea de Base (2005)
71,9%
66,9%
5,0%
-5% 15%
1,00
Ex post (2014)
20,0%
33,8%
-13,7%
-23% -4%
-2,90
***
0,004
Diferencia entre
períodos
-51,8%
-33,2%
-18,7%
-32% -5%
-2,73
***
0,006
Medición
* = p<10%
**=p<5%
***=p<1%
P-value
0,316
8. Conclusiones y Recomendaciones
 Lecciones aprendidas en cuanto al diseño de la evaluación de
impacto:
1) La evaluación debe concentrarse en los principales indicadores de
impacto sobre los resultados esperados del programa tanto finales
(nivel de objetivo superior y propósito del proyecto) como
intermedios (objetivos específicos, especialmente buenas prácticas),
2) Desarrollar, en lo posible, una evaluación experimental para
garantizar una comparación directa de los resultados de los grupos y
no tratados.
3) Realizar mediciones intermedias de impactos en el corto y mediano
plazo, así como una medición de largo plazo.
4) Desarrollar un análisis de impacto por separado para intervenciones
en localidades sin servicio y para intervenciones de rehabilitación.
5) Garantizar que el tamaño de muestras (localidades, hogares, madres,
niños)
sea suficiente para que el análisis de la significancia
estadística de los impactos tenga la “potencia” suficiente (dado un
valor esperado de los mismos).
6) Garantizar con los responsables del programa evaluado que no
existan problemas de “crossover”.
8. Conclusiones y Recomendaciones
 En cuanto a impactos para los indicadores de objetivo superior del
proyecto:
La estimación del efecto tratamiento no ha detectado impacto
estadísticamente significativo para:
• Porcentaje de niños menores de 5 años con diarrea en los últimos
15 días.
• Porcentaje de madres con prácticas adecuadas de lavado de manos
Sí se detecta un impacto positivo, estadísticamente significativo, para
el indicador:
• Porcentaje de la población que utiliza un servicio de saneamiento
que sea higiénico.
 También se encuentra un impacto positivo, estadísticamente
significativo, en los indicadores de propósito del proyecto:
• Porcentaje de hogares con acceso continuo a una fuente segura de
agua.
• Porcentaje de hogares con acceso a un servicio de saneamiento.
8. Conclusiones y Recomendaciones
 No se ha encontrado un impacto estadísticamente significativo en
el indicador de propósito vinculado al fortalecimiento de las JASS:
• Porcentaje de localidades que adecuadamente administran,
operan y mantienen su servicio de agua.
 En relación a otros indicadores específicos de fortalecimiento de
JASS:
• Porcentaje de localidades con sistema de agua que funciona sin
mayores problemas.
• Porcentaje de JASS capacitada en administración, operación y
mantenimiento (AOM) de servicios de agua y saneamiento.
No se encuentran diferencias estadísticamente significativas en la
Línea de Base, pero sí las hay en la segunda medición, a favor de
los tratados, lo cual indica que el programa ha tenido efecto
positivo en ambos indicadores.
FIN DE PRESENTACIÓN
GRACIAS