Las evaluaciones de desempeño de los programas federalizados de agua potable y saneamiento: los retos por superar (PDF, 2.8 Mb)

Las evaluaciones de desempeño de
los programas federales de agua
potable y saneamiento: los retos por
superar
Enero 2016
www.coneval.gob.mx
¿Para qué evaluar?
Tipos de evaluaciones y de información
obtenida
Diagnóstico de
Programas Nuevos*
Definir el problema
y justificar que es
un problema
público
Diseño
Consistencia y
Resultados
Procesos
Estratégicas
Consistencia y
lógica interna de
los programas
Diagnóstico de la
capacidad
institucional para
alcanzar resultados
Análisis de los
procesos
operativos y su
contribución a la
mejora de la
gestión operativa
Valoración de las
políticas y
estrategias de
desarrollo social
Se documentan buenas
prácticas y cuellos de botella
Específicas
Evaluación
Específica de
Desempeño
(avance en el logro
de objetivos y
metas)
Ficha de Monitoreo
y Evaluación
No están especificadas en los
Lineamientos de evaluación
Indicadores
Impacto
Política de protección social,
microcréditos, desarrollo
social
Complementarias
Programas
Pertinencia y
alcance de los
indicadores de un
programa
Medir los efectos
netos del programa
Profundizar sobre
aspectos
relevantes del
desempeño
Previamente desarrollar un
análisis de factibilidad
* El Diagnóstico también está dirigido a programas existentes con ampliaciones o modificaciones sustantivas
Estrategias,
políticas o
conjunto de
programas
Evaluación de programas en materia hídrica
 11 programas con Evaluación Específica de Desempeño 2014-2015 asociados a
los recursos hídricos
Derecho Humano al Agua
En el artículo cuarto de la Constitución Política de los Estados Unidos
Mexicanos, se menciona que toda persona tiene derecho al acceso,
disposición y saneamiento de agua para consumo personal y
doméstico en forma suficiente, salubre, aceptable y asequible. El
Estado garantizará este derecho y la ley definirá las bases, apoyos y
modalidades para el acceso y uso equitativo y sustentable de los
recursos hídricos, estableciendo la participación de la Federación,
las entidades federativas y los municipios, así como la participación
de la ciudadanía para la consecución de dichos fines. Además, en el artículo 6 de la Ley General de Desarrollo Social se
menciona que uno de los derechos para el desarrollo social el
disfrute de un medio ambiente sano.
Derecho Humano al Agua –
Vinculación con otros derechos
!! El derecho humano al agua está vinculado con otros derechos, igualmente
para garantizar su ejercicio, por ejemplo:
El derecho a la alimentación
nutritiva, suficiente y de calidad
(artículo 4to Const. y 6to
LGDS).
El derecho a la vivienda,
Indicador de servicios básicos
de la vivienda (artículo 4to.
Const.y 6to LGDS)
El derecho a un medio
ambiente sano (artículo 4to
Const. y 6to LGDS).
El derecho a la salud (artículo
4to Const. y 6to LGDS)
Consideraciones generales
•! Evaluar los programas en materia ambiental es complejo por su propio diseño y objetivo,
ya que se orientan a la protección del medio ambiente en sus diversos elementos, como
son biodiversidad, bosques, suelo, agua, calidad del aire, etcétera; lo que dificulta,
principalmente, la definición y cuantificación de sus poblaciones, y ello a su vez genera
que no se pueda dar un seguimiento de los resultados de la intervención. Por ello, el reto
es trabajar en la definición de sus poblaciones y en los mecanismos idóneos para
monitorear el avance de las intervenciones en la materia.
•! Los programas y políticas en materia ambiental deben transitar hacia un enfoque de
derechos, a partir del cual las acciones implementadas por la SEMARNAT estén
encaminadas a procurar el pleno ejercicio de los derechos al medio ambiente sano y al
acceso, disposición y saneamiento de agua para consumo personal y doméstico en
forma suficiente, salubre, aceptable y asequible establecidos en la Constitución Política
Mexicana.
•! El Instituto Nacional de Ecología y Cambio Climático (INECC) debe continuar avanzado
en la definición de criterios e indicadores confiables que permitan medir el ejercicio del
derecho al medio ambiente así como propiciar un análisis más profundo en relación a la
importancia del tema medio ambiental en la reducción de la pobreza (por ejemplo, su
relación con los indicadores de salud). Estas definiciones podrán contribuir a que los
programas mejores sus indicadores y la medición de sus resultados.
Consideraciones generales
•! De igual manera se debe trabajar en la definición del derecho humano al agua y, con
base en ello, establecer indicadores para su medición. Con ello, los procesos de
evaluación podrían centrarse en identificar el cumplimiento del derecho a través de las
intervenciones públicas.
•! La SEMARNAT tiene el reto de articular las acciones implementadas por otras Secretarías
para no condicionar la calidad del medio ambiente a costa de otro tipo de
intervenciones y así lograr un desarrollo sustentable.
•! En relación con los programas en materia hídrica (es decir los que se refieren a la
infraestructura y apoyo para mejorar la calidad del agua) el reto de disminuir el rezago
en infraestructura básica de la vivienda, supondrá no sólo ampliar y mantener la
cobertura en agua potable y saneamiento sino también garantizar que ésta sea
suficiente, salubre, aceptable y asequible para el consumo personal y doméstico.
•! Es importante definir estrategias integrales de atención a los derechos, más allá de
políticas aisladas o de programas que atienden sólo una parte del problema, así como
reforzar la articulación de los programas.
Contacto
Liv Lafontaine
[email protected]
Tel. 54.81.72.39
Resultados de la Evaluaciones Específicas de
Desempeño 2014-2015 hechas a programas
en materia hídrica
Evaluación de programas en materia hídrica
 Evaluación Específica de Desempeño 2014-2015
 Se muestran los resultados de los progamas en materia hídrica
Programa a cargo de la Comisión Nacional del Agua
S074 Programa de Agua Potable, Alcantarillado y Saneamiento*
Programa
Hallazgos
S047 Programa de La evaluación sobre las Interrelaciones Agua y Salud
Pública en México identificó que las enfermedades
Agua Limpia
infecciosas intestinales son la primera causa de
muerte de niños entre 1 y 5 años, la cuarta en niños
menores de cinco años y la causa número 20 de
muerte en la población en México. Señala también
que la disminución de la mortalidad asociada a
esas enfermedades se ha dado gracias a la sinergia
entre políticas públicas y programas como Agua
Limpia por lo que este informe recomienda
a m p l i a m e n t e q u e e s t o s p ro g r a m a s d e b a n
sostenerse.
Recomendaciones
Para la cuantificación de la
cobertura del Programa, se
recomienda utilizar como unidad de
medida a las localidades en lugar
de los municipios y así identificar
aquellas que no cuentan con un
sistema formal de distribución de
agua potable y dirigir las acciones
del Programa hacia éstas con la
finalidad de generar un mejor
enfoque de resultados. Sería
pertinente que el cambio en la
unidad de medida y la definición de
las poblaciones potencial y objetivo,
se establezcan en las Reglas de
Operación.
*De acuerdo con el documento de la Estructura Programática 2016, se fusionan los programas S047 Programa de Agua Limpia, S074
Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas, S075 Programa para la Construcción y Rehabilitación de
Sistemas de Agua Potable y Saneamiento en Zonas Rurales, y U037 Infraestructura Hídrica, el cual realizó con una evaluación de diseño
en 2015, para formar el nuevo programa S074 Programa de Agua Potable, Alcantarillado y Saneamiento.
Programa a cargo de la Comisión Nacional del Agua
S074 Programa de Agua Potable, Alcantarillado y Saneamiento
Programa
Hallazgos
Recomendaciones
S074 Programa de
Agua Potable,
Alcantarillado y
Saneamiento en
Zonas Urbanas
(APAZU)
La supervisión y monitoreo de las obras tanto por parte
de los organismos operadores o de los ejecutores locales
como de CONAGUA tiene deficiencias.
El componente de mejoramiento de eficiencia del
Programa juega un importante papel en la mejora de las
condiciones de vida de los habitantes de las zonas
urbanas. Se debería poner más en relieve las acciones
emprendidas en este sentido, cuando menos creando
indicadores que miden estas acciones o dando mayor
visibilidad a la repartición de recursos según los
conceptos o componentes del Programa.
Son necesarias acciones de
monitoreo o de control de las
obras.
Se recomienda evaluar la
pertinencia de destinar
recursos a la adquisición de
equipo para el control y para
la capacitación técnica del
personal local (lo que
supondría modificar las ROP
que no prevén el apoyo para
la operación ni el monitoreo).
S075 Programa
para
la
Construcción y
Rehabilitación de
Sistemas de Agua
P o t a b l e ,
Alcantarillado y
Saneamiento en
Zonas Rurales
La fuerza y la sostenibilidad del Programa radican en la
inversión para apoyar las figuras organizativas y
participativas en las localidades elegibles, que son las
encargadas de cuidar la correcta ejecución del
Programa y de monitorear las obras. Sin embargo, surge
la necesidad de un mayor seguimiento, capacitando el
personal técnicamente y administrativamente.
El presupuesto previsto para el fortalecimiento
institucional de los ejecutores y la atención social y
participación comunitaria ha decrecido en beneficio de
un mayor número de obras físicas. Esto puede ser un
resultado positivo, pero puede al mismo tiempo significar
un menor desempeño del Programa si las obras se dejan
sin vigilancia, mantenimiento y monitoreo.
No se dispone de indicadores
que per mitan evaluar el
desempeño del Programa en
este sentido. Se sugiere
considerar esta dimensión al
momento de crear la nueva
MIR después de la fusión con
el Programa de Agua
Potable, Alcantarillado y
Saneamiento en Zonas
Urbanas (APAZU).
Programa a cargo de la Comisión Nacional del Agua
S217 Programa de Apoyo a la Infraestructura Hidroagrícola*
Programa
Hallazgos
Recomendaciones
S217 Programa de
Rehabilitación,
Modernización,
Te c n i f i c a c i ó n y
Equipamiento de
Unidades de
Riego
El programa no cuenta con un documento de
diagnóstico donde se describa la
problemática. Esta ausencia se mantiene
todavía en 2015; ante el escenario de la posible
fusión de programas de infraestructura agrícola
se recomienda realizar un diagnóstico integral
de la problemática del sector en la que se
defina con claridad cuál es el problema
público y cuáles son sus causas. Esto podría
motivar una posible reorientación de acciones
en el programa y una focalización más precisa
con base a resultados.
El programa es extremadamente flexible, lo
cual puede tener enormes ventajas para ser
usado como un programa transversal dentro
del sector y poder subsanar la carencia de
recursos en actividades, procesos u obras que
generen economías de escala o sinergias
diversas entre otros programas con el mismo fin.
Sin embargo parece solo atender demandas
p a r t i c u l a re s q u e a l p a re c e r n o t i e n e n
planeación alguna en un horizonte de mediano
plazo.
Se recomienda realizar un diagnóstico
que incluya las problemáticas
relacionadas a todos los programas
de infraestructura hidro-agrícola para
así poder contemplar acciones
integrales. El diagnóstico deberá
definir con claridad cuál es el
problema que se quiere atender,
identificar las causas del problema y
definir cuáles son los indicadores de
resultados relevantes.
U030 Apoyos
Especiales en
Distrito de Riego y
Unidades de
Riego
Realizar un diagnóstico de los
programas de infraestructura
agrícola, mediante el cual se defina
cuál es el problema público a resolver
y se asocien actividades específicas
para el programa. El diagnóstico
deberá servir para definir el problema
público a atender y acordar la
focalización y priorización de
acciones. Además, éste deberá ser la
base de una planeación que permita
vincular sus acciones con otros
programas dentro y fuera del sector.
* De acuerdo con el documento de la Estructura Programática 2016, se fusionan los programas S079 Programa de Rehabilitación, Modernización,
Tecnificación y Equipamiento de Distritos de Riego y Temporal Tecnificado, S217 Programa de Rehabilitación, Modernización, Tecnificación y
Equipamiento de Unidades de Riego, U019 Mejora de Eficiencia Hídrica en Áreas Agrícolas, U028 Programa de Adecuación de Derechos de Usos
del Agua, y U030 Apoyos Especiales en Distrito de Riego y Unidades de Riego.
Programa a cargo de la Comisión Nacional del Agua
S217 Programa de Apoyo a la Infraestructura Hidroagrícola
Programa
Hallazgos
U019 Mejora de La ficha de Monitoreo 2013 señala como debilidad que
Eficiencia Hídrica el Programa no cuenta con lineamientos actualizados
en Áreas Agrícolas para su operación. Los lineamientos publicados en
febrero de 2012 siguen siendo vigentes todavía en 2015.
Es conveniente realizar una encuesta con potenciales
beneficiarios del programa para conocer si existen
restricciones en requisitos o alguna otra limitante
normativa que esté generando la baja de demanda
del programa.
Es también recomendable explorar si los recursos del
Fondo de Garantías para el Uso Eficiente del Agua
(FONAGUA) pueden utilizarse para la contraparte de
otros programas de la CONAGUA que no sean para
infraestructura hidro-agrícola. Si fuera el caso tendría
que modificarse los lineamientos actuales.
U028 Programa de El instrumento que utiliza el programa (la renuncia a los
Adecuación de derechos de agua en la superficie concesionada)
Derechos de Uso puede no ser el más adecuado debido a que hay
renuencia de los usuarios a dejar este derecho se
del Agua
puede atraer a beneficiarios que de cualquier forma no
iban a tener un consumo de agua, por tanto, no
deberían estar dentro de la poblaciones objetivo y
atendida. Con base en esta hipótesis se proponen otros
instrumentos tales como implementar sistemas de
medición y monitoreo más eficientes así como hacer un
ajuste en las tarifas del agua.
Recomendaciones
Definir con precisión cuál es la
población potencial y
objetivo del programa. En
especial, debe definirse la
población objetivo con base
en un análisis presupuestal y
de orientación de política
pública.
Revisar los lineamientos del
programa para ampliar la
cobertura e incluir a otros
programas del sector no
relacionados
con
infraestructura hidro-agrícola.
Revisar los precios que se
ofrecen por unidad de
volumen de agua, dado que
pueden estar impidiendo que
se incorporen más áreas.
Dados los problemas que la
revisión a la alza pueden
originar se recomienda
asociar otros apoyos
(compensación indirecta)
con el precio que se ofrece.
Programa a cargo de la Comisión Nacional del Agua
S217 Programa de Apoyo a la Infraestructura Hidroagrícola
Programa
Hallazgos
Recomendaciones
U030 Apoyos
Especiales en
Distrito de Riego y
Unidades de
Riego
El programa es extremadamente flexible, lo cual puede
tener enormes ventajas para ser usado como un
programa transversal dentro del sector y poder
subsanar la carencia de recursos en actividades,
procesos u obras que generen economías de escala o
sinergias diversas entre otros programas con el mismo
fin. Sin embargo parece solo atender demandas
particulares que al parecer no tienen planeación
alguna en un horizonte de mediano plazo.
Realizar un diagnóstico de los
programas de infraestructura
agrícola, mediante el cual se
defina cuál es el problema
público a resolver y se
asocien actividades
específicas para el programa.
El diagnóstico deberá servir
para definir el problema
público a atender y acordar
la focalización y priorización
de acciones. Además, éste
deberá ser la base de una
planeación que per mita
vincular sus acciones con
otros programas dentro y
fuera del sector.
Programa a cargo de la Comisión Nacional del Agua
S218 Tratamiento de Aguas Residuales*
Programa
Hallazgos
S218 Programa de Este programa es el más importante a nivel federal para
Tr a t a m i e n t o d e el tratamiento de aguas residuales. Con sus acciones no
Aguas Residuales solo ayuda a los Organismos Operadores para que
cumplan con los parámetros de calidad de agua para
las descargas, sino que con ello contribuye al
saneamiento y asimismo a la disminución del deterioro
ambiental de los cuerpos de aguas. El programa
participa en hacer posible el desarrollo sustentable a
partir de la construcción de las plantas de tratamiento,
y atiende y da apoyo a organismos operadores con
deficiencias en su prestación. La contribución del
programa a esos propósitos está demostrada en el
comportamiento de los indicadores de Fin y Propósitos.
Recomendaciones
Se recomienda establecer
formas de medir el
desempeño en lo que
concierne al componente de
infraestructura con respecto
al componente de operación
y mantenimiento pues ello
informará sobre la manera
cómo evolucionará la
cobertura en el tratamiento
de aguas residuales
municipales; es decir, que en
algún momento dado, las
necesidades de apoyo para
mantenimiento y operación
deberán ser más importantes
que aquellas para
infraestructura.
* De acuerdo con el documento de la Estructura Programática 2016, se fusionan los programas S218 Programa de Tratamiento de Aguas Residuales
y U031 Incentivos para la Operación de Plantas de Tratamiento de Aguas Residuales, el cual realizó una evaluación de diseño en 2015.
Programa a cargo de la Comisión Nacional del Agua
E005 Capacitación Ambiental y Desarrollo Sustentable
Programa
Hallazgos
El
programa
carece
de
diagnóstico lo que afecta el
U010 Programa de
diseño, la planeación y orientación a resultados, la
Cultura del Agua
cobertura y focalización, la percepción de la población
atendida y la medición de resultados del programa. Lo
anterior genera problemas en la caracterización de la
población; ello influye en la definición del problema
que se pretende atacar y por lo tanto en el propósito;
también afecta la determinación de la consistencia de
la justificación del programa y en la definición más
precisa de las poblaciones potencial y objetivo.
Recomendaciones
Rediseñar los convenios de
colaboración (concertación)
con entidades para obligarla
a participar más activamente
en la focalización,
seguimiento y verificación de
las acciones implementadas
por los operadores del
programa.
Se recomienda elaborar un
esquema de criterios para la
asignación de recursos
donde de preferencia a
estados que presenten
resultados, los cuales puedan
ser verificados (cómo son las
personas atendidas dentro de
los ECA's).
* De acuerdo con el documento Estructura Programática 2016, se fusionan los programas E005 Capacitación Ambiental y Desarrollo
Sustentable, el cual realizó una evaluación de diseño en 2015, y U010 Programa de Cultura del Agua.
Programa a cargo de la Comisión Nacional del Agua
Programa
U015 Programa
para incentivar el
d e s a r r o l l o
organizacional de
los Consejos de
Cuenca
Hallazgos
El programa requiere un revisión sobre la plataforma de
participación que se debe fortalecer a nivel cuenca;
ello implicará la integración de más actores (academia,
ONG’s, otras instancias de la APF y gobiernos locales) y
la definición de la gobernanza requerida
(transparencia, representatividad, etc.), la definición
clara de objetivos de generación de capacidades y
fortalecimiento institucional, así como una adecuación
de la estrategia de operación.
Recomendaciones
Mejorar la operación no solo
en lo administrativo
(dispersión de los recursos)
sino en el seguimiento de los
logros alcanzados con el uso
de los recursos dispersados
(mejora de indicadores,
unidades de cobertura y
lineamientos de operación)
considerando la continuidad
de plataformas de
participación y gestión como
son los consejos de cuenca.