Evaluación de Indicadores-SALAZAR AGOSTO

Evaluación de los Indicadores del Sistema de Gestión por
Comparación de la Comisión Estatal del Agua de Sonora.
(Resumen)
1. Introducción
Desde 1993 la Comisión Estatal del Agua (CEA) de Sonora ha publicado en su página
de internet (http://sgc.ceasonora.gob.mx/Index.aspx) reportes con indicadores que
describen el desempeño de los 72 Organismos Operadores Municipales de Agua Potable
y Saneamiento (OOMAPAS) en el estado de Sonora. De acuerdo con la CEA (2009)
“El objetivo en el proceso de Gestión por Comparación es aportar elementos de juicio y
conocimiento a los organismos que les permita identificar cuáles son las mejores
prácticas que conduzcan a la optimización de sus estrategias y de sus procesos
productivos”
La información contenida en los reportes es recabada por los propios OOMAPAS,
quienes a petición de la CEA llenan un cuestionario en donde proporcionan información
sobre las fuentes de agua de la localidad, procesos de potabilización, e información
administrativa y financiera. Esta información se captura en una base de datos que puede
ser consultada en la página de la CEA, y es a partir de esta base que la Comisión genera
los indicadores.
Para que estos indicadores puedan servir como guía para la mejora de los servicios de
agua potable, la CEA deseaba conocer si la información con que contaban en su base de
datos y la información que les reportaban los OOMAPAS realmente correspondía a la
realidad del desempeño de los servicios de agua potable en el estado, por lo que
mediante una licitación, solicitó al Colegio de Sonora evaluar su Sistema de de Gestión
por Comparación.
La evaluación consistió de dos partes. En la primera parte se llevó a cabo una
evaluación de la base de datos a través de un análisis de la coherencia interna de los
reportes publicados. En la segunda parte, se recabó información de una muestra de
OOMAPAS para contrastar los datos obtenidos contra los que aparecen en los reportes.
En las siguientes dos secciones, se aborda con más detalle cada una de estas
evaluaciones.
2. Evaluación de la base de datos
En esta sección se presentó la evaluación de la coherencia interna de los reportes de
indicadores de gestión publicados en internet por la CEA, así como la coherencia de
dichos reportes con la base de datos. Los datos que la CEA ha publicado en su página
de internet son variables e indicadores que describen el desempeño de los 72
(OOMAPAS) en el estado de Sonora. Los indicadores que maneja el sistema son:

Eficiencia física,

Eficiencia comercial,

Empleados por cada mil tomas,

Ingresos por empleado y

Egresos por empleado
Para evaluar la coherencia de la base de datos con los reportes, se llevaron a cabo
comparaciones entre los indicadores a través del tiempo a mediante el uso de gráficas y
estadísticas descriptivas, con la finalidad de determinar si no existían anomalías en los
datos publicados en los diferentes periodos en que han sido elaborados. También se
compararon los datos de los reportes de indicadores con los elementos a través de los
cuales se integran y que están contenidos en la base de datos (la cual también está
disponible a través de la página de internet). Con base estas comparaciones, se buscó
determinar si los indicadores publicados son válidos para el cumplimiento de los
objetivos del Sistema de Gestión por Comparación.
2.1.
Resultados y recomendaciones.
En los indicadores publicados por la CEA se observan lagunas e inconsistencias en la
información. La inconsistencia más visible es la variación en la periodicidad de la
información, pues esta dificulta la comparación y seguimiento de la evolución de los
OOMAPAS a través del tiempo. Se recomendó a la CEA utilizar periodos de
comparación anual, como en el último reporte publicado, de tal manera que coincida
con los ejercicios de contabilidad de los organismos y con la periodicidad establecida
por la Conagua, esto con la finalidad de hacer que la información sea comparable no
solo a nivel estatal sino también a nivel nacional.
A estas variaciones en la periodicidad se añade la falta de claridad en los criterios de
captura y que provoca que los indicadores estén en la mayoría de los periodos
calculados con criterios mensuales para una variable y anual para otra, produciendo
como resultado indicadores muy por debajo de sus niveles reales. Además, se evidencia
que no todos los organismos comparten los mismos criterios de periodicidad, ya que
dentro de un mismo periodo se pueden observar datos mensuales y anuales para una
misma variable. Es por ello que se recomienda que se indique en los cuestionarios que
los datos corresponden a los datos para todo un año.
A través del análisis se encontraron inconsistencias particulares para cada uno de los
indicadores. Para el caso del indicador de la Eficiencia Física, se detectó que en varios
OOMAPAS se estima un volumen facturado aún cuando no existe micromedición, por
lo que el indicador carece de sentido. En el caso de la producción, esta se estima a
través de un cálculo de acuerdo a los litros por segundo producidos y el número de
horas en operación, sin embargo, existen dos variables que indican las horas de
funcionamiento y además, los datos calculados a partir de la base de datos, ya sea con
una u otra variable, no coincide en muchos casos con el dato de los indicadores
publicados en internet. Por otro lado, en la base de datos se indica que existen
macromedidores en varios de los municipios, y sin embargo, no se encuentra en la base
de datos ninguna variable sobre las lecturas de macromedición.
Para el caso del indicador de Eficiencia Comercial, en donde se reportaron algunos
indicadores mayores al 100%, se recomienda precisar la periodicidad de los datos, y
además, solicitar documentación de la tesorería de los OOMAPAS que avalen la
facturación y los cobros.
Para el indicador de Empleados por cada mil tomas se recomendó revisar que el número
de tomas realmente corresponda a la información proporcionada, ya que existe una
variación muy elevada en esta variable. Para el caso de los indicadores Ingresos por
Empleado y Egresos por Empleado se recomienda revisar los valores de los elementos
que constituyen los ingresos y egresos totales, y además se recomendó revisar las
fórmulas y algoritmos de la base de datos de tal manera que estos coincidan con los
reportes de indicadores y no quede lugar a duda sobre la precisión de la información
reportada.
En general se recomendó reducir el número de datos de entrada y simplificar la base, de
tal forma que se elimine información poco útil y se incluya información vital, con el fin
de reducir la a probabilidad de que existan errores en los datos, en la captura de los
mismos, y con ello los costos asociados a la verificación de la base. También se
recomendó solicitar la documentación que avale la información proporcionada por los
organismos con el fin de poder cotejar la información y dar sustento a la validez de los
indicadores publicados.
3. Evaluación en campo
En esta parte de la evaluación se contrastó la información que la CEA publica en
internet con los datos recabados en campo por el personal del Colegio de Sonora
durante los meses de septiembre y octubre de 2008. Para llevar a cabo esta
comparación, se calculó la desviación de cada indicador calculado mediante datos
obtenidos en campo con respecto a los indicadores publicados por la CEA. La
desviación se calculó de la siguiente manera:
𝐷𝑎𝑡𝑜 𝐶𝐸𝐴 − 𝐷𝑎𝑡𝑜 𝐶𝑎𝑚𝑝𝑜
𝐷𝑒𝑠𝑣 = |
|
𝐷𝑎𝑡𝑜 𝐶𝑎𝑚𝑝𝑜
En donde:
Desv: es la desviación relativa del dato publicado con respecto al obtenido en campo.
Dato CEA: es el indicador publicado por la CEA en su página de internet.
Dato Campo: es el indicador calculado a partir de la información recabada en campo
por el Colegio de Sonora.
El dato se construye en valores absolutos ya que para el estudio no importa si la
desviación es positiva o negativa, además de que permite comparar la calidad de la
información entre los OOMAPAS y generar indicadores para el análisis del agregado de
los organismos.
Los casos en los cuales no se contó con la información suficiente para construir el
indicador, se indican mediante “n.d.” (no disponible).
Además del cálculo de la desviación, se asignó una calificación a cada indicador en
cada organismo. Esta calificación está en una escala de 0 a 10 y se construyó de la
siguiente forma:
0,
𝐶𝑎𝑙𝑖𝑓𝑖𝑐𝑎𝑐𝑖ó𝑛 = {
si 𝐷𝑒𝑠𝑣 no está disponible o es mayor a 100%
(1 − 𝐷𝑒𝑠𝑣) × 10,
en cualquier otro caso
En donde Desv corresponde a las desviaciones relativas previamente presentadas. Las
ventajas de utilizar esta calificación son que a través de ella se hace una valoración de la
disponibilidad de la información, asignando un valor de cero cuando no se puede
construir el indicador; y que dado que está en una escala de 0 a 10, resulta fácil
interpretar la calidad de la información proporcionada por los OOMAPAS.
La obtención de los datos de campo se hizo sobre una muestra de 30 OOMAPAS, de los
cuales, 18 son organismos considerados como “Pequeños” por la CEA (tienen menos de
1000 tomas), 6 son “Medianos” (de 1000 a 5000 tomas) y 6 son “Grandes” (más de
5000 tomas).
3.1 Resultados
En el cuadro 1 se presentan los valores de las desviaciones y las calificaciones para cada
indicador y para cada uno de los 18 organismos clasificados como Pequeños dentro de
la muestra.
Cuadro 1. Organismos pequeños, desviaciones y calificaciones.
Desv.
EF
Arivechi
Arizpe
Bacadéhuachi
Bacanora
Banámichi
Baviacora
Colorada, La
Cucurpe
Huachinera
Huásabas
Onavas
Opodepe
Oquitoa
Sta Cruz
Tepache
Trincheras
Tubutama
Yécora
Promedio
Mediana
EC
EmT
IE
Calificación
EE
n.d. n.d. 40% n.d. 16%
n.d. 11%
0%
0%
2%
74% 33% 13%
9% 12%
n.d. n.d. 100% 33% 58%
n.d. n.d. 74% 14% 40%
n.d. n.d. 25%
1%
2%
n.d. 15%
0%
6% 29%
n.d. 56%
0% 70% 57%
90% 47% 180% 76% 48%
n.d. 18%
0% 31% 25%
n.d. 84%
9% 21% 44%
n.d. 17% 57% 326% 373%
22% 100% 108% 100% 45%
n.d. 45% 14% 32%
0%
n.d. 64% 14% 74% 31%
n.d. n.d. 77% 53% 49%
81%
n.d 100% n.d. 58%
n.d. n.d.
0% n.d.
4%
67%
77%
44%
45%
45%
20%
56%
32%
50%
35%
Promedio
EF
EC
EmT
IE
EE
Promedio
28%
3%
28%
64%
43%
9%
12%
46%
88%
19%
39%
193%
75%
23%
46%
60%
80%
2%
0.0
0.0
2.6
0.0
0.0
0.0
0.0
0.0
1.0
0.0
0.0
0.0
7.8
0.0
0.0
0.0
1.9
0.0
0.0
8.9
6.7
0.0
0.0
0.0
8.5
4.4
5.3
8.2
1.6
8.3
0.0
5.5
3.6
0.0
0.0
0.0
6.0
10.0
8.8
6.0
2.6
7.5
10.0
10.0
0
10.0
9.1
4.3
0.0
8.6
8.6
2.3
0.0
10.0
0.0
10.0
9.1
0.0
8.6
9.9
9.4
3.0
2.4
6.9
7.9
0.0
0.0
6.8
2.6
4.7
0.0
0.0
8.4
9.8
8.8
8.4
6.0
9.8
7.1
4.3
5.2
7.5
5.6
0.0
5.5
10.0
6.9
5.1
4.2
9.6
2.9
7.8
7.2
2.9
3.4
5.4
7.0
4.3
2.8
6.5
4.8
2.5
2.7
6.2
4.4
2.4
1.2
3.9
48%
41%
0.7
0.0
3.4
2.6
6.3
8.0
4.5
3.8
6.8
7.0
4.4
4.1
No en todos los casos fue posible construir los indicadores, ya que en varios organismos
no se contó con suficiente información para el cálculo de los indicadores. En los
organismos pequeños solamente en 4 de los 18 OOMAPAS de la muestra pudo
construirse el indicador de Eficiencia Física, ya que en la gran mayoría de los casos no
se contó con el dato correspondiente a la Facturación en Volumen; en 11 de los 18
pudo construirse el indicador de Eficiencia Comercial; y en 15 de los 18 pudo
construirse el indicador de Ingresos por Empleado. Los indicadores Empleados por cada
mil Tomas y Egresos por Empleado si pudieron construirse para el total de los 18
OOMAPAS en la muestra.
El indicador con la menor desviación, fue Eficiencia Comercial con un promedio de
44%. El organismo mejor calificado fue Arizpe con 7.8 y el peor calificado fue
Tubutama con 1.2. Los organismos pequeños presentan una desviación absoluta
promedio de 48% para todos los indicadores, así como una calificación promedio de
4.3.
En el Cuadro 2, se presentan los valores absolutos de las desviaciones y las
calificaciones para cada indicador y para cada uno de los 6 organismos clasificados
como Medianos dentro de la muestra.
Cuadro 2. Organismos medianos, desviaciones y calificaciones.
Desv
Bácum
Carbo
Nacozari
Pitiquito
S Miguel de H.
Santa Ana
Promedio
Mediana
IE
Calificación
EF
EC
EmT
n.d.
n.d.
n.d.
n.d.
n.d.
8%
25%
42%
12%
84%
n.d.
3%
0%
0%
0%
0%
67%
20%
79%
63%
0% 167%
2%
13%
48%
33%
35% 7378%
9%
13%
EE
Promedio
42%
52%
7%
41%
2493%
11%
EF
0.0
0.0
0.0
0.2
0.0
9.2
EC
7.5
5.8
8.8
1.6
0.0
9.7
EmT
10.0
10.0
10.0
10.0
3.3
8.0
IE
2.1
10.0
9.8
5.2
6.5
9.1
EE
0.0
0.0
8.7
6.7
0.0
8.7
Promedio
3.9
5.2
7.5
4.7
2.0
8.9
8%
8%
33%
25%
15%
0%
29% 1278%
22%
48%
273%
41%
1.6
0.0
5.6
6.7
8.5
10.0
7.1
7.8
4.0
3.4
5.4
4.9
En los organismos medianos solamente en 2 de los 6 OOMAPAS de esta categoría en la
muestra pudo construirse el indicador de Eficiencia Física; y en 5 de 6 pudo construirse
el indicador de Eficiencia Comercial. Los demás indicadores pudieron ser construidos
para todos los OOMAPAS.
El indicador con la desviación más baja es Eficiencia Física, con 8%, sin embargo,
solamente pudo ser construido para el OOMAPAS de Santa Ana. Le sigue el indicador
de Empleados por cada mil tomas, el cual pudo ser construido para todos y el cual
presenta una desviación absoluta promedio de 15%. El indicador con la desviación más
elevada es Egresos por empleado, con una mediana de 48%.
El organismo mejor calificado fue Santa Ana con 8.9 y el peor calificado fue San
Miguel de Horcasitas, con 2.0, debido a que los datos reportados para la cabecera
municipal en realidad son datos para todo el municipio y por ello se observan
desviaciones excesivamente grandes en algunos indicadores. Los organismos medianos
presentan una calificación promedio de 5.4.
En el Cuadro 3, se presentan los valores absolutos de las desviaciones y las
calificaciones para cada indicador y para cada uno de los 6 organismos clasificados
como Grandes dentro de la muestra.
Cuadro 3. Organismos grandes, desviaciones y calificaciones.
Desv
Agua prieta
Cananea
Navojoa
Nogales
Puerto Peñasco
San Luis R C
Promedio
Mediana
EmT
IE
Calificación
EF
EC
EF
EC
EmT
IE
18%
6%
7%
n.d.
0%
33%
12%
0%
15%
2%
54%
0%
0% 18%
0%
6%
0% 19%
0% 108%
0% 66%
0%
9%
8%
10%
15%
11%
46%
6%
11%
4%
13%
30%
33%
10%
8.2
9.4
9.3
0.0
10.0
6.7
8.8
10.0
8.5
9.8
4.6
10.0
10.0
10.0
10.0
10.0
10.0
10.0
8.2
9.4
8.1
0.0
3.4
9.1
9.2
9.0
8.5
8.9
5.4
9.4
8.9
9.6
8.7
5.7
6.7
9.0
12%
7%
14%
7%
0%
0%
18%
10%
17%
11%
7.1
8.7
8.6
9.3
10.0
10.0
6.0
8.2
8.2
9.0
8.0
8.8
41%
18%
EE
Promedio
EE
Promedio
En los organismos grandes en 5 de los 6 OOMAPAS pudo construirse el indicador de
Eficiencia Física, mientras que los demás indicadores pudieron ser construidos para los
6 OOMAPAS de esta categoría en la muestra.
El indicador mejor calificado es Empleados por cada mil Tomas, con una desviación
promedio de 0% y calificación de 10. El organismo mejor calificado fue Cananea (9.6).
Los organismos grandes presentan una calificación promedio de 7.5, muy por arriba de
los pequeños y medianos.
En el Cuadro 4, se presentan los valores absolutos de las desviaciones y las
calificaciones promedio en general y para cada indicador, donde se observa que la
calificación promedio es de 5.2, mientras que la desviación promedio es de 119%, la
cual sin embargo, se ve altamente afectada por el caso de San Miguel de Horcasitas,
por lo que la mediana indica mejor la desviación general, la cual se ubica en 32%.
En el Cuadro 4 se presentan los promedios y medianas para los 30 OOMAPAS de la
calificación para cada indicador.
Cuadro 4. Resumen general de desviaciones y calificaciones
Desv
EF
Promedio
Mediana
EC
EmT
IE
Calificación
EE
34% 33% 30% 46% 289%
20% 21% 10% 31% 30%
Promedio
120%
32%
EF
2.2
0.0
EC
4.9
5.4
EmT
7.5
9.0
IE
EE
5.4
6.7
6.6
7.3
Promedio
5.2
4.8
En general, el indicador mejor calificado es Empleados por cada mil Tomas, el cual
presenta una calificación promedio de 7.2 y cuya mediana de la desviación es de 10%.
El Indicador peor calificado es Eficiencia Física, ya que en 20 de los 30 OOMAPAS, el
indicador no pudo ser construido debido a la insuficiencia de información sobre
Facturación en Volumen, consecuencia de no tener micro ni macro medición.
3.2 Comentarios Finales.
Mucha de la información solicitada no puede ser obtenida en varios de los municipios,
ya que en estos no se cuenta con los instrumentos de medición de la producción de agua
(macromedición) ni del consumo en las tomas (micromedición). Por ello, el indicador
peor evaluado fue el de Eficiencia Física. Le sigue el indicador de Eficiencia Comercial,
el cual es especialmente bajo entre municipios pequeños, lo que indica que en muchos
casos no hay registros de cobranza o bien son muy deficientes.
Los OOMAPAS grandes proporcionan información más confiable que los pequeños,
pues su mayor disponibilidad de recursos y mejor estructura administrativa les permite
medir la producción y el consumo de agua, además de que la mayor disponibilidad de
personal capacitado y sistemas informáticos les permite llevar un mejor manejo de la
nómina, la cobranza, el padrón de usuarios, número de tomas, etc. En contraste, en los
municipios pequeños no se cuenta con medición ni con personal capacitado para el
manejo de la información, por lo que se requiere poner atención en el desarrollo del
personal y la infraestructura de estos organismos.